CN104181546B

CN104181546B - 彩色三维扫描激光雷达颜色信息采集显示方法

Info

Publication number: CN104181546B
Application number: CN201410422780.9A
Authority: CN
Inventors: 宋沙磊; 龚威; 陈振威; 祝波; 史硕; 杜霖
Original assignee: Wuhan Institute of Physics and Mathematics of CAS
Current assignee: Wuhan Institute of Physics and Mathematics of CAS
Priority date: 2014-08-25
Filing date: 2014-08-25
Publication date: 2017-01-11
Anticipated expiration: 2034-08-25
Also published as: CN104181546A

Abstract

一种彩色三维扫描激光雷达颜色信息采集显示方法，包括颜色信息采集过程和激光点云彩色显示过程，对光电探测所得各个激光回波通道的回波强度进行归一化，得到激光点云数据中每一个激光点的归一化激光三通道值；建立彩色激光雷达的颜色方程，根据激光波长以及每一个波长对应的刺激值，求得每一个彩色激光点云中各激光波长对应的颜色值，最后，采用彩色相机对同一物体进行拍摄，用拍摄所得彩色照片作为彩色激光雷达合成的相对色彩定标，进一步对激光点云的颜色进行归一化处理。本发明进行目标地物的颜色信息采集和显示，实现激光雷达的彩色分辨能力。

Description

彩色三维扫描激光雷达颜色信息采集显示方法

技术领域

本发明涉及测绘遥感技术领域，尤其涉及一种彩色三维扫描激光雷达探测数据的彩色视觉技术。

背景技术

彩色三维扫描激光雷达通过采用三波长激光合束作彩色激光光源，通过对地物目标进行三维扫描探测，可获具有彩色激光光谱的点云数据，从而实现地物目标的彩色三维成像探测。由于所获取的激光雷达回波数据不仅具有位置信息，还具有彩色激光光谱回波强度信息，其中的激光点云位置信息可用来进行三维重构，彩色激光光谱回波强度信息则需要通过彩色视觉处理技术来为目标地物“着色”以生成彩色三维图像。通过彩色激光扫描三维图像的表现形式，可以简化目标物体的区分及从场景中抽取目标，比现有单波长激光雷达技术仅有的单波长激光强度信息具有更加直观的视觉效果，在成像探测中具有重要的意义。但目前本领域尚未有相关技术方案出现，如何根据三色激光回波数据得到不失真的显示结果，是亟待解决的技术问题。

发明内容

本发明的目的是提供一种彩色三维扫描激光雷达的彩色图像处理技术，该技术对彩色激光雷达探测获取的三色激光回波数据进行处理，生成不失真的显示数据。

本发明技术方案提供一种彩色三维扫描激光雷达颜色信息采集显示方法，用于对彩色三维扫描激光雷达中采用彩色激光对地物目标进行三维扫描并光电探测所得结果进行处理，所述彩色激光为三种不同波长的激光合束所得，光电探测所得结果包括三个激光相应通道的回波强度，包括颜色信息采集过程和激光点云彩色显示过程，

所述颜色信息采集过程，包括对光电探测所得各个激光回波通道的回波强度进行归一化，得到激光点云数据中每一个激光点的归一化激光三通道值C_norm，

所述激光点云彩色显示过程，实现过程如下，

首先，建立彩色激光雷达的颜色方程，

(C_{laser-wavelength})≡R(λ_R)+G(λ_G)+B(λ_B)

其中，设彩色激光中三种不同波长的激光为待匹配对象，C_{laser-wavelength}为3个待匹配对象的颜色中任一；λ_R、λ_G、λ_B为三原色光的波长；而R、G、B系数为匹配某种激光波长所需要的三原色光的量，称为刺激值；“≡”表示视觉上相等；

然后，根据激光波长以及每一个波长对应的刺激值，求得每一个彩色激光点云中各激光波长对应的颜色值，表示为C_R,C_G,C_B：

C_{R} = r_{norm} \times \frac{R_{1}}{R_{1} + G_{1} + B_{1}} + g_{norm} \times \frac{R_{2}}{R_{2} + G_{2} + B_{2}} + b_{norm} \times \frac{R_{3}}{R_{3} + G_{3} + B_{3}};

C_{G} = r_{norm} \times \frac{R_{1}}{R_{1} + G_{1} + B_{1}} + g_{norm} \times \frac{R_{2}}{R_{2} + G_{2} + B_{2}} + b_{norm} \times \frac{R_{3}}{R_{3} + G_{3} + B_{3}};

C_{B} = r_{norm} \times \frac{R_{1}}{R_{1} + G_{1} + B_{1}} + g_{norm} \times \frac{R_{2}}{R_{2} + G_{2} + B_{2}} + b_{norm} \times \frac{R_{3}}{R_{3} + G_{3} + B_{3}}

其中，R_i,G_i,B_i,i＝1,2,3，为3个激光波长各自对应的刺激值比例；

最后，采用彩色相机对同一物体进行拍摄，用拍摄所得彩色照片作为彩色激光雷达合成的相对色彩定标，进一步对激光点云的颜色进行归一化处理。

而且，颜色信息采集过程实现如下，

设彩色激光点云数据中任一个激光点i的三个激光回波通道的回波强度p_i＝(r_i,g_i,b_i)^T表达为：

[\begin{matrix} r_{i} \\ g_{i} \\ b_{i} \end{matrix}] = E (λ) S_{i} (λ) [\begin{matrix} R (λ) \\ G (λ) \\ B (λ) \end{matrix}] dλ

其中，

λ为波长，

E(λ)是激光光源的光谱分布函数，

S_i(λ)是目标地物的表面反射率，

R(λ)、G(λ)与B(λ)是三个通道相应的光电探测器响应函数，

[\begin{matrix} R (λ) \\ G (λ) \\ B (λ) \end{matrix}]

为三个通道的激光回波强度电信号；

设目标地物反射的光具有光谱分布特性A，将光电探测对不同波长的响应特性记为B，p_i＝(r_i,g_i,b_i)^T设为初始激光三通道值C，上式表达为：

C＝A×B

设置一个标准白板进行定标，将三个通道的激光回波强度电信号都归一化到0～255，得到激光点云的归一化激光三通道值

C_{norm} [\begin{matrix} r_{norm} \\ g_{norm} \\ b_{norm} \end{matrix}] .

而且，用数码照片作为彩色激光雷达合成的相对色彩定标，实现方式如下，

设彩色激光点云数据的矩阵为L_mn，而彩色照片像素点矩阵为I_MN，通过邻域差值和色比差值将I_MN匹配为与L_mn对应，得到彩色照片每一个像素点三原色分量R_ij,G_ij,B_ij和彩色激光点云数据三原色分量r_ij,g_ij,b_ij的对应关系如下，

k_ij1×R_ij＝r_ij

k_ij2×G_ij＝g_ij

k_ij3×B_ij＝b_ij

其中，k_ij1,k_ij2,k_ij3为标定系数。

本发明提供的一种彩色三维扫描激光雷达颜色信息采集显示技术，是基于彩色三维扫描激光雷达技术探测获取的彩色激光点云数据，进行目标地物的颜色信息采集和显示，实现激光雷达的彩色分辨能力。

附图说明

图1为本发明实施例的彩色三维扫描激光雷达系统硬件结构示意图。

图2为本发明实施例的彩色激光合束发射原理图。

图3为本发明实施例的彩色激光雷达目标探测获得RGB回波强度数据原理图。

图4为本发明实施例的光谱三刺激值曲线示意图。

具体实施方式

本发明提供一种彩色三维扫描激光雷达的颜色信息采集显示技术，对彩色激光雷达探测获取的三色激光回波数据进行处理，生成不失真的显示数据。

参见图1，本发明实施例采用的彩色三维扫描激光雷达包括彩色激光光学发射系统1、扫描接收系统2、光电探测器3、信号采集与时序控制单元4、信号处理电路及计算机数据处理单元5。为便于实施参考起见，具体介绍如下：

所述彩色激光光学发射系统1包括彩色激光光源和光学合束系统。其中，彩色激光光源包括三色脉冲激光光源，一般为红光脉冲激光光源、绿光脉冲激光光源、蓝光脉冲激光光源，也可以采用其他三色，例如绿光采用黄光脉冲激光光源代替。可采用420-500nm范围内的蓝色激光波长，520-570nm范围内的绿色激光波长或570-590nm范围内的黄色激光波长，620-780nm范围内的红色激光波长。实施例以红光脉冲激光光源、绿光脉冲激光光源、蓝光脉冲激光光源进行说明。

彩色激光光源发出的三种不同波长的激光经光学合束系统后合成激光束后，入射到扫描接收系统2，经扫描接收系统2对目标地物进行彩色激光三维线性扫描，扫描形成的回波信号被光电探测器3所捕获，光电探测器3捕获的信号被输送至信号采集与时序控制单元4进行多通道数据采集与时序计算，结果输出到计算机数据处理单元5。

所述彩色激光光源和光学合束系统结合输出彩色激光，参见图2，彩色激光光源由红光脉冲激光光源6、绿光脉冲激光光源7、蓝光脉冲激光光源8所组成的三束激光经过合束光学系统后合成为一束光输出。其中，合束光学系统由第一全反射镜11、第二全反射镜12、第三全反射镜13、第四全反射镜14及第一分光滤光片9、第二分光滤光片10构成。

红光脉冲激光光源6输出的红光脉冲激光经过第一分光滤光片9透射；由绿光脉冲激光光源7输出的绿光脉冲激光经过第一全反射镜11反射后，入射到第一分光滤光片9，与红光脉冲激光光源6输出的红光脉冲激光合为一束光线，经过第二分光滤光片10透射。同时，由蓝光脉冲激光光源8输出的蓝光脉冲激光经第二全反射镜12反射，再通过第二分光滤光片10后，与绿光脉冲激光和红光脉冲激光合束的光线进一步合为一束彩色激光，并经一组全反射镜组(第三全反射镜13、第四全反射镜14)后合成一束最终的激光束输出，即彩色激光光学发射系统1所得结果。

所述扫描接收系统2和光电探测器3参见图3，采用包括中心孔反射镜15和扫描转镜16实现二维扫描。进一步地，通过扫描转镜16的基座360°旋转实现三维空间扫描。扫描接收系统2中的接收光学系统由第三分光滤光片17、第四分光滤光片18、第一窄带滤光片25、第二窄带滤光片19、第三窄带滤光片22、第一聚焦透镜26、第二聚焦透镜20及第三聚焦透镜23构成。

所述光电探测器3由第一光电探测器27、第二光电探测器21、第三光电探测器24构成。光电探测器可直接将光强信号转换成激光探测点的强度值，获得景物中红、绿、蓝三个激光分量的光信号，形成彩色激光点云数据。

彩色激光光源发射的激光经光学合束系统产生的出射激光束入射到中心孔反射镜15，彩色激光从中心孔反射镜15的中心孔透过入射到扫描转镜16上，通过扫描转镜16进行激光扫描，目标地物激光回波信号返回到扫描转镜16上，通过中心孔反射镜15反射到第三分光滤光片17上。其中，红光脉冲激光回波信号经第三分光滤光片17透射后入射到第一窄带滤光片25，通过第一聚焦透镜26聚焦后入射到第一光电探测器27进行探测。绿色和蓝色脉冲激光回波信号经第三分光滤光片17反射后入射到第二分光滤光片18，其中，蓝色激光脉冲经第二分光滤光片18透射后，入射到第二窄带滤光片19，通过第二聚焦透镜20入射到第二光电探测器21上；绿色激光脉冲经第二分光滤光片18反射后，入射到第三窄带滤光片22，通过第三聚焦透镜23入射到第三光电探测器24上。

具体实施时，本领域技术人员可自行根据需要采用计算机软件技术在计算机数据处理单元5上预先设定控制方式，实现经信号采集与时序控制单元4对雷达工作进行控制，结合距离、角度数据可计算获得各激光点的坐标。具体控制和计算可采用现有技术实现，计算机数据处理单元5采用PC等设备。

基于以上硬件完成彩色激光雷达对目标地物的彩色激光点云颜色信息探测工作后，本发明提出可采用计算机软件技术在计算机数据处理单元5扩展实现后续数据处理，即颜色信息采集和彩色激光点云彩色显示。本发明对这两部分的具体实现进行了研究。

(1)为便于实施参考起见，提供实施例的颜色信息采集过程具体说明如下：

根据光电探测对目标反射彩色激光光谱的响应过程，彩色激光点云数据中任一个激光点i的三通道值r_i,g_i,b_i，即三个激光回波通道的回波强度p_i＝(r_i,g_i,b_i)^T可表达为：

[\begin{matrix} r_{i} \\ g_{i} \\ b_{i} \end{matrix}] = E (λ) S_{i} (λ) [\begin{matrix} R (λ) \\ G (λ) \\ B (λ) \end{matrix}] dλ - - - (1)

其中，λ为波长，E(λ)是激光光源的光谱分布函数，S_i(λ)是目标地物的表面反射率，R(λ)、G(λ)与B(λ)是光电探测器响应函数，可由红、绿、蓝三个波段的光电探测器相应确定。从该式可以看出，彩色激光点云的数据是激光光源所发射的激光经被测目标反射后，由探测器响应生成的。最终采集到的点云数据不仅反映了被测目标的特性，也受激光光源和探测器的调制。

在实际应用中，由目标地物反射出来的具有光谱分布特性A的光，通过光学接收系统对彩色激光分解成3个通道，光电探测系统分别对三色激光回波接收获得三个通道的激光回波强度电信号，即三通道值p_i＝(r_i,g_i,b_i)^T。探测系统对不同的波长响应是不同的，即上式中的

[\begin{matrix} R (λ) \\ G (λ) \\ B (λ) \end{matrix}],

将光电探测系统对不同波长的响应特性记为B，而最终输出激光三通道值p_i＝(r_i,g_i,b_i)^T设为初始激光三通道值C。因此公式(1)可表达为：

C＝A×B (2)

在激光点云的颜色信息采集过程中，由于三个通道的激光回波强度电信号变化幅值比较大，难以直接用于后续显示过程激光点云彩色模型中的色彩值计算，因此在三刺激值获取之前，首先需要对各个激光回波通道的回波强度进行归一化以得到点云数据中每一个激光点的归一化三色激光回波强度值，即归一化激光三通道值C_norm。

实施例中，可通过设置一个标准白板对反射率进行定标，标准白板对可见光波段的反射率S_i(λ)可认为达到100％，且分布均匀，这样可以得到各激光波长的绝对反射值，不会存在吸收或者别的信号损失，校正3个激光光源的能量和波长不同所造成的探测差别。采用标准白板实现对3个激光波长之间的定标后，将三个通道的激光回波强度电信号都归一化到0～255，即激光点云的归一化激光三通道值

C_{norm} [\begin{matrix} r_{norm} \\ g_{norm} \\ b_{norm} \end{matrix}] .

(2)为便于实施参考起见，提供实施例的彩色显示部分具体说明如下：

基于对彩色激光回波信息的归一化处理，需要进一步对获取的归一化激光三通道值C_norm的点云数据进行彩色合成显示。通过建立基于三色激光回波强度的激光彩色模型，用于进行激光雷达点云数据的彩色匹配，通过对不同比例的红、绿、蓝三原色的配色可以渲染得到一种新的彩色点云图像。

由于彩色激光雷达所用彩色激光光源是由三个单色激光合成的光源，激光波长并非彩色显示中的标准三原色，不能直接进行彩色显示。根据1931CIE-RGB系统的光谱三刺激值曲线，将归一化激光值C_norm的三个分量按照三原色的刺激值相互累加，最后根据颜色方程求得最终合成的彩色图案。最终将可以得到不同颜色、比例组合的合成色，从而得出具体合成的颜色的相关信息。

根据国际照明委员会(CIE)规定的三原色光的波长：λ_R＝700nm，λ_G＝546.1nm，λ_B＝435.8nm。在颜色匹配实验中，当这三原色光的相对亮度比例为1.0000：4.5907：0.0601时就能匹配出等能白光，所以CIE选取这一比例作为红、绿、蓝三原色的单位量，即λ_R:λ_R:λ_R＝1:1:1。尽管这时三原色的亮度值并不等，但CIE却把每一原色的亮度值作为一个单位看待，所以色光加色法中红、绿、蓝三原色光等比例混合结果为白光，即λ_R+λ_G+λ_B用该三基色描述其他的彩色激光波长，所以彩色模型实际上是一个三维坐标系统或子空间规范，位于坐标系统中的每一个点代表一种颜色。

首先建立彩色激光的颜色方程。

(C_{laser-wavelength})≡R(λ_R)+G(λ_G)+B(λ_B)

其中，设彩色激光光学发射系统中的三种不同波长的激光为待匹配对象，C_{laser-wavelength}为3个待匹配对象的颜色中任一；λ_R、λ_G、λ_B为三原色光的波长；而R、G、B系数为匹配某种激光波长所需要的三原色光的量，称为刺激值；“≡”表示视觉上相等，即颜色匹配。其波长对应曲线分布如附图4所示，横坐标为波长wavelength，单位为nm。

根据颜色方程将各个激光波长分解成三原色表示，为了进一步对3个彩色激光波长的探测值进行颜色合成显示，本发明将3个采集到三通道激光归一化探测值

[\begin{matrix} r_{norm} \\ g_{norm} \\ b_{norm} \end{matrix}]

按照激光波长进行分解。由于波长已知，则可由光谱三刺激值曲线(附图4)求得每一个波长的三原色分量的比值，设红光探测器1对应接收的波长三原色分量的比值分别为R₁，G₁，B₁；同理绿光探测器2对应接收的波长三原色分量的比值分别为R₂，G₂，B₂；蓝光探测器3对应接收的波长三原色分量的比值分别为R₃，G₃，B₃。

根据激光波长以及每一个波长对应的刺激值，可求得彩色激光点云中每一点各激光波长对应的颜色值，表示为C_R,C_G,C_B：

C_{R} = r_{norm} \times \frac{R_{1}}{R_{1} + G_{1} + B_{1}} + g_{norm} \times \frac{R_{2}}{R_{2} + G_{2} + B_{2}} + b_{norm} \times \frac{R_{3}}{R_{3} + G_{3} + B_{3}};

C_{G} = r_{norm} \times \frac{R_{1}}{R_{1} + G_{1} + B_{1}} + g_{norm} \times \frac{R_{2}}{R_{2} + G_{2} + B_{2}} + b_{norm} \times \frac{R_{3}}{R_{3} + G_{3} + B_{3}};

C_{B} = r_{norm} \times \frac{R_{1}}{R_{1} + G_{1} + B_{1}} + g_{norm} \times \frac{R_{2}}{R_{2} + G_{2} + B_{2}} + b_{norm} \times \frac{R_{3}}{R_{3} + G_{3} + B_{3}}

其中，

[\begin{matrix} r_{norm} \\ g_{norm} \\ b_{norm} \end{matrix}]

为接收到三个激光波长的归一化回波能量值，根据采集过程得到；(R_i,G_i,B_ii＝1,2,3)为3个激光波长各自对应的刺激值比例，根据附图4各激光波长对应的刺激值可分别求出。

在完成激光点云颜色值的计算后，为了使最后合成的彩色点云的可视效果与相机拍摄结果接近，采用彩色相机对同一物体进行拍摄，用数码照片作为彩色激光雷达合成的相对色彩定标。

由于彩色参考照片的像素点数量一般远大于激光雷达点云数量，要将彩色参考照片中的像素点进行同名点合并。假设激光点云的矩阵为L_mn，而彩色照片像素点矩阵为I_MN。首先进行邻域差值。

参考表1，

表1

I₁₁	I₁₂	…	I_1N
				I₂₁	I₂₂	…	I_2N
…	…	…	…
				I_M1	I_M2	…	I_MN

假设M＝3×m，N＝3×n。那么需要将彩色照片中3×3个像素点合并为一个像素点与激光点云数据配对。对于表1中I₁₁～I₃₃这九个像素点将合并成一个像素点。每一个像素点都有三原色的三个分量，分别用R_ij,G_ij,B_ij表示，i,j表示在照片中的位置，与Ii_j对应。合并之后的像素点三原色分量为

Cr＝(R₁₁+R₁₂+…R₃₃)/9

Cg＝(G₁₁+G₁₂+…G₃₃)/9

Cb＝(B₁₁+B₁₂+…B₃₃)/9

在邻域差值基础上采用色比插值法，即在图片一小块区域(子区域，本领域技术人员可以自行设定)，颜色总是自然过渡的，色比(Cr/Cg，Cb/Cg)不会有太大突变。首先用领域插值法得到子区域绿色分量的平均值Cg，其余两个颜色分量为：

Cr＝Cg×(R₁₁/G₁₁+R₁₂/G₁₂+…R₃₃/G₃₃)/9

Cb＝Cg×(B₁₁/G₁₁+B₁₂/G₁₂+…B₃₃/G₃₃)/9

通过邻域差值和色比差值两种方法，将彩色参考图片数据I_MN匹配为与激光点云数据L_mn对应，从而得到彩色图片数据每一个像素点三原色分量R_ij,G_ij,B_ij和激光点云数据三原色分量r_ij,g_ij,b_ij的对应关系：

k_ij1×R_ij＝r_ij

k_ij2×G_ij＝g_ij

k_ij3×B_ij＝b_ij

k_ij1,k_ij2,k_ij3将作为之后每一次激光点云数据处理的标定系数。

在完成对彩色激光雷达点云数据的色彩定标后，进一步对激光点云的颜色进行归一化处理。颜色归一化处理是将点云中所有数据点的颜色值除以数据点云中最大的Cr值，最大的Cg值，最大的Cb值。归一化处理可以保证激光点云的颜色不超过显示设备显示阈值。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种彩色三维扫描激光雷达颜色信息采集显示方法，用于对彩色三维扫描激光雷达中采用彩色激光对地物目标进行三维扫描并光电探测所得结果进行处理，所述彩色激光为三种不同波长的激光合束所得，光电探测所得结果包括三个激光相应通道的回波强度，其特征在于：包括颜色信息采集过程和激光点云彩色显示过程，

所述激光点云彩色显示过程，实现过程如下，

首先，建立彩色激光雷达的颜色方程，

(C_{laser-wavelength})≡R(λ_R)+G(λ_G)+B(λ_B)

C_{R} = r_{n o r m} \times \frac{R_{1}}{R_{1} + G_{1} + B_{1}} + g_{n o r m} \times \frac{R_{2}}{R_{2} + G_{2} + B_{2}} + b_{n o r m} \times \frac{R_{3}}{R_{3} + G_{3} + B_{3}};

C_{G} = r_{n o r m} \times \frac{G_{1}}{R_{1} + G_{1} + B_{1}} + g_{n o r m} \times \frac{G_{2}}{R_{2} + G_{2} + B_{2}} + b_{n o r m} \times \frac{G_{3}}{R_{3} + G_{3} + B_{3}};

C_{B} = r_{n o r m} \times \frac{B_{1}}{R_{1} + G_{1} + B_{1}} + g_{n o r m} \times \frac{B_{2}}{R_{2} + G_{2} + B_{2}} + b_{n o r m} \times \frac{B_{3}}{R_{3} + G_{3} + B_{3}}

为接收到三个激光波长的归一化回波能量值；

2.根据权利要求1所述彩色三维扫描激光雷达颜色信息采集显示方法，其特征在于：颜色信息采集过程实现如下，

[\begin{matrix} r_{i} \\ g_{i} \\ b_{i} \end{matrix}] = E (λ) S_{i} (λ) [\begin{matrix} R (λ) \\ G (λ) \\ B (λ) \end{matrix}] d λ

其中，

λ为波长，

E(λ)是激光光源的光谱分布函数，

S_i(λ)是目标地物的表面反射率，

R(λ)、G(λ)与B(λ)是三个通道相应的光电探测器响应函数，

为三个通道的激光回波强度电信号；

C＝A×B

3.根据权利要求1或2所述彩色三维扫描激光雷达颜色信息采集显示方法，其特征在于：用数码照片作为彩色激光雷达合成的相对色彩定标，实现方式如下，

k_ij1×R_ij＝r_ij

k_ij2×G_ij＝g_ij

k_ij3×B_ij＝b_ij

其中，k_ij1,k_ij2,k_ij3为标定系数。