CN107990878B - 基于微光双目相机的测距系统和测距方法 - Google Patents
基于微光双目相机的测距系统和测距方法 Download PDFInfo
- Publication number
- CN107990878B CN107990878B CN201711092606.2A CN201711092606A CN107990878B CN 107990878 B CN107990878 B CN 107990878B CN 201711092606 A CN201711092606 A CN 201711092606A CN 107990878 B CN107990878 B CN 107990878B
- Authority
- CN
- China
- Prior art keywords
- image
- low
- light
- parallax
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000005259 measurement Methods 0.000 title claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims description 18
- 238000006116 polymerization reaction Methods 0.000 claims description 18
- 238000002790 cross-validation Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 4
- HEFNNWSXXWATRW-UHFFFAOYSA-N Ibuprofen Chemical compound CC(C)CC1=CC=C(C(C)C(O)=O)C=C1 HEFNNWSXXWATRW-UHFFFAOYSA-N 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000000205 computational method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
- G01C11/10—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken using computers to control the position of the pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
为了满足夜间双目测距的需求，本发明提供了一种基于微光双目相机的测距系统和测距方法，考虑到微光图像信噪比低的缺点，通过预处理降低图像噪声，并在特征匹配和优化过程中充分利用图像全局的颜色和纹理信息，减弱了局部噪声引起的错误匹配影响；将Census描述子和颜色特征计算的结果与半全局匹配优化算法相结合，增强了特征提取的鲁棒性和特征匹配的准确性。本发明具备夜间弱光测距能力，能够实现夜间准确测距。
Description
技术领域
本发明属于双目测距技术领域，涉及一种基于微光双目相机的测距系统和测距方法。本发明可以用于各种需要在黑暗环境测量物体距离的场合，例如应用于无人驾驶车辆的夜间环境感知，考古工作中对地下文物的现场扫描重建，仓库及夜间的视频监控等。
背景技术
双目相机是一种基于双目视差原理，能够计算出双目相机所拍摄到物体相对于相机三维空间位置的设备，已被广泛应用于生产线检测、车辆制动安全、无人驾驶、三维扫描等领域。
在双目测距的过程中，获取高质量的清晰图像对于测距精度是非常重要的。现有双目相机多是基于普通CCD或CMOS传感器获取黑白/彩色高清图像，并通过各种形式的立体匹配算法进行视差信息获取。这些基于普通图像传感器的双目相机只能在光照充足的环境下工作，在夜晚或室内工作时需要辅助照明。然而，在无人驾驶、三维重建等领域，双目测距系统经常需要在黑暗环境下工作，尤其是涉及到无人驾驶的军事应用、或者涉及到一些对光照敏感的文物重建时，主动补光照明是不可行的，需要传感器具备直接在黑暗环境下进行测距的能力。因此，当在黑暗或弱光环境下进行立体视觉测量时，需要一种高灵敏度的微光双目相机。
但是，微光双目相机是在星光等级的微弱照明条件下进行成像，相对于普通双目相机在白天的成像效果而言，微光双目相机在夜间成像的信噪比较低，不可避免的包含较多噪点；虽然可以通过延长积分时间等手段在一定程度上减少噪点的影响，但是这样做同时也降低了帧频。此外，由于微光相机的拍摄环境光照很弱，在图像信号经过放大增强以后，双目系统中左右两幅图像的局部亮度通常存在较明显的差异。因此，目前市面上虽然有一些微光双目相机产品，但是国内外还没有将微光双目相机用于双目测距系统的案例。
发明内容
为了满足夜间双目测距的需求，解决现有双目测距系统在夜间、地下等微弱照明条件下的成像问题，本发明提供了一种基于微光双目相机的测距系统和测距方法，考虑到微光图像信噪比低的缺点，通过预处理降低图像噪声，并在特征匹配和优化过程中充分利用图像全局的颜色和纹理信息，减弱了局部噪声引起的错误匹配影响，能够实现夜间准确测距。
本发明的技术方案是：
基于微光双目相机的测距系统，其特殊之处在于，包括：
微光双目相机，用于获取满足极线约束的微光双目图像IL1和IR1；
与微光双目相机相连的处理器或计算机；所述处理器或计算机上存储有微光双目匹配及测距程序，所述处理器或计算机执行所述程序时实现以下步骤：
步骤1：对图像IL1和IR1均依次进行直方图均衡化和高斯滤波，得到图像IL2和IR2；
步骤2：分别从图像IL2和图像IR2中提取每个像素点的Census描述子；
步骤3：基于所述Census描述子，获取视差空间图C；视差空间图C为三维，前两维对应图像的空间坐标x，y，第三维的每一层都是在某一视差d下，图像IL2像素点p(x，y)和图像IR2对应像素点q(x+di，y)的匹配代价C(p，d)；d∈[dmin，dmax]；
步骤4：对视差空间图C进行半全局匹配代价优化，得到视差空间图S(p，d)；
步骤5：基于视差空间图S(p，d)，利用WTA(Winner-Take-All)的方法获得视差图DL；
步骤6：对图像IL2和IR2进行交叉验证以剔除错误匹配的点；
步骤7：对视差图DL中视差值连续的区域内部空洞进行填充；
步骤8：以图像IL2作为引导图，对空洞填充后的视差图DL进行引导滤波，完成视差图优化提精，得到最终视差图；
步骤9：基于所述最终视差图，利用投影公式计算待测目标的(X，Y，Z)坐标。
进一步地，上述微光双目相机包括系统外形框架、两台相同的微光探测器、两组镜头、一块图像采集板卡；系统外形框架用于容纳固定微光探测器和图像采集板卡；两台微光探测器的视场平行，且具有设定长度的基线；两组镜头分别安装在两台微光探测器上，构成两台微光相机；两台微光相机的信号输出接口与图像采集板卡的LVDS接口相连，外触发接口与图像采集板卡的触发电平线相连；图像采集板卡上配置有板载FPGA芯片，用于向两台微光相机同步发送触发电平信号，并收集整合两台微光相机传回的图像数据，再通过协议接口发往所述计算机或处理器。
本发明同时提供了一种基于上述微光双目相机的测距方法，包括以下步骤：
步骤1：搭建微光双目相机，要求构成微光双目相机中的两台微光探测器型号相同，视场平行；
步骤2：标定微光相机的参数；
步骤3：拍摄两幅原始图像IL和IR，进行极线校正后获得图像IL1和IR1；根据微光相机的参数和具体应用场景，设置视差搜索范围[dmin，dmax]；
步骤4：对图像IL1和IR1均依次进行直方图均衡化和高斯滤波，得到图像IL2和IR2；
步骤5：分别从图像IL2和图像IR2中提取每个像素点的Census描述子；
步骤6：基于所述Census描述子，获取视差空间图C；视差空间图C为三维，前两维对应图像的空间坐标x，y，第三维的每一层都是在某一视差d下，图像IL2像素点p(x，y)和图像IR2对应像素点q(x+di，y)的匹配代价C(p，d)；d∈[dmin，dmax]；
步骤7：对视差空间图C进行半全局匹配代价优化，得到视差空间图S(p，d)；
步骤8：基于视差空间图S(p，d)，利用WTA(Winner-Take-All)的方法获得视差图DL；
步骤9：对图像IL2和IR2进行交叉验证以剔除错误匹配的点；
步骤10：对视差图DL中视差值连续的区域内部空洞进行填充；
步骤11：以图像IL2作为引导图，对空洞填充后的视差图DL进行引导滤波，完成视差图优化提精，得到最终视差图；
步骤12：基于所述最终视差图，利用投影公式计算待测目标的(X，Y，Z)坐标。
进一步地，上述步骤5中Census描述子的提取方法为：利用窗口大小为5×5～21×21的滑动窗口进行计算，基于Census变换，计算窗口内每个像素点与中心像素点灰度值的差值，将该差值与设置的阈值a进行比较，再利用两个二进制数来表示比较结果，大于a设置为10，小于-a设置为01，介于-a和a之间设置为00；这样每个窗口内的图像块均转化为一个长度为(5×5×2)～(11×11×2)的二进制描述子，即Census描述子。
进一步地，上述步骤6中某一视差d下，图像IL2像素点p(x，y)和图像IR2对应像素点q(x+di，y)的匹配代价C(p，d)的获取方法为：
A.计算像素点p和q的纹理匹配代价Ct(p，d)，其为这两点对应Census描述子的汉明距离；
B.计算像素点p和q的颜色匹配代价Cc(p，d)，其为这两点颜色差异的绝对值；
C.按下述公式计算匹配代价C(p，d)：
C(p，d)＝ρ(Ct(p，d)，λt)+ρ(Cc(p，d)，λc)
式中，λt和λc为预设的参数，根据匹配代价C(p，d)的取值范围进行选择，数量级均和匹配代价的数量级相同，且λt应大于λc；
ρ(c，λ)＝1-exp(-c/λ)。
进一步地，上述步骤7半全局匹配代价优化的方法具体为：
步骤7.1，分别在自上而下、自下而上、自左而右、自右而左、斜向右下、斜向左下、斜向右上和斜向左上至少8个视差传播方向，计算聚合代价；
步骤7.2，将步骤7.1中所有视差传播方向下的聚合代价累加，得到最终的聚合代价，进而得到优化的视差空间图S(p，d)。
进一步地，上述步骤7.1中所有视差传播方向的聚合代价计算并行进行；在每个视差传播方向内，不在同一传播线上的像素点的聚合代价计算并行进行。
进一步地，上述步骤7.1中，按下述公式计算某一个视差传播方向下聚合代价Lr(p，d)：
式中，p-r代表点p在该方向上的前序；
k为视差d的所有取值；
r为视差传播方向；
P1和P2均为惩罚项，分别是对相邻像素点视差相差1以及视差相差超过1的情况进行惩罚；
则所述步骤7.2中，视差空间图S(p，d)为：
其中Nr(p)为像素点p在r方向累加过程中的路径长度。
进一步地，上述步骤9交叉验证的方法具体为：
步骤9.1，交换图像IL2和图像IR2，重复步骤6～步骤8，获得视差图DR；
步骤9.2，依次验证视差图DL中的点(x，y)和其在视差图DR中的对应点(x+DL(x，y)，y)的视差是否一致，若其相差超过1，则认为交叉验证失败，将其置为NAN或-1；若相差不超过1，则保留原值。
本发明的有益效果：
1.具备夜间弱光测距能力
现有的微光相机仅能在暗环境下拍摄单个视角的图像、视频，不具备测距能力，本发明利用两台微光相机搭建了微光双目测距系统，并设计了相应的微光双目图像匹配测距算法对微光图像进行处理优化，能在无辅助照明的情况下，实现夜间环境的双目视觉成像并实现准确测距。
2.抗噪声能力强
本发明的匹配测距算法，对弱光下低信噪比图像中的随机噪声干扰具有较好的适应能力；算法通过预处理降低图像噪声，并且在特征匹配和优化过程中充分利用了图像全局的颜色和纹理信息，减弱了局部噪声引起的错误匹配影响。
3.本发明将Census描述子和颜色特征计算的结果与半全局匹配优化算法相结合，增强了特征提取的鲁棒性和特征匹配的准确性。
4.易于实时化
本发明在特征计算过程、特征匹配过程均为局部窗口计算，半全局匹配优化过程中，每个视差传播方向的信息传播计算为串行，但是垂直于传播方向上的像素代价优化可以并行计算，并且8个视差传播方向的计算可以并行进行；算法后处理中的引导滤波已有公开的快速实现算法，该步骤也可以进行硬件并行加速计算；因此，本发明算法计算复杂度低、并行度高，适合采用GPU或FPGA实现实时化。
5.为其他类型的双目测距系统提供算法参考
本发明的匹配测速算法主要是针对微光图像设计的，其中有些步骤均是考虑到了微光图像信噪比低、随机噪声多的特点而设计的，但是该匹配测速算法的原理和技术思想可以推广应用到彩色、红外等其他类型图像传感器构成的双目测距系统中。
附图说明
图1为本发明微光双目相机的硬件组成示意图；
图2为本发明微光双目图像匹配算法流程图；
图3为本发明Census描述子提取方法示意图；
图4为图像中像素的坐标定义示意图；
图5为8个方向代价传播的示意图；
图6为利用本发明微光双目相机拍摄的一组微光双目图像；
图7为图6所示微光双目图像的局部放大图；
图8为利用本发明，基于图6所示微光双目图像得到的最终视差图。
具体实施方式
本发明所提供的微光双目立体成像系统包括硬件部分和相应的匹配及测距算法软件部分。
一、硬件部分
参见图1，微光双目相机由系统外形框架、两台相同的微光探测器、两组镜头、一块图像采集板卡以及相关线缆构成；本发明之所以选择两台相同的微光探测器是由于双目测距涉及图像匹配的过程，型号和参数相同的微光探测器其分辨率、外形尺寸等参数均相同，采集的图像一致性强，匹配难度低。
微光探测器是微光双目相机的核心组件，用于在星光级的微弱照明条件下对环境进行较为清晰地成像，可以选用市面上现有的任意一种微光探测器。两组镜头分别安装在两台微光探测器上，构成微光相机1和微光相机2。
系统外形框架的一方面用于容纳微光探测器以及图像采集板卡，另一方面用于固定两台微光探测器的相对位置，使其满足双目测距原理要求的相机安放位置关系，并保持相对位置关系不变，避免每次使用时都要进行标定。外形框架的设计可以根据微光探测器的选型进行调整，原则是保持两台探测器安装牢固、视场基本平行、且具有一定长度的基线。基线长度一般应大于5cm，并保证两台微光相机图像之间有足够的重叠区域。长基线能够提高测距分辨率，但是为匹配带来了难度，也减小了公共视场面积，因此，综合考虑测距分辨率和匹配难易程度等因素，本发明中基线长度选取为20cm。本实施例中示例性的给出一种长条形的系统框架设计方式，在其他实施例中还可以采用其他形状。
图像采集板卡上配置有板载FPGA芯片，用于向两台微光相机同步发送触发电平信号，并收集整合两台微光相机传回的图像数据，再通过协议接口发往后端安装有本发明微光双目匹配及测距算法软件所在的数据处理器或者计算机。本发明图像采集板卡的数据接口与微光相机的信号输出接口匹配，触发电平信号通过板载FPGA芯片以一定帧率生成并发往两台微光相机；图像数据通过LVDS接口接收，进行左右帧图像拼接后通过图像采集板卡的USB接口传出到后端数据处理计算机或处理板中。
上述微光双目相机按照如下步骤装配：
步骤1：选用两款同样型号的微光探测器，其信号输出接口为数字接口(例如并行LVDS)，将两组镜头分别安装在两台微光探测器上，构成微光相机1和微光相机2。
步骤2：按照图1所示，将微光相机1和微光相机2安装在系统外形框架中，安装过程中调整微光相机的方向，使两个微光相机光轴基本处于平行共面，然后将微光相机与外形框架采用螺钉连接，保证稳固性。
步骤3：按照图1所示，安装图像采集板卡，将微光相机1和微光相机2的信号输出接口安装于图像采集板卡预留的LVDS接口上，将图像采集板卡的触发电平线分别与微光相机1和微光相机2的外触发接口连接；图像采集板卡上配置板载FPGA芯片，按照一定的帧频同时向微光相机1和微光相机2发送外触发电平信号。
步骤4：将图像采集板卡的USB输出端与后端处理计算机相连接，配置图像采集软件进行双目图像同步采集，采集到的图像作为微光双目匹配及测距算法的输入信息。
步骤5：微光双目相机的参数标定；
由于微光双目相机在正常光照条件下也可以成像，因此对于微光双目相机的标定与对普通双目相机的标定方法一致。可以用微光双目相机采集棋盘格标定板不同角度和距离的图像，并使用现有相机标定软件(例如加州理工大学的Matlab标定工具箱)进行标定。根据标定工具箱获取微光双目相机的内部和外部参数，内部参数包括两台微光相机的焦距、主点位置、畸变系数,外部参数包括基线长度、相对的平移和旋转关系等参数；根据这些参数，可以结合相机模型对两幅输入图像进行极线校正。本步骤的具体实现过程与普通双目相机完全相同，从事过双目立体视觉研究的普通技术人员均可以轻易理解，这里不再赘述。
二、算法软件部分
本发明用于微光双目图像测距的匹配测速算法软件具有图像预处理、颜色纹理特征预匹配、半全局匹配优化和视差提精等功能，其算法流程如图2所示，具体可按照如下步骤实现：
步骤1：获取两幅满足极线约束的微光双目图像；
搭建好本发明的微光双目立体视觉系统并完成标定和极线校正后，分别利用微光相机1和微光相机2获取两幅原始图像IL和IR，对这两幅图像进行极线校正获得图像IL1和IR1，如图6所示；根据微光相机参数和具体应用场景，设置视差搜索范围[dmin，dmax]。
与图6同样场景下使用手机拍摄的图像几乎全黑，无法看到任何物体；图6所示微光双目图像的局部放大图如图7所示，可以看出微光双目相机拍摄的图像信噪比偏低，随机噪声比较多，并且两幅图像的局部亮度差异比较明显。这样的图像质量对传统的双目匹配方法带来了很大的挑战。本发明设计的双目图像匹配算法采用了对随机噪声具有鲁棒性的特征以及视差传播方法，能够更好地应对较低低质量的微光图像。利用本发明中的算法对这组图像进行处理后，计算出的最终视差图如图8所示。
步骤2：图像预处理；
图像预处理部分包括直方图均衡化和高斯滤波两步，其中直方图均衡化用于校正两幅图像的动态范围，使双目视觉的左右两幅图像不会因为探测器响应强度不一致而产生亮度差异；此外，直方图均衡化还能够增强图像内部的对比度，使图像边缘更加清晰，更有利于特征匹配。高斯滤波主要用于降低微光图像采集过程中产生的随机噪声，从而增强纹理特征匹配以及颜色特征匹配的准确度；在进行高斯滤波时，滤波模板参数根据目标的成像尺寸等情况设置，通常情况下，滤波模板尺寸可以设置为7×7(单位是像素)，标准差设置为2。对图像IL1和IR1均依次进行直方图均衡化和高斯滤波，获得预处理后的图像IL2和图像IR2。
步骤3：分别从图像IL2和图像IR2中提取每个像素点的Census描述子；
参见图3，利用Census描述子作为纹理特征，设置窗口大小为11×11(单位是像素)的滑动窗口进行计算，基于Census变换，计算窗口内每个像素点与中心像素点灰度值的差值，将该差值与设置的阈值a进行比较，再利用两个二进制数来表示比较结果，大于a设置为10，小于-a设置为01，介于-a和a之间设置为00。这样每个窗口内的图像块均转化为一个长度为242(11x11x2)的二进制描述子，该描述子代表了中心像素点周围的纹理特征信息。由于设置了介于-a和a之间的中间态，这种描述子对噪声具有更好的鲁棒性。在实际操作中，如果输入的图像是彩色图像，则可以对像素点的R,G,B三个通道分别提取描述子，并将三个描述子连接起来。在其他实施例中，窗口大小可以根据图像分辨率进行调整，一般选择在5x5到21x21之间，相应的，每个窗口内的图像块均转换为长度为(5×5×2)～(11×11×2)的二进制描述子。
步骤4：获取视差空间图C；
4.1在视差搜索范围[dmin，dmax]中某一个视差值d1下，对于图像IL2中每个像素点p(x,y)，计算其与图像IR2中的对应像素点q(x+d,y)的匹配代价，其中x和y分别为图像中像素点的水平坐标和垂直坐标，其定义如图4所示。匹配代价的具体计算方法如下：
4.1.1计算像素点p和q的纹理匹配代价Ct(p,d)，其为这两点对应Census描述子的汉明距离；
4.1.2计算像素点p和q的颜色匹配代价Cc(p,d)，其为这两点颜色差异的绝对值；
4.1.3由于Ct(p,d)和Cc(p,d)的取值范围不同，因此对其按照以下方式进行融合，得到匹配代价C(p,d)：
C(p,d)＝ρ(Ct(p,d),λt)+ρ(Cc(p,d),λc) (1)
其中，λt和λc为预设的参数，这两个参数根据匹配代价的取值范围进行选择，参数的数量级要和匹配代价的数量级相同，且λt需要大于λc。在本发明的实现过程中，两个参数分别取40和10，
ρ(c,λ)＝1-exp(-c/λ) (2)
4.2在视差搜索范围[dmin，dmax]内其余视差值di下，i＝2,3,4...,n，按照步骤4.1的方法分别计算图像IL2中每个像素点p(x,y)与图像IR2中的对应像素点q(x+di,y)的匹配代价，得到视差空间图C；视差空间图C为三维，前两维对应图像的空间坐标x,y，第三维的每一层都是在某一视差d下，图像IL2像素点p(x,y)和IR2对应像素点q(x+di,y)的匹配代价。
步骤5：半全局匹配代价优化；
在获得视差空间图C后，进行半全局匹配代价优化，将局部特征计算得到的代价信息进行半全局传播，从而提高整体图像匹配的准确性。半全局匹配通过8个方向(实际上，方向越多越好，但是考虑到实现难度，8个方向比较合适，且与像素的8个领域一致)的一维信息传播来实现二维图像的整体信息传播，利用动态规划来实现。图5为8个方向的视差传播示意图。
以自上而下的传播方向为例，从视差空间图的第二行开始，根据下列公式(3)计算每个像素点p在各个视差d下的代价Lr(p,d)：
其中p-r代表点p在该方向上的前序，即其上方的邻域点；k为视差d的所有取值；r取值范围为8个视差传播方向；P1和P2均为惩罚项，分别是对相邻像素点视差相差1以及视差相差超过1的情况进行惩罚，目的是为了让相近点的视差尽可能保持一致或接近；为了更好的处理视差不连续区域，本发明根据图像的颜色信息来自适应这两个惩罚项的值，对于图像IL2和IR2中p点和p-r点颜色都接近的情况，惩罚最大；若图像IL2和IR2中有一幅图p点和p-r点颜色差异较大，则降低惩罚项；若图像IL2和IR2中p点和p-r点颜色差异都很大，则再次降低惩罚项；自上而下依次计算每一行的代价，从而形成该方向的聚合代价。从公式(3)可以看出，每一行的计算都用到了前面行的信息，因此依次计算每一行的过程就是代价聚合的过程。
其他方向的代价传播和聚合代价的计算可以按照上述自上而下的传播方向的类似方式进行，只是起始位置和邻域选择的方式不同。自下而上的传播是从倒数第二行开始进行，像素的前序为其下邻域；自左向右传播是从第一列开始进行，像素的前序为其左邻域；斜向右下的传播可以从第二行或者第二列开始进行，像素的前序为其左上邻域，依次类推可以完成8个方向的信息传播。这8个方向的代价计算可以并行完成，在每个方向内，不在同一传播线上的点的代价计算也可以并行完成。
步骤6：计算出所有方向的聚合代价后，将其累加得到最终的聚合代价。由于不同像素以及每个方向的传播路径长度不同，为了保证聚合结果的准确性，将每个像素的聚合代价除以其传播路径的长度，最终的聚合结果为优化的视差空间图S(p，d)：
其中Nr(p)为像素点p在r方向累加过程中的路径长度。
步骤7：利用WTA(Winner-Take-All)的方法获得视差图DL，具体计算方法为在视差空间图S(p，d)中，选取每个像素点p匹配代价最小的视差，即得到视差图DL。
步骤8：L-R交叉验证，用于剔除错误匹配的点，具体方法为：
8.1交换图像IL2和图像IR2，重复步骤4～步骤7，获得视差图DR；
8.2依次验证视差图DL中的点(x，y)和其在视差图DR中的对应点(x+DL(x，y)，y)的视差是否一致，若其相差超过1，则认为交叉验证失败，将DL中该点视差置为NAN或-1；若相差不超过1则保留原值。
步骤9：空洞填充，用于对均匀视差区域内部进行填补，具体方法为：
利用周边区域生长的方式填补视差图DL中，在交叉验证时形成的空洞(-1或NAN)。
步骤10：引导滤波，利用图像的轮廓信息进一步提高视差计算的整体准确性，具体方法为：
以图像IL2作为引导图，对交叉验证且空洞填充后的视差图DL进行引导滤波，以完成视差图优化提精，得到最终的视差图。具体方法和现有经典的引导滤波方法完全一致，可以利用成熟的快速实现方法完成，在此不再详述。
步骤11：基于所述最终的视差图，以及前述第一部分步骤5中标定得到的两台微光相机的内部和外部参数，可以利用投影公式计算出对应场景点的(X,Y,Z)坐标，具体计算方法和普通双目相机处理中，基于视差图计算场景点坐标的方法完全一致。
Claims (9)
1.基于微光双目相机的测距系统，其特征在于，包括：
微光双目相机，用于获取满足极线约束的微光双目图像IL1和IR1；
与微光双目相机相连的处理器或计算机；所述处理器或计算机上存储有微光双目匹配及测距程序，所述处理器或计算机执行所述程序时实现以下步骤：
步骤1：对图像IL1和IR1均依次进行直方图均衡化和高斯滤波，得到图像IL2和IR2；
步骤2：分别从图像IL2和图像IR2中提取每个像素点的Census描述子；
步骤3：基于所述Census描述子，获取视差空间图C；视差空间图C为三维，前两维对应图像的空间坐标x,y，第三维的每一层都是在某一视差d下，图像IL2像素点p(x,y)和图像IR2对应像素点q(x+di,y)的匹配代价C(p,d)；d∈[dmin，dmax]；
步骤4：对视差空间图C进行半全局匹配代价优化，得到视差空间图S(p，d)；
步骤5：基于视差空间图S(p，d)，利用WTA(Winner-Take-All)的方法获得视差图DL；
步骤6：对图像IL2和IR2进行交叉验证以剔除错误匹配的点；
步骤7：对视差图DL中视差值连续的区域内部空洞进行填充；
步骤8：以图像IL2作为引导图，对空洞填充后的视差图DL进行引导滤波，完成视差图优化提精，得到最终视差图；
步骤9：基于所述最终视差图，利用投影公式计算待测目标的(X,Y,Z)坐标。
2.根据权利要求1所述的基于微光双目相机的测距系统，其特征在于：所述微光双目相机包括系统外形框架、两台相同的微光探测器、两组镜头、一块图像采集板卡；
系统外形框架用于容纳固定微光探测器和图像采集板卡；
两台微光探测器的视场平行，且具有设定长度的基线；两组镜头分别安装在两台微光探测器上，构成两台微光相机；
两台微光相机的信号输出接口与图像采集板卡的LVDS接口相连，外触发接口与图像采集板卡的触发电平线相连；
图像采集板卡上配置有板载FPGA芯片，用于向两台微光相机同步发送触发电平信号，并收集整合两台微光相机传回的图像数据，再通过协议接口发往所述计算机或处理器。
3.基于微光双目相机的测距方法，其特征在于，包括以下步骤：
步骤1：搭建微光双目相机，要求构成微光双目相机中的两台微光探测器参数相同，视场平行；
步骤2：标定微光相机的参数；
步骤3：拍摄两幅原始图像IL和IR，进行极线校正后获得图像IL1和IR1；根据微光相机的参数和具体应用场景，设置视差搜索范围[dmin，dmax]；
步骤4：对图像IL1和IR1均依次进行直方图均衡化和高斯滤波，得到图像IL2和IR2；
步骤5：分别从图像IL2和图像IR2中提取每个像素点的Census描述子；
步骤6：基于所述Census描述子，获取视差空间图C；视差空间图C为三维，前两维对应图像的空间坐标x,y，第三维的每一层都是在某一视差d下，图像IL2像素点p(x,y)和图像IR2对应像素点q(x+di,y)的匹配代价C(p,d)；d∈[dmin，dmax]；
步骤7：对视差空间图C进行半全局匹配代价优化，得到视差空间图S(p，d)；
步骤8：基于视差空间图S(p，d)，利用WTA(Winner-Take-All)的方法获得视差图DL；
步骤9：对图像IL2和IR2进行交叉验证以剔除错误匹配的点；
步骤10：对视差图DL中视差值连续的区域内部空洞进行填充；
步骤11：以图像IL2作为引导图，对空洞填充后的视差图DL进行引导滤波，完成视差图优化提精，得到最终视差图；
步骤12：基于所述最终视差图，利用投影公式计算待测目标的(X,Y,Z)坐标。
4.根据权利要求3所述的基于微光双目相机的测距方法，其特征在于：所述步骤5中Census描述子的提取方法具体为：利用窗口大小为5×5～21×21的滑动窗口进行计算，基于Census变换，计算窗口内每个像素点与中心像素点灰度值的差值，将该差值与设置的阈值a进行比较，再利用两个二进制数来表示比较结果，大于a设置为10，小于-a设置为01，介于-a和a之间设置为00；这样每个窗口内的图像块均转化为一个长度为(5×5×2)～(11×11×2)的二进制描述子，即Census描述子。
5.根据权利要求3所述的基于微光双目相机的测距方法，其特征在于：所述步骤6中某一视差d下，图像IL2像素点p(x,y)和图像IR2对应像素点q(x+di,y)的匹配代价C(p,d)的获取方法为：
A.计算像素点p和q的纹理匹配代价Ct(p,d)，其为这两点对应Census描述子的汉明距离；
B.计算像素点p和q的颜色匹配代价Cc(p,d)，其为这两点颜色差异的绝对值；
C.按下述公式计算匹配代价C(p,d)：
C(p,d)＝ρ(Ct(p,d),λt)+ρ(Cc(p,d),λc)
式中，λt和λc为预设的参数，根据匹配代价C(p,d)的取值范围进行选择，数量级均和匹配代价的数量级相同，且λt应大于λc；
ρ(c,λ)＝1-exp(-c/λ)。
6.根据权利要求3所述的基于微光双目相机的测距方法，其特征在于：所述步骤7半全局匹配代价优化的方法具体为：
步骤7.1，分别在自上而下、自下而上、自左而右、自右而左、斜向右下、斜向左下、斜向右上和斜向左上至少8个视差传播方向，计算聚合代价；
步骤7.2，将步骤7.1中所有视差传播方向下的聚合代价累加，得到最终的聚合代价，进而得到优化的视差空间图S(p，d)。
7.根据权利要求6所述的基于微光双目相机的测距方法，其特征在于：所述步骤7.1中所有视差传播方向的聚合代价计算并行进行；在每个视差传播方向内，不在同一传播线上的像素点的聚合代价计算并行进行。
8.根据权利要求6或7所述的基于微光双目相机的测距方法，其特征在于：所述步骤7.1中，按下述公式计算某一个视差传播方向下聚合代价Lr(p,d)：
式中，p-r代表点p在该方向上的前序；
k为视差d的所有取值；
r为视差传播方向；
P1和P2均为惩罚项，分别是对相邻像素点视差相差1以及视差相差超过1的情况进行惩罚；
则所述步骤7.2中，视差空间图S(p，d)为：
其中Nr(p)为像素点p在r方向累加过程中的路径长度。
9.根据权利要求3所述的基于微光双目相机的测距方法，其特征在于：所述步骤9交叉验证的方法具体为：
步骤9.1，交换图像IL2和图像IR2，重复步骤6～步骤8，获得视差图DR；
步骤9.2，依次验证视差图DL中的点(x，y)和其在视差图DR中的对应点(x+DL(x，y)，y)的视差是否一致，若其相差超过1，则认为交叉验证失败，将其置为NAN或-1；若相差不超过1，则保留原值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711092606.2A CN107990878B (zh) | 2017-11-08 | 2017-11-08 | 基于微光双目相机的测距系统和测距方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711092606.2A CN107990878B (zh) | 2017-11-08 | 2017-11-08 | 基于微光双目相机的测距系统和测距方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107990878A CN107990878A (zh) | 2018-05-04 |
| CN107990878B true CN107990878B (zh) | 2019-08-27 |
Family
ID=62031205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711092606.2A Active CN107990878B (zh) | 2017-11-08 | 2017-11-08 | 基于微光双目相机的测距系统和测距方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107990878B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109091099A (zh) * | 2018-05-11 | 2018-12-28 | 上海交通大学 | 双目视觉的高清微型电子内窥镜系统 |
| CN108645375B (zh) * | 2018-06-05 | 2020-11-17 | 浙江零跑科技有限公司 | 一种用于车载双目系统快速车辆测距优化方法 |
| CN109029380B (zh) * | 2018-09-14 | 2019-12-03 | 中国科学院西安光学精密机械研究所 | 基于镀膜式多光谱相机的立体视觉系统及其标定测距方法 |
| CN109444056B (zh) * | 2018-10-30 | 2024-03-01 | 浙江大学 | 一种双目成像式水下光谱反射率原位测量装置及测量方法 |
| CN110345926B (zh) * | 2019-06-11 | 2020-04-24 | 武汉理工大学 | 一种相对定向-绝对定向中比例系数的求解算法 |
| CN111762155B (zh) * | 2020-06-09 | 2022-06-28 | 安徽奇点智能新能源汽车有限公司 | 车用测距系统及方法 |
| CN112889030A (zh) * | 2020-07-03 | 2021-06-01 | 深圳市大疆创新科技有限公司 | 图像处理方法、集成电路、装置及设备 |
| CN112203077B (zh) * | 2020-08-21 | 2021-12-14 | 中国科学院西安光学精密机械研究所 | 一种彩色微光多目立体视觉相机及其数据融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887589A (zh) * | 2010-06-13 | 2010-11-17 | 东南大学 | 一种基于立体视觉的实拍低纹理图像重建方法 |
| CN105551035A (zh) * | 2015-12-09 | 2016-05-04 | 深圳市华和瑞智科技有限公司 | 一种基于弱边缘与纹理分类的立体视觉匹配方法 |
| CN106228605A (zh) * | 2016-07-29 | 2016-12-14 | 东南大学 | 一种基于动态规划的立体匹配三维重建方法 |
| CN106228110A (zh) * | 2016-07-07 | 2016-12-14 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8125559B2 (en) * | 2008-05-25 | 2012-02-28 | Avistar Communications Corporation | Image formation for large photosensor array surfaces |
-
2017
- 2017-11-08 CN CN201711092606.2A patent/CN107990878B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887589A (zh) * | 2010-06-13 | 2010-11-17 | 东南大学 | 一种基于立体视觉的实拍低纹理图像重建方法 |
| CN105551035A (zh) * | 2015-12-09 | 2016-05-04 | 深圳市华和瑞智科技有限公司 | 一种基于弱边缘与纹理分类的立体视觉匹配方法 |
| CN106228110A (zh) * | 2016-07-07 | 2016-12-14 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
| CN106228605A (zh) * | 2016-07-29 | 2016-12-14 | 东南大学 | 一种基于动态规划的立体匹配三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107990878A (zh) | 2018-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107990878B (zh) | 基于微光双目相机的测距系统和测距方法 | |
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| CA3157194C (en) | Systems and methods for augmentation of sensor systems and imaging systems with polarization | |
| EP3438777B1 (en) | Method, apparatus and computer program for a vehicle | |
| CN101527046B (zh) | 一种运动检测方法、装置和系统 | |
| KR100513055B1 (ko) | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 | |
| KR101862199B1 (ko) | 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법 | |
| CN103868460A (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| KR101820259B1 (ko) | 시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램 | |
| CN107580163A (zh) | 一种双镜头黑光摄像机 | |
| CN103679707A (zh) | 基于双目相机视差图的道路障碍物检测系统及检测方法 | |
| CN111462128A (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| CN110674672B (zh) | 一种基于tof相机的多场景人数统计方法 | |
| CN112991369A (zh) | 基于双目视觉的行驶车辆外廓尺寸检测方法 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| Garro et al. | A novel interpolation scheme for range data with side information | |
| CN103453890A (zh) | 一种基于尾灯检测的夜间车距测量方法 | |
| KR101281003B1 (ko) | 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법 | |
| CN117237553A (zh) | 一种基于点云图像融合的三维地图测绘系统 | |
| CN109029380B (zh) | 基于镀膜式多光谱相机的立体视觉系统及其标定测距方法 | |
| CN115690190B (zh) | 基于光流图像和小孔成像的运动目标检测与定位方法 | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
| CN113838111A (zh) | 一种道路纹理特征检测方法、装置与自动驾驶系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |