CN112734822A - 一种基于红外和可见光图像的立体匹配算法 - Google Patents

一种基于红外和可见光图像的立体匹配算法 Download PDF

Info

Publication number
CN112734822A
CN112734822A CN201911033699.0A CN201911033699A CN112734822A CN 112734822 A CN112734822 A CN 112734822A CN 201911033699 A CN201911033699 A CN 201911033699A CN 112734822 A CN112734822 A CN 112734822A
Authority
CN
China
Prior art keywords
image
matching
images
scale
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911033699.0A
Other languages
English (en)
Other versions
CN112734822B (zh
Inventor
徐江涛
常宇慧
史兴萍
于子涵
路凯歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201911033699.0A priority Critical patent/CN112734822B/zh
Publication of CN112734822A publication Critical patent/CN112734822A/zh
Application granted granted Critical
Publication of CN112734822B publication Critical patent/CN112734822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

一种基于红外和可见光图像的立体匹配算法，选择引入具有稳定性的基于相位一致性的边缘检测，采用拥有红外摄像头和可见光摄像头的双目系统采集同一时刻的图像，分别对左右图像进行图像均衡化处理，获得处理后的左右图像，随后使用高斯金字塔生成多尺度图像，在每个尺度空间内计算图像的分割树图结构，构造分割块内部的子树结构和全图的分割块树结构，并根据树节点和叶节点的关系聚合匹配代价，采用WTA（Winner Takes All，赢家通吃）算法计算获得最终的视差值。

Description

一种基于红外和可见光图像的立体匹配算法
技术领域
本发明涉及一种立体匹配方法，尤其是一种基于红外和可见光图像的立体匹配算法。
背景技术
立体匹配是计算机视觉系统的重要步骤之一。立体匹配通常包括四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。每一步使用不同的方法都可以产生不同性能的各种算法，一般来说可以分为局部匹配和全局匹配两种算法。
局部立体匹配算法结合了窗口内相邻像素的信息进行单像素的相似性计算，提取的信息量少，结构简单，运行效率高，但也存在着对噪声敏感，弱纹理、遮挡、视差不连续区域的误匹配率高的问题。
针对局部立体匹配算法的局限性，在基于互信息的图像匹配算法的基础上，加入对图像边缘的检测。大多数的图像边缘检测算法是以图像中每个像素在领域之内灰度的变化为依据，根据边缘附近的一阶或者二阶方向导数的变化规律来检测边缘的，但是这类检测方法会忽视线边缘和位于线边缘与阶跃边缘之间的边缘信息，导致检测到的边缘具有缺口或者毛刺等。
发明内容
针对现有技术存在的问题，本发明一种基于红外和可见光图像的立体匹配方法，具体流程如附图1。选择引入具有稳定性的基于相位一致性的边缘检测，采用拥有红外摄像头和可见光摄像头的双目系统采集同一时刻的图像，分别对左右图像进行图像均衡化处理，获得处理后的左右图像，随后使用高斯金字塔生成多尺度图像，在每个尺度空间内计算图像的分割树图结构，构造分割块内部的子树结构和全图的分割块树结构，并根据树节点和叶节点的关系聚合匹配代价，采用WTA（Winner Takes All，赢家通吃）算法计算获得最终的视差值。
一种基于红外和可见光图像的立体匹配算法，具体步骤为：
步骤一、图像均衡化处理
考虑到多光谱图像像素灰度之间的非线性关系，采用自适应均衡化处理来提高图像的相似度，将图像分成一个个小窗口，对每个小窗口中的像素进行直方图均衡化，同时限制图像的对比度来避免自适应方法的噪声过度放大问题；
步骤二、使用高斯金字塔生成多尺度图像
采用高斯图像金字塔对图像均衡化处理后获得的图像连续下采样，获得多个尺度的图像；原理是使用高斯滤波器对输入的双目图像进行卷积平滑操作，设置一个模板来扫描图像中的所有像素，使用领域内像素灰度的加权平均值来填充扫描像素的灰度值：
Figure 162267DEST_PATH_IMAGE001
其中
Figure 452434DEST_PATH_IMAGE002
和滤波器窗口的大小相关，表示领域内像素的标准差；随后对前一尺度图像以拒绝偶数的行和列的方法下采样，每个尺度图像为上一个尺度的一半，就完成了图像金字塔的框架，随后在每个尺度图像空间上计算匹配代价；
步骤三、基于相位一致性和互信息的匹配代价计算
在某匹配窗口中的互信息计算为：
Figure 552240DEST_PATH_IMAGE003
其中，
Figure 583649DEST_PATH_IMAGE004
是以红外图像特征点为中心的基准窗口，
Figure 689752DEST_PATH_IMAGE005
是可见光图像中以待匹配点为中心的匹配窗口，
Figure 100005DEST_PATH_IMAGE006
分别是匹配窗口内红外图像，可见光图像的边缘概率密度，
Figure 400405DEST_PATH_IMAGE007
为两个图像匹配窗口内的联合概率密度；
为了对比两个图像的相位一致性相似度，采用如下一个
Figure 263319DEST_PATH_IMAGE008
相似性函数：
Figure 176043DEST_PATH_IMAGE009
其中
Figure 706381DEST_PATH_IMAGE010
表示在红外图像内以特征点为中心的基准窗口中所有像素的相位一致性，
Figure 177683DEST_PATH_IMAGE011
表示在可见光图像内以待匹配点i 为中心的匹配窗口中所有像素的相位一致性，
Figure 262313DEST_PATH_IMAGE012
表示各自的欧几里得范数；
将互信息与相位一致性结合后在互信息的基础上加入了像素的空间信息：
Figure 975798DEST_PATH_IMAGE013
其中，
Figure 95064DEST_PATH_IMAGE014
是以红外图像特征点为中心的基准窗口，
Figure 471687DEST_PATH_IMAGE015
是可见光图像中以待匹配点为中心的匹配窗口,
Figure 309193DEST_PATH_IMAGE016
和
Figure 563719DEST_PATH_IMAGE017
分别代表
Figure 458863DEST_PATH_IMAGE018
和
Figure 288279DEST_PATH_IMAGE019
的均值，
Figure 372602DEST_PATH_IMAGE020
代表两个匹配窗口中像素的相关程度；
步骤四、分割树聚合匹配代价
在金字塔每一层上利用分割树结构聚合像素的匹配代价值，图分割算法是基于最小生成树的算法，对图像进行处理，结束分割后，每个树结构都代表一个分割块，然后将每个子树视为一个个节点，在节点的基础上继续坐一个最小生成树，因此图分割得到多层的最小生成树，可以视为在每个尺度空间内的约束；
图分割的步骤如图2所示：
首先输入左右图像并分别表示为赋权图
Figure 804721DEST_PATH_IMAGE021
，其中每一个像素是一个节点，V是所有节点的集合，边连接任意一对节点，E表示所有边的集合；随后按初始化设置每个节点为一个分割块，包含一个子树
Figure 383732DEST_PATH_IMAGE022
设置分割树集合
Figure 587311DEST_PATH_IMAGE023
按权重升序排列集合E中的边；其次遍历E中所有的边，建立图像的分割子树结构，判断每个边连接的节点是否属于同一个分割块；最后遍历不在分割块子树内的边，连接分割块子树组成分层分割树；
步骤五、多尺度一致性约束
使用图割法在各个尺度空间聚合匹配代价，然后对各个尺度图像的聚合代价进行正则化约束，合并到原始尺度空间，作为最终匹配代价值，使用WTA（Winner Takes All，赢家通吃）算法获得最终的视差值。
本发明考虑到可见光和红外图像具有的不同优势，结合两者的优势，针对多光谱图像成像原理的不同，采用互信息与相位一致性结合的方法作为图像匹配的相似性测度，在互信息的基础上加入边缘信息，提高了匹配的精度。提高了代价聚合的鲁棒性，使用金字塔图像作为算法框架，使用图分割算法在每个尺度上进行代价聚合，显著减少了立体匹配在弱纹理区域和图像边缘的误匹配率，并且可以提高算法的实时性。
附图说明
图1是一种基于红外和可见光图像的立体匹配方法的整体结构设计；
图2是图分割算法流程。
具体实施方式
为了更好地进行立体匹配，采用两个摄像头搭建双目系统，为了减少计算的复杂度，摄像头尽量保持水平，采用三角支架进行固定，左侧为可见光相机，右侧为红外相机。红外摄像头焦距选定为25mm，测温范围为-20℃~+150℃。可见光摄像头焦距选定为18mm~55mm。整体实施方式如附图1，首先对左右相机采集到的原始图像采用高斯图像金字塔进行连续下采样，得到多个尺度的图像，接下来在多个尺度空间计算匹配代价，随后在金字塔的每一层上利用分割树结构进行代价聚合，每个尺度空间的代价聚合完毕后，再对多个尺度图像的代价进行聚合约束，合并到原始尺度空间，作为最终的匹配代价值。

Claims (2)

1.一种基于红外和可见光图像的立体匹配算法，其特征在于：具体步骤为：
步骤一、图像均衡化处理
考虑到多光谱图像像素灰度之间的非线性关系，采用自适应均衡化处理来提高图像的相似度，将图像分成一个个小窗口，对每个小窗口中的像素进行直方图均衡化，同时限制图像的对比度来避免自适应方法的噪声过度放大问题；
步骤二、使用高斯金字塔生成多尺度图像
采用高斯图像金字塔对图像均衡化处理后获得的图像连续下采样，获得多个尺度的图像；原理是使用高斯滤波器对输入的双目图像进行卷积平滑操作，设置一个模板来扫描图像中的所有像素，使用领域内像素灰度的加权平均值来填充扫描像素的灰度值：
Figure 192501DEST_PATH_IMAGE001
其中
Figure 407844DEST_PATH_IMAGE002
和滤波器窗口的大小相关，表示领域内像素的标准差；随后对前一尺度图像以拒绝偶数的行和列的方法下采样，每个尺度图像为上一个尺度的一半，就完成了图像金字塔的框架，随后在每个尺度图像空间上计算匹配代价；
步骤三、基于相位一致性和互信息的匹配代价计算
在某匹配窗口中的互信息计算为：
Figure 843374DEST_PATH_IMAGE003
其中，
Figure 35321DEST_PATH_IMAGE004
是以红外图像特征点为中心的基准窗口，
Figure 4020DEST_PATH_IMAGE005
是可见光图像中以待匹配点为中心的匹配窗口，
Figure 623220DEST_PATH_IMAGE006
分别是匹配窗口内红外图像，可见光图像的边缘概率密度，
Figure 421412DEST_PATH_IMAGE007
为两个图像匹配窗口内的联合概率密度；
为了对比两个图像的相位一致性相似度，采用如下一个
Figure 184094DEST_PATH_IMAGE008
相似性函数：
Figure 774344DEST_PATH_IMAGE009
其中
Figure 830025DEST_PATH_IMAGE010
表示在红外图像内以特征点为中心的基准窗口中所有像素的相位一致性，
Figure 614048DEST_PATH_IMAGE011
表示在可见光图像内以待匹配点i 为中心的匹配窗口中所有像素的相位一致性，
Figure 413377DEST_PATH_IMAGE012
表示各自的欧几里得范数；
将互信息与相位一致性结合后在互信息的基础上加入了像素的空间信息：
Figure 999079DEST_PATH_IMAGE013
其中，
Figure 586180DEST_PATH_IMAGE014
是以红外图像特征点为中心的基准窗口，
Figure 890122DEST_PATH_IMAGE015
是可见光图像中以待匹配点为中心的匹配窗口,
Figure 227563DEST_PATH_IMAGE016
和
Figure 402192DEST_PATH_IMAGE017
分别代表
Figure 829369DEST_PATH_IMAGE018
和
Figure 89449DEST_PATH_IMAGE019
的均值，
Figure 230581DEST_PATH_IMAGE020
代表两个匹配窗口中像素的相关程度；
步骤四、分割树聚合匹配代价
在金字塔每一层上利用分割树结构聚合像素的匹配代价值，图分割算法是基于最小生成树的算法，对图像进行处理，结束分割后，每个树结构都代表一个分割块，然后将每个子树视为一个个节点，在节点的基础上继续坐一个最小生成树，因此图分割得到多层的最小生成树，可以视为在每个尺度空间内的约束；
步骤五、多尺度一致性约束
使用图割法在各个尺度空间聚合匹配代价，然后对各个尺度图像的聚合代价进行正则化约束，合并到原始尺度空间，作为最终匹配代价值，使用WTA（Winner Takes All，赢家通吃）算法获得最终的视差值。
2.根据权利要求1所述一种基于红外和可见光图像的立体匹配算法，其特征在于：图分割的步骤为：
首先输入左右图像并分别表示为赋权图
Figure 885815DEST_PATH_IMAGE021
，其中每一个像素是一个节点，V是所有节点的集合，边连接任意一对节点，E表示所有边的集合；
随后按初始化设置每个节点为一个分割块，包含一个子树
Figure 719779DEST_PATH_IMAGE022
设置分割树集合
Figure 732734DEST_PATH_IMAGE023
按权重升序排列集合E中的边；
其次遍历E中所有的边，建立图像的分割子树结构，判断每个边连接的节点是否属于同一个分割块；
最后遍历不在分割块子树内的边，连接分割块子树组成分层分割树。
CN201911033699.0A 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法 Active CN112734822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033699.0A CN112734822B (zh) 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033699.0A CN112734822B (zh) 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法

Publications (2)

Publication Number Publication Date
CN112734822A true CN112734822A (zh) 2021-04-30
CN112734822B CN112734822B (zh) 2023-07-18

Family

ID=75589373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033699.0A Active CN112734822B (zh) 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法

Country Status (1)

Country Link
CN (1) CN112734822B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920325A (zh) * 2021-12-13 2022-01-11 广州微林软件有限公司 一种基于红外图像特征点减少物体识别图像量的方法
CN114092506A (zh) * 2022-01-20 2022-02-25 北京微链道爱科技有限公司 具有3d特征的扫描装置及扫描方法
CN115063467A (zh) * 2022-08-08 2022-09-16 煤炭科学研究总院有限公司 煤矿井下高分辨率图像视差估计方法及装置
CN117056377A (zh) * 2023-10-09 2023-11-14 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761270A (zh) * 2016-03-15 2016-07-13 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761270A (zh) * 2016-03-15 2016-07-13 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘娇丽等: "基于TOF与立体匹配相融合的高分辨率深度获取", 《信息技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920325A (zh) * 2021-12-13 2022-01-11 广州微林软件有限公司 一种基于红外图像特征点减少物体识别图像量的方法
CN114092506A (zh) * 2022-01-20 2022-02-25 北京微链道爱科技有限公司 具有3d特征的扫描装置及扫描方法
CN114092506B (zh) * 2022-01-20 2022-04-15 北京微链道爱科技有限公司 具有3d特征的扫描装置及扫描方法
CN115063467A (zh) * 2022-08-08 2022-09-16 煤炭科学研究总院有限公司 煤矿井下高分辨率图像视差估计方法及装置
CN117056377A (zh) * 2023-10-09 2023-11-14 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质
CN117056377B (zh) * 2023-10-09 2023-12-26 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质

Also Published As

Publication number Publication date
CN112734822B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Im et al. Dpsnet: End-to-end deep plane sweep stereo
CN112734822A (zh) 一种基于红外和可见光图像的立体匹配算法
US20220358334A1 (en) Assembly body change detection method, device and medium based on attention mechanism
CN101625768B (zh) 一种基于立体视觉的三维人脸重建方法
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
Bradley et al. Accurate multi-view reconstruction using robust binocular stereo and surface meshing
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN112800964B (zh) 基于多模块融合的遥感影像目标检测方法及系统
CN103996201A (zh) 一种基于改进梯度和自适应窗口的立体匹配方法
EP2293243A2 (en) Image processing apparatus, image capture apparatus, image processing method, and program
CN104156957A (zh) 一种稳定高效的高分辨率立体匹配方法
CN107004256A (zh) 用于噪声深度或视差图像的实时自适应滤波的方法和装置
Hu et al. Texture-aware dense image matching using ternary census transform
CN112946679A (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN114757862B (zh) 用于红外光场设备的图像增强渐进式融合方法
Xu et al. Real-time stereo vision system at nighttime with noise reduction using simplified non-local matching cost
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
CN114120012A (zh) 一种基于多特征融合和树形结构代价聚合的立体匹配方法
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
CN111783834B (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
CN112017221A (zh) 基于尺度空间的多模态图像配准方法、装置和设备
CN116682105A (zh) 一种毫米波雷达和视觉特征注意力融合的目标检测方法
CN116681742A (zh) 基于图神经网络的可见光与红外热成像图像配准方法
Zou et al. Automatic inpainting by removing fence-like structures in RGBD images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant