CN112734822B - 一种基于红外和可见光图像的立体匹配算法 - Google Patents

一种基于红外和可见光图像的立体匹配算法 Download PDF

Info

Publication number
CN112734822B
CN112734822B CN201911033699.0A CN201911033699A CN112734822B CN 112734822 B CN112734822 B CN 112734822B CN 201911033699 A CN201911033699 A CN 201911033699A CN 112734822 B CN112734822 B CN 112734822B
Authority
CN
China
Prior art keywords
image
images
segmentation
matching
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911033699.0A
Other languages
English (en)
Other versions
CN112734822A (zh
Inventor
徐江涛
常宇慧
史兴萍
于子涵
路凯歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201911033699.0A priority Critical patent/CN112734822B/zh
Publication of CN112734822A publication Critical patent/CN112734822A/zh
Application granted granted Critical
Publication of CN112734822B publication Critical patent/CN112734822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于红外和可见光图像的立体匹配算法，选择引入具有稳定性的基于相位一致性的边缘检测，采用拥有红外摄像头和可见光摄像头的双目系统采集同一时刻的图像，分别对左右图像进行图像均衡化处理，获得处理后的左右图像，随后使用高斯金字塔生成多尺度图像，在每个尺度空间内计算图像的分割树图结构，构造分割块内部的子树结构和全图的分割块树结构，并根据树节点和叶节点的关系聚合匹配代价，采用WTA（Winner Takes All，赢家通吃）算法计算获得最终的视差值。

Description

一种基于红外和可见光图像的立体匹配算法
技术领域
本发明涉及一种立体匹配方法，尤其是一种基于红外和可见光图像的立体匹配算法。
背景技术
立体匹配是计算机视觉系统的重要步骤之一。立体匹配通常包括四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。每一步使用不同的方法都可以产生不同性能的各种算法，一般来说可以分为局部匹配和全局匹配两种算法。
局部立体匹配算法结合了窗口内相邻像素的信息进行单像素的相似性计算，提取的信息量少，结构简单，运行效率高，但也存在着对噪声敏感，弱纹理、遮挡、视差不连续区域的误匹配率高的问题。
针对局部立体匹配算法的局限性，在基于互信息的图像匹配算法的基础上，加入对图像边缘的检测。大多数的图像边缘检测算法是以图像中每个像素在领域之内灰度的变化为依据，根据边缘附近的一阶或者二阶方向导数的变化规律来检测边缘的，但是这类检测方法会忽视线边缘和位于线边缘与阶跃边缘之间的边缘信息，导致检测到的边缘具有缺口或者毛刺等。
发明内容
针对现有技术存在的问题，本发明一种基于红外和可见光图像的立体匹配方法，具体流程如附图1。选择引入具有稳定性的基于相位一致性的边缘检测，采用拥有红外摄像头和可见光摄像头的双目系统采集同一时刻的图像，分别对左右图像进行图像均衡化处理，获得处理后的左右图像，随后使用高斯金字塔生成多尺度图像，在每个尺度空间内计算图像的分割树图结构，构造分割块内部的子树结构和全图的分割块树结构，并根据树节点和叶节点的关系聚合匹配代价，采用WTA(Winner Takes All，赢家通吃)算法计算获得最终的视差值。
一种基于红外和可见光图像的立体匹配算法，具体步骤为：
步骤一、图像均衡化处理
考虑到多光谱图像像素灰度之间的非线性关系，采用自适应均衡化处理来提高图像的相似度，将图像分成一个个小窗口，对每个小窗口中的像素进行直方图均衡化，同时限制图像的对比度来避免自适应方法的噪声过度放大问题；
步骤二、使用高斯金字塔生成多尺度图像
采用高斯图像金字塔对图像均衡化处理后获得的图像连续下采样，获得多个尺度的图像；原理是使用高斯滤波器对输入的双目图像进行卷积平滑操作，设置一个模板来扫描图像中的所有像素，使用领域内像素灰度的加权平均值来填充扫描像素的灰度值：
其中σ2和滤波器窗口的大小相关，表示领域内像素的标准差；随后对前一尺度图像以拒绝偶数的行和列的方法下采样，每个尺度图像为上一个尺度的一半，就完成了图像金字塔的框架，随后在每个尺度图像空间上计算匹配代价；
步骤三、基于相位一致性和互信息的匹配代价计算
在某匹配窗口中的互信息计算为：
其中，ωl是以红外图像特征点为中心的基准窗口，ωr是可见光图像中以待匹配点为中心的匹配窗口，分别是匹配窗口内红外图像，可见光图像的边缘概率密度，/>为两个图像匹配窗口内的联合概率密度；
为了对比两个图像的相位一致性相似度，采用如下一个相似性函数：
其中PC(ωl)表示在红外图像内以特征点为中心的基准窗口中所有像素的相位一致性，PC(ωr(i))表示在可见光图像内以待匹配点i为中心的匹配窗口中所有像素的相位一致性，||PC(ωl)||，||PC(ωr(i))||，表示各自的欧几里得范数；
将互信息与相位一致性结合后在互信息的基础上加入了像素的空间信息：
其中，ωl是以红外图像特征点为中心的基准窗口，ωr(i)是可见光图像中以待匹配点为中心的匹配窗口,和/>分别代表MI和PC的均值，Zi代表两个匹配窗口中像素的相关程度；
步骤四、分割树聚合匹配代价
在金字塔每一层上利用分割树结构聚合像素的匹配代价值，图分割算法是基于最小生成树的算法，对图像进行处理，结束分割后，每个树结构都代表一个分割块，然后将每个子树视为一个个节点，在节点的基础上继续坐一个最小生成树，因此图分割得到多层的最小生成树，可以视为在每个尺度空间内的约束；
图分割的步骤如图2所示：
首先输入左右图像并分别表示为赋权图G＝(V，E)，其中每一个像素是一个节点，V是所有节点的集合，边连接任意一对节点，E表示所有边的集合；随后按初始化设置每个节点为一个分割块，包含一个子树Ti＝(Vi，Ei)：Ti＝{vi}，设置分割树集合T＝(V，E′)，按权重升序排列集合E中的边；其次遍历E中所有的边，建立图像的分割子树结构，判断每个边连接的节点是否属于同一个分割块；最后遍历不在分割块子树内的边，连接分割块子树组成分层分割树；
步骤五、多尺度一致性约束
使用图割法在各个尺度空间聚合匹配代价，然后对各个尺度图像的聚合代价进行正则化约束，合并到原始尺度空间，作为最终匹配代价值，使用WTA(Winner Takes All，赢家通吃)算法获得最终的视差值。
本发明考虑到可见光和红外图像具有的不同优势，结合两者的优势，针对多光谱图像成像原理的不同，采用互信息与相位一致性结合的方法作为图像匹配的相似性测度，在互信息的基础上加入边缘信息，提高了匹配的精度。提高了代价聚合的鲁棒性，使用金字塔图像作为算法框架，使用图分割算法在每个尺度上进行代价聚合，显著减少了立体匹配在弱纹理区域和图像边缘的误匹配率，并且可以提高算法的实时性。
附图说明
图1是一种基于红外和可见光图像的立体匹配方法的整体结构设计；
图2是图分割算法流程。
具体实施方式
为了更好地进行立体匹配，采用两个摄像头搭建双目系统，为了减少计算的复杂度，摄像头尽量保持水平，采用三角支架进行固定，左侧为可见光相机，右侧为红外相机。红外摄像头焦距选定为25mm，测温范围为-20℃～+150℃。可见光摄像头焦距选定为18mm～55mm。整体实施方式如附图1，首先对左右相机采集到的原始图像采用高斯图像金字塔进行连续下采样，得到多个尺度的图像，接下来在多个尺度空间计算匹配代价，随后在金字塔的每一层上利用分割树结构进行代价聚合，每个尺度空间的代价聚合完毕后，再对多个尺度图像的代价进行聚合约束，合并到原始尺度空间，作为最终的匹配代价值。

Claims (2)

1.一种基于红外和可见光图像的立体匹配算法，其特征在于：具体步骤为：
步骤一、图像均衡化处理
考虑到多光谱图像像素灰度之间的非线性关系，采用自适应均衡化处理来提高图像的相似度，将图像分成一个个小窗口，对每个小窗口中的像素进行直方图均衡化，同时限制图像的对比度来避免自适应方法的噪声过度放大问题；
步骤二、使用高斯金字塔生成多尺度图像
采用高斯图像金字塔对图像均衡化处理后获得的图像连续下采样，获得多个尺度的图像；原理是使用高斯滤波器对输入的双目图像进行卷积平滑操作，设置一个模板来扫描图像中的所有像素，使用领域内像素灰度的加权平均值来填充扫描像素的灰度值：
其中σ2和滤波器窗口的大小相关，表示领域内像素的标准差；随后对前一尺度图像以拒绝偶数的行和列的方法下采样，每个尺度图像为上一个尺度的一半，就完成了图像金字塔的框架，随后在每个尺度图像空间上计算匹配代价；
步骤三、基于相位一致性和互信息的匹配代价计算
在某匹配窗口中的互信息计算为：
其中，ωl是以红外图像特征点为中心的基准窗口，ωr是可见光图像中以待匹配点为中心的匹配窗口，分别是匹配窗口内红外图像，可见光图像的边缘概率密度，为两个图像匹配窗口内的联合概率密度；
为了对比两个图像的相位一致性相似度，采用如下一个cos()相似性函数：
其中PC(ωl)表示在红外图像内以特征点为中心的基准窗口中所有像素的相位一致性，PC(ωr(i))表示在可见光图像内以待匹配点i为中心的匹配窗口中所有像素的相位一致性，||PC(ωl)||，||PC(ωr(i))||表示各自的欧几里得范数；
将互信息与相位一致性结合后在互信息的基础上加入了像素的空间信息：
其中，ωl是以红外图像特征点为中心的基准窗口，ωr(i)是可见光图像中以待匹配点为中心的匹配窗口,和/>分别代表MI和PC的均值，Zi代表两个匹配窗口中像素的相关程度；
步骤四、分割树聚合匹配代价
在金字塔每一层上利用分割树结构聚合像素的匹配代价值，图分割算法是基于最小生成树的算法，对图像进行处理，结束分割后，每个树结构都代表一个分割块，然后将每个子树视为一个个节点，在节点的基础上继续坐一个最小生成树，因此图分割得到多层的最小生成树，可以视为在每个尺度空间内的约束；
步骤五、多尺度一致性约束
使用图割法在各个尺度空间聚合匹配代价，然后对各个尺度图像的聚合代价进行正则化约束，合并到原始尺度空间，作为最终匹配代价值，使用WTA(WinnerTakesAll，赢家通吃)算法获得最终的视差值。
2.根据权利要求1所述一种基于红外和可见光图像的立体匹配算法，其特征在于：图分割的步骤为：
首先输入左右图像并分别表示为赋权图G＝(V，E)，其中每一个像素是一个节点，V是所有节点的集合，边连接任意一对节点，E表示所有边的集合；
随后按初始化设置每个节点为一个分割块，包含一个子树Ti＝(Vi，Ei)：Ti＝{vi}，设置分割树集合T＝(V，E′)，/>按权重升序排列集合E中的边；
其次遍历E中所有的边，建立图像的分割子树结构，判断每个边连接的节点是否属于同一个分割块；
最后遍历不在分割块子树内的边，连接分割块子树组成分层分割树。
CN201911033699.0A 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法 Active CN112734822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033699.0A CN112734822B (zh) 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033699.0A CN112734822B (zh) 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法

Publications (2)

Publication Number Publication Date
CN112734822A CN112734822A (zh) 2021-04-30
CN112734822B true CN112734822B (zh) 2023-07-18

Family

ID=75589373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033699.0A Active CN112734822B (zh) 2019-10-28 2019-10-28 一种基于红外和可见光图像的立体匹配算法

Country Status (1)

Country Link
CN (1) CN112734822B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920325B (zh) * 2021-12-13 2022-05-13 广州微林软件有限公司 一种基于红外图像特征点减少物体识别图像量的方法
CN114092506B (zh) * 2022-01-20 2022-04-15 北京微链道爱科技有限公司 具有3d特征的扫描装置及扫描方法
CN115063467B (zh) * 2022-08-08 2022-11-15 煤炭科学研究总院有限公司 煤矿井下高分辨率图像视差估计方法及装置
CN117056377B (zh) * 2023-10-09 2023-12-26 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761270A (zh) * 2016-03-15 2016-07-13 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761270A (zh) * 2016-03-15 2016-07-13 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于TOF与立体匹配相融合的高分辨率深度获取;刘娇丽等;《信息技术》;20161231;第190-193页 *

Also Published As

Publication number Publication date
CN112734822A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112734822B (zh) 一种基于红外和可见光图像的立体匹配算法
CA3121440C (en) Assembly body change detection method, device and medium based on attention mechanism
CN101625768B (zh) 一种基于立体视觉的三维人脸重建方法
CN103236082B (zh) 面向捕获静止场景的二维视频的准三维重建方法
Bradley et al. Accurate multi-view reconstruction using robust binocular stereo and surface meshing
CN104156957A (zh) 一种稳定高效的高分辨率立体匹配方法
Smith et al. Stereo matching with nonparametric smoothness priors in feature space
CN108596975A (zh) 一种针对弱纹理区域的立体匹配算法
Kumari et al. A survey on stereo matching techniques for 3D vision in image processing
AliAkbarpour et al. Fast structure from motion for sequential and wide area motion imagery
CN104182968A (zh) 宽基线多阵列光学探测系统模糊动目标分割方法
CN102447917A (zh) 立体图像匹配方法及其设备
CN110111375A (zh) 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置
Hu et al. Texture-aware dense image matching using ternary census transform
CN108010075A (zh) 一种基于多特征联合的局部立体匹配方法
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN112946679A (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
Zhu et al. Local readjustment for high-resolution 3d reconstruction
CN117115336A (zh) 一种基于遥感立体影像的点云重建方法
CN111783834A (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
CN114120012A (zh) 一种基于多特征融合和树形结构代价聚合的立体匹配方法
CN113313740A (zh) 一种基于平面连续性的视差图和表面法向量联合学习方法
CN101523436A (zh) 用于恢复视频流中的视差的方法和滤波器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant