CN117834844A - 基于特征对应的双目立体匹配方法 - Google Patents

基于特征对应的双目立体匹配方法 Download PDF

Info

Publication number
CN117834844A
CN117834844A CN202410026510.XA CN202410026510A CN117834844A CN 117834844 A CN117834844 A CN 117834844A CN 202410026510 A CN202410026510 A CN 202410026510A CN 117834844 A CN117834844 A CN 117834844A
Authority
CN
China
Prior art keywords
image
parallax
pixel
cost
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410026510.XA
Other languages
English (en)
Other versions
CN117834844B (zh
Inventor
曾德俊
罗皓文
鲁贻龙
谢先宗
皮志勇
马富齐
王波
马恒瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Jingneng Power Transmission And Transformation Engineering Co ltd
Jingmen Shenghe Electric Power Survey And Design Co ltd
Wuhan University WHU
Jingmen Power Supply Co of State Grid Hubei Electric Power Co Ltd
Original Assignee
Hubei Jingneng Power Transmission And Transformation Engineering Co ltd
Jingmen Shenghe Electric Power Survey And Design Co ltd
Wuhan University WHU
Jingmen Power Supply Co of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Jingneng Power Transmission And Transformation Engineering Co ltd, Jingmen Shenghe Electric Power Survey And Design Co ltd, Wuhan University WHU, Jingmen Power Supply Co of State Grid Hubei Electric Power Co Ltd filed Critical Hubei Jingneng Power Transmission And Transformation Engineering Co ltd
Priority to CN202410026510.XA priority Critical patent/CN117834844B/zh
Publication of CN117834844A publication Critical patent/CN117834844A/zh
Application granted granted Critical
Publication of CN117834844B publication Critical patent/CN117834844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于电力系统智能分析技术领域，公开了一种基于特征对应的双目立体匹配方法，其特征在于：所述匹配方法包含以下步骤：第一步：获取左侧图像及右侧图像，并将右侧图像实现特征对应；第二步：计算匹配成本；第三步：将特征点添加到匹配成本，将对应的特征进行添加；第四步：总成本计算；第五步：视差计算；第六步：细化视差图像。本发明具有以下有益的技术效果：可以简单有效的方式将特征对应添加到两帧密集立体匹配框架中，可以提高视差结果。

Description

基于特征对应的双目立体匹配方法
技术领域
本发明属于电力系统智能分析技术领域，具体涉及一种基于特征对应的双目立体匹配方法。
背景技术
随着移动终端技术的日新月异，多种安全管控终端，包括安全管控球、执法仪、视频监控和智慧安全帽等移动安全管控设备在现场得到了越来越多的应用。但当前的这些安全管控设备主要起到视频监控与采集的功能，装置基本上没有智能分析能力，采集的视频数据严重依赖人工查看。越来越多的软件厂家开始把安全管控系统移植到移动设备上，于是在国内外陆续出现了为安全检查服务的移动终端设备。现有技术中的移动终端设备的系统通过安全检查人员配备的移动手持电脑中存放的安全检查软件，可以帮助安全检查人员执行安全检查过程中，快速便捷地查阅电力安全检查的标准，方便安全检查人员有据可依、有规可查。尽管国内的企业安全生产监督管理已取得了很大的进步，然而仍存在以下主要问题：严重依赖人工查看，效率低下。当前的执法仪、安全管控球等安全管控装置主要起到视频监控的作用，采集到的视频影像仍然依赖人工监看，监察人员的工作量大、重复以及由于受到人为因素的影响会导致漏看，效率极其低下。
CN109242911A公开了一种基于分区域的双目相机基本矩阵计算方法，该方法首先搭建双目视觉系统，将特征点标定物放置在视场中，连接左、右相机和工作站，然后通过左、右相机采集所设计的特征点图像。引入畸变参量并进行特征点的自动识别提取与畸变矫正，完成左右图像特征点的匹配以构成初始匹配点集，基于视场范围对初始匹配点集进行均匀地分区域；最后在各分区中不断随机抽样一组匹配点进行迭代计算基本矩阵以完成基本矩阵的高精度计算。该方法通过特征点的自动识别减少标定的操作时间、提高稳定性，实现了高精度、高鲁棒性、快速进行双目相机基本矩阵的计算。
上述现有技术并不能解决电力系统中的相关技术问题。
发明内容
为了解决上述问题，本发明揭示一种基于特征对应的双目立体匹配方法，除了视差范围的知识之外，密集的两帧立体匹配技术通常使用图像对作为输入，本发明通过特征点增强立体对应性，将特征对应添加到密集的两帧立体对应框架中，以产生更好的视差图像，它是采用以下技术方案来实现的。
一种基于特征对应的双目立体匹配方法，将特征对应关系添加到匹配的成本体积中，并应用边缘保持滤波器进行成本聚合，确保特征点便于视差估计，从而产生更好的视差图像，其特征在于：所述匹配方法包含以下步骤：
第一步：获取左侧图像及右侧图像，并将右侧图像实现特征对应；
第二步：计算匹配成本；
第三步：将特征点添加到匹配成本，将对应的特征进行添加；
第四步：总成本计算；
第五步：视差计算；
第六步：细化视差图像。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第二步中，进行匹配成本计算，基于图像的强度和梯度信息进行匹配成本计算，通过将参考图像IR的像素p与目标图像IT的像素p′(＝p+(s*d))进行比较来获得匹配成本值C(p,d)，匹配成本值计算方法为：
式中，是沿水平方向的梯度，α是值在区间(0，1)内的颜色权重系数，Tc和Tg分别是颜色和梯度的截断极限，IR(p)为参考图像的像素，IT(p′)为目标图像的像素，s为方向系数(当s＝-1时，为左侧图像；当s＝1时，为右侧图像)，d为视差。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第三步中，将特征点添加到匹配成本，对于含有n个特征点的图像，包含像素位置p和相关联的视差d的矢量fi表示为：
fi＝(pi di),1≤i≤n
对于每个特征点矢量f，匹配成本矢量式Cf(pf,d)表示为：
式中，max(Cd)为视差d的最大特征点，df为每个特征点矢量f的视差。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第四步总成本计算中，通过递归双边滤波器进行总成本计算，从k到i的每两个连续像素之间的距离下，总成本计算方法为：
式中，Rk,i为从k到i的每两个连续像素之间的距离下的总成本，xj为第j个像素点的像素值，xj+1为第j+1个像素点的像素值，为高斯核函数。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第五步视差计算中，像素p的结果视差值dp计算为：
式中，dp为像素p的结果视差值，D表示视差集合，Cf(pf,d)为匹配成本矢量式。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第六步细化视差图像中，所获得的原始视差可能包含被遮挡区域中的误差，采取左右一致性检查以处理遮挡，左侧图像与右侧图像的两个视差图细化公式表示为：
|dL(p)-dR(p-(dL(p),0)|＜1
式中，dL(p)为参考图像是左图像的左视差图像，dL(p)为参考图像是右图像的右视差图像，p为像素位置。
对于不符合两个视差图细化公式的像素被标记为“遮挡像素”，将其像素位置标记为白色，对“未遮挡”像素进行成本聚合，以生成更好的视差图。
本发明具有以下有益的技术效果：提出了一种在局部立体匹配中有效利用特征对应关系的新方法，以简单有效的方式将特征对应添加到两帧密集立体匹配框架中，以提高视差结果。
附图说明
图1为本发明方法的架构原理框图。
具体实施方式
为了使所在技术领域人员能更好地理解及实施本专利，现结合说明书附图对本发明作详细说明。
请见图1，一种基于特征对应的双目立体匹配方法，将特征对应关系添加到匹配的成本体积中，并应用边缘保持滤波器进行成本聚合，确保特征点便于视差估计，从而产生更好的视差图像，其特征在于：所述匹配方法包含以下步骤：
第一步：获取左侧图像及右侧图像，并将右侧图像实现特征对应；
第二步：计算匹配成本；
第三步：将特征点添加到匹配成本，将对应的特征进行添加；
第四步：总成本计算；
第五步：视差计算；
第六步：细化视差图像。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第二步中，进行匹配成本计算，基于图像的强度和梯度信息进行匹配成本计算，通过将参考图像IR的像素p与目标图像IT的像素p′(＝p+(s*d))进行比较来获得匹配成本值C(p,d)，匹配成本值计算方法为：
式中，是沿水平方向的梯度，α是值在区间(0，1)内的颜色权重系数，Tc和Tg分别是颜色和梯度的截断极限，IR(p)为参考图像的像素，IT(p′)为目标图像的像素，s为方向系数(当s＝-1时，为左侧图像；当s＝1时，为右侧图像)，d为视差。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第三步中，将特征点添加到匹配成本，对于含有n个特征点的图像，包含像素位置p和相关联的视差d的矢量fi表示为：
fi＝(pi di),1≤i≤n
对于每个特征点矢量f，匹配成本矢量式Cf(pf,d)表示为：
式中，max(Cd)为视差d的最大特征点，df为每个特征点矢量f的视差。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第四步总成本计算中，通过递归双边滤波器进行总成本计算，从k到i的每两个连续像素之间的距离下，总成本计算方法为：
式中，Rk,i为从k到i的每两个连续像素之间的距离下的总成本，xj为第j个像素点的像素值，xj+1为第j+1个像素点的像素值，为高斯核函数。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第五步视差计算中，像素p的结果视差值dp计算为：
式中，dp为像素p的结果视差值，D表示视差集合，Cf(pf,d)为匹配成本矢量式。
上述所述的一种基于特征对应的双目立体匹配方法，其特征在于：第六步细化视差图像中，所获得的原始视差可能包含被遮挡区域中的误差，采取左右一致性检查以处理遮挡，左侧图像与右侧图像的两个视差图细化公式表示为：
|dL(p)-dR(p-(dL(p),0)|＜1
式中，dL(p)为参考图像是左图像的左视差图像，dL(p)为参考图像是右图像的右视差图像，p为像素位置。
对于不符合两个视差图细化公式的像素被标记为“遮挡像素”，将其像素位置标记为白色，对“未遮挡”像素进行成本聚合，以生成更好的视差图。
本发明具有以下有益的技术效果：提出了一种在局部立体匹配中有效利用特征对应关系的新方法，以简单有效的方式将特征对应添加到两帧密集立体匹配框架中，以提高视差结果。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (7)

1.一种基于特征对应的双目立体匹配方法，将特征对应关系添加到匹配的成本体积中，并应用边缘保持滤波器进行成本聚合，确保特征点便于视差估计，从而产生更好的视差图像，其特征在于：所述匹配方法包含以下步骤：
第一步：获取左侧图像及右侧图像，并将右侧图像实现特征对应；
第二步：计算匹配成本；
第三步：将特征点添加到匹配成本，将对应的特征进行添加；
第四步：总成本计算；
第五步：视差计算；
第六步：细化视差图像。
2.根据权利要求1所述的一种基于特征对应的双目立体匹配方法，其特征在于：第二步中，进行匹配成本计算，基于图像的强度和梯度信息进行匹配成本计算，通过将参考图像IR的像素p与目标图像IT的像素p′(＝p+(s*d))进行比较来获得匹配成本值C(p,d)，匹配成本值计算方法为：
式中，是沿水平方向的梯度，α是值在区间(0，1)内的颜色权重系数，Tc和Tg分别是颜色和梯度的截断极限，IR(p)为参考图像的像素，IT(p′)为目标图像的像素，s为方向系数(当s＝-1时，为左侧图像；当s＝1时，为右侧图像)，d为视差。
3.根据权利要求1所述的一种基于特征对应的双目立体匹配方法，其特征在于：第三步中，将特征点添加到匹配成本，对于含有n个特征点的图像，包含像素位置p和相关联的视差d的矢量fi表示为：
fi＝(pi di),1≤i≤n
对于每个特征点矢量f，匹配成本矢量式Cf(pf,d)表示为：
式中，max(Cd)为视差d的最大特征点，df为每个特征点矢量f的视差。
4.根据权利要求1所述的一种基于特征对应的双目立体匹配方法，其特征在于：第四步总成本计算中，通过递归双边滤波器进行总成本计算，从k到i的每两个连续像素之间的距离下，总成本计算方法为：
式中，Rk,i为从k到i的每两个连续像素之间的距离下的总成本，xj为第j个像素点的像素值，xj+1为第j+1个像素点的像素值，为高斯核函数。
5.根据权利要求1所述的一种基于特征对应的双目立体匹配方法，其特征在于：第五步视差计算中，像素p的结果视差值dp计算为：
式中，dp为像素p的结果视差值，D表示视差集合，Cf(pf,d)为匹配成本矢量式。
6.根据权利要求1所述的一种基于特征对应的双目立体匹配方法，其特征在于：第六步细化视差图像中，所获得的原始视差可能包含被遮挡区域中的误差，采取左右一致性检查以处理遮挡，左侧图像与右侧图像的两个视差图细化公式表示为：
|dL(p)-dR(p-(dL(p),0)|＜1
式中，dL(p)为参考图像是左图像的左视差图像，dL(p)为参考图像是右图像的右视差图像，p为像素位置。
7.根据权利要求6所述的一种基于特征对应的双目立体匹配方法，其特征在于：对于不符合两个视差图细化公式的像素被标记为遮挡像素，将遮挡像素位置标记为白色，对未遮挡像素进行成本聚合，用来生成更好的视差图。
CN202410026510.XA 2024-01-09 2024-01-09 基于特征对应的双目立体匹配方法 Active CN117834844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410026510.XA CN117834844B (zh) 2024-01-09 2024-01-09 基于特征对应的双目立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410026510.XA CN117834844B (zh) 2024-01-09 2024-01-09 基于特征对应的双目立体匹配方法

Publications (2)

Publication Number Publication Date
CN117834844A true CN117834844A (zh) 2024-04-05
CN117834844B CN117834844B (zh) 2024-07-09

Family

ID=90505948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410026510.XA Active CN117834844B (zh) 2024-01-09 2024-01-09 基于特征对应的双目立体匹配方法

Country Status (1)

Country Link
CN (1) CN117834844B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016045425A1 (zh) * 2014-09-22 2016-03-31 中兴通讯股份有限公司 一种两视点立体图像合成方法及系统
CN108010075A (zh) * 2017-11-03 2018-05-08 华南理工大学 一种基于多特征联合的局部立体匹配方法
WO2018098891A1 (zh) * 2016-11-30 2018-06-07 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
US20180189979A1 (en) * 2016-12-30 2018-07-05 Create Electronic Optical Co., Ltd. Method for reducing matching error in disparity image by information in zoom image
US20180211400A1 (en) * 2017-01-26 2018-07-26 Samsung Electronics Co., Ltd. Stereo matching method and apparatus
CN111951319A (zh) * 2020-08-21 2020-11-17 清华大学深圳国际研究生院 一种图像立体匹配方法
CN114742875A (zh) * 2022-04-11 2022-07-12 中山大学 基于多尺度特征提取和自适应聚合的双目立体匹配方法
CN114926521A (zh) * 2022-06-22 2022-08-19 北京中科慧眼科技有限公司 基于双目相机的立体匹配方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016045425A1 (zh) * 2014-09-22 2016-03-31 中兴通讯股份有限公司 一种两视点立体图像合成方法及系统
WO2018098891A1 (zh) * 2016-11-30 2018-06-07 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
US20180189979A1 (en) * 2016-12-30 2018-07-05 Create Electronic Optical Co., Ltd. Method for reducing matching error in disparity image by information in zoom image
US20180211400A1 (en) * 2017-01-26 2018-07-26 Samsung Electronics Co., Ltd. Stereo matching method and apparatus
CN108010075A (zh) * 2017-11-03 2018-05-08 华南理工大学 一种基于多特征联合的局部立体匹配方法
CN111951319A (zh) * 2020-08-21 2020-11-17 清华大学深圳国际研究生院 一种图像立体匹配方法
CN114742875A (zh) * 2022-04-11 2022-07-12 中山大学 基于多尺度特征提取和自适应聚合的双目立体匹配方法
CN114926521A (zh) * 2022-06-22 2022-08-19 北京中科慧眼科技有限公司 基于双目相机的立体匹配方法和系统

Also Published As

Publication number Publication date
CN117834844B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN108257165B (zh) 图像立体匹配方法、双目视觉设备
CN108510540A (zh) 立体视觉摄像机及其高度获取方法
CN105681775A (zh) 一种白平衡方法和装置
CN109326125B (zh) 基于嵌入式系统的图片质量诊断系统及诊断方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN115329111B (zh) 一种基于点云与影像匹配的影像特征库构建方法及系统
CN101662695B (zh) 一种获取虚拟视图的方法和装置
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN108460794A (zh) 一种双目立体红外显著目标检测方法及系统
CN104038752B (zh) 基于三维高斯混合模型的多视点视频直方图颜色校正
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN111047636A (zh) 基于主动红外双目视觉的避障系统和避障方法
CN110659593A (zh) 基于改进DiracNet的城市雾霾能见度检测方法
CN114494427A (zh) 一种对吊臂下站人的违规行为检测方法、系统及终端
CN117834844B (zh) 基于特征对应的双目立体匹配方法
CN113963107A (zh) 一种基于双目视觉的大型目标三维重建方法及系统
CN112489097A (zh) 基于混合2d卷积和伪3d卷积的立体匹配方法
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN114881963A (zh) 一种基于改进AD-Census立体匹配算法的图像处理方法
CN114018214A (zh) 一种基于硬件加速系统的标志物双目亚像素测距方法
CN114022381A (zh) 一种双目图像自修复网络模型的训练方法
CN111325209B (zh) 一种车牌识别方法和系统
CN111862184A (zh) 一种基于极面图像颜色差异的光场相机深度估测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant