CN116309757A - 基于机器视觉的双目立体匹配方法 - Google Patents

基于机器视觉的双目立体匹配方法 Download PDF

Info

Publication number
CN116309757A
CN116309757A CN202310588222.9A CN202310588222A CN116309757A CN 116309757 A CN116309757 A CN 116309757A CN 202310588222 A CN202310588222 A CN 202310588222A CN 116309757 A CN116309757 A CN 116309757A
Authority
CN
China
Prior art keywords
detected
pixel
matching
pixel point
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310588222.9A
Other languages
English (en)
Other versions
CN116309757B (zh
Inventor
王凯
何浩星
华磊
李延通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Qingdong Intelligent Technology Co ltd
Original Assignee
Shandong Qingdong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Qingdong Intelligent Technology Co ltd filed Critical Shandong Qingdong Intelligent Technology Co ltd
Priority to CN202310588222.9A priority Critical patent/CN116309757B/zh
Publication of CN116309757A publication Critical patent/CN116309757A/zh
Application granted granted Critical
Publication of CN116309757B publication Critical patent/CN116309757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明涉及图像数据处理技术领域,具体涉及一种基于机器视觉的双目立体匹配方法。该方法包括:获取第一灰度图像和第二灰度图像,从第一灰度图像中确定待测像素点,从第二灰度图像中确定匹配像素点;根据待测像素点周围区域和任一匹配像素点周围区域内像素点的灰度值和连通域的分布,确定总差异系数,根据总差异系数确定目标像素点,根据所有待测像素点与对应目标像素点的总差异系数的数值分布,确定阈值影响系数;根据阈值影响系数和预设阈值,确定目标阈值,根据目标阈值对第一灰度图像和第二灰度图像进行立体匹配计算处理,得到匹配结果。综上,本发明能够提升双目立体匹配处理的场景适用范围,增强匹配效果,提升匹配可靠性。

Description

基于机器视觉的双目立体匹配方法
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种基于机器视觉的双目立体匹配方法。
背景技术
双目立体视觉是机器视觉研究领域的一个重要支流,它在智能监控、农业监测、工件测量、三维重建等领域有着广泛的应用前景,具有重要的实用价值。双目立体视觉是利用位置不相同的两相机从左右角度同时对目标物体进行图像采集,基于视差原理计算图像每个像素的深度值恢复出物体的三维几何信息,重建物体轮廓及周边环境。
相关技术中,基于双目立体匹配(Semi-Global Block Matching,SGBM)算法实现对所采集到的图像进行双目立体匹配处理,SGBM算法中包含代价计算步骤,该步骤通常使用立体匹配Census算法进行计算,Census算法通过设置固定的阈值进行代价计算,在工业勘探中,双目工业相机经常工作在环境较为复杂的场景中,如隧道、管道等黑暗场景和扬沙等模糊场景中,场景变化多样,仅使用单一阈值无法有效满足复杂多变的场景,也即是说,相关技术中使用SGBM算法进行双目立体匹配处理无法适用于更为复杂多变的场景中,匹配效果较差,匹配可靠性不足。
发明内容
为了解决双目立体匹配处理无法适用于更为复杂多变的场景,匹配效果较差,匹配可靠性不足的技术问题,本发明提供一种基于机器视觉的双目立体匹配方法,所采用的技术方案具体如下:
本发明提出了一种基于机器视觉的双目立体匹配方法,方法包括:
获取同时刻双目工业相机拍摄得到的第一灰度图像和第二灰度图像,从所述第一灰度图像中任选某一待测像素点,以所述第二灰度图像中所述待测像素点相同位置的像素点为中心,预设视差范围内的像素点作为匹配像素点;
根据所述待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值,确定所述待测像素点与匹配像素点的第一差异系数;根据所述待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布,确定第二差异系数;
根据所述第一差异系数和所述第二差异系数确定总差异系数,根据所述总差异系数确定所述待测像素点最匹配的匹配像素点为目标像素点,根据所述第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布,确定阈值影响系数;
根据所述阈值影响系数和预设阈值,确定目标阈值,根据所述目标阈值对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理,得到匹配结果。
进一步地,所述根据所述待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值,确定所述待测像素点与匹配像素点的第一差异系数,包括:
以所述待测像素点为中心,预设第一窗口大小的区域作为第一待测区域;
以所述匹配像素点为中心,预设第一窗口大小的区域作为第一匹配区域;
确定第一待测区域和第一匹配区域中对应位置像素点的灰度值差值绝对值作为灰度值差异;
计算所有位置的灰度值差异的和值归一化值作为所述待测像素点与匹配像素点的第一差异系数。
进一步地,所述根据所述待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布,确定第二差异系数,包括:
以所述待测像素点为中心,预设第二窗口大小的区域作为第二待测区域,根据预设分割方式,将所述第二待测区域划分为至少两个的待测方向区域;
以所述匹配像素点为中心,预设第二窗口大小的区域作为第二匹配区域,根据所述预设分割方式,将所述第二匹配区域划分为至少两个的匹配方向区域;
确定任一所述待测方向区域和所有所述匹配方向区域中连通域数量的差值绝对值的和值作为所述待测方向区域的连通域差异;
计算所有所述待测方向区域的连通域差异的和值归一化值作为所述待测像素点的第二差异系数。
进一步地,所述第一差异系数和总差异系数呈正相关关系,所述第二差异系数和总差异系数呈正相关关系。
进一步地,所述根据所述总差异系数确定所述待测像素点最匹配的匹配像素点为目标像素点,包括:
选择所述总差异系数最小的匹配像素点作为目标像素点。
进一步地,所述根据所述第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布,确定阈值影响系数,包括:
基于DBSCAN算法对所述总差异系数的数值进行聚类,得到至少一个聚类集合,计算每个聚类集合中总差异系数的方差的和值作为差异影响因子;
对所述差异影响因子进行反比例的归一化处理得到相似程度;
计算所述相似程度和预设相似程度阈值的差值,得到相似程度差值;
根据所述相似程度差值确定所述阈值影响系数,其中,所述相似程度差值和所述阈值影响系数呈负相关关系。
进一步地,所述根据所述阈值影响系数和预设阈值,确定目标阈值,包括:
计算所述阈值影响系数和预设阈值的乘积作为目标阈值。
进一步地,所述根据所述目标阈值对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理,得到匹配结果,包括:
将所述目标阈值代入至Census算法中,并将Census算法输出的相似度代替SGBM算法中代价计算步骤,基于所述SGBM算法对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理,生成匹配结果。
本发明具有如下有益效果:
本发明通过将第一灰度图像中待测像素点在第二灰度图像相对应视差范围内的像素点作为匹配像素点,从而降低全局搜索导致的计算量,提升处理效率,通过灰度值变化确定第一差异系数,通过连通域分布确定第二差异系数,由于是基于灰度值变化和连通域差异,能够提升对图像中像素点灰度变化的灵敏性,有效适用于复杂多变的场景中,提升场景适用性,且由于结合灰度变化和连通域变化,使得总差异系数具有更优的表现效果,准确性更高,从而在根据总差异系数确定目标像素点时,提升目标像素点的匹配性与可靠性,而后,对所有待测像素点与对应目标像素点的总差异系数的数值分布进行分析,提升阈值影响系数准确性,根据第一灰度图像和第二灰度图像中像素点的分布特点自适应调整目标阈值,使得在根据目标阈值对第一灰度图像和第二灰度图像进行立体匹配计算处理时,能够基于自适应的目标阈值提升立体匹配计算处理的稳定性与可靠性,综上,本发明通过第一灰度图像和第二灰度图像中像素点的分布特点自适应调整目标阈值,从而使得双目立体匹配处理能够适用于更为复杂多变的场景中,提升双目立体匹配处理的匹配效果,增强双目立体匹配处理的匹配可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于机器视觉的双目立体匹配方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于机器视觉的双目立体匹配方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于机器视觉的双目立体匹配方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于机器视觉的双目立体匹配方法流程图,该方法包括:
S101:获取同时刻双目工业相机拍摄得到的第一灰度图像和第二灰度图像,从第一灰度图像中任选某一待测像素点,以第二灰度图像中待测像素点相同位置的像素点为中心,预设视差范围内的像素点作为匹配像素点。
本发明实施例中,双目工业相机在同时刻由两个不同的镜头分别捕捉并拍摄两张图像,可以称拍摄的两张图像分别为第一原始图像和第二原始图像,分别对第一原始图像和第二原始图像进行图像去噪和图像灰度化等预处理,得到第一灰度图像和第二灰度图像,其中,图像去噪可以具体例如为均值滤波去噪,图像灰度化可以具体例如为均值灰度化处理,当然,本发明还支持使用多种其他任意可能的图像预处理方式,对此不做限制。
本发明实施例中,可以从第一灰度图像中任选某一像素点作为待测像素点,而后,以第二灰度图像中待测像素点相同位置的像素点为中心,预设视差范围内的像素点作为匹配像素点。
其中,相同位置,指相同的像素点排列位置,可以理解的是,由于双目工业相机中两个摄像头尺寸相同,也即所得到的第一灰度图像和第二灰度图像具有相同大小的尺寸,则对应的相同位置表示第一灰度图像和第二灰度图像中对应相同的排列位置,举例而言,在将第一灰度图像中从上往下第一行,从左往右第一列的像素点作为待测像素点时,则对应的第二灰度图像中从上往下第一行,从左往右第一列的像素点作为待测像素点相同位置的像素点。
其中,预设视差范围,为预设的视差范围,该预设视差范围可以根据拍摄过程中所产生的视差情况进行设定,举例而言,预设视差范围可以为21×21的范围,对此不做限制。
则本发明实施例中,可以将预设视差范围内的像素点作为匹配像素点,也即是说,一个待测像素点可以对应多个匹配像素点,而后,根据待测像素点和匹配像素点周围其他像素点的灰度值和灰度分布,确定最匹配的匹配像素点,对应的计算过程具体参见后续实施例。
本发明的一个具体的应用场景可以例如为,在工业勘探中,利用双目工业相机从左右角度同时对目标物体进行图像采集,基于本发明的立体匹配计算处理得到的匹配结果获得图像每个像素的深度值,恢复出物体的三维几何信息。
S102:根据待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值,确定待测像素点与匹配像素点的第一差异系数;根据待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布,确定第二差异系数。
其中,预设第一窗口大小,可以具体例如为水平方向的7×1大小的窗口,或者,也可以例如为正方形窗口大小,如3×3大小,对此不做限制。
本发明实施例中,通过比较待测像素点所对应第一窗口大小区域和任一匹配像素点所对应第一窗口大小区域中像素点的灰度值,可以对待测像素点与对应匹配像素点间的相似性进行初步判断。
可选地,本发明的一些实施例中,根据待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值,确定待测像素点与匹配像素点的第一差异系数,包括:以待测像素点为中心,预设第一窗口大小的区域作为第一待测区域;以匹配像素点为中心,预设第一窗口大小的区域作为第一匹配区域;确定第一待测区域和第一匹配区域中对应位置像素点的灰度值差值绝对值作为灰度值差异;计算所有位置的灰度值差异的和值归一化值作为待测像素点与匹配像素点的第一差异系数。
也即是说,获取第一待测区域和第一匹配区域,通过计算第一待测区域和第一匹配区域中对应位置的像素点的灰度值差值绝对值得到灰度值差异。
其中,第一待测区域和第一匹配区域中对应位置像素点,为在第一待测区域和第一匹配区域中表示相同区域位置的像素点,可以理解的是,举例而言,如果第一待测区域和第一匹配区域均为7×1大小的窗口区域,则与第一待测区域中从左往右数第三个像素点相对应位置的为第一匹配区域中从左往右数第三个像素点。
本发明实施例中,可以计算第一待测区域和第一匹配区域中所有对应位置的像素点间的灰度值差异,从而得到所有位置的灰度值差异的和值归一化值作为待测像素点与匹配像素点的第一差异系数,对应的计算公式为:
Figure SMS_1
式中,
Figure SMS_2
表示待测像素点与匹配像素点的第一差异系数,
Figure SMS_3
表示第一待测区域和第 一匹配区域中所有像素点位置的总数量,
Figure SMS_4
表示第一待测区域和第一匹配区域中像素点位 置的索引,
Figure SMS_5
表示第一待测区域和第一匹配区域中第
Figure SMS_6
个像素点位置对应像素点间的灰度 值差异,
Figure SMS_7
表示归一化处理,在本发明的一个实施例中,归一化处理可以具体例如为最大 最小值归一化处理,并且,后续步骤中的归一化均可以采用最大最小值归一化处理,在本发 明的其他实施例中可以根据数值具体范围选择其他归一化方法,对此不再赘述。
则可以理解的是,由于对应位置灰度值差异越大,越可以表示第一待测区域和第一匹配区域中灰度差异越大,也即是说,对应待测像素点与匹配像素点的相似性越小,进一步地,待测像素点与匹配像素点的第一差异系数越大,匹配程度越低,越不可能表示相同的真实空间位置。
可选地,本发明的一些实施例中,根据待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布,确定第二差异系数,包括:以待测像素点为中心,预设第二窗口大小的区域作为第二待测区域,根据预设分割方式,将第二待测区域划分为至少两个的待测方向区域;以匹配像素点为中心,预设第二窗口大小的区域作为第二匹配区域,根据预设分割方式,将第二匹配区域划分为至少两个的匹配方向区域;确定任一待测方向区域和所有匹配方向区域中连通域数量的差值绝对值的和值作为待测方向区域的连通域差异;计算所有待测方向区域的连通域差异的和值归一化值作为待测像素点的第二差异系数。
也即是说,获取第二待测区域和第二匹配区域,而后,根据预设分割方式对第二待测区域和第二匹配区域进行划分,得到待测方向区域和匹配方向区域,其中,预设分割方式,可以具体例如为基于两条互呈直角的直线将区域进行划分的方式,也即是说,使用两条沿水平垂直的方向直线将第二待测区域划分为四个矩形区域,也即得到四个待测方向区域,同时使用对应的方向直线将第二匹配区域划分为四个矩形区域,也即得到四个匹配方向区域,当然,本发明还可以使用多种预设分割方式,例如8方向的分割方式、16方向的分割方式,也即可以根据实际需求进行调整,对此不做限制。
可以理解的是,由于拍摄角度的问题,相同物体在第一灰度图像和第二灰度图像中的成像角度可能产生一定的偏差,从而导致在成像的区域位置和区域形状等发生一定的变化,举例而言,一个正方体物体,在正面拍摄时为正方形,而在偏斜一定角度拍摄后,可能为矩形或菱形区域,因此,通过连通域的分布能够有效规避角度问题产生的视觉干扰,从而使得第二差异系数的可靠性更强。
本发明实施例中,可以统计所有待测方向区域和匹配方向区域中连通域的数量,而后,任选某一待测方向区域,计算该待测方向区域与所有匹配方向区域中连通域数量的差值绝对值,求和得到该待测方向区域的连通域差异。更换待测连通域并重新计算,直至得到所有待测连通域的连通域差异。计算所有待测方向区域的连通域差异的和值归一化值作为待测像素点的第二差异系数。
其中,第二差异系数,为根据连通域变化得到的差异系数,在第二差异系数越大时,越表示对应的连通域差异越大,也即是说,连通域分布差异越大,待测像素点与匹配像素点越不匹配。
S103:根据第一差异系数和第二差异系数确定总差异系数,根据总差异系数确定待测像素点最匹配的匹配像素点为目标像素点,根据第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布,确定阈值影响系数。
可选地,本发明的一些实施例中,根据第一差异系数和第二差异系数确定总差异系数,其中,第一差异系数和总差异系数呈正相关关系,第二差异系数和总差异系数呈正相关关系。
其中,正相关关系表示因变量会随着自变量的增大而增大,因变量会随着自变量的减小而减小,具体关系可以为相乘关系、相加关系、指数函数的幂等,由实际应用进行确定;负相关关系表示因变量会随着自变量的增大而减小,因变量会随着自变量的减小而增大,可以为相减关系、相除关系等,由实际应用进行确定。
则本发明实施例中,可以计算第一差异系数和第二差异系数的乘积作为总差异系数,或者也可以计算第一差异系数和第二差异系数的和值作为总差异系数,对此不做限制。
可选地,本发明的一些实施例中,根据总差异系数确定待测像素点最匹配的匹配像素点为目标像素点,包括:选择总差异系数最小的匹配像素点作为目标像素点。
本发明实施例中,由于第一差异系数和总差异系数呈正相关关系,第二差异系数和总差异系数呈正相关关系,又由于待测像素点与匹配像素点的第一差异系数和第二差异系数越大,均可以表示相对应的匹配程度越低,越不可能表示相同的真实空间位置,则对应的总差异系数越大,匹配程度越低,则可以选择总差异系数最小的匹配像素点作为目标像素点,也即是说,目标像素点为待测像素点最匹配的像素点。由此,获得第一灰度图像中所有待测像素点的目标像素点,可以理解的是,由于存在一定的角度偏移和成像影响,不同的待测像素点可能匹配到相同的目标像素点,直接根据目标像素点的整体偏移情况计算总体匹配情况时,匹配效果较差,由此,对所有待测像素点和对应的目标像素点进行聚类分析,从而进一步提升匹配效果。
可选地,本发明的一些实施例中,根据第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布,确定阈值影响系数,包括:基于DBSCAN算法对总差异系数的数值进行聚类,得到至少一个聚类集合,计算每个聚类集合中总差异系数的方差的和值作为差异影响因子;对差异影响因子进行反比例的归一化处理得到相似程度;计算相似程度和预设相似程度阈值的差值,得到相似程度差值;根据相似程度差值确定阈值影响系数,其中,相似程度差值和阈值影响系数呈负相关关系。
其中,基于密度的聚类(Density-Based Spatial Clustering of Applicationswith Noise,DBSCAN)算法,为本领域所熟知的无监督的聚类算法,对此不再赘述。
通过DBSCAN算法对所有总差异系数的数值进行聚类,得到聚类集合,而后,计算所有聚类集合中总差异系数的方差的和值作为差异影响因子,并对差异影响因子进行反比例的归一化处理得到相似程度,对应的计算公式可以具体例如为:
Figure SMS_8
式中,
Figure SMS_9
表示相似程度,
Figure SMS_10
表示聚类集合的总数量,
Figure SMS_11
表示聚类集合的索引,
Figure SMS_12
表示第
Figure SMS_13
个聚类集合中总差异系数的方差,
Figure SMS_14
表示差异影响因子,
Figure SMS_15
表示归一化处理。
可以理解的是,方差能够表征对应的总差异系数的波动程度,如果每个聚类集合中像素点的总差异系数均相近,则对应的方差较小,则可以说明各个待测像素点对应匹配越稳定,匹配结果越优,而在每个聚类集合中像素点的总差异系数差异较大,则对应的方差较大,则可以说明各个待测像素点对应匹配结果越差。
本发明实施例中,计算相似程度和预设相似程度阈值的差值,得到相似程度差值,其中,预设相似程度阈值为预设的相似程度的门限值,可以将预设相似程度阈值作为标准的相似程度值,基于该预设相似程度阈值可以判断相似程度的数值偏大或偏小,举例而言,预设相似程度阈值为0.6,也即计算相似程度和0.6的差值,得到相似程度差值,在相似程度大于0.6时,相似程度差值大于0,可以表示对应的第一灰度图像和第二灰度图像中像素点相似程度较大,匹配效果较好,而当相似程度差值小于0时,可以表示对应的第一灰度图像和第二灰度图像中像素点相似程度较小,匹配效果较差。
本发明实施例中,根据相似程度差值确定阈值影响系数,其中,相似程度差值和阈值影响系数呈负相关关系。可以对相似程度差值进行反比例的归一化处理,得到阈值影响系数,或者,也可以用1减去相似程度差值,得到阈值影响系数,对此不做限制。
S104:根据阈值影响系数和预设阈值,确定目标阈值,根据目标阈值对第一灰度图像和第二灰度图像进行立体匹配计算处理,得到匹配结果。
本发明实施例在获取阈值影响系数之后,可以基于双目立体匹配算法结合阈值影响系数,进行立体匹配计算处理。双目立体匹配(Semi-Global Block Matching,SGBM)算法包括预处理、代价计算、动态规划和后处理四部分,其中,代价计算中需要使用立体匹配算法Census算法对图像进行处理,SGBM算法和Census算法为本领域所熟知的技术,对此不再赘述,在使用Census算法处理的过程中,需要预先设置固定的阈值,而本发明通过使用阈值影响系数对预先设置的阈值进行自适应调整,以保证Census算法能够基于更适用的阈值进行立体匹配计算,实现匹配结果的准确性,进而提升双目立体匹配的准确性与可靠性。
进一步地,本发明实施例中,根据阈值影响系数和预设阈值,确定目标阈值,包括:计算阈值影响系数和预设阈值的乘积作为目标阈值。
其中,预设阈值为Census算法对应的阈值,可选地,预设阈值可以具体例如为3,或者,也可以根据实际情况使用其他数值,对此不做限制。
通过计算阈值影响系数和预设阈值的乘积,得到自适应的目标阈值,从而使得不同时刻拍摄得到的第一灰度图像和第二灰度图像均具有自适应的目标阈值,从而提升目标阈值的可靠性,避免使用相同的阈值导致处理效果较差。
进一步地,根据目标阈值对第一灰度图像和第二灰度图像进行立体匹配计算处理,得到匹配结果,包括:将目标阈值代入至Census算法中,并将Census算法输出的相似度代替SGBM算法中代价计算步骤,基于SGBM算法对第一灰度图像和第二灰度图像进行立体匹配计算处理,生成匹配结果。
本发明实施例中,将目标阈值代入至Census算法中,而后,基于Census算法输出的相似度代替SGBM算法中代价计算步骤,从而基于SGBM算法实现双目立体匹配,输出匹配结果,其中,基于SGBM算法实现双目立体匹配,输出匹配结果的步骤为本领域所熟知的技术,对此不再赘述。
本发明通过将第一灰度图像中待测像素点在第二灰度图像相对应视差范围内的像素点作为匹配像素点,从而降低全局搜索导致的计算量,提升处理效率,通过灰度值变化确定第一差异系数,通过连通域分布确定第二差异系数,由于是基于灰度值变化和连通域差异,能够提升对图像中像素点灰度变化的灵敏性,有效适用于复杂多变的场景中,提升场景适用性,且由于结合灰度变化和连通域变化,使得总差异系数具有更优的表现效果,准确性更高,从而在根据总差异系数确定目标像素点时,提升目标像素点的匹配性与可靠性,而后,对所有待测像素点与对应目标像素点的总差异系数的数值分布进行分析,提升阈值影响系数准确性,根据第一灰度图像和第二灰度图像中像素点的分布特点自适应调整目标阈值,使得在根据目标阈值对第一灰度图像和第二灰度图像进行立体匹配计算处理时,能够基于自适应的目标阈值提升立体匹配计算处理的稳定性与可靠性,综上,本发明通过第一灰度图像和第二灰度图像中像素点的分布特点自适应调整目标阈值,从而使得双目立体匹配处理能够适用于更为复杂多变的场景中,提升双目立体匹配处理的匹配效果,增强双目立体匹配处理的匹配可靠性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

Claims (8)

1.一种基于机器视觉的双目立体匹配方法,其特征在于,所述方法包括:
获取同时刻双目工业相机拍摄得到的第一灰度图像和第二灰度图像,从所述第一灰度图像中任选某一待测像素点,以所述第二灰度图像中所述待测像素点相同位置的像素点为中心,预设视差范围内的像素点作为匹配像素点;
根据所述待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值,确定所述待测像素点与匹配像素点的第一差异系数;根据所述待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布,确定第二差异系数;
根据所述第一差异系数和所述第二差异系数确定总差异系数,根据所述总差异系数确定所述待测像素点最匹配的匹配像素点为目标像素点,根据所述第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布,确定阈值影响系数;
根据所述阈值影响系数和预设阈值,确定目标阈值,根据所述目标阈值对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理,得到匹配结果。
2.如权利要求1所述的一种基于机器视觉的双目立体匹配方法,其特征在于,所述根据所述待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值,确定所述待测像素点与匹配像素点的第一差异系数,包括:
以所述待测像素点为中心,预设第一窗口大小的区域作为第一待测区域;
以所述匹配像素点为中心,预设第一窗口大小的区域作为第一匹配区域;
确定第一待测区域和第一匹配区域中对应位置像素点的灰度值差值绝对值作为灰度值差异;
计算所有位置的灰度值差异的和值归一化值作为所述待测像素点与匹配像素点的第一差异系数。
3.如权利要求1所述的一种基于机器视觉的双目立体匹配方法,其特征在于,所述根据所述待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布,确定第二差异系数,包括:
以所述待测像素点为中心,预设第二窗口大小的区域作为第二待测区域,根据预设分割方式,将所述第二待测区域划分为至少两个的待测方向区域;
以所述匹配像素点为中心,预设第二窗口大小的区域作为第二匹配区域,根据所述预设分割方式,将所述第二匹配区域划分为至少两个的匹配方向区域;
确定任一所述待测方向区域和所有所述匹配方向区域中连通域数量的差值绝对值的和值作为所述待测方向区域的连通域差异;
计算所有所述待测方向区域的连通域差异的和值归一化值作为所述待测像素点的第二差异系数。
4.如权利要求1所述的一种基于机器视觉的双目立体匹配方法,其特征在于,所述第一差异系数和总差异系数呈正相关关系,所述第二差异系数和总差异系数呈正相关关系。
5.如权利要求1所述的一种基于机器视觉的双目立体匹配方法,其特征在于,所述根据所述总差异系数确定所述待测像素点最匹配的匹配像素点为目标像素点,包括:
选择所述总差异系数最小的匹配像素点作为目标像素点。
6.如权利要求1所述的一种基于机器视觉的双目立体匹配方法,其特征在于,所述根据所述第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布,确定阈值影响系数,包括:
基于DBSCAN算法对所述总差异系数的数值进行聚类,得到至少一个聚类集合,计算每个聚类集合中总差异系数的方差的和值作为差异影响因子;
对所述差异影响因子进行反比例的归一化处理得到相似程度;
计算所述相似程度和预设相似程度阈值的差值,得到相似程度差值;
根据所述相似程度差值确定所述阈值影响系数,其中,所述相似程度差值和所述阈值影响系数呈负相关关系。
7.如权利要求1所述的一种基于机器视觉的双目立体匹配方法,其特征在于,所述根据所述阈值影响系数和预设阈值,确定目标阈值,包括:
计算所述阈值影响系数和预设阈值的乘积作为目标阈值。
8.如权利要求1所述的一种基于机器视觉的双目立体匹配方法,其特征在于,所述根据所述目标阈值对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理,得到匹配结果,包括:
将所述目标阈值代入至Census算法中,并将Census算法输出的相似度代替SGBM算法中代价计算步骤,基于所述SGBM算法对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理,生成匹配结果。
CN202310588222.9A 2023-05-24 2023-05-24 基于机器视觉的双目立体匹配方法 Active CN116309757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310588222.9A CN116309757B (zh) 2023-05-24 2023-05-24 基于机器视觉的双目立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310588222.9A CN116309757B (zh) 2023-05-24 2023-05-24 基于机器视觉的双目立体匹配方法

Publications (2)

Publication Number Publication Date
CN116309757A true CN116309757A (zh) 2023-06-23
CN116309757B CN116309757B (zh) 2023-08-01

Family

ID=86822566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310588222.9A Active CN116309757B (zh) 2023-05-24 2023-05-24 基于机器视觉的双目立体匹配方法

Country Status (1)

Country Link
CN (1) CN116309757B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116539831A (zh) * 2023-06-26 2023-08-04 中交天航环保工程有限公司 一种基于大数据分析水环境数据监测处理方法
CN117197771A (zh) * 2023-11-08 2023-12-08 张家港极客嘉智能科技研发有限公司 基于双目立体匹配的智能驾驶辅助图像处理方法
CN117237245A (zh) * 2023-11-16 2023-12-15 湖南云箭智能科技有限公司 一种基于人工智能与物联网的工业物料质量监测方法
CN117689917A (zh) * 2024-02-02 2024-03-12 广州中海电信有限公司 基于热成像及激光探测技术的舱内安全状态监测方法
CN117788459A (zh) * 2024-02-23 2024-03-29 青岛正大正电力环保设备有限公司 基于图像特征的链条磨损检测方法
CN117788459B (zh) * 2024-02-23 2024-04-30 青岛正大正电力环保设备有限公司 基于图像特征的链条磨损检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197045A (zh) * 2007-12-17 2008-06-11 电子科技大学 一种图像立体匹配方法及其装置
US20090087026A1 (en) * 2007-08-02 2009-04-02 Yali Xie Method and system of material identification using binocular steroscopic and multi-energy transmission images
CN112750154A (zh) * 2020-12-31 2021-05-04 湖南大学 一种基于双目视觉的立体匹配方法
CN116071415A (zh) * 2023-02-08 2023-05-05 淮阴工学院 一种基于改进Census算法的立体匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087026A1 (en) * 2007-08-02 2009-04-02 Yali Xie Method and system of material identification using binocular steroscopic and multi-energy transmission images
CN101197045A (zh) * 2007-12-17 2008-06-11 电子科技大学 一种图像立体匹配方法及其装置
CN112750154A (zh) * 2020-12-31 2021-05-04 湖南大学 一种基于双目视觉的立体匹配方法
CN116071415A (zh) * 2023-02-08 2023-05-05 淮阴工学院 一种基于改进Census算法的立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴琼;刘宝龙;王科;王江;卢浩;: "双目立体视觉系统的技术分析与应用", 中国新通信, no. 01 *
韩剑辉;吴振;李兰英;: "双目立体匹配算法的FPGA实现", 哈尔滨理工大学学报, no. 04 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116539831A (zh) * 2023-06-26 2023-08-04 中交天航环保工程有限公司 一种基于大数据分析水环境数据监测处理方法
CN116539831B (zh) * 2023-06-26 2023-12-05 中交天航环保工程有限公司 一种基于大数据分析水环境数据监测处理方法
CN117197771A (zh) * 2023-11-08 2023-12-08 张家港极客嘉智能科技研发有限公司 基于双目立体匹配的智能驾驶辅助图像处理方法
CN117197771B (zh) * 2023-11-08 2024-01-23 张家港极客嘉智能科技研发有限公司 基于双目立体匹配的智能驾驶辅助图像处理方法
CN117237245A (zh) * 2023-11-16 2023-12-15 湖南云箭智能科技有限公司 一种基于人工智能与物联网的工业物料质量监测方法
CN117237245B (zh) * 2023-11-16 2024-01-26 湖南云箭智能科技有限公司 一种基于人工智能与物联网的工业物料质量监测方法
CN117689917A (zh) * 2024-02-02 2024-03-12 广州中海电信有限公司 基于热成像及激光探测技术的舱内安全状态监测方法
CN117689917B (zh) * 2024-02-02 2024-04-30 广州中海电信有限公司 基于热成像及激光探测技术的舱内安全状态监测方法
CN117788459A (zh) * 2024-02-23 2024-03-29 青岛正大正电力环保设备有限公司 基于图像特征的链条磨损检测方法
CN117788459B (zh) * 2024-02-23 2024-04-30 青岛正大正电力环保设备有限公司 基于图像特征的链条磨损检测方法

Also Published As

Publication number Publication date
CN116309757B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN116309757B (zh) 基于机器视觉的双目立体匹配方法
CN112115953B (zh) 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
US8385630B2 (en) System and method of processing stereo images
CN111462206B (zh) 一种基于卷积神经网络的单目结构光深度成像方法
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN103189715A (zh) 立体图像处理装置及立体图像处理方法
CN103080973A (zh) 立体图像处理装置及立体图像处理方法
CN108921170B (zh) 一种有效的图像噪声检测和去噪方法及系统
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
Haq et al. An edge-aware based adaptive multi-feature set extraction for stereo matching of binocular images
CN113887624A (zh) 一种基于双目视觉的改进特征立体匹配方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN111415305A (zh) 恢复三维场景的方法、计算机可读存储介质及无人机
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
CN108460348B (zh) 基于三维模型的道路目标检测方法
CN107392948B (zh) 一种分振幅实时偏振成像系统的图像配准方法
CN108492308B (zh) 一种基于相互结构引导滤波的变分光流的确定方法及系统
CN116385520A (zh) 融合全光源图像的磨损表面形貌光度立体重建方法及系统
CN113670268B (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法
CN113129348B (zh) 一种基于单目视觉的道路场景中车辆目标的三维重建方法
CN114998532A (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
Li et al. The method of detecting nearest distance between obstacles and vehicle tail based on binocular vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant