CN111630569B - 双目匹配的方法、视觉成像装置及具有存储功能的装置 - Google Patents

Abstract

本发明提供一种双目匹配的方法、视觉成像的方法装置及具有存储功能的装置，其中，双目匹配的方法包括如下步骤：获取目标区域的双目图像；获取所述双目图像中的特定像素点；以所述特定像素点为基准，获取与所述特定像素点具有预定间隔的像素点的灰度值或色调值；根据所述灰度值或色调值以确定在同一匹配极线上的各个特定像素点之间的相似度，并将在同一匹配极线上相似度最高的至少一对特定像素点定义为鲁棒支撑点；通过所述鲁棒支撑点对所述双目图像进行匹配。通过上述方式，缩小了图像匹配的移动范围，降低了算法的计算量，达到了图像快速匹配的目的。

Description

双目匹配的方法、视觉成像装置及具有存储功能的装置

技术领域

本发明涉及视觉成像领域，特别是涉及一种双目匹配的方法、视觉成像的方法装置及具有存储功能的装置。

背景技术

随着计算机视觉的发展，立体视觉技术被广泛应用制造业、检验、文档分析、医疗诊断和军事等领域中。立体视觉主要是利用空间中同一点在两摄像机平面上的视差值计算空间点的三维坐标，而视差的获得须通过立体匹配实现，与普通的图像模板匹配不同的是，立体匹配是通过在两幅或多幅存在视点差异、几何畸变、灰度畸变、噪声干扰的图像对之间进行的。

立体匹配方法一般包含以下三个问题：

1.基元的选择，即选择适当的图像特征(如点、直线、相位等)作为匹配基元；

2.匹配的准则，将关于物理世界的某些固有特征表示为匹配所必须遵循的若干规则，使匹配结果能真实反映景物的本来面目；

3.算法结构，通过利用适当的数学方法设计能正确匹配所选择基元的稳定算法。

根据匹配基元的不同，立体视觉匹配算法目前主要分为三大类，即区域匹配、相位匹配和特征匹配。

目前应用较广的是基于区域匹配的双目匹配算法，主要是利用两张基准图像的相似区域实现图像匹配。这类算法的性能取决于量度的选择和搜索的策略，

通过改变匹配窗口大小、形式对图像进行信息进行检测。但是，这种计算方法计算量较大，为了减小计算量而减小匹配窗口又会使得计算机获取不到足够的灰度变化信息。

发明内容

本发明解决的技术问题是提供一种双目匹配的方法、视觉成像的方法装置及具有存储功能的装置，通过获取鲁棒支撑点来进行双目匹配，从而降低计算量。

为解决上述问题，本发明提供一种双目匹配的方法，包括如下步骤：

获取目标区域的双目图像；获取双目图像中的特定像素点；其中，特定像素点为双目图像中颜色统计直方图色调值最小的像素点、邻域色调差异最大的像素点或双目图像中边缘直方图边缘直方图差值最大的像素点；以特定像素点为基准，获取与特定像素点具有预定间隔的像素点的灰度值或色调值；根据所述灰度值或色调值以确定在同一匹配极线上的各个特定像素点之间的相似度，并将在同一匹配极线上相似度最高的至少一对特定像素点定义为鲁棒支撑点；通过鲁棒支撑点对双目图像进行匹配。

为解决上述问题，本发明还提供一种一种视觉成像装置，包括相互耦接的图像采集器、处理器及存储器，图像采集器用于获取目标区域的双目图像；存储器用于存储双目图像、特定像素点、鲁棒支撑点及处理器运行的程序数据；处理器在执行程序数据时使视觉成像装置实现以下步骤：获取目标区域的双目图像；获取双目图像中的特定像素点；其中，特定像素点为双目图像中颜色统计直方图色调值最小的像素点、邻域色调差异最大的像素点或双目图像中边缘直方图差值最大的像素点；以特定像素点为基准，获取与特定像素点具有预定间隔的像素点的灰度值或色调值；根据所述灰度值或色调值以确定在同一匹配极线上的各个特定像素点之间的相似度，并将在同一匹配极线上相似度最高的至少一对特定像素点定义为鲁棒支撑点；通过鲁棒支撑点对双目图像进行匹配。

为解决上述问题，本发明还提供一种具有存储功能的装置，具有存储功能的装置存储有程序数据，程序数据能够被执行以实现上述任一的双目匹配的方法。

本发明的有益效果是：区别于现有技术，本发明通过定义双目图像中的特定像素点来获取鲁棒支撑点，再通过该鲁棒支撑点作为分界点进行图像匹配，缩小了图像匹配的移动范围，降低了算法的计算量，达到了图像快速匹配的目的。

附图说明

图1是本发明双目匹配的方法一实施例的流程示意图；

图2是本发明双目匹配的方法中选取特定像素点的双目视图；

图3是本发明双目匹配的方法中一种获取鲁棒支撑点的双目视图；

图4是本发明双目匹配的方法中另一种获取鲁棒支撑点的双目视图；

图5是图1双目匹配方法鲁棒支撑线一实施例示意图；

图6是本发明视觉成像装置结构示意图；

图7是本发明计算机可读存储装置一实施例的结构示意图。

具体实施方式

参阅图1，图1是本发明双目匹配的方法一实施例的流程示意图，本实施例双目匹配的方法包括如下步骤：

101：获取目标区域的双目图像。

所谓双目图像，是指对物体上一个特征点，用两部固定于不同位置的图像获取设备(例如相机)摄得物体的图像。进一步的，利用该双目图像可以实现对该特征点定位：首先，分别获得该特征点在两部相机像平面上的坐标，再获取两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了该特征点的位置。

102：获取双目图像中的特定像素点；其中，特定像素点为双目图像中颜色统计直方图色调值最小的像素点、邻域色调差异最大的像素点或双目图像中边缘直方图差值最大的像素点。

在一个具体实施例中，特定像素点为双目图像中颜色统计直方图色调值最小的像素点。颜色直方图描述的是不同色彩在整幅图像中所占的比例，因此色调值最小，即表明该像素点重复出现概率最低。

基于类似的考虑，在另一个具体实施例中，特定像素点也可以为双目图像中邻域色调差异最大的像素点，优选的为邻域色调差异最大的前5％的像素点。具体的，对于任一像素点(i，j)，把其周围像素构成的集合(i+p，j+q)，称为做像素点(i，j)的邻域。其中p、q为整数，根据当前定义的邻域的大小调整p、q具体的数值。邻域色调差异最大的前5％的像素点，即为在此邻域内与其他像素点色调差异值为前5％的像素点。

基于类似的考虑，在另一个优选的实施例中，特定像素点也可以为该双目图像中边缘直方图差值最大的像素点，优选的为边缘直方图差值最大的前5％的像素点。具体地，图像边缘是重要是视觉感知信息，也是图像最基本的特征之一。所谓图像边缘，是指图像中周围像素值有跃迁变化或屋顶变化的像素集合，即图像局部变化最显著的部分。先通过检测提取出原始的双目图像中的彩色边缘信息，进而可以直接构造出能全面反映边缘轮廓内容的3种边缘直方图，分别为边缘颜色直方图、边缘距离直方图和边缘方向直方图，本实施例为简化计算，可只选取其中任意一种直方图提取像素点进行后续计算，如提取边缘颜色直方图中差值最大的前5％的像素点。

这类像素点由于差异较大，重复出现概率较低，因此容易显示出目标区域的细节信息，能更好的确认目标区域的位置信息。

在一个具体的实施方式中，如图2所示，图2是本发明双目匹配的方法中选取特定像素点的双目视图，双目图像中主要包含三种不同颜色的像素点(203、204、205)，目标区域在左图像中为201区域，目标区域在右图像中为202区域，获取了左右两幅图像的全部点像素后，由于像素点205在颜色统计中占有比例最少，因此选取像素点205为特定像素点。

103：以特定像素点为基准，获取与特定像素点具有预定间隔的像素点的灰度值或色调值。

在一个具体的实施方式中，如图3所示，图3是本发明双目匹配的方法中一种获取鲁棒支撑点的双目视图。建立双目图像平面坐标系，其中，X轴为水平方向，以向右为正方向；Y轴为垂直方向，以向上为正方向(下述步骤均以此为准，不再赘述)。对双目图像进行灰度化处理，计算每个像素点位置的灰度值或色调值的梯度方向。像素点的灰度值或色调值的梯度主要是指像素点的灰度值或色调值增长最快的方向。最常用的方法是：首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量gradscalx，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量gradscaly，然后计算出像素点的梯度大小和方向。

在一个具体的实施方式中，依据上述方式计算出特定像素点的灰度值或色调值的梯度方向，并根据该梯度方向的特性选择与该特定像素点具有预定间隔的像素点，并获取相应的灰度值或色调值。具体的，当该特定像素点的灰度值或色调值的梯度方向与预设的双目图像平面坐标系中的水平方向夹角小于预设角度，例如45度时，获取与特定像素点在水平方向两侧具有预定间隔的像素点的灰度值或色调值，优选的为该特定像素点在水平方向两侧1-5个像素点缓冲区的灰度值或色调值。当该特定像素点的灰度值或色调值的梯度方向与预设的双目图像平面坐标系中的水平方向夹角大于等于预设角度，例如45度时，获取与特定像素点在垂直方向两侧具有预定间隔的像素点的灰度值或色调值，优选的为该特定像素点在垂直方向两侧1-5个像素点缓冲区的灰度值或色调值。

仍然以图3为例，在图3中，存在特定像素点A、B、C、D和E，经过计算，图中特定像素点A、C、D的梯度方向与预设的双目图像平面坐标系中的水平方向夹角均小于45度，因此，获取特定像素点A、C、D在水平方向两侧1-5个像素点缓冲区的灰度值或色调值。而图中特定像素点B和E的梯度方向与预设的双目图像平面坐标系中的水平方向夹角大于45度，因此，获取特定像素点B和E在垂直方向两侧1-5个像素点缓冲区的灰度值或色调值。

104：根据所述灰度值或色调值以确定在同一匹配极线上的各个特定像素点之间的相似度，并将在同一匹配极线上相似度最高的至少一对特定像素点定义为鲁棒支撑点。

匹配极线是一种约束方式，具体的说，就是同一个点在两幅图像上的映射，已知一幅图上的映射点p1，那么另一幅图中映射点p2一定在相对于p1的极线上，这样可以减少待匹配的点数量。

在一个具体的实施方式中，继续参阅图3，过左图中特定像素点A作一条匹配极线301，本实施例中匹配极限301还通过右图中的特定像素点C和D，为找到特定像素点A在右图中所对应的特定像素点，根据特定像素点A在预定间隔的像素点的灰度值或色调值以及特定像素点C和D的在预定间隔的像素点的灰度值或色调值，计算特定像素点A与特定像素点C以及特定像素点D之间的相似度，并将相似度最高的特定像素点作为特定像素点A在右图中所对应的特定像素点。例如，由于匹配极线301上的特定像素点A，其水平方向负方向为白色对应的灰度值，其水平方向正方向为黑色对应的灰度值，在同一匹配极线上，只有特定像素点C其水平方向负方向为白色对应的灰度值，其水平方向正方向为黑色对应的灰度值，也即特定像素点A与特定像素点C的相似度最高，，因此将该特定像素点A和特定像素点C定义为鲁棒支撑点，并记录此特定像素点的位置信息。

在另一个具体的实施方式中，参阅图4，图4是本发明双目匹配的方法中另一种获取鲁棒支撑点的双目视图。图中黑色方块为特定像素点，过特定像素点J作匹配极线401，本实施例中匹配极线401依次通过特定像素点I、J、K、L、M和N，在匹配极线401上，假设仅选取左右预设范围为1的灰度值，特定像素点J和M在沿其水平方向两侧的像素点为白色对应的灰度值，而特定像素点I、K、L和N分别在沿其水平方向两侧的像素点为灰色对应的灰度值，也即特定像素点J和M的相似度最高，因此，将特定像素点J和M定义为鲁棒支撑点，并记录此特定像素点的位置信息。也就是说，在同一匹配极线出现多对相似的特定像素点时，选取相似度最高的一对特定像素点定义为鲁棒支撑点。此外，如果当前匹配极线上没有对应的特定像素点，则通过其他匹配极线再进行鲁棒支撑点的选取。如果全部匹配极线上都没有对应的特定像素点，则降低灰度值或色调值选取的范围再进行鲁棒支撑点的选取(或直接将此特定像素点去掉)。需要说明的是，上述选取对应的特定像素点，并不要求二者完全一致，只需在误差范围内，选取与之最相似的特定像素点即可。

105：通过鲁棒支撑点对双目图像进行匹配。

通过鲁棒支撑点对双目图像进行图像匹配的具体过程和现有的通过特征点进行图像匹配的方法基本一致，不同之处在于，在本发明中，鲁棒支撑点为图像匹配的分界点。如图5所示，图5是图1双目匹配方法鲁棒支撑线一实施例示意图，通过上述方式对特定像素点进行筛选,确定特定像素点F、G、H和与之对应的F′、G′、H′为此双目图像的鲁棒支撑点，通过鲁棒支持点F、G、H、F′、G′、H′作垂线将左图501和右图502分成1～8个区域，这些边界线称为鲁棒支撑线。根据对应的鲁棒支撑点，将各区域对应起来，分别为区域1和5，2和6，3和7，4和8，仅在各对应区域内进行匹配，通过上述方式有效缩小了图像匹配的移动范围，减少了计算量。

在另一个具体的实施例中，如果通过以上鲁棒支撑点不能够得到匹配结果，则可以扩大特定像素点的选择范围，例如选择邻域色调差异最大的前10％的像素点，或者选择边缘直方图差值最大的前10％的像素点，重复上述步骤以获得新的鲁棒支撑点，结合之前获得的鲁棒支撑点和新的鲁棒支撑点对双目图像进行匹配，直至获得匹配结果。

区别于现有技术，本发明通过定义双目图像中的特定像素点来获取鲁棒支撑点，再通过该鲁棒支撑点作为分界点进行图像匹配，缩小了图像匹配的移动范围，降低了算法的计算量，达到了图像快速匹配的目的。

请参阅图6，图6是本发明视觉成像装置结构示意图。本发明还提供一种视觉成像装置，视觉成像装置包括相互耦接的图像采集器601、处理器602及存储器603。其中，图像采集器601用于获取目标区域的双目图像，存储器603用于存储双目图像、特定像素点、鲁棒支撑点及处理器运行的程序数据，处理器602在执行程序数据时实现上述任一双目匹配的方法。有关双目匹配的方法的详细步骤请参阅前述说明，在此不再赘述。

区别于现有技术，本实施例提供了一种视觉成像装置，视觉成像装置在工作时通过定义双目图像中的特定像素点来获取鲁棒支撑点，再通过该鲁棒支撑点作为分界点进行图像匹配，缩小了图像匹配的移动范围，降低了算法的计算量，达到了图像快速匹配的目的。

进一步的，本发明还提供一种具有存储功能的装置，如图7所示，图7是本发明计算机可读存储装置一实施例的结构示意图，这种具有存储功能的装置701存储有程序数据702，该种程序数据702能够被执行以实现上述任一双目匹配的方法。在一个具体的实施例中，具有存储功能的装置701可以是终端中的存储芯片、硬盘或者是移动硬盘或者闪存、光盘等其他可读写存储的工具，还可以是服务器等等。

区别于现有技术，本实施例提供了一种具有存储功能的装置，该装置中存储有程序数据，该程序数据被执行时能够通过定义双目图像中的特定像素点来获取鲁棒支撑点，再通过该鲁棒支撑点作为分界点进行图像匹配，缩小了图像匹配的移动范围，降低了算法的计算量，达到了图像快速匹配的目的。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种双目匹配的方法，其特征在于，包括如下步骤：

获取目标区域的双目图像；

获取所述双目图像中的特定像素点；其中，所述特定像素点为所述双目图像中颜色统计直方图色调值最小的像素点、邻域色调差异最大的像素点或所述双目图像中边缘直方图差值最大的像素点；

以所述特定像素点为基准，获取与所述特定像素点具有预定间隔的像素点的灰度值或色调值；

根据所述灰度值或色调值以确定在同一匹配极线上的各个特定像素点之间的相似度，并将在同一匹配极线上相似度最高的至少一对特定像素点定义为鲁棒支撑点；

通过所述鲁棒支撑点对所述双目图像进行匹配。

2.根据权利要求1所述的双目匹配的方法，其特征在于，所述以所述特定像素点为基准，获取与所述特定像素点具有预定间隔的像素点的灰度值或色调值的具体步骤包括：

以所述特定像素点为基准，获取所述特定像素点的灰度值或色调值的梯度方向，根据所述梯度方向的特性选择与该特定像素点具有预定间隔的像素点，并获取相应的灰度值或色调值。

3.根据权利要求2所述的双目匹配的方法，其特征在于，所述根据所述梯度方向的特性选择与该特定像素点具有预定间隔的像素点，并获取相应的灰度值或色调值的步骤具体包括：

当所述特定像素点的灰度值或色调值的梯度方向与预设的双目图像平面坐标系中的水平方向夹角小于预设角度时，获取与所述特定像素点在水平方向两侧具有预定间隔的像素点的灰度值或色调值；

当所述特定像素点的灰度值或色调值的梯度方向与预设的双目图像平面坐标系中的水平方向夹角大于等于预设角度时，获取与所述特定像素点在垂直方向两侧具有预定间隔的像素点的灰度值或色调值。

4.根据权利要求3所述的双目匹配的方法，其特征在于，所述预定间隔为1-5个像素点。

5.根据权利要求2所述的双目匹配的方法，其特征在于，所述获取所述特定像素点的灰度值或色调值的梯度方向的步骤具体包括：建立双目图像平面坐标系，对双目图像进行灰度化处理，并据此计算特定像素点位置的灰度值的梯度方向。

6.根据权利要求1所述的双目匹配的方法，其特征在于，所述邻域色调差异最大的像素点包括邻域色调差异最大的前5％的像素点。

7.根据权利要求1所述的双目匹配的方法，其特征在于，所述边缘直方图差值最大的像素点包括边缘直方图差值最大的前5％的像素点。

8.根据权利要求1所述的双目匹配的方法，其特征在于，所述通过所述鲁棒支撑点对所述双目图像进行匹配的步骤具体包括：将所述鲁棒支撑点连接成鲁棒支撑线，通过所述鲁棒支撑线的方式对图像进行匹配。

9.根据权利要求1所述的双目匹配的方法，其特征在于，在所述通过所述鲁棒支撑点对所述双目图像进行匹配的步骤之后还包括：

如果不能够得到匹配结果，则扩大特定像素点的选择范围以获得新的鲁棒支撑点；

结合所述鲁棒支撑点和所述新的鲁棒支撑点对所述双目图像进行匹配，获得匹配结果。

10.一种视觉成像装置，其特征在于，包括相互耦接的图像采集器、处理器及存储器，

所述图像采集器用于获取目标区域的双目图像；

所述存储器用于存储双目图像、特定像素点、鲁棒支撑点及处理器运行的程序数据；

所述处理器在执行程序数据时使所述视觉成像装置实现以下步骤：

获取目标区域的双目图像；获取所述双目图像中的特定像素点；其中，所述特定像素点为所述双目图像中颜色统计直方图色调值最小的像素点、邻域色调差异最大的像素点或所述双目图像中边缘直方图差值最大的像素点；以所述特定像素点为基准，获取与所述特定像素点具有预定间隔的像素点的灰度值或色调值；根据所述灰度值或色调值以确定在同一匹配极线上的各个特定像素点之间的相似度，并将在同一匹配极线上相似度最高的至少一对特定像素点定义为鲁棒支撑点；通过所述鲁棒支撑点对所述双目图像进行匹配。

11.根据权利要求10所述的视觉成像装置，其特征在于，所述处理器在执行所述以所述特定像素点为基准，获取与所述特定像素点具有预定间隔的像素点的灰度值或色调值的具体步骤包括：

所述处理器以所述特定像素点为基准，获取所述特定像素点的灰度值或色调值的梯度方向，根据所述梯度方向的特性选择与该特定像素点具有预定间隔的像素点，并获取相应的灰度值或色调值。

12.根据权利要求11所述的视觉成像装置，其特征在于，所述处理器在执行所述根据所述梯度方向的特性选择与该特定像素点具有预定间隔的像素点，并获取相应的灰度值或色调值的步骤具体包括：

所述处理器在所述特定像素点的灰度值或色调值的梯度方向与预设的双目图像平面坐标系中的水平方向夹角小于预设角度时，获取与所述特定像素点在水平方向两侧具有预定间隔的像素点的灰度值或色调值；

在所述特定像素点的灰度值或色调值的梯度方向与预设的双目图像平面坐标系中的水平方向夹角大于等于预设角度时，获取与所述特定像素点在垂直方向两侧具有预定间隔的像素点的灰度值或色调值。

13.根据权利要求12所述的视觉成像装置，其特征在于，所述预定间隔为1-5个像素点。

14.根据权利要求11所述的视觉成像装置，其特征在于，所述处理器在执行所述获取所述特定像素点的灰度值或色调值的梯度方向的步骤具体包括：所述处理器建立双目图像平面坐标系，对双目图像进行灰度化处理，并据此计算特定像素点位置的灰度值的梯度方向。

15.根据权利要求10所述的视觉成像装置，其特征在于，所述邻域色调差异最大的像素点包括邻域色调差异最大的前5％的像素点。

16.根据权利要求10所述的视觉成像装置，其特征在于，所述边缘直方图差值最大的像素点包括边缘直方图差值最大的前5％的像素点。

17.根据权利要求10所述的视觉成像装置，其特征在于，所述处理器在执行所述通过所述鲁棒支撑点对所述双目图像进行匹配的步骤具体包括：所述处理器将所述鲁棒支撑点连接成鲁棒支撑线，通过所述鲁棒支撑线的方式对图像进行匹配。

18.根据权利要求10所述的视觉成像装置，其特征在于，所述处理器在执行所述通过所述鲁棒支撑点对所述双目图像进行匹配的步骤之后还包括：

所述处理器如果不能够得到匹配结果，则扩大特定像素点的选择范围以获得新的鲁棒支撑点；结合所述鲁棒支撑点和所述新的鲁棒支撑点对所述双目图像进行匹配，获得匹配结果。

19.一种具有存储功能的装置，其特征在于，所述具有存储功能的装置存储有程序数据，所述程序数据能够被处理器执行以下步骤：

获取目标区域的双目图像；

获取所述双目图像中的特定像素点；其中，所述特定像素点为所述双目图像中颜色统计直方图色调值最小的像素点、邻域色调差异最大的像素点或所述双目图像中边缘直方图差值最大的像素点；

以所述特定像素点为基准，获取与所述特定像素点具有预定间隔的像素点的灰度值或色调值；

根据所述灰度值或色调值以确定在同一匹配极线上的各个特定像素点之间的相似度，并将在同一匹配极线上相似度最高的至少一对特定像素点定义为鲁棒支撑点；

通过所述鲁棒支撑点对所述双目图像进行匹配。

20.根据权利要求19所述的具有存储功能的装置，其特征在于，所述以所述特定像素点为基准，获取与所述特定像素点具有预定间隔的像素点的灰度值或色调值的具体步骤包括：

以所述特定像素点为基准，获取所述特定像素点的灰度值或色调值的梯度方向，根据所述梯度方向的特性选择与该特定像素点具有预定间隔的像素点，并获取相应的灰度值或色调值。