CN104851095B - 基于改进型形状上下文的工件图像稀疏立体匹配方法 - Google Patents
基于改进型形状上下文的工件图像稀疏立体匹配方法 Download PDFInfo
- Publication number
- CN104851095B CN104851095B CN201510253385.7A CN201510253385A CN104851095B CN 104851095 B CN104851095 B CN 104851095B CN 201510253385 A CN201510253385 A CN 201510253385A CN 104851095 B CN104851095 B CN 104851095B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- mtr
- mover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于改进型形状上下文的工件图像稀疏立体匹配方法，该方法融合了能反映点位置分布关系的形状上下文和能反映点梯度属性的梯度方向直方图特征，主要包括：对包含工件的左右图像对进行预处理，包括灰度归一化和大津法(Otsu)二值化；对二值图像对进行Canny边缘提取，均匀采样得到离散边缘点；根据形状上下文的直方图分布确定候选匹配点集，并改进相似性度量计算公式，进行形状上下文粗匹配；根据梯度方向直方图特征进行梯度方向直方图细匹配；引入左右一致性校验去除误匹配点对。本发明在满足实时性要求的情况下，提高了原始形状上下文匹配精度和匹配鲁棒性，为后续实现快速、精确的工件3D定位提供基础。
Description
技术领域
本发明涉及利用双目视觉进行工件3D定位领域，具体是指一种应用于工业现场的、能有效解决双目视觉系统在不同角度下拍摄同一工件的图像匹配方法。
背景技术
立体匹配作为双目视觉系统的关键技术，其目的是确定立体图像对点之间的对应关系，从而得到视差图。目前可大致分为两类：全局匹配方法和局部匹配方法。全局匹配方法主要有动态规划、置信传播、Graph Cut等，这类方法得到的是稠密视差，计算量大，耗时久，对于实时性要求较高的场合不适用。局部匹配方法主要有基于区域的匹配方法、基于相位的匹配方法和基于特征的匹配方法，其中基于区域的匹配方法和基于相位的匹配方法得到的是稠密视差，其缺点是在低纹理区域或纹理相似区域容易造成大量的误匹配，边界模糊，虽然速度较全局匹配方法有所提升，但是对于实时性要求较高的场合仍然不适用。而基于特征的匹配方法具有计算速度快和占用内存少的优点，满足工业上的工件定位的实时性要求，成了机器视觉领域研究的重点。
针对工件图像特有的属性，一般工件图像属于少特征、少纹理图像，基于CCS、Harris、SIFT、SURF、FAST等特征点匹配检测到的特征点较少，在一定程度上不能保证后续定位精度。近年来基于形状特征的匹配方法在缺乏纹理和颜色的图像中得到了长足的发展，尤其是以形状上下文为代表的基于边缘轮廓的形状上下文匹配方法。形状上下文使用一组直方图来表示整个目标物体形状，每个边缘轮廓上的采样点都用一个统计直方图来表示，通过描述边缘轮廓序列上的某个点与其他点的空间位置分布关系，实现对边缘轮廓点的特征描述。对于边缘轮廓序列上的每一个点，都用一个向量来描述，这样的表示方法含有丰富的信息，对于微小的旋转、尺寸和视角变化具有一定的鲁棒性。但是形状上下文仅仅考虑到各点的位置分布关系，忽略了点本身的梯度属性，匹配时存在一对多和多对一的误匹配问题，对于立体匹配中确定立体图像对点之间的对应关系，特征描述区分度不够大，导致点匹配的精度不能满足后续定位的要求。
发明内容
本发明为了确定立体匹配中工件立体图像对点之间的对应关系，提供了一种满足工业精度和实时性要求，且具有一定鲁棒性的基于改进型形状上下文的工件图像稀疏立体匹配方法。
为达此目的，本发明通过如下技术方案实现：
(1)对原始输入的包含工件的左右图像对分别进行灰度归一化处理，消除 由于两相机光照不一造成的影响，然后根据(2)～(5)分别对左右图像进行特征提取。
(2)对归一化处理后的图像进行大津法(Otsu)二值化处理，并利用形态学去除毛刺和内部孔洞，得到对应的二值图像。
(3)Canny算法提取边缘，由于排除内部短小边缘和孔洞边缘的干扰，得到只保留外边缘的二值图像，提高了算法抗干扰性，同时减少了后续形状上下文特征匹配的复杂度。
(4)均匀采样提取边缘点。采取Jitendra的均匀采样方法，从而保证边缘点能准确描述目标物体的同时，通过减少边缘点数量降低匹配复杂度。
(5)对(4)得到的离散边缘点图像进行对数极坐标变换，计算并统计各边缘点的形状直方图特征，得到形状上下文特征向量描述，并得到形状上下文特征向量描述矩阵。
(6)对左右图像所有的离散边缘点对应的形状上下文特征向量分别进行如下操作：依次遍历左右图像中的离散边缘点，提取各边缘点相对应的形状上下文特征向量中的非零元素，记录对应非零元素所在的bin区编号(bin区编号即边缘点在形状直方图中对应的第i个栅格分量)构成标记向量，由提取出的非零元素构成新的特征描述向量；然后根据标记向量查找候选匹配点集，达到减少后续搜索空间的目的。
(7)利用候选匹配点对应的标记向量的相同元素个数对相似性度量值进行加权，增加匹配点与非匹配点之间的区分度，然后在候选匹配点集中计算对应相似性度量值，进行形状上下文粗匹配，得到初始匹配点集。
(8)将(7)中初始匹配点集对应的边缘点投影到原始包含工件的左右图像对中，计算并统计其3*3邻域的梯度方向直方图特征，并利用归一化点积进行相似性度量计算，保留满足阈值条件的点对，剔除不满足阈值条件的点对，进行梯度方向直方图细匹配。
(9)为了进一步提高点匹配的精度，对(8)得到的匹配点对进行左右一致性校验，剔除一对多或者多对一的错误匹配点对，得到最终匹配点对。
本发明的有益效果是：本发明提供了一种基于改进型形状上下文的工件图像稀疏立体匹配方法，该方法融合了能反映点位置分布关系的形状上下文特征和能反映点本身梯度属性的梯度方向直方图特征，根据形状上下文特征的直方图分布确定候选匹配点集，减少搜索空间，同时改进相似性度量计算公式，增加匹配点与非匹配点的区分度，并引入灰度归一化处理以及左右一致性校验。由形状上下文的粗匹配和梯度方向直方图的细匹配构成的两级匹配，在满足实时性要求的情况下，提高了原始形状上下文匹配精度以及匹配的鲁棒性。有效解决了实际的双目视觉系统中，由于摄像机从不同角度拍摄工件造成的工件图像存在微小视角变化、尺度和光照不完全一致的图像匹配问题，是实现后期工件3D定位的重要前期处理环节。
附图说明
图1形状上下文bin区划分和bin区边缘点数统计
图2本发明的整体算法流程图
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照附图，对本发明作进一步详细说明。
本发明提供了一种基于改进型形状上下文的工件图像稀疏立体匹配方法，整个算法流程主要由图像预处理、Canny边缘提取、边缘点均匀采样、形状上下文粗匹配、梯度方向直方图细匹配和左右一致性校验去除误匹配等构成。
为了进一步说明，具体实现步骤为：
(1)输入包含工件的左右图像对，然后根据(2)～(9)分别对左右图像进行特征提取。
(2)对输入图像进行灰度归一化处理。
g＝[f-min(f)]/[max(f)-min(f)]*255 (1)
其中：f和g分别为处理前后的图像灰度值，max(f)、min(f)分别为图像中灰度值的最大值和最小值。
(3)采用大津法(Otsu)进行二值化处理，并利用形态学去除毛刺和内部孔洞。
(4)Canny算法边缘提取，获得采样前边缘点数Num。由于经过(3)的处理排除了内部短小边缘和孔洞边缘的干扰，得到只保留外边缘的二值图像，提高了算法抗干扰性，同时减少了后续形状上下文特征匹配的复杂度。
(5)对(4)得到的边缘图像均匀采样提取边缘点。采取Jitendra的均匀采样方法，该方法通过计算并检查所有相邻边缘点对的欧式距离，如式(2)所示，去除距离最小的点对中的一个点，然后循环检查剩余点对的距离，直至剩下的点的数量达到要取样的点的数量N，为了保证采样边缘点能准确描述工件边缘，N取采样前边缘点数Num的
(6)对采样得到的离散边缘点图像进行对数极坐标变换，将笛卡尔坐标系中的点(x，y)通过下面的变换映射到极坐标系(r，θ)中，如式(3)所示，使得形状上下文特征在距离点pi较近的边缘点能够较为精确的描述，在距离相对较远的边缘采样点进行近似的描述。
其中：rij为对数极坐标下的半径，θij为对数极坐标下的角度，(xi，yi)对应第i个边缘点pi的笛卡尔坐标系中的坐标，(xj，yj)对应剩余的N-1个边缘点qj的笛卡尔坐标系中的坐标。
(7)统计采样后的N个边缘点的形状直方图特征，对于边缘点pi，统计其 他边缘点落在直方图栅格(bin)中的个数，如式(4)所示。
hi(k)＝#{(qj-pi)∈bin(k)}，j≠i (4)
其中：qj表示余下的边缘点，#表示计数操作，(qj-pi)∈bin(k)表示相对于pi，点qj属于形状直方图的第k栅格(bin)分量，计数后的值用hi(k)表示；1≤k≤K，K为整个直方图栅格(bin)划分数目，且K的值为角度参数th与距离参数R的乘积，取角度参数th为12，距离参数R为5，则K为60，每个边缘点由一个60维的形状上下文特征向量来描述。
(8)得到所有边缘点的形状上下文特征向量后，由于存在不同距离对数等级下边缘点数目巨大差异带来的匹配影响，引入距离方向的归一化处理，如式(5)所示，并得到形状上下文特征向量描述矩阵Des，如式(6)所示。
其中：为hi(k)归一化后的值，1≤m≤R，1≤n≤th，矩阵Des按行存放N个边缘点的形状上下文特征向量，大小为N*60。
(9)由于边缘点的形状上下文特征向量中存在较多的零元素，故对其提取非零元素构成新的特征描述向量，并记录对应非零元素所在的bin区编号(bin区编号即边缘点在形状直方图中对应的第i个栅格分量)构成标记向量，按行遍历形状上下文特征描述矩阵Des。标记向量反映了边缘点的形状直方图栅格分布信息，若标记向量差异越小说明对应点越相似，标记向量差异越大说明对应点越不相似。对应左右图像对中，左图像边缘点集{pi}对应标记矩阵LableL，右图像边缘点集{qj}对应标记矩阵LableR，如式(7)所示。
其中：i对应左图像边缘点索引，j对应右图像边缘点索引，Nleft和Nright分别为左右图像中边缘点个数，标记向量Lableleft(i)和Lableright(j)均为行向量。
(10)比较左图像中边缘点对应的标记向量Lableleft(i)与待匹配右图像中边缘点对应的标记向量Lableright(j)，若两标记向量之间共同元素的个数满足式(8)，说明被比较的两个边缘点具有近似相同的直方图分布(理想匹配点具有相同的直方图分布，即应该满足等式
|(max(Lableleft(i)_num，Lableright(j)_num)-common_Lable_num)|＝0)，记待匹配右图像中与pi匹配的边缘点索引为φ(i)，如式(9)所示，即(pi，qφ(i))为候选匹配点集。依次遍历左图像中的边缘点，得到左图像中边缘点对应右图像中的候选匹配点集。因此，后续计算相似性度量时，只需要在这些候选匹配点集中进行，从而达到减少搜索空间的目的；
|(max(Lableleft(i)_num，Lableright(j)_num)-common_Lable_num)|≤2 (8)
若式(8)成立，则下式成立：
φ(i)＝{j}，j＝1，2，...，Nright (9)
其中：Lableleft(i)_num和Lableright(j)_num分别为左右图像中边缘点对应标记向量的个数，common_Lable_num为边缘点之间对应的标记向量相同元素的个数，间接反映了边缘点形状上下文特征描述对应的形状直方图分布的差异，common_Lable_num值越大说明对应的直方图分布差异越小。
(11)改进原始形状上下文中计算相似性度量的χ2(卡方)距离公式(10)，将其分子耗时的平方计算用差的绝对值替代，如式(11)所示，改进后的相似性度量公式与公式(9)具有相同的变化特性，仍然保持相似性系数值越小对应特征点对相似程度越高的特性，因此不会影响各点之间相似性的判断，反而加速了相似性度量的计算速度；此外，改进相似性度量构成加权相似性度量，如式(12)～(13)所示，增加匹配点与非匹配点之间的区分度；然后在双目视觉系统的外极线约束条件下，根据式(12)计算候选匹配点对应的相似性度量值，根据最邻近距离(Cnearst)与次邻近距离(Chpyo_nearst)的比值判断，如式(13)所示，保留满足式(14)阈值条件的点对，进行形状上下文粗匹配，得到初始匹配点集{plj，qrj}(plj为左图像的边缘点，qrj为右图像的边缘点，plj与plj为对应匹配点)。
其中：Cij为形状上下文相似性度量值，值越小相似性越高，两点的匹配度也越高；ωij为相似性度量计算权值，threshold1的取值为0.6～0.85。
(11)在得到初始匹配点集{plj，qrj}后，将其对应边缘点投影到原始包含工件的左右图像对中，根据式(15)计算并统计其3*3邻域的梯度方向直方图特征，其中将梯度方向0°～360°按30°角度大小分成12个区域；然后根据式(16)进行归一化点积相似性度量计算，保留满足阈值条件Cdirection_j≥threshold2的点对，剔除不满足阈值条件的点对，进行梯度方向直方图细匹配，threshold2取值为0.7～0.9。
其中：θ(xj，yj)为点(xj，yj)的梯度方向，I(xj，yj)为点(xj，yj)处的灰度值；Cdirection_j为对应点梯度方向直方图相似性值，dj为点plj的3*3邻域梯度方向直方图特征向量，ej为点qrj的3*3邻域梯度方向直方图特征向量。
(12)引入左右一致性校验，剔除错误匹配。校验过程中要求来自左右视图的一对像素匹配对，只有在以左图和右图两次匹配过程中存在一致的匹配关系的对应点视为正确匹配，将有一个方向或者两个方向都不满足相似性阈值约束的点对视为错误匹配，剔除一对多或者多对一的错误匹配点对，保证点之间的一对一的对应关系，从而进一步提高匹配精度。
Claims (4)
1.基于改进型形状上下文的工件图像稀疏立体匹配方法，其特征是，融合了能反映点位置分布关系的形状上下文特征和能反映点本身梯度属性的梯度方向直方图特征，根据形状上下文特征的直方图分布确定候选匹配点集，减少搜索空间，同时改进相似性度量计算公式，增加匹配点与非匹配点的区分度，并引入灰度归一化处理以及左右一致性校验，在满足实时性要求的情况下，提高了原始形状上下文匹配精度以及匹配的鲁棒性；主要包含如下几个步骤：
(1)对原始输入的包含工件的左右图像对进行灰度归一化处理，消除由于两相机光照不一造成的影响，根据(2)～(6)分别对左右图像进行特征提取；
(2)采用大津法(Otsu)进行二值化处理，并利用形态学去除毛刺和内部孔洞；
(3)对二值图像进行Canny算法边缘提取，得到去除了内部短小边缘和孔洞边缘，只保留外边缘的二值图像；
(4)采取对图像边缘进行随机均匀采样方法提取边缘点；
(5)对采样得到的离散边缘点进行对数极坐标变换，计算并统计各点的形状直方图特征，统计落在直方图栅格里的边缘点数，得到各点的形状上下文特征向量描述；
(6)对(5)得到的形状上下文特征向量提取非零元素，由提取出的非零元素构成新的特征描述向量，并记录对应非零元素所在的bin区编号，此处bin区编号即边缘点在形状直方图中的栅格编号构成标记向量；
(7)根据标记向量查找候选匹配点集，达到减少后续搜索空间的目的，然后根据改进后的加权相似性度量公式进行形状上下文粗匹配，得到初始匹配点集；
(8)将(7)得到的初始匹配点集对应的边缘点投影到原始输入的包含工件的左右图像对中，计算并统计其3*3邻域的梯度方向直方图特征，并利用归一化点积进行相似性度量计算，保留满足阈值条件的点对，剔除不满足阈值条件的点对，进行梯度方向直方图细匹配；
(9)对(8)得到的匹配点对进行左右一致性校验，剔除错误匹配，得到最终匹配点对。
2.根据权利要求1所述基于改进型形状上下文的工件图像稀疏立体匹配方法，其特征是：所述步骤(5)～步骤(7)中利用改进的形状上下文进行粗匹配，包含如下步骤：
第一步、对步骤(4)得到的离散边缘点进行对数极坐标变换；
<mrow>
<msub>
<mi>r</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
<mrow>
<msub>
<mi>&theta;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>arctan</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>&NotEqual;</mo>
<mi>i</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
第二步、计算统计各边缘点的形状直方图特征；
hi(k)＝Count{(qj-pi)∈bin(k)}，j≠i，j＝1，2，3...N
第三步、对上述形状直方图特征进行距离方向的归一化处理，得到归一化后的边缘点形状上下文特征向量描述，并按行存放对应边缘点形状上下文特征向量，得到形状上下文特征描述矩阵Des；
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>h</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>R</mi>
</munderover>
<msub>
<mi>h</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>D</mi>
<mi>e</mi>
<mi>s</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>K</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>K</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>N</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>K</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
第四步、对第三步得到的边缘点形状上下文特征向量提取非零元素，构成新的特征描述向量，并记录对应非零元素所在的bin区编号，此处bin区编号即边缘点在形状直方图中的栅格编号，按行遍历形状上下文特征描述矩阵Des，对应立体图像对中，构成左图像边缘点对应标记矩阵LableL，右图像边缘点对应标记矩阵LableR；
第五步、比较左图像中边缘点对应的标记向量Lableleft(i)与待匹配右图像中边缘点对应的各标记向量Lableright(j)，若两向量之间共同元素的个数绝对差值满足式满足|(max(Lableleft(i)_num，Lableright(j)_num)-common_Lable_num)|≤2，则将该两标记向量对应边缘点视为候选待匹配点对，依次遍历左图像中的边缘点，得到左图像中边缘点对应右图像中的候选匹配点集；
第六步、根据改进后的相似性度量公式计算特征点对应特征向量的相似性程度，进行粗匹配；
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msub>
<mi>&omega;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<mfrac>
<mrow>
<mo>|</mo>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mrow>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mover>
<mi>h</mi>
<mo>&OverBar;</mo>
</mover>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>.</mo>
</mrow>
3.根据权利要求1所述基于改进型形状上下文的工件图像稀疏立体匹配方法，其特征是：所述步骤(8)中利用梯度方向直方图进行细匹配，包含如下步骤：
第一步、将步骤(7)得到的初始匹配点集对应的边缘点坐标映射到原始包含工件的左右图像对中；
第二步、计算并统计对应点3*3邻域的梯度方向直方图特征；
<mrow>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>arctan</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
第三步、利用归一化点积进行相似性度量计算，保留满足阈值条件的点对，剔除不满足阈值条件的点对；
<mrow>
<msub>
<mi>C</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>r</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
<mi>i</mi>
<mi>o</mi>
<mi>n</mi>
<mo>_</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msup>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mi>T</mi>
</msup>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>.</mo>
</mrow>
4.根据权利要求1所述基于改进型形状上下文的工件图像稀疏立体匹配方法，其特征是：所述步骤(9)中利用左右一致性校验剔除误匹配点对，包含如下步骤：
第一步、按照上述的匹配方法对立体图像对从右图到左图进行反向匹配；
第二步、判断第一步得到的匹配结果是否与步骤(8)得到的匹配结果一致，若满足一致的匹配关系则认为是正确匹配，反之则为错误匹配，将其剔除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510253385.7A CN104851095B (zh) | 2015-05-14 | 2015-05-14 | 基于改进型形状上下文的工件图像稀疏立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510253385.7A CN104851095B (zh) | 2015-05-14 | 2015-05-14 | 基于改进型形状上下文的工件图像稀疏立体匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104851095A CN104851095A (zh) | 2015-08-19 |
| CN104851095B true CN104851095B (zh) | 2017-12-26 |
Family
ID=53850722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510253385.7A Active CN104851095B (zh) | 2015-05-14 | 2015-05-14 | 基于改进型形状上下文的工件图像稀疏立体匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104851095B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354558B (zh) * | 2015-11-23 | 2018-09-28 | 河北工业大学 | 人脸图像匹配方法 |
| CN105654476B (zh) * | 2015-12-25 | 2019-03-08 | 江南大学 | 基于混沌粒子群优化算法的双目标定方法 |
| CN106384334A (zh) * | 2016-09-26 | 2017-02-08 | 西安交通大学 | 基于互信息的钢板图像拼接方法 |
| CN108898132B (zh) * | 2018-05-25 | 2022-08-12 | 广东工业大学 | 一种基于形状上下文描述的太赫兹图像危险品识别方法 |
| CN108876783B (zh) * | 2018-06-27 | 2021-02-05 | 上海联影医疗科技股份有限公司 | 图像融合方法及系统、医疗设备和图像融合终端 |
| CN111814856A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大学 | 一种基于形态匹配的产品仿生设计融合方法及系统 |
| CN113379777A (zh) * | 2021-05-26 | 2021-09-10 | 西安电子科技大学 | 一种基于最小外接矩形垂直内距离比例的形状描述与检索方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3706603B2 (ja) * | 2002-09-09 | 2005-10-12 | 松下電器産業株式会社 | データ特徴抽出装置及びデータ照合装置 |
| CN102201060A (zh) * | 2011-05-31 | 2011-09-28 | 温州大学 | 一种基于形状语义的非参数轮廓跟踪评价方法 |
| CN102254043A (zh) * | 2011-08-17 | 2011-11-23 | 电子科技大学 | 一种基于语义映射的服装图像检索方法 |
| CN102842133A (zh) * | 2012-07-13 | 2012-12-26 | 电子科技大学 | 一种局部特征描述方法 |
| CN103236068A (zh) * | 2013-05-14 | 2013-08-07 | 中国科学院自动化研究所 | 一种局部图像匹配方法 |
| CN104077775A (zh) * | 2014-06-28 | 2014-10-01 | 中国科学院光电技术研究所 | 一种结合骨架特征点和形状上下文的形状匹配方法及装置 |
| CN104361313A (zh) * | 2014-10-16 | 2015-02-18 | 辽宁石油化工大学 | 一种基于多核学习异构特征融合的手势识别方法 |
-
2015
- 2015-05-14 CN CN201510253385.7A patent/CN104851095B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3706603B2 (ja) * | 2002-09-09 | 2005-10-12 | 松下電器産業株式会社 | データ特徴抽出装置及びデータ照合装置 |
| CN102201060A (zh) * | 2011-05-31 | 2011-09-28 | 温州大学 | 一种基于形状语义的非参数轮廓跟踪评价方法 |
| CN102254043A (zh) * | 2011-08-17 | 2011-11-23 | 电子科技大学 | 一种基于语义映射的服装图像检索方法 |
| CN102842133A (zh) * | 2012-07-13 | 2012-12-26 | 电子科技大学 | 一种局部特征描述方法 |
| CN103236068A (zh) * | 2013-05-14 | 2013-08-07 | 中国科学院自动化研究所 | 一种局部图像匹配方法 |
| CN104077775A (zh) * | 2014-06-28 | 2014-10-01 | 中国科学院光电技术研究所 | 一种结合骨架特征点和形状上下文的形状匹配方法及装置 |
| CN104361313A (zh) * | 2014-10-16 | 2015-02-18 | 辽宁石油化工大学 | 一种基于多核学习异构特征融合的手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104851095A (zh) | 2015-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104851095B (zh) | 基于改进型形状上下文的工件图像稀疏立体匹配方法 | |
| CN107169487B (zh) | 基于超像素分割及深度特征定位的显著性目标检测方法 | |
| CN105740899B (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
| CN104268602A (zh) | 一种基于二进制特征匹配的遮挡工件识别方法及装置 | |
| CN105957082A (zh) | 一种基于面阵相机的印刷质量在线监测方法 | |
| CN104167003A (zh) | 一种遥感影像的快速配准方法 | |
| CN108022262A (zh) | 一种基于点的邻域重心向量特征的点云配准方法 | |
| CN113628263A (zh) | 一种基于局部曲率及其近邻特征的点云配准方法 | |
| CN111401449B (zh) | 一种基于机器视觉的图像匹配方法 | |
| CN106936964A (zh) | 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 | |
| CN113160285A (zh) | 一种基于局部深度图像关键性的点云匹配方法 | |
| CN103954280A (zh) | 一种快速和高鲁棒性自主恒星识别方法 | |
| CN106548139A (zh) | 一种行人重识别方法 | |
| CN108182705A (zh) | 一种基于机器视觉的三维坐标定位方法 | |
| CN113379777A (zh) | 一种基于最小外接矩形垂直内距离比例的形状描述与检索方法 | |
| CN107862319A (zh) | 一种基于邻域投票的异源高分光学影像匹配误差剔除方法 | |
| Fischer et al. | A feature descriptor for texture-less object representation using 2D and 3D cues from RGB-D data | |
| CN111028345B (zh) | 一种港口场景下圆形管道的自动识别与对接方法 | |
| CN114648445B (zh) | 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 | |
| CN107895166B (zh) | 基于特征描述子的几何哈希法实现目标鲁棒识别的方法 | |
| CN104282001A (zh) | 增强图像特征二值描述子性能的方法 | |
| CN117132630A (zh) | 一种基于二阶空间兼容性度量的点云配准方法 | |
| CN115082477A (zh) | 一种基于去反光效果的半导体晶圆加工质量检测方法 | |
| CN103871048B (zh) | 一种基于直线基元的几何哈希法实时定位与匹配方法 | |
| US11645827B2 (en) | Detection method and device for assembly body multi-view change based on feature matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |