CN114331995A - 一种基于改进2d-icp的多模板匹配实时定位方法 - Google Patents
一种基于改进2d-icp的多模板匹配实时定位方法 Download PDFInfo
- Publication number
- CN114331995A CN114331995A CN202111595443.6A CN202111595443A CN114331995A CN 114331995 A CN114331995 A CN 114331995A CN 202111595443 A CN202111595443 A CN 202111595443A CN 114331995 A CN114331995 A CN 114331995A
- Authority
- CN
- China
- Prior art keywords
- template
- matching
- point
- image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于机器视觉模板匹配在线定位技术领域，特别涉及一种基于改进2D‑ICP的多模板匹配实时定位方法。首先在加工平台上安装并调节好工业相机，放置模板工件并采集模板图像，离线制作模板数据库并保存；然后实时采集图像，采用多模板匹配的方法和OpenMP并行编程对待搜索图像进行粗匹配，然后通过改进匹配测算函数的2D‑ICP算法进行精确匹配，得到目标亚像素精度的位姿信息；并根据相机的实际安装位姿和像素当量计算出目标物体在加工平台的实际坐标和角度；本发明能够实现任意的平面工件模板的匹配过程并确定工件位姿，且具有快速、准确、稳定的优点。
Description
技术领域
本发明属于机器视觉模板匹配在线定位技术领域，特别涉及一种基于改进2D-ICP的多模板匹配实时定位方法。
背景技术
随着制造业飞速发展，高速、高精度、高自动化和柔性化产线越来越受到关注，机器视觉技术运用于自动化生产工业领域已成为解决检测、测量、定位等问题的首选方案。其中工件的快速、精准定位是工件加工前的重要步骤，其速度决定了加工效率，其精度决定了加工质量。目前视觉平面定位技术一般采用模板匹配的算法。通过灰度模板匹配的方法是利用模板图像的灰度分布特征在待搜索图像中进行遍历搜索，其原理简单，对于比较理想的环境非常有效，但不能克服遮挡、光照等干扰因素，因此不适用于工业领域。基于特征描述符的模板匹配方法是通过在模板图像和待搜索图像中生成特征描述符，然后进行描述符匹配得到匹配点对，从而得到仿射变换，但此方法无匹配率较高，精度太低，故只在计算机视觉领域运用。通过从不同角度和不同尺度生成模板数据库，然后与待搜索图像进行遍历搜索，最后进行亚像素提取定位，其模板匹配计算量随着精度的提高而陡然上升，尤其是高分辨率图像和在金字塔底层进行精准位姿匹配时，需花大量时间。
发明内容
本发明的目的是克服现有技术存在的缺陷，改进现有模板匹配算法，提高视觉定位效率和精度，提供一种基于改进2D-ICP的多模板匹配实时定位方法。利用多模板离线数据库对实时图像进行边缘粗匹配得到粗略位置和角度，然后利用改进匹配程度测算函数的2D-ICP算法进行精匹配，得到最终位姿，最后由相机物理坐标和像素当量，计算出工件的实际坐标和角度，具有快速、高精度、稳定性高等优点。
实现本发明目的的技术方案是：
一种基于改进2D-ICP的多模板匹配实时定位方法，包括以下步骤：
步骤1.调节相机：将高分率工业相机对焦到工件平面，固定此工作焦距，调节光源和相机曝光时间，使相机成像清晰，边缘分明。
步骤2.制作模板数据库：放置模板工件，手工框选包含模板工件的区域图像M，根据M的尺寸设置金字塔层数、角度步长。针对每一层金字塔图像中每一个角度步长，使用Canny边缘算子提取此时图像的边缘，记录并离线保存边缘点集P(n，θ，x，y，Gx，Gy，m),其中n和θ代表边缘点所在金字塔层数和角度步长内，x，y是边缘点所在位置，Gx，Gy，m分别是边缘点x方向梯度和y方向梯度，以及梯度模长。将数据离线保存在文件中。
步骤3.实时采集图像：将待定位工件随意放置在相机视野内(可以部分在视野外)，调节相机采集帧率使之实时采集图像，并传输给上位机开始处理。
步骤4.粗匹配：使用图像二值化法提取待搜索图像中的感兴趣区域ROI，根据模板数据金字塔层数n，使用第n层的模板数据在ROI第n层金字塔图像中进行遍历搜索，然后往下在邻域内继续搜索直到金字塔最底层，得到像素级定位精度xs，ys，θs。
步骤5.精匹配：在xs，ys，θs附近进行2D-ICP边缘点配准，通过迭代对应边缘点距离及点对的梯度夹角，得到精匹配结果xr，yr，θr。
步骤6.工件位姿计算：根据步骤5精匹配得到的xr，yr，θr，结合相机与平台的相对位姿和相机像素当量，计算得到工件的实际位姿信息。
进一步的，步骤2中模板数据库进行离线制作，首先手动选择模板图像区域，然后依次对第n层第θ角度的模板图像进行Canny边缘提取，其中，对于提取到的边缘点，可以手工删除杂点和弱影响点，保留强影响边缘点，同时，对边缘点进行等间隔降采样，并将筛选剩余边缘点及其信息保存在离线文件中。
进一步的，步骤4中粗匹配的具体方法为：对步骤3采集的实时图像首先进行二值化处理，提取ROI，以ROI区域为待搜索区域；然后按照S2中的参数n，对图像进行金字塔分层；然后读取模板数据库中第n层模板数据即边缘点信息，通过OpenMP编译代码并行计算，在待搜索图像第n层的ROI区域进行遍历搜索，第n层角度搜索步长为2n-1度，且以上一层的结果区间为搜索范围；计算所有模板边缘点与相对应的图像像素之间夹角值之和S的平均值，得分越高，说明越匹配，
其中
其中：N为边缘点集P尺寸，m，n为待搜索图像ROI区域的左上角像素坐标，
i为点集P索引，
xi,yi为该边缘索引点在模板图像中的像素坐标，
在对待搜索ROI区域的某一个像素点进行匹配度S计算时，如果出现
的情况，则终止当前点的计算，跳至下一位置，其中Sj为前j个边缘点的匹配度值，MinScore为预设的最小匹配分数，N为模板边缘点集尺寸。
进一步的，步骤5中精匹配的具体方法为：在金字塔第0层即原始待搜索图像中进行Canny边缘提取，筛选并保留由步骤4得到的粗匹配结果xs，ys，θs下模板数据附近的边缘点集Q；采用迭代最近点(ICP)算法进行精匹配，由于点集P、Q均为二维点，故以2D-ICP作为方法名称；
其步骤为：首先使用KD-tree对待搜索图像中的Q点集进行划分，对模板点集P中的每一点进行最近点搜索，得到映射关系f(P,Q)；然后根据映射关系f(P,Q)，计算出P→Q的变换矩阵T、R，其中T为平移矩阵，R为旋转矩阵；再根据变换矩阵计算得到点集P变换后的对应点集P1；此时计算点集P1与Qf(P,Q)的匹配程度
其中N为点集P1尺寸，
di为第i对映射点对f(Pi 1,Qi)的欧式距离，
θi为第i对映射点对f(Pi 1,Qi)的梯度夹角；
判断匹配程度V是否小于预设阈值τ，若小于，则以当前P1位姿为精匹配结果，若大于，则返回第一步对点集P1中的每一点进行最近点搜索，得到映射关系f1(P,Q)，以此迭代，直至得到匹配程度Vn小于阈值τ，得到精匹配结果xs，ys，θs。
采用上述技术方案后，本发明具有以下积极的效果：
(1)本发明采用人工交互的方式制作模板数据，从边缘点中剔除杂点、弱影响点，然后对其余点进行等间隔降采样，从而大大减少了匹配计算量，提高了匹配速度。
(2)本发明采用图像二值化法对待搜索图像进行二值分割，提取包含目标的感兴趣区域，大大缩小了初始遍历搜索的范围，并通过OpenMP并行编程计算，提高了匹配速度。
(3)本发明采用了改进匹配测度函数的2D-ICP算法，对位置和角度同时进行迭代搜索，提高了定位速度和精度，其中定位精度达到亚像素级。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1为本发明方法流程图；
图2为本发明制作模板数据库流程图；
图3为本发明粗匹配流程图；
图4为本发明精匹配流程图。
具体实施方式
如图1所示，一种基于改进2D-ICP的多模板匹配实时定位方法，包括以下步骤：
步骤1.调节相机：将高分率工业相机对焦到工件平面，固定此工作焦距，调节光源和相机曝光时间，使相机成像清晰，边缘分明。实施例用大恒水星MER-503-36U3M-L型号，500W像素，采集图像尺寸为2448×2048。
参照图2，步骤2.制作模板数据库：对模板数据库进行离线制作，首先手动选择模板图像区域，根据图像的大小和模板工件特征确定最佳金字塔层数和每层金字塔搜索的角度步长；然后依次对第n层第θ角度的模板图像进行Canny边缘提取，记录此时的边缘点(x，y，Gx，Gy，m)，其中x，y为边缘点像素位置，Gx，Gy为边缘点在x，y方向上的梯度归一化值，m为边缘点梯度模长；可以手工删除杂点和弱影响点，保留强影响边缘点，同时，对边缘点进行等间隔降采样，并将筛选剩余边缘点及其信息保存在离线文件中。
步骤3.实时采集图像：将待定位工件随意放置在相机视野内(可以部分在视野外)，调节相机采集帧率使之实时采集图像，帧率设置在15fps左右，并传输给上位机开始处理。
参照图3，步骤4.粗匹配：对步骤3采集的实时图像首先进行二值化处理，提取ROI，以ROI区域为待搜索区域；然后按照步骤2中的参数n，对图像进行金字塔分层；然后读取模板数据库中第n层模板数据即边缘点信息，通过OpenMP编译代码并行计算，在待搜索图像第n层的ROI区域进行遍历搜索，第n层角度搜索步长为2n-1度，且以上一层的结果区间为搜索范围；计算所有模板边缘点与相对应的图像像素之间夹角值之和S的平均值，得分越高，说明越匹配，
其中
其中：N为边缘点集P尺寸，
m，n为待搜索图像ROI区域的左上角像素坐标，
i为点集P索引，
xi,yi为该边缘索引点在模板图像中的像素坐标，
在对待搜索ROI区域的某一个像素点进行匹配度S计算时，如果出现
的情况，则终止当前点的计算，跳至下一位置，其中Sj为前j个边缘点的匹配度值，MinScore为预设的最小匹配分数，N为模板边缘点集尺寸。
参照图4，步骤5.精匹配：在金字塔第0层即原始待搜索图像中进行Canny边缘提取，筛选并保留由步骤4得到的粗匹配结果xs，ys，θs下模板数据附近的边缘点集Q；采用迭代最近点(ICP)算法进行精匹配，由于点集P、Q均为二维点，故以2D-ICP作为方法名称。
其步骤为：首先使用KD-tree对待搜索图像中的Q点集进行划分，对模板点集P中的每一点进行最近点搜索，得到映射关系f(P,Q)；然后根据映射关系f(P,Q)，计算出P→Q的变换矩阵T、R，其中T为平移矩阵，R为旋转矩阵；再根据变换矩阵计算得到点集P变换后的对应点集P1；此时计算点集P1与Qf(P,Q)的匹配程度
其中N为点集P1尺寸，
di为第i对映射点对f(Pi 1,Qi)的欧式距离，
θi为第i对映射点对f(Pi 1,Qi)的梯度夹角；
判断匹配程度V是否小于预设阈值τ，若小于，则以当前P1位姿为精匹配结果，若大于，则返回第一步对点集P1中的每一点进行最近点搜索，得到映射关系f1(P,Q)，以此迭代，直至得到匹配程度Vn小于阈值τ，得到精匹配结果xs，ys，θs。
步骤6.工件位姿计算：根据步骤5相机与平台的相对位姿一般在安装时通过机械的方式固定，安装时尽量保持坐标轴平行，通过九点标定法来精确校正相机位姿，得到旋转矩阵Rc和平移矩阵Tc，同时也可计算出相机像素当量d。由步骤5精匹配得到的xr，yr，θr，结合相机与平台的相对位姿Rc、Tc和相机像素当量d，计算得到工件的实际位姿信息。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于改进2D-ICP的多模板匹配实时定位方法，其特征在于，包括以下步骤：
步骤1.调节相机：将高分率工业相机对焦到工件平面，固定此工作焦距，调节光源和相机曝光时间，使相机成像清晰，边缘分明；
步骤2.制作模板数据库：放置模板工件，手工框选包含模板工件的区域图像M，根据M的尺寸设置金字塔层数、角度步长；针对每一层金字塔图像中每一个角度步长，使用Canny边缘算子提取此时图像的边缘，记录并离线保存边缘点集P(n，θ，x，y，Gx，Gy，m)，
其中n和θ代表边缘点所在金字塔层数和角度步长内，
x，y是边缘点所在位置，
Gx，Gy，m分别是边缘点x方向梯度和y方向梯度，以及梯度模长；
再将数据离线保存在文件中；
步骤3.实时采集图像：将待定位工件随意放置在相机视野内，待定位工件也可以部分在视野外，调节相机采集帧率使之实时采集图像，并传输给上位机开始处理；
步骤4.粗匹配：使用图像二值化法提取待搜索图像中的感兴趣区域ROI，根据模板数据金字塔层数n，使用第n层的模板数据在ROI第n层金字塔图像中进行遍历搜索，然后往下在邻域内继续搜索直到金字塔最底层，得到像素级定位精度xs，ys，θs；
步骤5.精匹配：在xs，ys，θs附近进行2D-ICP边缘点配准，通过迭代对应边缘点距离及点对的梯度夹角，得到精匹配结果xr，yr，θr；
步骤6.工件位姿计算：根据步骤5精匹配得到的xr，yr，θr，结合相机与平台的相对位姿和相机像素当量，计算得到工件的实际位姿信息。
2.根据权利要求1所述的基于改进2D-ICP的多模板匹配实时定位方法，其特征在于：
所述步骤2中模板数据库进行离线制作，首先手动选择模板图像区域，然后依次对第n层第θ角度的模板图像进行Canny边缘提取，其中，对于提取到的边缘点，需要人工删除杂点和弱影响点，保留强影响边缘点，同时，对边缘点进行等间隔降采样，并将筛选剩余边缘点及其信息保存在离线文件中。
3.根据权利要求1所述的基于改进2D-ICP的多模板匹配实时定位方法，其特征在于：所述步骤4中粗匹配的具体方法为：对步骤3采集的实时图像首先进行二值化处理，提取ROI，以ROI区域为待搜索区域；然后按照步骤2中的参数n，对图像进行金字塔分层；然后读取模板数据库中第n层模板数据即边缘点信息，通过OpenMP编译代码并行计算，在待搜索图像第n层的ROI区域进行遍历搜索，第n层角度搜索步长为2n-1度，且以上一层的结果区间为搜索范围；计算所有模板边缘点与相对应的图像像素之间夹角值之和S的平均值，得分越高，说明越匹配，
其中
其中：N为边缘点集P尺寸，
m，n为待搜索图像ROI区域的左上角像素坐标，
i为点集P索引，
xi,yi为该边缘索引点在模板图像中的像素坐标，
在对待搜索ROI区域的某一个像素点进行匹配度S计算时，如果出现
的情况，则终止当前点的计算，跳至下一位置，
其中Sj为前j个边缘点的匹配度值，
MinScore为预设的最小匹配分数，
N为模板边缘点集尺寸。
4.根据权利要求1所述的基于改进2D-ICP的多模板匹配实时定位方法，其特征在于：所述步骤5中精匹配的具体方法为：在金字塔第0层即原始待搜索图像中进行Canny边缘提取，筛选并保留由步骤4得到的粗匹配结果xs，ys，θs下模板数据附近的边缘点集Q；采用迭代最近点(ICP)算法进行精匹配；
其步骤为：首先使用KD-tree对待搜索图像中的Q点集进行划分，对模板点集P中的每一点进行最近点搜索，得到映射关系f(P,Q)；然后根据映射关系f(P,Q)，计算出P→Q的变换矩阵T、R，其中T为平移矩阵，R为旋转矩阵；再根据变换矩阵计算得到点集P变换后的对应点集P1；此时计算点集P1与Qf(P，Q)的匹配程度
其中N为点集P1尺寸，
di为第i对映射点对f(Pi 1，Qi)的欧式距离，
θi为第i对映射点对f(Pi 1，Qi)的梯度夹角；
判断匹配程度V是否小于预设阈值τ，若小于，则以当前P1位姿为精匹配结果，若大于，则返回第一步对点集P1中的每一点进行最近点搜索，得到映射关系f1(P，Q)，以此迭代，直至得到匹配程度Vn小于阈值τ，得到精匹配结果xs，ys，θs，为亚像素精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111595443.6A CN114331995A (zh) | 2021-12-24 | 2021-12-24 | 一种基于改进2d-icp的多模板匹配实时定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111595443.6A CN114331995A (zh) | 2021-12-24 | 2021-12-24 | 一种基于改进2d-icp的多模板匹配实时定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114331995A true CN114331995A (zh) | 2022-04-12 |
Family
ID=81012653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111595443.6A Pending CN114331995A (zh) | 2021-12-24 | 2021-12-24 | 一种基于改进2d-icp的多模板匹配实时定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114331995A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114851206A (zh) * | 2022-06-06 | 2022-08-05 | 天津中科智能识别有限公司 | 基于视觉引导机械臂抓取炉具的方法 |
| CN114926488A (zh) * | 2022-05-23 | 2022-08-19 | 华南理工大学 | 基于广义Hough模型和改进金字塔搜索加速的工件定位方法 |
| CN116580022A (zh) * | 2023-07-07 | 2023-08-11 | 杭州鄂达精密机电科技有限公司 | 工件尺寸检测方法、装置、计算机设备及存储介质 |
| CN117132655A (zh) * | 2023-10-25 | 2023-11-28 | 江苏金旺智能科技有限公司 | 基于机器视觉的灌装桶口位置测量方法 |
-
2021
- 2021-12-24 CN CN202111595443.6A patent/CN114331995A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926488A (zh) * | 2022-05-23 | 2022-08-19 | 华南理工大学 | 基于广义Hough模型和改进金字塔搜索加速的工件定位方法 |
| CN114851206A (zh) * | 2022-06-06 | 2022-08-05 | 天津中科智能识别有限公司 | 基于视觉引导机械臂抓取炉具的方法 |
| CN114851206B (zh) * | 2022-06-06 | 2024-03-29 | 天津中科智能识别有限公司 | 基于视觉引导机械臂抓取炉具的方法 |
| CN116580022A (zh) * | 2023-07-07 | 2023-08-11 | 杭州鄂达精密机电科技有限公司 | 工件尺寸检测方法、装置、计算机设备及存储介质 |
| CN116580022B (zh) * | 2023-07-07 | 2023-09-29 | 杭州鄂达精密机电科技有限公司 | 工件尺寸检测方法、装置、计算机设备及存储介质 |
| CN117132655A (zh) * | 2023-10-25 | 2023-11-28 | 江苏金旺智能科技有限公司 | 基于机器视觉的灌装桶口位置测量方法 |
| CN117132655B (zh) * | 2023-10-25 | 2024-01-26 | 江苏金旺智能科技有限公司 | 基于机器视觉的灌装桶口位置测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114331995A (zh) | 一种基于改进2d-icp的多模板匹配实时定位方法 | |
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN111523547B (zh) | 一种3d语义分割的方法及终端 | |
| CN111862201A (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
| CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
| CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
| US20210271920A1 (en) | Method for grasping texture-less metal parts based on bold image matching | |
| CN107240130B (zh) | 遥感影像配准方法、装置及系统 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN113134683A (zh) | 基于机器学习的激光标刻方法及装置 | |
| CN113034474A (zh) | 一种oled显示器晶圆图的测试方法 | |
| CN111784655A (zh) | 一种水下机器人回收定位方法 | |
| CN115816471A (zh) | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 | |
| CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| CN113903024A (zh) | 一种手写票据数值信息识别方法、系统、介质及装置 | |
| CN114241469A (zh) | 一种面向电表轮换过程的信息识别方法和装置 | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| CN113970560B (zh) | 一种基于多传感融合的缺陷三维检测方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN104614372B (zh) | 一种太阳能硅片检测方法 | |
| Huang et al. | Crack detection of masonry structure based on thermal and visible image fusion and semantic segmentation | |
| CN115112098B (zh) | 一种单目视觉的一维二维测量方法 | |
| CN113592962B (zh) | 基于机器视觉的批量硅片标识识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |