CN107729893B - 一种合模机的视觉定位方法、系统和存储介质 - Google Patents

Abstract

一种合模机的视觉定位方法、系统和存储介质，该方法包括步骤：对双目相机进行标定，获得相机的内外参数；利用所述双目相机拍摄一组数字灰度图像对I_l和I_r；对图像I_l和I_r进行校正，边缘检测后得到边缘图像I′_l和I′_r；获得目标的投影图像，利用投影图像匹配识别场景中的目标，得到图像I′_l和I′_r中目标的像素坐标，分别记为(x_l,y_l)和(x_r,y_r)，两横坐标之差记为视差d，d＝x_l‑x_r；对像素级视差d补偿从而获得高精度的亚像素视差d′；将相机标定得到的坐标映射矩阵K以及亚像素视差d′，得到目标物体的笛卡尔坐标。本发明的方法具有识别率高、计算精度高、计算速度快以及环境影响小的优点。

Description

一种合模机的视觉定位方法、系统和存储介质

技术领域

本发明涉及图像及视频数据处理领域，涉及图像中特定目标的识别与定位，特别涉及一种合模机的视觉定位方法、系统和存储介质。

背景技术

目标识别与定位是计算机视觉中的重要问题。其目的是测量目标物体的三维空间坐标，提供被测物体的相对位置信息。目标识别定位在工业自动化、机器人、无人驾驶等领域应用广泛，是计算机视觉，尤其是图像理解中的一个重要研究领域。

目标识别与定位能够在复杂场景中有效提取目标的深度信息，为机械智能化提供了坚实的保障。目前有许多方法用于实现目标识别定位，它们的绝大部分可以划分为两类：基于主动视觉和基于被动视觉。

基于主动视觉的识别定位方法又分为基于激光扫描、基于结构光、基于红外线三种定位技术。基于激光扫描的定位技术通过激光发射器定时发射激光束，分别在水平与垂直方向轮流对定位空间进行扫描，光敏传感器通过接收激光的时间、角度等信息确定被测物体的空间位置与姿态。基于结构光的定位技术通过激光发射器将已编码结构化的激光投影到待测物体表面，由摄像系统采集经物体表面高度调制的结构光，并传送至计算机分析计算，从而获得物体的空间信息。基于红外线的定位技术首先在待测物体上安装红外灯，作为标记点，并用两台红外相机采集红外图像。计算机分析不同角度采集的红外图像，提取目标物体的三维空间坐标。

基于被动视觉的定位技术分为基于单目相机和基于双目相机两种定位技术。单目视觉定位的方法主要有两种：给予单帧图像的定位方法和基于两帧或多帧的定位方法。目前较为常见的基于单帧图像的定位方法是在标定距离利用投影矩阵获得相机x、y方向的坐标信息。基于两帧或多帧的定位方法的关键在于实现多帧投影图像之间的对应特征元素匹配，如SLAM。双目相机拥有两个相对位置已知的摄像头，单帧图像即可获得同一物体不同视角的两幅图像，通过对目标特征的提取与匹配得到目标的视差信息，从而利用三角测量方法获得被测物体的三维空间信息。

相对其它定位方法，基于双目相机的定位技术操作方便，实现原理简单可行，同时设备成本较低。但目前基于双目相机的定位技术应用仍然非常有限，主要存在两个方面的缺陷。一、精度不高。测量精度不仅受到相机安装误差、标定误差、像素误差等内外参数误差，更受到目标特征匹配算法精度影响。目前匹配算法精度多为像素级，亚像素级匹配结果则通过像素级匹配结果插值得到。匹配精度直接影响着被测目标的深度信息精度。二、对噪声敏感。双目定位技术是通过图像来实现定位的技术。工作环境、光照变化等因素影响采集图像的质量，图像的质量以及场景中干扰结构会直接导致目标物体的误识别、漏识别。

发明内容

(一)要解决的技术问题

为了克服现有技术中存在的缺陷，本发明提出了一种合模机的定位方法和系统，以及一种存储介质。

(二)技术方案

根据本发明的一方面，提出一种合模机的视觉定位方法，该方法包括步骤：步骤100，对双目相机进行标定，获得相机的内外参数以及相机投影矩阵K；步骤200，利用所述双目相机拍摄一组数字灰度图像对I_l和I_r；步骤300，对图像I_l和I_r进行校正，边缘检测后得到边缘图像I′_l和I′_r；步骤400，获得目标的投影图像，利用投影图像匹配识别场景中的目标，得到图像I′_l和I′_r中目标的像素坐标，分别记为(x_l,y_l)和(x_r,y_r)，两横坐标之差记为视差d，d＝x_l-x_r；步骤500，对像素级视差d补偿从而获得高精度的亚像素视差d′；步骤600，将相机标定得到的坐标映射矩阵K以及亚像素视差d′，得到目标物体的笛卡尔坐标。

根据本发明的另一方面，提出一种合模机的视觉定位系统，该系统包括：标定单元，用于对双目相机进行标定，获得相机的内外参数；图像获取单元，用于利用所述双目相机拍摄一组数字灰度图像对I_l和I_r；图像校正单元，用于对图像I_l和I_r进行校正，边缘检测后得到边缘图像I′_l和I′_r；目标投影图像和视差确定单元(，用于获得目标的投影图像，利用投影图像匹配识别场景中的目标，得到图像I′_l和I′_r中目标的像素坐标，分别记为(x_l,y_l)和(x_r,y_r)，两横坐标之差记为视差d，d＝x_l-x_r；亚像素视差计算单元，用于对像素级视差d补偿从而获得高精度的亚像素视差d′；坐标转换单元，用于将相机标定得到的坐标映射矩阵K以及亚像素视差d′，得到目标物体的笛卡尔坐标。

根据本发明的再一方面，提出一种合模机的定位系统，该系统包括处理器和存储器，存储器上存储有计算机程序，通过处理器执行上述的合模机的视觉定位方法。

根据本发明的再一方面，提出一种存储介质，其上存储有计算机程序，通过处理器执行该计算机程序以实现上述的合模机的视觉定位方法。

(三)有益效果

本发明的合模机视觉定位系统和方法具备如下优点：

1、识别率高。本发明利用多帧图像间的内在联系，对目标位置进行概率预测，提高了识别正确率。

2、计算精度高。图像的空间谱是一个有限带宽的信号。根据Nyquist采样定理，我们可以从采样值，也就是数字图像出发，精确复原目标物体的亮度特征。由此，我们可以准确计算亚像素级匹配代价。现有的匹配代价算法都是模板在空间域内以像素为单位滑动匹配，而亚像素级匹配代价则通过插值拟合得到，故精度比较差。

3、计算速度快。传统的空间域匹配代价的计算复杂度为O(N²)，而快速傅里叶变换的计算复杂度为O(N log N)，计算量远小于其它边缘检测方法。特别有利于高分辨率、大尺寸数字图像以及视频数据的快速处理。

4、环境影响小。本发明通过目标的真实形貌建立三维空间模型进而得到二维投影图像。二维投影图像无噪点、结构清晰，能够大大降低图像噪点对识别匹配的影响。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1、2和3是本发明合模机的视觉定位系统的算法流程图。

图4是以举例的方式示出的用于目标识别的实物示例“U型孔”。

图5是图4的U型孔的三维空间模型。

图6是图4的U型孔的二维投影图像。

图7是真实场景中U型孔识别。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

根据本发明的一实施例，提出一种合模机的视觉定位方法，如图1所示，该方法包括以下步骤：

步骤100，对双目相机进行标定，获得相机的内外参数。

双目相机标定是指分别获取左右相机的内外参数，通过立体标定对左右两幅图像进行立体校准和对齐，确定两个相机的相对位置关系，即中心距。

根据本发明，标定方法可以采用现有的方法。例如可以参考张政友教授提出的张氏标定法，或可以利用已开发成熟的工具箱。在本实施例中，采用Jean-Yves Bouguet开发的Camera Calibration Toolbox for Matlab工具箱进行标定，获得相机内外参数，并得到投影矩阵K。

步骤200，利用所述双目相机拍摄一组数字灰度图像对I_l和I_r。

在该步骤，所获取的数字灰度图像对I_l和I_r可以直接使用黑白相机或将彩色图像转换为灰度图像。

步骤300，利用标定参数对图像I_l和I_r进行畸变矫正和立体校正，边缘检测后得到边缘图像I′_l和I′_r，将视觉模型修正为平行双目视觉模型。。

在该步骤，利用步骤100的标定参数矫正和校正数字图像I_l和I_r，获得校正后的图像I′_l和I′_r。该步骤可以使用现有技术中的极线校正方法，在本实施例中，利用OpenCV库函数stereoRectify与remap实现图像校正，同时可获得投影矩阵K。步骤400，根据目标的真实形貌建立相应的三维模型，获得目标的投影图像。利用投影图像匹配识别场景中的目标，得到图像I′_l和I′_r中目标的像素坐标，分别记为(x_l,y_l)和(x_r,y_r)。两横坐标之差记为视差d，d＝x_l-x_r。。

图4以举例的方式示出了用于目标识别的实物示例，是一U型孔。

如图2所示，步骤400进一步包括：

步骤401：建立目标物体三维空间模型并利用光学几何原理获得相应的投影图像。

在该步骤，测量目标物体三维尺寸，建立三维模型。实地测量相机安装位置与目标物的空间距离，利用光学几何原理构建目标二维投影图像。认为该投影图像是理想状态下目标物的边缘图像。图5示出了U型孔的三维空间模型。图6为U型孔的二维投影图像。图7为真实场景中U型孔的识别。

步骤402：以投影图像为模板，在图像I′_l和I′_r中进行归一化相关匹配得到匹配代价矩阵，分别搜索两个匹配代价矩阵的最大值位置，分别记为(x_l,y_l)和(x_r,y_r)，记两横坐标之差为视差d，d＝x_l-x_r。

在本实施例中，以所述二维投影图像作为模板，使用OpenCV库函数matchTemplate实现搜索匹配。分别记(x_l,y_l)和(x_r,y_r)为图像I′_l和I′_r中目标的像素坐标。记两横坐标之差为视差d，d＝x_l-x_r。

步骤500，在校正后的图像对I′_l和I′_r中截取包含目标工件的特征区域。利用傅里叶变换实现亚像素级相关匹配，对像素级视差d补偿从而获得高精度的亚像素视差d′。如图3所示，该步骤进一步包括：

步骤501：截取图像I′_l和I′_r中的特征区域Roi_l和Roi_r。旋转Roi_l180度，分别建立两个尺寸为(2M-1,2N-1)的零矩阵Roi′_l和Roi′_r，特征区域Roi_l和Roi_r位于矩阵Roi′_l和Roi′_r的左上角。利用快速傅里叶变换转换至频域，得到频谱图像F_l和F_r。

步骤502：将频谱图像F_r中每个频谱成分F_r(k_m,k_n)乘以一个相移因子

得到新的频谱成分F′_n(k_m,k_n)，其中k_m＝0,1,...,M-1和k_n＝0,1,...,N-1分别为X和Y方向的波数，M和N分别为特征区域在X和Y方向上的尺寸，x₀,y₀分别为在X和Y方向的偏移量，-1＜x₀＜1，-1＜y₀＜1。

步骤503：使F_l、F_r相乘得到相关矩阵C₀的频谱，使F_l、F′_r相乘得到相关矩阵C₁的频谱，利用傅里叶反变换得到相关矩阵C₀、C₁，对比两矩阵中最小值的位置(C_x,C_y)。若坐标(C_x,C_y)在矩阵C₀中，记视差补偿量为(d_x,d_y)＝(C_x-M+1,C_y-N+1)；坐标(C_x,C_y)在矩阵C₁中，则记视差补偿量为(d_x,d_y)＝(C_x-x₀-M+1,C_y-y₀-N+1)。对像素级视差d进行补偿修正，得到亚像素视差d′，d′＝d+d_x。

步骤600，将相机标定得到的坐标映射矩阵K，乘以齐次坐标向量(x_l,y_l,d′,1)^T，得到目标齐次坐标(X,Y,Z,W)^T，转换后得到目标物体的笛卡尔坐标(x,y,z)^T＝(X/W,Y/W,Z/W)^T。

根据本发明的另一实施例，提出了一种合模机的定位系统，该系统包括：

标定单元，用于对双目相机进行标定，获得相机的内外参数。

双目相机标定是指分别获取左右相机的内外参数，通过立体标定对左右两幅图像进行立体校准和对齐，确定两个相机的相对位置关系，即中心距。

根据本发明，标定方法可以采用现有的方法。例如可以参考张政友教授提出的张氏标定法，或可以利用已开发成熟的工具箱。在本实施例中，采用Jean-Yves Bouguet开发的Camera Calibration Toolbox for Matlab工具箱进行标定，并获得相机内外参数。

图像获取单元，用于获取一组数字灰度图像对I_l和I_r。

所获取的数字灰度图像对I_l和I_r可以直接使用黑白相机或将彩色图像转换为灰度图像。

图像校正单元，利用标定参数对图像I_l和I_r进行畸变矫正和立体校正，边缘检测后得到边缘图像I′_l和I′_r，将视觉模型修正为平行双目视觉模型。。

图像校正单元利用标定参数矫正和校正数字图像I_l和I_r，获得校正后的图像I′_l和I′_r。图像校正单元可以使用现有技术中的极线校正方法，在本实施例中，利用OpenCV库函数stereoRectify与remap实现图像校正，并得到投影矩阵K。

目标投影图像和视差确定单元，用于目标的真实形貌建立相应的三维模型，获得目标的投影图像。利用投影图像匹配识别场景中的目标，得到图像I′_l和I′_r中目标的像素坐标，分别记为(x_l,y_l)和(x_r,y_r)。两横坐标之差记为视差d，d＝x_l-x_r。

目标投影图像和视差确定单元进一步包括：

目标投影图像确定单元，用于建立目标物体三维空间模型并利用光学几何原理获得相应的投影图像。标投影图像确定单元测量目标物体三维尺寸，建立三维模型。实地测量相机安装位置与目标物的空间距离，利用光学几何原理构建目标二维投影图像。认为该投影图像是理想状态下目标物的边缘图像。

视差计算单元，用于以投影图像为模板，在图像I′_l和I′_r中进行归一化相关匹配得到匹配代价矩阵，分别搜索两个匹配代价矩阵的最大值位置，分别记为(x_l,y_l)和(x_r,y_r)，记两横坐标之差为视差d，d＝x_l-x_r。

在本实施例中，以所述二维投影图像作为模板，使用OpenCV库函数matchTemplate实现搜索匹配。分别记(x_l,y_l)和(x_r,y_r)为图像I′_l和I′_r中目标的像素坐标。记两横坐标之差为视差d，d＝x_l-x_r。

亚像素视差计算单元，在校正后的图像对I′_l和I′_r中截取包含目标工件的特征区域。利用傅里叶变换实现亚像素级相关匹配，对像素级视差d补偿从而获得高精度的亚像素视差d′。

具体地，亚像素视差计算单元截取图像I′_l和I′_r中的特征区域Roi_l和Roi_r。旋转Roi_l180度，分别建立两个尺寸为(2M-1,2N-1)的零矩阵Roi′_l和Roi′_r，特征区域Roi_l和Roi_r位于矩阵Roi′_l和Roi′_r的左上角。利用快速傅里叶变换转换至频域，得到频谱图像F_l和F_r。

然后，将频谱图像F_r中每个频谱成分F_r(k_m,k_n)乘以一个相移因子

得到新的频谱成分F′_r(k_m,k_n)，其中km＝0,1,...,M-1和k_n＝0,1,...,N-1分别为X和Y方向的波数，M和N分别为特征区域在X和Y方向上的尺寸，x₀,y₀分别为在X和Y方向的偏移量，-1＜x₀＜1，-1＜y₀＜1。

然后，使F_l、F_r相乘得到相关矩阵C₀的频谱，使F_l、F′_r相乘得到相关矩阵C₁的频谱，利用傅里叶反变换得到相关矩阵C₀、C₁，对比两矩阵中最小值的位置(C_x,C_y)。若坐标(C_x,C_y)在矩阵C₀中，记视差补偿量为(d_x,d_y)＝(C_x-M+1,C_y-N+1)；坐标(C_x,C_y)在矩阵C₁中，则记视差补偿量为(d_x,d_y)＝(C_x-x₀-M+1,C_y-y₀-N+1)。对像素级视差d进行补偿修正，得到亚像素视差d′，d′＝d+d_x。

坐标转换单元，将相机标定得到的坐标映射矩阵K，乘以齐次坐标向量(x_l,y_l,d′,1)^T，得到目标齐次坐标(X,Y,Z,W)^T，转换后得到目标物体的笛卡尔坐标(x,y,z)^T＝(X/W,Y/W,Z/W)^T。

根据本发明的再一实施例，提出了一种合模机的定位系统，该系统包括处理器和存储器，存储器上存储有计算机程序，通过处理器执行该计算机程序以实现如上述实施例所描述的合模机的视觉定位方法。

根据本发明的再一实施例，提出了一种存储介质，其上存储有计算机程序，通过处理器执行该计算机程序以实现如上述实施例所描述的合模机的视觉定位方法。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种合模机的视觉定位方法，其特征在于，该方法包括步骤：

步骤100，对双目相机进行标定，获得相机的内外参数；

步骤200，利用所述双目相机拍摄一组数字灰度图像对I_l和I_r；

步骤300，对图像I_l和I_r进行校正，并进行边缘检测，得到边缘图像I′_l和I′_r；

步骤400，获得目标的投影图像，利用投影图像匹配识别场景中的目标，得到图像I′_l和I′_r中目标的像素坐标，分别记为(x_l,y_l)和(x_r,y_r)，两横坐标之差记为视差d，d＝x_l-x_r；

步骤500，对像素级视差d补偿从而获得高精度的亚像素视差d′；

步骤600，利用相机标定得到的坐标映射矩阵K以及亚像素视差d′，得到目标物体的笛卡尔坐标；

所述步骤400进一步包括：

步骤401，建立目标物体三维空间模型并利用光学几何原理获得相应的投影图像；

步骤402，以投影图像为模板，在图像I′_l和I′_r中进行归一化相关匹配得到匹配代价矩阵，分别搜索两个匹配代价矩阵的最大值位置，分别记为(x_l,y_l)和(x_r,y_r)，记两横坐标之差为视差d，d＝x_l-x_r；

所述步骤500进一步包括：

步骤501，截取图像I′_l和I′_r中的特征区域Roi_l和Roi_r，旋转Roi_l180度，分别建立两个尺寸为(2M-1,2N-1)的零矩阵Roi′_l和Roi′_r，特征区域Roi_l和Roi_r位于矩阵Roi′_l和Roi′_r的左上角，利用快速傅里叶变换转换至频域，得到频谱图像F_l和F_r；

步骤502，将频谱图像F_r中每个频谱成分F_r(k_m,k_n)乘以一个相移因子

得到新的频谱成分F′_r(k_m,k_n)，其中k_m＝0,1,...,M-1和k_n＝0,1,...,N-1分别为X和Y方向的波数，M和N分别为特征区域在X和Y方向上的尺寸，x₀,y₀分别为在X和Y方向的偏移量，-1＜x₀＜1，-1＜y₀＜1；

步骤503，使F_l、F_r相乘得到相关矩阵C₀的频谱，使F_l、F_r′相乘得到相关矩阵C₁的频谱，利用傅里叶反变换得到相关矩阵C₀、C₁，对比两矩阵中最小值的位置(C_x,C_y)，若坐标(C_x,C_y)在矩阵C₀中，记视差补偿量为(d_x,d_y)＝(C_x-M+1,C_y-N+1)，坐标(C_x,C_y)在矩阵C₁中，则记视差补偿量为(d_x,d_y)＝(C_x-x₀-M+1,C_y-y₀-N+1)，对像素级视差d进行补偿修正，得到亚像素视差d′，d′＝d+d_x；

所述步骤600进一步包括：

将相机标定得到的坐标映射矩阵K，乘以齐次坐标向量(x_l,y_l,d′,1)^T，得到目标齐次坐标(X,Y,Z,W)^T，转换后得到目标物体的笛卡尔坐标(x,y,z)^T＝(X/W,Y/W,Z/W)^T。

2.一种合模机的视觉定位系统，其特征在于，该系统包括：

标定单元，用于对双目相机进行标定，获得相机的内外参数；

图像获取单元，用于利用所述双目相机拍摄一组数字灰度图像对I_l和I_r；

图像校正单元，用于对图像I_l和I_r进行校正，边缘检测后得到边缘图像I′_l和I′_r；

目标投影图像和视差确定单元，用于获得目标的投影图像，利用投影图像匹配识别场景中的目标，得到图像I′_l和I′_r中目标的像素坐标，分别记为(x_l,y_l)和(x_r,y_r)，两横坐标之差记为视差d，d＝x_l-x_r；

亚像素视差计算单元，用于对像素级视差d补偿从而获得高精度的亚像素视差d′；

坐标转换单元，用于将相机标定得到的坐标映射矩阵K以及亚像素视差d′，得到目标物体的笛卡尔坐标；

所述目标投影图像和视差确定单元进一步包括：

目标投影图像确定单元，用于建立目标物体三维空间模型并利用光学几何原理获得相应的投影图像；

视差计算单元，用于以投影图像为模板，在图像I′_l和I′_r中进行归一化相关匹配得到匹配代价矩阵，分别搜索两个匹配代价矩阵的最大值位置，分别记为(x_l,y_l)和(x_r,y_r)，记两横坐标之差为视差d，d＝x_l-x_r；

所述亚像素视差计算单元进一步用于截取图像I′_l和I′_r中的特征区域Roi_l和Roi_r，旋转Roi_l180度，分别建立两个尺寸为(2M-1,2N-1)的零矩阵Roi′_l和Roi′_r，特征区域Roi_l和Roi_r位于矩阵Roi′_l和Roi′_r的左上角，利用快速傅里叶变换转换至频域，得到频谱图像F_l和F_r；将频谱图像F_r中每个频谱成份F_r(k_m,k_n)乘以一个相移因子

得到新的频谱成份F′_r(k_m,k_n)，其中k_m＝0,1,...,M-1和k_n＝0,1,...,N-1分别为X和Y方向的波数，M和N分别为特征区域在X和Y方向上的尺寸，x₀,y₀分别为在X和Y方向的偏移量，-1＜x₀＜1，-1＜y₀＜1；使F_l、F_r相乘得到相关矩阵C₀的频谱，使F_l、F′_r相乘得到相关矩阵C₁的频谱，利用傅里叶反变换得到相关矩阵C₀、C₁，对比两矩阵中最大值的位置(C_x,C_y)，若坐标(C_x,C_y)在矩阵C₀中，记视差补偿量为(d_x,d_y)＝(C_x-M+1,C_y-N+1)，坐标(C_x,C_y)在矩阵C₁中，则记视差补偿量为(d_x,d_y)＝(C_x-x₀-M+1,C_y-y₀-N+1)，对像素级视差d进行补偿修正，得到亚像素视差d′，d′＝d+d_x；

所述坐标转换单元进一步将相机标定得到的坐标映射矩阵K，乘以齐次坐标向量(x_l,y_l,d′,1)^T，得到目标齐次坐标(X,Y,Z,W)^T，转换后得到目标物体的笛卡尔坐标(x,y,z)^T＝(X/W,Y/W,Z/W)^T。

3.一种合模机的视觉定位系统，该系统包括处理器和存储器，存储器上存储有计算机程序，通过处理器执行如权利要求1所述的合模机的视觉定位方法。

4.一种存储介质，其特征在于，其上存储有计算机程序，通过处理器执行该计算机程序以实现如权利要求1所述的合模机的视觉定位方法。

Images