CN112435220B - 一种用于零件检测的自定位多孔特征移动窗口拼接方法 - Google Patents

Abstract

本发明公开了一种用于零件检测的自定位多孔特征移动窗口拼接方法，通过标定获知的位置参数、光学参数等信息，省去了对一组原始图像进行角点检测和特征匹配等主要的耗时步骤；本发明为产品的视觉质量检测提供一种低成本、高效率、高精度的数据采集与检测方法。同时由于具备摄像机坐标已知且拍摄对象为平面特征的先决条件，本发明实现简单，因此数据处理效率要高于目前主流的以角点检测、特征匹配为坐标变换依据的图像拼接融合方式。本发明由于获取了零件完整的平面图像，使得对重要几何特征的形位精度进行统一的图像检测成为可能，配合特征识别技术实现单次多对形位精度参数同时检测。

Description

一种用于零件检测的自定位多孔特征移动窗口拼接方法

技术领域

本发明属于产品质量检测以及多源信号融合技术领域，涉及一种用于零件检测的自定位多孔特征移动窗口拼接方法。

背景技术

图像拼接技术：依据图像序列之间的投影相关关系，使用坐标变换的方法，将图像序列均变换至一幅全局图像中并进行融合。是目前机器视觉用与尺寸与几何特征检测时，解决高精度与大范围要求矛盾的主要手段之一。其应用领域还包括目标识别、艺术创作以及地理遥感探测领域。是数字图像处理技术的重要组成部分。

产品质量检测技术：企业产品生产中的最后一个环节，保证产品质量的稳定，并可根据检测的规律性结果分析产品生产过程中的问题，对提高产品生产效率，降低次品率有重要意义。通过将产品质量检测工序由人工完成替换为自动化工序，企业能够将该工序纳入整个智能制造体系当中，构建完全闭环的智能生产线，进一步提高生产效率。结合顶层生产计划配置技术，甚至使得现有生产线具备初步柔性生产的能力。

机器视觉技术：通过分析摄像机获得的图像数据，提取出其中有用的信息用于控制、决策、分析的技术。使得现有的自动化设备具备部分人类视觉的功能，实现信息的高速、非接触、自动化的提取。

发明内容

本发明的目的在于解决高精度与大视场的矛盾，提供一种用于零件检测的自定位多孔特征移动窗口拼接方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种用于零件检测的自定位多孔特征移动窗口拼接方法，包括以下步骤：

步骤1，将待检测工件设置于检测平台上，使待检测工件的几何特征位于同一平面内；待检测工件的几何特征所在的平面与摄像机的传感器平面以及摄像机的运动平面平行；

步骤2，根据检测任务与安装环境调整摄像机运动结构的形式与范围，通过限定摄像机的运动范围来限制摄像机的外参自有参数的个数；根据摄像机的运动结构的形式与范围，由运动轴参数确定摄像机在运动座运动范围内某一位置时所对应的摄像机外参矩阵K；

步骤3，在已知摄像机在世界坐标系中的坐标时，由坐标得到摄像机的外参矩阵R[I|-C]，其中I为三阶单位阵，R为三阶方阵用于表示图像的旋转，-C为摄像机中心在世界坐标系中的坐标；然后进行图像拼接。

本发明进一步的改进在于：

所述步骤2的具体方法如下：

步骤2-1，摄像机外参矩阵原始参数确定；根据检测设备的机械尺寸、运动结构与摄像机模块的工作距离，确定摄像机的运动范围与旋转角度，建立摄像机的位置表示结构三元组x_c、y_c和θ；其中x_c和y_c为摄像机中心在全局坐标系中的平面坐标，θ为摄像机坐标系相对全局坐标系绕Z轴旋转的角度；

步骤2-2，摄像机外参矩阵参数确定，外参矩阵计算；包括旋转矩阵R(3×3)，平移向量C组装外参矩阵为R[I|-C]；此矩阵与摄像机在世界坐标系下所处的位置相关；限制摄像机的自由度为3，包括两个互相垂直且与检测目标平面平行的平移自由度以及一个旋转轴线与检测目标平面垂直的旋转自由度；在这样的自由度限制下，摄像机的外参矩阵确定的形式简化为旋转矩阵R：

平移向量C：

所述步骤3的具体方法如下：

步骤3-1，对摄像机进行内参标定，获取其内参矩阵K与畸变矫正参数；在检测设备安装摄像机之前，在实验环境下使用张正友标定法拍摄多张不同角度的棋盘格图像对摄像机的内参进行标定，计算三阶内参矩阵K与摄像机的畸变、渐晕参数；

步骤3-2，使用畸变矫正参数对局部图像的畸变与渐晕进行矫正；使用畸变渐晕参数对摄像机在对应位置拍摄所得的局部图像进行矫正，消除畸变引起的形状失真与渐晕造成的灰度值下降；

步骤3-3，根据单视图摄像机投影几何将对应点在局部图像坐标系中坐标x与在全局坐标系中坐标x′进行换算；使用此种换算将摄像机在不同位置下拍摄所得的局部图像变换至全局坐标系下的融合图像中；局部图像的全局图像坐标系注册与单应变换根据公式：

x′＝K[R^-1K^-1x+C]

将各局部图像统一变换至使用全局坐标的融合图像中；其中x′为像素点全局图像中的齐次坐标，x为对应点在局部坐标系中的齐次坐标；值得说明的是，局部图像坐标系原点设定在图像中心；

步骤3-4，对重叠区域按照与重叠双方图像中心的距离之比确定灰度的求和权值对拼合的全局凸显进行融合；针对融合图像中两幅图像的重叠区域，获取其在两幅局部图像中的原始坐标，根据其距离两幅局部视图的图像中心的距离之比将两幅图像中对应点的灰度加权求和作为融合图像中该点的灰度值。

与现有技术相比，本发明具有以下有益效果：

本发明为产品的视觉质量检测提供一种低成本、高效率、高精度的数据采集与检测方法。同时由于具备摄像机坐标已知且拍摄对象为平面特征的先决条件，本发明实现简单，因此数据处理效率要高于目前主流的以角点检测、特征匹配为坐标变换依据的图像拼接融合方式。

本发明通过标定获知的位置参数、光学参数等信息，省去了对一组原始图像进行角点检测和特征匹配等主要的耗时步骤(根据已经进行过的图像拼接试验，保守估计这些步骤耗费了整个图像拼接过程中50％以上的时间和60％以上的存储空间)，直接根据摄像机在世界坐标系下的对原始图像进行坐标变换和灰度融合。实现了此种对算力要求低于传统基于角点检测图像拼接的简化拼接方法。使得原本视场较小(长宽约数十毫米)的高精度摄像机可以用于大尺寸(长宽约数百毫米)机械零件的平面特征尺寸精度检测。在事先设计好的摄像机运动平台上，控制摄像机在平面的两个方向上移动并拍摄一系列图像，将其拼接至统一的全局图像中(由于拼接效率的提升，拼合所用的素材图像数量也可相应增加)。使得最终的全局图像成为超高像素的尺寸检测源图，便于零件各处平面几何特征的尺寸精度检测。另外，由于获取了零件完整的平面图像，使得对重要几何特征的形位精度进行统一的图像检测成为可能，配合特征识别技术实现单次多对形位精度参数同时检测。简化了机械零件的精度检测复杂度。相比现有的尺寸检测系统，非接触、高速度、大范围、高精度以及统一性检测是本发明的主要优势，为节省企业在质量检测工序的成本提供了新的解决方案。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为检测设备与检测对象的布置关系示意。全局坐标系既是世界坐标系也是全局的摄像机位置坐标系，又是最终生成的合成图像所对应的摄像机坐标系。

图2为同一点坐标在各个坐标系下坐标的转换关系，箭头代表左乘标注矩阵。

图3为拼合结果图像。

图4为拼合图像经灰度加权重置的结果。

其中：1为检测平台，2为待检测工件，3为摄像机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图对本发明做进一步详细描述：

参见图1-2，本发明用于零件检测的自定位多孔特征移动窗口拼接方法，包括以下步骤：

步骤1、检测环境设置：检测的工件几何特征位于同一平面内。检测所使用的镜头为长焦或远心镜头，尽可能消除透视关系只关心单一平面上的工件几何特征的尺寸与形状测量。且该单一平面与摄像机的传感器平面(成像平面)以及摄像机的运动平面平行，检测设备与检测对象布置如图1。

步骤2、多孔特征摄像机检测装置的运动与自定位方法。进行机械结构的设计时，可以根据不同的检测任务与安装环境调整运动结构的形式与范围。通过限定摄像机的运动范围的方式限制摄像机的外参自由参数的个数。根据确定下来的运动形式与范围，根据运动轴参数确定检测摄像机在特定位置时所对应的摄像机外参矩阵K。摄像机在一个由多个电机带动的运动座上，所述特定位置在运动座运动范围内的任意位置，因为这个范围内的位置的坐标已知(可以通过运动轴参数算得)，具体方法如下：

步骤2.1、摄像机外参矩阵原始参数确定。根据检测设备的机械尺寸、运动结构与摄像机模块的工作距离，确定摄像机的运动范围与旋转角度，建立摄像机的位置表示结构三元组x_c、y_c和θ。其中x_c和y_c为摄像机中心在全局坐标系中的平面坐标，θ为摄像机坐标系相对全局坐标系绕Z轴旋转的角度。

步骤2.2、摄像机外参矩阵参数确定，外参矩阵计算。包括旋转矩阵R(3×3)，平移向量C组装外参矩阵为R[I|-C]。此矩阵与摄像机在世界坐标系下所处的位置相关。设备中限制摄像机的自由度为3，包括两个互相垂直且与检测目标平面平行的平移自由度以及一个旋转轴线与检测目标平面垂直的旋转自由度。在这样的自由度限制下，摄像机的外参矩阵确定的形式简化为旋转矩阵R：

平移向量C：

步骤3、基于摄像机自定位的局部特征图像拼接方法。在已知摄像机在世界坐标系中的坐标时，可由坐标写出摄像机的外参矩阵R[I|-C]，其中I为三阶单位阵，R为三阶方阵用于表示图像的旋转，-C为摄像机中心在世界坐标系(三维)中的坐标。不同坐标系下同一点坐标的变换关系说明如图2。按照以下步骤进行图像拼接：

步骤3-1、对摄像机进行内参标定，获取其内参矩阵K与畸变矫正参数。摄像机内参标定。在检测设备安装摄像机之前，在实验环境下使用张正友标定法拍摄多张不同角度的棋盘格图像对摄像机的内参进行标定，计算三阶内参矩阵K与摄像机的畸变、渐晕参数。

步骤3-2、使用畸变矫正参数对局部图像的畸变与渐晕进行矫正。局部图像矫正。使用畸变渐晕参数对摄像机在对应位置拍摄所得的局部图像进行矫正，消除畸变引起的形状失真与渐晕造成的灰度值下降。

步骤3-3、根据单视图摄像机投影几何可将对应点在局部图像坐标系中坐标x与在全局坐标系中坐标x′进行换算。使用此种换算规律将摄像机在不同位置下拍摄所得的局部图像变换至全局坐标系下的融合图像中。局部图像的全局图像坐标系注册与单应变换(事实上是刚体变换)根据公式：

x′＝K[R^-1K^-1x+C]

将各局部图像统一变换至使用全局坐标的融合图像中。其中x′为像素点全局图像中的齐次坐标，x为对应点在局部坐标系中的齐次坐标。值得说明的是，局部图像坐标系原点设定在图像中心。

步骤3-4、对重叠区域按照与重叠双方图像中心的距离之比确定灰度的求和权值对拼合的全局凸显进行融合。全局图像的灰度融合。针对融合图像中两幅图像的重叠区域，获取其在两幅局部图像中的原始坐标，根据其距离两幅局部视图的图像中心的距离之比将两幅图像中对应点的灰度加权求和作为融合图像中该点的灰度值。

实施例

预置设置：摄像机内参与畸变参数标定，拍摄多角度棋盘格图像求得其失真参数和内参矩阵。

1、确定摄像机的坐标(0,0,0)；(6,0,0)

2、拍摄图像：在两个摄像机的坐标点分别拍摄一张图像。

3、失真矫正：载入失真矫正参数并对图像进行失真矫正。

4、坐标变换：利用标定所得的摄像机内参矩阵K根据摄像机位姿计算所得的旋转矩阵R与平移向量C对图像进行变换。结果如图3。

5、灰度融合：根据上述规则对融合图像进行灰度加权重置，结果如图4。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种用于零件检测的自定位多孔特征移动窗口拼接方法，其特征在于，包括以下步骤：

步骤1，将待检测工件(2)设置于检测平台(1)上，使待检测工件的几何特征位于同一平面内；待检测工件的几何特征所在的平面与摄像机(3)的传感器平面以及摄像机的运动平面平行；

步骤2，根据检测任务与安装环境调整摄像机运动结构的形式与范围，通过限定摄像机的运动范围来限制摄像机的外参自有参数的个数；根据摄像机的运动结构的形式与范围，由运动轴参数确定摄像机在运动座运动范围内某一位置时所对应的摄像机外参矩阵K；具体方法如下：

步骤2-1，摄像机外参矩阵原始参数确定；根据检测设备的机械尺寸、运动结构与摄像机模块的工作距离，确定摄像机的运动范围与旋转角度，建立摄像机的位置表示结构三元组x_c、y_c和θ；其中x_c和y_c为摄像机中心在全局坐标系中的平面坐标，θ为摄像机坐标系相对全局坐标系绕Z轴旋转的角度；

步骤2-2，摄像机外参矩阵参数确定，外参矩阵计算；包括旋转矩阵R(3×3)，平移向量C组装外参矩阵为R[I|-C]；此矩阵与摄像机在世界坐标系下所处的位置相关；限制摄像机的自由度为3，包括两个互相垂直且与检测目标平面平行的平移自由度以及一个旋转轴线与检测目标平面垂直的旋转自由度；在这样的自由度限制下，摄像机的外参矩阵确定的形式简化为旋转矩阵R：

平移向量C：

步骤3，在已知摄像机在世界坐标系中的坐标时，由坐标得到摄像机的外参矩阵R[I|-C]，其中I为三阶单位阵，R为三阶方阵用于表示图像的旋转，-C为摄像机中心在世界坐标系中的坐标；然后进行图像拼接；具体方法如下：

步骤3-1，对摄像机进行内参标定，获取其内参矩阵K与畸变矫正参数；在检测设备安装摄像机之前，在实验环境下使用张正友标定法拍摄多张不同角度的棋盘格图像对摄像机的内参进行标定，计算三阶内参矩阵K与摄像机的畸变、渐晕参数；

步骤3-2，使用畸变矫正参数对局部图像的畸变与渐晕进行矫正；使用畸变渐晕参数对摄像机在对应位置拍摄所得的局部图像进行矫正，消除畸变引起的形状失真与渐晕造成的灰度值下降；

步骤3-3，根据单视图摄像机投影几何将对应点在局部图像坐标系中坐标x与在全局坐标系中坐标x′进行换算；使用此种换算将摄像机在不同位置下拍摄所得的局部图像变换至全局坐标系下的融合图像中；局部图像的全局图像坐标系注册与单应变换根据公式：

x′＝K[R^-1K^-1x+C]

将各局部图像统一变换至使用全局坐标的融合图像中；其中x′为像素点全局图像中的齐次坐标，x为对应点在局部坐标系中的齐次坐标；值得说明的是，局部图像坐标系原点设定在图像中心；

步骤3-4，对重叠区域按照与重叠双方图像中心的距离之比确定灰度的求和权值对拼合的全局凸显进行融合；针对融合图像中两幅图像的重叠区域，获取其在两幅局部图像中的原始坐标，根据其距离两幅局部视图的图像中心的距离之比将两幅图像中对应点的灰度加权求和作为融合图像中该点的灰度值。

Images