CN102706274B - 工业结构化场景中机器视觉精确定位机械零件的系统 - Google Patents

Abstract

本发明属于视频分析技术领域，具体为一种工业结构化场景中机器视觉精确定位机械零件的系统。该系统包括：一个安装在零件放置平台正上方的摄像头，一个LED光源，一台计算机；所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块、摄像机标定与校正模块、样本训练模块，还包括图像分析模块、通过通讯模块；系统工作时图像分析模块对零件进行精确实时的检测和定位，并通过通讯模块将处理结果传输给执行器；本发明综合不同图像特征提取方法性能差异，形成一套级联分析算法，可在有限的计算资源下，降低误检率，保证目标物准确识别和定位，并实时的进行分析，以满足工业生产中的实际需要。

Description

工业结构化场景中机器视觉精确定位机械零件的系统

技术领域

本发明属于视频分析技术领域，具体涉及基于视频的工业化场景下机械零件的定位检测系统。

背景技术

随着科技进步及劳动力成本的提高，工业界对于自动化智能化的生产工具的需求不断增长，重复枯燥的零件分检工作可以交由智能软件控制的机器来完成，大大降低了企业对于劳动力的需求。同时，设计合理的自动化机械完全能以高精度、长时间地进行结构化场景中的重复工作，相比于人力优势明显，保证标准化产品的质量，减少人为失误造成的损失。

目前，除了人工方式对零件进行分检外，一些依赖流水线上特殊的结构使零件按特定方式排列，此类方式只能针对特定型号的零件，成本较高，如果改变了零件尺寸就可能要设计新的结构。利用视频分析，则只要求零件放置在简单背景中，给予适当的光照条件，对于不同零件，只要经过简单训练就能够识别，整个系统效率和精度都更高。

为了达到全自动化且高效率的系统目标，就要求分析和控制系统的实时性。单一传统图像处理方法用于高清图像时的性能往往不高，而图像分析是整个系统的关键部分。

发明内容

本发明的目的在于提供一种能够在工业结构化场景中精确定位机械零件，并可实时快速地给出分析结果的系统。

本发明综合多种图像分析技术，将不同方法有机结合，对输入的高清图像进行分析，进行零件定位和检测。

本发明提供的工业结构化场景中，精确定位机械零件的系统，包括：

一个安装在零件放置平台正上方、垂直于俯视平台的摄像头，用于拍摄被测零件的图像，并将拍摄图像实时传入计算机；平台使用单色作为画面背景；

一个与摄像头同方向的LED光源，用于摄像补光；

一台计算机，用于对实时传入的拍摄图像进行视频分析。

所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块2、摄像机标定与校正模块3、样本训练模块4，为摄像机标定与校正，为目标样本进行训练，为用户提供友好的界面。处理软件系统还包括图像分析模块5、通过通讯模块6；系统工作时级联图像分析模块5对零件进行精确实时的检测和定位，并通过通讯模块6将处理结果传输给执行器。

本发明中，系统在投入自动运行前要进行标定、校正和训练。具体来说，摄像机标定校正模块3在软件辅助下，使用棋盘格对摄像机进行标定，校正过程由标定与校正模块3对摄像头的设备误差和像素单位与单位间的关系进行标定，校正时需要将一个校正棋盘格放置于平台上，棋盘每格边长已知，通过校正算法就可以完成标定和误差修正。目标训练模块4在软件辅助下，完成对原型零件的特征提取和保存。训练过程由样本训练模块4对所要定位的零件进行学习，保存被训练零件的特征用于对标准化零件进行识别和定位。训练不需要额外的设备，只需要在系统的软件界面中完成。完成上述初始化工作后，系统就可以开始运行。

视频信号通过千兆网卡传输至计算机，摄像头驱动软件将数据经图像格式转换写入计算机内存中，图像分析模块5对内存中的图像数据进行分析，确定目标零件的位置信息，分析结果通过通讯模块6经网络数据报发布。

所述图像分析模块5包括如下子模块：初步图像前景分割模块51、连通区域分割模块52、交叉匹配模块53，其中：

初步图像前景分割模块51，用于对输入图像进行前景分割，以确定图像中目标物体的外形信息；

连通区域分割模块52，对前景进行连通区域分析，确定图像中的连通区域从而区分不同目标物，通过训练中得到的目标物外形及尺寸信息去除未经训练的目标物或噪声，输出的结果用来逐个精细匹配和定位；

交叉匹配模块53，根据已训练零件信息，对目标物进行级联匹配定位，并进行识别。

上述初步图像前景分割模块51，通过对一段时间无零件放置的场景的图像采集，利用中值近似方法进行背景建模，从而分离出后续出现在背景上的前景，通过色彩模型，有效去除弱阴影的干扰。

上述连通区域分割模块52，对前景二值图像进行形态学操作，找到连通区域，计算连通区域质心，可初步定位目标。

上述交叉匹配模块53，包括：主成分分析子模块531、模板匹配子模块532和交叉决策子模块533；先通过主成分分析子模块531（对于对称性低目标物），对目标物主成分进行分析，确定其主方向；然后由模板匹配子模块532利用训练时保存的零件图像进行相关性匹配；交叉决策子模块533根据匹配度高低确定对目标进行识别。

所述的连通区域分割模块52、交叉匹配模块53为进行与训练原型进行级联特征匹配的分析模块。连通区域分割模块52、交叉匹配模块53，通过组合不同图像特征逐层将不符合原型零件特征的目标物剔除，仅将匹配的特征传递给后一级特征处理。所述的级联特征匹配过程为：a 连通区域分割模块通过面积、周长特征排除不符目标物；b.交叉匹配模块进一步特征分析。

上述主成分分析子模块531，对前景二值图像进行主成分分析，可快速确定零件的主方向。

上述模板匹配子模块532，用于精确定位目标的位置和方向，尝试不同位置和方向以找到最匹配值，利用初步定位位置和主方向减少搜索范围。使用主方向信息使得匹配的次数大幅减少，不影响精度。

目标物与多个原型零件依次经过：主成分分析子模块531，对前景二值图像进行主成分分析，快速确定零件的主方向，利用次要方向确定匹配度以决定是否进一步特征匹配；模板匹配子模块532利用主成分分析子模块计算的主方向减少对目标匹配运算量；交叉决策模块533根据匹配度高低确定利用近邻分类器对目标进行识别。

本发明中，所述的摄像机标定校正模块3可在软件辅助下，使用棋盘格对摄像机进行标定。

本发明中，所述的目标训练模块4可在软件辅助下，完成对原型零件的特征提取和保存。

本发明中，所述的摄像头1可选用分辨率为400万像素以上，视频每秒25帧以上的彩色摄像头，拍摄角度固定，并使用LED阵列辅助照明设备保证照度均匀。

本发明中，所述的通讯模块6可通过IP数据报对结果数据进行实时发布。

本发明中，视频信号为高清200万像素图像，处理帧频在10fps以上，辅助照明设备可用40W环形LED直流光源。

本发明的优点：

系统搭建简单，软件使用方便，在计算资源有限的情况下，完成实时高精度图像识别，适用于结构化工业生产环境，节省了人力及物力。采用综合级联式的机器视觉特征分析，同时可以降低误检率，对于检测到的目标保证高精度的识别。

附图说明

图1是本发明的系统结构图。

图2是本发明的系统的操作流程图。

图3是本发明的图像分析模块分解详图。

图4是本发明标定及校准用的棋盘格（7x5），每格边长为50mm

图中标号：1为摄像头，安装流水线的正上方，实时拍摄经过流水线的零件，2为软件界面启动模块，辅助完成系统标定和零件训练，3为摄像头标定和校正模块，对摄像头进行标定和校准，确定摄像头的内部参数及去除成像扭曲。4为样本训练模块，用于对原型零件进行训练预特征提取，以备在零件检测中进行识别和比对。5为图像分析模块，6为通讯模块，将处理结果传输给机械臂，7为机械臂，也可以是完成相同功能的机械结构。51为前景分割模块，52为连通区域分割模块，53为交叉匹配模块，531为主成分分析模块，532为模板匹配子模块，533为交叉决策模块。

具体实施方式

以下根据图1 - 图3 给出本发明的较好实施方案，并予以详细说明，便于更好地理解本发明而非用来限制本发明的使用范围。

如图1所示为一个零件分检系统的硬件组成结构，首先由安装在工业流水线正上方的高清摄像头1采集实时画面，图像由网线传至计算机，在系统启动之前，已经完成了包括摄像机标定和校正、样本训练等的必要操作，由图像分析模块5进行分析后通过通讯模块6经网络将零件识别结果传输给机械臂7，随后机械臂就可以完成诸如抓取零件、分检零件等工作。随着传送带的滚动，零件逐次进入画面并经分析处理，这样，整个过程可以持续快速地进行。

在系统自动运行之前，要进行必要的训练和标定过程，整个操作流程如图2所示。

首先，整个系统包括照明、摄像头、零件放置平台都固定好，将图像采集到计算机中。在计算机中有相应的软件界面2，通过软件可以方便地完成系统的训练及标定；标定及校准模块3是利用棋盘状尺寸已知的网格配合软件算法进行相机参数确定的过程，对于不同的摄像机，内部变换参数都有不同，在使用前都要重新标定。完成标定后，其参数作为分析软件的输入参数保存在计算机中，就可对每帧输入图像进行扭曲去除和坐标变换。样本训练模块4过程是对所需要检测定位的零件进行训练，训练时，将原型零件放置在画面中，对零件拍摄图像后，通过软件抓取，获得零件特征信息，保存在计算机中，用于零件检测。如果有多种零件要同时定位和检测，可以同时训练多个零件，图像分析模块使用交叉检测方式来判定零件的类型。训练完成后，图像分析模块5启动运行，如图1的说明。通讯模块6通过网络进行发布直到程序结束。

本发明的主要工作集中在图像分析模块5中，是完成快速零件检测定位的核心模块。其功能图如图3所示。

图像分析模块接收图像输入后，先通过前景分割模块（51）对输入图像进行前景分割，以确定目标物体的外形信息。背景建模使用快速而抗干扰能力强的近似中值滤波方法进行。

其中，和分别表示视频画面和背景模型中第c个通道t时刻在坐标(x,y)位置上的值。

针对光照所形成的少量阴影，通过色彩信息进行去除。对于YUV格式的图像，每个像素Y通道为亮度值，剩下的近似认为是色彩信息，在进行前景、背景分割时，比较各通道使用不同的权重：

其中，和是权重，满足,为各通道前景背景的差值，d为调整后的图像差。对于一般情况下，通过提高色彩的权重，就可以将阴影有效的去除掉。

以下诸过程模块由粗到精的逐级分析，不断将噪声去除，进行级联式的分析过程。

所分割出的前景图像由连通区域分割模块（52）对前景的连通区域进行分析，确定图像中的连通区域，从而区分不同的目标物。在样本训练模块（4）中得到的目标物外形及尺寸信息可去除过大或过小的未经训练的目标物或噪声。计算连通区域的质心可以得到初步的目标位置，对于一些精度要不高的应用，直接输出结果即可。在这一步中，可以将很多噪声排除，大大减少后续步骤的运算量。

连通域的结果输入交叉匹配模块（53），根据已训练零件信息，对目标物进行级联匹配定位，并进行识别。当有多个零件被训练时，要对不同零件的特征进行交叉的匹配，主要包括：

目标物主成分分析模块（531），确定目标的主方向，主成分分析（PCA）用于寻找点分布中方差最大的投影方向，对零件进行主成分分析就可以把零件的主方向找到，这种方法运算量小，但结果与实际方向会有所偏差，因此被用在级联特征中的第一层，可以快速确定零件的方向，也可以满足低精度要求的应用。

模板匹配子模块（532），利用训练时保存的零件图像进行相关性匹配，这种方法准确，但运算复杂度高，相关性的定义如下：

其中，是模板在图像中的偏移量，T为模板图像，用矩阵表示，I为原图像，由不同偏移相关性值组成相关性图C。

为了确定目标物的角度，需要对图像进行旋转变换，这一步操作运算量很大的，利用主方向信息就可以使运算量降低一个数量级。

交叉决策模块(533)，根据匹配度高低确定零件类型，每种特征提取后都与原型零件进行比较，匹配度最高的就被认为是检测到的零件，匹配度的计算可以针对不同的特征使用不同的计算方法，相关性匹配所得的相关性本身就是很好的匹配度度量；主成分的匹配主要依赖对次要成分的计算，来确定与原型的相似度；连通域周长和面积也是重要的匹配性指标。综合上述的指标可形成一个特征向量，使用最近邻（NN）方法进行目标物的识别，同时限定了到原型之间的距离门限，当超过此门限时，目标物被分类，即无法识别的零件，判定为异物。

实施例

目的：于工业场景下，对工作平台上零件进行检测定位，将结果发至机械臂完成相关分检工序。

安装在零件放置平台正上方，垂直俯视平台的摄像头，与摄像头同方向用LED灯进行补光，图像被实时传入一台计算机进行视频分析。

摄像头选用的是400万像素工业摄像头架设在平台正上方，通过千兆网线连接计算机，LED阵列光源同样架设在平台正上方以保证平台照度均匀。

摄像机以帧频约25fps速度将彩色图像传到计算机，计算机中的软件以图像进行实时的处理。软件界面使用C#基于.Net架构编写，运行在Windows XP及以上系统中。计算机使用CPU为i7 870主频约为2.9GHz。图像处理模块为独立软件库，使用动态链接库（DLL）封装,算法充分发挥多核优势，利用OpenMP对代码进行了优化以保证算法可以稳定实时运行。

在运行前的摄像头校准过程中，使用了图4所示棋盘格进行标定，格边长为50mm,共有7x5个方格。软件在启动时，只要给定网格的参数就可以进行快速标定。

启动参数时针对不同零件可以选择不同的检测参数，对于不同精度要求的应用，程序给出了多种备选的检测方案。光照影响因子用于设定去除阴影的色彩权重值。

对于低精度的检测，输出结果只进行主方向确定，运算速度可匹配帧频速度，定位精度可保持在1mm。对于高精度检测，运算速度达到10fps以上，定位精度为0.1mm,方向精度为0.1度。

参数结果利用TCP数据报进行发布，传输格式为文本信息便于解析，软件界面可以直接进行发布IP设定。

Claims (6)

1. 一种工业结构化场景中机器视觉精确定位机械零件的系统，其特征在于包括：

一个安装在零件放置平台正上方、垂直于俯视平台的摄像头，用于拍摄被测零件的图像，并将拍摄图像实时传入计算机；平台使用单色作为画面背景；

一个与摄像头同方向的LED光源，用于摄像补光；

一台计算机，用于对实时传入的拍摄图像进行视频分析；

所述计算机上安装有处理软件系统，该处理软件系统包括软件界面启动模块、摄像机标定与校正模块、样本训练模块，为摄像机标定与校正，为目标样本进行训练，为用户提供友好的界面；处理软件系统还包括图像分析模块、通讯模块；系统工作时图像分析模块对零件进行精确实时的检测和定位，并通过通讯模块将处理结果传输给执行器；

所述图像分析模块包括如下子模块：初步图像前景分割模块、连通区域分割模块、交叉匹配模块，其中：

初步图像前景分割模块，用于对输入图像进行前景分割，以确定图像中目标物体的外形信息；

连通区域分割模块，对前景进行连通区域分析，确定图像中的连通区域从而区分不同目标物，通过训练中得到的目标物外形及尺寸信息去除未经训练的目标物或噪声，输出的结果用来逐个精细匹配和定位；

交叉匹配模块，根据已训练零件信息，对目标物进行级联匹配定位，并进行识别。

2. 根据权利要求1所述的工业结构化场景中机器视觉精确定位机械零件的系统，其特征在于：

所述初步图像前景分割模块，通过对一段时间无零件放置的场景的图像采集，利用中值近似方法进行背景建模，从而分离出后续出现在背景上的前景，通过色彩模型，有效去除弱阴影的干扰；

所述连通区域分割模块，对前景二值图像进行形态学操作，找到连通区域，计算连通区域质心，初步定位目标；

所述交叉匹配模块，包括：主成分分析子模块、模板匹配子模块和交叉决策子模块；先通过主成分分析子模块对目标物主成分进行分析，确定其主方向；然后由模板匹配子模块利用训练时保存的零件图像进行相关性匹配；交叉决策子模块根据匹配度高低确定对目标进行识别。

3. 根据权利要求1所述的工业结构化场景中机器视觉精确定位机械零件的系统，其特征在于：所述的摄像机标定与校正模块在软件辅助下，使用棋盘格对摄像机进行标定。

4. 根据权利要求1所述的工业结构化场景中机器视觉精确检测定位零件系统，其特征在于，所述的样本训练模块在软件辅助下完成对原型零件的特征提取和保存。

5. 根据权利要求1所述的工业结构化场景中机器视觉精确检测定位零件系统，其特征在于，所述的摄像头选用分辨率为400万像素以上、视频每秒25帧以上的彩色摄像头。

6. 根据权利要求1所述的工业结构化场景中机器视觉精确检测定位零件系统，其特征在于，所述的通讯模块通过IP数据报对结果数据进行实时发布。