CN106056597A - 物体视觉检测方法及装置 - Google Patents

Abstract

本发明涉及一种物体视觉检测方法及装置，该方法及装置通过对模板图像内的检测区域图像和待测图像内的待测区域图像分别进行梯度运算，分别得到检测区域图像的模板直方图比较因子和待测区域图像的待测直方图比较因子，并根据模板直方图比较因子和待测直方图比较因子进行直方图比较，进而判断待测区域图像是否与检测区域图像一致，实现对产品的视觉检测和识别，由于避免了根据待测区域图像和检测区域图像的灰度值直接判断图像是否匹配，因此即使对于背景色相接近的物体，仍能够实现准确的视觉检测与识别，同时由于检测区域图像和待测区域图像的尺寸相对于原始的模板图像和待测图像均较小，因此梯度运算的运算效率较高，视觉检测的效率较高。

Description

物体视觉检测方法及装置

技术领域

本发明涉及视觉检测技术领域，特别是涉及一种物体视觉检测方法及装置。

背景技术

目前，对于物体的视觉检测一般采用模板匹配算法，例如，在生产流水线上的机箱外壳安装过程中，往往可能存在螺丝、端子、丝印等零件漏打的情况，因此为了避免由于漏件而导致的设备结构松动甚至设备损害，往往需要对机箱上各个零件所在的位置进行视觉检测，以确保产品安装正常。在工程上，当零件的颜色与机箱的背景色区别明显的情况下，一般采用模板匹配算法即可实现对零件是否漏打的检测，但是由于模板匹配算法主要是通过计算模板图像和待匹配图像之间的灰度差值的绝对值之和来确定图像的匹配程度，因此在零件的颜色与机箱的背景色相接近的情况下，模板匹配算法的误判性较大，检测效果较差，无法满足背景色相近的物体视觉检测的要求。

发明内容

基于此，有必要针对现有技术对背景色相近的物体视觉检测误判性较大的问题，提供一种物体视觉检测方法及装置，该方法及装置能够实现对背景色相接近的物体的视觉检测，提高背景色相近的物体的视觉检测的效果和准确性，同时相比较于人工目检提高了检测的准确性和效率，节约了人力成本。

为实现上述目的，本发明采取如下的技术方案：

一种物体视觉检测方法，所述方法包括以下步骤：

获取标准产品的模板图像和待测产品的产品图像，分别提取所述模板图像和所述产品图像的描述子，得到模板图像描述子和产品图像描述子，并对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到匹配集；

根据所述匹配集对所述产品图像进行仿射变换，得到待测图像；

获取检测区域图像位于所述模板图像内的位置信息，根据所述位置信息确定所述待测图像的待测区域图像；

对所述检测区域图像和所述待测区域图像分别进行梯度运算，得到所述检测区域图像的模板直方图比较因子和所述待测区域图像的待测直方图比较因子；

根据所述模板直方图比较因子和所述待测直方图比较因子判断所述待测区域图像是否与所述检测区域图像一致。

相应地，本发明还提出一种物体视觉检测装置，所述装置包括：

匹配单元，用于获取标准产品的模板图像和待测产品的产品图像，分别提取所述模板图像和所述产品图像的描述子，得到模板图像描述子和产品图像描述子，并对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到匹配集；

变换单元，用于根据所述匹配集对所述产品图像进行仿射变换，得到待测图像；

区域图像确定单元，用于获取检测区域图像位于所述模板图像内的位置信息，根据所述位置信息确定所述待测图像的待测区域图像；

运算单元，用于对所述检测区域图像和所述待测区域图像分别进行梯度运算，得到所述检测区域图像的模板直方图比较因子和所述待测区域图像的待测直方图比较因子；

判断单元，用于根据所述模板直方图比较因子和所述待测直方图比较因子判断所述待测区域图像是否与所述检测区域图像一致。

上述物体视觉检测方法及装置通过提取标准产品的模板图像的模板图像描述子和待测产品的产品图像的产品图像描述子，经过特征匹配，得到包括各个描述子匹配对的匹配集，并利用匹配集对产品图像进行仿射变换，得到与模板图像的尺寸信息相一致的待测图像后，对模板图像内的检测区域图像和待测图像内的待测区域图像分别进行梯度运算，分别得到检测区域图像的模板直方图比较因子和待测区域图像的待测直方图比较因子，最后根据模板直方图比较因子和待测直方图比较因子进行直方图比较，判断待测区域图像是否与检测区域图像一致，若一致，则表明待测产品与标准产品相同，从而实现了对待测产品的视觉检测。由于本发明所提出的物体视觉检测方法及装置根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致，避免了根据待测区域图像和检测区域图像的灰度值直接判断图像是否匹配，因此即使对于背景色相接近的物体，本发明所提出的方法及装置仍能够实现准确的视觉检测与识别，同时由于检测区域图像和待测区域图像的尺寸相对于原始的模板图像和待测图像均较小，因此在进行梯度运算时的运算效率较高，进一步提高了物体视觉检测的效率。

附图说明

图1为本发明其中一个实施例中物体视觉检测方法的流程示意图；

图2为本发明其中一个具体实施方式中物体视觉检测方法的流程示意图；

图3为采集生产流水线上产品被测面图像的示意图；

图4为本发明其中一个实施例中物体视觉检测装置的结构示意图。

具体实施方式

下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

在其中一个实施例中，参见图1所示，一种物体视觉检测方法，该方法包括以下步骤：

S100获取标准产品的模板图像和待测产品的产品图像，分别提取所述模板图像和所述产品图像的描述子，得到模板图像描述子和产品图像描述子，并对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到匹配集；

S200根据所述匹配集对所述产品图像进行仿射变换，得到待测图像；

S300获取检测区域图像位于所述模板图像内的位置信息，根据所述位置信息确定所述待测图像的待测区域图像；

S400对所述检测区域图像和所述待测区域图像分别进行梯度运算，得到所述检测区域图像的模板直方图比较因子和所述待测区域图像的待测直方图比较因子；

S500根据所述模板直方图比较因子和所述待测直方图比较因子判断所述待测区域图像是否与所述检测区域图像一致。

具体地，在本实施例中，以标准产品的图像作为模板图像，以待测产品的图像作为产品图像，为保证视觉检测的更优效果，这里的模板图像和产品图像优选地均是照度充足且照度均匀的图像，获取标准产品的模板图像和待测产品的产品图像后，分别提取模板图像的描述子和产品图像的描述子，得到相应的模板图像描述子和产品图像描述子，描述子是机器视觉识别领域中与图像特征相关的参量。

在步骤S100中，在机器视觉识别技术领域可以有多种提取图像的描述子的方法，作为其中一种具体的实施方式，分别提取模板图像的描述子和产品图像的描述子，得到相应的模板图像描述子和产品图像描述子的过程包括以下步骤：利用ORB特征提取算法对模板图像和产品图像进行特征提取，得到模板图像特征值和产品图像特征值；利用ORB描述子提取器对模板图像特征值和产品图像特征值进行描述子提取，得到模板图像描述子和产品图像描述子。ORB特征提取算法是一种用于基于视觉信息的特征点检测与描述算法，特征点检测部分利用运算速度特别快的FAST角点检测子，并针对FAST特征不具备方向的问题，加入了FAST特征的方向信息，而特征点描述部分则是利用基于像素点二进制位比较的BRIEF特征描述子，并改进了BRIEF描述子对图像噪声敏感和不具备旋转不变形的缺点，ORB特征提取算法结合角点检测算法与特征描述算法，具有计算速度快、适合实时监测等特点，已成为图像识别领域中常用的一种图像特征提取算法，本实施方式利用ORB特征提取算法对模板图像和产品图像进行特征提取，得到模板图像特征值和产品图像特征值后，再利用ORB描述子提取器对模板图像特征值和产品图像特征值进行描述子提取，得到模板图像描述子和产品图像描述子。

在步骤S100中，得到模板图像描述子和产品图像描述子之后，对模板图像描述子和产品图像描述子进行特征匹配，得到匹配集，该匹配集由一对对描述子匹配对组成。

作为特征匹配方法中的一种具体的实施方式，对模板图像描述子和产品图像描述子进行特征匹配时，可以利用K最近邻分类算法对模板图像描述子和产品图像描述子进行特征匹配，得到由描述子匹配对组成的匹配集。K最近邻(K Nearest Neighbors,KNN)分类算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有该类别上样本的特性，该算法在确定分类决策上只依据最近邻的一个或者几个样本的类别来决定待分样本所属的类别，只与极少量的相邻样本有关，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN分类算法更具有优势，同时KNN分类算法具有简单、易于实现、无需估计参数和训练的特点，因此本实施方式利用KNN分类算法对模板图像描述子和产品图像描述子进行特征匹配，有利于提高特征匹配速度，提高物体视觉检测的效率。

此外，为了能够获得更优的物体视觉检测结果，可以对匹配集中的各个描述子匹配对进行过滤，以获得优质的匹配集，作为其中一种具体的实施方式，在对描述子匹配集中的各个描述子匹配对进行过滤以获得优质的匹配集的过程中，具体可采用如下的方法：利用KNN分类算法对模板图像描述子和产品图像描述子进行特征匹配后，得到各个描述子匹配对，判断描述子匹配对的间距离的比值是否小于阈值，例如，设置阈值为0.5，如果描述子匹配对的间距离的比值小于0.5，表明描述子匹配对较优，因此将其归入匹配集，按照上述方法对描述子匹配对进行过滤后，满足间距离的比值小于阈值的描述子匹配对组成了匹配集，因此该匹配集实质上是一个更加优质的匹配集，通过描述子匹配对进行过滤，得到优质的匹配集，从而实现对产品图像的更优的仿射变换，得到更可靠的待测图像。

步骤S200根据匹配集对产品图像进行仿射变换，得到待测图像。根据步骤S100得到的匹配集对产品图像进行仿射变换，得到与模板图像尺寸信息一致的待测图像，当利用ORB特征提取算法对模板图像和产品图像进行特征提取，得到模板图像特征值和产品图像特征值，再利用ORB描述子提取器对模板图像特征值和产品图像特征值进行描述子提取，得到模板图像描述子和产品图像描述子时，通过步骤S100得到的匹配集分别获取到上述模板图像特征值和产品图像特征值的坐标值，进一步根据获取到的特征值的坐标值对产品图像进行仿射变换，得到与模板图像尺寸信息一致的待测图像。

步骤S300获取检测区域图像位于模板图像内的位置信息，根据位置信息确定待测图像的待测区域图像。

在步骤S300中，检测区域图像是指用于判断待测产品的零件是否漏打的模板图像的局部区域，例如，当本发明的物体视觉检测方法用于检测机箱产品上的螺丝是否漏打时，检测区域图像指的是包括螺丝图像在内的模板图像的局部区域，检测区域图像的形状、尺寸等信息可以由用户手动输入，例如，用户在模板图像上框选一个矩形区域作为检测区域图像，矩形的位置及尺寸用户可以根据视觉检测的实际情况进行设定；检测区域图像位于模板图像内的位置信息是指以模板图像所在平面建立坐标系，检测区域图像在该坐标系下的位置和尺寸，仍以用户在模板图像上框选一个矩形区域作为检测区域图像为例，此时检测区域图像位于模板图像内的位置信息包括矩形的中心坐标、长度以及宽度等信息，当然位置信息的具体内容与用户框选的具体的检测区域图像相关；

获取检测区域图像位于模板图像内的位置信息后，根据位置信息确定待测图像的待测区域图像，具体地，由于模板图像的尺寸信息与待测图像的尺寸信息相同，本步骤根据检测区域图像位于模板图像内的位置信息确定待测图像的待测区域图像，使得检测区域图像相对于模板图像的位置与待测区域图像相对于待测图像的位置相同，而且检测区域图像与待测区域图像侧尺寸也完全相同，在检测区域图像和待测区域图像上产品零件如螺丝等相对于区域图像的位置也相同。

步骤S400对检测区域图像和待测区域图像分别进行梯度运算，得到检测区域图像的模板直方图比较因子和待测区域图像的待测直方图比较因子。在本步骤中，利用梯度运算方法求取检测区域图像的模板直方图比较因子和待测区域图像的待测直方图比较因子。

作为梯度运算的一种具体实施方式，步骤S400可以通过以下步骤实现：对检测区域图像和待测区域图像分别进行灰度化处理和高通滤波处理，经坐标转换后分别得到极坐标下的梯度幅度；对梯度幅度进行归一化处理，并对归一化处理后的梯度幅度分别进行统计，得到模板直方图比较因子和待测直方图比较因子。

具体地，对检测区域图像和待测区域图像分别进行灰度化处理后，利用OpenCV提供的Sobel算子对灰度化处理后的检测区域图像和待测区域图像分别取X方向、Y方向进行高通滤波；然后，利用OpenCV提供的CartToPolar函数将高通滤波后的图像从笛卡尔坐标系转换至极坐标系，得到极坐标系下的检测区域图像和待测区域图像各自分别对应的梯度幅度；对检测区域图像和待测区域图像各自分别对应的梯度幅度进行归一化处理，其中归一化处理过程中所采用的区间可以根据检测区域图像或者待测区域图像的尺寸确定，从而兼顾梯度运算的计算效率，合理分配系统资源，优选地归一化处理的区间为0～63，即将梯度幅度归一化到0～63的整数；对归一化处理后的梯度幅度分别进行统计，统计检测区域图像和待测区域图像所有像素分布在归一化处理的区间内数目，统计结果即为直方图比较因子，因此分别统计检测区域图像和待测区域图像所有像素分布在0～63内对应的数目，最终得到模板直方图比较因子和待测直方图比较因子。

步骤S500根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致。在经过步骤S400对检测区域图像和待测区域图像分别进行梯度运算，得到模板直方图比较因子和待测直方图比较因子后，根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致，即将检测区域图像的所有像素分布在归一化处理的区间内的数目统计结果和待测区域图像的所有像素分布在归一化处理的区间内的数目统计结果进行一一比较，根据比较结果判断待测区域图像是否与检测区域图像一致，如果根据比较结果判断待测区域图像与检测区域图像一致，进一步可判断出待测产品与标准产品符合，待测产品属于合格产品或部分合格产品。

在步骤S500中，根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致有多种实现方法，在其中一种具体的实施方式中，可以根据模板直方图比较因子和待测直方图比较因子之间的相关度来进行判断，具体地，根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致的过程包括：对模板直方图比较因子和待测直方图比较因子进行相关度计算，当模板直方图比较因子和待测直方图比较因子的相关度大于相关度阈值时，判定待测区域图像与检测区域图像一致，本实施方式利用的相关度计算方法能够通过简单的计算实现对模板直方图比较因子和待测直方图比较因子之间是否匹配的准确判断，相对计算量较小，而且容易实现。

上述实施例所提出的物体视觉检测方法通过提取标准产品的模板图像的模板图像描述子和待测产品的产品图像的产品图像描述子，经过特征匹配，得到包括各个描述子匹配对的匹配集，并利用匹配集对产品图像进行仿射变换，得到与模板图像的尺寸信息相一致的待测图像后，对模板图像内的检测区域图像和待测图像内的待测区域图像分别进行梯度运算，分别得到检测区域图像的模板直方图比较因子和待测区域图像的待测直方图比较因子，最后根据模板直方图比较因子和待测直方图比较因子进行直方图比较，判断待测区域图像是否与检测区域图像一致，若一致，则表明待测产品与标准产品相同，从而实现了对待测产品的视觉检测。

由于上述实施例中的物体视觉检测方法根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致，避免了根据待测区域图像和检测区域图像的灰度值直接判断图像是否匹配，因此即使对于背景色相接近的物体，本发明所提出的物体视觉检测方法仍能够实现准确的视觉检测与识别，同时由于检测区域图像和待测区域图像的尺寸相对于原始的模板图像和待测图像均较小，因此在进行梯度运算时的运算效率较高，进一步提高了物体视觉检测的效率。

更进一步地，当根据模板直方图比较因子和待测直方图比较因子判断待测区域图像与检测区域图像不一致时，生成告警信息。在本发明所提出的物体视觉检测方法中，根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致，从而实现对待测产品的视觉检测，当判断出待测区域图像与检测区域图像一致时，表明该待测产品与标准产品相同，例如在对机箱产品是否漏打螺丝进行视觉检测时，如果包括螺丝图像的待测区域图像与检测区域图像一致，则说明待测产品上与标准产品相对应的位置的螺丝存在，不存在螺丝漏打的情况，该待测产品属于合格产品或部分合格产品；相反地，当判断出待测区域图像与检测区域图像不一致时，表明该待测产品与标准产品不相同，即包括螺丝图像的待测区域图像与检测区域图像不一致，说明待测产品上与标准产品相对应的位置的螺丝不存在，存在螺丝漏打的情况，该待测产品属于不合格产品，而此时需用户对不合格产品进行相应的处理，如进行标记或者直接取出等，因此，当根据模板直方图比较因子和待测直方图比较因子判断待测区域图像与检测区域图像不一致时，生成告警信息，根据告警信息进行提示告警，从而帮助用户及时发现不合格产品，保证产品质量。

作为一种具体的实施方式，获取标准产品的模板图像和待测产品的产品图像的步骤之前还可以包括以下步骤：当红外光电开关检测到标准产品或者待测产品进入摄像区域时，摄像装置采集标准产品或者待测产品的图像，图像处理装置对摄像装置采集到的图像进行裁剪处理后，得到相应的标准产品图像或者待测产品图像。本实施方式利用红外光电开关实时检测是否有标准产品或者待测产品进入摄像区域，若有，则通知摄像装置采集进入摄像区域内的标准产品或者待测产品的图像，若没有，摄像装置则处于待机或者休眠状态，以节约电量；摄像装置采集到标准产品或者待测产品的图像后，将图像发送至图像处理装置，图像处理装置则对图像进行裁剪处理，以尽可能消除图像边界对后续的视觉检测的影响，得到相应的标准产品图像或者待测产品图像。本实施方式所提出的图像采集方法尤其适用于工业上的生产流水线，而且对于同种类的产品而言，待测产品完全可以复用同一标准产品的模板图像，即摄像装置可以采集有限数量的标准产品图像以得到最优的模板图像，根据摄像装置采集的每一待测产品的图像而得到的待测产品的产品图像均可以与同一模板图像进行视觉检测分析。

为更详尽地阐述本发明所提出的物体视觉检测方法，下面将以物体视觉检测方法用于检测生产流水线上机箱产品的螺丝是否漏打这一具体实际情况为例，对本发明所提出的物体视觉检测方法进行详细地阐述，参见图2所示的物体视觉检测方法的流程示意图：

步骤201：利用红外光电开关作为产品进入检测，接收到进入检测信号后，触发采集设备中的摄像装置按照预定的参数采集标准产品的图像，并确保采集的产品被测面图像能够显示标准产品被测面完整信息，参见图3所示的采集生产流水线上产品被测面图像的示意图，同时为保证摄像装置采集的产品被侧面的图像的照度充足，摄像装置可以采用“回字形”打光方式进行拍照。

步骤202：图像处理装置对摄像装置所采集的标准产品的图像进行裁剪，得到模板图像。

步骤203：利用ORB特征提取算法对裁剪后的图像进行特征提取，得到模板图像特征值，其中ORB特征提取算法是一种角点检测与特征描述算法，为图像识别领域常用的算法，算法本身不在此详述。

步骤204：利用ORB描述子提取器对步骤203得到的模板图像特征值进行描述子提取，得到模板图像描述子。

步骤205：获取用户选取被测螺丝的检测区域图像的位置信息，即获取该检测区域图像的尺寸和在模板图像的相对位置，至此对模板制作已完成。

步骤206：重复步骤201，采集待测产品的产品被测面，得到待测产品的产品图像。

步骤207：利用ORB特征提取算法对产品图像进行特征提取，得到产品图像特征值。

步骤208：利用ORB描述子提取器对步骤207得到的产品图像特征值进行描述子提取，得到产品图像描述子。

步骤209：利用KNN分类算法对步骤204所得的模板图像描述子和步骤208所得的产品图像描述子进行特征匹配，得到一对对匹配点的集合，接着对集合里面的匹配对，进行进一步的过滤，具体的过滤方法是：通过判断匹配对的间距离的比值是否在落入阈值(例如阈值设置为0.5)内对匹配对进行过滤，最优值的测量距离非常低，而次优值的要大许多，得到优质的匹配集。

步骤210：根据步骤209所得优质的匹配集，获取到对应于步骤204、步骤207所得的特征值的坐标值，通过对步骤206所得的产品图像进行仿射变换，得到与步骤202所得模板图像一样尺寸的待测图像。

步骤211：获取步骤205中的模板图像上的被测螺丝的检测区域图像的位置信息，分别对步骤202所得的模板图像和步骤210所得的待测图像，进行抠图，得到被测螺丝的检测区域图像和待测区域图像。

步骤212：此步骤为检测螺丝是否漏打的关键步骤，在本步骤中，对被测螺丝的检测区域图像和待测区域图像进行梯度运算，并对得到的梯度信息归一化，详细如下：

a.对被测螺丝的检测区域图像进行灰度化处理；

b.利用OpenCV提供的Sobel算子对灰度化处理后的检测区域图像分别取X方向、Y方向进行高通滤波；

c.从笛卡儿坐标到极坐标的转换(利用OpenCV提供CartToPolar函数)，得到极坐标下的梯度幅度和角度，在本发明中，仅关心梯度幅度；

d.得到梯度幅度，进行归一化处理，例如将梯度幅度归一化到整数0～63的区间，这里步骤c得到梯度幅度是一系列离散数值，例如0～319，此处将其平均分成64等分(320/64＝5)进行归一化处理，分别得到0对应数值0～4，1对应数值5～9,…，63对应315～319，其中此处平均分成64等分为经验值，考虑运算效率和步骤211中所得的被测螺丝的检测区域图像的尺寸。

e.对归一化后的梯度幅度分别进行统计，统计被测螺丝的检测区域图像的所有像素分布在区间0～63对应的数目，此统计结果即为步骤213中的模板直方图比较因子。

f.对被测螺丝的待测区域图像重复步骤a～e，得到步骤213中的待测直方图比较因子。

步骤213：根据步骤212得到的模板直方图比较因子和待测直方图比较因子，进行直方图比较，得到的直方图比较结果就是被测螺丝的检测区域图像和待测区域图像之间的梯度幅度相近程度，具体地，在步骤212.d对得到的梯度幅度进行归一化处理或分类计数后，扫描并统计梯度幅度中的每个元素，梯度幅度数值在0～4范围的就0等分计数加1，梯度幅度值在5～9范围的就1等分计数加1，直至指定所有数据统计完成；统计完成后，根据统计结果进行直方图比较，就是对螺丝模板图对应的64等分投票结果与测试图的64等分投票结果进行一一比对，此处可以使用相关系数法(cv2.cv.CV_COMP_CORREL)，得到结果为-1.0～1.0之间的浮点值或相关度，当浮点值为1.0时表示直方图最匹配，当浮点值为-1.0时表示直方图最不匹配。

步骤214：将步骤213所得的直方图比较结果即浮点值跟阈值比较，即可判断待测产品的螺丝是否存在，若浮点值大于阈值，则表示待测产品的螺丝存在，进入步骤216；反之，表示待测产品的螺丝不存在，进入步骤215；

步骤215：生成告警信息；

步骤216：判断视觉检测是否结束，若是，则结束，否则返回步骤206。

通过实施本发明所提出的物体视觉检测方法，不仅能够对一般的物体进行视觉检测和识别，而且对于背景色相近的物体仍可以进行准确的视觉检测和识别，弥补了现有技术中模板匹配算法对于背景色相近的物体视觉检测时存在的误判性较大、检测效果较差的缺陷，本发明所提出的物体视觉检测方法完全适用于产品的生产流水线上对螺丝、端子、丝印等漏件的自动检测，相比于人工目检具有更高的可靠性和稳定性，同时节约了人力成本。

同时，在另一实施例中，本发明还提出一种物体视觉检测装置，参见图4所示，该装置包括：

匹配单元410，用于获取标准产品的模板图像和待测产品的产品图像，分别提取所述模板图像和所述产品图像的描述子，得到模板图像描述子和产品图像描述子，并对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到匹配集；

变换单元420，用于根据所述匹配集对所述产品图像进行仿射变换，得到待测图像；

区域图像确定单元430，用于获取检测区域图像位于所述模板图像内的位置信息，根据所述位置信息确定所述待测图像的待测区域图像；

运算单元440，用于对所述检测区域图像和所述待测区域图像分别进行梯度运算，得到所述检测区域图像的模板直方图比较因子和所述待测区域图像的待测直方图比较因子；

判断单元450，用于根据所述模板直方图比较因子和所述待测直方图比较因子判断所述待测区域图像是否与所述检测区域图像一致。

具体地，在本实施例中，以标准产品的图像作为模板图像，以待测产品的图像作为产品图像，为保证视觉检测的更优效果，这里匹配单元410获取的模板图像和产品图像优选地均是照度充足且照度均匀的图像，匹配单元410获取标准产品的模板图像和待测产品的产品图像后，分别提取模板图像的描述子和产品图像的描述子，得到相应的模板图像描述子和产品图像描述子，其中描述子是机器视觉识别领域中与图像特征相关的参量，匹配单元410在得到模板图像描述子和产品图像描述子之后，还对模板图像描述子和产品图像描述子进行特征匹配，得到匹配集，该匹配集由一对对描述子匹配对组成。

变换单元420根据匹配单元410得到的匹配集对产品图像进行仿射变换，得到与模板图像尺寸信息一致的待测图像，当匹配单元410利用ORB特征提取算法对模板图像和产品图像进行特征提取，得到模板图像特征值和产品图像特征值，再利用ORB描述子提取器对模板图像特征值和产品图像特征值进行描述子提取，得到模板图像描述子和产品图像描述子时，变换单元420通过得到的匹配集分别获取到上述模板图像特征值和产品图像特征值的坐标值，进一步根据获取到的特征值的坐标值对产品图像进行仿射变换，得到与模板图像尺寸信息一致的待测图像。

区域图像确定单元430获取检测区域图像位于模板图像内的位置信息，并根据位置信息确定待测图像的待测区域图像，其中检测区域图像是指用于判断待测产品的零件是否漏打的模板图像的局部区域，例如，当本发明的物体视觉检测装置用于检测机箱产品上的螺丝是否漏打时，检测区域图像指的是包括螺丝图像在内的模板图像的局部区域，检测区域图像的形状、尺寸等信息可以由用户手动输入，例如，用户在模板图像上框选一个矩形区域作为检测区域图像，矩形的位置及尺寸用户可以根据视觉检测的实际情况进行设定；检测区域图像位于模板图像内的位置信息是指以模板图像所在平面建立坐标系，检测区域图像在该坐标系下的位置和尺寸，仍以用户在模板图像上框选一个矩形区域作为检测区域图像为例，此时检测区域图像位于模板图像内的位置信息包括矩形的中心坐标、长度以及宽度等信息，当然位置信息的具体内容与用户框选的具体的检测区域图像相关；

区域图像确定单元430获取检测区域图像位于模板图像内的位置信息后，根据位置信息确定待测图像的待测区域图像，具体地，由于模板图像的尺寸信息与待测图像的尺寸信息相同，区域图像确定单元430根据检测区域图像位于模板图像内的位置信息确定待测图像的待测区域图像，使得检测区域图像相对于模板图像的位置与待测区域图像相对于待测图像的位置相同，而且检测区域图像与待测区域图像侧尺寸也完全相同，在检测区域图像和待测区域图像上产品零件如螺丝等相对于区域图像的位置也相同。

运算单元440对检测区域图像和待测区域图像分别进行梯度运算，得到检测区域图像的模板直方图比较因子和待测区域图像的待测直方图比较因子；判断单元450根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致。在经过运算单元440对检测区域图像和待测区域图像分别进行梯度运算，得到模板直方图比较因子和待测直方图比较因子后，判断单元450根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致，即将检测区域图像的所有像素分布在归一化处理的区间内的数目统计结果和待测区域图像的所有像素分布在归一化处理的区间内的数目统计结果进行一一比较，根据比较结果判断待测区域图像是否与检测区域图像一致，如果根据比较结果判断待测区域图像与检测区域图像一致，进一步可判断出待测产品与标准产品符合，待测产品属于合格产品或部分合格产品。

上述实施例所提出的物体视觉检测装置通过提取标准产品的模板图像的模板图像描述子和待测产品的产品图像的产品图像描述子，经过特征匹配，得到包括各个描述子匹配对的匹配集，并利用匹配集对产品图像进行仿射变换，得到与模板图像的尺寸信息相一致的待测图像后，对模板图像内的检测区域图像和待测图像内的待测区域图像分别进行梯度运算，分别得到检测区域图像的模板直方图比较因子和待测区域图像的待测直方图比较因子，最后根据模板直方图比较因子和待测直方图比较因子进行直方图比较，判断待测区域图像是否与检测区域图像一致，若一致，则表明待测产品与标准产品相同，从而实现了对待测产品的视觉检测。

由于上述实施例中的物体视觉检测装置根据模板直方图比较因子和待测直方图比较因子判断待测区域图像是否与检测区域图像一致，避免了根据待测区域图像和检测区域图像的灰度值直接判断图像是否匹配，因此即使对于背景色相接近的物体，本发明所提出的物体视觉检测装置仍能够实现准确的视觉检测与识别，同时由于检测区域图像和待测区域图像的尺寸相对于原始的模板图像和待测图像均较小，因此在进行梯度运算时的运算效率较高，进一步提高了物体视觉检测的效率。

作为一种具体的实施方式，物体视觉检测装置中的运算单元包括图像处理子单元和归一化处理子单元，其中图像处理子单元用于对检测区域图像和待测区域图像分别进行灰度化处理和高通滤波处理，经坐标转换后分别得到极坐标下的梯度幅度；归一化处理子单元用于对梯度幅度进行归一化处理，并对归一化处理后的梯度幅度分别进行统计，得到模板直方图比较因子和待测直方图比较因子。

具体地，图像处理子单元对检测区域图像和待测区域图像分别进行灰度化处理，利用OpenCV提供的Sobel算子对灰度化处理后的检测区域图像和待测区域图像分别取X方向、Y方向进行高通滤波，并利用OpenCV提供的CartToPolar函数将高通滤波后的图像从笛卡尔坐标系转换至极坐标系，得到极坐标系下的检测区域图像和待测区域图像各自分别对应的梯度幅度；归一化处理子单元则对检测区域图像和待测区域图像各自分别对应的梯度幅度进行归一化处理，归一化处理子单元在归一化处理过程中所采用的区间可以根据检测区域图像或者待测区域图像的尺寸确定，从而兼顾梯度运算的计算效率，合理分配系统资源，优选地采用的归一化处理的区间为0～63，即归一化处理子单元将梯度幅度归一化到0～63的整数，并且归一化处理子单元对归一化处理后的梯度幅度分别进行统计，统计检测区域图像和待测区域图像所有像素分布在归一化处理的区间内数目，其统计结果即为直方图比较因子，因此归一化处理子单元分别统计检测区域图像和待测区域图像所有像素分布在0～63内对应的数目，最终得到模板直方图比较因子和待测直方图比较因子。

作为一种具体的实施方式，物体视觉检测装置中的判断单元包括相关度计算子单元和比较判断子单元，其中相关度计算单元用于对模板直方图比较因子和待测直方图比较因子进行相关度计算，得到模板直方图比较因子和待测直方图比较因子的相关度；比较判断子单元判断相关度是否大于相关度阈值，若是，则判定待测区域图像与检测区域图像一致。具体地，相关度计算子单元对模板直方图比较因子和待测直方图比较因子进行相关度计算，得到模板直方图比较因子和待测直方图比较因子的相关度，比较判断子单元判断模板直方图比较因子和待测直方图比较因子的相关度是否大于相关度阈值，若是，则比较判断子单元判定待测区域图像与检测区域图像一致，其中相关度阈值可以根据检测所需的精确度进行设定。本实施方式中的判断单元能够利用简单的相关度计算实现对模板直方图比较因子和待测直方图比较因子之间是否匹配的准确判断，相对计算量较小，而且容易实现。

本发明物体视觉检测装置中各个单元其具体功能的实现方法，可以参照上述的物体视觉检测方法实施例中描述的实现方法，此处不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种物体视觉检测方法，其特征在于，包括以下步骤：

获取标准产品的模板图像和待测产品的产品图像，分别提取所述模板图像和所述产品图像的描述子，得到模板图像描述子和产品图像描述子，并对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到匹配集；

根据所述匹配集对所述产品图像进行仿射变换，得到待测图像；

获取检测区域图像位于所述模板图像内的位置信息，根据所述位置信息确定所述待测图像的待测区域图像；

对所述检测区域图像和所述待测区域图像分别进行梯度运算，得到所述检测区域图像的模板直方图比较因子和所述待测区域图像的待测直方图比较因子；

根据所述模板直方图比较因子和所述待测直方图比较因子判断所述待测区域图像是否与所述检测区域图像一致。

2.根据权利要求1所述的物体视觉检测方法，其特征在于，分别提取所述模板图像和所述产品图像的描述子，得到模板图像描述子和产品图像描述子的过程包括以下步骤：

利用ORB特征提取算法对所述模板图像和所述产品图像进行特征提取，得到模板图像特征值和产品图像特征值；

利用ORB描述子提取器对所述模板图像特征值和所述产品图像特征值进行描述子提取，得到所述模板图像描述子和所述产品图像描述子。

3.根据权利要求1或2所述的物体视觉检测方法，其特征在于，对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到匹配集的过程包括：

利用K最近邻分类算法对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到由描述子匹配对组成的所述匹配集。

4.根据权利要求3所述的物体视觉检测方法，其特征在于，利用K最近邻分类算法对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到由描述子匹配对组成的所述匹配集的过程包括：

利用K最近邻分类算法对所述模板图像描述子和所述产品图像描述子进行特征匹配后，得到各个所述描述子匹配对，

判断所述描述子匹配对的间距离的比值是否小于阈值，若是，则将间距离的比值小于阈值的描述子匹配对归入所述匹配集。

5.根据权利要求1或2所述的物体视觉检测方法，其特征在于，对所述检测区域图像和所述待测区域图像分别进行梯度运算，得到所述检测区域图像的模板直方图比较因子和所述待测区域图像的待测直方图比较因子的过程包括以下步骤：

对所述检测区域图像和所述待测区域图像分别进行灰度化处理和高通滤波处理，经坐标转换后分别得到极坐标下的梯度幅度；

对所述梯度幅度进行归一化处理，并对归一化处理后的梯度幅度分别进行统计，得到所述模板直方图比较因子和所述待测直方图比较因子。

6.根据权利要求5所述的物体视觉检测方法，其特征在于，

根据所述检测区域图像或者所述待测区域图像的尺寸确定所述归一化处理的区间。

7.根据权利要求1或2所述的物体视觉检测方法，其特征在于，根据所述模板直方图比较因子和所述待测直方图比较因子判断所述待测区域图像是否与所述检测区域图像一致的过程包括：

对所述模板直方图比较因子和所述待测直方图比较因子进行相关度计算，当所述模板直方图比较因子和所述待测直方图比较因子的相关度大于相关度阈值时，判定所述待测区域图像与所述检测区域图像一致。

8.一种物体视觉检测装置，其特征在于，包括：

匹配单元，用于获取标准产品的模板图像和待测产品的产品图像，分别提取所述模板图像和所述产品图像的描述子，得到模板图像描述子和产品图像描述子，并对所述模板图像描述子和所述产品图像描述子进行特征匹配，得到匹配集；

变换单元，用于根据所述匹配集对所述产品图像进行仿射变换，得到待测图像；

区域图像确定单元，用于获取检测区域图像位于所述模板图像内的位置信息，根据所述位置信息确定所述待测图像的待测区域图像；

运算单元，用于对所述检测区域图像和所述待测区域图像分别进行梯度运算，得到所述检测区域图像的模板直方图比较因子和所述待测区域图像的待测直方图比较因子；

判断单元，用于根据所述模板直方图比较因子和所述待测直方图比较因子判断所述待测区域图像是否与所述检测区域图像一致。

9.根据权利要求8所述的物体视觉检测装置，其特征在于，所述运算单元包括图像处理子单元和归一化处理子单元，

所述图像处理子单元用于对所述检测区域图像和所述待测区域图像分别进行灰度化处理和高通滤波处理，经坐标转换后分别得到极坐标下的梯度幅度；

所述归一化处理子单元用于对所述梯度幅度进行归一化处理，并对归一化处理后的梯度幅度分别进行统计，得到所述模板直方图比较因子和所述待测直方图比较因子。

10.根据权利要求8或9所述的物体视觉检测装置，其特征在于，所述判断单元包括相关度计算子单元和比较判断子单元，

所述相关度计算单元用于对所述模板直方图比较因子和所述待测直方图比较因子进行相关度计算，得到所述模板直方图比较因子和所述待测直方图比较因子的相关度；

所述比较判断子单元判断所述相关度是否大于相关度阈值，若是，则判定所述待测区域图像与所述检测区域图像一致。