CN102073877B - 机器视觉装箱检测方法及系统 - Google Patents

Abstract

本发明揭示了一种机器视觉装箱检测方法及系统，所述方法包括如下步骤：图像矫正步骤：通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；选定箱体若干个顶点坐标，根据所述顶点坐标得到矫正后的图像；将矫正后的图像根据产品的数量分割成均匀的M*N个子块；模板自动选取步骤：选取M*N个子块中的一个作为模板；缺陷判断步骤：根据选取的模板和其他子块图像进行匹配；如果该模板和其他区域均匹配，则表明不存在缺陷；当该模板和某子块的匹配存在较大差异时，则判定该模板存在缺陷。本发明提出的机器视觉装箱检测方法及系统，根据高光处灰度值饱和的特性进行高光检测，在模式匹配中不考虑高光区域的影响，极大地提高了检测准确性。

Description

机器视觉装箱检测方法及系统

技术领域

本发明属于图像处理技术领域，涉及一种装箱检测方法，尤其涉及一种机器视觉装箱检测方法；同时，本发明还涉及一种机器视觉装箱检测系统。

背景技术

在产品最后的装箱环节中，由于机械或者操作等原因可能造成少装或者错装，这样的产品进入市场后，对企业的负面影响极大。

目前有很多方案用来避免此类事件的发生，比如电容检测、射线方法、称重检测等方法。其中，电容检测方法安装不便且易受环境影响。射线方法由于其对人身安全的威胁，一般不被接受。称重方法则由于烟丝水分含量的不一可能出现误检测。机器视觉检测技术在生产过程中具有日益广泛的应用，其费用低，检测技术成熟，适用性强且可实现无接触，无损检测。本专利则利用模式匹配算法实现装箱过程中缺陷的检测，对于消除产品质量隐患、提高生产可靠性和维护企业信誉具有十分重要的意义。

在装箱检测中，假设待检测面共有M×N个物品，且这些物品的图案和颜色相同。如果检测不到M×N个物品，则应给出缺失的位置；如果有和其他物品不一样的图案或颜色则给出异类物品的位置。典型检测系统如图1所示。图1中，待检测区域指装箱的检测面；七角星示意产品在该检测面的图像，实际检测物品的图案和颜色与该七角星无关；摄像机用于捕获图像信息；光源用于补光；检测设备为计算机或者其他嵌入式设备。

在基于图像模式匹配的检测算法中，靠模式的一致性判别是否存在包装缺陷。本检测算法的特点之一在于本算法具有模式自动获取功能。系统可根据图像中设定箱体检测面的位置，并输入当前箱体中M和N数值，软件自动分割出每个物品，无需手动分割图像。另外，在切换产品线时，只要包装箱的尺寸和每箱所装物品的件数不变，也可以完成检测功能，无需手动指定产品的具体特征。

实际中，大多数商品外部都包有一层塑料纸，该塑料纸具有镜面反射特性，因此如果直接利用摄像机拍到的图像进行模式匹配，则可能出现误检测。镜面反射是物体表面的一种反射特性，根据Phong模型进行镜面反射的亮度分析。图2为镜面反射强度的三维示意图，其中v为单位视向量；r为单位反射向量，称其为主反射分量；n为单位法向量；l为单位入射向量。记向量r，v的点积为ω，则v方向得到的单位镜面反射亮度为(cos(w))^ExpN，其中ExpN为镜面反射系数。

如何处理塑料纸的反光是目前需要解决的首要问题。由于装箱设备不能保证所有物品的被拍摄面在同一平面，因此即使当光源和摄像机的位置固定时，有的物品所覆盖塑料纸的主反射分量可能进入摄像机，引起局部过度曝光出现高光情形，如图3所示。另外由于物品表面覆盖的塑料纸不可能和物体表面完全接触，可能出现起包、起皱等现象，进一步使物体表面的反射光的位置难以确定，比较图4和图3发现当光源和相机位置固定时，A点和B点塑料纸的形状决定了相机观察到的亮度不同；实际上，由于机械运动，人的走动等原因可能引起环境光的变化，进一步增加了镜面反射位置的不确定性。

当物体表面某处发生镜面反射时，相机观察到的亮度达到最大，其图像的灰度值为255，如果是彩色图像则RGB每个分量的值也是255。实际应用中可调节光圈使高光点的灰度值为255。现有系统利用模式匹配判定模式的一致性来检测是否存在缺陷，由于高光位置的不确定性，给模式匹配带来很大的难度。

发明内容

本发明所要解决的技术问题是：提供一种机器视觉装箱检测方法，可提高装箱检测的准确性。

此外，本发明进一步提供一种机器视觉装箱检测系统，可提高装箱检测的准确性。

为解决上述技术问题，本发明采用如下技术方案：

一种机器视觉装箱检测方法，所述方法包括如下步骤：

A、图像矫正步骤：通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；选定箱体若干个顶点坐标，根据所述顶点坐标得到矫正后的图像；将矫正后的图像根据产品的数量分割成均匀的M*N个子块；

B、模板自动选取步骤：选取M*N个子块中的一个作为模板；

C、缺陷判断步骤：根据选取的模板和其他子块图像进行匹配；如果该模板和其他区域均匹配，则表明不存在缺陷；当该模板和某子块的匹配存在较大差异时，则判定该模板存在缺陷。

作为本发明的一种优选方案，所述步骤A包括：

A1、通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；

A2、当摄像装置位置固定后，选取箱体的4个顶点坐标；

A3、对图像进行滤波处理，改善图像信噪比；

A4、系统根据交互确定的4个顶点坐标根据单应变换Homograph得到矫正后的图像；图像矫正后，恢复了物品的图案和他们之间正常的间距。

作为本发明的一种优选方案，所述步骤B包括：

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域；

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块；

B3、把该子块中固定大小的纹理最丰富的区域作为模板。

作为本发明的一种优选方案，所述步骤C包括：

根据选取的模板和其他图像进行模式匹配；如果该模板和其他区域均较好匹配，则表明不存在缺陷，当该模板和某子块的匹配存在较大差异时，则判定该模板处存在缺陷；

由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少；因此当出现大部分子块和模板不匹配时，则判定该模板所在子块存在缺陷。

一种机器视觉装箱检测系统，所述系统包括：

光源，用以对装箱完成的箱体补光；

摄像装置，用以拍摄箱体，获取箱体的图像；

检测设备，包括：

-图像矫正单元，用以根据箱体选定的若干个顶点坐标得到矫正后的图像；将矫正后的图像根据产品的数量分割成均匀的M*N个子块；

-模板自动选取单元，用以选取M*N个子块中的一个作为模板；

-缺陷判断单元，用以根据选取的模板和其他子块图像进行匹配；如果该模板和其他区域均匹配，则表明不存在缺陷；当该模板和某子块的匹配存在较大差异时，则判定该模板存在缺陷。

作为本发明的一种优选方案，所述图像矫正单元的图像矫正方法包括：

A1、通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；

A2、当摄像装置位置固定后，选取箱体的4个顶点坐标；

A3、对图像进行滤波处理，改善图像信噪比；

A4、系统根据交互确定的4个顶点坐标根据单应变换Homograph得到矫正后的图像；图像矫正后，恢复了物品的图案和他们之间正常的间距。

作为本发明的一种优选方案，所述模板自动选取单元的模板自动选取方法包括：

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域，并剔除这些区域；

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块；

B3、把该子块或者该子块中固定大小的纹理最丰富的区域作为模板。

作为本发明的一种优选方案，所述缺陷判断单元的缺陷判断方法包括：

在高光区域剔除后，根据选取的模板和其他图像进行模式匹配；如果该模板和其他区域均较好匹配，则表明不存在缺陷，当该模板和某子块的匹配存在较大差异时，则判定该模板处存在缺陷；

由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少；因此当出现大部分子块和模板不匹配时，则判定该模板所在子块存在缺陷。

本发明的有益效果在于：本发明提出的机器视觉装箱检测方法及系统，根据高光处灰度值饱和的特性进行高光检测，在模式匹配中不考虑高光区域的影响，极大地提高了检测准确性。

附图说明

图1为机器视觉装箱检测系统的组成示意图。

图2为Phong模型示意图。

图3为物体表面的镜面反射示意图。

图4为物体表面变化引起的镜面反射示意图。

图5为图像矫正前的示意图。

图6为图像矫正后的示意图。

图7为本发明机器视觉装箱检测方法的流程图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图7，本发明揭示了一种机器视觉装箱检测方法，所述方法包括如下步骤：

【步骤A、图像矫正步骤】

通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；选定箱体若干个顶点坐标，根据所述顶点坐标得到矫正后的图像；将矫正后的图像根据产品的数量分割成均匀的M*N个子块。

所述步骤A包括：

A1、通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；

A2、当摄像装置位置固定后，选取箱体的4个顶点坐标；

A3、对图像进行滤波处理，改善图像信噪比；

A4、系统根据交互确定的4个顶点坐标根据单应变换Homograph得到矫正后的图像；图像矫正后，恢复了物品的图案和他们之间正常的间距。

【步骤B、模板自动选取步骤】

选取M*N个子块中的一个作为模板。

所述步骤B包括：

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域，并剔除这些区域；

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块；

B3、把该子块或者该子块中固定大小的纹理最丰富的区域作为模板。

【步骤C、缺陷判断步骤】

在高光区域剔除后，根据选取的模板和其他图像进行模式匹配；如果该模板和其他区域均较好匹配，则表明不存在缺陷，当该模板和某子块的匹配存在较大差异时，则判定该模板处存在缺陷；

由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少；因此当出现大部分子块和模板不匹配时，则判定该模板所在子块存在缺陷。

以上介绍了本发明的机器视觉装箱检测方法，本发明在揭示上述方法的同时，还揭示一种机器视觉装箱检测系统，所述系统包括：光源、摄像装置、检测设备。光源用以对装箱完成的箱体补光；摄像装置用以拍摄箱体，获取箱体的图像。

检测设备包括图像矫正单元、模板自动选取单元、缺陷判断单元。图像矫正单元用以根据箱体选定的若干个顶点坐标得到矫正后的图像；将矫正后的图像根据产品的数量分割成均匀的M*N个子块；模板自动选取单元用以选取M*N个子块中的一个作为模板；缺陷判断单元用以根据选取的模板和其他子块图像进行匹配；如果该模板和其他区域均匹配，则表明不存在缺陷；当该模板和某子块的匹配存在较大差异时，则判定该模板存在缺陷。

具体地，所述图像矫正单元的图像矫正方法包括：

A1、通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；

A2、当摄像装置位置固定后，选取箱体的4个顶点坐标；

A3、对图像进行滤波处理，改善图像信噪比；

A4、系统根据交互确定的4个顶点坐标根据单应变换Homograph得到矫正后的图像；图像矫正后，恢复了物品的图案和他们之间正常的间距。

所述模板自动选取单元的模板自动选取方法包括：

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域，并剔除这些区域；

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块；

B3、把该子块或者该子块中固定大小的纹理最丰富的区域作为模板。

所述缺陷判断单元的缺陷判断方法包括：在高光区域剔除后，根据选取的模板和其他图像进行模式匹配；如果该模板和其他区域均较好匹配，则表明不存在缺陷，当该模板和某子块的匹配存在较大差异时，则判定该模板处存在缺陷；由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少；因此当出现大部分子块和模板不匹配时，则判定该模板所在子块存在缺陷。

实施例二

本发明方法包括图像矫正、模板自动选取、模式匹配和决策等步骤。

其中，图像矫正步骤包括如下流程：

A1、当相机位置固定后，对于方形箱体，人工选取图像中箱体的4个顶点坐标；

A2、对图像进行滤波处理，改善图像信噪比；

A3、系统根据交互确定的4个顶点坐标根据Homograph变换得到矫正后的图像。图5中实线区域为摄像机拍摄到的区域，4个绿色五角星表示箱体的实际位置。Homograph变换后得到的图像如图6所示，可见图像矫正后，恢复了物品的图案和他们之间正常的间距。

对任意需要检测的图像经过上述步骤A2、步骤A3得到矫正后的图像。然后根据下述算法得到模板图像：

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域；

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块；

B3、把该子块中固定大小的纹理最丰富的区域作为模板；

匹配的结果经过如下决策得到缺陷位置：根据得到的模板和其他图像进行模式匹配，如果该模板和其他区域均较好匹配，则表明不存在缺陷，当和某子块的匹配存在较大差异时，则判定该处存在缺陷。由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少，因此当出现大部分子块和模板不匹配时，则判定模板所在子块存在缺陷。

综上所述，本发明提出的机器视觉装箱检测方法及系统，根据高光处灰度值饱和的特性进行高光检测，在模式匹配中不考虑高光区域的影响，极大地提高了检测准确性。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

如，Homograph矫正不限于软件实现；模板不限于纹理最丰富的区域，也可以为整个子块图像或者较小区域；本发明不限于灰度或RGB彩色图像，可在所有的色彩空间进行处理；对高光区域自动判定然后剔除，再进行处理是本专利的核心内容，保护内容不限于只进行模式匹配；本发明中的模式匹配算法可以是目前所有匹配算法中的任何一种。

Claims (3)

1.一种机器视觉装箱检测方法，其特征在于，所述方法包括如下步骤： 

——A、图像矫正步骤，包括： 

A1、通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体； 

A2、当摄像装置位置固定后，选取箱体的4个顶点坐标； 

A3、对图像进行滤波处理，改善图像信噪比； 

A4、系统根据交互确定的4个顶点坐标根据单应变换Homograph得到矫正后的图像；图像矫正后，恢复了物品的图案和他们之间正常的间距； 

——B、模板自动选取步骤，包括： 

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域，并剔除这些区域； 

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块； 

B3、把该子块或者该子块中固定大小的纹理最丰富的区域作为模板； 

——C、缺陷判断步骤，包括： 

在高光区域剔除后，根据选取的模板和其他图像进行模式匹配；如果该模板和其他区域均较好匹配，则表明不存在缺陷，当该模板和某子块的匹配存在较大差异时，则判定该模板处存在缺陷； 

由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少；因此当出现大部分子块和模板不匹配时，则判定该模板所在子块存在缺陷。 

2.一种机器视觉装箱检测方法，其特征在于，所述方法包括如下步骤： 

A、图像矫正步骤：通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体；选定箱体若干个顶点坐标，根据所述顶点坐标得到矫正后的图像；将矫正后的图像根据产品的数量分割成均匀的M*N个子块； 

B、模板自动选取步骤：选取M*N个子块中的一个作为模板； 

C、缺陷判断步骤：根据选取的模板和其他子块图像进行匹配；如果该模板和其他区域均匹配，则表明不存在缺陷；当该模板和某子块的匹配存在较大差异时，则判定该模板存在缺陷； 

所述步骤A包括： 

A1、通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体； 

A2、当摄像装置位置固定后，选取箱体的4个顶点坐标； 

A3、对图像进行滤波处理，改善图像信噪比； 

A4、系统根据交互确定的4个顶点坐标根据单应变换Homograph得到矫正后的图像；图像矫正后，恢复了物品的图案和他们之间正常的间距； 

所述步骤B包括： 

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域，并剔除这些区域； 

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块； 

B3、把该子块或者该子块中固定大小的纹理最丰富的区域作为模板 ；

所述步骤C包括： 

在高光区域剔除后，根据选取的模板和其他图像进行模式匹配；如果该模板和其他区域均较好匹配，则表明不存在缺陷，当该模板和某子块的匹配存在较大差异时，则判定该模板处存在缺陷； 

由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少；因此当出现大部分子块和模板不匹配时，则判定该模板所在子块存在缺陷。 

3.一种机器视觉装箱检测系统，其特征在于，所述系统包括： 

光源，用以对装箱完成的箱体补光； 

摄像装置，用以拍摄箱体，获取箱体的图像； 

检测设备，包括： 

-图像矫正单元，用以根据箱体选定的若干个顶点坐标得到矫正后的图像；将矫正后的图像根据产品的数量分割成均匀的M*N个子块； 

-模板自动选取单元，用以选取M*N个子块中的一个作为模板； 

-缺陷判断单元，用以根据选取的模板和其他子块图像进行匹配； 

如果该模板和其他区域均匹配，则表明不存在缺陷；当该模板和某子块的匹配存在较大差异时，则判定该模板存在缺陷 ；

所述图像矫正单元的图像矫正方法包括： 

A1、通过光源对装箱完成的箱体补光，通过摄像装置拍摄箱体； 

A2、当摄像装置位置固定后，选取箱体的4个顶点坐标； 

A3、对图像进行滤波处理，改善图像信噪比； 

A4、系统根据交互确定的4个顶点坐标根据单应变换Homograph得到矫正后的图像；图像矫正后，恢复了物品的图案和他们之间正常的间距 ；

所述模板自动选取单元的模板自动选取方法包括： 

B1、对于整幅图像，如果像素灰度或者彩色图像的每个分量等于255，则该像素处出现高光，记录所有满足这些条件的区域，并剔除这些区域； 

B2、在所有被分块的物品图像中，选取高光区域面积最小的子块； 

B3、把该子块或者该子块中固定大小的纹理最丰富的区域作为模板 ；

所述缺陷判断单元的缺陷判断方法包括： 

在高光区域剔除后，根据选取的模板和其他图像进行模式匹配；如果该模板和其他区域均较好匹配，则表明不存在缺陷，当该模板和某子块的匹配存在较大差异时，则判定该模板处存在缺陷； 

由于模板区域自动提取，有可能是存在缺陷的图像，由于出现缺陷的物品个数较少；因此当出现大部分子块和模板不匹配时，则判定该模板所在子块存在缺陷。