CN106413280B - 贴片机喂料器元件位置自动矫正装置及自动矫正方法 - Google Patents

Abstract

基于图像处理的贴片机喂料器元件位置自动矫正装置及自动矫正方法，涉及贴片机喂料器元件位置的自动矫正装置和方法。为了解决现有供料器依靠人工矫正或机械矫正元件初始位置存在精度低的问题。本发明的装置包括上位机、矫正固定装置、工业摄像机和LED光源；上位机与工业摄像机相连；工业摄像机固定在矫正固定装置上，用于实时采集喂料器出口的元件的位置图像；LED光源位于工业摄像机摄像头处；上位机内置贴片机喂料器元件位置自动矫正控制系统，所述系统用于控制工业摄像机采集图像，并将所采集的图像实时显示在图像显示窗口，然后通过元件位置图像的处理、位置信息数据的计算后发送矫正命令控制矫动作。本发明用于元件位置的矫正。

Description

贴片机喂料器元件位置自动矫正装置及自动矫正方法

技术领域

本发明涉及贴片机喂料器元件位置的自动矫正装置和方法。

背景技术

在工业自动化的发展趋势下，依靠传统的人工操作已经无法满足产品生产大批量化以及装配过程复杂化的现代生产模式的要求，然而，在小尺寸产品检测中对精度的要求越来越高，传统的人工检测技术完全无法满足精度的要求。以数字图像处理技术为基础的视觉检测技术依靠高精度、高效率、低成本等优势已经逐渐代替传统的人工检测技术，广泛应用于各制造业领域。

由于贴片机喂料器在出厂前以及在使用期间需要对元件初始位置进行矫正至标准位置，传统的矫正方法依靠人眼读取图像位置并计算偏差，并且需要重复上述过程40次甚至更多，而依靠人为矫正的方法存在着矫正误差大、成本高、低效率以及易出现误操作等一系列问题。

在贴片机喂料器元件位置的视觉检测技术中，在摄像机对贴片机喂料器元件进行图像采集后，通过对采集的图像进行轮廓检测后进行定位以及计算元件尺寸，在摄像机精度保证的情况下，矫正精度主要依赖于在图像处理过程中对元件的轮廓检测的精度以及元件在图像中的尺寸与实际尺寸的转换精度。

发明内容

本发明为了解决现有供料器依靠人工矫正或机械矫正元件初始位置存在精度低的问题。

一种基于图像处理的贴片机喂料器元件位置自动矫正装置，包括上位机、矫正固定装置、工业摄像机和LED光源；上位机与工业摄像机相连；工业摄像机及喂料器固定在矫正固定装置上，喂料器的出口处对准元件传输带，工业摄像机对准喂料器的出口及出口前方，工业摄像机用于实时采集喂料器出口的元件的位置图像；LED光源为光强可调节光源，位于工业摄像机摄像头处，LED光源用于调节光照环境中光的强度；

上位机内置贴片机喂料器元件位置自动矫正控制系统，贴片机喂料器元件位置自动矫正控制系统是利用Qt搭建可视化界面，用于控制工业摄像机采集图像，并将所采集的图像实时显示在图像显示窗口，然后通过元件位置图像的处理、位置信息数据的计算后发送矫正命令控制矫正动作。

优选地，上位机内置的贴片机喂料器元件位置自动矫正控制系统包括：

通信模块，用于与贴片机喂料器之间进行通信；

显示模块，用于显示图像和提示信息；显示模块包括图像显示子模块和信息提示子模块；其中，

所述图像显示子模块，用于实时在图像显示窗口显示摄像头采集来的图像；

所述信息提示子模块，用于显示操作和警告提示信息；

操作模块，用于对摄像头、采集的图像以及矫正命令和数据进行控制；操作模块包括摄像头控制子模块、图像操作子模块、矫正命令发送子模块及数据保存子模块；其中，

所述摄像头控制子模块，用于控制摄像头的开启和停止；

所述图像操作子模块，用于在图像显示窗口设定元件标准位置和元件的ROI区域并对ROI区域中的元件进行图像处理和定位；

所述矫正命令发送子模块，用于发送矫正命令；

所述数据保存子模块，用于保存元件矫正过程中的数据，包括图像操作子模块得到元件在图像中的位置信息数据。

优选地，所述信息提示子模块包括：

操作信息提示单元，用于实时将操作人员每次的操作信息显示在操作信息提示区；

警告信息提示单元，通过弹出警告信息对话框，用于提示用户的注意须知及误操作情况。

优选地，所述图像操作子模块包括：

ROI区域设定单元，用于在显示图像中设定包含元件图像的ROI区域；

元件定位单元，通过对ROI区域设定单元设定的ROI区域图像进行图像处理，定位得到元件在图像中的位置信息；

元件标准位置设定单元，用于在显示图像中设定待矫正元件需要到达的标准位置，并计算元件需要矫正的距离。

一种基于图像处理的贴片机喂料器元件位置自动矫正方法，包括以下步骤：

步骤一、上位机控制开启工业摄像机，贴片机喂料器元件位置自动矫正控制系统的图像显示窗口显示采集到的图像，工业摄像机的高清摄像头采集喂料器两个元件图像；

步骤二、针对步骤一采集到的两个元件图像，在图像显示窗口中分别对包含两个元件的图像进行ROI区域设定；

步骤三、对步骤二所述的ROI区域内的图像进行灰度化操作，并进行中值滤波处理，得到处理后的灰度图像；

步骤四、对步骤三所述的处理后的灰度图像进行二值化处理，得到ROI区域图像的二值图像；并对二值图像进行轮廓查找，查找出二值图像的所有轮廓；

步骤五、对步骤四所述的已查找出轮廓的二值图像进行轮廓粗筛选，查找出最大轮廓，并在图像显示窗口用矩形框圈出其区域，并对应圈出该元件图像的区域；

步骤六、针对步骤五得到的用矩形框圈出区域，分别记录两个元件在图像显示窗口中各自的四个顶点坐标值，并分别得到元件各自的中心坐标；

步骤七、根据步骤六所述的中心坐标计算两个元件图像中心的水平距离；按元件顺序依次对每两个元件的进行检测，检测10组图像，计算10组图像中每两个元件图像中心的水平距离的算术平均值，记为元件图像的中心距离；将元件图像的中心距离与实际元件距离进行坐标映射，得到元件图像的中心距离与元件实际距离的比例关系；

步骤八、针对已完成检测的图像，从当前检测图像开始，设定图像中元件所在的标准位置，并记录其坐标；

步骤九、针对当前检测图像中的两个元件，确定图像中待矫正元件，设定待矫正元件的待矫正ROI区域，然后按照步骤二、步骤三、步骤四、步骤五和步骤六计算待矫正元件图像的中心坐标；

步骤十、计算步骤九所述的待矫正元件图像的中心坐标与步骤八所述的元件所在的标准位置之间的水平偏差，并根据步骤七所述的元件图像的中心距离与元件实际距离的比例关系计算元件需要矫正的实际距离；

步骤十一、根据步骤十所述的元件需要矫正的实际距离，对元件进行矫正。

优选地，步骤四所述查找出二值图像的所有轮廓的具体步骤包括以下步骤：

步骤四一、对于步骤三得到的灰度图像进行二值化处理，通过设定恰当的像素阈值得到二值图像；

步骤四二、对于步骤四一所述的二值图像进行扫描至连通区域的第一个点，以此点为起点，寻找其轮廓并用白色像素标记所述二值图像的边界；

步骤四三、如果扫描区域的轮廓完整且闭合，重复步骤四一、步骤四二，寻找新的连通区域直至确定所有的轮廓。

优选地，所述的步骤五具体步骤包括以下步骤：

步骤五一、对步骤四得到的已查找出轮廓的图像，通过设定轮廓的长度阈值，保留满足轮廓长度范围内的所有轮廓，实现轮廓粗筛选；

步骤五二、对步骤五一已完成粗筛选的轮廓，逐个进行轮廓比较，直至找出最大轮廓，并在图像中删除其余轮廓；

步骤五三、对步骤五二得到的最大轮廓的图像，进行矩形边界框包围，用矩形边界圈定最大轮廓的图像。

优选地，所述的步骤七具体步骤包括以下步骤：

步骤七一、根据步骤六得到两个元件图像中心的水平坐标，计算两个元件图像中心的水平距离D₁；

步骤七二、以步骤七一得到的两个元件图像中的第二个元件为起始，按元件顺序再次取两个元件的图像，计算两个元件图像中心的水平距离D₂；

步骤七三、按照步骤七二，按元件顺序依次对每两个元件的图像进行检测，检测10组数据，得到水平距离D₃～D₁₀；

步骤七四、对上述步骤得到的水平距离D₁～D₁₀进行算术平均，将算术平均值作为两个元件图像中心之间的水平距离，记为元件图像的中心距离；将元件图像的中心距离与实际元件距离进行坐标映射，得到元件图像的中心距离和元件实际距离的比例关系。

本发明解决了现有供料器依靠人工矫正元件初始位置和现有的机械矫正元件初始位置存在的精度低较低的问题，同时能够降低成本、提高生产效率。尤其是针对人工矫正元件初始位置的方法，本发明能够在很大程度上降低成本，大幅度提高了生产效率。

有如下几方面的优点：

1)本发明所述矫正装置的硬件结构简单，仅包括一个上位机、矫正固定装置、工业摄像机及LED可调光源。不但能够降低成本，而且结构简单很大程度上降低了故障率。

2)本发明的装置和方法对检测环境无特殊要求，对于干扰较大或者背景复杂的元件，同样能够成功检测出元件位置。

3)本发明能根据相邻元件中心的距离能实现自动识别需要矫正元件的个数，无需人工参与。

4)本发明对于图像识别以及元件距离的数据计算准确、矫正精度较高；本发明对图像处理成功率在99％以上，自动矫正功能实现的成功率在95％以上。

5)本发明能够在3分钟之内实现喂料器40个元件的自动矫正；即自动矫正一次所需时间在3分钟内。

6)本发明的识别和处理速度较快，从图像识别、处理以及数据的计算全部过程的处理时间在500ms之内。

附图说明

图1为本发明所述自动矫正装置示意图；

图2为图像显示窗口显示采集到的图像；

图3为以一个元件图像为例的ROI区域内的图像进行灰度化图像；

图4为以一个元件图像为例的进行中值滤波处理后的灰度图像；

图5为以一个元件图像为例的二值图像；

图6为以一个元件图像为例的查找出二值图像的所有轮廓；

图7为以一个元件图像为例的图像进行轮廓粗筛选后的图像；

图8为以一个元件图像为例的查找出的最大轮廓；

图9为以一个元件图像为例的圈出的最大轮廓的外接矩形框图像；

图10为以一个元件图像为例的最大轮廓外接矩形框图像对应的原图像上矩形框圈定的图像；

图11为在已完成检测的图像中设定图像中元件所在的标准位置的示意图；

图12为元件矫正后的图像；

图13为元件矫正后图像与标准位置比较的图像。

具体实施方式

具体实施方式一：结合图1说明本实施方式，

一种基于图像处理的贴片机喂料器元件位置自动矫正装置，包括上位机1、矫正固定装置2、工业摄像机3和LED光源4；上位机1与工业摄像机3相连；工业摄像机3及喂料器固定在矫正固定装置2上，喂料器的出口处对准元件传输带，工业摄像机3对准喂料器的出口及出口前方，工业摄像机3用于实时采集喂料器出口的元件5的位置图像；LED光源4为光强可调节光源，位于工业摄像机3摄像头处，LED光源4用于调节光照环境中光的强度；

上位机1内置贴片机喂料器元件位置自动矫正控制系统，贴片机喂料器元件位置自动矫正控制系统是利用Qt搭建可视化界面，用于控制工业摄像机3采集图像，并将所采集的图像实时显示在图像显示窗口，然后通过元件位置图像的处理、位置信息等数据的计算后发送矫正命令等控制矫正动作。

具体实施方式二：

本实施方式所述的上位机内置的贴片机喂料器元件位置自动矫正控制系统包括：

通信模块，用于选择正确的串口与贴片机喂料器之间进行通信；

显示模块，用于显示图像和提示信息；显示模块包括图像显示子模块和信息提示子模块；其中，

所述图像显示子模块，用于实时在图像显示窗口显示摄像头采集来的图像；

所述信息提示子模块，用于显示操作和警告提示信息；

操作模块，用于对摄像头、采集的图像以及矫正命令和数据进行控制；操作模块包括摄像头控制子模块、图像操作子模块、矫正命令发送子模块及数据保存子模块；其中，

所述摄像头控制子模块，用于控制摄像头的开启和停止；

所述图像操作子模块，用于在图像显示窗口设定元件标准位置和元件的ROI区域并对ROI区域中的元件进行图像处理和定位；

所述矫正命令发送子模块，用于发送矫正命令；

所述数据保存子模块，用于保存元件矫正过程中的数据，包括图像操作子模块(其中的元件定位单元)得到元件在图像中的位置信息等数据，便于操作人员查看。

其他结构与具体实施方式一相同。

具体实施方式三：

本实施方式所述信息提示子模块包括：

操作信息提示单元，用于实时将操作人员每次的操作信息显示在操作信息提示区；

警告信息提示单元，通过弹出警告信息对话框，用于提示用户的注意须知及误操作情况。

其他系统模块和结构与具体实施方式二相同。

具体实施方式四：

本实施方式所述的所述图像操作子模块包括：

ROI区域设定单元，用于在显示图像中设定包含元件图像的ROI区域；

元件定位单元，通过对ROI区域设定单元设定的ROI区域图像进行图像处理，定位得到元件在图像中的位置信息；

元件标准位置设定单元，用于在显示图像中设定待矫正元件需要到达的标准位置，并计算元件需要矫正的距离。

具体实施方式五：

本发明的元件位置自动矫正装置和方法的目的是将喂料器供应的元件调整到目的位置。

一种基于图像处理的贴片机喂料器元件位置自动矫正方法，包括以下步骤：

步骤一、上位机控制开启工业摄像机，贴片机喂料器元件位置自动矫正控制系统的图像显示窗口显示采集到的图像，如图2所示，调节LED光源强度，直至工业摄像机的高清摄像头采集的喂料器两个元件图像足够清晰，固定LED光源，在之后的图像采集过程中无需再次调节，保持当前的光照环境；

步骤二、针对步骤一采集到的两个元件图像，在图像显示窗口中分别对包含两个元件的图像进行ROI区域(感兴趣区域)设定；

步骤三、对步骤二所述的ROI区域内的图像进行灰度化操作，以一个元件图像为例，如图3所示；并进行中值滤波处理，得到处理后的灰度图像，以一个元件图像为例，如图4所示；

步骤四、对步骤三所述的处理后的灰度图像进行二值化处理，得到ROI区域图像的二值图像，以一个元件图像为例，如图5所示；并对二值图像进行轮廓查找，查找出二值图像的所有轮廓，即闭合区域，以一个元件图像为例，如图6所示；

步骤五、对步骤四所述的已查找出轮廓的二值图像进行轮廓粗筛选，以一个元件图像为例，如图7所示；查找出最大轮廓，以一个元件图像为例，如图8所示；并在图像显示窗口用矩形框圈出其区域，以一个元件图像为例，如图9所示，并对应圈出该元件图像的区域如图10所示；

步骤六、针对步骤五得到的用矩形框圈出区域，分别记录两个元件在图像显示窗口中各自的四个顶点坐标值，并分别得到元件各自的中心坐标；

步骤七、根据步骤六所述的中心坐标计算两个元件图像中心的水平距离；按元件顺序依次对每两个元件的进行检测，检测10组图像(10组图像对应的元件的实际距离是相同的)，计算10组图像中每两个元件图像中心的水平距离的算术平均值，记为元件图像的中心距离；将元件图像的中心距离与实际元件距离进行坐标映射，得到元件图像的中心距离与元件实际距离的比例关系；

步骤八、针对已完成检测的图像，从当前检测图像开始，设定图像中元件所在的标准位置，并记录其坐标；如图11所示，图中十字线上方方框的左侧为图像中元件所在的标准位置(附图11显示的不是特别清楚，实际方框的对角线将方框分为两个直角三角形，与十字线挨着的直角三角形尖部向下，与十字线的竖线挨着的方框中的直角三角形向下的尖部指示的位置为图像中元件所在的标准位置)；

步骤九、针对当前检测图像中的两个元件，确定图像中待矫正元件，设定待矫正元件的待矫正ROI区域，然后按照步骤二、步骤三、步骤四、步骤五和步骤六计算待矫正元件图像的中心坐标；

步骤十、计算步骤九所述的待矫正元件图像的中心坐标与步骤八所述的元件所在的标准位置之间的水平偏差，并根据步骤七所述的元件图像的中心距离与元件实际距离的比例关系计算元件需要矫正的实际距离；

步骤十一、根据步骤十所述的元件需要矫正的实际距离，发送矫正命令对元件进行矫正；如图12和图13所示，图12为矫正后的图像，图13为矫正后图像与标准位置比较的图像；图中十字线上方的直角三角形向下的尖部指示的位置为图像中元件所在的标准位置，待矫正元件图像的中心坐标与标准位置对应后完成元件的位置矫正。

具体实施方式六：

本实施方式所述的步骤四所述查找出二值图像的所有轮廓的具体步骤包括以下步骤：

步骤四一、对于步骤三得到的灰度图像进行二值化处理，通过设定恰当的像素阈值得到二值图像；

步骤四二、对于步骤四一所述的二值图像进行扫描至连通区域的第一个点，以此点为起点，寻找其轮廓并用白色像素标记所述二值图像的边界；

步骤四三、如果扫描区域的轮廓完整且闭合，重复步骤四一、步骤四二，寻找新的连通区域直至确定所有的轮廓。

其他步骤和参数与具体实施方式五相同。

具体实施方式七：

本实施方式所述的步骤五具体步骤包括以下步骤：

步骤五一、对步骤四得到的已查找出轮廓的图像，通过设定轮廓的长度阈值，最小轮廓长度A，最大轮廓长度B，保留满足轮廓长度范围内的所有轮廓，实现轮廓粗筛选；

步骤五二、对步骤五一已完成粗筛选的轮廓，逐个进行轮廓比较，直至找出最大轮廓，并在图像中删除其余轮廓；

步骤五三、对步骤五二得到的最大轮廓的图像，进行矩形边界框包围，用矩形边界圈定最大轮廓的图像。

其他步骤和参数与具体实施方式六相同。

具体实施方式八：

本实施方式所述的步骤七具体步骤包括以下步骤：

步骤七一、根据步骤六得到两个元件图像中心的水平坐标，计算两个元件图像中心的水平距离D₁(D₁＞0)；

步骤七二、由于喂料器上同一封装方式的元件的间距是固定的，但是采集到的不同图像中的元件距离不一定相同，所以重新采集另外两个喂料器元件的图像；

以步骤七一得到的两个元件图像中的第二个元件为起始，按元件顺序再次取两个元件的图像，计算两个元件图像中心的水平距离D₂(D₂＞0)；

步骤七三、按照步骤七二，按元件顺序依次对每两个元件的图像进行检测，检测10组数据，得到水平距离D₃～D₁₀(均大于0)；

步骤七四、对上述步骤得到的10个水平距离D₁～D₁₀进行算术平均，将算术平均值作为两个元件图像中心之间的水平距离，记为元件图像的中心距离；将元件图像的中心距离与实际元件距离进行坐标映射，得到元件图像的中心距离和元件实际距离的比例关系。

计算比例关系K的公式如下：

式中，D_n表示每个水平距离，n＝1，2，…，10；为水平距离D₁～D₁₀的算术平均值；d为两个元件之间的实际距离。

其他步骤和参数与具体实施方式七相同。

利用本发明进行元件位置矫正时，本发明对于图像识别以及元件距离的数据计算准确、矫正精度较高；本发明对图像处理成功率在99％以上，自动矫正功能实现的成功率在95％以上，并且能够在3分钟之内实现喂料器40个元件的自动矫正；即自动矫正一次所需时间在3分钟内。本发明的识别和处理速度较快，从图像识别、处理以及数据的计算全部过程的处理时间在500ms之内。

Claims (4)

1.一种基于图像处理的贴片机喂料器元件位置自动矫正方法，其特征在于，包括以下步骤：

步骤一、上位机控制开启工业摄像机，贴片机喂料器元件位置自动矫正控制系统的图像显示窗口显示采集到的图像，工业摄像机的高清摄像头采集喂料器两个元件图像；

步骤二、针对步骤一采集到的两个元件图像，在图像显示窗口中分别对包含两个元件的图像进行ROI区域设定；

步骤三、对步骤二所述的ROI区域内的图像进行灰度化操作，并进行中值滤波处理，得到处理后的灰度图像；

步骤四、对步骤三所述的处理后的灰度图像进行二值化处理，得到ROI区域图像的二值图像；并对二值图像进行轮廓查找，查找出二值图像的所有轮廓；

步骤五、对步骤四所述的已查找出轮廓的二值图像进行轮廓粗筛选，查找出最大轮廓，并在图像显示窗口用矩形框圈出其区域，并对应圈出该元件图像的区域；

步骤六、针对步骤五得到的用矩形框圈出区域，分别记录两个元件在图像显示窗口中各自的四个顶点坐标值，并分别得到元件各自的中心坐标；

步骤七、根据步骤六所述的中心坐标计算两个元件图像中心的水平距离；按元件顺序依次对每两个元件的进行检测，检测10组图像，计算10组图像中每两个元件图像中心的水平距离的算术平均值，记为元件图像的中心距离；将元件图像的中心距离与实际元件距离进行坐标映射，得到元件图像的中心距离与元件实际距离的比例关系；

步骤八、针对已完成检测的图像，从当前检测图像开始，设定图像中元件所在的标准位置，并记录其坐标；

步骤九、针对当前检测图像中的两个元件，确定图像中待矫正元件，设定待矫正元件的待矫正ROI区域，然后按照步骤二、步骤三、步骤四、步骤五和步骤六计算待矫正元件图像的中心坐标；

步骤十、计算步骤九所述的待矫正元件图像的中心坐标与步骤八所述的元件所在的标准位置之间的水平偏差，并根据步骤七所述的元件图像的中心距离与元件实际距离的比例关系计算元件需要矫正的实际距离；

步骤十一、根据步骤十所述的元件需要矫正的实际距离，对元件进行矫正。

2.根据权利要求1所述的一种基于图像处理的贴片机喂料器元件位置自动矫正方法，其特征在于，步骤四所述查找出二值图像的所有轮廓的具体步骤包括以下步骤：

步骤四一、对于步骤三得到的灰度图像进行二值化处理，通过设定恰当的像素阈值得到二值图像；

步骤四二、对于步骤四一所述的二值图像进行扫描至连通区域的第一个点，以此点为起点，寻找其轮廓并用白色像素标记所述二值图像的边界；

步骤四三、如果扫描区域的轮廓完整且闭合，重复步骤四一、步骤四二，寻找新的连通区域直至确定所有的轮廓。

3.根据权利要求2所述的一种基于图像处理的贴片机喂料器元件位置自动矫正方法，其特征在于，所述的步骤五具体步骤包括以下步骤：

步骤五一、对步骤四得到的已查找出轮廓的图像，通过设定轮廓的长度阈值，保留满足轮廓长度范围内的所有轮廓，实现轮廓粗筛选；

步骤五二、对步骤五一已完成粗筛选的轮廓，逐个进行轮廓比较，直至找出最大轮廓，并在图像中删除其余轮廓；

步骤五三、对步骤五二得到的最大轮廓的图像，进行矩形边界框包围，用矩形边界圈定最大轮廓的图像。

4.根据权利要求1至3之一所述的一种基于图像处理的贴片机喂料器元件位置自动矫正方法，其特征在于，所述的步骤七具体步骤包括以下步骤：

步骤七一、根据步骤六得到两个元件图像中心的水平坐标，计算两个元件图像中心的水平距离D₁；

步骤七二、以步骤七一得到的两个元件图像中的第二个元件为起始，按元件顺序再次取两个元件的图像，计算两个元件图像中心的水平距离D₂；

步骤七三、按照步骤七二，按元件顺序依次对每两个元件的图像进行检测，检测10组数据，得到水平距离D₃～D₁₀；

步骤七四、对上述步骤得到的水平距离D₁～D₁₀进行算术平均，将算术平均值作为两个元件图像中心之间的水平距离，记为元件图像的中心距离；将元件图像的中心距离与实际元件距离进行坐标映射，得到元件图像的中心距离和元件实际距离的比例关系。