CN110202576A - 一种工件二维视觉引导抓取检测系统和方法 - Google Patents

Abstract

本发明涉及一种工件二维视觉引导抓取检测系统和方法，应用于工件的机械手抓取定位装置，工件为汽车玻璃和汽车玻璃雨感器粘结底座等，所述系统包括摄像机、摄像机设定模块、标定验证模块、参数设定模块、图像处理模块、工件识别模块、标准工件管理模块和数据连接与传输模块，本发明的系统和方法，不仅能够适应多品种工件的定位，即可以适用定位汽车玻璃，又可以识别其它汽车玻璃附件的定位检测，检测系统的通用性强，适用范围广。

Description

一种工件二维视觉引导抓取检测系统和方法

技术领域：

本发明涉及自动化检测系统领域，特别涉及一种工件二维视觉引导抓取检测系统及方法。

背景技术：

在现有技术中，玻璃定位一般是采用接触式机械物理定位，例如传统的机械六点夹紧定位，只能定位形状规则的玻璃，对于形状特异的玻璃无法定位，通用性差，切换产品慢，定位速度慢，适合定位的玻璃品种少，并且也不适用于汽车玻璃附件，而且检测人员无法长期不间断工作，无法保证出厂合格率，生产速度会有极大限制。

随着计算机和相机技术的发展，机器视觉应运而生，机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品即图像摄像装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作，随着机器视觉的技术不断发展，逐渐引用到玻璃及其附件生产领域。

例如中国专利CN106516739A公开了一种基于机器人视觉的玻璃移栽系统，采用视觉识别定位替代机械定位，定位精度和准确度高，尤其适用于异形不规则形状的边窗玻璃，但该系统存在以下几点不足：(1)视觉识别单元的工业相机必须要用特定品牌的相机，根据特定品牌的相机需要特定的视觉系统软件，而一种类型的相机只能检测相应规格的玻璃，导致视觉识别单元的通用性不高；(2)增加检测产品品种，切换产品操作繁琐，对视觉控制系统的调整需要员工具备一定的专业知识，没有经过系统培训的普通人无法快速上手，从而难以实现快速切换生产；(3)只能根据产品的表面轮廓进行识别，无法对产品的表面特征进行识别引导；(4)只能识别玻璃产品，无法识别汽车玻璃雨感器底座和汽车玻璃托架等其他汽车玻璃附件的识别检测及引导。

发明内容：

本发明所要解决的是针对存在的上述现有技术存在的问题，提供一种可以识别及定位汽车玻璃雨感器底座和汽车玻璃托架等附件，定位检测通用性强的工件二维视觉引导抓取检测系统。

一种工件二维视觉引导抓取检测系统，应用于工件的机械手抓取定位装置，所述工件为汽车玻璃、汽车玻璃雨感器粘结底座或汽车玻璃托架，其特征在于，所述系统包括摄像机、摄像机设定模块、标定验证模块、参数设定模块、图像处理模块、工件识别模块、标准工件管理模块和数据连接与传输模块，其中

摄像机，用于获取待测工件的实时图像数据；

摄像机设定模块,集成有各种不同品牌和型号的摄像机驱动,能根据所述视觉检测定位系统使用的摄像机，从而加载匹配的摄像机驱动；

标定验证模块，将摄像机拍摄到实时图像进行标定，能够设置1～9个标定点，标定实际工件笛卡尔坐标的和摄像机的图像坐标值，并建立对应关系；

参数设定模块，能够设置标定点获取的灰度值、标定点最小像素个数、阈值亮度百分比和错误特征最小面积值；

图像处理模块，对摄像机获取的待测工件的实时图像数据进行图像处理,得到待测工件的外部轮廓图像数据；

工件识别模块，通过外部轮廓图像数据来判断该工件是汽车玻璃、汽车玻璃雨感器粘结底座或汽车玻璃托架的哪一种；

标准工件管理模块，存储有各类汽车玻璃、汽车玻璃雨感器粘结底座和汽车玻璃托架的标准图像，能够根据所述工件识别模块判断的工件类型，读取对应工件的标准图像；

数据连接与传输模块，能够设定所述检测系统与机械手抓取定位装置联接，将检测系统中处理的信息传递到机械手，并接受机械手回馈的信息。

其中，工件的机械手抓取定位装置包括机械手、检测平台、定位平台，照明装置和PLC控制装置，机械手将工件抓取到检测平台上进行定位检测，所述机械手将经过定位检测的工件放置在定位平台上，所述检测平台上部和底部均设有一台照明灯，通过顶上照明和底部照明配合来调节摄像机拍摄图像的明暗度，提高拍摄图像的对比度。

其中，所述摄像机设定模块根据相机串号来区分摄像机的类型，所述摄像机设定模块还能调节摄像机拍摄的图像分辨率和分辨系数。

其中，所述数据连接与传输模块能够设置发送的图像数据编码格式为UniCode或ASCII。

其中，所述数据连接与传输模块用以太网通讯方式与机械手抓取定位装置联接。

其中，所述数据连接与传输模块用RS232串口通信方式与机械手抓取定位装置联接。

一种采用上述系统进行工件抓取定位的方法，包括如下步骤：

a：系统启动后，先通过数据连接与传输模块将工件二维视觉引导抓取检测系统与机械手联接，然后根据实际使用的摄像机，通过摄像机设定模块直接调用相应的摄像机驱动与摄像机进行匹配，然后启动标定验证模块加载标定点设置，启动参数设定模块加载图像参数设置；

b：启动标准工件管理模块，先预加载好各类汽车玻璃、汽车玻璃雨感器粘结底座和汽车玻璃托架的标准图像，然后根据生产需要选择相应要生产的产品；

c：用机械手将待测工件抓取到检测平台上，调节好照明后，启动摄像机对待测工件进行拍摄；

d：将拍摄得到的待测工件的图像数据传输到图像处理模块进行图像处理，得到待测工件的外部轮廓图像数据；

e：工件识别模块根据得到的待测工件的外部轮廓图像数据开始判断是哪一种汽车玻璃、汽车雨感器粘结底座或汽车玻璃托架，标准工件管理模块根据判断的结果读取对应工件的标准图像；

f：将所述待测工件的外部轮廓图像数据与读取对应工件的标准图像的图像数据进行对比匹配；

g：根据所述匹配结果计算出待测工件的实际平面坐标和工件的标准图像的平面坐标偏差值，并将其传送给机械手；

h：机械手抓取待测工件放置在定位平台上，则完成该待测工件的检测定位。

其中，所述步骤d中的图像处理的具体操作步骤如下：

d1：将摄像机拍摄的待测工件的图像进行灰度化处理；

d2：再将经过灰度化处理的图像进行二值化处理，提取灰度值产生阶跃跳变的区域，形成待测工件的外轮廓图像；

其中，若待测工件的表面还有结构表面特征，则需要在进行下述步骤，d3：根据阶跃跳变后的阙值将待测工件的外轮廓图像分成明暗区域，将阙值大于128的区域认定为亮区域，将阙值小于128的认定为暗区域。

与现有技术相比，本发明的工件二维视觉引导抓取检测系统具有如下优点：

1、通过摄像机设定模块能够加载市面上绝大多数的品牌的工业摄像机驱动，使得本发明的系统能够使用大多数品牌的工业摄像机，并且也能够在实际使用中根据需要随时更换工业摄像机。

2、本发明的系统不仅能够适应多品种工件的定位，即可以适用定位汽车玻璃，又可以识别及定位汽车玻璃雨感器底座和汽车玻璃托架等汽车玻璃附件的定位检测，检测系统的通用性强，适用范围广。

3、本发明的系统还具有定位精度高、实时性强、操作简单等优点。

附图说明：

图1示出本发明用于工件的机械手抓取定位装置的结构示意图；

图2示出了本发明的工件二维视觉引导抓取检测系统的模块框图；

图3示出了本发明的图像处理的流程图；

图4示出了本发明用于工件的机械手抓取定位装置的工作流程图。

标号说明：

1、摄像机，2、照明装置，3、检测平台，4、工件，5、机械手，6、计算机，7、定位平台，8、数据连接与传输模块，9、PLC控制装置；

61、工件二维视觉引导抓取检测系统；

611、摄像机设定模块，612、标定验证模块，613、参数设定模块，614、图像处理模块，615、工件识别模块，616、标准工件管理模块。

具体实施方式：

在下文中，将参考附图对本发明的内容作进一步说明。

一种工件二维视觉引导抓取检测系统，应用于工件的机械手抓取定位装置，工件4为汽车玻璃、汽车玻璃雨感器粘结底座或汽车玻璃托架等，系统包括摄像机1、摄像机设定模块611、标定验证模块612、参数设定模块613、图像处理模块614、工件识别模块615、标准工件管理模块616和数据连接与传输模块8，其中

摄像机1，用于获取待测工件的实时图像数据；摄像机可以使用市面上通用品牌的工业摄像机，例如大恒工业摄像机、海康工业摄像机、大华工业摄像机和巴斯勒工业摄像机等。

摄像机设定模块611，集成有各种不同品牌和型号的摄像机驱动,能根据工件二维视觉检测定位系统61使用的摄像机1，从而加载匹配的摄像机1驱动，例如使用使用巴斯勒工业相机就自动加载相应的巴斯勒工业相机驱动等；加载好摄像机驱动后，系统自动根据相机型号设置图像分辨率大小和分辨系数(mm/Pixel)。

标定验证模块612，将摄像机1拍摄到实时图像进行标定，能够设置1～9个标定点；标定实际工件笛卡尔坐标的X和Y值为XRow(mm)、YCol(mm)，摄像机的图像坐标值为Col(Pixel)和Row(Pixel)，并根据摄像机的图像坐标与实际工件笛卡尔坐标的一一对应关系表达式，系统自动推算出被检测实际工件的实际物理坐标。

参数设定模块613，能够设置标定点获取的灰度值(灰度值的取值范围为0～255，常规设置为100)、标定点最小像素个数(常规设置为10000)、阈值亮度百分比(常规设置为0.35)和错误特征最小面积值(取值范围为1～9999，常规设置为4)。

图像处理模块614，对摄像机1获取的待测工件的实时图像数据进行图像处理，得到待测工件的外部轮廓图像数据，系统上通过求导算法，算出各个像素点的阶跃变化，当导数值较高，像素值产生突变后，认定此外轮廓边界，从而得出边界数据，及外部工件的轮廓数据。

工件识别模块615，通过外部轮廓图像数据来判断该工件是汽车玻璃、汽车玻璃雨感器粘结底座或汽车玻璃托架的哪一种；具体识别过程为，当检测系统检测到工件到位的信号时，检测系统触发摄像机拍照，将拍照所得图像读入计算机内存，将被检测的产品内存信息与存在计算机内存当中的一个或多个标准产品图片信息与当前拍照的内存信息进行比较识别，当信息一致，或对比相似度超过90％的比例时，代表该产品识别成功。

标准工件管理模块616，存储有各类汽车玻璃、汽车玻璃雨感器粘结底座和汽车玻璃托架的标准图像，能够根据工件识别模块615判断的工件类型，读取对应工件的标准图像；若检测产品为新品种，则用户放置标准工件，在计算机界面上新建产品并保存；并且每一次检测完成后，都可以设定是否进行自动保存，在实施检测过程中，可以自动对检测结果进行保存，以及查看追溯。以便当发生异常或质量问题时，能够追溯当时检测的产品。

数据连接与传输模块8：能够设定所述检测系统与机械手抓取定位装置联接，将检测系统中处理的信息传递到机械手1，并接受机械手1回馈的信息；其中，数据连接与传输模块8能够设置发送的图像数据编码格式为UniCode或ASCII或者其他的编码格式等；数据连接与传输模块8可以用以太网通讯方式与机械手抓取定位装置联接，设置远程客户端IP(192.168.1.1)，设置本地服务器IP(192.168.1.50)；也可以用RS232串口通信方式与机械手抓取定位装置联接。

其中，工件的机械手抓取定位装置包括机械手5、检测平台3、定位平台7，照明装置2和PLC控制装置9，机械手3将工件4抓取到检测平台上进行定位检测，机械手5将经过定位检测的工件放置在定位平台7上，检测平台3上部和底部均设有一台照明灯做为照明装置2，通过顶上照明和底部照明配合来调节摄像机1拍摄图像的明暗度，提高拍摄图像的对比度。

其中，摄像机设定模块611根据相机串号来区分摄像机1的类型，摄像机设定模块611能够根据摄像机1型号以及现场实际情况来设定拍摄的图像分辨率和分辨系数。

如图3所示，一种采用上述系统进行工件抓取定位的方法，包括如下步骤：

a：系统启动后，先通过数据连接与传输模块8将工件二维视觉引导抓取检测系统61与机械手5联接，然后根据实际使用的摄像机1，通过摄像机设定模块611直接调用相应的摄像机驱动与现场实际摄像机进行匹配，然后启动标定验证模块612加载标定点设置，启动参数设定模块613加载图像参数设置；

b：启动标准工件管理模块616，先预加载好各类汽车玻璃、汽车玻璃雨感器粘结底座和汽车玻璃托架的标准图像，然后根据生产需要选择相应要生产的产品；

c：用机械手5将待测工件抓取到检测平台3上，系统根据预先设定好的照明条件自动调节照明亮度，并启动摄像机1对待测工件进行拍摄；

d：将拍摄得到的待测工件的图像数据传输到图像处理模块614进行图像处理，得到待测工件的外部轮廓图像数据；

e：工件识别模块615根据得到的待测工件的外部轮廓图像数据开始判断是哪一种汽车玻璃、汽车雨感器粘结底座或汽车玻璃托架等，标准工件管理模块616根据判断的结果读取对应工件的标准图像；

f：将待测工件的外部轮廓图像数据与读取对应工件的标准图像的图像数据进行对比匹配；

g：根据匹配结果计算出待测工件的实际平面坐标和工件的标准图像的平面坐标偏差值，并将其传送给机械手5；

h：机械手5抓取待测工件放置在定位平台7上，则完成该待测工件的检测定位。

如图3所示，步骤d中的图像处理的具体操作步骤如下：

d1：将摄像机1拍摄的待测工件的图像进行灰度化处理；

d2：再将经过灰度化处理的图像进行二值化处理，提取灰度值产生阶跃跳变的区域，形成待测工件的外轮廓图像；

判断待测工件的表面还有结构表面特征，需要再进行下述步骤，d3：根据阶跃跳变后的阙值将待测工件的外轮廓图像分成明暗区域，将阙值大于128的区域认定为亮区域，将阙值小于128的认定为暗区域。

以上内容对本发明所述的一种工件二维视觉引导抓取检测系统及方法进行了具体描述，但是本发明不受以上描述的具体实施方式内容的局限，所以本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，均属于本发明的保护范围。

Claims (10)

1.一种工件二维视觉引导抓取检测系统，应用于工件的机械手抓取定位装置，所述工件为汽车玻璃、汽车玻璃雨感器粘结底座或汽车玻璃托架，其特征在于，所述系统包括摄像机、摄像机设定模块、标定验证模块、参数设定模块、图像处理模块、工件识别模块、标准工件管理模块和数据连接与传输模块，其中

摄像机，用于获取待测工件的实时图像数据；

摄像机设定模块，集成有各种不同品牌和型号的摄像机驱动，能根据所述视觉检测定位系统使用的摄像机，从而加载匹配的摄像机驱动；

标定验证模块，将摄像机拍摄到实时图像进行标定，能够设置1～9个标定点，标定实际工件笛卡尔坐标的和摄像机的图像坐标值，并建立对应关系；

参数设定模块，能够设置标定点获取的灰度值、标定点最小像素个数、阈值亮度百分比和错误特征最小面积值；

图像处理模块，对摄像机获取的待测工件的实时图像数据进行图像处理，得到待测工件的外部轮廓图像数据；

工件识别模块，通过外部轮廓图像数据来判断该工件是汽车玻璃、汽车玻璃雨感器粘结底座或汽车玻璃托架的哪一种；

标准工件管理模块，存储有各类汽车玻璃、汽车玻璃雨感器粘结底座和汽车玻璃托架的标准图像，能够根据所述工件识别模块判断的工件类型，读取对应工件的标准图像；

数据连接与传输模块，能够设定所述检测系统与机械手抓取定位装置联接，将检测系统中处理的信息传递到机械手，并接受机械手回馈的信息。

2.根据权利要求1所述的工件二维视觉引导抓取检测系统，其特征在于，所述机械手抓取定位装置包括机械手、检测平台和定位平台，所述机械手将工件抓取到检测平台上进行定位检测，所述机械手将经过定位检测的工件放置在定位平台上。

3.根据权利要求2所述的工件二维视觉引导抓取检测系统，其特征在于，所述检测平台上部和底部均设有照明灯，用来调节摄像机拍摄图像的明暗度。

4.根据权利要求1所述的工件二维视觉引导抓取检测系统，其特征在于，所述摄像机设定模块根据相机串号来区分摄像机的类型，所述摄像机设定模块还能调节摄像机拍摄的图像分辨率和分辨系数。

5.根据权利要求1所述的工件二维视觉引导抓取检测系统，其特征在于，所述数据连接与传输模块能够设置发送的图像数据编码格式为UniCode或ASCII。

6.根据权利要求1所述的工件二维视觉引导抓取检测系统，其特征在于，所述数据连接与传输模块用以太网通讯方式与机械手抓取定位装置联接。

7.根据权利要求1所述的工件二维视觉引导抓取检测系统，其特征在于，所述数据连接与传输模块用RS232串口通信方式与机械手抓取定位装置联接。

8.一种采用如权利要求1所述系统的进行工件抓取定位的方法，其特征在于，包括如下步骤：

a：系统启动后，先通过数据连接与传输模块将工件二维视觉引导抓取检测系统与机械手联接，然后根据实际使用的摄像机，通过摄像机设定模块直接调用相应的摄像机驱动与现场实际摄像机进行匹配，然后启动标定验证模块加载标定点设置，启动参数设定模块加载图像参数设置；

b：启动标准工件管理模块，先预加载好各类汽车玻璃、汽车玻璃雨感器粘结底座和汽车玻璃托架的标准图像，然后根据生产需要选择相应要生产的产品；

c：用机械手将待测工件抓取到检测平台上，系统调节照明度，启动摄像机对待测工件进行拍摄；

d：将拍摄得到的待测工件的图像数据传输到图像处理模块进行图像处理，得到待测工件的外部轮廓图像数据；

e：工件识别模块根据得到的待测工件的外部轮廓图像数据开始判断是哪一种汽车玻璃、汽车雨感器粘结底座或汽车玻璃托架，标准工件管理模块根据判断的结果读取对应工件的标准图像；

f：将所述待测工件的外部轮廓图像数据与读取对应工件的标准图像的图像数据进行对比匹配；

g：根据所述匹配结果计算出待测工件的实际平面坐标和工件的标准图像的平面坐标偏差值，并将其传送给机械手；

h：机械手抓取待测工件放置在定位平台上，则完成该待测工件的检测定位。

9.根据权利要求8所述的方法，其特征在于，所述步骤d中的图像处理的具体操作步骤如下：

d1：将摄像机拍摄的待测工件的图像进行灰度化处理；

d2：再将经过灰度化处理的图像进行二值化处理，提取灰度值产生阶跃跳变的区域，形成待测工件的外轮廓图像。

10.根据权利要求9所述的方法，其特征在于，若待测工件的表面还有结构表面特征，则需要在进行下述步骤，

d3：根据阶跃跳变后的阙值将待测工件的外轮廓图像分成明暗区域，将阙值大于128的区域认定为亮区域，将阙值小于128的认定为暗区域。