CN108435598A - 一种基于机器视觉的反光体表面检测装置、方法、系统、设备和存储介质 - Google Patents

Abstract

本发明涉及一种基于机器视觉的反光体表面检测装置、方法、系统、设备和存储介质。所述检测装置包括传送机构、光电门支架、摄像机、机械手和光电传感器，所述传送机构、光电门支架、摄像机和机械手依次设置于所述传送机构上方，所述光电传感器设置于所述光电门支架上；所述摄像机的数量至少为2个，所述至少2个摄像机斜向下对称设置于所述传送机构的两侧使得所述摄像机的光轴与所述传送机构的传送方向成夹角。本发明提供的基于机器视觉的反光体表面检测装置利用摄像机并应用偏转原理的图像倾斜成像技术，可以有效检查反光体表面的缺陷，从而获得缺陷图像并通过多轴机械手分拣，最终实现反光体检测的自动化。

Description

一种基于机器视觉的反光体表面检测装置、方法、系统、设备 和存储介质

技术领域

本发明属于计算机技术领域，更具体地，涉及一种基于机器视觉的反光体表面检测装置、方法、系统、设备和存储介质。

背景技术

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术。如今，中国正成为世界机器视觉发展最活跃的地区之一，应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等国民经济的各个行业。现有的各类基于机器视觉的检测系统，对于金属、药丸、车辆等检测技术已相当成熟，而对于检测反光度比较大的镜面和陶瓷材料，观察者不会看到表面本身，而是看到环境的镜像，检测系统难以快速识别成像。这对大多数表面检测方法(如三角测量或阴影形状)提出了重大问题，因为这些方法通常依赖于漫反射。下一代5G手机的通信将采用3Ghz以上的频谱，其毫米波的波长很短，来自金属的干扰非常厉害，金属机壳材质难以适用。陶瓷材料具有无信号屏蔽、硬度高、观感强及接近金属材料优异散热性等特点成为5G手机机壳的重要选择。氧化锆陶瓷比较脆，微小的缺陷或轻度应变就会导致极大的机械应力，为此生产过程中需要采取全样品的检测，机器视觉技术是自动检测设备的必然的需求。陶瓷手机后盖，易反光且缺陷较小等特点对机器视觉检测提出更高的要求。

因此，开发一种基于机器视觉的5G手机陶瓷后盖板表面检测系统具有重要的研究意义和应用价值。

发明内容

本发明的目的在于克服现有技术中检测系统对陶瓷手机后盖难以快速识别成像的缺陷与不足，提供一种基于机器视觉的反光体表面检测装置。本发明提供的检测装置可获取更高质量的反光体表面的图像，实现对反光体表面的机器视觉高效快速地检测。

本发明的另一目的在于提供上述基于机器视觉的反光体表面检测方法。

本发明的另一目的在于提供一种基于机器视觉的反光体表面检测系统。

本发明的另一目的在于提供一种基于机器视觉的反光体表面检测的计算机设备。

本发明的另一目的在于提供一种基于机器视觉的反光体表面检测的可读存储介质。

为实现上述发明的目的，本发明采用如下技术方案：

一种基于机器视觉的反光体表面检测装置，包括传送机构、光电门支架、摄像机、机械手和光电传感器，所述传送机构、光电门支架、摄像机和机械手依次设置于所述传送机构上方，所述光电传感器设置于所述光电门支架上；所述摄像机的数量至少为2个，所述至少2个摄像机斜向下对称设置于所述传送机构的两侧使得所述摄像机的光轴与所述传送机构的传送方向成夹角。

本发明提供的检测装置中的传送机构用于对反光体进行传送；光电传感器用于感应反光体经过，通过其感应及传送带的传送速度和传送距离等条件，可得到任一时刻某一特定的反光体的位置(或某一特定的反光体到达某一地点所需的时间)；2个对称的摄像机用于对反光体进行全方位的持续摄像，且由于采用倾斜设置，该摄像机可采用倾斜成像技术从而有效避免反光体反光问题，获得清晰的图像，利用图像处理技术，进而对反光体的缺陷位置和大小进行精确定位；机械手用于对有缺陷的反光体进行分拣，将其搬送至其它位置。光电传感器、摄像机和机械手等的配合作用，可对某一有缺陷的反光体进行识别及定位，最终实现反光体检测的自动化。

本发明所指的反光体是指反光度比较大的镜面(如玻璃)和陶瓷材料等。

另外，本发明利用所获取的图像来得到缺陷的大小和位置在现有技术中是一项比较纯熟的技术，如利用与摄像机信号传输端连接的图像处理设备(如电脑)，通过halcon软件与VS2015软件进行九点标定后，对同一个反光体表面的所有图像进行合成，就会得到一张具有完整的表面清晰的反光体图像，再通过对图层进行分离以及阈值分割、连通域分析、边缘检测、开闭运算等算法即可精准的得知缺陷的大小和位置。

机械手对于特定反光体的分拣在现有技术中也是一项比较纯熟的技术(如PLC为控制器，基于伺服系统，采用闭环控制，可实现机械手末端的移动和定位技术)，可直接适用于本发明中，机械手接收到图像处理设备关于缺陷信息的信号后，即可进行分拣动作。

本发明提供的检测装置中摄像机的光轴与所述传送机构的传送方向之间的夹角可根据实际光源分布以及反光体的大小调整角度，使图像均匀分布。

优选地，所述夹角为30～60°。

更为优选地，所述夹角为45°。

优选地，所述传送机构包括传送工作台、用于支撑所述传送工作台的型材架、设置于所述型材架下方的脚轮，所述传送工作台上设置有滚筒传送带，所述滚筒传送带通过滚筒头固定挡板固定。

优选地，所述脚轮为65脚轮。

优选地，所述检测装置还包括用于调节所述夹角的摄像机调整支架，所述摄像机设置于所述摄像机调整支架上。

更为优选地，所述摄像机调整支架包括下方固定板、上方支撑板和高度可调的调整螺钉；所述下方固定板与所述传送机构固定连接，所述调整螺钉设置于所述下方固定板上，所述上方支撑板一端与所述下方固定板固定连接，另一端设置于所述调整螺钉。

通过调节调整螺钉的高度可改变上方支撑板的倾斜角度，从而改变摄像机的光轴与所述传送机构的传送方向的夹角。

优选地，所述摄像机为CCD工业摄像机；所述机械手为六轴机械手。

更为优选地，所述六轴机械手包括用于驱动的步进电机、用于固定的机械手底端、设置于所述机械手底端上的机械手中间臂和机械手前臂。

步进电机可依次驱动机械手中间臂和机械手前臂，从而实现机械手前端在空间上将反光体吸起来，移动到下一传送带装置上。

应当理解的是，此处的步进电机的数量与其驱动的需求是相对应的，一般来说6个步进电机可使得机械手可以在任一个区域将手机陶瓷后盖板移送到下一区域。

优选地，所述传送机构为垂直设置的进料端传送机构和出料端传送机构，所述进料端传送机构和出料端传送机构的垂直处设置有机械手工作台，所述机械手设置于所述机械手工作台上。

优选地，所述光电门支架包括上挡板和竖直向下设置在上挡板两侧的侧挡板，所述光电传感器设置于所述光电门支架的上挡板的下端面的中部。

优选地，所述反光体为陶瓷或玻璃。

应当理解的是由陶瓷或玻璃材料制得的仪器、设备或样品也在反光体的范畴。

更为优选地，所述反光体为5G手机陶瓷后盖板。

本发明提供一种基于机器视觉的反光体表面检测方法，所述方法包括：

S1：获取反光体经过的信号；

S2：根据反光体经过的信号，采用倾斜成像技术拍摄图像获取反光体表面的图像信息；

S3：根据图像信息进行处理获取反光体表面缺陷的大小和位置信息，然后发射是否存在缺陷的信号；

S4：根据是否存在缺陷的信号，对反光体进行分拣。

本发明所指的倾斜成像技术采用偏转原理，即摄像机的光轴与拍摄的反光体成倾斜角度时进行拍摄的技术。该技术可尽大可能地消除或避免反光体表面的反光问题，获得清晰的图像。

应当理解的是，拍摄图像是连续拍照还是录像，连续拍照的间隔是多少是可以根据实际情况来进行选取的，只要最终可获得每一个反光体的表面的完整图像即可。

优选地，S2中拍摄图像为连续拍摄或录像。

优选地，S3步骤中对图像信息进行处理的过程包括：S3步骤中对图像信息进行处理的过程包括：基于预设合成算法对所述图像信息进行合成，获得每一反光体的完整表面图像信息；基于预设缺陷算法对所述表面图像信息进行缺陷分析，获得缺陷数据；若所述缺陷数据超出预设缺陷阈值，发出该反光体表面存在缺陷的信号。

优选地，所述缺陷算法包括图层分离、阈值分割、连通域分析、边缘检测和开闭运算。

优选地，S3中缺陷阈值包括缺陷大小和/或数量的阈值。

可通过对缺陷大小、数量等容忍度来判定该反光体是否为缺陷反光体。如对缺陷的数量有控制要求，则可对缺陷的数量设定阈值，超出该阈值时即判定为缺陷反光体；如对缺陷的大小有控制要求，则可对缺陷的大小设定阈值，超出该阈值时即判定为缺陷反光体；如对超出某一大小的缺陷的数量有控制要求，则可对缺陷的大小和数量同时设定阈值，当大于某一尺寸的缺陷数量超出该阈值时，即判定为缺陷反光体。

一种基于机器视觉的反光体表面检测系统，包括：

信息采集系统，用于获取反光体经过的信号；

拍摄系统，用于采用倾斜成像技术拍摄图像获取反光体表面的图像信息；

表面检测系统，用于获取反光体表面缺陷的大小和位置信息，然后发射是否存在缺陷的信号；运动控制系统，用于对反光体进行分拣。

本发明还提供一种基于机器视觉的反光体表面检测的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一所述的检测方法。

本发明还提供一种基于机器视觉的反光体表面检测的可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述的检测方法

与现有技术相比，本发明具有如下有益效果：

本发明提供的基于机器视觉的反光体表面检测装置利用摄像机并应用偏转原理的图像倾斜成像技术，可以有效检查反光体表面的缺陷，有效获得缺陷图像并通过机械手分拣，最终实现反光体表面检测的自动化。

附图说明

图1为实施例1提供的检测装置的结构示意图；

图2为实施例1提供的检测装置的局部放大图；

图3为实施例1提供的检测方法的流程图；

图4为实施例1提供的检测系统的结构框图；

图5为实施例1提供的计算机设备的结构示意图；

其中：

1为传送机构，2为光电门支架，3为摄像机，4为机械手，5为光电传感器，6为传送工作台，7为型材架，8为65脚轮，9为滚筒传送带，10为滚筒头固定挡板，11为摄像机调整支架，12为下方固定板，13为上方支撑板，14为调整螺钉，15为步进电机，16为机械手底端，17为机械手中间臂，18为机械手前臂，19为机械手工作台； 30为处理器，31为存储器，32为输入装置，33为输出装置。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图和具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

本实施例以5G手机陶瓷后盖板这种特定的反光体为例，提供一种基于机器视觉的5G手机陶瓷后盖板表面检测装置、方法、系统、设备和存储介质。

第一方面，本实施例提供一种基于机器视觉的5G手机陶瓷后盖板表面检测装置。如图1～2所示，该检测装置包括传送机构1、光电门支架2、摄像机3、机械手4，光电门支架2、摄像机3、机械手4依次设置于所述传送机构1上方。传送机构1靠近光电门支架2的一端为进料端，远离光电门支架2的一端为出料端。

传送机构1为垂直设置的进料端传送机构和出料端传送机构，包括传送工作台6、用于支撑传送工作台6的型材架7、设置于型材架7下方的65脚轮8，传送工作台6上设置有滚筒传送带9，滚筒传送带通过滚筒头固定挡板10固定，滚筒传送带9包括垂直设置的进料端滚筒传送带9和出料端滚筒传送带9。

光电门支架2包括上挡板和竖直向下设置在上挡板两侧的侧挡板，光电传感器5设置于光电门支架2的上挡板的下端面的中部，光电传感器可通过有线或无线方式将其感应信号发射出去。

摄像机3为2个CCD工业摄像机，斜向下对称设置于摄像机调整支架11上并使得摄像机3的光轴与传送机构1的传送方向成夹角。摄像机调整支架11包括下方固定板12、上方支撑板13和高度可调的调整螺钉14；下方固定板12与传送机构1固定连接，调整螺钉14设置于下方固定板12上，上方支撑板13一端与下方固定板12固定连接，另一端设置于调整螺钉14。通过调节调整螺钉14的高度，可调节上方支撑板13的倾斜角度，从而调节摄像机3的光轴与传送机构1的传送方向之间的夹角。一般情况下，夹角为30～60°。摄像机可在某些特定的信号(如光电传感器感应的经过信号)条件下触发拍照，并将其拍摄的照片传输给具有图像处理功能的设备或处理装置(如带图像处理软件的电脑)，该设备或处理装置对图像进行处理后可获得缺陷信息并发射信号。

机械手4为六轴机械手，设置于机械手工作台19上，机械手工作台19设置于进料端滚筒传送带9和出料端滚筒传送带9的垂直处。六轴机械手4包括用于提供驱动力的步进电机15、用于固定的机械手底端16、设置于机械手底端16上的机械手中间臂17和机械手前臂18。机械手可被某些特定信号(如包含缺陷信息的信号)触发进行分拣工作。

本发明提供的检测装置中的传送机构1用于对5G手机陶瓷后盖板进行传送；光电传感器5用于感应5G手机陶瓷后盖板经过，通过其感应及传送带的传送速度和传送距离等条件，可得到任一时刻某一特定的5G手机陶瓷后盖板的位置或某一特定的5G手机陶瓷后盖板到达某一地点所需的时间，并发射5G手机陶瓷后盖板经过的脉冲信号；2个对称的摄像机3接收到经过的信号后，对5G手机陶瓷后盖板进行全方位的持续拍摄，且由于采用倾斜设置，该摄像机可采用倾斜成像技术从而有效避免5G手机陶瓷后盖板反光问题，获得清晰的图像；对该图像进行处理进而获得5G手机陶瓷后盖板是否存在缺陷及缺陷位置和大小等缺陷信息，并发送给机械手的运动控制机构；机械手4接收信号后对有缺陷的陶瓷后盖进行分拣，将其搬送至其它位置。光电传感器5、摄像机3和机械手4等的配合作用，可对某一有缺陷的5G手机陶瓷后盖板进行识别及定位，最终实现5G手机陶瓷后盖板检测的自动化。

第二方面，本实施例还提供一种基于机器视觉的5G手机陶瓷后盖板表面检测方法。如图3所示，包括：

S1：获取5G手机陶瓷后盖板经过的信号；如通过光电传感器来感应5G手机陶瓷后盖板经过的信号。

S2：根据5G手机陶瓷后盖板经过的信号，采用倾斜成像技术连续拍摄图像获取5G手机陶瓷后盖板表面的图像信息；如摄像机在5G手机陶瓷后盖板经过的信号下触发，然后采用倾斜成像技术对5G手机陶瓷后盖板表面进行图像拍摄以获得清晰的图像。

S3：根据图像信息进行处理获取5G手机陶瓷后盖板表面缺陷的大小和位置信息，具体如下：基于预设合成算法对所述图像信息进行合成，获得每一反光体的完整表面图像信息；基于图层分离、阈值分割、连通域分析、边缘检测和开闭运算等预设缺陷算法对所述表面图像信息进行缺陷分析，获得缺陷数据；对缺陷的大小和数量设置缺陷阈值，若所述缺陷数据超出预设缺陷阈值，发出该5G手机陶瓷后盖板表面存在缺陷的信号；如电脑接收图像信息后利用halcon软件与VS2015软件进行上述预设算法的图像处理获得缺陷信息并发出5G手机陶瓷后盖板表面存在缺陷的信号。

S4：根据是否存在缺陷的信号，对5G手机陶瓷后盖板进行分拣；如机械手接收到存在缺陷的信号后以PLC为控制器，基于伺服系统，采用闭环控制，实现机械手末端的移动和定位，对5G手机陶瓷后盖板进行分拣。

第三方面，本实施例还提供一种基于机器视觉的5G手机陶瓷后盖板表面检测系统。如图4所示，包括：

信息采集系统，用于获取5G手机陶瓷后盖板经过的信号；如光电传感器及其连接设备，可实现S1中的获取5G手机陶瓷后盖板经过的信号。

拍摄系统，用于采用倾斜成像技术拍摄图像获取5G手机陶瓷后盖板表面的图像信息；如采用倾斜设置的摄像机使得其光轴与5G手机陶瓷后盖板成斜角，从而实现S2中的获取5G手机陶瓷后盖板表面的图像信息，从而有效避免5G手机陶瓷后盖板的反光问题，获得清晰的图像。

表面检测系统，用于获取5G手机陶瓷后盖板表面缺陷的大小和位置信息，然后发射是否存在缺陷的信号；如含有图像处理软件(如halcon软件与VS2015软件)的电脑，可实现S3步骤中的图像处理过程，并发射信号。

运动控制系统，用于对5G手机陶瓷后盖板进行分拣。

第四方面，本实施例还提供一种基于机器视觉的5G手机陶瓷后盖板表面检测的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时可实现实施例1中的检测方法控制方法。

图5为本发明实施例1的一种计算机设备的结构示意图，该设备可以是包括实施例1 控制系统的一种电子设备，如图5所示，该设备包括处理器30、存储器31、输入装置32和输出装置33；设备中处理器30的数量可以是一个或多个，图5中以一个处理器30为例；设备中的处理器30、存储器31、输入装置32和输出装置33可以通过总线或其他方式连接。

存储器31作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的检测方法对应的程序指令/模块。处理器30通过运行存储在存储器31中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的控制方法。

存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器31可进一步包括相对于处理器30远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置32可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置33可包括显示屏等显示设备。

第五方面，本实施例还提供一种基于机器视觉的5G手机陶瓷后盖板表面检测的可读存储介质，该可读存储介质可以是实施例1中的检测方法对应的程序指令/模块的存储器，其上存储有计算机程序，该程序被处理器执行时实现某种特定的方法，如实施例1中的检测方法。

所述计算机可执行指令在由计算机处理器执行时用于执行上述的控制方法。

Claims (10)

1.一种基于机器视觉的反光体表面检测装置，其特征在于，包括传送机构（1）、光电门支架（2）、摄像机（3）、机械手（4）和光电传感器（5），所述传送机构（1）、光电门支架（2）、摄像机（3）和机械手（4）依次设置于所述传送机构（1）上方， 所述光电传感器（5）设置于所述光电门支架（2）上；所述摄像机（3）的数量至少为2个，所述至少2个摄像机（3）斜向下对称设置于所述传送机构（1）的两侧使得所述摄像机（3）的光轴与所述传送机构（1）的传送方向成夹角。

2.根据权利要求1所述检测装置，其特征在于，所述检测装置还包括用于调节所述夹角的摄像机调整支架（11），所述摄像机（3）设置于所述摄像机调整支架（11）上。

3.根据权利要求1所述检测装置，其特征在于，所述摄像机（3）为CCD工业摄像机；所述机械手（4）为六轴机械手（4）。

4.根据权利要求1所述检测装置，其特征在于，所述光电门支架（2）包括上挡板和竖直向下设置在上挡板两侧的侧挡板，所述光电传感器（5）设置于所述光电门支架（2）的上挡板的下端面的中部。

5.根据权利要求1所述检测装置，其特征在于，所述反光体为陶瓷或玻璃。

6.一种基于机器视觉的反光体表面检测方法，其特征在于，所述方法包括：

S1：获取反光体经过的信号；

S2：根据反光体经过的信号，采用倾斜成像技术拍摄图像获取反光体表面的图像信息；

S3：根据图像信息进行处理获取反光体表面缺陷的大小和位置信息，然后发射是否存在缺陷的信号；

S4：根据是否存在缺陷的信号，对反光体进行分拣。

7.根据权利要求6所述检测方法，其特征在于，S3步骤中对图像信息进行处理的过程包括：基于预设合成算法对所述图像信息进行合成，获得每一反光体的完整表面图像信息；基于预设缺陷算法对所述表面图像信息进行缺陷分析，获得缺陷数据；若所述缺陷数据超出预设缺陷阈值，发出该反光体表面存在缺陷的信号。

8.一种基于机器视觉的反光体表面检测系统，其特征在于，包括：

信息采集系统，用于获取反光体经过的信号；

拍摄系统，用于采用倾斜成像技术拍摄图像获取反光体表面的图像信息；

表面检测系统，用于获取反光体表面缺陷的大小和位置信息，然后发射是否存在缺陷的信号；

机械手电机控制系统，用于对反光体进行分拣。

9.一种基于机器视觉的反光体表面检测的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6~7任一所述的检测方法。

10.一种基于机器视觉的反光体表面检测的可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6~7任一所述的检测方法。