CN110976338B - 一种基于机器视觉的试纸分拣系统及分拣方法 - Google Patents

一种基于机器视觉的试纸分拣系统及分拣方法 Download PDF

Info

Publication number
CN110976338B
CN110976338B CN201911094500.5A CN201911094500A CN110976338B CN 110976338 B CN110976338 B CN 110976338B CN 201911094500 A CN201911094500 A CN 201911094500A CN 110976338 B CN110976338 B CN 110976338B
Authority
CN
China
Prior art keywords
test paper
image
box
sorting
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911094500.5A
Other languages
English (en)
Other versions
CN110976338A (zh
Inventor
叶炜
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911094500.5A priority Critical patent/CN110976338B/zh
Publication of CN110976338A publication Critical patent/CN110976338A/zh
Application granted granted Critical
Publication of CN110976338B publication Critical patent/CN110976338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明提供了一种基于机器视觉的试纸分拣系统及分拣发方法，包括：输送装置、暗箱、摄像机、分拣装置、照明设备、控制器；分拣方法主要包括图像采集、图像预处理、倾斜校正、模板匹配、图像识别以及分拣等步骤。本发明能够实现生产线上试纸的自动检测和分拣，从而大大提高分拣的效率和准确率，同时降低生产成本。

Description

一种基于机器视觉的试纸分拣系统及分拣方法
技术领域
本发明涉及机器视觉领域，尤其涉及一种基于机器视觉的试纸分拣系统及分拣方法。
背景技术
在试纸的生产过程中，通常需要将试纸按照一定的顺序装在试纸袋或试纸盒中。对于放错顺序的试纸袋或试纸盒，主要是通过人工方式进行检查和分拣，人工方式存在以下缺点：有些试纸之间的差别很小，需要工人具有熟练的操作技巧；试纸的尺寸和上面印刷的文字通常很小，工人容易眼睛疲劳从而出错；一袋或一盒试纸通常装有很多片试纸，工人很难迅速检查完一袋或一盒试纸，因此通常需要大量工人，从而提高了生产成本。
随着计算机应用技术的发展和智能工厂的建设，越来越多的工厂选择用机器来代替人工，尤其是机械性、重复性的工作。
发明内容
本发明的目的是针对现有人工分拣效率低下和准确率不高等问题，提供一种基于机器视觉的试纸分拣系统及方法。
根据本发明的一个方面，为了实现上述目的，本发明的基于机器视觉的试纸分拣系统采用如下技术方案：
一种基于机器视觉的试纸分拣系统，包括：输送装置、暗箱、摄像机、分拣装置、照明设备、控制器；
所述输送装置包括输送皮带、步进电机和支架，用于承载和输送试纸袋或试纸盒，通过步进电机在所述控制器的控制下处于匀速运转或停止状态；
所述暗箱包括箱体和支架，箱体通过支架固定于所述输送装置上方，箱体内壁涂有漫反射涂料，用于将照明设备的光变为面光源，使光线均匀化，可以消除眩光或光斑，提高显色性；
所述摄像机为彩色工业相机，包括机身、镜头和支架，通过支架固定于所述暗箱顶部中心位置，用于采集所述输送装置上试纸袋或试纸盒的图像；
所述照明设备为COB光源，包括LED芯片和金属基板，位于所述暗箱内部，用于给所述摄像机提供合适的光照环境；
所述输送装置处于匀速运转状态时，所述摄像机不断采集并传输图像到所述控制器，当所述控制器通过采集到的图像检测到有试纸袋或试纸盒进入到可拍摄区域时，使所述输送装置处于停止状态，并保存此时所述摄像机采集到的试纸袋或试纸盒的图像用于后续确定试纸条的摆放顺序，然后使所述输送装置处于匀速运转状态。
所述分拣装置包括吸盘、真空压缩机、机械臂、步进电机和支架，通过支架固定于所述输送装置上方、所述暗箱后方；所述吸盘安装在所述机械臂前端，可以通过所述真空压缩机吸附位于所述输送装置上的试纸袋或试纸盒；所述机械臂安装在所述支架上，可以通过步进电机在所述控制器的控制下移动，用于分拣输送装置上放错顺序的试纸袋或试纸盒；
所述控制器通过控制所述输送装置完成试纸袋或试纸盒的输送任务，通过控制所述摄像机进行图像处理与识别等任务，通过控制所述分拣装置进行试纸袋或试纸盒的分拣任务。
优选地，所述控制器采用基于ARM架构的处理器，带有串口、USB和以太网等接口。
优选地，所述输送装置匀速运转时的速度为5～200mm/s。
优选地，所述暗箱的箱体为棱长在100～1500mm范围内的不透光长方体，优选地，暗箱底部与所述输送装置的距离小于500mm。
优选地，所述摄像机的镜头焦距为2.8～12mm，通过支架安装在所述暗箱顶部中心位置，通过USB接口或网口与所述控制器相连，完成图像的采集与传输功能。
优选地，所述通过图像检测试纸袋或试纸盒是否进入到可拍摄区域的算法，主要包括如下步骤：
步骤1：通过图像灰度化和二值化算法将图像分为前景区域(试纸袋或试纸盒)和背景区域，利用开运算和闭运算等形态学滤波算法去除图像中的噪点；
步骤2：通过连通域算法寻找前景区域的轮廓以及属于前景区域的像素点，并计算前景区域的面积；
步骤3：如果前景区域的轮廓与图像的边界不相交并且前景区域的面积大于设定的阈值，则认为该图像中存在一个完整的试纸袋或试纸盒的区域，即可判定检测到试纸袋或试纸盒进入到可拍摄区域。
步骤4：若检测到试纸袋或试纸盒进入到可拍摄区域，进一步找到前景区域的中心点与图像中心点之间的水平像素距离Δd′x(单位：像素)和垂直像素距离Δd′y(单位：像素)。由于所述摄像机与所述输送装置之间的距离是固定且已知的，因此可以通过标定计算出图像中的像素距离与所述输送装置上实际距离的映射关系：
dreal＝f(dpixel)
其中，dpixel是像素距离，dreal是实际距离。通过该映射关系便可计算出试纸袋或试纸盒与所述摄像机之间的水平实际距离Δdx(单位：mm)和垂直实际距离Δdy(单位：mm)，用于后续所述分拣装置确定试纸袋或试纸盒在所述输送装置上的位置。
优选地，所述照明设备采用多个COB光源以所述摄像头为中心对称安装于所述暗箱顶部。
优选地，所述分拣装置的吸盘采用直径小于150mm的圆形吸盘。
优选地，所述吸盘与所述摄像机之间的水平距离记为d0(单位：mm)，当试纸袋或试纸盒被判定为试纸摆放顺序错误时，可以通过Δdx和Δdy计算出该试纸袋或试纸盒与所述分拣装置之间的水平和垂直距离：
dx＝d0+Δdx
dy＝Δdy
得到dy之后，所述控制器通过步进电机控制所述分拣装置的圆形吸盘在垂直于所述输送装置的方向上移动dy距离，并在所述输送装置将试纸袋或试纸盒移动dx距离之后通过控制所述真空压缩机、所述机械臂将该试纸袋或试纸盒分拣出来。
优选地，所述控制器采用基于ARM架构的处理器，带有串口、USB和以太网等接口。
所述基于机器视觉的试纸分拣系统的分拣方法主要包括图像采集、图像预处理、倾斜校正、模板匹配、图像识别以及分拣等步骤。
根据本发明的另一个方面，为了实现上述目的，本发明的基于机器视觉的试纸分拣系统的分拣方法采用如下技术方案：
基于机器视觉的试纸分拣系统的分拣方法，所述方法包括如下步骤：
步骤1：采集一张或多张顺序正确的试纸袋或试纸盒图像作为标准模板图像，并用图像预处理算法对标准模板图像进行预处理，保存预处理后的标准模板图像；
步骤2：采集输送装置上待检测试纸袋或试纸盒的图像，利用图像预处理算法进行预处理；
步骤3：对预处理后的试纸袋或试纸盒图像，利用倾斜校正算法对图像进行旋转，保证图像中的试纸处于水平或垂直方向；
步骤4：对倾斜校正后的试纸袋或试纸盒图像，利用图像分割算法提取每一片试纸所在的区域，从而分割出每一片试纸的子图像；
步骤5：对步骤4中提取到的每一片试纸的子图像，利用模板匹配算法依次和步骤1中保存的标准模板图像进行匹配；通过匹配可以确定每一个子图像中试纸的类别，从而确定待检测试纸袋或试纸盒中试纸的摆放顺序；
步骤6：对于摆放顺序和标准模板图像不同的试纸袋或试纸盒，利用分拣装置将其拣出。
优选地，所述步骤3中的倾斜校正算法，首先采用灰度化和二值化算法将图像分为前景区域(试纸袋或试纸盒)和背景区域，利用开运算和闭运算等形态学滤波算法去除图像中的噪点；然后利用连通域算法寻找前景区域的轮廓，并寻找该轮廓对应的最小外接矩形；找到前景区域对应的最小外接矩形后，可以计算出该矩形的边相对于图像的旋转角度θ，将图像旋转θ角度后可以使得图像中的试纸处于水平或垂直方向。
优选地，所述步骤4中的图像分割算法，首先采用灰度化和二值化算法将图像分为前景区域(每一条试纸)和背景区域，利用开运算和闭运算等形态学滤波算法去除图像中的噪点；和所述步骤3中的二值化算法不同，这里会得到多个前景区域(数量等于试纸袋或试纸盒中的试纸条数量)，对于每个前景区域利用连通域算法找到该区域的中心；得到每个前景区域的中心点坐标后，寻找每个前景区域的外接矩形并利用先验知识对每个外接矩形进行修正，即可得到每一片试纸所在的区域，从而分割出每一片试纸的子图像。
优选地，所述步骤5中的模板匹配算法，首先提取每一片试纸子图像的颜色和角点特征；提取颜色特征时，需要将原始RGB图像转换到HSV颜色空间，分别提取H(色调)、S(饱和度)、V(明度)三个通道的特征；提取角点特征时，采用特征点检测算法提取每一张子图像的局部特征；提取所有试纸子图像的颜色和角点特征后，将其与标准模板图像的颜色和角点特征进行对比和匹配，从而确定出每张试纸子图像中的试纸类别以及试纸的排列顺序。
本发明能够实现生产线上试纸的自动检测和分拣，从而大大提高分拣的效率和准确率，同时降低生产成本。
附图说明
图1为本发明实施例待分拣的试纸袋示意图；
图2为本发明实施例的基于机器视觉的试纸分拣系统的示意图；
图3为本发明实施例的控制器与摄像机和分拣装置的连接图；
图4为本发明实施例的图像倾斜校正算法的流程图；
图5为本发明实施例的图像分割算法的流程图；
图6为本发明实施例的模板匹配算法的流程图。
具体实施方式
下面结合附图和具体实施实例对发明做进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明实施例待分拣的试纸袋如图1所示，试纸袋透明，呈扇形，不同种类的试纸具有不同的颜色或纹理特征。
如图2所示，本实施例公开的一种基于机器视觉的试纸分拣系统，包括：输送装置1、暗箱2、摄像机3、分拣装置4、照明设备5、控制器。
所述输送装置1包括输送皮带、步进电机和支架，用于承载和输送试纸袋或试纸盒，将试纸袋或试纸盒输送至所述暗箱2下方供所述摄像机3采集图像，以及将试纸袋或试纸盒输送至所述分拣装置4下方进行分拣。
所述暗箱2包括箱体和支架，箱体为棱长为500mm的不透光正方体，通过支架固定于所述输送装置1上方，箱体底部与所述输送装置1的距离为100mm，内壁涂有漫反射涂料，用于将照明设备5的光变为面光源，使光线均匀化，可以消除眩光或光斑，提高显色性。
所述摄像机3采用带有USB接口或以太网接口的彩色工业相机，镜头采用焦距范围在2.8～12mm的调焦镜头，通过支架安装在所述暗箱2顶部中心位置，用于采集所述输送装置1上试纸袋或试纸盒的图像，通过调节所述摄像机3的镜头焦距等参数使得所拍摄图像范围能完整包含试纸袋或试纸盒。所述摄像机3通过USB接口或网口与所述控制器相连，完成图像的采集与传输功能。输送装置1处于匀速运转状态时，摄像机3不断采集并传输图像到控制器，当控制器对采集到的图像检测到有试纸袋或试纸盒进入到可拍摄区域时，使输送装置1处于停止状态，并保存此时摄像机3采集到的试纸袋或试纸盒的图像用于后续确定试纸条的摆放顺序，然后使输送装置1处于匀速运转状态。
所述通过图像检测试纸袋或试纸盒是否进入到可拍摄区域的算法，主要包括如下步骤：
步骤1：通过图像灰度化和二值化算法将图像分为前景区域(试纸袋或试纸盒)和背景区域，利用开运算和闭运算等形态学滤波算法去除图像中的噪点；
步骤2：通过连通域算法寻找前景区域的轮廓以及属于前景区域的像素点，并计算前景区域的面积；
步骤3：如果前景区域的轮廓与图像的边界不相交并且前景区域的面积大于设定的阈值，则认为该图像中存在一个完整的试纸袋或试纸盒的区域，即可判定检测到试纸袋或试纸盒进入到可拍摄区域。
步骤4：若检测到试纸袋或试纸盒进入到可拍摄区域，进一步找到前景区域的中心点与图像中心点之间的水平像素距离Δd′x(单位：像素)和垂直像素距离Δd′y(单位：像素)。由于摄像机3与输送装置1之间的距离是固定且已知的，因此可以通过标定计算出图像中的像素距离与输送装置1上实际距离的映射关系：
dreal＝f(dpixel)
其中，dpixel是像素距离，dreal是实际距离。通过该映射关系便可计算出试纸袋或试纸盒与摄像机3之间的水平实际距离Δdx(单位：mm)和垂直实际距离Δdy(单位：mm)，用于后续分拣装置4确定试纸袋或试纸盒在输送装置1上的位置。
所述照明设备5采用4个额定电压为12V的COB光源，以所述摄像头3为中心对称安装于所述暗箱2顶部，用于给所述摄像机3提供合适的光照环境。
所述分拣装置4包括直径小于150mm的圆形吸盘、真空压缩机、机械臂以及电机，位于所述输送装置1上方、所述暗箱2后方，圆形吸盘可以通过步进电机在所述控制器的控制下在垂直于所述输送装置1的方向上移动，用于分拣输送装置1上放错顺序的试纸袋或试纸盒。分拣装置4与摄像机3之间的水平距离记为d0(单位：mm)，当试纸袋或试纸盒被判定为试纸摆放顺序错误时，可以通过Δdx和Δdy计算出该试纸袋或试纸盒与分拣装置4之间的水平和垂直距离：
dx＝d0+Δdx
dy＝Δdy
得到dy之后，控制器通过步进电机控制分拣装置4的圆形吸盘在垂直于输送装置1的方向上移动dy距离，并在输送装置1将试纸袋或试纸盒移动dx距离之后通过控制真空压缩机、机械臂将该试纸袋或试纸盒分拣出来。
所述控制器采用树莓派3B+，通过控制所述输送装置1完成试纸袋或试纸盒的输送任务，通过控制所述摄像机3进行图像处理与识别等任务，通过控制所述分拣装置4进行试纸袋或试纸盒的分拣任务。
本实施例提供的所述基于机器视觉的试纸分拣系统的分拣方法包括如下步骤：
步骤1：采集一张或多张顺序正确的试纸袋或试纸盒图像作为标准模板图像，利用均值滤波算法和中值滤波算法抑制图像中的高斯噪声和椒盐噪声，并利用伽马校正算法提高图像的对比度，最后保存预处理后的标准模板图像；
步骤2：采集输送装置上待检测试纸袋或试纸盒的图像，利用均值滤波算法和中值滤波算法抑制图像中的高斯噪声和椒盐噪声，并利用伽马校正算法提高图像的对比度；
步骤3：对预处理后的试纸袋或试纸盒图像，利用倾斜校正算法对图像进行旋转，保证图像中的试纸处于水平或垂直方向；倾斜校正算法如图4所示，首先采用灰度化和二值化算法将图像分为一个前景区域(试纸袋或试纸盒)和一个背景区域，前景区域的像素值为255，背景区域的像素值为0；然后利用开运算去除背景区域中的小块前景区域，去除噪点，利用闭运算填补前景区域的空洞，使前景区域更加完整；然后利用连通域算法寻找前景区域的轮廓，并寻找该轮廓对应的最小外接矩形；找到前景区域对应的最小外接矩形后，可以计算出该矩形的边相对于图像的旋转角度θ，θ角即为试纸袋或试纸盒相对于图像的旋转角度，因此将图像旋转θ角度后可以使得图像中的试纸处于水平或垂直方向。
步骤4：对倾斜校正后的试纸袋或试纸盒图像，利用图像分割算法提取每一片试纸所在的区域，从而分割出每一片试纸的子图像；图像分割算法如图5所示，首先采用灰度化和二值化算法将图像分为多个前景区域(每一条试纸)和一个背景区域，前景区域的像素值为255，背景区域的像素值为0；利用开运算去除相邻前景区域之间的噪点，利用闭运算填补每一个前景区域内部的空洞；和所述步骤3中的二值化算法不同，这里会得到多个前景区域(数量等于试纸袋或试纸盒中的试纸条数量)，对于每个前景区域利用连通域算法找到该区域的中心；得到每个前景区域的中心点坐标后，寻找每个前景区域的外接矩形；由于不同的试纸具有不同的颜色，因此二值化后得到的每个前景区域长短不一，因此前景区域的外接矩形并不能完整的包含该试纸所在区域；因此需要利用先验知识对每个前景区域的外接矩形进行修正，这里的先验知识可以是经过统计得到的不同试纸对应的前景区域的外接矩形与试纸所在区域的映射关系；经过先验知识修正后的外接矩形即可得到每一片试纸所在的完整区域，从而分割出每一片试纸的子图像；
步骤5：对步骤4中提取到的每一片试纸的子图像，利用模板匹配算法依次和步骤1中保存的标准模板图像进行匹配；通过匹配可以确定每一个子图像中试纸的类别，从而确定待检测试纸袋或试纸盒中试纸的摆放顺序；模板匹配算法如图6所示，首先提取每一片试纸子图像的颜色和角点特征；提取颜色特征时，需要将原始RGB图像转换到HSV颜色空间，对于每个子图像中的前景区域，分别统计H(色调)、S(饱和度)、V(明度)三个通道像素值的均值作为该前景区域的颜色特征；提取角点特征时，采用SURF特征点检测算法提取每一张子图像前景区域的局部特征；提取所有试纸子图像的颜色和角点特征后，对于颜色特征明显的试纸，通过和标准模板图像进行颜色特征的对比即可确定该试纸的类别；对于颜色特征不明显的试纸，将其角点特征与标准模板图像的角点特征进行匹配即可确定该试纸的类别；确定了每张试纸子图像的类别后，由于每张子图像是从原始图像中按顺序分割出来的，因此可以确定该试纸袋或试纸盒中试纸的摆放顺序。
步骤6：对于摆放顺序和标准模板图像不同的试纸袋或试纸盒，利用分拣装置4将其拣出。

Claims (3)

1.一种基于机器视觉的试纸分拣系统，其特征在于，包括：输送装置(1)、暗箱(2)、摄像机(3)、分拣装置(4)、照明设备(5)、控制器；
所述输送装置(1)包括输送皮带、步进电机和支架，用于承载和输送试纸袋或试纸盒，通过步进电机在所述控制器的控制下处于匀速运转或停止状态；
所述暗箱(2)包括箱体和支架，箱体通过支架固定于所述输送装置(1)上方，箱体内壁涂有漫反射涂料，用于将照明设备(5)的光变为面光源，使光线均匀化；
所述照明设备(5)为COB光源，包括LED芯片和金属基板，位于所述暗箱内部，用于给所述摄像机提供合适的光照环境；
所述摄像机为彩色工业相机，包括机身、镜头和支架，通过支架固定于所述暗箱顶部中心位置，用于采集所述输送装置上试纸袋或试纸盒的图像；
所述输送装置处于匀速运转状态时，所述摄像机不断采集并传输图像到所述控制器，当所述控制器通过采集到的图像检测到有试纸袋或试纸盒进入到可拍摄区域时，使所述输送装置处于停止状态，并保存此时所述摄像机采集到的试纸袋或试纸盒的图像用于后续确定试纸条的摆放顺序，然后使所述输送装置处于匀速运转状态；
所述分拣装置(4)包括吸盘、真空压缩机、机械臂、步进电机和支架，通过支架固定于所述输送装置(1)上方、所述暗箱(2)后方；所述吸盘安装在所述机械臂前端，可以通过所述真空压缩机吸附位于所述输送装置(1)上的试纸袋或试纸盒；所述机械臂安装在所述支架上，可以通过步进电机在所述控制器的控制下移动，用于分拣输送装置(1)上放错顺序的试纸袋或试纸盒；
所述通过图像检测试纸袋或试纸盒是否进入到可拍摄区域的算法，包括如下步骤：
步骤1：通过图像灰度化和二值化算法将图像分为前景区域和背景区域，利用开运算和闭运算等形态学滤波算法去除图像中的噪点，前景区域被视为试纸袋或试纸盒；
步骤2：通过连通域算法寻找前景区域的轮廓以及属于前景区域的像素点，并计算前景区域的面积；
步骤3：如果前景区域的轮廓与图像的边界不相交并且前景区域的面积大于设定的阈值，则认为该图像中存在一个完整的试纸袋或试纸盒的区域，即可判定检测到试纸袋或试纸盒进入到可拍摄区域；
步骤4：若检测到试纸袋或试纸盒进入到可拍摄区域，进一步找到前景区域的中心点与图像中心点之间的水平像素距离Δd′x和垂直像素距离Δd′y，计算出图像中的像素距离与输送装置(1)上实际距离的映射关系：
dreal＝f(dpixel)
其中，水平像素距离Δd′x和垂直像素距离Δd′y的单位是像素，dpixel是像素距离，dreal是实际距离；通过该映射关系计算出试纸袋或试纸盒与摄像机(3)之间的水平实际距离Δdx和垂直实际距离Δdy，用于后续分拣装置(4)确定试纸袋或试纸盒在输送装置(1)上的位置，水平实际距离Δdx和垂直实际距离Δdy的单位是mm。
2.如权利要求1所述的一种基于机器视觉的试纸分拣系统，其特征在于，所述分拣装置(4)与所述摄像机(3)之间的水平距离记为d0，d0的单位是mm，当试纸袋或试纸盒被判定为试纸摆放顺序错误时，通过Δdx和Δdy计算出该试纸袋或试纸盒与所述分拣装置(4)之间的水平和垂直距离：
dx＝d0+Δdx
dy＝Δdy
得到dy之后，控制器通过步进电机控制所述分拣装置(4)的吸盘在垂直于所述输送装置(1)的方向上移动dy距离，并在所述输送装置(1)将试纸袋或试纸盒移动dx距离之后通过控制所述真空压缩机、机械臂将该试纸袋或试纸盒分拣出来。
3.基于机器视觉的试纸分拣系统的分拣方法，其特征在于，具体包括如下步骤：
步骤1：采集一张或多张顺序正确的试纸袋或试纸盒图像作为标准模板图像，并用图像预处理算法对标准模板图像进行预处理，保存预处理后的标准模板图像；
步骤2：采集输送装置上待检测试纸袋或试纸盒的图像，利用图像预处理算法进行预处理；
步骤3：对预处理后的试纸袋或试纸盒图像，利用倾斜校正算法对图像进行旋转，保证图像中的试纸处于水平或垂直方向；
步骤4：对倾斜校正后的试纸袋或试纸盒图像，利用图像分割算法提取每一片试纸所在的区域，从而分割出每一片试纸的子图像；
步骤5：对步骤4中提取到的每一片试纸的子图像，利用模板匹配算法依次和步骤1中保存的标准模板图像进行匹配；通过匹配可以确定每一个子图像中试纸的类别，从而确定待检测试纸袋或试纸盒中试纸的摆放顺序；
步骤6：对于摆放顺序和标准模板图像不同的试纸袋或试纸盒，利用分拣装置将其拣出；
所述步骤3中的倾斜校正算法，首先采用灰度化和二值化算法将图像分为前景区域和背景区域，利用开运算和闭运算等形态学滤波算法去除图像中的噪点；然后利用连通域算法寻找前景区域的轮廓，并寻找该轮廓对应的最小外接矩形；找到前景区域对应的最小外接矩形后，可以计算出该矩形的边相对于图像的旋转角度θ，将图像旋转θ角度后可以使得图像中的试纸处于水平或垂直方向；前景区域的图像被视为试纸袋或试纸盒的图像；
所述步骤4中的图像分割算法，对于每个前景区域图像利用开运算和闭运算等形态学滤波算法去除图像中的噪点；对于每个前景区域图像利用连通域算法找到该区域的中心；得到每个前景区域的中心点坐标后，寻找每个前景区域图像的外接矩形并利用先验知识对每个外接矩形进行修正，即可得到每一片试纸所在的区域，从而分割出每一片试纸的子图像；
所述步骤5中的模板匹配算法，首先提取每一片试纸子图像的颜色和角点特征；提取颜色特征时，需要将原始RGB图像转换到HSV颜色空间，分别提取色调H、饱和度S、明度V三个通道的特征；提取角点特征时，采用特征点检测算法提取每一张子图像的局部特征；提取所有试纸子图像的颜色和角点特征后，将其与标准模板图像的颜色和角点特征进行对比和匹配，从而确定出每张试纸子图像中的试纸类别以及试纸的排列顺序。
CN201911094500.5A 2019-11-11 2019-11-11 一种基于机器视觉的试纸分拣系统及分拣方法 Active CN110976338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911094500.5A CN110976338B (zh) 2019-11-11 2019-11-11 一种基于机器视觉的试纸分拣系统及分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911094500.5A CN110976338B (zh) 2019-11-11 2019-11-11 一种基于机器视觉的试纸分拣系统及分拣方法

Publications (2)

Publication Number Publication Date
CN110976338A CN110976338A (zh) 2020-04-10
CN110976338B true CN110976338B (zh) 2021-02-19

Family

ID=70083695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911094500.5A Active CN110976338B (zh) 2019-11-11 2019-11-11 一种基于机器视觉的试纸分拣系统及分拣方法

Country Status (1)

Country Link
CN (1) CN110976338B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111879781B (zh) * 2020-06-17 2022-02-11 西安交通大学 一种基于机器视觉的试纸质量检测系统
CN112362673A (zh) * 2020-11-17 2021-02-12 清华大学天津高端装备研究院洛阳先进制造产业研发基地 一种水饺视觉检测方法及系统
CN112775032B (zh) * 2020-12-25 2022-08-23 深圳市一诺维奇教育科技有限公司 一种水果分拣方法、装置及柔性机器人
CN113739080A (zh) * 2021-07-16 2021-12-03 国家石油天然气管网集团有限公司 一种应用巡检机器人的成品油泄漏识别系统及方法
CN113680695A (zh) * 2021-08-24 2021-11-23 武昌工学院 基于机器人的机器视觉垃圾分拣系统
CN117974667B (zh) * 2024-04-01 2024-06-11 深圳市东方鼎盛科技有限公司 一种全自动视觉分拣控制方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2629850Y (zh) * 2003-06-20 2004-08-04 汪苏 同色瓷砖自动色差分捡机
US20140250835A1 (en) * 2013-03-05 2014-09-11 Howmedica Osteonics Corp. Process for removing contaminants from polymeric powders
CN203508418U (zh) * 2013-09-24 2014-04-02 上海兰宝传感科技股份有限公司 烟草包装箱外观的检测装置
CN206132660U (zh) * 2016-10-21 2017-04-26 泉州装备制造研究所 小规格瓷砖视觉分拣装置
CN207641883U (zh) * 2017-11-13 2018-07-24 中国科学院合肥物质科学研究院 一种基于视觉的零部件流水线自动分拣装箱设备
CN209077200U (zh) * 2018-09-25 2019-07-09 长安大学 一种模具分拣装置

Also Published As

Publication number Publication date
CN110976338A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110976338B (zh) 一种基于机器视觉的试纸分拣系统及分拣方法
CN111896556B (zh) 一种基于机器视觉的玻璃瓶底缺陷检测方法及系统
CN108416765B (zh) 一种字符缺陷自动检测方法和系统
CN110807355A (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN109146841B (zh) 一种干电池浆层纸填充缺陷的视觉检测方法及系统
CN107102009A (zh) 一种基于机器视觉的筒纱管质量检测的方法
CN109584239B (zh) 一种基于反射光的高光物体表面缺陷检测系统及方法
CN112345534B (zh) 一种基于视觉的泡罩板中颗粒的缺陷检测方法及系统
CN113418933B (zh) 用于检测大尺寸物体的飞拍视觉成像检测系统及方法
CN111239142A (zh) 膏体外观缺陷检测设备及方法
CN114577805A (zh) 一种MiniLED背光面板缺陷检测方法及装置
CN107891012B (zh) 基于等效算法的珍珠大小及圆形度分拣装置
CN114565848B (zh) 一种复杂场景的药液液位检测方法及系统
CN109622404B (zh) 一种基于机器视觉的微工件自动分拣系统及方法
CN113888408A (zh) 一种多相机图像采集方法及装置
CN109668897A (zh) 环状精密零件表面微型缺陷的视觉检测系统及其检测方法
CN111855666A (zh) 一种轴承内圈侧周外观缺陷自动检测方法和系统
CN108898584B (zh) 一种基于图像分析的全自动贴面电容装焊极性判别方法
CN111275756A (zh) 线轴定位方法及装置
CN207397296U (zh) 一种基于背影成像的物体识别装置
CN112837285B (zh) 一种板面图像的边缘检测方法及装置
CN116237266A (zh) 一种法兰尺寸测量方法及其设备
CN116245793A (zh) 基于视觉的色环电阻阻值检测方法
CN114187269B (zh) 小零器件表面缺陷边缘快速检测方法
KR20190119801A (ko) 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant