CN111421539A - 一种基于计算机视觉的工业零件智能识别与分拣系统 - Google Patents
一种基于计算机视觉的工业零件智能识别与分拣系统 Download PDFInfo
- Publication number
- CN111421539A CN111421539A CN202010248057.9A CN202010248057A CN111421539A CN 111421539 A CN111421539 A CN 111421539A CN 202010248057 A CN202010248057 A CN 202010248057A CN 111421539 A CN111421539 A CN 111421539A
- Authority
- CN
- China
- Prior art keywords
- target
- mechanical arm
- image
- master control
- mechanical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 238000004519 manufacturing process Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000002452 interceptive effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 12
- 210000000078 claw Anatomy 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 description 1
- 229960004134 propofol Drugs 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于计算机视觉的工业零件智能识别和分拣系统，图像采集器采集二维彩色图像和深度信息图像输出至总控系统终端，总控系统终端提取生产环境中的目标的尺寸大小和位置信息作为分类特征输入至本地训练好的实例分割模型HTC进行目标的识别和定位从而得到目标的位置信息，完成机械臂的路径规划，根据目标的形状与大小确定机械夹的姿态；根据实时接收到的来自于机械臂主机和机械夹主机的交互信息来实时中断或更改机械臂和机械夹的任务。本发明简化工业机器人的使用，降低用户操作难度，同时提升机器人间协同分拣的工作效率。
Description
技术领域
本发明涉及一种机器人分拣技术，特别涉及基于计算机视觉实例分割的工业零件机器人分拣技术。
背景技术
在传统的机器人分拣环境中，机器人的运动控制一般采用示教或离线编程的方法。现有的零件加工生产环境中大都是针对机器人的初始和终止姿态及工件的摆放位置有严格要求的情形。在实际零件制造加工生产线中，存在一些零件结构不对称、质量分布不均匀以及输送带上零件随机摆放导致的重叠、阴影等问题，这些因素都会给零件检测识别和抓取带来干扰和误差，最终会导致机器人抓取工件失败。
基于上述工业背景，现存主流的技术方案主要分为两类。
第一类便是传统的流水线自动化生产，即机器人所有的运动轨迹、工序流程和位姿及工件的摆放位置都是固定的。此方案实现简单，可以轻易地完成一些重复工作，节省了人力。但是其分拣速度慢、效率低、动作固定且无法适应多变的工作环境。如对随机放置或重叠零件的分拣，一旦零件位置和形状发生轻微变化则会导致机器人抓取失败，从而影响生产效率。
第二类便是利用机器视觉和机器人结合，使工业机器人具有一定的感知能力，从而使工业机器人可以处理一些复杂任务，如随机零件识别和定位、零件缺陷检测、运动控制及几何尺寸测量等，从而使系统具备一定的智能。比如常用的有基于边缘匹配的识别方法，采用canny算子提取的边缘信息作为匹配特征，对特征图像进行相似度匹配，超过某一个阈值便认为是目标零件。将机器视觉技术应用于工业分拣系统，能够显著提高生产效率，增强机器人的环境适应能力，因此零件加工生产线上采用机器人及其视觉技术是工业柔性自动化发展的必然趋势。
发明内容
本发明所要解决的技术问题是，提供一种利用计算机视觉和深度学习技术，指导机器人进行相对多样化的工作的智能分拣系统。
本发明为解决上述技术问题所采用的技术方案是，一种基于计算机视觉的工业零件智能识别与分拣系统，包括总控系统终端、机械臂组件和图像采集器；
机械臂组件包括机械臂、机械臂主机、机械夹、机械夹主机；
图像采集器位于目标经过的正上方，周围配置有均匀光源，采集二维彩色图像和深度信息图像并输出至总控系统终端；所述目标为待分拣零件；
总控控制终端通过图像采集器采集到的二维彩色图像和深度信息图像提取生产环境中的目标的尺寸大小和位置信息作为分类特征输入至本地训练好的实例分割模型HTC进行目标的识别和定位从而得到目标的位置信息；所述目标的位置信息包括待目标的坐标、形状与大小信息；根据传送的图像采集器视野中目标的坐标与机械臂当前的坐标实现机械臂的路径规划，根据目标的形状与大小确定机械夹的姿态，并向机械臂主机发送机械臂的实时路径坐标与姿态控制信息至机械臂主机，根据接收到的姿态控制信息转动机械臂从而控制机械夹的姿态；当机械臂到位后向机械夹主机发送抓取控制信息；抓取控制信息包括抓取角度和机械夹开合大小；根据实时接收到的来自于机械臂主机和机械夹主机的交互信息来实时中断或更改机械臂和机械夹的任务；
机械臂主机用于根据接收到的实时路径坐标控制机械臂运动到相应位置，并实时与总控系统终端进行交互；
机械夹主机用于接收到抓取控制信息后指令控制机械夹合拢和松开，并实时与总控系统终端进行交互。
本发明在抓取过程中根据目标的形态动态调整机械夹子的角度和大小，以提高成功抓取的几率。
进一步的，总控控制终端还包括人机交互模块，目标检测边框bbox与目标的位置信息在人机交互模块的主控显示界面的图像中实时显示，人机交互模块实时接收外部控制信息的输入。主控界面可以实时监控整个系统的运行，避免绝大多数工厂中的零件生产流水线中的分拣系统是传统自动化控制系统或单纯基于机器视觉的系统无法介入人力监控的问题。
总控控制终端的主控显示界面上支持抓取目标的类别选择；当图像采集器的视野中有多个同类目标出现，则根据目标与当前距离机械臂距离大小进行抓取；若目标在抓取途中掉落，机械爪通过机械爪主机发送掉落信息至总控控制终端，总控控制终端将以离当前机械爪位置最近的该类物体作为新的目标进行抓取。不会像传统的系统那样按照原本的路径工作而未察觉物体已经掉落。
本发明的有益效果是：
1、首次使用改进HTC实例分割网络模型进行工业零件的分拣工作，网络识别的工业零件数量高达数十种，同时具有相当或超越人眼识别精度，同时识别速度也超过人工分类速度，使得分拣系统具有良好的分类效果。
2、可通过总控控制终端的主控显示界面直观地掌握系统工作状态，并在显示屏上直接监控生产线生产状况，例如检测精确度、已完成分拣的工业零件数量及速度等。同时可以在界面上进行系统参数的设置和调节，例如机械臂的运动速度、摄像头的帧率和分辨率等。
3、解决传统分拣方式以固定分拣路径以及固定流程进行分拣的不足，在保障高准确率条件下的高效率分拣，实现自动识别与分拣。减少人工参与，降低了生产的人工成本。
4、利用能够采集到二维彩色图像和深度信息图像的图像采集器结合计算机视觉的目标识别，计算出场景中目标的三维坐标，可以控制机械臂和其他目标保持安全距离，保证人机安全。
附图说明
图1是实施例基于计算机视觉的工业零件智能识别与分拣系统的总体架构图。
图2是实施例基于计算机视觉的工业零件智能识别与分拣系统的流程图。
图3是实施例的系统基本构造示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细说明。
实施例具体采用的硬件为：
总控系统终端为搭载GPU的高性能PC机；
机械臂为UR5总控系统终端机械臂；
机械夹主机为stm32单片机；
图像采集器为RealScene D435深度摄像头，并在周围配置有四个柔光LED光源，以消除待分拣物体的光影影响，提供稳定光照条件，以获得更为清晰的待分拣物品图像。
机械臂主机与机械夹主机采用TCP协议与总控系统终端进行通信，通信内容包括：控制指令、机械臂的实时路径坐标和机械夹的姿态。
搭建系统包括以下步骤：
S1、搭建一个包含UR5机械臂、机械臂主机控制箱、搭载有GPU的高性能PC机、RGB-D深度信息摄像头、柔光LED光源组、传送带、机械夹、stm32单片机的硬件系统。
S2、在总控系统终端中开发一个图像采集、实例分割以及三维坐标计算模块，主要是利用RGB-D深度信息摄像头采集RGB二维图像和DEPTH深度信息图像作为该系统的感知输入，用于提取生产环境中的目标的分类特征，尺寸大小和位置等信息。
如图1所示，系统的功能架构，包括人机交互模块，工业零件识别模块，机械臂控制模块，避障与安全模块。所述人机交互模块包括机器人系统的工作状态实时显示和各种参数设置功能。所述工业零件识别模块包括RGB-D深度信息图像采集，目标识别与实例分割模型训练和预测和实时目标的三维坐标计算。所述机械臂控制模块包括与上位机的通信，机械臂的手眼标定，机械臂运动轨迹和位姿计算和机械夹抓取控制。所述避障与安全模块包括目标检测识别结合RGB-D深度摄像头测距的避障和系统急停与重启功能。
如图2所示，为工业零件智能识别与分拣方法的流程图。总控控制终端主要是搭载高性能GPU的PC端。通过RealScene D435深度摄像头同时采集RGB二位彩色图像和DEPTH深度图，传入已经训练好的HTC(Hybrid Task Cascade)实例分割模型进行目标的识别和定位。然后总控系统计算出待分拣零件的位置信息，形状大小信息等，通过TCP并且采用自定义协议的格式传输给机械臂进行交互，用于控制机械臂的运动路径以及转动机械臂控制机械夹的角度等姿态，到达预定位置后在通过嵌入式子系统下达指令控制机械夹合拢。
总控控制终端来协调其他所有系统组件的正常工作，起到了桥梁的作用。总控控制终端通过深度摄像头采集到的二维彩色图像和深度信息图像提取生产环境中的目标的尺寸大小和位置信息作为分类特征输入至本地训练好的实例分割模型HTC进行目标的识别和定位从而得到目标的位置信息；目标的位置信息包括待目标的坐标、形状与大小信息；利用手眼标定算法，根据传送的摄像头视野中目标的坐标与机械臂当前的坐标相重叠，直接根据目标坐标控制机械臂运动到相应位置，编程实现机械臂的路径规划，根据目标的形状与大小确定机械夹的姿态，并利用TCP协议向机械臂主机发送机械臂的实时路径坐标与姿态控制信息至机械臂主机；当机械臂运动到目标坐标时便可以触发机械爪的抓取动作流程，总控控制终端向stm32开发板发送抓取控制信息控制机械夹的合拢和松开操作；抓取控制信息包括抓取角度和机械夹开合大小；根据实时接收到的来自于机械臂主机和的交互信息来实时中断或更改机械臂和机械夹的任务；
机械臂主机用于根据接收到的实时路径坐标控制机械臂运动到相应位置，根据接收到的姿态控制信息转动机械臂从而控制机械夹的姿态，并实时与总控系统终端进行交互；
机械夹主机用于接收到抓取控制信息后指令控制机械夹合拢和松开，并实时与总控系统终端进行交互。
进一步的，总控控制终端还包括人机交互模块，目标检测边框bbox与目标的位置信息在人机交互模块的主控显示界面的图像中实时显示，人机交互模块实时接收外部控制信息的输入。主控显示界面实时显示工作环境以及机械臂和机械夹在环境中的位置和工作状态。还可以通过远程终端实时监控。远程终端可以是PC，移动设备，VR设备等。
具体的，总控控制终端中实例分割模型通过目标的识别分类和实例分割完成目标定位：
实例分割模型对先对目标进行识别检测得到像素级分割的目标检测边框bbox，再根据bbox矩阵获得目标在场景中的二维坐标(x,y)，实例分割模型中实例分割的结果是bbox对应的掩膜mask矩阵信息；将采集到的二维彩色图像和深度信息图像进行对齐，再根据mask矩阵在深度信息图像上截取对应位置的像素矩阵，由此根据深度图的像素值计算出目标z方向的坐标，从而完成目标的三维定位。
为了保证定位的精度，系统开始运行前，根据实际的任务，采集图片并标注制作数据集，然后对实例分割模型进行充足的训练。实例分割是为了对目标进行像素级分割，从而能在DEPTH图上精确的分割目标，从而极大的提高测距精度。
为了提升测距精度以及系统抓取鲁棒性，在根据mask统计深度图像像素点的时候，考虑到系统中摄像头距离传送带80cm，零件最大高度为10。具体方法如下：
(1)考虑到realsense的精度在毫米级，故h>79.8cm或h<69.8属于异常值，直接剔除。
(2)采用统计学的方法，按1cm一个区间分割，统计所有数据落在每个有效区间的个数分布。
(3)由远及近取距离摄像头个数占比超过十分之一的那个区间作为结果，然后统计该区间的像素值取其平均值计算得最终的抓取距离(目标z方向的坐标)。
对于系统运行过程中的安全问题，总控控制终端内设置有人体检测单元，在系统运行过程中如果检测识别到人或者手等部位和机械臂的位置小于安全距离，将会强行停止机械臂的运动。除此之外，总控系统界面上面，设置有一个为最高优先级的急停按钮，如果有意外可以直接停止系统的执行，提高系统安全性。
当人体检测单元在采集二维彩色图像和深度信息图像中识别到人体或者人手与机械臂的位置小于安全距离，将向机械臂主机发送强行停止机械臂的运动的控制命令。
总控控制终端的主控显示界面上还设置有一个为最高优先级的急停按钮，用于向机械臂主机发送强行停止的控制命令。
总控控制终端的主控显示界面上支持抓取目标的类别选择；当图像采集器的视野中有多个同类目标出现，则根据目标与当前距离机械臂距离大小进行抓取；若目标在抓取途中掉落，机械爪通过机械爪主机发送掉落信息至总控控制终端，总控控制终端将以离当前机械爪位置最近的该类物体作为新的目标进行抓取。
如图3所示，为系统示意图，包含总控系统终端、机械臂组件、图像采集器、传送组件。
机械臂组件包括机械臂、机械臂主机、机械夹、机械夹主机；
传送组件包括传送带与伺服电机；
图像采集器位于传送带的正上方，周围配置有均匀光源，采集二维彩色图像和深度信息图像并输出至总控系统终端；本文所述目标为待分拣零件；
系统智能识别工业零件的种类并定位其三维坐标，并使用机械臂进行抓取和分拣，具体步骤如下：
S1、系统开始启动时：传送带以速度v运转，UR机械臂开启并复位，高性能PC开启并且启动总控终端系统，测试摄像头，柔光LED灯，机械臂通信等功能是否完好。
S2、系统开启后，多种目标物体被混合放上传送带，总控系统开启RGB-D深度信息摄像头以20FPS的帧率采集图像，并且该图像从摄像头传送至系统的深度学习模块，此过程时延为t1。然后通过训练好的实例分割模型HTC网络对目标图像进行预测分类和分割。根据S4所述，可以获得目标的三维坐标和大小，分类，形状等信息，此过程的时延为t2。然后实时与机械臂进行通信，机械臂运动过程中实时根据目标在传送带上的最新位置进行目标追踪，并且根据传送带的运动速度v和机械爪抓取动作的时延t3。使机械臂最终的位置提前目标的一段对应值为v*(t1+t2+t3)的距离，从而保证抓取动作的完成。
S3、实时生成机械臂的运动轨迹，其中抓取的目标零件的类别可以在主控界面的已支持类别选项进行选择。如果视野中有多个同类目标，会根据检测分类结果当前距离机械臂距离大小进行抓取。若抓取途中出现物品掉落，立即终止机械臂当前的投放流程。并立即进行补偿操作，即对离当前位置最近的该类物体进行抓取。
S4、首次使用HTC实例分割网络模型进行工业零件的识别工作。该模型本质是一个stage数量为3的级联模型，其骨干网络采用Resnet101残差网络提取特征图。再通过金字塔特征网络(FPN)把原始图像的特征采样成5级特征图。然后区域建议网络(RPN)在特征图上对目标区域(锚框)进行特征提取。后面部分开始3级级联：(1)第i阶段的bbox分支由当前stage的池化层经过FCN层的softmax分类结果和第i-1阶段的bbox分类结果共同决定；(2)第i阶段的mask分支结果由第i+1阶段池化层经过mask FCN分支的分割结果和第i-1个stage的mask分割结果进行信息融合后决定；除此之外，所述模型还引入语义分割的信息，目的是为了获得更好的spatial context(位置信息)。因为语义分割需要对全图进行精细的像素级的分类，所以它的特征具有很强的空间位置信息，同时对前景和背景有很强的辨别能力。通过将这个分支的语义信息再融合到box和mask分支中，使得这两个分支的性能得到较大提升。
官方HTC模型采用标准的RPN网络，在空间域上以预设的尺度和宽高比做均匀采样。然后在特征图上做滑窗，生成几千个Anchor box；由于一张图片中目标数量很少，此方式会导致输入包含大量低质量负样本，导致正负样本严重失衡。
本系统中使用的模型的结构相比于官方模型有所改变，由于工业零件的奇怪形状，极端长宽比等特殊性。所以，本系统在官方模型上进行了以下两项改进：
(1)把RPN网络替换为GA-RPN(Guided Anchoring-RPN)网络，基于语义特征指导anchor生成，联合预测各个位置可能的目标中心点以及相应的尺度和宽高比，采用有界IoU损失函数来最大化IoU，以此学习到最优的anchor box。
(2)由于(1)产生的正样本数目更多，而且高IoU的proposal占的比例更大。后面级联的三个阶段的RCNN子网络中的pos_iou_thr，neg_iou_thr，min_pos_iou这三个阈值参数需要调整，iou参数是anchor和真实目标框(ground truth)相交的面积的阈值。原模型中一、二、三阶段(每个阶段三个参数值一样)分别是0.5，0.6，0.7，本系统把三个阶段修改为0.6，0.7，0.75，通过实验可以发现模型的整体loss出现了一定程度的下降。
整个软件系统的运行环境使用ubuntu16.04操作系统，开发语言版本为python3.6.1和C++，使用的第三方依赖框架为pytorch1.1.0、keras 2.1.0、python-opencv、tensorflow-gpu1.13.0、thinkter等；所述工业零件识别和定位子系统运行的模型为github上面open-mmlab/mmdetection项目里面的HTC(Hybrid Task Cascade)模型的代码实现版本。所述图像采集子系统硬件部分包括RealSceneD435和柔光LED光源组。所述机械臂控制模块包括UR5机械臂及其控制箱。所述嵌入式控制子系统包括传送带、直流电机、机械夹以及STM32单片机。
RealScene D435深度相机位可以在主控界面设置采集图像的帧率以及分辨率等常规参数。深度相机采集图像的同时上传至所述工业零件识别和定位子系统进行计算。该子系统还负责把RGB彩色图和DEPTH深度图进行对齐以便于后续的定位。
工业零件识别和定位子系统运行于搭载GPU的高性能PC上，所述工业零件识别模型是github上面open-mmlab/mmdetection项目里面自己改进过的HTC(Hybrid TaskCascade)实例分割模型的代码实现版本。所述改进之处：(1)在于修改模型FCN层的的output种类为自定义种类；(2)按照COCO2017数据集的格式预先采集图片并通过via脚本软件进行标注，从而得到符合模型需求的自定义数据集。训练的epoch数量由官方的12轮改为36轮，训练完成后直接使用保存的模型文件进行推断。所述模型包含目标检测识别和实例分割两个分支。其中实例分割分支根据目标检测的结果计算得到目标的mask蒙板掩码。然后根据mask矩阵在对齐后的DEPTH图上对应的位置的深度信息计算出目标距离摄像头的距离。从而得到目标在三维空间中的坐标。
机械臂控制子系统的UR5机械臂分布传送带两侧，并通过TCP和主控系统实时通信。主控系统会根据工业零件识别和定位子系统的结果计算出待分拣零件的位置、形状大小等信息，用以控制机械臂的运动路径和机械夹的角度等姿态调整。
机械臂的手眼标定功能可以理解为相机标定+机械臂标定。机械臂标定就是把机械臂坐标系转换为世界坐标系，相机标定已经把图像坐标系转换到了摄像头坐标系，再转换到了世界坐标系，因此机械臂坐标系到图像坐标系之间的转换关系我们也可以确定了。在实际的标定过程中，我们可以忽略到世界坐标系转换这个步骤，直接将摄像头坐标系转换到机械臂坐标系。机械臂的手眼标定模式主要有eye-in-hand(相机固定在机械手上)和eye-to-hand(相机固定在机械手外)两种。本系统的机械臂手眼标定模式主要是eye-to-hand模式。
嵌入式控制系统中的传动直流电机位于传送带两侧，提供传送带运行所需动力；所述电动机械夹安装于UR5机械臂的工具中心点(末端)，由一块STM32单片机发送信号控制其合拢和松开；所述嵌入式控制子系统与STM32单片机、RealSense D435深度相机、高性能PC直接相连；即主控系统在目标识别与定位模块确定物体的坐标之后，控制UR5机械臂运动到目的位置，然后通过嵌入式子控制系统向机械夹发送夹住或者松开的命令。所述高性能PC负责运行深度网络模型，根据输入图像进行目标识别和定位工作。
在系统正式使用时，测量图像采集并传输的平均延迟为t1,测量目标识别子系统计算和定位的时间为t2；测量UR5机械臂从收到命令到启动、并以恒定速度运行到目的地完成抓取的时间为t3，并在总控系统中记录下t1,t2,t3。由此合理调整传送带运行速度，从而在一定程度上提高整个系统的稳定性。
Claims (10)
1.一种基于计算机视觉的工业零件智能识别与分拣系统，包括总控系统终端、机械臂组件和图像采集器，其特征在于，
机械臂组件包括机械臂、机械臂主机、机械夹、机械夹主机；
图像采集器位于目标经过的正上方，周围配置有均匀光源，采集二维彩色图像和深度信息图像并输出至总控系统终端；所述目标为待分拣零件；
总控控制终端通过图像采集器采集到的二维彩色图像和深度信息图像提取生产环境中的目标的尺寸大小和位置信息作为分类特征输入至本地训练好的实例分割模型HTC进行目标的识别和定位从而得到目标的位置信息；所述目标的位置信息包括待目标的坐标、形状与大小信息；根据传送的图像采集器视野中目标的坐标与机械臂当前的坐标实现机械臂的路径规划，根据目标的形状与大小确定机械夹的姿态，向机械臂主机发送机械臂的实时路径坐标与姿态控制信息；当机械臂到位后向机械夹主机发送抓取控制信息；抓取控制信息包括抓取角度和机械夹开合大小；根据实时接收到的来自于机械臂主机和机械夹主机的交互信息来实时中断或更改机械臂和机械夹的任务；
机械臂主机用于根据接收到的实时路径坐标控制机械臂运动到相应位置，根据接收到的姿态控制信息转动机械臂从而控制机械夹的姿态，并实时与总控系统终端进行交互；
机械夹主机用于接收到抓取控制信息后指令控制机械夹合拢和松开，并实时与总控系统终端进行交互。
2.如权利要求1所述系统，其特征在于，总控控制终端中实例分割模型通过目标的识别分类和实例分割完成目标定位：
实例分割模型对先对目标进行识别检测得到像素级分割的目标检测边框bbox，再根据bbox矩阵获得目标在场景中的二维坐标(x,y)，实例分割模型中实例分割的结果是bbox对应的掩膜mask矩阵信息；将采集到的二维彩色图像和深度信息图像进行对齐，再根据mask矩阵在深度信息图像上截取对应位置的像素矩阵，由此根据深度图的像素值计算出目标z方向的坐标，从而完成目标的三维定位。
3.如权利要求1所述系统，其特征在于，总控控制终端中实例分割模型根据mask矩阵在深度信息图像上截取对应位置的像素矩阵时，根据图像采集器距离目标经过水平面的距离以及零件最大高度来确定mask矩阵的高度异常值范围，将出高度异常值范围内的mask矩阵剔除；之后按1cm一个区间对mask矩阵进行分割，统计每个有效区间的目标个数分布，
最后由远及近取距离图像采集器个数占比超过十分之一的那个区间作为结果，然后统计该区间的像素值取其平均值计算得最终的目标z方向的坐标。
4.如权利要求1所述系统，特征在于，总控控制终端还包括人机交互模块，目标检测边框bbox与目标的位置信息在人机交互模块的主控显示界面的图像中实时显示，人机交互模块实时接收外部控制信息的输入。
5.如权利要求1所述系统，特征在于，总控控制终端内设置有人体检测单元，当人体检测单元在采集二维彩色图像和深度信息图像中识别到人体或者人手与机械臂的位置小于安全距离，将向机械臂主机发送强行停止机械臂的运动的控制命令。
6.如权利要求1所述系统，特征在于，总控控制终端的主控显示界面上还设置有一个为最高优先级的急停按钮，用于向机械臂主机发送强行停止的控制命令。
7.如权利要求1所述系统，特征在于，总控控制终端向机械臂主机发送机械臂的实时路径坐标为提前v*(t1+t2+t3)的距离，其中，v为目标移动速度，t1为图像采集器将二维彩色图像和深度信息图像传送至总控控制终端，人体检测单元与实例分割模型完成检测的时间，t2为目标的位置信息的计算时间，t3为机械爪抓取动作的时延。
8.如权利要求1所述系统，特征在于，总控控制终端的主控显示界面上支持抓取目标的类别选择；当图像采集器的视野中有多个同类目标出现，则根据目标与当前距离机械臂距离大小进行抓取；若目标在抓取途中掉落，机械爪通过机械爪主机发送掉落信息至总控控制终端，总控控制终端将以离当前机械爪位置最近的该类物体作为新的目标进行抓取。
9.如权利要求1所述系统，特征在于，总控控制终端中的实例分割模型的骨干网络采用Resnet101残差网络提取特征图，再通过金字塔特征网络FPN把原始图像的特征采样成5级特征图，之后区域建议网络RPN在特征图上对目标区域进行特征提取，最后通过3级级联得到目标分割结果；
3级级联的结构为：第i阶段的bbox分支的分类结果由当前i阶段的池化层经过全卷积网络FCN层的softmax分类结果和第i-1阶段的bbox分类结果共同决定；第i阶段的mask分支结果由第i+1阶段池化层经过mask FCN分支的分割结果和第i-1个阶段的mask分割结果进行信息融合后决定。
10.如权利要求1所述系统，特征在于，在图像采集器周围配置有均匀光源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010248057.9A CN111421539A (zh) | 2020-04-01 | 2020-04-01 | 一种基于计算机视觉的工业零件智能识别与分拣系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010248057.9A CN111421539A (zh) | 2020-04-01 | 2020-04-01 | 一种基于计算机视觉的工业零件智能识别与分拣系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111421539A true CN111421539A (zh) | 2020-07-17 |
Family
ID=71557346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010248057.9A Pending CN111421539A (zh) | 2020-04-01 | 2020-04-01 | 一种基于计算机视觉的工业零件智能识别与分拣系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111421539A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111993418A (zh) * | 2020-08-06 | 2020-11-27 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 |
| CN112017065A (zh) * | 2020-08-27 | 2020-12-01 | 中国平安财产保险股份有限公司 | 车辆定损理赔方法、装置及计算机可读存储介质 |
| CN112170233A (zh) * | 2020-09-01 | 2021-01-05 | 燕山大学 | 基于深度学习的小型零件分拣方法及其分拣系统 |
| CN112525109A (zh) * | 2020-12-18 | 2021-03-19 | 成都立鑫新技术科技有限公司 | 一种基于gpu测量物体运动姿态角的方法 |
| CN112659133A (zh) * | 2020-12-31 | 2021-04-16 | 软控股份有限公司 | 一种基于机器视觉的抓胶方法、装置及设备 |
| CN112699894A (zh) * | 2021-01-13 | 2021-04-23 | 上海微亿智造科技有限公司 | 用于工业质检实例分割精度和速度提升方法、系统及介质 |
| CN112850114A (zh) * | 2020-12-22 | 2021-05-28 | 辽宁科技大学 | 一种用于纸钞处理流水线的自动分拣装箱设备 |
| CN112847392A (zh) * | 2020-12-30 | 2021-05-28 | 深兰人工智能芯片研究院（江苏）有限公司 | 机械手控制方法、装置、设备及计算机可读存储介质 |
| CN112894825A (zh) * | 2021-02-23 | 2021-06-04 | 中科(深圳)智慧信息科技有限公司 | 一种工业机器人视觉识别控制系统及方法 |
| CN112914727A (zh) * | 2021-03-19 | 2021-06-08 | 联仁健康医疗大数据科技股份有限公司 | 非目标障碍物分离方法、系统、医疗机器人及存储介质 |
| CN113030104A (zh) * | 2021-03-05 | 2021-06-25 | 厦门大学 | 基于图像处理的液晶屏幕标记的产品质检装置及质检方法 |
| CN113145473A (zh) * | 2021-02-20 | 2021-07-23 | 广州大学华软软件学院 | 一种水果智能分拣系统及方法 |
| CN113245235A (zh) * | 2021-04-16 | 2021-08-13 | 嘉联支付有限公司 | 一种基于3d视觉的商品分类方法及装置 |
| CN113269736A (zh) * | 2021-05-17 | 2021-08-17 | 唐旸 | 紧固件尺寸的自动化检验方法、系统及介质 |
| CN113601501A (zh) * | 2021-07-19 | 2021-11-05 | 中国科学院自动化研究所 | 机器人柔性作业方法、装置及机器人 |
| CN113771014A (zh) * | 2021-10-09 | 2021-12-10 | 北京中海兴达建设有限公司 | 一种用于建筑施工的scara智能化机械臂控制方法和系统 |
| CN113910237A (zh) * | 2021-11-05 | 2022-01-11 | 江苏昱博自动化设备有限公司 | 多夹具的机械臂无序夹取方法及系统 |
| CN113927601A (zh) * | 2021-11-11 | 2022-01-14 | 盐城工学院 | 一种基于视觉识别实现机械臂精准挑拣的方法及系统 |
| CN114029243A (zh) * | 2021-11-11 | 2022-02-11 | 江苏昱博自动化设备有限公司 | 一种用于分拣机器手的软物抓取识别方法 |
| CN114273240A (zh) * | 2020-09-27 | 2022-04-05 | 深圳顺丰泰森控股(集团)有限公司 | 快递单件分离方法、装置、系统和存储介质 |
| CN114904798A (zh) * | 2022-05-16 | 2022-08-16 | 上海方酋机器人有限公司 | 一种基于图像识别的煤矸石自动分拣方法、系统及介质 |
| CN115100167A (zh) * | 2022-07-07 | 2022-09-23 | 北京理工大学 | 基于特征分段神经网络的防护材料瑕疵检测方法及系统 |
| WO2023016340A1 (en) * | 2021-08-09 | 2023-02-16 | Zhejiang Huaray Technology Co., Ltd. | Methods, systems, and computer-readable storage mediums for positioning target object |
| CN116399871A (zh) * | 2023-04-19 | 2023-07-07 | 广州市阳普机电工程有限公司 | 一种基于机器视觉的汽车零部件装配检测系统及方法 |
| CN117772648A (zh) * | 2024-02-27 | 2024-03-29 | 北京航空航天大学 | 基于具身智能的零件分拣处理方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591972A (zh) * | 2011-12-31 | 2012-07-18 | 北京百度网讯科技有限公司 | 提供商品搜索结果的方法及设备 |
| CN105913093A (zh) * | 2016-05-03 | 2016-08-31 | 电子科技大学 | 一种用于文字识别处理的模板匹配方法 |
| CN108908330A (zh) * | 2018-06-28 | 2018-11-30 | 中国人民解放军国防科技大学 | 一种基于虚拟现实的机器人行为控制方法 |
| US20190084151A1 (en) * | 2017-09-15 | 2019-03-21 | X Development Llc | Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation |
| CN109927033A (zh) * | 2019-04-01 | 2019-06-25 | 杭州电子科技大学 | 一种应用于传送带分拣的目标物体动态适配方法 |
-
2020
- 2020-04-01 CN CN202010248057.9A patent/CN111421539A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591972A (zh) * | 2011-12-31 | 2012-07-18 | 北京百度网讯科技有限公司 | 提供商品搜索结果的方法及设备 |
| CN105913093A (zh) * | 2016-05-03 | 2016-08-31 | 电子科技大学 | 一种用于文字识别处理的模板匹配方法 |
| US20190084151A1 (en) * | 2017-09-15 | 2019-03-21 | X Development Llc | Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation |
| CN108908330A (zh) * | 2018-06-28 | 2018-11-30 | 中国人民解放军国防科技大学 | 一种基于虚拟现实的机器人行为控制方法 |
| CN109927033A (zh) * | 2019-04-01 | 2019-06-25 | 杭州电子科技大学 | 一种应用于传送带分拣的目标物体动态适配方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAQI WANG: "Region Proposal by Guided Anchoring", 《REGION PROPOSAL BY GUIDED ANCHORING》 * |
| KAI CHEN: "Hybrid Task Cascade for Instance Segmentation", 《HYBRID TASK CASCADE FOR INSTANCE SEGMENTATION》 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111993418A (zh) * | 2020-08-06 | 2020-11-27 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 |
| CN111993418B (zh) * | 2020-08-06 | 2021-09-14 | 西安科技大学 | 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 |
| CN112017065A (zh) * | 2020-08-27 | 2020-12-01 | 中国平安财产保险股份有限公司 | 车辆定损理赔方法、装置及计算机可读存储介质 |
| CN112017065B (zh) * | 2020-08-27 | 2024-05-24 | 中国平安财产保险股份有限公司 | 车辆定损理赔方法、装置及计算机可读存储介质 |
| CN112170233A (zh) * | 2020-09-01 | 2021-01-05 | 燕山大学 | 基于深度学习的小型零件分拣方法及其分拣系统 |
| CN114273240A (zh) * | 2020-09-27 | 2022-04-05 | 深圳顺丰泰森控股(集团)有限公司 | 快递单件分离方法、装置、系统和存储介质 |
| CN112525109A (zh) * | 2020-12-18 | 2021-03-19 | 成都立鑫新技术科技有限公司 | 一种基于gpu测量物体运动姿态角的方法 |
| CN112850114A (zh) * | 2020-12-22 | 2021-05-28 | 辽宁科技大学 | 一种用于纸钞处理流水线的自动分拣装箱设备 |
| CN112847392B (zh) * | 2020-12-30 | 2022-05-20 | 深兰智能科技(上海)有限公司 | 机械手控制方法、装置、设备及计算机可读存储介质 |
| CN112847392A (zh) * | 2020-12-30 | 2021-05-28 | 深兰人工智能芯片研究院（江苏）有限公司 | 机械手控制方法、装置、设备及计算机可读存储介质 |
| CN112659133A (zh) * | 2020-12-31 | 2021-04-16 | 软控股份有限公司 | 一种基于机器视觉的抓胶方法、装置及设备 |
| CN112699894A (zh) * | 2021-01-13 | 2021-04-23 | 上海微亿智造科技有限公司 | 用于工业质检实例分割精度和速度提升方法、系统及介质 |
| CN113145473A (zh) * | 2021-02-20 | 2021-07-23 | 广州大学华软软件学院 | 一种水果智能分拣系统及方法 |
| CN112894825A (zh) * | 2021-02-23 | 2021-06-04 | 中科(深圳)智慧信息科技有限公司 | 一种工业机器人视觉识别控制系统及方法 |
| CN113030104A (zh) * | 2021-03-05 | 2021-06-25 | 厦门大学 | 基于图像处理的液晶屏幕标记的产品质检装置及质检方法 |
| CN112914727A (zh) * | 2021-03-19 | 2021-06-08 | 联仁健康医疗大数据科技股份有限公司 | 非目标障碍物分离方法、系统、医疗机器人及存储介质 |
| CN113245235A (zh) * | 2021-04-16 | 2021-08-13 | 嘉联支付有限公司 | 一种基于3d视觉的商品分类方法及装置 |
| CN113269736A (zh) * | 2021-05-17 | 2021-08-17 | 唐旸 | 紧固件尺寸的自动化检验方法、系统及介质 |
| CN113601501A (zh) * | 2021-07-19 | 2021-11-05 | 中国科学院自动化研究所 | 机器人柔性作业方法、装置及机器人 |
| CN113601501B (zh) * | 2021-07-19 | 2022-10-28 | 中国科学院自动化研究所 | 机器人柔性作业方法、装置及机器人 |
| WO2023016340A1 (en) * | 2021-08-09 | 2023-02-16 | Zhejiang Huaray Technology Co., Ltd. | Methods, systems, and computer-readable storage mediums for positioning target object |
| CN113771014A (zh) * | 2021-10-09 | 2021-12-10 | 北京中海兴达建设有限公司 | 一种用于建筑施工的scara智能化机械臂控制方法和系统 |
| CN113771014B (zh) * | 2021-10-09 | 2022-03-18 | 北京中海兴达建设有限公司 | 一种用于建筑施工的scara智能化机械臂控制方法和系统 |
| CN113910237B (zh) * | 2021-11-05 | 2023-02-28 | 江苏昱博自动化设备有限公司 | 多夹具的机械臂无序夹取方法及系统 |
| CN113910237A (zh) * | 2021-11-05 | 2022-01-11 | 江苏昱博自动化设备有限公司 | 多夹具的机械臂无序夹取方法及系统 |
| CN114029243A (zh) * | 2021-11-11 | 2022-02-11 | 江苏昱博自动化设备有限公司 | 一种用于分拣机器手的软物抓取识别方法 |
| CN113927601A (zh) * | 2021-11-11 | 2022-01-14 | 盐城工学院 | 一种基于视觉识别实现机械臂精准挑拣的方法及系统 |
| CN114904798A (zh) * | 2022-05-16 | 2022-08-16 | 上海方酋机器人有限公司 | 一种基于图像识别的煤矸石自动分拣方法、系统及介质 |
| CN114904798B (zh) * | 2022-05-16 | 2024-05-28 | 上海方酋机器人有限公司 | 一种基于图像识别的煤矸石自动分拣方法、系统及介质 |
| CN115100167A (zh) * | 2022-07-07 | 2022-09-23 | 北京理工大学 | 基于特征分段神经网络的防护材料瑕疵检测方法及系统 |
| CN116399871A (zh) * | 2023-04-19 | 2023-07-07 | 广州市阳普机电工程有限公司 | 一种基于机器视觉的汽车零部件装配检测系统及方法 |
| CN116399871B (zh) * | 2023-04-19 | 2023-11-14 | 广州市阳普机电工程有限公司 | 一种基于机器视觉的汽车零部件装配检测系统及方法 |
| CN117772648A (zh) * | 2024-02-27 | 2024-03-29 | 北京航空航天大学 | 基于具身智能的零件分拣处理方法、装置、设备及介质 |
| CN117772648B (zh) * | 2024-02-27 | 2024-05-07 | 北京航空航天大学 | 基于具身智能的零件分拣处理方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111421539A (zh) | 一种基于计算机视觉的工业零件智能识别与分拣系统 | |
| CN111496770B (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| CN108656107B (zh) | 一种基于图像处理的机械臂抓取系统及方法 | |
| CN111462154B (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| CN111347411B (zh) | 基于深度学习的双臂协作机器人三维视觉识别抓取方法 | |
| CN111958592A (zh) | 一种变电站巡检机器人图像语义分析系统及方法 | |
| CN102514002A (zh) | 一种数控车床单目视觉上下料机器人系统及方法 | |
| CN111923053A (zh) | 基于深度视觉的工业机器人物件抓取示教系统及方法 | |
| CN114912287A (zh) | 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN116673962B (zh) | 一种基于Faster R-CNN和GRCNN的机械臂智能抓取方法及系统 | |
| CN116494201A (zh) | 一种监控一体化的电力机房巡检机器人及无人巡检方法 | |
| CN115890639A (zh) | 一种机器人视觉引导定位抓取控制系统 | |
| Pan et al. | Manipulator package sorting and placing system based on computer vision | |
| CN109079777B (zh) | 一种机械臂手眼协调作业系统 | |
| CN111860416B (zh) | 一种无人机图像监控控制装置及其控制方法 | |
| CN107177912A (zh) | 一种带视觉的自动落纱机控制系统 | |
| CN116985134A (zh) | 一种基于机器人图像处理的伺服控制方法与系统 | |
| CN112000099A (zh) | 动态环境下协作机器人柔性路径规划方法 | |
| CN206416179U (zh) | 一种基于双目视觉的运动目标跟踪定位与抓取系统 | |
| Lin et al. | Inference of 6-DOF robot grasps using point cloud data | |
| CN112847374B (zh) | 一种抛物-接物机械人系统 | |
| CN115464651A (zh) | 一种六组机器人物体抓取系统 | |
| Walck et al. | Automatic observation for 3d reconstruction of unknown objects using visual servoing | |
| CN115589845A (zh) | 一种智能采棉机器人及其采棉作业路径规划方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |
|
| RJ01 | Rejection of invention patent application after publication |