CN114913346A - 一种基于产品颜色及形状识别的智能分拣系统及方法 - Google Patents

一种基于产品颜色及形状识别的智能分拣系统及方法 Download PDF

Info

Publication number
CN114913346A
CN114913346A CN202210229454.0A CN202210229454A CN114913346A CN 114913346 A CN114913346 A CN 114913346A CN 202210229454 A CN202210229454 A CN 202210229454A CN 114913346 A CN114913346 A CN 114913346A
Authority
CN
China
Prior art keywords
workpiece
image
color
similarity
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210229454.0A
Other languages
English (en)
Other versions
CN114913346B (zh
Inventor
刘业峰
孙维堂
赵元
陶林
张丽丽
穆德敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Technology
Original Assignee
Shenyang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Technology filed Critical Shenyang Institute of Technology
Priority to CN202210229454.0A priority Critical patent/CN114913346B/zh
Publication of CN114913346A publication Critical patent/CN114913346A/zh
Application granted granted Critical
Publication of CN114913346B publication Critical patent/CN114913346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于产品颜色及形状识别的智能分拣系统及方法，在现场传送带上方布置CCD相机，通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数。本发明构建了基于机器视觉的智能分拣系统，实现了工件的自动分拣，自动进行工件的外部尺寸检测，并与标准工件模板比较，从而区分不同类别的工件。

Description

一种基于产品颜色及形状识别的智能分拣系统及方法
技术领域
本发明属于智能制造技术领域，特别适用于工业产品分拣过程中；具体地是涉及一种基于产品颜色及形状识别的智能分拣系统及方法。
背景技术
对目标产品进行准确抓取并按照类别放置在预定位置被定义为工业分拣过程。在食品、物流和电子等轻工行业，生产过程往往需要完成对大批量工业产品的分拣操作，传统依靠大量人工的分拣方式已经难以满足生产需求。随着自动化相关技术的普及与发展，越来越多的工业生产过程已经开始装备自动化设备来实施分拣作业任务。分拣过程包括静态分拣和动态分拣两种方式。静态分拣过程要求目标处于静止状态，目标产品的位置姿态和机器人末端的运动路径都需要预先通过示教或离线编程的方式严格设定，虽然可以保证分拣精度，但工业机器人对环境的适应能力较弱，灵活性较差，无法满足生产系统高速分拣和柔性化的生产需求。动态分拣过程更适用于对流水线上运动的轻小物品进行高速抓取放置(pick-and-place)的操作，如再结合工业视觉系统，则机器人就能够快速地对流水线上随机呈现的移动目标产品完成分拣过程，这样会显著提升机器人的智能化程度，使机器人能够快速地应对生产环境的改变。因此，研究出一种基于机器视觉的机器人分拣系统及方法对提升工业生产效率具有十分重要的意义。
发明内容
本发明就是针对上述问题，弥补现有技术的不足，提供一种基于产品颜色及形状识别的智能分拣系统及方法；本发明构建了基于机器视觉的机器人智能分拣系统，实现了工件即目标产品的自动分拣，自动进行工件的外部尺寸检测，并与标准工件模板比较，从而区分不同类别的工件。本发明系统可以大大提高工件分拣的效率，从而降低产品的检测成本，满足企业对产品品质管理的需求。
为实现上述目的，本发明采用如下技术方案。
本发明提供的一种基于产品颜色及形状识别的智能分拣系统，包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；
视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带上方布置CCD相机，CCD相机与现场的机器人配合使用，以实现控制机器人分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；
视觉信号处理层，该层包括车间总控服务器、上位机、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反馈，以满足车间各单元设备对视觉信号的需求；
视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；
视觉应用层，该层包括机器人控制器，利用视觉信号处理层处理及分析的结果，对现场的机器人实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。
作为本发明的一种优选方案，所述视觉信号采集层包括镜头、CCD相机、光源以及图像采集卡，光源设置于传送带上的工件上方，CCD相机位于光源的上方，镜头配合安装于CCD相机上，机器人位于传送带一侧，CCD相机与图像采集卡相连；所述视觉任务控制层还包括检测任务、工件运输任务。
作为本发明的另一种优选方案，所述图像采集卡与视觉信号处理层的上位机相连，上位机通过云平台与机器人控制器通信连接，机器人控制器与机器人相连。
本发明所述的基于产品颜色及形状识别的智能分拣系统，能够满足不同协议的设备的网络通信连接，实现对工件质量的统计分析及智能化管理；并通过采用图像采集处理技术与运动控制技术相结合，实现产品的智能分拣。
本发明提供的一种基于产品颜色及形状识别的智能分拣方法，利用所述的智能分拣系统实现智能分拣方法，包括如下步骤：
步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；
CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数；
如果有一个点变换之前是[x,y,1],变换后是[x’,y’，1]，则转换化系表示如下:
TX+M＝Y (1)
其中，
Figure BDA0003537708080000031
M＝[c,f,0]T,X＝[x,y,1]，Y＝[x’,y’,1]；
如果想求a-f之间6个变量需要3组点；为了提高标定的精度，通常使用9组点，利用最小二乘法确定待定的系数。
步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；
通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据库中。
步骤3：判断待测工件是否在视野内
通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内。
步骤4：通过对工件颜色及形状特征的提取，车间总控服务器判断视野内的工件是否为待拣工件，具体包括以下步骤：
4.1工件图像的预处理
对获取的图像采用高斯滤波进行滤波去噪处理，减少噪声对图像的影响；通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开；
4.2工件图像特征提取
①颜色特征的提取
颜色特征的提取方法采用颜色直方图，颜色直方图是最基本的颜色特征表示方法，它反映的是图像中颜色的组成分布，即出现了哪些颜色以及颜色出现的概率；其函数表达式如下：
Figure BDA0003537708080000041
其中，k代表图像的特征取值，L是特征可取值的个数，nk是图像中具有特征值为k的像素的个数，N是图像像素的总数；由于该颜色特征的提取过程不必考虑物体的空间位置，可以根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件颜色的相似性；
②形状特征的提取
对工件形状特征的提取采用边缘形心距离的模板匹配方法，通过预处理的边缘特征提取得到目标稳定的边缘信息后，对边缘形心距离作为形状特征的表达方法；利用图像分析求取目标工件的最小外接矩形，类比质心原理来获取目标工件的形心坐标：
Figure BDA0003537708080000051
式中，n表示获取到的目标工件外接矩形框所有像素点的数量，Pix表示当前像素点在图像x方向上的坐标位置，同理，Piy表示像素点在图像y方向上的坐标位置；接下来，计算目标工件每一个边缘点到其形心的距离，并将所有距离按序构成多维向量作为目标边缘的抽象表达，这样就完成了目标模板的建立；分别建立所有类别工件的模板，对搜索图像中的所有目标工件进行上述操作，通过计算模板工件和搜索工件间的特征向量距离来完成对应目标的匹配过程；
4.3工件颜色和形状的相似度计算
③颜色相似度计算
高斯滤波后的特征区域基础色调单一，不存在色调突变，且颜色分布均匀；综合考虑特征区域的特点、常用颜色特征描述的优缺点以及算法效率，选用最简单的颜色直方图各颜色通道的差值判断工件颜色的相似度；颜色差值计算公式如下所示：
Figure BDA0003537708080000052
式中C为颜色直方图任一通道的颜色差值；n,m为图像x,y方向的像素数；p为图像像素均差值；
利用颜色直方图计算目标图像感兴趣区域与各个颜色模板之间的颜色距离，距离越小相似度越高，目标图像所属的类别为距离最小的颜色模板代表的类别；
④形状相似度计算
利用工件图像形心坐标与模板图像的形心坐标比较的方法，判断工件的形状特征是否符合分拣要求，比较后得到的结果提供了图像间的差异信息；可对检测工件图像与合格模板工件图像形心坐标对应并作方差运算，直观地得出工件的模板图像与待检测图像之间形状的差别，进而根据差值图像与阈值作比较，来进行工件分类；
如果∑ΔG＝0，即Img(A)-Img(B)＝0，Img(A)为工件模板的形心坐标向量，Img(B)为待测工件图像形心坐标向量，则表示待测工件与工件模块完全相同；但由于加工误差的存在，∑ΔG不可能为零，所以设定一个阈值，当∑ΔG小于阈值时，则判断为同一工件，否则为非同类工件或不合格品；
⑤特征相似度融合归一化
基于图像的颜色特征和形状特征进行物体识别，需要两个特征识别的相似度进行融合；利用数值的方差值计算两颜色及形状特征向量间的相似程度，越接近0则两特征相似性越大；由于颜色特征与形状特征的量化单位不同，因此，需要对相似度距离函数进行归一化操作，使两个特征的相似度度量都归一化在区间[0，1]内，从而进行线性加权融合；
形状特征相似度和颜色特征相似度分别为Dc和Dt，其计算公式如下：
Figure BDA0003537708080000061
其中，∑ΔG为物体与模板图像形心坐标差的平方和，∑G为模板形心坐标的平方和，∑Δp为物体与模板图像像素差的平方和，∑p为模板图像像素的平方和；
4.4工件类型的辨识
基于图像的颜色特征和形状特征进行工件识别，需要将两种特征相似度进行融合；在4.3中已经通过最大匹配距离得到归一化的形状及颜色特征相似度，此时两种特征相似度取值范围相同，可以进行融合；通过加权融合方式将颜色特征相似度与形状特征相似度进行融合组成工件相似度函数；则融合规则如下：
假设给定两工件的形状特征相似度和颜色特征相似度分别为Dt和Dc，则形状特征与颜色特征的融合相似度DTC为：
DTC＝ωcDC+ωTDT (6)
其中，ωc是颜色相似度的权重，ωT是形状相似度的权重，ωc，ωT式为：
Figure BDA0003537708080000071
公式(7)表示当形状特征相似度与颜色特征相似度其中有一个小于0.5时，则ωc和ωT都为0，说明两个工件不存在相似性；因此，DTC∈[0,1]；根据此规则建立的工件相似度函数，表明两个工件只有在形状特征以及颜色特征都满足一定阈值，即都大于0.5的情况下，才有可能是相似工件，否则两个工件不存在相似性；其中DTC越接近于1则两个工件越相似；反之，两个工件的相似度越小，则两个工件越不可能相似。
步骤5：工件形心位置及角度的计算
CCD相机匹配到对应的目标工件后，接下来便要获取匹配工件的位姿信息来引导机器人完成对目标工件的准确抓取；视觉任务下的目标位姿信息包括目标在二维运动平面上的位置信息及偏转角度；利用形状特征所提取的质心坐标来描述目标工件在图像中的位置坐标信息；目标的偏转角度是相对于其初始模板状态下的旋转过程，因此分别对当前目标图像和其对应类别模板图像求取最小外接矩形，比较两个矩形在水平或垂直方向上的角度差值，作为机器人抓取当前目标工件时的补偿角度；默认分拣工件表面的图案特征为非对称图形，因此规定目标工件的角度旋转范围为±180°，这样便获取了2D视觉任务下单个目标工件的位姿信息：X_Y_A_。
步骤6：控制机器人到达指定位置，执行分拣操作
如果当前工件为某类假设合格工件，则根据步骤5计算的位置及角度，调整机器末端执行器，分拣至指定通道，如果不是某类所需寻找的工件，则跳转到步骤3，继续执行，直到完成分拣处理。
本发明有益效果：
1、本发明具有智能化特点，本发明采用机器视觉实现工件的分拣，节省了人工成本，同时降低了人为失误造成的损失。
2、本发明具有可靠性高特点，本发明采用车间总控服务器实现图像的处理及分析，实现系统整体的算力平衡，提高了系统的运算效率，从而满足系统的实时处理性能。
附图说明
图1为本发明的分拣系统应用于现场流水线上的一种实施例结构示意图。
图2为本发明的分层模块化式系统结构示意图。
图3为本发明的智能分拣方法的处理流程图。
图4为本发明的机器人手眼标定的原理图。
图中标记：1为传送带、2为光源、3为镜头、4为CCD相机、5为图像采集卡、6为上位机、7为云平台、8为机器人控制器、9为机器人。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例1
本发明的智能分拣系统由图像采集处理(即机器视觉)技术生成工件1形心位置，为机器人9抓取提供了坐标点；上位机6将处理得到的坐标点作为运动控制参数通过云平台7发送给机器人控制器8，机器人控制器8控制机器人9的末端执行机构在上位机6设定的区域内进行跟踪和抓取操作，以实现工件抓取功能。本发明系统采用模板匹配的方法来区分待分拣的工件，用待测工件与标准工件模板进行比较，超过一定误差即判为非同类品。
结合图1与图2所示，本发明提供的一种基于产品颜色及形状识别的智能分拣系统，包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；
视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带1上方布置CCD相机4，CCD相机4与现场的机器人9配合使用，以实现控制机器人9分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；
视觉信号处理层，该层包括车间总控服务器、上位机6、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反馈，以满足车间各单元设备对视觉信号的需求；
视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；
视觉应用层，该层包括机器人控制器8，利用视觉信号处理层处理及分析的结果，对现场的机器人9实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。
所述视觉信号采集层包括镜头3、CCD相机4、光源2以及图像采集卡5，光源2设置于传送带1上的工件上方，CCD相机4位于光源2的上方，镜头3配合安装于CCD相机4上，机器人9位于传送带一侧，CCD相机4与图像采集卡5相连；所述视觉任务控制层还包括检测任务、工件运输任务。
所述图像采集卡5与视觉信号处理层的上位机6相连，上位机6通过云平台7与机器人控制器8通信连接，机器人控制器8与机器人9相连。
本发明所述的基于产品颜色及形状识别的智能分拣系统，能够满足不同协议的设备的网络通信连接，实现对工件质量的统计分析及智能化管理；并通过采用图像采集处理技术与运动控制技术相结合，实现产品的智能分拣。
实施例2
结合图3和图4所示，本发明提供的一种基于产品颜色及形状识别的智能分拣方法，利用所述的智能分拣系统实现智能分拣方法，包括如下步骤：
步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；
CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；如图4所示的机器人手眼标定的原理图，采用九点标定直接建立CCD相机4和机器人9之间的坐标变换关系，让机器人9的末端通过九个点得到在机器人9坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人9坐标系的坐标转化的标定参数；
如果有一个点变换之前是[x,y,1],变换后是[x’,y’，1]，则转化关系表示如下:
TX+M＝Y (1)
其中，
Figure BDA0003537708080000101
M＝[c,f,0]T,X＝[x,y,1]，Y＝[x’,y’,1]；
如果想求a-f之间6个变量需要3组点；为了提高标定的精度，通常使用9组点，利用最小二乘法确定待定的系数。
步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；
通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据库中。
步骤3：判断待测工件是否在视野内
通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机4对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内。
步骤4：通过对工件颜色及形状特征的提取，车间总控服务器判断视野内的工件是否为待拣工件，具体包括以下步骤：
4.1工件图像的预处理
对获取的图像采用高斯滤波进行滤波去噪处理，减少噪声对图像的影响；通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开；
4.2工件图像特征提取
①颜色特征的提取
颜色特征的提取方法采用颜色直方图，颜色直方图是最基本的颜色特征表示方法，它反映的是图像中颜色的组成分布，即出现了哪些颜色以及颜色出现的概率；其函数表达式如下：
Figure BDA0003537708080000111
其中，k代表图像的特征取值，L是特征可取值的个数，nk是图像中具有特征值为k的像素的个数，N是图像像素的总数；由于该颜色特征的提取过程不必考虑物体的空间位置，可以根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件颜色的相似性；
②形状特征的提取
本发明对工件形状特征的提取采用边缘形心距离的模板匹配方法，通过预处理的边缘特征提取得到目标稳定的边缘信息后，对边缘形心距离作为形状特征的表达方法；利用图像分析求取目标工件的最小外接矩形，类比质心原理来获取目标工件的形心坐标：
Figure BDA0003537708080000112
式中，n表示获取到的目标工件外接矩形框所有像素点的数量，Pix表示当前像素点在图像x方向上的坐标位置，同理，Piy表示像素点在图像y方向上的坐标位置；接下来，计算目标工件每一个边缘点到其形心的距离，并将所有距离按序构成多维向量作为目标边缘的抽象表达，这样就完成了目标模板的建立；分别建立所有类别工件的模板，对搜索图像中的所有目标工件进行上述操作，通过计算模板工件和搜索工件间的特征向量距离来完成对应目标的匹配过程；
4.3工件颜色和形状的相似度计算
③颜色相似度计算
高斯滤波后的特征区域基础色调单一，不存在色调突变，且颜色分布均匀；综合考虑特征区域的特点、常用颜色特征描述的优缺点以及算法效率，选用最简单的颜色直方图各颜色通道的差值判断工件颜色的相似度；颜色差值计算公式如下所示：
Figure BDA0003537708080000121
式中C为颜色直方图任一通道的颜色差值；n,m为图像x,y方向的像素数；p为图像像素均差值；
利用颜色直方图计算目标图像感兴趣区域与各个颜色模板之间的颜色距离，距离越小相似度越高，目标图像所属的类别为距离最小的颜色模板代表的类别；
④形状相似度计算
利用工件图像形心坐标与模板图像的形心坐标比较的方法，判断工件的形状特征是否符合分拣要求，比较后得到的结果提供了图像间的差异信息；可对检测工件图像与合格模板工件图像形心坐标对应并作方差运算，直观地得出工件的模板图像与待检测图像之间形状的差别，进而根据差值图像与阈值作比较，来进行工件分类；
如果∑ΔG＝0,即Img(A)-Img(B)＝0,Img(A)为工件模板的形心坐标向量，Img(B)为待测工件图像形心坐标向量，则表示待测工件与工件模块完全相同；但由于加工误差的存在，∑ΔG不可能为零，所以设定一个阈值，当∑ΔG小于阈值时，则判断为同一工件，否则为非同类工件或不合格品；
⑤特征相似度融合归一化
基于图像的颜色特征和形状特征进行物体识别，需要两个特征识别的相似度进行融合；利用数值的方差值计算两颜色及形状特征向量间的相似程度，越接近0则两特征相似性越大；由于颜色特征与形状特征的量化单位不同，因此，需要对相似度距离函数进行归一化操作，使两个特征的相似度度量都归一化在区间[0，1]内，从而进行线性加权融合；
形状特征相似度和颜色特征相似度分别为Dc和Dt，其计算公式如下：
Figure BDA0003537708080000131
其中，∑ΔG为物体与模板图像形心坐标差的平方和，∑G为模板形心坐标的平方和，∑Δp为物体与模板图像像素差的平方和，∑p为模板图像像素的平方和；
4.4工件类型的辨识
基于图像的颜色特征和形状特征进行工件识别，需要将两种特征相似度进行融合；在4.3中已经通过最大匹配距离得到归一化的形状及颜色特征相似度，此时两种特征相似度取值范围相同，可以进行融合；通过加权融合方式将颜色特征相似度与形状特征相似度进行融合组成工件相似度函数；则融合规则如下：
假设给定两工件的形状特征相似度和颜色特征相似度分别为Dt和Dc，则形状特征与颜色特征的融合相似度DTC为：
DTC＝ωcDC+ωTDT (6)
其中，ωc是颜色相似度的权重，ωT是形状相似度的权重，ωc，ωT式为：
Figure BDA0003537708080000132
公式(7)表示当形状特征相似度与颜色特征相似度其中有一个小于0.5时，则ωc和ωT都为0，说明两个工件不存在相似性；因此，DTC∈[0，1]；根据此规则建立的工件相似度函数，表明两个工件只有在形状特征以及颜色特征都满足一定阈值，即都大于0.5的情况下，才有可能是相似工件，否则两个工件不存在相似性；其中DTC越接近于1则两个工件越相似；反之，两个工件的相似度越小，则两个工件越不可能相似。
步骤5：工件形心位置及角度的计算
CCD相机匹配到对应的目标工件后，接下来便要获取匹配工件的位姿信息来引导机器人完成对目标工件的准确抓取；视觉任务下的目标位姿信息包括目标在二维运动平面上的位置信息及偏转角度；利用形状特征所提取的质心坐标来描述目标工件在图像中的位置坐标信息；目标的偏转角度是相对于其初始模板状态下的旋转过程，因此分别对当前目标图像和其对应类别模板图像求取最小外接矩形，比较两个矩形在水平或垂直方向上的角度差值，作为机器人抓取当前目标工件时的补偿角度；默认分拣工件表面的图案特征为非对称图形，因此规定目标工件的角度旋转范围为±180°，这样便获取了2D视觉任务下单个目标工件的位姿信息：X_Y_A_。
步骤6：控制机器人到达指定位置，执行分拣操作
如果当前工件为某类假设合格工件，则根据步骤5计算的位置及角度，调整机器末端执行器，分拣至指定通道，如果不是某类所需寻找的工件，则跳转到步骤3，继续执行，直到完成分拣处理。
如图3所示，为本发明的智能分拣方法的处理流程图，该处理流程的主要特点为：
(1)在机器视觉图像处理算法方面，解决了工件摆放的随意性，研究结果可应用到自动分拣系统。
(2)在机器视觉特征提取方面，同时考虑工件的颜色特征及形状特征，通过两者融合的相似性判断，从而保证了分拣结果的可靠性。
(3)在机器视觉图像识别方面，建立了标准工件模板，通过对待测工件的平移和旋转变换，和标准模板进行相似性比较，从而判断是否为同类工件。
综上所述，本发明利用机器人结合机器视觉实现工业生产过程中的动态高速分拣过程。分拣对象即工件会被随机的散落在传送带1上并随传送带1做匀速直线运动，当工件经过传送带1上方固定的CCD相机4视野范围时，本发明系统将采用触发的方式触发CCD相机4进行图像采集，系统的上位机6通过相应的处理算法获取到工件类别信息和位姿信息，依照一定的数据格式与机器人9的机器人控制器8进行交互，引导机器人9的末端执行机构在合适的动作区域内进行跟踪和抓取操作，将不同类别的工件分别放置到预先指定的位置。
可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。

Claims (8)

1.一种基于产品颜色及形状识别的智能分拣系统，其特征在于：包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；
视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带上方布置CCD相机，CCD相机与现场的机器人配合使用，以实现控制机器人分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；
视觉信号处理层，该层包括车间总控服务器、上位机、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反馈，以满足车间各单元设备对视觉信号的需求；
视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；
视觉应用层，该层包括机器人控制器，利用视觉信号处理层处理及分析的结果，对现场的机器人实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。
2.根据权利要求1所述的一种基于产品颜色及形状识别的智能分拣系统，其特征在于：所述视觉信号采集层包括镜头、CCD相机、光源以及图像采集卡，光源设置于传送带上的工件上方，CCD相机位于光源的上方，镜头配合安装于CCD相机上，机器人位于传送带一侧，CCD相机与图像采集卡相连；所述视觉任务控制层还包括检测任务、工件运输任务。
3.根据权利要求2所述的一种基于产品颜色及形状识别的智能分拣系统，其特征在于：所述图像采集卡与视觉信号处理层的上位机相连，上位机通过云平台与机器人控制器通信连接，机器人控制器与机器人相连。
4.利用如权利要求1所述的一种基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于，包括如下步骤：
步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；
CCD相机尺度采用是像素坐标，机器人坐标为是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数；
如果有一个点变换之前是[x,y,1],变换后是[x’,y’，1]，则转化关系表示如下:
TX+M＝Y (1)
其中，
Figure FDA0003537708070000021
M＝[c,f,0]T,X＝[x,y,1]，Y＝[x’,y’,1]；
如果想求a-f之间6个变量需要3组点；为了提高标定的精度，通常使用9组点，利用最小二乘法确定待定的系数；
步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；
通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据库中；
步骤3：判断待测工件是否在视野内
通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内；
步骤4：通过对工件颜色及形状特征的提取，车间总控服务器判断视野内的工件是否为待拣工件，具体包括以下步骤：
4.1工件图像的预处理
4.2工件图像特征提取
4.3工件颜色和形状的相似度计算
4.4工件类型的辨识；
步骤5：工件形心位置及角度的计算
CCD相机匹配到对应的目标工件后，接下来便要获取匹配工件的位姿信息来引导机器人完成对目标工件的准确抓取；视觉任务下的目标位姿信息包括目标在二维运动平面上的位置信息及偏转角度；利用形状特征所提取的质心坐标来描述目标工件在图像中的位置坐标信息；目标的偏转角度是相对于其初始模板状态下的旋转过程，因此分别对当前目标图像和其对应类别模板图像求取最小外接矩形，比较两个矩形在水平或垂直方向上的角度差值，作为机器人抓取当前目标工件时的补偿角度；默认分拣工件表面的图案特征为非对称图形，因此规定目标工件的角度旋转范围为±180°，这样便获取了2D视觉任务下单个目标工件的位姿信息：X_Y_A_；
步骤6：控制机器人到达指定位置，执行分拣操作
如果当前工件为某类假设合格工件，则根据步骤5计算的位置及角度，调整机器末端执行器，分拣至指定通道，如果不是某类所需寻找的工件，则跳转到步骤3，继续执行，直到完成分拣处理。
5.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于：所述工件图像的预处理包括对获取的图像采用高斯滤波进行滤波去噪处理，通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开。
6.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于：所述工件图像特征提取包括①颜色特征的提取、②形状特征的提取；
①所述颜色特征的提取：
颜色特征的提取方法采用颜色直方图，颜色直方图是最基本的颜色特征表示方法，它反映的是图像中颜色的组成分布，即出现了哪些颜色以及颜色出现的概率；其函数表达式如下：
Figure FDA0003537708070000041
其中，k代表图像的特征取值，L是特征可取值的个数，nk是图像中具有特征值为k的像素的个数，N是图像像素的总数；由于该颜色特征的提取过程不必考虑物体的空间位置，可以根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件颜色的相似性；
②形状特征的提取：
对工件形状特征的提取采用边缘形心距离的模板匹配方法，通过预处理的边缘特征提取得到目标稳定的边缘信息后，对边缘形心距离作为形状特征的表达方法；利用图像分析求取目标工件的最小外接矩形，类比质心原理来获取目标工件的形心坐标：
Figure FDA0003537708070000042
式中，n表示获取到的目标工件外接矩形框所有像素点的数量，Pix表示当前像素点在图像x方向上的坐标位置，同理，Piy表示像素点在图像y方向上的坐标位置；接下来，计算目标工件每一个边缘点到其形心的距离，并将所有距离按序构成多维向量作为目标边缘的抽象表达，这样就完成了目标模板的建立；分别建立所有类别工件的模板，对搜索图像中的所有目标工件进行上述操作，通过计算模板工件和搜索工件间的特征向量距离来完成对应目标的匹配过程。
7.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于：所述工件颜色和形状的相似度计算包括③颜色相似度计算、④形状相似度计算、⑤特征相似度融合归一化；
③颜色相似度计算：
高斯滤波后的特征区域基础色调单一，不存在色调突变，且颜色分布均匀；综合考虑特征区域的特点、常用颜色特征描述的优缺点以及算法效率，选用最简单的颜色直方图各颜色通道的差值判断工件颜色的相似度；颜色差值计算公式如下所示：
Figure FDA0003537708070000051
式中C为颜色直方图任一通道的颜色差值；n,m为图像x,y方向的像素数；p为图像像素均差值；
利用颜色直方图计算目标图像感兴趣区域与各个颜色模板之间的颜色距离，距离越小相似度越高，目标图像所属的类别为距离最小的颜色模板代表的类别；
④形状相似度计算：
利用工件图像形心坐标与模板图像的形心坐标比较的方法，判断工件的形状特征是否符合分拣要求，比较后得到的结果提供了图像间的差异信息；可对检测工件图像与合格模板工件图像形心坐标对应并作方差运算，直观地得出工件的模板图像与待检测图像之间形状的差别，进而根据差值图像与阈值作比较，来进行工件分类；
如果∑ΔG＝0,即Img(A)-Img(B)＝0,Img(A)为工件模板的形心坐标向量，Img(B)为待测工件图像形心坐标向量，则表示待测工件与工件模块完全相同；但由于加工误差的存在，∑ΔG不可能为零，所以设定一个阈值，当∑ΔG小于阈值时，则判断为同一工件，否则为非同类工件或不合格品；
⑤特征相似度融合归一化：
基于图像的颜色特征和形状特征进行物体识别，需要两个特征识别的相似度进行融合；利用数值的方差值计算两颜色及形状特征向量间的相似程度，越接近0则两特征相似性越大；由于颜色特征与形状特征的量化单位不同，因此，需要对相似度距离函数进行归一化操作，使两个特征的相似度度量都归一化在区间[0,1]内，从而进行线性加权融合；
形状特征相似度和颜色特征相似度分别为Dc和Dt，其计算公式如下：
Figure FDA0003537708070000061
其中，∑ΔG为物体与模板图像形心坐标差的平方和，∑G为模板形心坐标的平方和，∑Δp为物体与模板图像像素差的平方和，∑p为模板图像像素的平方和。
8.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于：所述工件类型的辨识包括基于图像的颜色特征和形状特征进行工件识别，需要将两种特征相似度进行融合；通过加权融合方式将颜色特征相似度与形状特征相似度进行融合组成工件相似度函数；则融合规则如下：
假设给定两工件的形状特征相似度和颜色特征相似度分别为Dt和Dc，则形状特征与颜色特征的融合相似度DTC为：
DTC＝ωcDC+ωTDT (6)
其中，ωc是颜色相似度的权重，ωT是形状相似度的权重，ωc，ωT式为：
Figure FDA0003537708070000062
公式(7)表示当形状特征相似度与颜色特征相似度其中有一个小于0.5时，则ωc和ωT都为0，说明两个工件不存在相似性；因此，DTC∈[0,1]；根据此规则建立的工件相似度函数，表明两个工件只有在形状特征以及颜色特征都满足一定阈值，即都大于0.5的情况下，才有可能是相似工件，否则两个工件不存在相似性；其中DTC越接近于1则两个工件越相似；反之，两个工件的相似度越小，则两个工件越不可能相似。
CN202210229454.0A 2022-03-09 2022-03-09 一种基于产品颜色及形状识别的智能分拣系统及方法 Active CN114913346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210229454.0A CN114913346B (zh) 2022-03-09 2022-03-09 一种基于产品颜色及形状识别的智能分拣系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210229454.0A CN114913346B (zh) 2022-03-09 2022-03-09 一种基于产品颜色及形状识别的智能分拣系统及方法

Publications (2)

Publication Number Publication Date
CN114913346A true CN114913346A (zh) 2022-08-16
CN114913346B CN114913346B (zh) 2024-10-15

Family

ID=82763335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210229454.0A Active CN114913346B (zh) 2022-03-09 2022-03-09 一种基于产品颜色及形状识别的智能分拣系统及方法

Country Status (1)

Country Link
CN (1) CN114913346B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113584A (zh) * 2022-08-26 2022-09-27 长春理工大学 基于实例及规则推理的数控自动编程方法
CN115921328A (zh) * 2022-11-15 2023-04-07 扬州中远海运重工有限公司 一种型材切割出料的智能分拣系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010011701A (ko) * 1999-07-30 2001-02-15 박호군 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법
CN112561886A (zh) * 2020-12-18 2021-03-26 广东工业大学 一种基于机器视觉的工件自动分拣方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010011701A (ko) * 1999-07-30 2001-02-15 박호군 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법
CN112561886A (zh) * 2020-12-18 2021-03-26 广东工业大学 一种基于机器视觉的工件自动分拣方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任慧娟;金守峰;顾金芋;: "基于颜色特征的筒纱分拣机器人识别定位方法", 轻工机械, no. 04, 3 August 2020 (2020-08-03) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113584A (zh) * 2022-08-26 2022-09-27 长春理工大学 基于实例及规则推理的数控自动编程方法
CN115921328A (zh) * 2022-11-15 2023-04-07 扬州中远海运重工有限公司 一种型材切割出料的智能分拣系统
CN115921328B (zh) * 2022-11-15 2023-10-27 扬州中远海运重工有限公司 一种型材切割出料的智能分拣系统

Also Published As

Publication number Publication date
CN114913346B (zh) 2024-10-15

Similar Documents

Publication Publication Date Title
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN114913346B (zh) 一种基于产品颜色及形状识别的智能分拣系统及方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN112497219B (zh) 一种基于目标检测和机器视觉的柱状工件分类定位方法
CN113269723B (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN111645111A (zh) 一种基于工业机器人的智能制造系统及方法
CN111598172A (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN115321090B (zh) 机场行李自动接取方法、装置、设备、系统及介质
Frank et al. Stereo-vision for autonomous industrial inspection robots
CN117359636A (zh) 一种基于Python的巡检机器人的机器视觉系统
CN117381793A (zh) 一种基于深度学习的物料智能检测视觉系统
Hashimoto et al. Current status and future trends on robot vision technology
CN116188540A (zh) 一种基于点云信息的目标识别和位姿估计方法
CN114800533B (zh) 一种用于工业机器人的分拣控制方法及系统
CN111062387B (zh) 一种传送带上物品的识别方法、抓取方法及相关设备
Zheng et al. Robot target location based on the difference in monocular vision projection
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide
Loch et al. Evaluation of SIFT in machine vision applied to industrial automation
Qian et al. The autonomous detection of sheet metal parts using imageprocessing
CN112184665A (zh) 一种应用于纸塑行业的人工智能缺陷侦测系统
Simeth et al. Using Artificial Intelligence to Facilitate Assembly Automation in High-Mix Low-Volume Production Scenario
Shi An object detection and pose estimation approach for position based visual servoing
Sharan et al. Automating the process of work-piece recognition and location for a pick-and-place robot in a SFMS
CN118220723B (zh) 基于机器视觉的精确码垛方法及系统
Affes et al. Detection and location of sheet metal parts for industrial robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant