CN111144426A - 一种分拣方法、装置、设备和存储介质 - Google Patents

一种分拣方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111144426A
CN111144426A CN201911383379.8A CN201911383379A CN111144426A CN 111144426 A CN111144426 A CN 111144426A CN 201911383379 A CN201911383379 A CN 201911383379A CN 111144426 A CN111144426 A CN 111144426A
Authority
CN
China
Prior art keywords
inclination angle
information
determining
target object
sorting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911383379.8A
Other languages
English (en)
Other versions
CN111144426B (zh
Inventor
周均扬
许明
周金海
袁仁辉
吴丰礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Topstar Technology Co Ltd
Original Assignee
Guangdong Topstar Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Topstar Technology Co Ltd filed Critical Guangdong Topstar Technology Co Ltd
Priority to CN201911383379.8A priority Critical patent/CN111144426B/zh
Publication of CN111144426A publication Critical patent/CN111144426A/zh
Priority to PCT/CN2020/137476 priority patent/WO2021129527A1/zh
Application granted granted Critical
Publication of CN111144426B publication Critical patent/CN111144426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0081—Sorting of food items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明实施例公开了一种分拣方法、装置、设备及存储介质，该方法包括：获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；根据第二倾斜角度和所述位置信息中的第一倾斜角度，确定所述目标物品的真实倾斜角度，进而控制分拣设备对所述目标物品进行分拣。本发明实施例提供的技术方案，通过图像识别模型的识别作用，获取到目标物品的类型信息、位置信息和轮廓信息，并结合最小矩形框获取到物品的真实倾斜角度，在提高了物品的识别准确性和识别效率的同时，保证了物品以正确姿态被分拣，提升了分拣效果。

Description

一种分拣方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像识别和机器人技术，尤其涉及一种分拣方法、装置、设备和存储介质。
背景技术
随着科技的不断进步，机器人技术也得到迅速发展，作为机器人技术的一个重要分支，分拣机器人已被广泛应用于工业生产中。
现有技术中，分拣机器人通过获取的图像信息，采用模板匹配的方法，也即将图形信息中出现的目标物品与模板进行匹配，确定物品的种类，进而通过分拣机器人的抓取将该物品分拣到相应位置，但这样的图像识别方法，对物品类型判断的准确性和效率均较低，同时，抓取到该物品后，并不能保证物品以正确的姿态被分拣，例如，饮料瓶以瓶口倒置或者倒放的方式被抓取并摆放，严重影响分拣效果。
发明内容
本发明实施例提供了一种分拣方法、装置、设备和存储介质，以保证物品姿态正确的前提下，完成物品的识别和分拣。
第一方面，本发明实施例提供了一种分拣方法，包括：
获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度；
根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；
根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度；
根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
第二方面，本发明实施例提供了一种分拣装置，包括：
图形识别执行模块，用于获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度；
第二倾斜角度确定模块，用于根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；
真实倾斜角度计算模块，用于根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度；
分拣执行模块，用于根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的分拣方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现本发明任意实施例所述的分拣方法。
本发明实施例提供的技术方案，通过图像识别模型的识别作用，获取到目标物品的类型信息、位置信息和轮廓信息，并结合最小矩形框获取到物品的真实倾斜角度，进而完成物品的分拣操作，在提高了物品的识别准确性和识别效率的同时，保证了物品以正确姿态被分拣，提升了分拣效果。
附图说明
图1A是本发明实施例一提供的一种分拣方法的流程图；
图1B是本发明实施例一提供的目标物品的轮廓信息示意图；
图1C是本发明实施例一提供的目标物品的最小矩形框示意图；
图2是本发明实施例二提供的一种分拣方法的流程图；
图3是本发明实施例三提供的一种设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种分拣方法的流程图，本实施例可适用于通过图像信息对物品进行分拣的情况，该方法可以由本发明实施例中的分拣装置来执行，该装置可以通过软件和/或硬件实现，并可以集成在终端设备中，典型的，可以集成在分拣机械手中，该方法具体包括如下步骤：
S110、获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度。
目标图像来源于安装在固定位置或分拣设备(例如，分拣机械手)上的摄像头，通过图像识别模型对摄像头拍摄的图像信息进行图像识别操作，获取图像信息中包括的物品；其中，图像中可以包括一个或多个物品。
图像识别模型是经过训练获取的，具有图像识别功能，可选的，在本发明实施例中，所述图像识别模型包括深度卷积神经网络模型。具体的，获取训练样本，并对深度卷积神经网络模型进行训练，以获取训练后的所述深度卷积神经网络模型；通过测试样本，对训练后的所述深度卷积神经网络模型进行图像识别测试，得到识别结果，并获取所述深度卷积神经网络模型输出结果的可靠性；判断所述可靠性是否大于等于第一预设阈值；若所述可靠性大于等于所述第一预设阈值，则将训练后的所述深度卷积神经网络模型作为图像识别模型；若所述可靠性小于所述第一预设阈值，则对所述深度卷积神经网络模型继续进行训练，直至训练后的所述深度卷积神经网络模型对所述测试样本输出结果的可靠性大于等于所述第一预设阈值为止。训练样本是经过标注的图像，包括对物品的轮廓信息、类型信息以及位置信息进行标注，还包括对轮廓信息和位置信息的标注点是否被遮挡的标注；特别的，对于部分区域被遮挡的物品，训练样本中同样标注了完整的轮廓信息的标注，以使深度卷积神经网络模型具备联想记忆功能；经过训练样本训练后的深度卷积神经网络模型，还需要经过测试样本的图像识别测试，以判断获取到的深度卷积神经网络模型是否符合要求。具体的，卷积神经网络模型在进行训练样本训练时，已经完成了信息分解、特征提取和信息重组的过程，获得具体的模型参数值，在获取到新的图像(例如，测试样本)时，基于学习到的模型参数训练样本，在前向推理的过程中，自动实现信息分解、特征提取和信息重组的过程，获得识别结果，即训练样本中物品的位置信息、轮廓信息和类型信息，同时利用既定的概率公式，计算出该结果的可靠性，并将该可靠性的数值输出；可靠性，即识别可靠性，就是对目标图像识别准确性的预测(例如，可靠性为70％)，也即通过深度卷积神经网络模型的推理预算计算出来的物品信息与真实情况的匹配程度；第一预设阈值可以根据需要设定，当可靠性大于等于第一预设阈值时，表示该深度卷积神经网络模型的准确性较高，符合要求；当可靠性小于第一预设阈值时，表示该深度卷积神经网络模型的准确性较低，不符合要求。
物品信息具体包括类型信息、位置信息和轮廓信息。类型信息，也即物品的分类，根据物品的所述类型，在进行物品分拣操作时，将同类型的物品放置于相同区域内，例如，可以将物品分为“零食”、“水产品”、“工具”和“生活用品”；还可以对物品的类型进行进一步的细划分，例如，在“零食”类型中进一步将物品分为“饮料”、“干果”和“膨化零食”，在“水产品”类型中进一步将物品分为“小龙虾”和“大闸蟹”；可选的，在本发明实施例中，对物品类型的划分不作具体限定。轮廓信息，是围绕物品的边缘描点的连线，表示了物品的实际轮廓，例如，图1B中用虚线表示了物品“薯片”和“麻花”的轮廓信息。位置信息，表示了物品所处的位置，位置信息中的第一倾斜角度表示了物品在图像信息中的倾斜程度，向左倾斜为负角度，向右倾斜为正角度，第一倾斜角度的阈值范围为负180度至正180度，以图1B为例，目标图像中包括了两种物品，分别为“薯片”和“麻花”，其中，“薯片”在图像中倾斜了负30度，“麻花”在图像中倾斜了正120度。可选的，在本发明实施例中，所述位置信息还包括组合信息或顶点坐标信息；其中，所述组合信息包括中心点坐标和边长信息。如果物品为矩形，那么图像识别模型输出的边长信息包括短边长度和长边长度，顶点坐标信息包括四个顶点的坐标；如果物品为正方形或菱形，边长信息包括单边长度，顶点坐标信息包括四个顶点的坐标；如果物品为圆形，边长信息包括半径长度，顶点坐标信息包括圆心坐标和圆上任一点的坐标；如果物品为椭圆形，边长信息包括短半径长度和长半径长度，顶点坐标信息包括四个顶点的坐标；如果物品为三角形，边长信息包括三个边的长度，顶点坐标信息包括四个顶点的坐标。特别的，对于物品的形状判断，可以根据物品的轮廓信息确定。
特别的，通过图像识别模型可以获取到目标图像中目标物品的类型信息、位置信息和轮廓信息外，还可以获取到图像识别模型输出结果的可靠性，用来表示对目标物品识别准确性的预测，可以通过与设定的第二预设阈值进行比较，来判断本次识别的准确性，如果可靠性大于等于第二预设阈值，则表示本次对目标物品的识别，可靠性较高；如果可靠性小于第二预设阈值，则表示本次对目标物品的识别，可靠性较低，此时可以通过发出报警信号或提示消息，避免对目标物品的识别出错，进而出现分拣错误。
S120、根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度。
最小矩形框是完整覆盖物品的最小矩形，可以通过矩估计(Moment Estimation)算法确定目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度。但通过矩估计算法获取的第二倾斜角度，只是完全覆盖物体的最小矩形框的倾斜角度，不带有方向性，因此通过最小矩形框确定的第二倾斜角度包括彼此相差180度的两个数值，以图1C为例，目标物品“薯片”的最小矩形框的第二倾斜角度包括负35度和正145度两个数值。
S130、根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度。
由于通过最小矩形框获取的第二倾斜角度，不带有方向性，包括了彼此相差180度的两个数值，因此，需要通过第一倾斜角度对第二倾斜角度进行修正。
可选的，在本发明实施例中，根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度，包括：根据所述第一倾斜角度，确定所述第二倾斜角度中的有效数值，并将所述有效数值确定为所述目标物品的真实倾斜角度。以上述技术方案为例，图1B中物品“薯片”在图像中的第一倾斜角度为负30度，图1C中该物品在图像中第二倾斜角度包括负35度和正145度两个数值，显然第二倾斜角度中负35度与第一倾斜角度负30度在数值上更接近，因此，通过第一倾斜角度确定了第二倾斜角度中的有效数值，并将该有效数值作为了物品“薯片”的真实倾斜角度。
可选的，在本发明实施例中，根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度，包括：根据所述第一倾斜角度，确定所述第二倾斜角度中的有效数值；根据所述第一倾斜角度、所述有效数值、所述第一倾斜角度的预设权重系数以及所述有效数值的预设权重系数，确定所述目标物品的真实倾斜角度。第一倾斜角度和第二倾斜角度中的有效数值可以分别设定不同的权重值，再将第一倾斜角度和第二倾斜角度中的有效数值分别与各自权重值相乘，再求和，获取的最终计算数值作为真实倾斜角度。
S140、根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
根据目标物品的位置信息，对目标物品进行定位，再根据轮廓信息调整分拣设备的分拣动作，例如，调整分拣机械手的张开程度，在抓取到目标物品后，根据物品的真实倾斜角度，调整物品姿态，进而根据类型信息将目标物品分拣至指定区域，并保持物品的姿态正确。特别的，如果在目标物品的轮廓信息内识别到了条形码信息，则控制分拣设备对所述目标物品进行分拣，还包括：控制分拣设备将所述目标物品翻转180度。由于条形码通常位于目标物品的背面，因此，当识别到目标物品的条形码信息时，此时目标物品的背面朝上，除了需要调整目标物品在目标图像中的倾斜角度外，还需要将目标物品翻转180度，以使目标物品保持正面展示状态。特别的，如果目标图像中包括多个目标物品，可以控制一台分拣设备依次分拣各目标物品，也可以控制住多台分拣设备同时分拣各目标物品。分拣设备可以包括分拣机械手，也可以包括其他类型的分拣机器人，在本发明实施例中，对分拣设备的类型不作具体限定。在本发明实施例中，可以将目标图像的下边沿作为横坐标轴，即x轴；左边沿作为纵坐标，即y轴；垂直于x轴和y轴，并指向目标图像外侧的坐标轴作为z轴；对物品的姿态调整，包括倾斜角度调整和翻转角度调整，其中，对倾斜角度的调整，即在x轴和y轴组成的平面中旋转目标物品，对翻转角度的调整，即沿z轴方向进行的原地翻转。
本发明实施例提供的技术方案，通过图像识别模型的识别作用，获取到目标物品的类型信息、位置信息和轮廓信息，并结合最小矩形框获取到物品的真实倾斜角度，进而完成物品的分拣操作，在提高了物品的识别准确性和识别效率的同时，保证了物品以正确姿态被分拣，提升了分拣效果。
实施例二
图2是本发明实施例二所提供的一种分拣装置的结构框图，该装置具体包括：图形识别执行模块210、第二倾斜角度确定模块220、真实倾斜角度计算模块230和分拣执行模块240。
图形识别执行模块210，用于获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度；
第二倾斜角度确定模块220，用于根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；
真实倾斜角度计算模块230，用于根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度；
分拣执行模块240，用于根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
本发明实施例提供的技术方案，通过图像识别模型的识别作用，获取到目标物品的类型信息、位置信息和轮廓信息，并结合最小矩形框获取到物品的真实倾斜角度，进而完成物品的分拣操作，在提高了物品的识别准确性和识别效率的同时，保证了物品以正确姿态被分拣，提升了分拣效果。
可选的，在上述技术方案的基础上，所述位置信息还包括组合信息或顶点坐标信息；其中，所述组合信息包括中心点坐标和边长信息。
可选的，在上述技术方案的基础上，所述图像识别模型包括深度卷积神经网络模型。
可选的，在上述技术方案的基础上，分拣装置，还包括：
训练执行模块，用于获取训练样本信息，并对深度卷积神经网络模型进行训练，以获取训练后的所述深度卷积神经网络模型；
测试执行模块，用于通过测试样本信息，对训练后的所述深度卷积神经网络模型进行图像识别测试，并获取所述深度卷积神经网络模型输出结果的可靠性；
可靠性判断模块，用于判断所述可靠性是否大于等于第一预设阈值；若所述可靠性大于等于所述第一预设阈值，则将训练后的所述深度卷积神经网络模型作为图像识别模型；若所述可靠性小于所述第一预设阈值，则对所述深度卷积神经网络模型继续进行训练，直至训练后的所述深度卷积神经网络模型对所述测试样本输出结果的可靠性大于等于所述第一预设阈值为止。
可选的，在上述技术方案的基础上，第二倾斜角度确定模块220，具体用于根据所述位置信息和所述轮廓信息，通过矩估计算法，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度。
可选的，在上述技术方案的基础上，真实倾斜角度计算模块230，包括：
第一真实倾斜角度计算单元，用于根据所述第一倾斜角度，确定所述第二倾斜角度中的有效数值，并将所述有效数值确定为所述目标物品的真实倾斜角度。
可选的，在上述技术方案的基础上，真实倾斜角度计算模块230，包括：
有效数值确定单元，用于根据所述第一倾斜角度，确定所述第二倾斜角度中的有效数值；
第二真实倾斜角度计算单元，用于根据所述第一倾斜角度、所述有效数值、所述第一倾斜角度的预设权重系数以及所述有效数值的预设权重系数，确定所述目标物品的真实倾斜角度。
上述装置可执行本发明任意实施例所提供的分拣方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的方法。
实施例三
图3为本发明实施例三提供的一种设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性设备12的框图。图3显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的分拣方法。也即：获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度；根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度；根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的分拣方法；该方法包括：
获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度；
根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；
根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度；
根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种分拣方法，其特征在于，包括：
获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度；
根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；
根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度；
根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
2.根据权利要求1所述的方法，其特征在于，所述位置信息还包括组合信息或顶点坐标信息；其中，所述组合信息包括中心点坐标和边长信息。
3.根据权利要求1所述的方法，其特征在于，所述图像识别模型包括深度卷积神经网络模型。
4.根据权利要求3所述的方法，其特征在于，在获取目标图像前，还包括：
获取训练样本，并对深度卷积神经网络模型进行训练，以获取训练后的所述深度卷积神经网络模型；
通过测试样本，对训练后的所述深度卷积神经网络模型进行图像识别测试，并获取所述深度卷积神经网络模型输出结果的可靠性；
判断所述可靠性是否大于等于第一预设阈值；
若所述可靠性大于等于所述第一预设阈值，则将训练后的所述深度卷积神经网络模型作为图像识别模型；
若所述可靠性小于所述第一预设阈值，则对所述深度卷积神经网络模型继续进行训练，直至训练后的所述深度卷积神经网络模型对所述测试样本输出结果的可靠性大于等于所述第一预设阈值为止。
5.根据权利要求1所述的方法，其特征在于，根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度，包括：
根据所述位置信息和所述轮廓信息，通过矩估计算法，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度。
6.根据权利要求1所述的方法，其特征在于，根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度，包括：
根据所述第一倾斜角度，确定所述第二倾斜角度中的有效数值，并将所述有效数值确定为所述目标物品的真实倾斜角度。
7.根据权利要求1所述的方法，其特征在于，根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度，包括：
根据所述第一倾斜角度，确定所述第二倾斜角度中的有效数值；
根据所述第一倾斜角度、所述有效数值、所述第一倾斜角度的预设权重系数以及所述有效数值的预设权重系数，确定所述目标物品的真实倾斜角度。
8.一种分拣装置，其特征在于，包括：
图形识别执行模块，用于获取目标图像，并通过图像识别模型获取所述目标图像中目标物品的类型信息、位置信息和轮廓信息；所述位置信息包括第一倾斜角度；
第二倾斜角度确定模块，用于根据所述位置信息和所述轮廓信息，确定所述目标物品的最小矩形框，并确定所述最小矩形框的第二倾斜角度；
真实倾斜角度计算模块，用于根据所述第一倾斜角度以及所述第二倾斜角度，确定所述目标物品的真实倾斜角度；
分拣执行模块，用于根据所述目标物品的所述类型信息、所述位置信息、所述轮廓信息和所述真实倾斜角度，控制分拣设备对所述目标物品进行分拣。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的分拣方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的分拣方法。
CN201911383379.8A 2019-12-28 2019-12-28 一种分拣方法、装置、设备和存储介质 Active CN111144426B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911383379.8A CN111144426B (zh) 2019-12-28 2019-12-28 一种分拣方法、装置、设备和存储介质
PCT/CN2020/137476 WO2021129527A1 (zh) 2019-12-28 2020-12-18 分拣方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911383379.8A CN111144426B (zh) 2019-12-28 2019-12-28 一种分拣方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111144426A true CN111144426A (zh) 2020-05-12
CN111144426B CN111144426B (zh) 2023-05-30

Family

ID=70521446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911383379.8A Active CN111144426B (zh) 2019-12-28 2019-12-28 一种分拣方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN111144426B (zh)
WO (1) WO2021129527A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700454A (zh) * 2020-12-28 2021-04-23 北京达佳互联信息技术有限公司 图像裁剪方法、装置、电子设备及存储介质
CN112784875A (zh) * 2020-12-30 2021-05-11 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法及相关装置
WO2021129527A1 (zh) * 2019-12-28 2021-07-01 广东拓斯达科技股份有限公司 分拣方法、装置、设备和存储介质
CN113379681A (zh) * 2021-05-20 2021-09-10 深圳技术大学 Led芯片倾斜角度的获取方法、系统、电子装置及存储介质
CN113547520A (zh) * 2021-07-21 2021-10-26 广东拓斯达科技股份有限公司 一种机械手移动对位方法、装置、系统及存储介质
CN114005183A (zh) * 2021-12-31 2022-02-01 北京瑞莱智慧科技有限公司 动作识别方法、装置、设备及存储介质
CN115690132A (zh) * 2022-10-20 2023-02-03 北京霍里思特科技有限公司 一种图像处理方法和系统
CN116309442A (zh) * 2023-03-13 2023-06-23 北京百度网讯科技有限公司 挑拣信息的确定方法及目标对象的挑拣方法
WO2023137871A1 (zh) * 2022-01-19 2023-07-27 福建南方路面机械股份有限公司 一种基于高度传感器的自动分拣方法、装置及可读介质
CN116899915A (zh) * 2023-07-19 2023-10-20 华至云链科技(苏州)有限公司 设备数据实时同步方法及装置
WO2024016633A1 (zh) * 2022-07-21 2024-01-25 京东科技控股股份有限公司 物品拣选方法及装置、计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115488876A (zh) * 2022-06-22 2022-12-20 湖北商贸学院 一种基于机器视觉的机器人分拣方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104781848A (zh) * 2012-10-09 2015-07-15 Sk电信有限公司 用于估计单体的倾斜度的图像监测装置及其方法
US20150375270A1 (en) * 2013-02-18 2015-12-31 Satake Corporation Optical Type Granule Sorting Machine
CN107804514A (zh) * 2017-10-23 2018-03-16 江苏艾萨克机器人股份有限公司 一种基于图像识别的牙刷分拣方法
WO2018056417A1 (ja) * 2016-09-23 2018-03-29 株式会社アーステクニカ 選別装置及び選別方法
CN107895173A (zh) * 2017-11-06 2018-04-10 国网重庆市电力公司电力科学研究院 标注图像目标的方法、装置、设备及可读存储介质
CN109225941A (zh) * 2018-10-10 2019-01-18 常熟理工学院 内螺纹攻丝情况自动检测与分拣系统及方法
CN110222703A (zh) * 2019-06-12 2019-09-10 江苏通佑视觉科技有限公司 图像轮廓识别方法、装置、设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5788460B2 (ja) * 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
CN109688885B (zh) * 2016-08-14 2022-06-07 发那科株式会社 餐具清洁系统
CN109916826B (zh) * 2019-02-20 2024-02-06 福建南方路面机械有限公司 一种基于高光谱检测的固废在线识别系统及识别方法
CN111144426B (zh) * 2019-12-28 2023-05-30 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104781848A (zh) * 2012-10-09 2015-07-15 Sk电信有限公司 用于估计单体的倾斜度的图像监测装置及其方法
US20150375270A1 (en) * 2013-02-18 2015-12-31 Satake Corporation Optical Type Granule Sorting Machine
WO2018056417A1 (ja) * 2016-09-23 2018-03-29 株式会社アーステクニカ 選別装置及び選別方法
CN107804514A (zh) * 2017-10-23 2018-03-16 江苏艾萨克机器人股份有限公司 一种基于图像识别的牙刷分拣方法
CN107895173A (zh) * 2017-11-06 2018-04-10 国网重庆市电力公司电力科学研究院 标注图像目标的方法、装置、设备及可读存储介质
CN109225941A (zh) * 2018-10-10 2019-01-18 常熟理工学院 内螺纹攻丝情况自动检测与分拣系统及方法
CN110222703A (zh) * 2019-06-12 2019-09-10 江苏通佑视觉科技有限公司 图像轮廓识别方法、装置、设备和介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129527A1 (zh) * 2019-12-28 2021-07-01 广东拓斯达科技股份有限公司 分拣方法、装置、设备和存储介质
CN112700454A (zh) * 2020-12-28 2021-04-23 北京达佳互联信息技术有限公司 图像裁剪方法、装置、电子设备及存储介质
CN112700454B (zh) * 2020-12-28 2024-05-14 北京达佳互联信息技术有限公司 图像裁剪方法、装置、电子设备及存储介质
CN112784875A (zh) * 2020-12-30 2021-05-11 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法及相关装置
CN113379681A (zh) * 2021-05-20 2021-09-10 深圳技术大学 Led芯片倾斜角度的获取方法、系统、电子装置及存储介质
CN113547520A (zh) * 2021-07-21 2021-10-26 广东拓斯达科技股份有限公司 一种机械手移动对位方法、装置、系统及存储介质
CN114005183A (zh) * 2021-12-31 2022-02-01 北京瑞莱智慧科技有限公司 动作识别方法、装置、设备及存储介质
WO2023137871A1 (zh) * 2022-01-19 2023-07-27 福建南方路面机械股份有限公司 一种基于高度传感器的自动分拣方法、装置及可读介质
WO2024016633A1 (zh) * 2022-07-21 2024-01-25 京东科技控股股份有限公司 物品拣选方法及装置、计算机可读存储介质
CN115690132A (zh) * 2022-10-20 2023-02-03 北京霍里思特科技有限公司 一种图像处理方法和系统
CN116309442B (zh) * 2023-03-13 2023-10-24 北京百度网讯科技有限公司 挑拣信息的确定方法及目标对象的挑拣方法
CN116309442A (zh) * 2023-03-13 2023-06-23 北京百度网讯科技有限公司 挑拣信息的确定方法及目标对象的挑拣方法
CN116899915B (zh) * 2023-07-19 2024-01-09 华至云链科技(苏州)有限公司 设备数据实时同步方法及装置
CN116899915A (zh) * 2023-07-19 2023-10-20 华至云链科技(苏州)有限公司 设备数据实时同步方法及装置

Also Published As

Publication number Publication date
CN111144426B (zh) 2023-05-30
WO2021129527A1 (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
CN111144426B (zh) 一种分拣方法、装置、设备和存储介质
CN111144322A (zh) 一种分拣方法、装置、设备和存储介质
US11878433B2 (en) Method for detecting grasping position of robot in grasping object
WO2020078064A1 (zh) 基于地面纹理图像的导航方法、装置、设备及存储介质
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
WO2018121737A1 (zh) 关键点预测、网络训练及图像处理方法和装置、电子设备
CN110222703B (zh) 图像轮廓识别方法、装置、设备和介质
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN108229305B (zh) 用于确定目标对象的外接框的方法、装置和电子设备
CN110599544A (zh) 一种基于机器视觉的工件定位方法及装置
CN111079638A (zh) 基于卷积神经网络的目标检测模型训练方法、设备和介质
Yin et al. Overview of robotic grasp detection from 2D to 3D
CN117372928A (zh) 一种视频目标检测方法、装置及相关设备
Yoon et al. A new approach to the use of edge extremities for model-based object tracking
CN112857746A (zh) 一种灯光检测仪的追踪方法、装置、电子设备及存储介质
Sahu et al. Shape features for image-based servo-control using image moments
Lin et al. Robot grasping based on object shape approximation and LightGBM
US20160253570A1 (en) Feature vector extraction device
CN111240195A (zh) 基于机器视觉的自动控制模型训练、目标物回收方法及装置
CN115319739A (zh) 一种基于视觉机械臂抓取工件方法
CN114049318A (zh) 一种基于多模态融合特征的抓取位姿检测方法
Bhuyan et al. Structure‐aware multiple salient region detection and localization for autonomous robotic manipulation
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
Geng et al. A Novel Real-time Grasping Method Cobimbed with YOLO and GDFCN
Tiwan et al. Cylindrical pellet pose estimation in clutter using a single robot mounted camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant