CN111598033B - 货物的定位方法、装置、系统及计算机可读存储介质 - Google Patents

货物的定位方法、装置、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN111598033B
CN111598033B CN202010439563.6A CN202010439563A CN111598033B CN 111598033 B CN111598033 B CN 111598033B CN 202010439563 A CN202010439563 A CN 202010439563A CN 111598033 B CN111598033 B CN 111598033B
Authority
CN
China
Prior art keywords
image
segmentation map
goods
cargo
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010439563.6A
Other languages
English (en)
Other versions
CN111598033A (zh
Inventor
黄耀
陈天玓
孙超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aqrose Robot Technology Co ltd
Original Assignee
Beijing Aqrose Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aqrose Robot Technology Co ltd filed Critical Beijing Aqrose Robot Technology Co ltd
Priority to CN202010439563.6A priority Critical patent/CN111598033B/zh
Publication of CN111598033A publication Critical patent/CN111598033A/zh
Application granted granted Critical
Publication of CN111598033B publication Critical patent/CN111598033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种货物的定位方法、装置、系统及计算机可读存储介质，该方法的步骤包括：采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像；将待定位图像输入图像定位模型中，得到待定位图像对应的角点分割图和位置敏感分割图；基于图像定位模型，根据角点分割图和位置敏感分割图确定待定位货物的位置。本发明实现通过有序点云对采集的图像进行分割，将得到的待定位图像输入图像定位模型中，根据图像定位模型输出的角点分割图和位置敏感分割图确定待定位货物的位置，从而提高了货物定位稳定性，以及货物识别率。

Description

货物的定位方法、装置、系统及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种货物的定位方法、装置、系统及计算机可读存储介质。
背景技术
目前图像定位方法有基于Hough(霍夫变换)直线检测的矩形定位方法和patmax(图像位置搜索)模板匹配定位方法。基于Hough直线检测的矩形定位方法就是检测出图像中的相对较长的直线段，然后通过直线段的交点定位矩形角点，再通过矩形角点定位矩形，由于货物上通常有细缝、绳子和胶带等直线纹理，而矩形定位方法极易受直线纹理干扰，导致结果出错。patmax模板匹配定位方法就是通过注册货物表面的模板，计算出一系列用户构造的特征，在测试时，将待测图像按同样规则提取特征，进行模板匹配，从而定位出货物的位置，由于货物表面存在标签、安全绳和胶带等干扰因素，从而导致匹配失败。由此可知，现有图像定位方法的货物定位稳定性低，以及货物识别率低。
发明内容
本发明的主要目的在于提供一种货物的定位方法、装置、系统及计算机可读存储介质，旨在解决现有图像定位方法的货物定位稳定性低，以及货物识别率低的技术问题。
为实现上述目的，本发明提供一种货物的定位方法，所述货物的定位方法应用于机械臂中，其特征在于，所述货物的定位方法包括以下步骤：
采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像；
将所述待定位图像输入图像定位模型中，得到所述待定位图像对应的角点分割图和位置敏感分割图；
基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置。
可选地，所述基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置的步骤包括：
获取所述图像定位模型根据所述角点分割图生成的，构成矩形框的四顶点集；
根据所述位置敏感分割图，计算各个所述四顶点集构成矩形框的位置敏感得分；
根据所述位置敏感得分对所述矩形框进行非极大值抑制，以确定所述待定位货物的位置。
可选地，所述采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像的步骤包括：
对所述待定位货物进行采集，得到所述待定位货物对应的有序点云和色彩模式图像；
根据所述色彩模式图像在所述有序点云中进行广度优先搜索，以分割出所述色彩模式图像中的各个平面，得到所述待定位图像。
可选地，所述采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像的步骤之前，还包括：
获取预设识别品种数据，根据所述预设识别品种数据对样本货物进行采集，并通过有序点云对采集图像进行分割，得到待训练图像；
获取预设识别标注数据，将携带有所述预设识别标注数据的待训练图像进行集合，得到样本图像集；
基于深度学习模型，根据所述样本图像集得到所述图像定位模型。
可选地，所述获取预设识别品种数据，根据所述预设识别品种数据对样本货物进行采集，并通过有序点云对采集图像进行分割，得到待训练图像的步骤包括：
获取预设识别品种数据，并确定所述预设识别品种数据对应的预设份数；
采集预设份数所述样本货物的采集图像，并通过有序点云对所述样本货物的采集图像进行分割，并将分割后的采集图像进行图像增强处理，以得到所述待训练图像。
此外，为实现上述目的，本发明还提供一种货物的定位装置，所述机械臂至少包括视觉系统，其特征在于，所述货物的定位装置包括：
采集模块，用于采集待定位货物的图像；
分割模块，用于通过有序点云对采集的图像进行分割，得到待定位图像；
输入模块，用于将所述待定位图像输入图像定位模型中，得到所述待定位图像对应的角点分割图和位置敏感分割图；
定位模块，用于基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置。
此外，为实现上述目的，本发明还提供一种货物的定位系统，所述货物的定位系统包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的货物的定位程序，所述货物的定位程序被所述处理器完成时实现如上所述的货物的定位方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有货物的定位程序，所述货物的定位程序被处理器完成时实现如上所述的货物的定位方法的步骤。
本发明实现通过有序点云对采集的图像进行分割，将得到的待定位图像输入图像定位模型中，根据图像定位模型输出的角点分割图和位置敏感分割图确定待定位货物的位置。由此可知，在采集图像分割的过程中，采用有序云点对采集进行分割，从而准确地分割出采集图像的各个平面，然后将分割出来的待定位图像输入至预先训练得到可定位多条件货物而且具有高识别率的图像定位模型中，得到图像定位模型输出的角点分割图和位置敏感分割图，根据角点分割图和位置敏感分割图确定待定位货物的四个顶点位置坐标和待定位货物的位置敏感区域，再根据四个顶点位置坐标和位置敏感区域对待定位货物进行准确定位，从而减少了待定位货物表面标签、胶带和安全绳等干扰因素对定位的影响，提高了货物定位稳定性，以及货物识别率。
附图说明
图1是本发明货物的定位方法第一实施例的流程示意图；
图2是本发明货物的定位装置较佳的结构示意图；
图3是本发明实施例方案涉及的硬件运行环境的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种货物的定位方法，参照图1，图1为本发明货物的定位方法第一实施例的流程示意图。
本发明实施例提供了货物的定位方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
货物的定位方法包括:
步骤S10，采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像。
货物的定位方法应用于机械臂中，机械臂至少包括视觉系统，视觉系统通过调用图像采集设备对待定位货物进行采集，得到采集图像，然后根据采集图像中的有序点云将采集图像中待定位货物图像的各个平面分割出来，得到待定位图像。
其中，图像采集设备可以为RGB(色彩模式)相机、深度相机和3D(三维)相机等，本实施例不限制图像采集设备形式。图像采集设备可以是视觉系统自身携带的，也可以是视觉系统外连的。有序点云就是货物外观表面所有点云数据的集合。待定位货物包括但不限制于箱子和类似箱子的矩形产品。采集图像包括待定位货物的有序点云和待定位货物图像。
需要说明的是，有序点云中的点云数据都是以三维坐标表示的，部分点云数据包含有颜色信息(RGB)和反射强度信息(Intensity)。当图像采集设备是视觉系统外连时，图像采集设备需要通过网络接口与视觉系统连接。在采集图像时，视觉系统可同时调用多种图像采集设备进行图像采集。
进一步地，所述步骤S10包括：
步骤a，对所述待定位货物进行采集，得到所述待定位货物对应的有序点云和色彩模式图像；
步骤b，根据所述色彩模式图像在所述有序点云中进行广度优先搜索，以分割出所述色彩模式图像中的各个平面，得到所述待定位图像；
具体地，视觉系统通过调用RGB相机采集待定位货物对应的色彩模式图像，并通过调用3D相机采集待定位货物对应的有序点云，然后展开有序点云中所有节点的点云数据，并根据色彩模式图像在展开后的有序点云中全面搜索，直到在展开后的有序点云中找到能够组成该色彩模式图像对应各个平面的所有点云数据，再将该点云数据从有序点云中分割出来，组合该点云数据得到分割图像。视觉系统得到分割图像之后，对分割图像进行预处理后得到待定位图像。进一步地，将分割图像映射在平面图像中，并通过预设图像预处理方式检测该分割图像中是否存在待定位货物区域，若检测到该分割图像中存在一个或者多个完整待定位货物平面，视觉系统则将一个或者多个完整待定位货物平面对应的区域标记为待定位货物区域，若检测到该分割图像中不存在一个或者多个完整待定位货物平面，视觉系统则将不存在待定位货物平面对应的区域标记为非待定位货物区域，将该分割图像中的待定位货物区域和非待定位货物区域进行区分，得到处理图像，最后视觉系统通过有序点云将处理图像中的待定位货物区域和非待定位货物区域进行不同的背景颜色填充，即保持待定位货物区域的背景颜色不变，将非待定位货物区域背景填充为与原来背景颜色不一样的纯色，得到待定位图像。其中，预设图像预处理方式包括但不限制于全局优化方式和有序点云方式。
需要说明的是，非待定位货物区域背景颜色的填充规则不限，可以填充为某种纯色，也可以填充为随机雪花，本实施例不作限制，填充非待定位货物区域的主要目的是为消除非待定位货物区域背景对图像定位模型推理的干扰。
步骤S20，将所述待定位图像输入图像定位模型中，得到所述待定位图像对应的角点分割图和位置敏感分割图。
视觉系统得到待定位图像之后，将该待定位图像输入至图像定位模型中，得到图像定位模型根据该待定位图像输出的7个输出张量，前4个输出张量分别对应构成该待定位图像对应角点分割图的四个顶点，左上角、右上角、右下角和左下角位置坐标张量，第5个输出张量为位置敏感分割图边缘张量，后2个输出张量为位置敏感分割图张量，然后通过位置坐标张量构成该待定位图像对应的角点分割图，通过位置敏感分割图张量构成该待定位图像对应的位置敏感分割图。
需要说明的是，角点分割图为25通道张量，第0通道为非角点类张量，第1至24通道为角点类张量，角点类张量为角点与货物中心连线与货物水平方向的夹角，夹角可记为β，β的范围可表示为i*15°≤β≤(i+1)*15°,(1≤i≤24)。位置敏感分割图为9通道张量，第0通道为非区域内点张量，第1至8通道为区域内点张量，分别对应位置敏感分割图的第1至第8类，而且每一类的颜色是不同的，左上角固定为第1类。其中，位置敏感分割图的分类可根据通道张量进行分类，也可根据像素在区域内的相对位置进行分类。
步骤S30，基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置。
视觉系统基于图像定位模型，获取角点分割图对应的各组四顶点位置坐标，根据各组四顶点位置坐标组成对应的矩形框，然后将所有的矩形框与位置敏感分割图一一进行位置叠加，确定与位置敏感分割图重合程度最大的矩形框，并确定该矩形框对应的四顶点位置坐标为该待定位货物上表面的四顶点位置坐标。
进一步地，所述步骤S30包括：
步骤c，获取所述图像定位模型根据所述角点分割图生成的，构成矩形框的四顶点集；
步骤d，根据所述位置敏感分割图，计算各个所述四顶点集构成矩形框的位置敏感得分；
步骤e，根据所述位置敏感得分对所述矩形框进行非极大值抑制，以确定所述待定位货物的位置。
具体地，视觉系统获取图像定位模型根据角点分割图生成能够构成矩形框的所有四顶点集，并将所有四顶点集组成对应的矩形框，然后将得到的矩形框与位置敏感分割图进行形状和位置对比，对比矩形框与位置敏感分割图的形状，根据两者的形状相似程度得到形状相似值，以及对比矩形框与位置敏感分割图的位置，根据两者位置的覆盖程度得到位置覆盖值，将形状相似值和位置覆盖值进行加权计算，得到各个四顶点集的位置敏感得分。视觉系统在得到位置敏感得分之后，将该位置敏感得分与视觉系统中预设得分进行比较，并删除位置敏感得分小于或者等于预设得分对应的四顶点集，保留位置敏感得分大于预设得分对应的四顶点集，并将位置敏感得分大于预设得分对应的四顶点集确定为待定位货物上表面的四个顶点位置坐标。
需要说明的是，视觉系统在比较矩形框和位置敏感分割图之前，需要判断组成的所有矩形框中是否存在重叠矩形框，若存在重叠矩形框，视觉系统则将重叠矩形框对应的四顶点集进行合并，若不存在重叠矩形框，视觉系统则保持各四顶点集不变。
本实施例实现通过有序点云对采集的图像进行分割，将得到的待定位图像输入图像定位模型中，根据图像定位模型输出的角点分割图和位置敏感分割图确定待定位货物的位置。由此可知，在采集图像分割的过程中，采用有序云点对采集进行分割，从而准确地分割出采集图像的各个平面，然后将分割出来的待定位图像输入至预先训练得到可定位多条件货物而且具有高识别率的图像定位模型中，得到图像定位模型输出的角点分割图和位置敏感分割图，根据角点分割图和位置敏感分割图确定待定位货物的四个顶点位置坐标和待定位货物的位置敏感区域，再根据四个顶点位置坐标和位置敏感区域对待定位货物进行准确定位，从而减少了待定位货物表面标签、胶带和安全绳等干扰因素对定位的影响，提高了货物定位稳定性，以及货物识别率。
进一步地，提出本发明货物的定位方法第二实施例。
所述货物的定位方法第二实施例与所述货物的定位方法第一施例的区别在于，所述货物的定位方法还包括：
步骤f，获取预设识别品种数据，根据所述预设识别品种数据对样本货物进行采集，并通过有序点云对采集图像进行分割，得到待训练图像；
步骤g，获取预设识别标注数据，将携带有所述预设识别标注数据的待训练图像进行集合，得到样本图像集；
步骤h，基于深度学习模型，根据所述样本图像集得到所述图像定位模型。
具体地，视觉系统获取用户预先在视觉系统中设定的预设识别品种数据，通过调用图像采集设备，并根据预设识别品种数据对样本货物采集相应数量的采集图像，然后通过第一实施例有序点云的方式对采集图像进行分割，得到待训练图像，接着获取待训练图像中的标注数据，并将待训练像中的标注数据与视觉系统中识别要求的预设识别标注数据进行对比，并判断待训练图像中的标注数据是否符合预设识别标注数据，若待训练图像中的标注数据与预设识别标注数据一样，说明待训练图像中的标注数据符合预设识别标注数据，视觉系统则将符合预设识别标注数据对应的待训练图像进行集合，得到样本图像集，若待训练图像中的标注数据与预设识别标注数据一样，说明待训练图像中的标注数据不符合预设识别标注数据，视觉系统则将不符合预设识别标注数据对应的处理图像保存在视觉系统自身中，不作任何处理。最后将该样本图像集输入预设要求的深度学习模型中进行模型训练，得到图像定位模型。
其中，预设识别品种数据和预设识别标注数据是采集图像之前，用户在视觉系统中设定的。预设要求是根据需求设定的，本实施例不作限制。
在本实施例中，比如，深度学习模型的预设要求为，设置深度学习模型的学习率在0.0001到0.001之间、采用学习率衰减策略和训练迭代次数不少于60000次等等。
进一步地，所述步骤f包括：
步骤i，获取预设识别品种数据，并确定所述预设识别品种数据对应的预设份数；
步骤j，采集预设份数所述样本货物的采集图像，并通过有序点云对所述样本货物的采集图像进行分割，并将分割后的采集图像进行图像增强处理，以得到所述待训练图像。
具体地，视觉系统获取视觉系统中的预设识别品种数据，根据视觉系统中的映射数据表确定该预设识别品种数据对应的预设份数，然后通过调用RGB相机采集每个品种样本货物都对应预设份数的色彩模式图像，并通过调用3D相机，采集各个品种样本货物对应预设份数的有序点云，然后展开有序点云中所有节点的点云数据，并根据色彩模式图像在展开后的有序点云中全面搜索，直到在展开后的有序点云中找到能够组成该色彩模式图像对应各个平面的所有点云数据，再将该点云数据从有序点云中分割出来，并通过第一实施例的图像预处理方式对分割出来图像进行预处理，将预处理后分割图像中的非样本货物区域进行随机平移变换、随机旋转角度、随机缩放变换和随机亮度变换等，得到待训练图像。
其中，预设识别标注数据包括但不限制于货物安全绳、货物标签、胶带和货物顶点位置，预设识别标注数据是用户预先在视觉系统中设定的，可根据实际识别情况设定，本实施例不作限制。
需要说明的是，待训练图像中的标注数据是在视觉系统采集样本货物图像时，用户根据样本货物图像的实际情况标注的。在采集图像之前，用户已经在数据系统中设定了预设识别品种数据和预设份数之间的映射关系，视觉系统根据该映射关系生成了映射数据表并存储该映射数据表。随机平移变换、随机旋转角度的过程是变化并正确遮住非样本货物区域的位置。随机亮度变换的过程是对样本货物区域进行亮度增强或减弱，非样本货物区域的RGB值保持不变。
进一步地，在本发明中，对于任何数量的品类数据，视觉系统均只采集3张有效采集图像，即视觉系统只采集3张无障碍物遮挡和无强光等极端干扰情况下的采集图像，即可保证识别率达到预定指标。视觉系统若增加采集图像的数量，不仅会增加图像采集成本，而且不能够明显提升识别效果指标，如漏检率和误检率等。因此，视觉系统采集3张采集图像，不随品类数量的变化而变化。需要说明的是，视觉系统采集的3张采集图像中，至少包含有一张“顶层满载”的采集图像。
需要说明的是，视觉系统通过图像预处理和图像增强使得图像采集的工作量降至可控且较小的范围内，即通过将非样本货物区域进行随机平移变换、随机旋转角度、随机缩放变换和随机亮度变换等，使训练集的数据多样性提高，从而使训练出的模型能应对各种复杂的情况。
本实施例通过获取预设识别品种数据，根据预设识别品种数据对样本货物进行采集，并通过有序点云对采集图像进行分割，得到待训练图像，获取预设识别标注数据，将携带有预设识别标注数据的待训练图像进行集合，得到样本图像集，基于深度学习模型，根据样本图像集得到图像定位模型。由此可知，通过第一实施例的图像采集方式和图像处理方式，从而得到了高识别的待训练图像集，然后根据预设识别标注数据将符合条件的待训练图像进行集合，从而得到抗干扰的样本图像集，最后将样本图像集基于深度学习模型训练得到图像定位模型，从而提高了货物定位的稳定性，以及货物识别率。
此外，本发明还提供一种货物的定位装置，所述货物的定位装置应用于机械臂中，所述机械臂至少包括视觉系统，参照图2，所述货物的定位装置包括：
采集模块10，用于采集待定位货物的图像；
分割模块20，用于通过有序点云对采集的图像进行分割，得到待定位图像；
输入模块30，用于将所述待定位图像输入图像定位模型中，得到所述待定位图像对应的角点分割图和位置敏感分割图；
定位模块40，用于基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置。
进一步地，所述预定位模块40包括：
获取单元，用于获取所述图像定位模型根据所述角点分割图生成的，构成矩形框的四顶点集；
第一计算单元，用于根据所述位置敏感分割图，计算各个所述四顶点集构成矩形框的位置敏感得分；
限制单元，用于根据所述位置敏感得分对所述矩形框进行非极大值抑制，以确定所述待定位货物的位置。
进一步地，所述采集模块10还用于对所述待定位货物进行采集，得到所述待定位货物对应的有序点云和色彩模式图像。
进一步地，所述分割模块20包括：
搜索单元，用于根据所述色彩模式图像在所述有序点云中进行广度优先搜索，以分割出所述色彩模式图像中的各个平面，得到所述待定位图像。
进一步地，所述货物的定位装置还包括：
第一获取模块，用于获取预设识别品种数据。
进一步地，所述采集模块10还用于根据所述预设识别品种数据对样本货物进行采集；
所述分割模块20还用于通过有序点云对采集图像进行分割，得到待训练图像。
进一步地，所述货物的定位装置还包括：
第二获取模块，用于获取预设识别标注数据；
集合模块，用于将携带有所述预设识别标注数据的待训练图像进行集合，得到样本图像集。
确定模块，用于基于深度学习模型，根据所述样本图像集得到所述图像定位模型。
进一步地，所述第一获取模块还用于获取预设识别品种数据；
所述确定模块还用于确定所述预设识别品种数据对应的预设份数；
所述采集模块10还用于采集预设份数所述样本货物的采集图像；
所述分割模块20还用于通过有序点云对所述样本货物的采集图像进行分割。
进一步地，所述货物的定位装置还包括：
增强模块，用于将分割后的采集图像进行图像增强处理，以得到所述待训练图像。
本发明基于货物的定位装置具体实施方式与上述基于货物的定位方法各实施例基本相同，在此不再赘述。
此外，本发明还提供一种货物的定位系统。如图3所示，图3是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图3即可为货物的定位系统的硬件运行环境的结构示意图。
如图3所示，该货物的定位系统可以包括：处理器1001，例如CPU(CentralProcessing Unit，中央处理器)，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，处理器1001有图像分析、构建模型、图像定位和图像检测等功能，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(board)，可选用户接口1003还可以包括标准的有线接口(如USB(Universal SerialBus，通用串行总线)接口)、无线接口(如蓝牙接口)。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI((Wireless-Fidelity))接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。存储器1005主要用于存储样本图像、映射数据表和图像定位模型。
可选地，货物的定位系统还可以包括RF(Radio Frequency，射频)电路，传感器、WiFi模块等等。
本领域技术人员可以理解，图3中示出的货物的定位系统结构并不构成对货物的定位系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及货物的定位程序。其中，操作系统是管理和控制货物的定位系统硬件和软件资源的程序，支持货物的定位程序以及其它软件或程序的运行。
在图所示的货物的定位系统中，用户接口1003主要用于图像采集设备，以采集样本货物图像和待定位货物图像；网络接口1004主要用于视觉系统，与图像采集设备进行图像传输；处理器1001可以用于调用存储器1005中存储的货物的定位程序，并完成如上所述的货物的定位系统的控制方法的步骤。
本发明货物的定位系统具体实施方式与上述货物的定位方法各实施例基本相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有货物的定位程序，所述货物的定位程序被处理器完成时实现如上所述的货物的定位方法的步骤。
本发明计算机可读存储介质具体实施方式与上述货物的定位方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的数据下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多数据下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件货物的形式体现出来，该计算机软件货物存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台货物的定位系统完成本发明各个实施例所述的方法。

Claims (7)

1.一种货物的定位方法，所述货物的定位方法应用于机械臂中，其特征在于，所述货物的定位方法包括以下步骤：
采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像；
将所述待定位图像输入图像定位模型中，得到所述待定位图像对应的角点分割图和位置敏感分割图，其中，所述图像定位模型根据所述待定位图像输出7个输出张量，前4个输出张量分别对应构成所述待定位图像对应角点分割图的四个顶点，左上角、右上角、右下角和左下角位置坐标张量，第5个输出张量为位置敏感分割图边缘张量，后2个输出张量为位置敏感分割图张量，通过位置坐标张量构成所述待定位图像对应的角点分割图，通过位置敏感分割图张量构成该待定位图像对应的位置敏感分割图，所述角点分割图还包括角点与货物中心连线及货物水平方向的夹角；
基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置；
所述采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像的步骤包括：
对所述待定位货物进行采集，得到所述待定位货物对应的有序点云和色彩模式图像；
展开有序点云中所有节点的点云数据，并根据色彩模式图像在展开后的有序点云中全面搜索，直到在展开后的有序点云中找到能够组成该色彩模式图像对应各个平面的所有点云数据，再将该点云数据从有序点云中分割出来，组合该点云数据得到分割图像；
将所述分割图像映射在平面图像中，检测所述分割图像中的待定位货物区域和非待定位货物区域；
通过有序点云将所述待定位货物区域和非待定位货物区域进行不同的背景颜色填充，得到待定位图像。
2.如权利要求1所述的货物的定位方法，其特征在于，所述基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置的步骤包括：
获取所述图像定位模型根据所述角点分割图生成的，构成矩形框的四顶点集；
根据所述位置敏感分割图，计算各个所述四顶点集构成矩形框的位置敏感得分；
根据所述位置敏感得分对所述矩形框进行非极大值抑制，以确定所述待定位货物的位置。
3.如权利要求1所述的货物的定位方法，其特征在于，所述采集待定位货物的图像，并通过有序点云对采集的图像进行分割，得到待定位图像的步骤之前，还包括：
获取预设识别品种数据，根据所述预设识别品种数据对样本货物进行采集，并通过有序点云对采集图像进行分割，得到待训练图像；
获取预设识别标注数据，将携带有所述预设识别标注数据的待训练图像进行集合，得到样本图像集；
基于深度学习模型，根据所述样本图像集得到所述图像定位模型。
4.如权利要求3所述的货物的定位方法，其特征在于，所述获取预设识别品种数据，根据所述预设识别品种数据对样本货物进行采集，并通过有序点云对采集图像进行分割，得到待训练图像的步骤包括：
获取预设识别品种数据，并确定所述预设识别品种数据对应的预设份数；
采集预设份数所述样本货物的采集图像，并通过有序点云对所述样本货物的采集图像进行分割，并将分割后的采集图像进行图像增强处理，以得到所述待训练图像。
5.一种货物的定位装置，所述货物的定位装置应用于机械臂中，其特征在于，所述货物的定位装置包括：
采集模块，用于采集待定位货物的图像；
分割模块，用于通过有序点云对采集的图像进行分割，得到待定位图像；
输入模块，用于将所述待定位图像输入图像定位模型中，得到所述待定位图像对应的角点分割图和位置敏感分割图，其中，所述图像定位模型根据所述待定位图像输出7个输出张量，前4个输出张量分别对应构成所述待定位图像对应角点分割图的四个顶点，左上角、右上角、右下角和左下角位置坐标张量，第5个输出张量为位置敏感分割图边缘张量，后2个输出张量为位置敏感分割图张量，通过位置坐标张量构成所述待定位图像对应的角点分割图，通过位置敏感分割图张量构成该待定位图像对应的位置敏感分割图，所述角点分割图还包括角点与货物中心连线及货物水平方向的夹角；
定位模块，用于基于所述图像定位模型，根据所述角点分割图和所述位置敏感分割图确定所述待定位货物的位置；
所述采集模块，还用于对所述待定位货物进行采集，得到所述待定位货物对应的有序点云和色彩模式图像；
所述分割模块，还用于展开有序点云中所有节点的点云数据，并根据色彩模式图像在展开后的有序点云中全面搜索，直到在展开后的有序点云中找到能够组成该色彩模式图像对应各个平面的所有点云数据，再将该点云数据从有序点云中分割出来，组合该点云数据得到分割图像；将所述分割图像映射在平面图像中，检测所述分割图像中的待定位货物区域和非待定位货物区域；通过有序点云将所述待定位货物区域和非待定位货物区域进行不同的背景颜色填充，得到待定位图像。
6.一种货物的定位系统，其特征在于，所述货物的定位系统包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的货物的定位程序，所述货物的定位程序被所述处理器完成时实现如权利要求1至4中任一项所述的货物的定位方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有货物的定位程序，所述货物的定位程序被处理器完成时实现如权利要求1至4中任一项所述的货物的定位方法的步骤。
CN202010439563.6A 2020-05-21 2020-05-21 货物的定位方法、装置、系统及计算机可读存储介质 Active CN111598033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010439563.6A CN111598033B (zh) 2020-05-21 2020-05-21 货物的定位方法、装置、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439563.6A CN111598033B (zh) 2020-05-21 2020-05-21 货物的定位方法、装置、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111598033A CN111598033A (zh) 2020-08-28
CN111598033B true CN111598033B (zh) 2023-05-30

Family

ID=72189180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010439563.6A Active CN111598033B (zh) 2020-05-21 2020-05-21 货物的定位方法、装置、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111598033B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112229331B (zh) * 2020-09-22 2022-01-07 南京理工大学 基于单目视觉的物体旋转角度与平移距离的测量方法
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN110102490A (zh) * 2019-05-23 2019-08-09 北京阿丘机器人科技有限公司 基于视觉技术的流水线包裹分拣装置和电子设备
CN110322457A (zh) * 2019-07-09 2019-10-11 中国大恒(集团)有限公司北京图像视觉技术分公司 一种2d与3d视觉结合的拆垛方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN110102490A (zh) * 2019-05-23 2019-08-09 北京阿丘机器人科技有限公司 基于视觉技术的流水线包裹分拣装置和电子设备
CN110322457A (zh) * 2019-07-09 2019-10-11 中国大恒(集团)有限公司北京图像视觉技术分公司 一种2d与3d视觉结合的拆垛方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
yufeng qu等.Automated de-stacking using compact and low-cost robotized system.《Industrial Robot: An International Jornal》.2014,第第41卷卷176-189. *
徐凯翔.基于三维视觉技术的混合垛拆垛分析与定位方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2020,I138-1748. *

Also Published As

Publication number Publication date
CN111598033A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
EP3506156A1 (en) Method and apparatus for detecting lane line, and medium
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN102073846B (zh) 基于航拍图像的交通信息获取方法
CN110502982B (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
CN110176078B (zh) 一种训练集数据的标注方法及装置
CN106326858A (zh) 一种基于深度学习的公路交通标志自动识别与管理系统
CN105740910A (zh) 一种车辆物件检测方法及装置
CN111598033B (zh) 货物的定位方法、装置、系统及计算机可读存储介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
US20230162371A1 (en) Image processing apparatus, image processing method, and computer-readable medium
CN103439348A (zh) 基于差影法的遥控器按键缺陷检测方法
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN109767431A (zh) 零件外观缺陷检测方法、装置、设备及可读存储介质
CN108416304B (zh) 一种利用上下文信息的三分类人脸检测方法
KR20190059083A (ko) 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
CN115239700A (zh) 一种脊椎Cobb角测量方法、装置、设备及存储介质
CN111626241A (zh) 一种人脸检测方法及装置
JPH0793561A (ja) エッジ及び輪郭抽出装置
CN114140612A (zh) 电力设备隐患检测方法、装置、设备及存储介质
CN105631849B (zh) 多边形目标的变化检测方法及装置
JP2007033931A (ja) 衛星画像等を用いた地図作成のための道路認識システム
CN117788444A (zh) Smt贴片偏移检测方法、装置及视觉检测系统
US20230334819A1 (en) Illuminant estimation method and apparatus for electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant