CN109102543A - 基于图像分割的物体定位方法、设备和存储介质 - Google Patents

基于图像分割的物体定位方法、设备和存储介质 Download PDF

Info

Publication number
CN109102543A
CN109102543A CN201810943480.3A CN201810943480A CN109102543A CN 109102543 A CN109102543 A CN 109102543A CN 201810943480 A CN201810943480 A CN 201810943480A CN 109102543 A CN109102543 A CN 109102543A
Authority
CN
China
Prior art keywords
image
target
convolutional neural
positioning method
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810943480.3A
Other languages
English (en)
Other versions
CN109102543B (zh
Inventor
邓耀桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Blue Fat Robot Co Ltd
Original Assignee
Shenzhen Blue Fat Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Blue Fat Robot Co Ltd filed Critical Shenzhen Blue Fat Robot Co Ltd
Priority to CN201810943480.3A priority Critical patent/CN109102543B/zh
Publication of CN109102543A publication Critical patent/CN109102543A/zh
Priority to US16/437,287 priority patent/US11144787B2/en
Application granted granted Critical
Publication of CN109102543B publication Critical patent/CN109102543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种基于图像分割的物体定位方法、设备和存储介质，该方法包括：收集训练图像并对训练图像进行标注，形成一个训练数据库；设计一个完全卷积神经网络；将训练数据库输入完全卷积神经网络中，对完全卷积神经网络进行训练，得到一个目标神经网络；根据目标神经网络，对物流系统中的物体图像进行标记与定位。本发明实施例通过以利用实际应用场景中采集的训练样本对完全卷积神经网络模型进行训练，获取优化的完全卷积神经网络模型，有较高的鲁棒性和分割精度。特别是，在处理物流系统中的信封包裹时，能够对多个相互重叠的信封区域进行高精度分割，使得机械手每一次抓取的时候只抓取一个信封，极大提高物流分拣的精确度。

Description

基于图像分割的物体定位方法、设备和存储介质
技术领域
本发明实施例涉及机器人分拣领域，特别涉及基于图像分割的物体定位方法、设备和存储介质。
背景技术
目前随着物流自动化的发展，机器人分拣也越来越火热。越来越多的货物需要快速进行分拣。在实际操作中，许多货物堆叠在一起，需要进行区分。
但是，现有的图像分割算法通常仅算出一个大致的矩形边框，不能准确的涵盖物体的所有像素点，包含了大量的背景信息，并造成定位不准确，也无法得到准确的姿态。
发明内容
本发明实施例的主要目的是提供一种基于图像分割的物体定位方法、设备和存储介质，旨在使图像分割精确到物体的每一像素，使图像分割达到像素级别，以达到目标物体定位准确和姿态判断准确的效果。
根据本发明的一个方面，提供的一种基于图像分割的物体定位方法，用于物流系统中，该方法包括：收集训练图像并对训练图像进行标注，形成一个训练数据库；设计一个完全卷积神经网络；将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；根据目标神经网络，对物流系统中的物体图像进行标记与定位。
进一步的，所述收集训练图像并对训练图像进行标注包括：摄像头在不同角度拍摄多个互相重叠的训练物体，获取其训练图像。
进一步的，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注。
进一步的，所述训练物体的标注为像素级别的人工标注。
进一步的，所述完全卷积神经网络设有卷积层、池化层以及反卷积层。
进一步的，所述将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络包括：根据所述述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。
进一步的，所述目标神经网络包括所述目标反卷积层，以及所述根据目标神经网络，对物流系统中的物体图像进行标记与定位包括：物体图像通过目标神经网络的下样化，获得所述物体图像的多个像素点组成；在所述目标神经网络中对每一像素点进行分类，得到像素点的分类结果；通过所述目标反卷积层的上样化，获得与原始的物体图像大小相同的分类图像。
进一步的，所述根据目标神经网络，对物流系统中的物体图像进行标记与定位还包括：根据所述像素点的分类结果，在分类图像中定位标记目标物体的边界。
进一步的，所述在分类图像中定位标记目标物体的边界包括：根据已分类的像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线；将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；根据所述参考平面和相关平面拟合出目标物体区域。
进一步的，根据所述目标物体区域获取所述目标物体，通过机械手将所述目标物体放置在目标位置。
根据本发明的另一方面，提供一种基于图像分割的物体定位设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的基于图像分割的物体定位方法的步骤。
根据本发明的再一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于图像分割的物体定位方法的步骤。
本发明实施例所提供的基于图像分割的物体定位方法、设备和存储介质，通过以利用实际应用场景中采集的训练样本对完全卷积神经网络模型进行训练。这样，经过迭代训练，本发明实施例的图像分割的技术方案可以获取到优化的完全卷积神经网络模型。在此基础上，本发明实施例的基于图像分割的物体定位方法可以有较高的鲁棒性和分割精度。特别是，本发明实施例的基于图像分割的物体定位方法在处理物流系统中的信封包裹时，能够对多个相互重叠的信封区域进行高精度分割，精确的提取出位于最上层的一个信封，使得机械手每一次抓取的时候只抓取一个信封，极大提高物流分拣的精确度与体验感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例提供的一种基于图像分割的物体定位方法的流程图；
图2为本发明实施例提供的另一种基于图像分割的物体定位方法的流程图；
图3为本发明实施例中物体标记与定位方法的应用例的一示意；
图4为本发明实施例中物体标记与定位方法的应用例的另一示意图；
本发明实施例目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。
实施例一
本实施例提供了一种基于图像分割的物体定位方法，用于物流系统中，使得精确的分割出目标物体以供机械手抓取，请结合参看图1至图4，所述基于图像分割的物体定位方法包括：
S1、收集训练图像并对训练图像进行标注，形成一个训练数据库。
其中，在物流分拣信封的场景下，根据多个信封在分拣时出现的实际情况，将多个信封根据出现的实际情况摆放出不同的状态，获取信封的训练图像可以成千上万，通过越多的训练图像能够越多的训练分类模型。多个训练分类模型包括处于多种形态，多种角度，多种距离和或多种光线的物体状态，从而能够使训练结果具有更强的鲁棒性。具体的，比如三个信封相互重叠，位于最上方的信封没有被遮挡，多个摄像头从不同角度拍摄第一场景图像，以此收集训练图像；或者四个信封相互重叠，位于表面的一个信封的没有被遮挡的面积为70％，多个摄像头从不同角度拍摄第二场景图像，以此收集训练图像。此步骤为在实际应用场景中采集的多样性的训练样本，对每一个训练样本进行手工标注，手工标注为像素级别的标注，最后所有的训练样本形成一个训练数据库。
具体的，通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。其中，本实施例中，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注，其中预设条件为设置完整度达到70％的物体进行标注。完整度是指，在训练图像中，最上层的物体没有被遮挡的部分，而通过未被遮挡的区域完整度达到70％的物体，则能够使得训练更具有针对性，能够使得视觉结构识别出目标物体，使得系统在识别原始图像中的物体时，仅仅能够识别到最上层，并且能够抓取的物体。
S2、设计一个完全卷积神经网络。
本文所使用的完全卷积神经网络使用具有生物神经元的简化功能的人工神经元，人工神经元可以通过具有连接加权的连接线进行连接。神经网络可以通过人工神经元执行至少一定程度上类似于人的识别功能或训练处理的识别功能或训练处理。人造神经元也被称为节点。
所述完全卷积神经网络设有卷积层、池化层以及反卷积层。卷积层可以接收用于执行训练的输入，并且将输入传送到池化层。反卷积层可以基于从池化层的节点接收的信号生成完全卷积神经网络的输出。池化层可以被布置在卷积层和反卷积层之间，并且将通过输入层传送的训练数据改变到预测值。
S3、将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络。
具体的，根据所述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。
在所述完全卷积神经网络中包括一图像模型，图像模型是指被训练为基于输入生成期望输出的模型，并且指示机器学习结构中的参数。机器学习结构可以被表达为可以基于训练处理生成关于输入到函数的输入数据的一个或多个参数的预测、决定和/或分类作为输出数据的函数。具体的，所述训练图像通过所述完全神经网络的卷积层输入到完全卷积神经网络的图像模型中，池化层提取出所述训练图像的多个像素点，将多个像素点传送到反卷积层，通过观察反卷积层的输出的图像，判断输出的图像是否与输入的训练图像的大小相等，不断的调节完全卷积神经网络的参数，使得反卷积层输出的图像的大小严格跟输入的训练图像大小相等，以此得到目标反卷积层。
S4、根据目标神经网络，对物流系统中的物体图像进行标记与定位。
具体的，所述目标神经网络包括所述目标反卷积层，把训练好的所述目标神经网络处理物流系统中机械手要获取的目标物体，使得所述目标神经网络能把目标物体的像素点识别分类出来。物体图像通过目标神经网络的卷积层下样化，获得所述物体图像的多个像素点组成；在所述目标神经网络中对每一像素点进行分类，得到像素点的分类结果；通过所述目标反卷积层的上样化，获得与原始的物体图像大小相同的分类图像，使得经过目标神经网络能够高效和准确进行分类，从而获得对应每一物体的像素点集。从而再进行后续步骤时，能够定位准确，并且得到准确的姿态。
请参考图2，S5、根据所述像素点的分类结果，在分类图像中定位标记目标物体的边界。
具体的，根据已分类的像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线。将已分类的像素点云进行拼合，而获得具有目标物体的完整长宽高信息的拼合像素点云之后，再根据拼合像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线。其中，通过拼合像素点云拟合出多个矩形区域，可以将像素点云进行分隔，而将属于同一平面的像素点云进行集合，再根据该像素点云集合的边缘来拟合出矩形区域。
将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面。其中，预设条件可以是矩形区域的面积达到多少，以及形成矩形区域的像素点云的密度达到多少，以及是否位于图像的预设位置等等。通过预设条件的筛选，则可以获得属于目标物体的一个矩形区域，标记为参考平面。相应的，由于本实施例中的信封为矩形体状，因此其他的矩形区域应当与该矩形区域具有法线垂直的属性。因此，再查找法线与该矩形区域的法线相垂直的其他矩形区域，而这些区域则为属于目标物体的其他矩形区域。这些区域标记为相关平面。
在本实施例中，在找到参考平面和相关平面之后，再根据所述参考平面和相关平面拟合出目标物体区域。具体的目标物体设为信封，若参考平面和相关平面包括三个面，则根据这三个面的边缘信息，则可以估计获得另外三个面，从而完成拟合信封区域，如图3所示。若参考平面和相关平面包括四个面，则可以根据四个面的边缘信息估计获得另外两个面，从而完成拟合箱体区域，等等。
在本实施例中，根据所述目标物体区域获取所述目标物体，通过机械手将所述目标物体放置在目标位置。
本实施例所提供的信封拟合方法，通过采用深度摄像头，从而可以获得信封的像素点云。再通过像素点云进行提取平面以及拟合矩形区域，然后通过识别属于信封的矩形区域，最后所识别的这些矩形区域拟合出信封区域，进而大幅提高了识别信封形状的准确度，提高机器人分拣的成功率。
本实施例提供了一种基于图像分割的物体定位方法，通过收集形成训练数据库，设计的完全卷积神经网络通过训练数据库的不断训练，使得设计的完全卷积神经网络得到一个目标的神经网络，目标神经网络用于物流系统中的场景应用，物流系统中的机械手要获取的目标物体，先通过视觉系统获取目标物体的目标图像，将目标图像输入目标神经网络后，目标神经网络对目标图像进行标记与定位得到目标物体的像素点的分类结果，再通过系统算法将像素点的分类结果拟合出目标物体的边界与位置，将目标物体的边界与位置发送给机械手，使得机械手精确的抓取目标物体。
实施例二
本发明实施例还提供了一种基于图像分割的物体定位设备，该设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的基于图像分割的物体定位程序，所述基于图像分割的物体定位程序被所述处理器执行时实现如下步骤(请参考图1)：
S1、收集训练图像并对训练图像进行标注，形成一个训练数据库；
S2、设计一个完全卷积神经网络；
S3、将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；
S4、根据目标神经网络，对物流系统中的物体图像进行标记与定位。
本实施例所提供的基于图像分割的物体定位设备，通过收集形成训练数据库，设计的完全卷积神经网络通过训练数据库的不断训练，使得设计的完全卷积神经网络得到一个目标的神经网络，目标神经网络用于物流系统中的场景应用，物流系统中的机械手要获取的目标物体，先通过视觉系统获取目标物体的目标图像，将目标图像输入目标神经网络后，目标神经网络对目标图像进行标记与定位得到目标物体的像素点的分类结果，再通过系统算法将像素点的分类结果拟合出目标物体的边界与位置，将目标物体的边界与位置发送给机械手，使得机械手精确的抓取目标物体。
需要说明的是，本实施例的基于图像分割的物体定位设备实施例与上述方法实施例以属于同一构思，其具体实现过程详细参见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，可以参照上述基于图像分割的物体定位方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。
实施例三
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时实现如下步骤(请参考图1)：
S1、收集训练图像并对训练图像进行标注，形成一个训练数据库；
S2、设计一个完全卷积神经网络；
S3、将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；
S4、根据目标神经网络，对物流系统中的物体图像进行标记与定位。
本实施例所提供的计算机可读存储介质，通过收集形成训练数据库，设计的完全卷积神经网络通过训练数据库的不断训练，使得设计的完全卷积神经网络得到一个目标的神经网络，目标神经网络用于物流系统中的场景应用，物流系统中的机械手要获取的目标物体，先通过视觉系统获取目标物体的目标图像，将目标图像输入目标神经网络后，目标神经网络对目标图像进行标记与定位得到目标物体的像素点的分类结果，再通过系统算法将像素点的分类结果拟合出目标物体的边界与位置，将目标物体的边界与位置发送给机械手，使得机械手精确的抓取目标物体。
需要说明的是，本实施例的计算机可读存储介质与上述方法实施例以属于同一构思，其具体实现过程详细参见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，可以参照上述基于图像分割的物体定位方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明实施例各个实施例所述的方法。
上面结合附图对本发明实施例的实施例进行了描述，但是本发明实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明实施例的启示下，在不脱离本发明实施例宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明实施例的保护之内。

Claims (12)

1.一种基于图像分割的物体定位方法，用于物流系统中，其特征在于，该方法包括：
收集训练图像并对训练图像进行标注，形成一个训练数据库；
设计一个完全卷积神经网络；
将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络；
根据目标神经网络，对物流系统中的物体图像进行标记与定位。
2.如权利要求1所述的基于图像分割的物体定位方法，其特征在于，所述收集训练图像并对训练图像进行标注包括：摄像头在不同角度拍摄多个互相重叠的训练物体，获取其训练图像。
3.如权利要求2所述的基于图像分割的物体定位方法，其特征在于，对所述训练图像中位于最上层的可视面积大于预设条件的训练物体进行标注。
4.如权利要求3所述的基于图像分割的物体定位方法，其特征在于，所述训练物体的标注为像素级别的人工标注。
5.如权利要求1所述的基于图像分割的物体定位方法，其特征在于，所述完全卷积神经网络设有卷积层、池化层以及反卷积层。
6.如权利要求5所述的基于图像分割的物体定位方法，其特征在于，所述将所述训练数据库输入所述完全卷积神经网络中，对所述完全卷积神经网络进行训练，得到一个目标神经网络包括：根据所述述完全卷积神经网络的输出结果，输入指令对所述反卷积层进行训练，得到目标反卷积层。
7.如权利要求6所述的基于图像分割的物体定位方法，其特征在于，所述目标神经网络包括所述目标反卷积层，以及所述根据目标神经网络，对物流系统中的物体图像进行标记与定位包括：
物体图像通过目标神经网络的下样化，获得所述物体图像的多个像素点组成；
在所述目标神经网络中对每一像素点进行分类，得到像素点的分类结果；
通过所述目标反卷积层的上样化，获得与原始的物体图像大小相同的分类图像。
8.如权利要求7所述的基于图像分割的物体定位方法，其特征在于，
所述根据目标神经网络，对物流系统中的物体图像进行标记与定位还包括：根据所述像素点的分类结果，在分类图像中定位标记目标物体的边界。
9.如权利要求8所述的基于图像分割的物体定位方法，其特征在于，
所述在分类图像中定位标记目标物体的边界包括：根据已分类的像素点云拟合出多个矩形区域，并且获得每一矩形区域的法线；
将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；
根据所述参考平面和相关平面拟合出目标物体区域。
10.如权利要求9所述的基于图像分割的物体定位方法，其特征在于，根据所述目标物体区域获取所述目标物体，通过机械手将所述目标物体放置在目标位置。
11.一种基于图像分割的物体定位设备，其特征在于，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至10中任意一项所述的基于图像分割的物体定位方法的步骤。
12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至10中任意一项所述的基于图像分割的物体定位方法的步骤。
CN201810943480.3A 2018-08-17 2018-08-17 基于图像分割的物体定位方法、设备和存储介质 Active CN109102543B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810943480.3A CN109102543B (zh) 2018-08-17 2018-08-17 基于图像分割的物体定位方法、设备和存储介质
US16/437,287 US11144787B2 (en) 2018-08-17 2019-06-11 Object location method, device and storage medium based on image segmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810943480.3A CN109102543B (zh) 2018-08-17 2018-08-17 基于图像分割的物体定位方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109102543A true CN109102543A (zh) 2018-12-28
CN109102543B CN109102543B (zh) 2021-04-02

Family

ID=64850247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810943480.3A Active CN109102543B (zh) 2018-08-17 2018-08-17 基于图像分割的物体定位方法、设备和存储介质

Country Status (2)

Country Link
US (1) US11144787B2 (zh)
CN (1) CN109102543B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109969178A (zh) * 2019-03-26 2019-07-05 齐鲁工业大学 基于多元传感器多物料自主搬运装置及方法
CN110210487A (zh) * 2019-05-30 2019-09-06 上海商汤智能科技有限公司 一种图像分割方法及装置、电子设备和存储介质
CN111695585A (zh) * 2019-03-14 2020-09-22 顶级手套国际有限公司 手套的取放方法及其系统
CN112547528A (zh) * 2021-03-01 2021-03-26 华鹏飞股份有限公司 基于分类识别的物流分拣方法及系统
CN112802107A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 基于机器人的夹具组的控制方法及装置
CN112975985A (zh) * 2021-03-22 2021-06-18 梅卡曼德（北京）机器人科技有限公司 抓取机器人及其控制方法和定位模型训练方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670532B (zh) * 2018-11-23 2022-12-09 腾讯医疗健康(深圳)有限公司 生物体器官组织图像的异常识别方法、装置及系统
US11003928B2 (en) 2019-08-08 2021-05-11 Argo AI, LLC Using captured video data to identify active turn signals on a vehicle
CN111402278B (zh) * 2020-02-21 2023-10-27 华为云计算技术有限公司 分割模型训练方法、图像标注方法及相关装置
CN111476840B (zh) * 2020-05-14 2023-08-22 阿丘机器人科技(苏州)有限公司 目标定位方法、装置、设备及计算机可读存储介质
CN111709293B (zh) * 2020-05-18 2023-10-03 杭州电子科技大学 一种基于ResUNet神经网络的化学结构式分割方法
CN112037177A (zh) * 2020-08-07 2020-12-04 浙江大华技术股份有限公司 一种车厢装载率的评估方法和装置以及存储介质
CN113011567B (zh) * 2021-03-31 2023-01-31 深圳精智达技术股份有限公司 一种卷积神经网络模型的训练方法及装置
CN113505776A (zh) * 2021-07-16 2021-10-15 青岛新奥清洁能源有限公司 一种用于燃气表读数的智能识别方法及装置
CN116197885B (zh) * 2021-11-28 2023-11-24 梅卡曼德（北京）机器人科技有限公司 基于压叠检测的图像数据过滤方法、装置、设备和介质
CN115116026B (zh) * 2022-05-26 2024-04-09 江苏大学 一种物流搬运机器人自动循迹方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466848B2 (en) * 2002-12-13 2008-12-16 Rutgers, The State University Of New Jersey Method and apparatus for automatically detecting breast lesions and tumors in images
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN104732493A (zh) * 2015-03-18 2015-06-24 西安电子科技大学 一种基于Primal Sketch分类和SVD域改进MMSE估计的SAR图像去噪算法
CN105184803A (zh) * 2015-09-30 2015-12-23 西安电子科技大学 一种姿态测量方法和装置
US20160225053A1 (en) * 2015-01-29 2016-08-04 Clear Research Corporation Mobile visual commerce system
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
US20180129865A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Action recognition system with landmark localization on objects in images using convolutional neural networks
CN108229514A (zh) * 2016-12-29 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、装置和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903857B2 (en) * 2006-04-17 2011-03-08 Siemens Medical Solutions Usa, Inc. Robust click-point linking with geometric configuration context: interactive localized registration approach
US10733876B2 (en) * 2017-04-05 2020-08-04 Carnegie Mellon University Deep learning methods for estimating density and/or flow of objects, and related methods and software
CN107959883B (zh) * 2017-11-30 2020-06-09 广州市百果园信息技术有限公司 视频编辑推送方法、系统及智能移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466848B2 (en) * 2002-12-13 2008-12-16 Rutgers, The State University Of New Jersey Method and apparatus for automatically detecting breast lesions and tumors in images
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法
US20160225053A1 (en) * 2015-01-29 2016-08-04 Clear Research Corporation Mobile visual commerce system
CN104732493A (zh) * 2015-03-18 2015-06-24 西安电子科技大学 一种基于Primal Sketch分类和SVD域改进MMSE估计的SAR图像去噪算法
CN105184803A (zh) * 2015-09-30 2015-12-23 西安电子科技大学 一种姿态测量方法和装置
US20180129865A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Action recognition system with landmark localization on objects in images using convolutional neural networks
CN108229514A (zh) * 2016-12-29 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、装置和电子设备
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695585A (zh) * 2019-03-14 2020-09-22 顶级手套国际有限公司 手套的取放方法及其系统
CN109969178A (zh) * 2019-03-26 2019-07-05 齐鲁工业大学 基于多元传感器多物料自主搬运装置及方法
CN110210487A (zh) * 2019-05-30 2019-09-06 上海商汤智能科技有限公司 一种图像分割方法及装置、电子设备和存储介质
CN112802107A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 基于机器人的夹具组的控制方法及装置
CN112547528A (zh) * 2021-03-01 2021-03-26 华鹏飞股份有限公司 基于分类识别的物流分拣方法及系统
CN112975985A (zh) * 2021-03-22 2021-06-18 梅卡曼德（北京）机器人科技有限公司 抓取机器人及其控制方法和定位模型训练方法

Also Published As

Publication number Publication date
CN109102543B (zh) 2021-04-02
US20200057917A1 (en) 2020-02-20
US11144787B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CN109102543A (zh) 基于图像分割的物体定位方法、设备和存储介质
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN109685141B (zh) 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN108230337A (zh) 一种基于移动端的语义slam系统实现的方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN109711410A (zh) 一种三维物体快速分割和识别方法、装置及系统
CN110689519B (zh) 基于yolo网络的雾滴沉积图像检测系统和方法
CN109086736A (zh) 目标获取方法、设备和计算机可读存储介质
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN103544499B (zh) 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN110136130A (zh) 一种检测产品缺陷的方法及装置
CN110969660A (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN115272791B (zh) 一种基于YoloV5的茶叶用多目标检测定位方法
CN116416444B (zh) 物体抓取点估计、模型训练及数据生成方法、装置及系统
CN113920142B (zh) 一种基于深度学习的分拣机械手多物体分拣方法
CN104331711B (zh) 基于多尺度模糊测度与半监督学习的sar图像识别方法
CN108876776A (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN116630828B (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
CN109146885A (zh) 图像分割方法、设备和计算机可读存储介质
CN110738229A (zh) 一种细粒度图像分类方法、装置及电子设备
Runge Mobile 3D Computer Vision: Introducing a portable system for potato size grading

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: B701-702, industrialization building, Shenzhen Virtual University Park, No.2, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Lan pangzi machine intelligence Co., Ltd

Address before: B701-702, industrialization building, Shenzhen Virtual University Park, No.2, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong Province

Applicant before: SHENZHEN DORABOT ROBOTICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant