CN116416217A - 无序堆叠包裹图像的生成方法、系统及设备 - Google Patents

无序堆叠包裹图像的生成方法、系统及设备 Download PDF

Info

Publication number
CN116416217A
CN116416217A CN202310215332.0A CN202310215332A CN116416217A CN 116416217 A CN116416217 A CN 116416217A CN 202310215332 A CN202310215332 A CN 202310215332A CN 116416217 A CN116416217 A CN 116416217A
Authority
CN
China
Prior art keywords
image
unordered
package
generating
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310215332.0A
Other languages
English (en)
Other versions
CN116416217B (zh
Inventor
李华
李海滨
赵晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sainade Technology Co ltd
Original Assignee
Sainade Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sainade Technology Co ltd filed Critical Sainade Technology Co ltd
Priority to CN202310215332.0A priority Critical patent/CN116416217B/zh
Publication of CN116416217A publication Critical patent/CN116416217A/zh
Application granted granted Critical
Publication of CN116416217B publication Critical patent/CN116416217B/zh
Priority to PCT/CN2024/073631 priority patent/WO2024183490A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种无序堆叠包裹图像的生成方法、系统及设备。所述方法包括：根据预先采集的真实包裹特征数据生成多个模拟包裹；对所述多个模拟包裹进行无序堆叠操作；对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行亮度调节，以得到无序堆叠包裹图像；对所述无序堆叠包裹图像中的可抓取包裹进行标记。所述系统包括对应实现上述各个步骤的各个功能模块。所述设备包括处理器和存储器，处理器执行存储器中保存的计算机程序时实现所述方法。根据本发明，能够解决相关技术中具有抓取标记的无序堆叠包裹图像的生成过于依赖人工，费时费力的问题。

Description

无序堆叠包裹图像的生成方法、系统及设备
技术领域
本发明属于包裹智能分拣与图像生成领域，更具体地，涉及一种具有抓取标记的无序堆叠包裹图像的生成方法、系统及设备。
背景技术
近年来，随着机器视觉技术的迅速发展，其在物流分拣领域的应用越来越广泛。在这一背景下，基于机器视觉的无序堆叠包裹抓取技术逐渐成为物流分拣领域的研究热点。现有基于机器视觉的无序堆叠包裹抓取系统主要包括控制器、机械臂本体和图像采集模块。其中，图像采集模块用于实时采集无序堆叠包裹图像，控制器基于部署其中的神经网络模型对采集到的无序堆叠包裹图像进行处理以确定无序堆叠包裹中的可抓取包裹的可抓取面，并控制机械臂本体对可抓取包裹进行抓取，进而实现对无序堆叠包裹的逐个抓取。
对于上述控制器所利用的神经网络模型，其构建流程涉及模型训练环节。在模型训练环节中，需要采用批量的具有抓取标记的无序堆叠包裹图像对待训练的神经网络模型进行训练，以使神经网络模型的实际输出逼近期望输出。然而，现有用于神经网络模型训练的无序堆叠包裹图像过于依赖人工生成。具体地，无序堆叠包裹图像的生成环节进一步包括：首先将多个包裹进行无序堆叠；其次采用3D相机对无序堆叠包裹进行拍照，获取待标记的无序堆叠包裹图像；最后根据人为经验对待标记的无序堆叠包裹图像中的各个可抓取包裹的可抓取面进行框选。由此可知，上述无序堆叠包裹图像的生成环节高度依赖人工，费时费力。
发明内容
本发明的目的在于解决相关技术中具有抓取标记的无序堆叠包裹图像的生成过于依赖人工，费时费力的问题。
为了实现上述目的，本发明提供一种具有抓取标记的无序堆叠包裹图像的生成方法、系统及设备。
根据本发明的第一方面，提供一种具有抓取标记的无序堆叠包裹图像的生成方法，该方法包括以下步骤：
根据预先采集的真实包裹特征数据生成多个模拟包裹；
对所述多个模拟包裹进行无序堆叠操作；
对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行随机亮度调节，以得到无序堆叠包裹图像；
对所述无序堆叠包裹图像中的可抓取包裹进行标记。
作为优选的是，所述根据预先采集的真实包裹特征数据生成多个模拟包裹包括：
获取目标真实包裹的特征数据，所述目标真实包裹为矩形包裹，所述特征数据包括所述目标真实包裹的尺寸数据、颜色和纹理图案；
根据所述特征数据生成模拟包裹，并对该模拟包裹进行复制以得到多个模拟包裹。
作为优选的是，所述对所述多个模拟包裹进行无序堆叠操作基于物理引擎算法实现。
作为优选的是，所述对无序堆叠的多个模拟包裹进行拍照通过调用虚拟相机实现。
作为优选的是，所述真实物流场景图像的选取方法包括：
在预先建立的真实物流场景图像库中随机选取一张待判断图像；
确定当前待判断图像的拟作为替换背景的部分与所述拍照获取的图像的前景的相似度；
判断所述相似度是否处于预定的相似度区间内，
若是，则采用当前待判断图像，
若否，返回进行下一张待判断图像的随机选取。
作为优选的是，所述对所述无序堆叠包裹图像的可抓取包裹进行标记包括：
从所述虚拟相机的中心点到所述无序堆叠包裹图像中的当前遍历像素点做一条线段；
确定所述无序堆叠包裹图像中的最先与所述线段相交的目标包裹；
确定所述目标包裹的抓取面；
判断所述抓取面是否为不存在抓取障碍的可抓取面，若是，将所述抓取面的四个顶点在相机坐标系下的坐标转换为图像坐标系下的坐标；
根据所述抓取面的四个顶点在图像坐标系下的坐标对所述抓取面的轮廓进行标记。
作为优选的是，所述判断所述抓取面是否为不存在抓取障碍的可抓取面包括：
采用均匀抽样的方式在所述抓取面中获取多个像素点；
从每个像素点到所述虚拟相机的中心点做一条线段；
根据光线追踪算法判断每条线段上是否存在障碍物，
若每条线段上均不存在障碍物，则判断所述抓取面为可抓取面，
否则，判断所述抓取面为不可抓取面。
作为优选的是，根据所述抓取面的四个顶点在图像坐标系下的坐标对所述抓取面的轮廓进行标记具体为：
根据所述抓取面的四个顶点在图像坐标系下的坐标在所述抓取面的轮廓上形成标记框，所述标记框的颜色为所述无序堆叠包裹图像中未曾出现过的颜色。
根据本发明的第二方面，提供一种具有抓取标记的无序堆叠包裹图像的生成系统，该系统包括以下功能模块：
模拟包裹生成模块，用于根据预先采集的真实包裹特征数据生成多个模拟包裹；
无序堆叠实现模块，用于对所述多个模拟包裹进行无序堆叠操作；
无序堆叠包裹图像获取模块，用于对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行亮度调节，以得到无序堆叠包裹图像；
包裹标记模块，用于对所述无序堆叠包裹图像中的可抓取包裹进行标记。
根据本发明的第三方面，提供一种具有抓取标记的无序堆叠包裹图像的生成设备，该设备包括处理器和存储器，所述处理器执行所述存储器中保存的计算机程序时实现上述任一种具有抓取标记的无序堆叠包裹图像的生成方法。
本发明的有益效果在于：
本发明的具有抓取标记的无序堆叠包裹图像的生成方法，首先根据预先采集的真实包裹特征数据生成多个模拟包裹；其次对所述多个模拟包裹进行无序堆叠操作；再次对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行亮度调节，以得到无序堆叠包裹图像；最后对所述无序堆叠包裹图像中的可抓取包裹进行标记。
根据以上内容可知，本发明提供了一种无序堆叠包裹图像的自动生成方法，除了实施本发明的方法之前的准备工作高度依赖人工以外，即真实包裹特征数据的采集和真实物流场景图像的获取基于人工完成，在正式实施本发明的方法的过程中，各个步骤均基于计算机自动完成。因此，与相关技术中具有抓取标记的无序堆叠包裹图像的生成方法相比，本发明的方法对人工的依赖程度大大降低，实施起来省时省力。
本发明的具有抓取标记的无序堆叠包裹图像的生成系统和具有抓取标记的无序堆叠包裹图像的生成设备与上述具有抓取标记的无序堆叠包裹图像的生成方法属于一个总的发明构思，至少具有与上述具有抓取标记的无序堆叠包裹图像的生成方法相同的有益效果，其有益效果在此不再赘述。
本发明的其他特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
本发明可以通过参考下文中结合附图所做出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。
图1示出了根据本发明的实施例的具有抓取标记的无序堆叠包裹图像的生成方法的实现流程图；
图2示出了根据本发明的实施例的具有抓取标记的无序堆叠包裹图像的生成系统的结构框图。
具体实施方式
为了使所属技术领域的技术人员能够更充分地理解本发明的技术方案，在下文中将结合附图对本发明的示例性的实施方式进行更为全面且详细的描述。显然地，以下描述的本发明的一个或者多个实施方式仅仅是能够实现本发明的技术方案的具体方式中的一种或者多种，并非穷举。应当理解的是，可以采用属于一个总的发明构思的其他方式来实现本发明的技术方案，而不应当被示例性描述的实施方式所限制。基于本发明的一个或多个实施方式，本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式，都应当属于本发明保护的范围。
实施例：图1示出了本发明实施例的具有抓取标记的无序堆叠包裹图像的生成方法的实现流程图。参照图1，本发明实施例的具有抓取标记的无序堆叠包裹图像的生成方法包括以下步骤：
步骤S100、根据预先采集的真实包裹特征数据生成多个模拟包裹；
步骤S200、对所述多个模拟包裹进行无序堆叠操作；
步骤S300、对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行随机亮度调节，以得到无序堆叠包裹图像；
步骤S400、对所述无序堆叠包裹图像中的可抓取包裹进行标记。
本发明实施例的具有抓取标记的无序堆叠包裹图像的生成方法，第一方面，根据真实包裹特征数据生成多个模拟包裹，以提高最终获取的无序堆叠包裹图像的真实性；第二方面，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，以进一步提高最终获取的无序堆叠包裹图像的真实性；第三方面，在预定的亮度调节范围内对背景替换后的图像进行随机亮度调节，不仅能够提高训练获得的相应神经网络模型的亮度适应性，而且通过多次亮度调节能够获取多张无序堆叠包裹图像。
进一步地，本发明实施例中，步骤S100所述的根据预先采集的真实包裹特征数据生成多个模拟包裹包括：
获取目标真实包裹的特征数据，所述目标真实包裹为矩形包裹，所述特征数据包括所述目标真实包裹的尺寸数据、颜色和纹理图案；
根据所述特征数据生成模拟包裹，并对该模拟包裹进行复制以得到多个模拟包裹。
再进一步地，本发明实施例中，步骤S200所述的对所述多个模拟包裹进行无序堆叠操作基于物理引擎软件实现。
再进一步地，在本发明实施例的步骤S300中，所述对无序堆叠的多个模拟包裹进行拍照通过调用虚拟相机实现。
再进一步地，在本发明实施例的步骤S300中，所述真实物流场景图像的选取方法包括：
在预先建立的真实物流场景图像库中随机选取一张待判断图像；
确定当前待判断图像的拟作为替换背景的部分与所述拍照获取的图像的前景的相似度；
判断所述相似度是否处于预定的相似度区间内，
若是，则采用当前待判断图像，
若否，返回进行下一张待判断图像的随机选取。
具体地，本发明实施例中，真实物流场景图像的拟作为替换背景的部分与所述拍照获取的图像的前景的相似度应当处于预定的相似度区间内，当相似度高于相似度区间的上限阈值或者低于相似度区间的下限阈值时，所获得的相应无序堆叠包裹图像均不利于神经网络模型的训练。
再进一步地，本发明实施例中，步骤S400所述的对所述无序堆叠包裹图像的可抓取包裹进行标记包括：
从所述虚拟相机的中心点到所述无序堆叠包裹图像中的当前遍历像素点做一条线段；
确定所述无序堆叠包裹图像中的最先与所述线段相交的目标包裹；
确定所述目标包裹的抓取面；
判断所述抓取面是否为不存在抓取障碍的可抓取面，若是，将所述抓取面的四个顶点在相机坐标系下的坐标转换为图像坐标系下的坐标，并根据所述抓取面的四个顶点在图像坐标系下的坐标对所述抓取面的轮廓进行标记，
若否，遍历所述无序堆叠包裹图像中的下一像素点。
具体地，本发明实施例中，在执行步骤S400的过程中，需要对无序堆叠包裹图像中的各个像素点进行遍历计算，即从所述虚拟相机的中心点到所述无序堆叠包裹图像中的每个像素点做一条线段，并进行相应的后续操作。
具体地，本发明实施例中，虚拟相机为3D虚拟相机，虚拟相机的中心点为相机坐标系的中心点，相机坐标系为3D坐标系，图像坐标系为2D坐标系。
再进一步地，本发明实施例中，所述判断所述抓取面是否为不存在抓取障碍的可抓取面包括：
采用均匀抽样的方式在所述抓取面中获取多个像素点；
从每个像素点到所述虚拟相机的中心点做一条线段；
根据光线追踪算法判断每条线段上是否存在障碍物，
若每条线段上均不存在障碍物，则判断所述抓取面为可抓取面，
否则，判断所述抓取面为不可抓取面。
再进一步地，本发明实施例中，根据所述抓取面的四个顶点在图像坐标系下的坐标对所述抓取面的轮廓进行标记具体为：
根据所述抓取面的四个顶点在图像坐标系下的坐标在所述抓取面的轮廓上形成标记框，所述标记框的颜色为所述无序堆叠包裹图像中未曾出现过的颜色。
本发明实施例的具有抓取标记的无序堆叠包裹图像的生成方法的各个步骤均自动完成，与相关技术中具有抓取标记的无序堆叠包裹图像的生成方法相比，本发明实施例的具有抓取标记的无序堆叠包裹图像的生成方法对人工的依赖程度大大降低，实施起来省时省力。除此之外，在无序堆叠包裹图像中进行的可抓取包裹的标记基于相应的算法实现，与相关技术中的根据人为经验来人工框选的方式相比，所获取的无序堆叠包裹图像的样本准确性更高，更有利于相应神经网络模型的训练。
相应地，在本发明实施例提出的具有抓取标记的无序堆叠包裹图像的生成方法的基础上，本发明实施例还提出了一种具有抓取标记的无序堆叠包裹图像的生成系统。
图2示出了本发明实施例的具有抓取标记的无序堆叠包裹图像的生成系统的结构框图。参照图2，本发明实施例的具有抓取标记的无序堆叠包裹图像的生成系统包括以下功能模块：
模拟包裹生成模块，用于根据预先采集的真实包裹特征数据生成多个模拟包裹；
无序堆叠实现模块，用于对所述多个模拟包裹进行无序堆叠操作；
无序堆叠包裹图像获取模块，用于对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行随机亮度调节，以得到无序堆叠包裹图像；
包裹标记模块，用于对所述无序堆叠包裹图像中的可抓取包裹进行标记。
相应地，在本发明实施例提出的具有抓取标记的无序堆叠包裹图像的生成方法的基础上，本发明实施例还提出了一种具有抓取标记的无序堆叠包裹图像的生成设备，该设备包括处理器和存储器，处理器执行存储器中保存的计算机程序时实现本发明实施例提出的具有抓取标记的无序堆叠包裹图像的生成方法。
虽然以上对本发明的一个或者多个实施方式进行了描述，但是本领域的普通技术人员应当知晓，本发明能够在不偏离其主旨与范围的基础上通过任意的其他的形式得以实施。因此，以上描述的实施方式属于示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，对于本技术领域的普通技术人员而言许多修改和替换均具有显而易见性。

Claims (10)

1.具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，包括：
根据预先采集的真实包裹特征数据生成多个模拟包裹；
对所述多个模拟包裹进行无序堆叠操作；
对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行随机亮度调节，以得到无序堆叠包裹图像；
对所述无序堆叠包裹图像中的可抓取包裹进行标记。
2.根据权利要求1所述的具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，所述根据预先采集的真实包裹特征数据生成多个模拟包裹包括：
获取目标真实包裹的特征数据，所述目标真实包裹为矩形包裹，所述特征数据包括所述目标真实包裹的尺寸数据、颜色和纹理图案；
根据所述特征数据生成模拟包裹，并对该模拟包裹进行复制以得到多个模拟包裹。
3.根据权利要求2所述的具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，所述对所述多个模拟包裹进行无序堆叠操作基于物理引擎算法实现。
4.根据权利要求3所述的具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，所述对无序堆叠的多个模拟包裹进行拍照通过调用虚拟相机实现。
5.根据权利要求4所述的具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，所述真实物流场景图像的选取方法包括：
在预先建立的真实物流场景图像库中随机选取一张待判断图像；
确定当前待判断图像的拟作为替换背景的部分与所述拍照获取的图像的前景的相似度；
判断所述相似度是否处于预定的相似度区间内，
若是，则采用当前待判断图像，
若否，返回进行下一张待判断图像的随机选取。
6.根据权利要求5所述的具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，所述对所述无序堆叠包裹图像的可抓取包裹进行标记包括：
从所述虚拟相机的中心点到所述无序堆叠包裹图像中的当前遍历像素点做一条线段；
确定所述无序堆叠包裹图像中的最先与所述线段相交的目标包裹；
确定所述目标包裹的抓取面；
判断所述抓取面是否为不存在抓取障碍的可抓取面，若是，将所述抓取面的四个顶点在相机坐标系下的坐标转换为图像坐标系下的坐标；
根据所述抓取面的四个顶点在图像坐标系下的坐标对所述抓取面的轮廓进行标记。
7.根据权利要求6所述的具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，所述判断所述抓取面是否为不存在抓取障碍的可抓取面包括：
采用均匀抽样的方式在所述抓取面中获取多个像素点；
从每个像素点到所述虚拟相机的中心点做一条线段；
根据光线追踪算法判断每条线段上是否存在障碍物，
若每条线段上均不存在障碍物，则判断所述抓取面为可抓取面，
否则，判断所述抓取面为不可抓取面。
8.根据权利要求7所述的具有抓取标记的无序堆叠包裹图像的生成方法，其特征在于，根据所述抓取面的四个顶点在图像坐标系下的坐标对所述抓取面的轮廓进行标记具体为：
根据所述抓取面的四个顶点在图像坐标系下的坐标在所述抓取面的轮廓上形成标记框，所述标记框的颜色为所述无序堆叠包裹图像中未曾出现过的颜色。
9.具有抓取标记的无序堆叠包裹图像的生成系统，其特征在于，包括：
模拟包裹生成模块，用于根据预先采集的真实包裹特征数据生成多个模拟包裹；
无序堆叠实现模块，用于对所述多个模拟包裹进行无序堆叠操作；
无序堆叠包裹图像获取模块，用于对无序堆叠的多个模拟包裹进行拍照，采用选取的真实物流场景图像对拍照获取的图像中的背景进行替换，并在预定的亮度调节范围内对背景替换后的图像进行亮度调节，以得到无序堆叠包裹图像；
包裹标记模块，用于对所述无序堆叠包裹图像中的可抓取包裹进行标记。
10.具有抓取标记的无序堆叠包裹图像的生成设备，其特征在于，包括处理器和存储器，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-8任一项所述的具有抓取标记的无序堆叠包裹图像的生成方法。
CN202310215332.0A 2023-03-06 2023-03-06 无序堆叠包裹图像的生成方法、系统及设备 Active CN116416217B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310215332.0A CN116416217B (zh) 2023-03-06 2023-03-06 无序堆叠包裹图像的生成方法、系统及设备
PCT/CN2024/073631 WO2024183490A1 (zh) 2023-03-06 2024-01-23 无序堆叠包裹图像的生成方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310215332.0A CN116416217B (zh) 2023-03-06 2023-03-06 无序堆叠包裹图像的生成方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116416217A true CN116416217A (zh) 2023-07-11
CN116416217B CN116416217B (zh) 2023-11-28

Family

ID=87052368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215332.0A Active CN116416217B (zh) 2023-03-06 2023-03-06 无序堆叠包裹图像的生成方法、系统及设备

Country Status (2)

Country Link
CN (1) CN116416217B (zh)
WO (1) WO2024183490A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024183490A1 (zh) * 2023-03-06 2024-09-12 赛那德科技有限公司 无序堆叠包裹图像的生成方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197190A (zh) * 2018-02-27 2019-09-03 北京猎户星空科技有限公司 模型训练和物体的定位方法及装置
WO2021085561A1 (ja) * 2019-10-31 2021-05-06 ミネベアミツミ株式会社 学習データ生成方法
CN112926503A (zh) * 2021-03-23 2021-06-08 上海大学 一种基于矩形拟合的抓取数据集自动生成方法
CN113222940A (zh) * 2021-05-17 2021-08-06 哈尔滨工业大学 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
WO2021220191A2 (en) * 2020-04-28 2021-11-04 Bazzica Engineering S.R.L. Automatic production of a training dataset for a neural network
CN115019147A (zh) * 2022-06-27 2022-09-06 北京邮电大学 一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840011A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种虚拟物体的抓取识别方法和装置
CN112132213A (zh) * 2020-09-23 2020-12-25 创新奇智(南京)科技有限公司 样本图像的处理方法及装置、电子设备、存储介质
US20220402710A1 (en) * 2021-06-16 2022-12-22 Dexterity, Inc. Simulated box placement for algorithm evaluation and refinement
CN113538459B (zh) * 2021-07-07 2023-08-11 重庆大学 一种基于落点区域检测的多模式抓取避障检测优化方法
CN113935368B (zh) * 2021-10-13 2024-06-07 福州大学 针对散乱堆叠状态且具有可抓取平面物体的识别、定位及抓取方法
CN116416217B (zh) * 2023-03-06 2023-11-28 赛那德科技有限公司 无序堆叠包裹图像的生成方法、系统及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197190A (zh) * 2018-02-27 2019-09-03 北京猎户星空科技有限公司 模型训练和物体的定位方法及装置
WO2021085561A1 (ja) * 2019-10-31 2021-05-06 ミネベアミツミ株式会社 学習データ生成方法
WO2021220191A2 (en) * 2020-04-28 2021-11-04 Bazzica Engineering S.R.L. Automatic production of a training dataset for a neural network
CN112926503A (zh) * 2021-03-23 2021-06-08 上海大学 一种基于矩形拟合的抓取数据集自动生成方法
CN113222940A (zh) * 2021-05-17 2021-08-06 哈尔滨工业大学 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法
CN115019147A (zh) * 2022-06-27 2022-09-06 北京邮电大学 一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周伟亮 等: "基于视觉与激光结合的堆叠工件定位方法研究", 现代制造工程, no. 12, pages 141 - 145 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024183490A1 (zh) * 2023-03-06 2024-09-12 赛那德科技有限公司 无序堆叠包裹图像的生成方法、系统及设备

Also Published As

Publication number Publication date
WO2024183490A1 (zh) 2024-09-12
CN116416217B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN109986560B (zh) 一种面向多目标种类的机械臂自适应抓取方法
CN110411339B (zh) 一种基于平行激光束的水下目标尺寸测量设备及方法
CN114952809B (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
WO2024183490A1 (zh) 无序堆叠包裹图像的生成方法、系统及设备
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN110281231A (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN115816471B (zh) 多视角3d视觉引导机器人的无序抓取方法、设备及介质
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN110969660A (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN113580149A (zh) 基于关键点预测网络的无序混叠工件抓取方法和系统
CN112372641B (zh) 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法
CN114193440B (zh) 基于3d视觉的机器人自动抓取系统及方法
CN114463244A (zh) 一种视觉机器人抓取系统及其控制方法
CN113894058B (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质
CN114092428A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN114037595A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN114627359A (zh) 一种乱序堆叠工件抓取优先级评估方法
CN117037062A (zh) 一种目标物体抓取方法、系统、电子设备及存储介质
CN114571467B (zh) 一种机械臂控制方法及系统
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant