CN112975985A - 抓取机器人及其控制方法和定位模型训练方法 - Google Patents

抓取机器人及其控制方法和定位模型训练方法 Download PDF

Info

Publication number
CN112975985A
CN112975985A CN202110302170.5A CN202110302170A CN112975985A CN 112975985 A CN112975985 A CN 112975985A CN 202110302170 A CN202110302170 A CN 202110302170A CN 112975985 A CN112975985 A CN 112975985A
Authority
CN
China
Prior art keywords
training
picture
preset
positioning
training picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110302170.5A
Other languages
English (en)
Other versions
CN112975985B (zh
Inventor
刘冰
王正
王子芃
耿嘉
刘俊
丁有爽
邵天兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN202110302170.5A priority Critical patent/CN112975985B/zh
Publication of CN112975985A publication Critical patent/CN112975985A/zh
Application granted granted Critical
Publication of CN112975985B publication Critical patent/CN112975985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种抓取机器人及其控制方法和定位模型训练方法，该训练方法包括以下步骤：获取第一训练图片集，其中，第一训练图片集中包括多个第一训练图片；对第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集，其中，第二训练图片集中包括多个标注后的第一训练图片；对第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，得到第三训练图片集，其中，第三训练图片集中包括至少一个倍增图片；根据第二训练图片集和第三训练图片集，对预设深度学习模型进行训练，得到用于定位可抓取物体的定位模型。该方法可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。

Description

抓取机器人及其控制方法和定位模型训练方法
技术领域
本发明涉及深度学习技术领域，具体涉及一种定位模型训练方法、一种抓取机器人的控制方法、一种计算机可读存储介质、一种电子设备和一种抓取机器人。
背景技术
视觉引导机器人的抓取过程可分为两个主要步骤：1)在2D图片中给出物体精确的像素级定位，2)将上述定位映射回3D点云场景中，通过匹配算法给出被抓取物体的精确位姿。步骤1)中的像素级精确定位类似于图片实例分割问题，其主要技术指标为：准确率、召回率。常见的图片实例分割技术方法主要有：Mask-RCNN、CenterMask、SOLO、BlendMask等基于深度学习神经网络的方法，然而上述实例分割技术一般需要较多的训练数据，导致其在视觉引导抓取中具有局限性。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种定位模型训练方法，该方法可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
本发明的第二个目的在于提出一种抓取机器人的控制方法。
本发明的第三个目的在于提出一种计算机可读存储介质。
本发明的第四个目的在于提出一种电子设备。
本发明的第五个目的在于提出一种抓取机器人。
为达到上述目的，本发明第一方面实施例提出了一种定位模型训练方法，包括以下步骤：获取第一训练图片集，其中，所述第一训练图片集中包括多个第一训练图片；对所述第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集，其中，所述第二训练图片集中包括多个标注后的第一训练图片；对所述第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，得到第三训练图片集，其中，所述第三训练图片集中包括至少一个倍增图片；根据所述第二训练图片集和所述第三训练图片集，对预设深度学习模型进行训练，得到用于定位可抓取物体的定位模型。
根据本发明实施例的定位模型训练方法，通过获取第一训练图片集，并对第一训练图片集中第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集，然后对第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，得到第三训练图片集，再根据第二训练图片集和第三训练图片集，对预设深度学习模型进行训练，得到用于定位可抓取物体的定位模型，该方法可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
为达到上述目的，本发明第二方面实施例提出了一种抓取机器人的控制方法，包括以下步骤：采集抓取场景图片；利用预先训练好的定位模型对所述抓取场景图片中的可抓取物体进行定位，其中，所述预先训练好的定位模型采用上述所述的定位模型训练方法训练得到；根据定位结果控制所述抓取机器人对所述可抓取物体进行抓取操作。
根据本发明实施例的抓取机器人的控制方法，通过预先训练好的定位模型对抓取场景图片中的可抓取物体进行定位，可实现可抓取物体的准确识别。
为达到上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述所述的定位模型的训练方法，或者，上述所述的抓取机器人的控制方法。
根据本发明实施例的计算机可读存储介质，其上存储的计算机程序被处理器执行时，可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述所述的定位模型的训练方法，或者，上述所述的抓取机器人的控制方法。
根据本发明实施例的电子设备，存储在存储器上的计算机程序被处理器执行时，可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
为达到上述目的，本发明第五方面实施例提出了一种抓取机器人，包括上述的电子设备。
根据本发明实施例的抓取机器人，可通过其上的电子设备实现上述的定位模型的训练方法，或者，上述的抓取机器人的控制方法，从而可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为根据本发明一个实施例的定位模型训练方法的流程图；
图2为根据本发明一个实施例的抓取机器人的控制方法的流程图；
图3为根据本发明一个实施例的抓取机器人的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
与常见的图像实例分割应用相比，实例分割算法对场景中物体是否可抓没有需求，即对场景中相同的物体均需要给出完整准确的实例掩码，直接将实例分割算法应用于可抓取物体的识别，会造成位于底层被压物体被识别为可抓取物体或将背景无关物体识别为可抓取物体的“错误识别”问题。同时现有实例分割算法需要较多的训练数据，造成了这一方法在视觉引导抓取中应用的局限性。在此基础上，本申请提出了一种抓取机器人及其控制方法和定位模型训练方法，该定位模型训练方法能够很好的满足对于抓取定位问题中高精确率、高召回率的需求，并且可以应用于各种抓取场景抓取各种物体，很好的满足于视觉引导抓取对于准确定位被抓取物体，准确区分可抓取物体与不可抓取物体的需求，同时具有训练数据需求量小的优点。
下面参考附图描述本发明实施例的抓取机器人及其控制方法和定位模型训练方法。
图1为根据本发明一个实施例的定位模型训练方法的流程图。参考图1所示，该方法包括以下步骤：
S101，获取第一训练图片集，其中，第一训练图片集中包括多个第一训练图片。
具体地，可通过相机采集多个抓取场景图片以作为多个第一训练图片构成第一训练图片集。在采集图片时需要使被抓取物体的摆放方式与实际抓取场景相一致，即在采集图片时除需要采集较为常规的抓取场景外，还需要采集可能对模型识别性能产生影响的极端情况，如表面花纹相似物体的紧密摆放等。
S102，对第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集，其中，第二训练图片集中包括多个标注后的第一训练图片。
具体地，训练定位模型需要对采集的多个抓取场景图片即第一训练图片中的可抓取物体进行标注以得到第二训练图片集。为使定位模型可以准确地区分可抓取物体与场景背景及场景中同类物体可抓取与不可抓取的情况，需要在定位标注采集图片时，根据抓取场景的实际需要，定义不同的较为明确的标注标准。
其中，对第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集可包括：将第一训练图片输入至预设标注模型，得到预设标注模型输出的预标注第一训练图片集；利用预设标注规则对预标注第一训练图片集中的各个第一训练图片的标注结果进行校正，得到第二训练图片集。
具体地，在对第一训练图片中的可抓取物体进行定位标注时，对于抓取背景较为清晰简单的情况，例如纸箱拆垛场景，可首先将所采集的纸箱拆垛场景图片即第一训练图片输入至预设标注模型以进行粗略标注，例如使用传统机器视觉算法辅助产生粗略标注以得到预标注第一训练图片集。在此基础上，利用预设标注规则对预标注第一训练图片集中的各个第一训练图片的标注结果进行校正，得到第二训练图片集。例如，根据第一训练图片中的可抓取物体的暴露表面积和/或可抓取区域对各个第一训练图片的标注结果进行定位标注，得到第二训练图片集。
作为一个示例，在纸箱拆垛场景中，通常需要由最上层至最下层逐层拆垛，不可在一层纸箱未被完全抓取的情况抓取下层纸箱。所以，在纸箱拆垛场景中仅标注最上层纸箱，除此之外的纸箱一律不标注，通过这一标注规则训练的定位模型可以准确地区分最上层与非最上层纸箱，进而给出准确的像素级物体定位。但是，在商超货品拣选场景中，货品之间的上下层关系并不明确，同时同一层物体中可能存在相互压叠的情况，因此对于抓取顺序的要求并不严格，但是对于可抓取物体与不可抓取物体的区分较为严格。对于表面暴露较少的物体，或者抓取后可能造成场景内其他物体飞出的情况，则不应将该物体定位标注为可抓取物体。在该场景下，可以制定一个标注阈值，例如可抓取物体的暴露表面积的85％，对于高于该阈值的物体标注为可抓取物体，对于低于该阈值的物体则不标注，对于难于判断的情况，可随机决定是否标注，其中少量的噪声数据不会影响模型的训练。
作为另一个示例，在金属零件抓取场景中，需要抓取金属零件的可抓取区域即抓取特定区域。因此在标注这一类可抓取物体时，除了需要保证可抓取物体的暴露表面积的阈值要求，还需要保证可抓取区域完整暴露、无遮挡。若物体满足可抓取物体的暴露表面积的阈值要求，但是抓取区域被遮挡，同样不能将该物体标注为可抓取物体，在此基础上还需保证物体被抓取后不会使其他物体产生较为剧烈的位置变化。
本实施例中，通过预设标注规则对预标注第一训练图片集中的各个第一训练图片进行定位标注，可实现各种场景中各个物体的像素级精确定位，以及对料框内堆叠物体中的可抓取物体进行准确识别，并且使得可抓取物体被抓起后不易滑落，且可抓取物体被抓起后不会导致其他物体滑落或跌落，从而可实现对可抓取物体的准确抓取。
S103，对第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，得到第三训练图片集，其中，第三训练图片集中包括至少一个倍增图片。
具体地，与当前训练深度学习定位模型需要较多标注训练数据不同，本实施例通过对采集数据应用倍增的方式，增加训练图片数量，得到第三训练图片集，以达到训练定位模型的目标。例如，利用预设倍增方式对第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，其中，预设倍增方式可包括亮度、对比度调节，图片仿射变换，图片白平衡随机变换中的至少一者。
需要说明的是，在对第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理之后，该方法还可包括：判断倍增图片中的标注是否满足预设标注规则；如果倍增图片中的标注不满足预设标注规则，则对倍增图片中的标注进行校正或者修正所述倍增图片。
具体地，上述三种预设倍增方式在应用时首先应该保证，图片经过倍增后还应满足标注场景中定位标注可抓取物体所确定的预设标注规则。若应用预设倍增方式后，可抓取物体已不满足预设标注规则，则应将该可抓取物体重新确定为不可抓取物体，并移除可抓取物体标注或者修正倍增图片。
作为一个示例，利用亮度、对比度调节对第一训练图片进行倍增处理，包括：获取预设的亮度调节参数和对比度调节参数；利用预设的亮度调节参数和对比度调节参数，对第一训练图片的R、G、B值进行调节，得到相应的倍增图片。在该示例中，如果倍增图片中的可抓取物体不可见，说明倍增图片中的标注不满足预设标注规则，此时可调整预设的亮度调节参数和对比度调节参数，并利用调整后的亮度调节参数和对比度调节参数，对第一训练图片的R、G、B值进行调节，直至得到的倍增图片中的可抓取物体可见。
具体而言，在进行亮度、对比度调节时，倍增后图片中的物体的基本特征和边缘应基本可见。若倍增后的物体过亮或过暗，可能会造成可抓取物体在图片中已不可见，即倍增图片中的标注不满足预设标注规则，则该倍增后得到的图片将无法达到深度学习训练的目的，对此可重新调整亮度、对比度调节方式，以重新得到第三训练图片。
作为另一个示例，在进行图片仿射变换时，可根据式：
Figure BDA0002986741580000051
进行图片仿射变换，以对图片进行平移、缩放、旋转等操作。其中，(u,v)为仿射变换后图片的坐标点，(x,y)是原图片坐标点，a1,b1,c1,a2,b2,c2是常数，可根据需要标定。
在该示例中，如果利用图片仿射变换对第一训练图片进行倍增处理，则判断倍增图片中的标注是否满足预设标注规则，可包括：获取第一训练图片中所标注的可抓取物体的面积S1，并获取倍增图片中对应的可抓取物体的面积S2；判断S2与S1之间的比值是否大于第一预设值，以及判断S2是否大于第二预设值；如果S2与S1之间的比值小于或等于第一预设值，或者，S2小于或等于第二预设值，则判定倍增图片中的标注不满足预设标注规则，并删除相应的标注。
具体而言，经过图片仿射变换后，可能存在原图片中的物体出现移出图片的情况。对于移出图片较多的物体，此时该物体可能已经不满足可抓取物体条件，例如可抓取物体的暴露表面积低于对应的阈值要求，因此可根据仿射变换后图片中物体的情况，使用标注场景中定位标注可抓取物体所确定的预设标注规则重新确定该物体是否为可抓取物体，若是则保留该物体，若不是，则删除该物体的标注，将该物体视为场景背景。
作为又一个示例，在利用白平衡随机变换对第一训练图片进行倍增处理之前，方法还包括：判断第一训练图片中是否存在与可抓取物体形状相同的非可抓取物体；如果不存在，则利用白平衡随机变换对第一训练图片进行倍增处理。
具体而言，对于形状相同、仅依靠物体表面花纹颜色区分类别的情况，则不能使用图片白平衡随机变换，否则会造成不同类别之间物体的混淆，进而造成倍增后得到的图片将无法达到深度学习训练的目的。
在该示例中，利用白平衡随机变换对第一训练图片进行倍增处理，可包括：获取预设的白平衡参数，其中，预设的白平衡参数的取值范围为-10％～10％；利用预设的白平衡参数，对第一训练图片的R、G、B值进行调节。
本实施例中，通过预设倍增方式对第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，可增加训练图片数量，以达到训练定位模型的目的。
S104，根据第二训练图片集和第三训练图片集，对预设深度学习模型进行训练，得到用于定位可抓取物体的定位模型。
在本发明的一个实施例中，该方法还可包括：获取测试图片；将测试图片输入至定位模型，得到定位模型输出的定位结果；如果定位结果不满足预设条件，则将测试图片作为第二训练图片；根据第二训练图片，对定位模型进行迭代训练。
具体地，在获取定位模型后，可以在实际抓取场景中配合后续匹配算法进行进一步测试。若当前定位模型存在精度不足或者对于某些未训练过的场景存在错识别的情况，可将用于测试的图片收集做为第二训练图片，迭代训练模型，直到模型精度满足要求。
作为一个示例，在获取定位模型后，可根据实际抓取场景采集N张测试图片。其中，第一张测试图片实际可抓取物体为A、B和C。将第一张测试图片输入至定位模型后，得到定位结果为A和B，即定位模型标注可抓取物体为A和B，从而产生错识别情况。对此可将第一张测试图片收集至第二训练图片集中，作为第二训练图片迭代训练模型。
作为另一个示例，第一张测试图片实际可抓取物体为A、B和C，但是将第一张测试图片输入至定位模型后，定位模型标注可抓取物体为A、B、C和D。其中，在对可抓取物体D进行抓取时，会导致其它物体滑落或跌落，从而产生错识别情况。对此，可将该测试图片作为第二训练图片，以对定位模型中可抓取物体的暴露表面积的阈值进行调整，以提高定位模型的定位精度。
根据本发明实施例的定位模型训练方法，通过获取第一训练图片集，并对第一训练图片集中第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集，然后对第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，得到第三训练图片集，再根据第二训练图片集和第三训练图片集，对预设深度学习模型进行训练，得到用于定位可抓取物体的定位模型，该方法可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
图2为根据本发明一个实施例的抓取机器人的控制方法的流程图。参考图2所示，该方法可包括以下步骤：
S201，采集抓取场景图片。
S202，利用预先训练好的定位模型对抓取场景图片中的可抓取物体进行定位，其中，预先训练好的定位模型采用上述的定位模型训练方法训练得到。
S203，根据定位结果控制抓取机器人对可抓取物体进行抓取操作。
根据本发明实施例的抓取机器人的控制方法，通过预先训练好的定位模型对抓取场景图片中的可抓取物体进行定位，可实现可抓取物体的准确识别。
进一步地，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的定位模型的训练方法，或者，上述的抓取机器人的控制方法。
根据本发明实施例的计算机可读存储介质，其上存储的计算机程序被处理器执行时，可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
进一步地，本发明还提出了一种电子设备，包括存储器、处理器和存储在存储器上的计算机程序，该计算机程序被处理器执行时，实现上述的定位模型的训练方法，或者，上述的抓取机器人的控制方法。
根据本发明实施例的电子设备，存储在存储器上的计算机程序被处理器执行时，可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
进一步地，本发明还提出了一种抓取机器人，如图3所示，该抓取机器人100包括上述的电子设备10。
根据本发明实施例的抓取机器人，可通过其上的电子设备实现上述的定位模型的训练方法，或者，上述的抓取机器人的控制方法，从而可通过较少的数据量实现各种场景内物体的像素级精确定位，并可实现各种场景内堆叠物体中的可抓取物体的准确识别。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种定位模型训练方法，其特征在于，包括以下步骤：
获取第一训练图片集，其中，所述第一训练图片集中包括多个第一训练图片；
对所述第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集，其中，所述第二训练图片集中包括多个标注后的第一训练图片；
对所述第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，得到第三训练图片集，其中，所述第三训练图片集中包括至少一个倍增图片；
根据所述第二训练图片集和所述第三训练图片集，对预设深度学习模型进行训练，得到用于定位可抓取物体的定位模型。
2.如权利要求1所述的定位模型训练方法，其特征在于，所述方法还包括：
获取测试图片；
将所述测试图片输入至所述定位模型，得到所述定位模型输出的定位结果；
如果所述定位结果不满足预设条件，则将所述测试图片作为第二训练图片；
根据所述第二训练图片，对所述定位模型进行迭代训练。
3.如权利要求1所述的定位模型训练方法，其特征在于，所述对所述第一训练图片中的可抓取物体进行定位标注，得到第二训练图片集，包括：
将所述第一训练图片输入至预设标注模型，得到所述预设标注模型输出的预标注第一训练图片集；
利用预设标注规则对所述预标注第一训练图片集中的各个第一训练图片的标注结果进行校正，得到所述第二训练图片集。
4.如权利要求1或3所述的定位模型训练方法，其特征在于，根据所述第一训练图片中的可抓取物体的暴露表面积和/或可抓取区域进行定位标注。
5.如权利要求1所述的定位模型训练方法，其特征在于，利用预设倍增方式对所述第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理，其中，所述预设倍增方式包括：亮度、对比度调节，图片仿射变换，图片白平衡随机变换中的至少一者。
6.如权利要求5所述的定位模型训练方法，其特征在于，在对所述第二训练图片集中的至少一个标注后的第一训练图片进行倍增处理之后，所述方法还包括：
判断所述倍增图片中的标注是否满足预设标注规则；
如果所述倍增图片中的标注不满足所述预设标注规则，则对所述倍增图片中的标注进行校正或者修正所述倍增图片。
7.如权利要求6所述的定位模型训练方法，其特征在于，利用亮度、对比度调节对第一训练图片进行倍增处理，包括：
获取预设的亮度调节参数和对比度调节参数；
利用所述预设的亮度调节参数和对比度调节参数，对所述第一训练图片的R、G、B值进行调节，得到相应的倍增图片；
其中，如果所述倍增图片中的可抓取物体不可见，则调整所述预设的亮度调节参数和对比度调节参数，并利用调整后的亮度调节参数和对比度调节参数，对所述第一训练图片的R、G、B值进行调节，直至得到的倍增图片中的可抓取物体可见。
8.如权利要求6所述的定位模型训练方法，其特征在于，如果利用图片仿射变换对第一训练图片进行倍增处理，则判断所述倍增图片中的标注是否满足预设标注规则，包括：
获取所述第一训练图片中所标注的可抓取物体的面积S1，并获取所述倍增图片中对应的可抓取物体的面积S2；
判断S2与S1之间的比值是否大于第一预设值，以及判断S2是否大于第二预设值；
如果S2与S1之间的比值小于或等于所述第一预设值，或者，S2小于或等于所述第二预设值，则判定所述倍增图片中的标注不满足所述预设标注规则，并删除相应的标注。
9.如权利要求5所述的定位模型训练方法，其特征在于，在利用白平衡随机变换对第一训练图片进行倍增处理之前，所述方法还包括：
判断所述第一训练图片中是否存在与可抓取物体形状相同的非可抓取物体；
如果不存在，则利用白平衡随机变换对所述第一训练图片进行倍增处理；
其中，所述利用白平衡随机变换对所述第一训练图片进行倍增处理，包括：
获取预设的白平衡参数，其中，所述预设的白平衡参数的取值范围为-10％～10％；
利用所述预设的白平衡参数，对所述第一训练图片的R、G、B值进行调节。
10.一种抓取机器人的控制方法，其特征在于，包括以下步骤：
采集抓取场景图片；
利用预先训练好的定位模型对所述抓取场景图片中的可抓取物体进行定位，其中，所述预先训练好的定位模型采用如权利要求1-9中任一项所述的定位模型训练方法训练得到；
根据定位结果控制所述抓取机器人对所述可抓取物体进行抓取操作。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-9中任一项所述的定位模型的训练方法，或者，如权利要求10所述的抓取机器人的控制方法。
12.一种电子设备，包括存储器、处理器和存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的定位模型的训练方法，或者，如权利要求10所述的抓取机器人的控制方法。
13.一种抓取机器人，其特征在于，包括如权利要求12所述的电子设备。
CN202110302170.5A 2021-03-22 2021-03-22 抓取机器人及其控制方法和定位模型训练方法 Active CN112975985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110302170.5A CN112975985B (zh) 2021-03-22 2021-03-22 抓取机器人及其控制方法和定位模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110302170.5A CN112975985B (zh) 2021-03-22 2021-03-22 抓取机器人及其控制方法和定位模型训练方法

Publications (2)

Publication Number Publication Date
CN112975985A true CN112975985A (zh) 2021-06-18
CN112975985B CN112975985B (zh) 2022-09-27

Family

ID=76334293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110302170.5A Active CN112975985B (zh) 2021-03-22 2021-03-22 抓取机器人及其控制方法和定位模型训练方法

Country Status (1)

Country Link
CN (1) CN112975985B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109102543A (zh) * 2018-08-17 2018-12-28 深圳蓝胖子机器人有限公司 基于图像分割的物体定位方法、设备和存储介质
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN111127548A (zh) * 2019-12-25 2020-05-08 深圳市商汤科技有限公司 抓取位置检测模型训练方法、抓取位置检测方法及装置
JP2020197978A (ja) * 2019-06-04 2020-12-10 グローリー株式会社 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム
CN112434806A (zh) * 2020-11-18 2021-03-02 浙江大华技术股份有限公司 深度学习训练方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109102543A (zh) * 2018-08-17 2018-12-28 深圳蓝胖子机器人有限公司 基于图像分割的物体定位方法、设备和存储介质
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
JP2020197978A (ja) * 2019-06-04 2020-12-10 グローリー株式会社 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム
CN111127548A (zh) * 2019-12-25 2020-05-08 深圳市商汤科技有限公司 抓取位置检测模型训练方法、抓取位置检测方法及装置
CN112434806A (zh) * 2020-11-18 2021-03-02 浙江大华技术股份有限公司 深度学习训练方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112975985B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN109102543B (zh) 基于图像分割的物体定位方法、设备和存储介质
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
KR102043898B1 (ko) 물류 센터의 피킹 자동화 시스템 및 이를 이용한 피킹 자동화 방법
CN108827969A (zh) 金属零件表面缺陷检测与识别方法及装置
CN109426835A (zh) 信息处理装置、信息处理装置的控制方法和存储介质
CN111738045B (zh) 一种图像检测方法、装置、电子设备及存储介质
CN105678318B (zh) 交通标牌的匹配方法及装置
CN113343976B (zh) 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法
CN113436162B (zh) 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置
CN110503115A (zh) 一种颜色识别方法、装置、设备及计算机可读存储介质
CN109932370A (zh) 利用改善的预处理的用于白色点斑检测的系统和方法
CN112991374B (zh) 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN110349216A (zh) 货箱位置检测方法及装置
CN111311691A (zh) 拆垛机器人拆垛方法及系统
CN114241037A (zh) 混合尺寸卸盘
Inagaki et al. Detecting layered structures of partially occluded objects for bin picking
CN112784639A (zh) 路口检测、神经网络训练及智能行驶方法、装置和设备
CN109117837B (zh) 感兴趣区域确定方法和设备
CN112975985B (zh) 抓取机器人及其控制方法和定位模型训练方法
JP2020021212A (ja) 情報処理装置、情報処理方法及びプログラム
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN117037062A (zh) 一种目标物体抓取方法、系统、电子设备及存储介质
CN111275756A (zh) 线轴定位方法及装置
KR102436943B1 (ko) Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법
Varga et al. Improved autonomous load handling with stereo cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1100, 1st Floor, No. 6 Chuangye Road, Shangdi Information Industry Base, Haidian District, Beijing 100085

Applicant after: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD.

Address before: 100085 1001, floor 1, building 3, No.8 Chuangye Road, Haidian District, Beijing

Applicant before: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD.

GR01 Patent grant
GR01 Patent grant