CN113910269A - 一种机器人总控系统 - Google Patents

一种机器人总控系统 Download PDF

Info

Publication number
CN113910269A
CN113910269A CN202111257574.3A CN202111257574A CN113910269A CN 113910269 A CN113910269 A CN 113910269A CN 202111257574 A CN202111257574 A CN 202111257574A CN 113910269 A CN113910269 A CN 113910269A
Authority
CN
China
Prior art keywords
robot
sequence
instruction
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111257574.3A
Other languages
English (en)
Other versions
CN113910269B (zh
Inventor
马战鹏
王赫
钱泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inger Suzhou Intelligent Technology Co ltd
Original Assignee
Inger Suzhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inger Suzhou Intelligent Technology Co ltd filed Critical Inger Suzhou Intelligent Technology Co ltd
Priority to CN202111257574.3A priority Critical patent/CN113910269B/zh
Publication of CN113910269A publication Critical patent/CN113910269A/zh
Priority to EP22172420.6A priority patent/EP4173771A1/en
Priority to US17/751,594 priority patent/US20230129871A1/en
Application granted granted Critical
Publication of CN113910269B publication Critical patent/CN113910269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0096—Programme-controlled manipulators co-operating with a working support, e.g. work-table
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31076—Controller for cell, for robot motion, for supervision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40007—Optimize sequence of pick and place operations upon arrival of workpiece on conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及一种机器人总控系统，上述机器人总控系统包括:总控制器，上述总控制器用于控制至少一个双机器人控制系统；每一上述双机器人控制系统包括第一机器人、第二机器人、载物台、摄像头和分控器，上述第一机器人、上述第二机器人、上述载物台、上述摄像头均受控于上述分控器，每一上述分控器受控于上述总控制器。本公开可以协同综合管控多机器人进行物体的抓取和移动，相较于单机器人的情况，效率大幅度提升。此外，对每一双机器人控制系统进行设计，提升双机器人控制系统协同工作的作业效率。

Description

一种机器人总控系统
技术领域
本公开涉及机械领域，尤其涉及一种机器人总控系统。
背景技术
机器人是一种能够半自主或全自主工作的智能机器，机具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作。伴随智能决策、自动控制等领域的发展，机器人也广泛被应用到各个领域，但是单一机器人的作业效率低下，如何协调多机器人进行工作以提升工作效率成了为新的课题。
发明内容
为了解决上述至少一个技术问题，本公开提出了一种机器人总控系统。
根据本公开的一些实施例中，提供了一种机器人总控系统，所述机器人总控系统包括:
总控制器，所述总控制器用于控制至少一个双机器人控制系统；
每一所述双机器人控制系统包括第一机器人、第二机器人、载物台、摄像头和分控器，所述第一机器人、所述第二机器人、所述载物台、所述摄像头均受控于所述分控器，
每一所述分控器受控于所述总控制器。
在一个实施例中，对于每一所述双机器人控制系统，所述摄像头用于从载物台上方拍摄载物台顶部的物体，并将拍摄到的第一图像传输至分控器；所述分控器用于根据拍摄结果控制所述第一机器人和所述第二机器人。
在一个实施例中，所述分控器包括：
启动指令获取模块，用于获取总控制器发布的启动指令；
载物台运动控制模块，用于控制所述载物台移动至第一位置，当所述载物台位于所述第一位置时，所述第一机器人和所述第二机器人分立于所述载物台两侧。
在一个实施例中，所述分控器还包括：
第一图像获取模块，用于触发摄像头进行拍摄，得到所述摄像头拍摄得到的第一图像；
第一图像分析模块，用于分析所述第一图像，得到所述载物台顶部物体的分布。
在一个实施例中，所述第一图像分析模块包括：
交互模块，用于与预设的神经网络交互，得到第一图像中物体的边界信息；
分布确认模块，用于根据所述边界信息，得到第一图像中物体的分布。
在一个实施例中，所述神经网络包括：分级卷积网络、基于注意力的编码网络、融合网络和识别网络。
在一个实施例中，所述神经网络通过下述方法训练得到：
获取样本图像，上述样本图像的标签表征上述样本图像中物体的边界信息；
基于上述分级卷积网络对上述样本图像进行分级卷积处理，得到第一特征信息；
基于上述基于注意力的编码网络对上述样本图像进行基于注意力的编码处理，得到第二特征信息；
基于上述融合网络对上述第一特征信息和上述第二特征信息进行融合处理，得到第三特征信息；
将上述第三特征信息输入上述识别网络，得到边界预测信息；
基于上述边界预测信息和上述标签的差异，优化上述神经网络的参数。
在一个实施例中，所述分控器还包括：
第二位置获取单元，用于获取第二位置，所述第二位置为所述第一机器人和/或所述第二机器人传输物体的终点位置；
指令序列生成单元，用于根据所述第一图像中物体的分布和所述第二位置生成用于控制第一机器人的第一指令序列和用于控制第二机器人的第二指令序列。
在一个实施例中，所述指令序列生成单元包括：
物体序列生成单元，用于根据所述第一图像中物体的分布生成第一物体序列和第二物体序列；
路径生成单元，用于以所述第一物体序列中每一物体的位置为起点，以第一机器人的第二位置为终点生成第一路径序列，以所述第二物体序列中每一物体的位置为起点，以第二机器人的第二位置为终点生成第二路径序列；
指令生成单元，用于基于第一路径序列生成第一指令序列，以及基于第二路径序列生成第二指令序列。
在一个实施例中，所述分控器还包括：
运动控制单元，用于基于所述第一指令序列和所述第二指令序列，控制所述第一机器人和所述第二机器人。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1示出根据本公开实施例的机器人总控系统示意图；
图2示出根据本公开实施例的分控器示意图；
图3示出根据本公开实施例的第一图像分析模块示意图；
图4示出根据本公开实施例的分级卷积网络的示意图；
图5示出根据本公开实施例的指令序列生成单元。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本公开实施例提供一种机器人总控系统，如图1所示，所述机器人总控系统包括:
总控制器101，所述总控制器用于控制至少一个双机器人控制系统。总控制器可以对每一双机器人控制系统进行独立的控制。
每一所述双机器人控制系统102包括第一机器人、第二机器人、载物台、摄像头和分控器，所述第一机器人、所述第二机器人、所述载物台、所述摄像头均受控于所述分控器，每一所述分控器受控于所述总控制器。对于每一所述双机器人控制系统，所述摄像头用于从载物台上方拍摄载物台顶部的物体，并将拍摄到的第一图像传输至分控器；所述分控器用于根据拍摄结果控制所述第一机器人和所述第二机器人。
在一实施例中，本案的第一/第二机器人是具有物品搬运功能的机器人，比如说具有机械手或者吸盘，从而能够抓取或者吸取物品，并将其搬运到指定的终点位置。
在一个实施例中，如图2所示，所述分控器包括：
启动指令获取模块201，用于获取总控制器发布的启动指令；
载物台运动控制模块202，用于控制所述载物台移动至第一位置，当所述载物台位于所述第一位置时，所述第一机器人和所述第二机器人分立于所述载物台两侧。本公开实施例中的第一位置可以由所述总控制器设置。
第一图像获取模块203，用于触发摄像头进行拍摄，得到所述摄像头拍摄得到的第一图像。
第一图像分析模块204，用于分析所述第一图像，得到所述载物台顶部物体的分布。
第二位置获取单元205，用于获取第二位置，所述第二位置为所述第一机器人和/或所述第二机器人传输物体的终点位置。本公开实施例第二位置也通过总控制器设置。
指令序列生成单元206，用于根据所述第一图像中物体的分布和所述第二位置生成用于控制第一机器人的第一指令序列和用于控制第二机器人的第二指令序列。
运动控制单元207，用于基于所述第一指令序列和所述第二指令序列，控制所述第一机器人和所述第二机器人。
如图3所示，所述第一图像分析模块204包括：
交互模块2041，用于与预设的神经网络交互，得到第一图像中物体的边界信息。
分布确认模块2042，用于根据所述边界信息，得到第一图像中物体的分布。
本公开实施例认为相关现有技术对物体边界识别的准确度不高，可能会对于边界信息的获取结果产生影响，从而影响最后的控制指令(如路径规划)的准确性。因此，本公开实施例自行设计并训练新的神经网络，上述神经网络包括分级卷积网络、基于注意力的编码网络、融合网络和识别网络。
所述神经网络通过下述方法训练得到：获取样本图像，上述样本图像的标签表征上述样本图像中物体的边界信息；基于上述分级卷积网络对上述样本图像进行分级卷积处理，得到第一特征信息；基于上述基于注意力的编码网络对上述样本图像进行基于注意力的编码处理，得到第二特征信息；基于上述融合网络对上述第一特征信息和上述第二特征信息进行融合处理，得到第三特征信息；将上述第三特征信息输入上述识别网络，得到边界预测信息；基于上述边界预测信息和上述标签的差异，训练神经网络，优化上述神经网络的参数。
本公开实施例认为传统的卷积网络的特征提取能力不足，并不能够充分挖掘到足够的细节信息，也不能够挖掘到足够的用于进行目标识别的具备辨识度的信息。因此，本公开实施例设计一种分级卷积网络，通过逐层提取充分具备辨识度的信息，增加提取到的第一特征信息中的信息的富集度。本公开实施例中分级卷积网络包括至少两个提取分支，当然，并不限制提取分支的数量，但是数量越多速度越慢，提取效果也自然越好。
比如说，在分级卷积网络包括两个提取分支的情况下：第一分支对输入图像进行特征提取操作，得到第一特征提取结果；第一特征提取结果经过特征过滤操作后输入第二分支，经过第二分支的特征提取操作后，得到第二特征提取结果；将第一特征提取结果和第二特征提取结果进行融合，能够挖掘隐藏信息，从而得到更充分的提取结果。
请参考图4，其示出分级卷积网络的示意图，本公开实施例以三个提取分支为例进行详述。该分级卷积网络包括第一分支、第二分支和第三分支，上述第一分支、第二分支和第三分支均用于进行特征提取操作，本公开实施例不对具体的特征提取操作进行限定，比如，其可以是卷积操作或者多尺度卷积操作。
此外，该分级卷积网络还包括第四分支和第五分支，第四分支和第五分支分别与上述第一分支和第二分支进行连接，上述第四分支和第五分支均用于进行特征过滤操作。比如说，特征过滤操作包括重要度判断操作和基于重要度的特征抹除操作。
以第四分支为例对本公开实施例独创的特征过滤操作进行示例性详述如下：第一分支输出的第一特征提取结果被输入到第四分支。在第四分支中进行区域划分，比如得到至少九个区域。对该第一特征提取结果中对应于每一区域的信息进行重要度判断，得到每一区域对应的重要度。将该第一特征提取结果中重要度大于预设阈值的区域对应的信息抹除，得到第一修正信息。上述第一修正信息被第四分支输出，作为第二分支的输入。
本公开实施例认为，较为重要的区域对应的信息在第一特征提取结果中已经被表达出来了，第四分支将这些较为重要的信息抹除后，把不甚重要的区域对应的信息记录在第一修正信息中，将第一修正信息输入下一分支(第二分支)继续进行特征提取，得到第二特征提取结果，可以达到挖掘隐蔽信息的作用，从而使得在相关技术中难以被提取到的信息在下一分支被提取出来，基于这一构思可以逐层挖掘出难以被提取到的信息。
类似的，第二分支通过特征提取操作得到第二特征提取结果，而第二特征提取结果又被输入第五分支进行特征过滤操作(与第四分支类似的特征过滤操作)，从而得到第二修正信息。第二修正信息被输入到第三分支，通过特征提取操作得到第三特征提取结果。
最后，对第一分支、第二分支和第三分支输出的第一特征提取结果、第二特征提取结果和第三特征提取结果进行融合，可以将逐层挖掘出的信息融合起来，得到具备强辨识力的第一特征信息。
进一步地，本公开实施例认为传统的卷积网络的特征提取能力是不足的，这一问题本公开实施例通过设计独有的分级卷积网络进行多层级挖掘，从而在一定程度弥补了这一不足。但是本公开实施例认为即使使用了分级卷积网络提取到了充分具备辨识力的信息，这些信息的质量仍然不一定能满足本公开实施例对于边界预测准确度的要求，原因在于，本公开实施例认为分级卷积网络以卷积操作作为特征提取的核心操作，而卷积操作对于全局信息的把控能力有限，较多地关注的是卷积感受野以内的局部信息，对于全局信息把控能力的不足一定程度上影响了第一特征信息的表现力。
为了弥补这一问题，本公开实施例就提出对于样本图像进行基于注意力的编码处理，基于注意力的编码处理的过程可以将样本图像进行序列化，对序列化结果的编码过程关注的是全局信息，从而使得得到的第二特征信息中包含足够的全局信息。具体的基于注意力的编码操作与卷积操作的执行过程本公开不做赘述，可以参考神经网络的相关现有技术。
相关现有技术中的基于注意力的编码处理中对每个编码点一视同仁，本公开实施例认为这一处理方式会降低本公开实施例中神经网络的收敛速度，也是不甚合理的。本公开实施例提出在进行基于注意力的编码处理的过程中为每个编码点设置权值，每个权值表征该编码点的重要程度，在对每个编码点进行基于注意力的编码处理以得到该编码点对应的编码信息后，对各编码点进行基于权值的信息融合，得到第二特征信息。这一操作的主要目的在于，使得上述神经网络可以更快速的收敛。
本公开实施例认为权值设置的合理程度对于收敛的速度具有一定影响。本公开实施例中进一步公开对编码点PA的权值的计算方法，其中PA为上述编码点中的任一编码点，上述权值计算方法包括：计算除编码点PA之外的其它编码点对应的编码信息，与编码点A对应的编码信息的距离，基于该距离确定上述权值。基于距离确定权值可以使得权值的设置合理化，进一步提升收敛效果。
本公开实施例中第一特征信息包括充分的具备辨识力的信息并且对样本图像中的局部进行了充分关注，第二特征信息对样本图像的全局进行了充分关注，融合第一特征信息和第二特征信息后得到的第三特征信息兼具这些优势，是一种非常优质的信息。
本公开实施例中神经网络的损失包括两部分，其中一部分是基于上述边界预测信息和上述标签的差异产生的第一损失，另一部分因为重要度判断产生的第二损失，也就是说，第二损失是各个执行重要度判断操作的分支产生的损失，以图4为例，就是第四分支和第五分支产生的损失的和。
具体来说，以第四分支产生的损失为例，第四分支产生的损失可以通过下述方法确定：
S1：针对每一区域，对第一特征提取结果中该区域对应的信息进行抹除，然后对抹除后的结果进行目标识别处理，基于目标识别结果与标签的差异确定该区域的重要度。
S2：针对每一区域，对上述第一特征提取结果中该区域对应的信息进行自融合操作，得到该区域对应的信息指标值。
S3：对每一区域的重要度和每一区域的信息指标值均进行归一化处理，并对归一化处理的结果进行融合，得到每一区域对应的重要度参考值。
S4：将上述第一特征提取结果输入第四分支，得到每一区域对应的重要度预测值。
S5：基于上述重要度参考值和上述重要度预测值的差异，得到第四分支的损失。
本公开实施例中目标识别处理可以是基于相关技术中的成熟网络，在此不做限定。因为这个目标识别处理只是用于确定各个区域的相对重要度而已，不具有绝对性意义，因此对于目标识别处理算法的质量要求不高，使用成熟的网络即可。可以理解的是，目标识别结果与上述标签的差异越小，说明上述区域越不重要。
本公开实施例中并不限定上述自融合操作的具体类型，就是对上述第一特征提取结果中上述区域对应的信息自身进行融合，最终将这些信息融合为一个值(信息指标值)。本公开实施例中提及的融合可以参考相关技术，对此不作限定，神经网络领域的融合操作都可以参考选用用于支撑本公开实施例。
基于上述第一损失和上述第二损失训练上述神经网络，最后得到的训练好的神经网络可以用于识别出第一图像中的各个物体，从而得到各个物体的边界信息。
在一个实施例中，如图5所示。所述指令序列生成单元包括：
物体序列生成单元2061，用于根据所述第一图像中物体的分布生成第一物体序列和第二物体序列。
所述物体序列生成单元2061可以执行下述操作：
S11：将所述分布对应的区域分为第一区域、第二区域和第三区域，所述第一区域为所述第一机器人可以触及并且不可能与所述第二机器人发生任何碰撞的区域，所述第二区域为所述第二机器人可以触及并且不可能与所述第一机器人发生任何碰撞的区域，所述第三区域为所述第一机器人和所述第二机器人均可触达并且可能产生碰撞的区域。
S12：根据所述第一区域中物体的分布、所述第二区域中物体的分布以及所述第三区域中物体的分布，确定所述第一物体序列以及所述第二物体序列。
比如说，根据每个区域中的物体分布，获取每个区域内的物体数量和相对位置的信息，并根据每个区域内的物体数量和相对位置的信息，规划第一/第二机器人(机械手)的操作路径，从而实现第一机器人和第二机器人的协同操作(互相之间不干扰)。比如通过分区分配降低作业干扰，比如通过降低拥挤度的作业操作降低干扰。
比如使用两种标记(如第一标记为同步标记，第二标记为异步标记)来区分和规划同步操作和异步操作(如交替操作)。当第一机器人和第二机器人正在执行的序列确定不会发生相互干扰时，使用同步标记，两个机器人同时作业(同步作业)。当第一机器人和第二机器人正在执行的序列可能会发生相互干扰时，使用异步标记，两个机器人不同步作业，而是比如说设置一定的时间差，比如说交替作业。
优选地，通过精确的相对位置信息，能够规划实现较短的运动路径。比如在生成物体序列时，选择与上一个选中物体距离最近(或较近)的物体作为新的选中物体。
具体来说，所述物体序列生成单元2061可以执行下述操作：
S121：统计所述第一区域中的物体的第一数量、所述第二区域中的物体的第二数量以及所述第三区域中的物体的第三数量。
S122：对所述第一区域中的物体排序，得到所述第一物体序列，对所述第二区域中的物体排序，得到所述第二物体序列，并且为所述第一区域中的物体和所述第二区域中物体携带第一标记。该第一标记比如为同步标记，使得第一机械手(第一机器人)执行第一物体序列的时候，第二机械手(第二机器人)同步执行第二物体序列。
在一些实施例中，对第一区域物体排序方法可以为：
1.在第一区域中选择与第一机器人当前位置距离最近的物体，作为当前物体，将加入第一物体序列。2.在第一区域中选择之前没被选择的并且与当前物体距离最近的物体，作为新的当前物体，将其加入第一物体序列。
3.在第一区域中仍然存在未被选择的物体的情况下，重复执行步骤2。
第二区域物体排序方法可以基于相同构思，在此不做赘述。
这种排序方式可以使得第一机器人和第二机器人运动路径最短，尤其是对于末端执行器抓取到物体之后直接从与该末端执行器连通的输送空间输送走物体的情况。
如果所述第一数量等于所述第二数量，并且所述第三数量为零，则第一物体序列和第二物体序列可以至此被完全确定。
如果所述第一数量不等于所述第二数量，以所述第一数量大于所述第二数量的情况为例，进行下述说明。如果第一数量小于第二数量，则同理类似，不做赘述。
(a)响应于所述第一数量大于所述第二数量的情况，确定所述第一数量和所述第二数量的差值。
(b)响应于所述第三数量小于等于所述差值的情况，对所述第一区域的物体排序，得到第一物体序列；对所述第二区域的物体以及第三区域的物体进行排序，得到所述第二物体序列；使所述第一物体序列和第二物体序列中的物体均携带第一标记，比如同步标记。
(c)响应于所述第三数量大于所述差值的情况，对所述第一区域的物体进行排序，得到第一物体序列；对所述第二区域的物体进行排序，得到第三物体序列；在所述第三区域中选取所述差值个数的物体进行排序，得到第四物体序列；连接所述第三物体序列和所述第四物体序列得到所述第二物体序列；使所述第一物体序列和第二序列中的物体均携带第一标记，比如同步标记。
对于如何确定第四物体序列，在一个实施例中可以采取下述方法确定：
10.在第三区域中选择与第三物体序列最后一个物体距离最近的物体，作为当前物体，将当前物体加入第四物体序列。
20.在第三区域中随机选择一个之前未被选中的物体，作为新的当前物体，将当前物体加入第四物体序列。
30.在第三区域中选中的物体的数量没有达到上述差值的情况下，重复执行步骤20。
这种第四物体序列确定方式可以节省第二机器人的运动路径，并且保证第二物体序列的生成速度。
在另一个实施例中，还可以提供另一确定第四物体序列的方式：
100.在第三区域中选择与第三物体序列最后一个物体距离最近的物体，作为当前物体，将当前物体加入第四物体序列。
200.在第三区域内之前未被选中的物体中，选择紧密度最高的物体作为新的当前物体，将当前物体加入第四物体序列。
紧密度表征的是物体的一种周围环境信息，如果一个物体W1周围较近的位置存在其它物体，另一个物体W2同样周围较近的位置不存在任何其它物体，则物体W1的紧密度大于物体W2的紧密度。紧密度就是表征物体所在的环境的拥堵程度，紧密度可以通过下述公式计算得到
Figure BDA0003324394720000091
其中w表示某个物体，we表示各个与物体w相邻的物体，||w-we||表示w与we的距离。
300.在第三区域中选中的物体的数量没有达到上述差值的情况下，重复执行步骤200。
这种第四物体序列确定方式可以较大概率增大第一机器人和第二机器人可以同步运行的时间。因为这一确定方式可以最大限度降低第三区域中物体之间的拥挤程度，物体拥挤程度降低有利于同步作业。
步骤(a-c)中得到的第一物体序列和第二物体序列中的物体可以被同步抓取移动，从而提升工作效率。细节的排序如果结合上文步骤(1-3)，还能同时达到缩短末端执行器运动路径的技术效果。
在执行完前文之后，如果符合第一预设情况还需要执行下述操作：执行第一算法，所述第一算法用于在第三区域中选择新的第一物体和新的第二物体，并将所述新的第一物体压入所述第一物体序列尾部，以及将所述新的第二物体压入所述第二物体序列尾部。所述新的第一物体和所述新的第二物体都携带第一标记，比如同步标记。重复执行所述第一算法直至达到第一终止执行条件。
第一预设情况比如包括两种：(1)所述第一数量等于所述第二数量，但是第三数量不为零。(2)第一数量不等于第二数量，但是在执行上述步骤(a-c)之后第三区域中还存在未被选中的物体。
第一终止执行条件也比如包括两种情况：第三区域中不存在未被选择过的物体(无法选择出第一物体)，或者，在选择第一物体之后，无法选择出第二物体。
在一个实施例中，第一算法的执行过程可以被描述为a1-b1，这种第一算法的执行过程可以尽可能缩短第一机器人的运动路径，并且通过降低拥挤程度有利于同步作业。
(a1)在未达到第一终止条件的情况下，将所述第三区域中未被选择过的物体中，与上述第一物体序列中最后一个物体距离最近的物体作为新的第一物体；并且，将位于所述第三区域中并且位于所述新的第一物体的辐射区域之外紧密度最高的物体作为新的第二物体。某一物体“位于第一物体的辐射区域之外”的含义是：当第一机器人抓取该第一物体，并且第二机器人同步抓取该某一物体时，第一机器人和第二机器人不会发生碰撞。
(b1)将上述新的第一物体追加到上述第一物体序列尾部，将上述新的第二物体追加到上述第二物体序列尾部，优选地，第一物体和第二物体都携带第一标记，比如同步标记。
在未达到第一终止条件的情况下，持续重复执行上述步骤(a1-b1)直至达到第一终止条件。
在另一个实施例中，第一算法的执行过程可以被描述为a10-b10，这种第一算法的执行过程可以尽可能缩短第一机器人和第二机器人的运动路径。
(a10)在未达到第一终止条件的情况下，将所述第三区域中未被选择过的物体中，与上述第一物体序列中最后一个物体距离最近的物体作为新的第一物体；将位于所述第三区域中并且位于所述新的第一物体的辐射区域之外，与所述第二物体序列中最后一个物体距离最近的物体作为新的第二物体。
(b10)将上述新的第一物体追加到上述第一物体序列尾部，将上述新的第二物体追加到上述第二物体序列尾部，优选地，第一物体和第二物体都携带第一标记，比如同步标记。
在未达到第一终止条件的情况下，持续重复执行上述步骤(a10-b10)直至达到第一终止条件。
如果第一终止条件被触发并且第三区域中不存在未被选择过的物体，则第一物体序列和第二物体序列可以被完全确定。
在执行完前文的步骤之后，如果达到第一终止执行条件，但所述第三区域中仍然存在待选物体时(待选物体为不属于第一物体序列并且不属于第二物体序列的物体，比如待选物体均位于新的第一物体的辐射区域内，因此不能够选出新的第二物体)，可以执行下述操作：执行第二算法，所述第二算法用于在所述第三区域的待选物体中选择第三物体，将所述第三物体添加第二标记(如异步标记)并压入所述第一物体序列尾部，以及响应于所述第三区域中依然存在待选物体的情况，在所述第三区域的待选物体中选择第四物体，将所述第四物体添加第二标记(如异步标记)并压入所述第二物体序列的尾部。重复执行所述第二算法直至达到第二终止执行条件。
异步标记可以用来标记非同步执行的操作。
非同步执行的操作可以是错开一定时间差的操作，比如第一机器人开始进入第三区域时，第二机器人不马上进入第三区域，而是等待一段时间，等第一机器人准备离开的时候(或准备抬起的时候)，第二机器人再进入第三区域。
非同步执行的操作还可以是交替操作。交替操作的指令可以是第一机器人(第一机械手)和第二机器人(第二机械手)交替执行的指令，也可以被理解为排他性指令，比如，第一机器人(第一机械手)执行交替性指令时，第二机器人(第二机械手)不执行指令，当第一机器人(第一机械手)执行完交替性指令时，第二机器人(第二机械手)可以执行指令，此时第一机器人(第一机械手)不执行指令。第二终止执行条件可以包括两种情况：无法选择出第三物体或者无法选择出第四物体。
在一个实施例中，第二算法的执行过程可以描述如下：
(a100)在未达到第二终止条件的情况下，将所述第三区域的待选物体中，与上述第一物体序列中最后一个物体距离最近的物体作为第三物体，将所述第三物体添加第二标记(如异步标记)并压入所述第一物体序列尾部。
(b100)在未达到第二终止条件的情况下，将所述第三区域的待选物体中，与上述第二物体序列中最后一个物体距离最近的物体作为第四物体，将所述第四物体添加第二标记(如异步标记)并压入所述第二物体序列的尾部。
(c100)持续重复执行上述步骤(a100-b100)，直至达到第二终止条件。
使用步骤(a100-c100)可以尽可能缩短第一机器人的运动路径，以及第二机器人的运动路径。
路径生成单元2062，用于以所述第一物体序列中每一物体的位置为起点，以第一机器人的第二位置为终点生成第一路径序列，以所述第二物体序列中每一物体的位置为起点，以第二机器人的第二位置为终点生成第二路径序列。
具体来说，若第一物体序列中的物体携带第一标记(如同步标记)，则对应的路径也携带第一标记，若第一物体序列中的物体携带第二标记(如异步标记)，则对应的路径也携带第二标记。第二物体序列同理类似，不再赘述。
指令生成单元2063，用于基于第一路径序列生成第一指令序列，以及基于第二路径序列生成第二指令序列。第一路径序列中每个路径对应生成用于控制第一机器人沿所述路径运动的指令，得到第一指令序列，第二路径序列中每个路径对应生成用于控制第二机器人沿所述路径运动的指令，得到第二指令序列。机器人沿所述路径运动的过程中，可以在路径开始时抓取起点位置的物体，然后在路径终点放开所述物体，从而完成物体的转移。本公开实施例中基于携带第一标记的路径生成的指令携带同步标记，基于第二标记的路径生成的指令携带异步标记。在某一个实施例中，携带同步标记的指令为同步操作指令，即第一机械手和第二机械手同步执行相应的指令。携带异步标记的指令为非同步执行的操作指令。比如交替操作。交替操作的指令可以是第一机械手和第二机械手交替执行的指令，也可以被理解为排他性指令，比如，第一机械手执行交替性指令时，第二机械手不执行指令，当第一机械手执行完交替性指令时，第二机械手可以执行指令，此时第一机械手不执行指令。
具体来说，运动控制单元207可以执行下述操作：
依次提取所述第一指令序列中携带有同步标记的指令，得到所述第一子序列。依次提取所述第一指令序列中携带有异步标记的指令，得到所述第二子序列。依次提取所述第二指令序列中携带有同步标记的指令，得到所述第三子序列。依次提取所述第二指令序列中携带有异步标记的指令，得到所述第四子序列。当然，在不存在异步标记的指令的情况下，第二子序列、第四子序列为空。
具体来说，可以同步弹出所述第一子序列头部的第一指令和所述第三子序列头部的第三指令。本公开实施例中“弹出”的含义是获取并在原位置删除。弹出第一子序列头部的第一指令的含义是，获取第一子序列头部的指令，并且在第一子序列中删除该已获取的指令。
将所述第一指令发送至所述第一机器人以控制所述第一机器人执行第一动作，同步将所述第三指令发送至所述第二机器人以控制所述第二机器人同步执行第三动作。
响应于所述第一机器人完成所述第一动作并且所述第二机器人完成所述第三动作的情况，重复执行新的同步弹出所述第一子序列头部的新的第一指令和所述第三子序列头部的新的第三指令。
其中，所述第一指令表征所述第一子序列头部的指令，所述第一动作表征所述第一指令指向的动作，所述第三指令表征所述第三子序列头部的指令，所述第三动作表征所述第三指令指向的动作。
响应于所述第一子序列和所述第三子序列均为空，并且第二子序列和第四子序列均为空的情况，控制过程结束。
响应于所述第一子序列和所述第三子序列均为空，并且第二子序列不为空的情况，弹出所述第二子序列头部的第二指令，将所述第二指令发送至所述第一机器人执行第二动作。
响应于所述第二动作执行完成并且第四子序列头部为空的情况，控制过程结束。
响应于所述第二动作执行完成并且第四子序列头部不为空的情况，弹出所述第四子序列头部的第四指令，将所述第四指令发送至所述第二械手执行第四动作。
其中，所述第二指令表征所述第二子序列头部的指令，所述第二动作表征所述第二指令指向的动作，所述第四指令表征所述第四子序列头部的指令，所述第四动作表征所述第四指令指向的动作。
响应于所述第二机器人执行完一个第四动作，并且剩下的第二子序列不为空的情况，重复执行所述弹出所述第二子序列头部的新的第二指令，将所述新的第二指令发送至所述第一机器人执行新的第二动作。
响应于所述第二机器人执行完一个第四动作，并且剩下的第二子序列为空、并且第四子序列不为空的情况，弹出所述第四子序列头部的新的第四指令，将所述新的第四指令发送至所述第二械手执行新的第四动作。
本公开实施例设计了一种机器人总控系统，可以协同综合管控多机器人进行物体的抓取和移动，相较于单机器人的情况，效率大幅度提升。此外，对每一双机器人控制系统进行设计，提升双机器人控制系统协同工作的作业效率。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种机器人总控系统，其特征在于，所述机器人总控系统包括:
总控制器，所述总控制器用于控制至少一个双机器人控制系统；
每一所述双机器人控制系统包括第一机器人、第二机器人、载物台、摄像头和分控器，所述第一机器人、所述第二机器人、所述载物台、所述摄像头均受控于所述分控器，
每一所述分控器受控于所述总控制器。
2.根据权利要求2所述的一种机器人总控系统，其特征在于，对于每一所述双机器人控制系统，所述摄像头用于从载物台上方拍摄载物台顶部的物体，并将拍摄到的第一图像传输至分控器；所述分控器用于根据拍摄结果控制所述第一机器人和所述第二机器人。
3.根据权利要求2所述的系统，其特征在于，所述分控器包括：
启动指令获取模块，用于获取总控制器发布的启动指令；
载物台运动控制模块，用于控制所述载物台移动至第一位置，当所述载物台位于所述第一位置时，所述第一机器人和所述第二机器人分立于所述载物台两侧。
4.根据权利要求3所述的系统，其特征在于，所述分控器还包括：
第一图像获取模块，用于触发摄像头进行拍摄，得到所述摄像头拍摄得到的第一图像；
第一图像分析模块，用于分析所述第一图像，得到所述载物台顶部物体的分布。
5.根据权利要求4所述的系统，其特征在于，所述第一图像分析模块包括：
交互模块，用于与预设的神经网络交互，得到第一图像中物体的边界信息；
分布确认模块，用于根据所述边界信息，得到第一图像中物体的分布。
6.根据权利要求5所述的系统，其特征在于，所述神经网络包括：分级卷积网络、基于注意力的编码网络、融合网络和识别网络。
7.根据权利要求6所述的系统，其特征在于，所述神经网络通过下述方法训练得到：
获取样本图像，上述样本图像的标签表征上述样本图像中物体的边界信息；
基于上述分级卷积网络对上述样本图像进行分级卷积处理，得到第一特征信息；
基于上述基于注意力的编码网络对上述样本图像进行基于注意力的编码处理，得到第二特征信息；
基于上述融合网络对上述第一特征信息和上述第二特征信息进行融合处理，得到第三特征信息；
将上述第三特征信息输入上述识别网络，得到边界预测信息；
基于上述边界预测信息和上述标签的差异，优化上述神经网络的参数。
8.根据权利要求5至7所述的系统，其特征在于，所述分控器还包括：
第二位置获取单元，用于获取第二位置，所述第二位置为所述第一机器人和/或所述第二机器人传输物体的终点位置；
指令序列生成单元，用于根据所述第一图像中物体的分布和所述第二位置生成用于控制第一机器人的第一指令序列和用于控制第二机器人的第二指令序列。
9.根据权利要求8所述的系统，其特征在于，所述指令序列生成单元包括：
物体序列生成单元，用于根据所述第一图像中物体的分布生成第一物体序列和第二物体序列；
路径生成单元，用于以所述第一物体序列中每一物体的位置为起点，以第一机器人的第二位置为终点生成第一路径序列，以所述第二物体序列中每一物体的位置为起点，以第二机器人的第二位置为终点生成第二路径序列；
指令生成单元，用于基于第一路径序列生成第一指令序列，以及基于第二路径序列生成第二指令序列。
10.根据权利要求9所述的系统，其特征在于，所述分控器还包括：
运动控制单元，用于基于所述第一指令序列和所述第二指令序列，控制所述第一机器人和所述第二机器人。
CN202111257574.3A 2021-10-27 2021-10-27 一种机器人总控系统 Active CN113910269B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111257574.3A CN113910269B (zh) 2021-10-27 2021-10-27 一种机器人总控系统
EP22172420.6A EP4173771A1 (en) 2021-10-27 2022-05-10 Robot master control system
US17/751,594 US20230129871A1 (en) 2021-10-27 2022-05-23 Robot master control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111257574.3A CN113910269B (zh) 2021-10-27 2021-10-27 一种机器人总控系统

Publications (2)

Publication Number Publication Date
CN113910269A true CN113910269A (zh) 2022-01-11
CN113910269B CN113910269B (zh) 2022-12-20

Family

ID=79243055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111257574.3A Active CN113910269B (zh) 2021-10-27 2021-10-27 一种机器人总控系统

Country Status (3)

Country Link
US (1) US20230129871A1 (zh)
EP (1) EP4173771A1 (zh)
CN (1) CN113910269B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629151B (zh) * 2020-06-12 2023-01-24 北京字节跳动网络技术有限公司 视频合拍方法、装置、电子设备及计算机可读介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005262369A (ja) * 2004-03-18 2005-09-29 Yaskawa Electric Corp ロボットシステム
US20130103179A1 (en) * 2011-10-20 2013-04-25 Kabushiki Kaisha Yaskawa Denki Robot system and processed object manufacturing method
CN108062083A (zh) * 2018-01-02 2018-05-22 杭州电子科技大学 一种制造业无人自主上料检测与分拣系统及其控制工艺
CN108628260A (zh) * 2017-03-20 2018-10-09 浙江巨星工具有限公司 基于机器人的多品种工具成套设备及自动装配工艺
WO2020048664A1 (de) * 2018-09-06 2020-03-12 Robert Bosch Gmbh Steuervorrichtung für eine roboteranordnung, roboteranordnung, verfahren, computerprogramm und maschinenlesbares speichermedium
US20200306980A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels
US20200327679A1 (en) * 2019-04-12 2020-10-15 Beijing Moviebook Science and Technology Co., Ltd. Visual target tracking method and apparatus based on deeply and densely connected neural network
WO2021051965A1 (zh) * 2019-09-20 2021-03-25 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和计算机程序
WO2021174821A1 (zh) * 2020-08-07 2021-09-10 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10751871B2 (en) * 2015-07-30 2020-08-25 Kawasaki Jukogyo Kabushiki Kaisha Robot and method of controlling the same
US10537990B2 (en) * 2017-03-30 2020-01-21 Dematic Corp. Split robotic article pick and put system
US10954081B1 (en) * 2019-10-25 2021-03-23 Dexterity, Inc. Coordinating multiple robots to meet workflow and avoid conflict

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005262369A (ja) * 2004-03-18 2005-09-29 Yaskawa Electric Corp ロボットシステム
US20130103179A1 (en) * 2011-10-20 2013-04-25 Kabushiki Kaisha Yaskawa Denki Robot system and processed object manufacturing method
CN108628260A (zh) * 2017-03-20 2018-10-09 浙江巨星工具有限公司 基于机器人的多品种工具成套设备及自动装配工艺
CN108062083A (zh) * 2018-01-02 2018-05-22 杭州电子科技大学 一种制造业无人自主上料检测与分拣系统及其控制工艺
WO2020048664A1 (de) * 2018-09-06 2020-03-12 Robert Bosch Gmbh Steuervorrichtung für eine roboteranordnung, roboteranordnung, verfahren, computerprogramm und maschinenlesbares speichermedium
US20200306980A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels
US20200327679A1 (en) * 2019-04-12 2020-10-15 Beijing Moviebook Science and Technology Co., Ltd. Visual target tracking method and apparatus based on deeply and densely connected neural network
WO2021051965A1 (zh) * 2019-09-20 2021-03-25 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和计算机程序
WO2021174821A1 (zh) * 2020-08-07 2021-09-10 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20230129871A1 (en) 2023-04-27
CN113910269B (zh) 2022-12-20
EP4173771A1 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
CN110125930B (zh) 一种基于机器视觉和深度学习的机械臂抓取控制方法
JP7100426B2 (ja) ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
CN106125925B (zh) 基于手势和语音控制的智能抓捕方法
CN109483573A (zh) 机器学习装置、机器人系统以及机器学习方法
CN112243698B (zh) 一种基于多传感器融合技术的核桃自动化采摘及收集方法
JP6335806B2 (ja) ワーク供給装置およびワーク把持姿勢計算方法
CN113910269B (zh) 一种机器人总控系统
CN112344945B (zh) 室内配送机器人路径规划方法、系统及室内配送机器人
CN108780361A (zh) 人机交互方法、装置、机器人及计算机可读存储介质
CN114029951B (zh) 基于深度相机的机器人自主识别智能抓取方法
CN112969558A (zh) 机器人的预测控制方法及相关控制系统
CN114943751B (zh) 云化plc环境下基于方向矢量的物料跟踪定位方法及系统
CN112192577A (zh) 一种应用于机器人抓取场景的一拍多抓方法
CN113334395A (zh) 多夹具的机械臂无序抓取方法及系统
Mahaadevan et al. Automatic Identifier of Socket for Electrical Vehicles using SWIN-Transformer and SimAM Attention Mechanism-based EVS YOLO
CN113687651A (zh) 一种按需派送车辆的路径规划方法及装置
CN111496794B (zh) 一种基于仿真工业机器人的运动学自抓取学习方法和系统
RU2755876C1 (ru) Способ оптимизации роботизированной сортировки тко путём динамического планирования перемещений робота-сортировщика
CN114029250B (zh) 物品分拣方法与系统
CN113910234B (zh) 双机械手控制方法与存储介质
CN113401553B (zh) 搬仓方法及设备
EP4097678A1 (en) Confidence-based segmentation of multiple units
JP7470062B2 (ja) 情報処理装置、および、学習認識システム
CN114029947B (zh) 机器人拾物序列确定方法与装置
CN118003339B (zh) 一种基于人工智能的机器人分拣控制算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant