CN113910234B - 双机械手控制方法与存储介质 - Google Patents

双机械手控制方法与存储介质 Download PDF

Info

Publication number
CN113910234B
CN113910234B CN202111257604.0A CN202111257604A CN113910234B CN 113910234 B CN113910234 B CN 113910234B CN 202111257604 A CN202111257604 A CN 202111257604A CN 113910234 B CN113910234 B CN 113910234B
Authority
CN
China
Prior art keywords
instruction
subsequence
manipulator
action
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111257604.0A
Other languages
English (en)
Other versions
CN113910234A (zh
Inventor
马战鹏
王赫
钱泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inger Suzhou Intelligent Technology Co ltd
Original Assignee
Inger Suzhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inger Suzhou Intelligent Technology Co ltd filed Critical Inger Suzhou Intelligent Technology Co ltd
Priority to CN202111257604.0A priority Critical patent/CN113910234B/zh
Publication of CN113910234A publication Critical patent/CN113910234A/zh
Priority to EP22172227.5A priority patent/EP4173770A1/en
Priority to US17/750,379 priority patent/US20230125934A1/en
Application granted granted Critical
Publication of CN113910234B publication Critical patent/CN113910234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087—Dual arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39117—Task distribution between involved manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39135—For multiple manipulators operating at same time, avoid collision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40007—Optimize sequence of pick and place operations upon arrival of workpiece on conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40014—Gripping workpiece to place it in another place
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40307—Two, dual arm robot, arm used synchronously, or each separately, asynchronously
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及双机械手控制方法与存储介质，上述方法应用于双机械手控制系统，上述系统包括第一机械手、第二机械手、托板、照相机和中控模组，上述第一机械手、上述第二机械手、上述托板、上述照相机均受控于上述中控模组，上述中控模组用于执行上述双机械手控制方法，上述方法包括：确定第一指令序列和第二指令序列，上述第一指令序列用于控制上述第一机械手，上述第二指令序列用于控制上述第二机械手；基于上述第一指令序列和上述第二指令序列，控制上述第一机械手和上述第二机械手。本公开可以提升作业效率。

Description

双机械手控制方法与存储介质
技术领域
本公开涉及智能设备领域，尤其涉及双机械手控制方法与存储介质。
背景技术
随着科技的进步，用智能设备代替人工，节省人力成本，实现自动化的物体搬运已经成为大趋势。单一的智能设备的工作效率低，而多智能设备协同工作可以有效提升工作效率，而如何处理多智能化设备协同工作就成为了新的问题。
发明内容
为了解决上述至少一个技术问题，本公开提出了双机械手控制方法与存储介质。
根据本公开的一些实施例中，提供了一种双机械手控制方法，所述方法应用于双机械手控制系统，所述系统包括第一机械手、第二机械手、托板、照相机和中控模组，所述第一机械手、所述第二机械手、所述托板、所述照相机均受控于所述中控模组，所述中控模组用于执行所述双机械手控制方法，所述方法包括：
确定第一指令序列和第二指令序列，所述第一指令序列用于控制所述第一机械手，所述第二指令序列用于控制所述第二机械手；
基于所述第一指令序列和所述第二指令序列，控制所述第一机械手和所述第二机械手。
在一个实施例中，所述基于所述第一指令序列和所述第二指令序列，控制所述第一机械手和所述第二机械手，包括：
基于所述第一指令序列，得到第一子序列和第二子序列，所述第一子序列中的指令均属于同步操作指令，所述第二子序列中的指令均属于交替操作指令；
基于所述第二指令序列，得到第三子序列和第四子序列，所述第三子序列中的指令均属于同步操作指令，所述第四子序列中的指令均属于交替操作指令。
基于所述第一子序列、第二子序列、第三子序列和第四子序列，控制所述第一机械手和所述第二机械手。
在一个实施例中，基于所述第一子序列、第二子序列、第三子序列和第四子序列，控制所述第一机械手和所述第二机械手，包括：
同步弹出所述第一子序列头部的第一指令和所述第三子序列头部的第三指令；
将所述第一指令发送至所述第一机械手以控制所述第一机械手执行第一动作，同步将所述第三指令发送至所述第二机械手以控制所述第二机械手同步执行第三动作；
响应于所述第一机械手完成所述第一动作并且所述第二机械手完成所述第三动作的情况，重复执行上述同步弹出的动作，以同步弹出所述第一子序列头部的新的第一指令和所述第三子序列头部的新的第三指令；
其中，所述第一指令表征所述第一子序列头部的指令，所述第一动作表征所述第一指令指向的动作，所述第三指令表征所述第三子序列头部的指令，所述第三动作表征所述第三指令指向的动作。
在一个实施例中，基于所述第一子序列、第二子序列、第三子序列和第四子序列，控制所述第一机械手和所述第二机械手，还包括：
响应于所述第一子序列和所述第三子序列均为空的情况，基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手。
在一个实施例中，基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手，包括：
弹出所述第二子序列头部的第二指令，将所述第二指令发送至所述第一机械手执行第二动作；
响应于所述第二动作执行完成的情况，弹出所述第四子序列头部的第四指令，将所述第四指令发送至所述第二械手执行第四动作；
其中，所述第二指令表征所述第二子序列头部的指令，所述第二动作表征所述第二指令指向的动作，所述第四指令表征所述第四子序列头部的指令，所述第四动作表征所述第四指令指向的动作。
在一个实施例中，所述基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手，还包括：
响应于所述第二机械手执行完所述第四动作，并且剩下的第二子序列不为空的情况，重复执行弹出步骤，以弹出所述第二子序列头部的新的第二指令，将所述新的第二指令发送至所述第一机械手执行新的第二动作。
在一个实施例中，所述基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手，还包括：
响应于所述第二机械手执行完所述第四动作，并且剩下的第二子序列为空的情况，弹出所述第四子序列头部的新的第四指令，将所述新的第四指令发送至所述第二械手执行新的第四动作。
在一个实施例中，所述基于所述第一指令序列，得到第一子序列和第二子序列，包括：
依次提取所述第一指令序列中携带有同步标记的指令，得到所述第一子序列；
依次提取所述第一指令序列中携带有异步标记的指令，得到所述第二子序列。
在一个实施例中，所述基于所述第二指令序列，得到第三子序列和第四子序列，包括：
依次提取所述第二指令序列中携带有同步标记的指令，得到所述第三子序列；
依次提取所述第二指令序列中携带有异步标记的指令，得到所述第四子序列。
根据本公开的另一些实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述一些实施例中任意一项所述的双机械手控制方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1示出根据本公开实施例的双机械手控制方法的流程图；
图2示出根据本公开实施例的分级卷积网络的示意图；
图3示出根据本公开实施例的一种情况下的分区示意图；
图4示出根据本公开实施例的另一种情况下的分区示意图；
图5示出根据本公开实施例的另一种情况下的分区示意图；
图6示出根据本公开实施例的基于指令序列的控制方法流程图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本公开实施例提供一种双机械手控制方法，上述方法应用于双机械手控制系统，上述系统包括第一机械手、第二机械手、托板、照相机和中控模组。其中，第一机械手和第二机械手可以分立于托板两侧，用于抓取托板中的物体并将其转移至预设位置，照相机用于从托板上方拍摄托板顶部的若干物体，并将拍摄到的第一图像传输至中控模组。
当托板承载物体后，工作人员向中控模组发布启动指令，中控模组即可控制托板运动至第一位置，当上述托板位于上述第一位置时，调整上述照相机的位置，如前/后/左/右/上/下调整，可以使得托板上堆叠的物体的顶部所形成的平面落入上述照相机的中心位置。中控模组触发上述照相机进行拍摄，得到第一图像。中控模组可以根据对上述第一图像的分析结果，控制上述第一机械手和上述第二机械手对上述托板中位于顶层的物体进行移动，这一移动过程通过中控模组执行如图1所示的双机械手控制方法的实施。
S101.确定第一指令序列和第二指令序列，上述第一指令序列用于控制上述第一机械手，上述第二指令序列用于控制上述第二机械手。
具体来说，可以识别上述第一图像中的若干物体，得到每一物体的平面位置信息。根据上述每一物体的平面位置信息，在上述第一图像中提取上述物体对应的深度信息。比如，在某一实施例中，采用的是3D视觉相机，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息。
根据所得到的深度信息和上述照相机在竖直方向的位置，得到每一物体的竖直位置信息。根据上述每一物体对应的平面位置信息和上述每一物体的竖直位置信息，确定第一指令序列和第二指令序列。
第一指令序列中的指令用于控制第一机械手抓取第一图像中的物体并将其移动至上述预设位置，第二指令序列中的指令用于控制第二机械手抓取第一图像中的物体并将其移动至上述预设位置。
本公开实施例中对中控模组得到竖直位置信息的方式不做赘述，可以参考现有技术中其他相关技术。
上述中控模组可以通过识别第一图像中物体的边界信息，得到每一物体的平面位置信息。本公开实施例认为相关技术中物体边界识别的准确度不高，可能会对于边界信息的获取结果产生影响，从而影响最后的控制指令(如路径规划)的准确性。因此，本公开实施例自行设计并训练新的神经网络，基于该神经网络对第一图像进行识别，可以得到充分满足本公开实施例使用场景的准确度要求的边界信息。本发明的神经网络包括分级卷积网络、基于注意力的编码网络、融合网络和识别网络。
本发明的神经网络的训练方法包括：
S201.获取样本图像，上述样本图像的标签表征上述样本图像中物体的边界信息。
S202.基于上述分级卷积网络对上述样本图像进行分级卷积处理，得到第一特征信息。
本公开实施例认为传统的卷积网络的特征提取能力不足，并不能够充分挖掘到足够的细节信息，也不能够挖掘到足够的用于进行目标识别的具备辨识度的信息。因此，本公开实施例设计一种分级卷积网络，通过逐层提取充分具备辨识度的信息，增加提取到的第一特征信息中的信息的富集度。本公开实施例中分级卷积网络包括至少两个提取分支，当然，并不限制提取分支的数量，但是数量越多速度越慢，提取效果也自然越好。
比如说，在分级卷积网络包括两个提取分支的情况下：第一分支对输入图像进行特征提取操作，得到第一特征提取结果；第一特征提取结果经过特征过滤操作后输入第二分支，经过第二分支的特征提取操作后，得到第二特征提取结果；将第一特征提取结果和第二特征提取结果进行融合，能够挖掘隐藏信息，从而得到更充分的提取结果。
请参考图2，其示出分级卷积网络的示意图，本公开实施例以三个提取分支为例进行详述。该分级卷积网络包括第一分支、第二分支和第三分支，上述第一分支、第二分支和第三分支均用于进行特征提取操作，本公开实施例不对具体的特征提取操作进行限定，比如，其可以是卷积操作或者多尺度卷积操作。
此外，该分级卷积网络还包括第四分支和第五分支，第四分支和第五分支分别与上述第一分支和第二分支进行连接，上述第四分支和第五分支均用于进行特征过滤操作。比如说，特征过滤操作包括重要度判断操作和基于重要度的特征抹除操作。
以第四分支为例对本公开实施例独创的特征过滤操作进行示例性详述如下：
(1)第一分支输出的第一特征提取结果被输入到第四分支，在第四分支中进行区域划分，比如得到至少九个区域。
(2)对该第一特征提取结果中对应于每一区域的信息进行重要度判断，得到每一区域对应的重要度；
(3)将该第一特征提取结果中重要度大于预设阈值的区域对应的信息抹除，得到第一修正信息。
(4)上述第一修正信息被第四分支输出，作为第二分支的输入。
本公开实施例认为，较为重要的区域对应的信息在第一特征提取结果中已经被表达出来了，第四份分支将这些较为重要的信息抹除后，把不甚重要的区域对应的信息记录在第一修正信息中，将第一修正信息输入下一分支(第二分支)继续进行特征提取，得到第二特征提取结果，可以达到挖掘隐蔽信息的作用，从而使得在相关技术中难以被提取到的信息在下一分支被提取出来，基于这一构思可以逐层挖掘出难以被提取到的信息。
类似的，第二分支通过特征提取操作得到第二特征提取结果，而第二特征提取结果又被输入第五分支进行特征过滤操作(与第四分支类似的特征过滤操作)，从而得到第二修正信息。第二修正信息被输入到第三分支，通过特征提取操作得到第三特征提取结果。
最后，对第一分支、第二分支和第三分支输出的第一特征提取结果、第二特征提取结果和第三特征提取结果进行融合，可以将逐层挖掘出的信息融合起来，得到具备强辨识力的第一特征信息。
S203.基于上述基于注意力的编码网络对上述样本图像进行基于注意力的编码处理，得到第二特征信息。
本公开实施例认为传统的卷积网络的特征提取能力是不足的，这一问题本公开实施例通过设计独有的分级卷积网络进行多层级挖掘，从而在一定程度弥补了这一不足。但是本公开实施例认为即使使用了分级卷积网络提取到了充分具备辨识力的信息，这些信息的质量仍然不一定能满足本公开实施例对于边界预测准确度的要求，原因在于，本公开实施例认为分级卷积网络以卷积操作作为特征提取的核心操作，而卷积操作对于全局信息的把控能力有限，较多地关注的是卷积感受野以内的局部信息，对于全局信息把控能力的不足一定程度上影响了第一特征信息的表现力。
为了弥补这一问题，本公开实施例就提出对于样本图像进行基于注意力的编码处理，基于注意力的编码处理的过程可以将样本图像进行序列化，对序列化结果的编码过程关注的是全局信息，从而使得得到的第二特征信息中包含足够的全局信息。具体的基于注意力的编码操作与卷积操作的执行过程本公开不做赘述，可以参考神经网络的相关现有技术。
相关现有技术中的基于注意力的编码处理中对每个编码点一视同仁，本公开实施例认为这一处理方式会降低本公开实施例中神经网络的收敛速度，也是不甚合理的。本公开实施例提出在进行基于注意力的编码处理的过程中为每个编码点设置权值，每个权值表征该编码点的重要程度，在对每个编码点进行基于注意力的编码处理以得到该编码点对应的编码信息后，对各编码点进行基于权值的信息融合，得到第二特征信息。这一操作的主要目的在于，使得上述神经网络可以更快速的收敛。
本公开实施例认为权值设置的合理程度对于收敛的速度具有一定影响。本公开实施例中进一步公开对编码点PA的权值的计算方法，其中PA为上述编码点中的任一编码点，上述权值计算方法包括：计算除编码点PA之外的其它编码点对应的编码信息，与编码点A对应的编码信息的距离，基于该距离确定上述权值。基于距离确定权值可以使得权值的设置合理化，进一步提升收敛效果。
S204.基于上述融合网络对上述第一特征信息和上述第二特征信息进行融合处理，得到第三特征信息。
本公开实施例中第一特征信息包括充分的具备辨识力的信息并且对样本图像中的局部进行了充分关注，第二特征信息对样本图像的全局进行了充分关注，融合第一特征信息和第二特征信息后得到的第三特征信息兼具这些优势，是一种非常优质的信息。
S205.将上述第三特征信息输入上述识别网络，得到边界预测信息。
S206.基于上述边界预测信息和上述标签的差异，训练神经网络，优化上述神经网络的参数。
本公开实施例中神经网络的损失包括两部分，其中一部分是基于上述边界预测信息和上述标签的差异产生的第一损失，另一部分因为重要度判断产生的第二损失，也就是说，第二损失是各个执行重要度判断操作的分支产生的损失，以图2为例，就是第四分支和第五分支产生的损失的和。
具体来说，以第四分支产生的损失为例，第四分支产生的损失可以通过下述方法确定：
S301.针对每一区域，对第一特征提取结果中该区域对应的信息进行抹除，然后对抹除后的结果进行目标识别处理，基于目标识别结果与标签的差异确定该区域的重要度。
本公开实施例中目标识别处理可以是基于相关技术中的成熟网络，在此不做限定。因为这个目标识别处理只是用于确定各个区域的相对重要度而已，不具有绝对性意义，因此对于目标识别处理算法的质量要求不高，使用成熟的网络即可。可以理解的是，目标识别结果与上述标签的差异越小，说明上述区域越不重要。
S302.针对每一区域，对上述第一特征提取结果中该区域对应的信息进行自融合操作，得到该区域对应的信息指标值。
本公开实施例中并不限定上述自融合操作的具体类型，就是对上述第一特征提取结果中上述区域对应的信息自身进行融合，最终将这些信息融合为一个值(信息指标值)。本公开实施例中提及的融合可以参考相关技术，对此不作限定，神经网络领域的融合操作都可以参考选用用于支撑本公开实施例。
S303.对每一区域的重要度和每一区域的信息指标值均进行归一化处理，并对归一化处理的结果进行融合，得到每一区域对应的重要度参考值。
S304.将上述第一特征提取结果输入第四分支，得到每一区域对应的重要度预测值。
S305.基于上述重要度参考值和上述重要度预测值的差异，得到上述第四分支的损失。
基于上述第一损失和上述第二损失训练上述神经网络，最后得到的训练好的神经网络可以用于识别出第一图像中的各个物体，从而得到各个物体的边界信息。在得到第一图像中物体的平面位置信息的基础上，可以得到第一图像的物体分布图。基于该物体分布图，本公开实施例可以确定上述第一机械手对应的第一指令序列，以及上述第二机械手对应的第二指令序列，包括：
S401.将上述物体分布图的区域分为第一区域Q1、第二区域Q2和第三区域Q3，上述第一区域为上述第一机械手可以触及并且不可能与上述第二机械手发生任何碰撞的区域，上述第二区域为上述第二机械手可以触及并且不可能与上述第一机械手发生任何碰撞的区域，上述第三区域为上述第一机械手和上述第二机械手均可触达并且可能产生碰撞的区域。
S402.根据上述第一区域中物体的分布、上述第二区域中物体的分布以及上述第三区域中物体的分布，确定上述第一指令序列以及上述第二指令序列。
比如说，根据每个区域中的物体分布，获取每个区域内的物体数量和相对位置的信息，并根据每个区域内的物体数量和相对位置的信息，规划第一/第二机械手的操作路径，从而实现第一机械手和第二机械手的协同操作(互相之间不干扰)。比如通过分区分配降低作业干扰，比如通过降低拥挤度的作业操作降低干扰。
比如使用两种标记(如第一标记为同步标记，第二标记为异步标记)来区分和规划同步操作和异步操作(如交替操作)。当第一机械手和第二机械手正在执行的序列确定不会发生相互干扰时，使用同步标记，两个机械手同时作业(同步作业)。当第一机械手和第二机械手正在执行的序列可能会发生相互干扰时，使用异步标记，两个机械手不同步作业，而是比如说设置一定的时间差，比如说交替作业。
优选地，通过精确的相对位置信息，能够规划实现较短的运动路径。比如在生成物体序列时，选择与上一个选中物体距离最近(或较近)的物体作为新的选中物体。
具体来说，根据上述第一区域中物体的分布、上述第二区域中物体的分布以及上述第三区域中物体的分布，确定上述第一指令序列以及上述第二指令序列，包括：
S4021.统计上述第一区域中的物体的第一数量、上述第二区域中的物体的第二数量以及上述第三区域中的物体的第三数量。
请参考图3，其示出一种情况下的分区示意图。第一区域中有三个物体A、B、C，第二区域中有三个物体D、E、F，第三区域中有四个物体G,I,J,K，第一数量、第二数量和第三数量分别为3、3、4。
S4022.对上述第一区域中的物体排序，得到上述第一指令序列，对上述第二区域中的物体排序，得到上述第二指令序列，并且为上述第一区域中的物体对应的指令和上述第二区域中物体对应的指令均携带同步标记。从而第一机械手(第一机器人)执行第一物体序列的时候，第二机械手(第二机器人)可以同步执行第二物体序列。
本公开实施例中第一区域中的物体对应的指令的含义是，该指令用于将上述具备对应关系的第一区域中的物体移动至预设位置，后文中“物体对应的指令”的含义相同，不做赘述。距离来说，物体A对应的指令，就是用于将物体A移动至预设位置的指令。
第一区域中物体排序的方法和第二区域中物体排序的方法可以相同或者不同。在一些实施例中，对第一区域物体排序方法可以为：
1.在第一区域中选择与第一机械手当前位置距离最近的物体，作为当前物体，将其对应的指令加入第一指令序列。以图6为例，第一指令序列这个时候可以被表达为{A}，值得注意的是第一指令序列中{A}，表达的是物体A对应的指令，而非物体A，后文同理。
2.在第一区域中选择之前没被选择的并且与当前物体距离最近的物体，作为新的当前物体，将其对应的指令加入第一指令序列。以图3为例，第一指令序列这个时候可以被表达为{A、B}。
3.在第一区域中仍然存在未被选择的物体的情况下，重复执行步骤2。以图3为例，第一指令序列可以被表达为{A、B、C}。相应的，第二指令序列可以被表达为{D、E、F}。
第二区域物体排序方法可以基于相同构思，在此不做赘述。
这种排序方式可以使得第一机械手末端执行器运动路径最短，尤其是对于末端执行器抓取到物体之后直接从与该末端执行器连通的输送空间输送走物体的情况。
如果所述第一数量等于所述第二数量，并且所述第三数量为零，那么第一指令序列和第二指令序列可以至此被完全确定。
如果上述第一数量不等于上述第二数量，以上述第一数量大于上述第二数量的情况为例，可以执行如下述方法(a)-(c)。如果第一数量小于第二数量，则同理类似，不做赘述。
(a)响应于上述第一数量大于上述第二数量的情况，确定上述第一数量和上述第二数量的差值。
以图4为例，其示出另一种情况下的分区示意图。第一区域中有四个物体A1、B1、C1、D1，第二区域中有两个物体E1、F1，第三区域中有一个物体G1，第一数量、第二数量和第三数量分别为4、2、1。则第一数量和第二数量的差值为2。
(b)响应于上述第三数量小于等于上述差值的情况，对上述第一区域的物体排序，基于其对应的指令得到第一指令序列；对上述第二区域的物体以及第三区域的物体进行排序，基于其对应的指令得到上述第二指令序列；并且为上述第一指令序列和第二序列中的指令均携带同步标记。第一指令序列和第二指令序列可以至此被完全确定。
以图4为例，第一区域的四个物体对应的指令被安排在第一指令序列中，第二区域的两个物体和第三区域的全部物体对应的指令被安排在第二指令序列中。比如，第一指令序列可以为{A1、B1、C1、D1}，第二指令序列可以为{E1、F1、G1}。
(c)响应于上述第三数量大于上述差值的情况，对上述第一区域的物体进行排序，基于其对应的指令得到第一指令序列；对上述第二区域的物体进行排序，基于其对应的指令得到第三指令序列；在上述第三区域中选取上述差值个数的物体进行排序，基于其对应的指令得到第四指令序列；连接上述第三指令序列和上述第四指令序列得到第二指令序列；使上述第一指令序列和第二序列中的指令均携带同步标记。
以图5为例，其示出另一种情况下的分区示意图。第一区域Q1中有四个物体A1、B1、C1、D1，第二区域中有两个物体E1、F1，第三区域中有三个物体K1、G1、T1，第一数量、第二数量和第三数量分别为4、2、3。则第一数量和第二数量的差值为2。
图5中，第一区域的四个物体对应的指令被安排在第一指令序列中，第二区域的两个物体和第三区域的其中两个物体对应的指令被安排在第二指令序列中。比如，第一指令序列可以为{A1、B1、C1、D1}，第三指令序列可以为{E1、F1}，第四指令序列可以为{G1、T1}，则第二指令序列可以为{E1、F1、G1、T1}。
对于如何确定第四指令序列，在一个实施例中可以采取下述方法确定：
10.在第三区域中选择与第三指令序列最后一个指令对应的物体距离最近的物体，作为当前物体，将当前物体对应的指令加入第四指令序列。
20.在第三区域中随机选择一个之前未被选中的物体，作为新的当前物体，将当前物体对应的指令加入第四指令序列。
30.在第三区域中选中的物体的数量没有达到上述差值的情况下，重复执行步骤20。
这种第四指令序列确定方式可以节省第二机械手的运动路径，并且保证第二指令序列的生成速度。
在另一个实施例中，还可以提供另一确定第四指令序列的方式：
100.在第三区域中选择与第三指令序列最后一个指令对应的物体距离最近的物体，作为当前物体，将当前物体对应的指令加入第四指令序列。
200.在第三区域内之前未被选中的物体中，选择紧密度最高的物体作为新的当前物体，将当前物体对应的指令加入第四指令序列。
紧密度表征的是物体的一种周围环境信息，如果一个物体W1周围较近的位置存在其它物体，另一个物体W2同样周围较近的位置不存在任何其它物体，则物体W1的紧密度大于物体W2的紧密度。紧密度就是表征物体所在的环境的拥堵程度，紧密度可以通过下述公式计算得到
Figure BDA0003324396530000101
其中w表示某个物体，we表示各个与物体w相邻的物体，||w-we||表示w与we的距离。
300.在第三区域中选中的物体的数量没有达到上述差值的情况下，重复执行步骤200。
这种第四指令序列确定方式可以较大概率增大第一机械手和第二机械手可以同步运行的时间。因为这一确定方式可以最大限度降低第三区域中物体之间的拥挤程度，物体拥挤程度降低有利于同步作业。
步骤(a-c)中得到的第一指令序列和第二指令序列中的物体可以被同步抓取移动，从而提升工作效率。细节的排序如果结合上文步骤(1-3)，还能同时达到缩短末端执行器运动路径的技术效果。
在执行完前文之后，如果符合第一预设情况还需要执行下述操作：执行第一算法，上述第一算法用于在第三区域中选择新的第一物体和新的第二物体，并将上述新的第一物体对应的指令压入上述第一指令序列尾部，以及将上述新的第二物体对应的指令压入上述第二指令序列尾部。上述新的第一物体对应的指令和上述新的第二物体对应的指令都携带同步标记。重复执行上述第一算法直至达到第一终止执行条件。
第一预设情况比如包括两种：(1)上述第一数量等于上述第二数量，但是第三数量不为零。(2)第一数量不等于第二数量，但是在执行上述步骤(a-c)之后第三区域中还存在未被选中的物体。
第一终止执行条件也比如包括两种情况：第三区域中不存在未被选择过的物体(无法选择出第一物体)，或者，在选择第一物体之后，无法选择出第二物体。
在一个实施例中，第一算法的执行过程可以被描述为a1-b1，这种第一算法的执行过程可以尽可能缩短第一机械手的运动路径，并且通过降低拥挤程度有利于同步作业。
(a1)在未达到第一终止条件的情况下，将上述第三区域中未被选择过的物体中，与上述第一指令序列中最后一个指令对应的物体距离最近的物体作为新的第一物体；并且，将位于上述第三区域中并且位于上述新的第一物体的辐射区域之外紧密度最高的物体作为新的第二物体。某一物体“位于第一物体的辐射区域之外”的含义是：当第一机械手抓取该第一物体，并且第二机械手同步抓取该某一物体时，第一机械手和第二机械手不会发生碰撞。
(b1)将上述新的第一物体对应的指令追加到上述第一指令序列尾部，将上述新的第二物体对应的指令追加到上述第二指令序列尾部，优选地，第一物体对应的指令和第二物体对应的指令都携带同步标记。
在未达到第一终止条件的情况下，持续重复执行上述步骤(a1-b1)直至达到第一终止条件。
在另一个实施例中，第一算法的执行过程可以被描述为a10-b10，这种第一算法的执行过程可以尽可能缩短第一机械手和第二机械手的运动路径。
(a10)在未达到第一终止条件的情况下，将上述第三区域中未被选择过的物体中，与上述第一指令序列中最后一个指令对应的物体距离最近的物体作为新的第一物体；将位于上述第三区域中并且位于上述行的第一物体的辐射区域之外，与上述第二指令序列中最后一个指令对应的物体距离最近的物体作为新的第二物体。
(b10)将上述新的第一物体对应的指令追加到上述第一指令序列尾部，将上述新的第二物体对应的指令追加到上述第二指令序列尾部，优选地，第一物体对应的指令和第二物体对应的指令都携带同步标记。
在未达到第一终止条件的情况下，持续重复执行上述步骤(a10-b10)持续上述步骤直至达到第一终止条件。
如果第一终止条件被触发并且第三区域中不存在未被选择过的物体，则第一指令序列和第二指令序列可以被完全确定。
在执行完前文的步骤之后，如果达到第一终止执行条件，但上述第三区域中仍然存在待选物体时(待选物体为不属于第一指令序列并且不属于第二指令序列的物体，比如待选物体均位于新的第一物体的辐射区域内，因此不能够选出新的第二物体)，还可以执行下述操作：执行第二算法，上述第二算法用于在上述第三区域的待选物体中选择第三物体，将上述第三物体对应的指令添加异步标记并压入上述第一指令序列尾部，以及响应于上述第三区域中依然存在待选物体的情况，在上述第三区域的待选物体中选择第四物体，将上述第四物体对应的指令添加异步标记并压入上述第二指令序列的尾部；重复执行上述第二算法直至达到第二终止执行条件。异步标记可以用来标记非同步执行的操作。
非同步执行的操作可以是错开一定时间差的操作，比如第一机械手开始进入第三区域时，第二机械手不马上进入第三区域，而是等待一段时间，等第一机械手准备离开的时候(或准备抬起的时候)，第二机械手再进入第三区域。
非同步执行的操作还可以是交替操作。交替操作的指令可以是第一机械手和第二机械手交替执行的指令，也可以被理解为排他性指令，比如，第一机械手执行交替性指令时，第二机械手不执行指令，当第一机械手执行完交替性指令时，第二机械手可以执行指令，此时第一机械手不执行指令。
第二终止执行条件可以包括两种情况：无法选择出第三物体或者无法选择出第四物体。在一个实施例中，第二算法的执行过程可以描述如下：
(a100)在未达到第二终止条件的情况下，将上述第三区域的待选物体中，与上述第一指令序列中最后一个指令对应的物体距离最近的物体作为第三物体，将上述第三物体对应的指令添加异步标记并压入上述第一指令序列尾部。
(b100)在未达到第二终止条件的情况下，将上述第三区域的待选物体中，与上述第二指令序列中最后一个指令对应的物体距离最近的物体作为第四物体，将上述第四物体对应的指令添加异步标记并压入上述第二指令序列的尾部。
(c100)持续重复执行上述步骤(a100-b100)直至达到第二终止条件。
使用步骤(a100-c100)可以尽可能缩短第一机械手的运动路径，以及第二机械手的运动路径。
S102.基于上述第一指令序列和上述第二指令序列，控制上述第一机械手和上述第二机械手。
如图6所示，上述基于上述第一指令序列和上述第二指令序列，控制上述第一机械手和上述第二机械手，包括：
S1021.基于上述第一指令序列，得到第一子序列和第二子序列，上述第一子序列中的指令均属于同步操作指令，上述第二子序列中的指令均属于异步操作指令，比如交替操作指令。
S1022.基于上述第二指令序列，得到第三子序列和第四子序列，上述第三子序列中的指令均属于同步操作指令，上述第四子序列中的指令均属于异步操作指令，比如交替操作指令。
交替操作指令的含义是第一机械手和第二机械手交替执行的指令，也可以被理解为排他性指令，比如，第一机械手执行交替性指令时，第二机械手不执行指令，当第一机械手执行完交替性指令时，第二机械手可以执行指令，此时第一机械手不执行指令。
根据前文可以确定，在存在异步标记的指令的情况下，上述第一子序列和上述第三子序列具备相同的指令长度。依次提取上述第一指令序列中携带有同步标记的指令，得到上述第一子序列。依次提取上述第一指令序列中携带有异步标记的指令，得到上述第二子序列。依次提取上述第二指令序列中携带有同步标记的指令，得到上述第三子序列。依次提取上述第二指令序列中携带有异步标记的指令，得到上述第四子序列。
当然，在不存在异步标记的指令的情况下，第二子序列、第四子序列为空。
S1023.基于上述第一子序列、第二子序列、第三子序列和第四子序列，控制上述第一机械手和上述第二机械手。
具体来说，可以同步弹出上述第一子序列头部的第一指令和上述第三子序列头部的第三指令。本公开实施例中“弹出”的含义是获取并在原位置删除。弹出第一子序列头部的第一指令的含义是，获取第一子序列头部的指令，并且在第一子序列中删除该已获取的指令。
将上述第一指令发送至上述第一机械手以控制上述第一机械手执行第一动作，同步将上述第三指令发送至上述第二机械手以控制上述第二机械手同步执行第三动作。
响应于上述第一机械手完成上述第一动作并且上述第二机械手完成上述第三动作的情况，重复执行新的同步弹出上述第一子序列头部的新的第一指令和上述第三子序列头部的新的第三指令。
其中，上述第一指令表征上述第一子序列头部的指令，上述第一动作表征上述第一指令指向的动作，上述第三指令表征上述第三子序列头部的指令，上述第三动作表征上述第三指令指向的动作。
响应于上述第一子序列和上述第三子序列均为空，并且第二子序列和第四子序列均为空的情况，控制过程结束。
响应于上述第一子序列和上述第三子序列均为空，并且第二子序列不为空的情况，弹出上述第二子序列头部的第二指令，将上述第二指令发送至上述第一机械手执行第二动作。响应于上述第二动作执行完成并且第四子序列头部为空的情况，控制过程结束。
响应于上述第二动作执行完成并且第四子序列头部不为空的情况，弹出上述第四子序列头部的第四指令，将上述第四指令发送至上述第二械手执行第四动作。
其中，上述第二指令表征上述第二子序列头部的指令，上述第二动作表征上述第二指令指向的动作，上述第四指令表征上述第四子序列头部的指令，上述第四动作表征上述第四指令指向的动作。
响应于上述第二机械手执行完一个第四动作，并且剩下的第二子序列不为空的情况，重复执行上述弹出上述第二子序列头部的新的第二指令，将上述新的第二指令发送至上述第一机械手执行新的第二动作。
响应于上述第二机械手执行完一个第四动作，并且剩下的第二子序列为空、并且第四子序列不为空的情况，弹出上述第四子序列头部的新的第四指令，将上述新的第四指令发送至上述第二械手执行新的第四动作。
本公开实施例设计了双机械手控制方法，可以协同双机械手进行物体的抓取和移动，相较于单机械手的情况，效率大幅度提升。本公开实施例还提出一种双机械手系统，所述系统包括第一机械手、第二机械手、托板、照相机和中控模组，所述第一机械手、所述第二机械手、所述托板、所述照相机均受控于所述中控模组，所述中控模组被设置为执行上述的控制方法。
本公开实施例还提出一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令或至少一段程序，上述至少一条指令或至少一段程序由处理器加载并执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种双机械手控制方法，其特征在于，所述方法应用于双机械手控制系统，所述系统包括第一机械手、第二机械手、托板、照相机和中控模组，所述第一机械手、所述第二机械手、所述托板、所述照相机均受控于所述中控模组，所述中控模组用于执行所述双机械手控制方法，所述方法包括：
确定第一指令序列和第二指令序列，所述第一指令序列用于控制所述第一机械手，所述第二指令序列用于控制所述第二机械手；
其中，所述第一指令序列包含第一子序列和第二子序列，所述第一子序列中的指令均属于同步操作指令，所述第二子序列中的指令均属于异步操作指令，所述异步操作指令包括交替操作指令；
所述第二指令序列包含第三子序列和第四子序列，所述第三子序列中的指令均属于同步操作指令，所述第四子序列中的指令均属于异步操作指令，所述异步操作指令包括交替操作指令；
基于所述第一子序列、第二子序列、第三子序列和第四子序列，控制所述第一机械手和所述第二机械手；
同步弹出所述第一子序列头部的第一指令和所述第三子序列头部的第三指令；
将所述第一指令发送至所述第一机械手以控制所述第一机械手执行第一动作，同步将所述第三指令发送至所述第二机械手以控制所述第二机械手同步执行第三动作；
响应于所述第一机械手完成所述第一动作并且所述第二机械手完成所述第三动作的情况，重复执行新的同步弹出所述第一子序列头部的新的第一指令和所述第三子序列头部的新的第三指令；
其中，所述第一指令表征所述第一子序列头部的指令，所述第一动作表征所述第一指令指向的动作，所述第三指令表征所述第三子序列头部的指令，所述第三动作表征所述第三指令指向的动作；
响应于所述第一子序列和所述第三子序列均为空的情况，基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手。
2.根据权利要求1所述的方法，其特征在于，基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手，包括：
弹出所述第二子序列头部的第二指令，将所述第二指令发送至所述第一机械手执行第二动作；
响应于所述第二动作执行完成的情况，弹出所述第四子序列头部的第四指令，将所述第四指令发送至所述第二机械手执行第四动作；
其中，所述第二指令表征所述第二子序列头部的指令，所述第二动作表征所述第二指令指向的动作，所述第四指令表征所述第四子序列头部的指令，所述第四动作表征所述第四指令指向的动作。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手，还包括：
响应于所述第二机械手执行完所述第四动作，并且剩下的第二子序列不为空的情况，重复执行弹出步骤，以弹出所述第二子序列头部的新的第二指令，将所述新的第二指令发送至所述第一机械手执行新的第二动作。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第二子序列和所述第四子序列，控制所述第一机械手和所述第二机械手，还包括：
响应于所述第二机械手执行完所述第四动作，并且剩下的第二子序列为空的情况，弹出所述第四子序列头部的新的第四指令，将所述新的第四指令发送至所述第二机械手执行新的第四动作。
5.根据权利要求4中所述的方法，其特征在于包括：
依次提取所述第一指令序列中携带有同步标记的指令，得到所述第一子序列；
依次提取所述第一指令序列中携带有异步标记的指令，得到所述第二子序列。
6.根据权利要求4中所述的方法，其特征在于，包括：
依次提取所述第二指令序列中携带有同步标记的指令，得到所述第三子序列；依次提取所述第二指令序列中携带有异步标记的指令，得到所述第四子序列。
7.一种双机械手系统，所述系统包括第一机械手、第二机械手、托板、照相机和中控模组，所述第一机械手、所述第二机械手、所述托板、所述照相机均受控于所述中控模组，所述中控模组被设置为执行权利要求1到6任一项所述的控制方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至6中任意一项所述的一种双机械手控制方法。
CN202111257604.0A 2021-10-27 2021-10-27 双机械手控制方法与存储介质 Active CN113910234B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111257604.0A CN113910234B (zh) 2021-10-27 2021-10-27 双机械手控制方法与存储介质
EP22172227.5A EP4173770A1 (en) 2021-10-27 2022-05-09 Dual-manipulator control method and storage medium
US17/750,379 US20230125934A1 (en) 2021-10-27 2022-05-22 Dual-mainpulator control method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111257604.0A CN113910234B (zh) 2021-10-27 2021-10-27 双机械手控制方法与存储介质

Publications (2)

Publication Number Publication Date
CN113910234A CN113910234A (zh) 2022-01-11
CN113910234B true CN113910234B (zh) 2022-10-14

Family

ID=79243118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111257604.0A Active CN113910234B (zh) 2021-10-27 2021-10-27 双机械手控制方法与存储介质

Country Status (3)

Country Link
US (1) US20230125934A1 (zh)
EP (1) EP4173770A1 (zh)
CN (1) CN113910234B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3932013A1 (de) * 1988-11-23 1990-05-31 Berlin Oberbekleidung Zweiarmiger industrieroboter
CN102721746A (zh) * 2012-07-04 2012-10-10 北京理工大学 一种双机械手超声透射检测装置
CN104476550A (zh) * 2014-12-05 2015-04-01 济南鲁智电子科技有限公司 全液压自主移动机械臂及其动作方法
CN105382831A (zh) * 2015-11-25 2016-03-09 东莞市合辉精密机械设备有限公司 高效率双臂机器人
CN105751199A (zh) * 2014-12-05 2016-07-13 济南鲁智电子科技有限公司 全液压自主移动机械臂的动作方法
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN113493083A (zh) * 2021-07-30 2021-10-12 因格(苏州)智能技术有限公司 一种轻型立体仓库及物料自动存取方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2880590B2 (ja) * 1991-07-24 1999-04-12 株式会社不二越 産業用ロボットの同期制御方法
WO1995025991A1 (fr) * 1994-03-23 1995-09-28 Kabushiki Kaisha Yaskawa Denki Controleur de machine
JP2002158272A (ja) * 2000-11-17 2002-05-31 Tatsumo Kk ダブルアーム基板搬送装置
JP3577028B2 (ja) * 2001-11-07 2004-10-13 川崎重工業株式会社 ロボットの協調制御システム
DE10235943A1 (de) * 2002-08-06 2004-02-19 Kuka Roboter Gmbh Verfahren und Vorrichtung zum synchronen Steuern von Handhabungsgeräten
JP2004199433A (ja) * 2002-12-19 2004-07-15 Fanuc Ltd 同期制御装置
US7211978B2 (en) * 2003-06-20 2007-05-01 Fanuc Robotics America, Inc. Multiple robot arm tracking and mirror jog
DE102004021388A1 (de) * 2004-04-30 2005-12-01 Daimlerchrysler Ag Positionier- und Bearbeitungssystem und geeignetes Verfahren zum Positionieren und Bearbeiten mindestens eines Bauteils
JP4382003B2 (ja) * 2005-03-23 2009-12-09 川崎重工業株式会社 ロボット制御装置およびロボット制御方法
US11259870B2 (en) * 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
KR100945884B1 (ko) * 2007-11-14 2010-03-05 삼성중공업 주식회사 내장형 로봇 제어 시스템
US8639364B2 (en) * 2011-07-13 2014-01-28 KUKA Robotics Corporation Uniform synchronizing robot control and deadlock detection in uniform synchronization
JP5633500B2 (ja) * 2011-11-04 2014-12-03 株式会社安川電機 荷役装置及び荷役方法
DE102012012184A1 (de) * 2012-06-19 2013-12-19 Kuka Roboter Gmbh Vorgabe synchronisierter Roboterbewegungen
JP5970415B2 (ja) * 2013-05-16 2016-08-17 株式会社神戸製鋼所 産業用ロボットおよび周辺装置の動作を制御する制御システムおよび制御方法
CN106457569B (zh) * 2014-04-10 2019-03-12 宽射咨询公司 机器人系统及操作机器人系统的方法
EP3200718A4 (en) * 2014-09-30 2018-04-25 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
DE102016000850A1 (de) * 2016-01-27 2017-07-27 Kuka Roboter Gmbh Steuern eines Roboterverbands
US11564760B2 (en) * 2016-10-18 2023-01-31 Intuitive Surgical Operations, Inc. Computer-assisted teleoperated surgery systems and methods
CN107042507B (zh) * 2017-03-16 2023-07-28 广东省智能制造研究所 一种多自由度驱动手臂及采用该手臂的双臂机器人
JP2019082923A (ja) * 2017-10-31 2019-05-30 富士通株式会社 情報処理装置、工程計画表示プログラム及び工程計画表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3932013A1 (de) * 1988-11-23 1990-05-31 Berlin Oberbekleidung Zweiarmiger industrieroboter
CN102721746A (zh) * 2012-07-04 2012-10-10 北京理工大学 一种双机械手超声透射检测装置
CN104476550A (zh) * 2014-12-05 2015-04-01 济南鲁智电子科技有限公司 全液压自主移动机械臂及其动作方法
CN105751199A (zh) * 2014-12-05 2016-07-13 济南鲁智电子科技有限公司 全液压自主移动机械臂的动作方法
CN105382831A (zh) * 2015-11-25 2016-03-09 东莞市合辉精密机械设备有限公司 高效率双臂机器人
CN107972026A (zh) * 2016-10-25 2018-05-01 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN113493083A (zh) * 2021-07-30 2021-10-12 因格(苏州)智能技术有限公司 一种轻型立体仓库及物料自动存取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
空间桁架用双臂手移动机器人设计与仿真分析;吴伟国;《空间桁架用双臂手移动机器人设计与仿真分析》;机械设计与制造;20070308;第110-112页 *
面向救援任务的双臂机器人协作运动规划与控制方法研究;王美玲;《面向救援任务的双臂机器人协作运动规划与控制方法研究》;中国博士学位论文全文数据库;20160615(第3（2016）期);I140-83 *

Also Published As

Publication number Publication date
US20230125934A1 (en) 2023-04-27
CN113910234A (zh) 2022-01-11
EP4173770A1 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
CN110837836B (zh) 基于最大化置信度的半监督语义分割方法
WO2019153759A1 (zh) 确定运输方案的方法、训练快速装载模型的方法及设备
CN111694656B (zh) 基于多智能体深度强化学习的集群资源调度方法及系统
CN108122027A (zh) 一种神经网络模型的训练方法、装置及芯片
CN114912826B (zh) 一种基于多层深度强化学习的柔性作业车间调度方法
CN108764456B (zh) 机载目标识别模型构建平台、机载目标识别方法及设备
CN111652250B (zh) 基于多边形的遥感影像建筑物提取方法、装置及存储介质
CN108776833B (zh) 一种数据处理方法、系统及计算机可读存储介质
CN114139637B (zh) 多智能体信息融合方法、装置、电子设备及可读存储介质
CN110399972A (zh) 数据处理方法、装置及电子设备
CN108921162A (zh) 基于深度学习的车牌识别方法及相关产品
CN114842546A (zh) 动作计数方法、装置、设备及存储介质
CN113910234B (zh) 双机械手控制方法与存储介质
CN113910269B (zh) 一种机器人总控系统
Zhang et al. A matrix-cube-based estimation of distribution algorithm for blocking flow-shop scheduling problem with sequence-dependent setup times
CN113687651A (zh) 一种按需派送车辆的路径规划方法及装置
CN114029250B (zh) 物品分拣方法与系统
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
RU2755876C1 (ru) Способ оптимизации роботизированной сортировки тко путём динамического планирования перемещений робота-сортировщика
CN115112137A (zh) 路径规划方法、装置、电子设备及可读存储介质
CN114029947B (zh) 机器人拾物序列确定方法与装置
CN114012720A (zh) 一种机器人
CN110705479A (zh) 模型训练方法和目标识别方法、装置、设备及介质
Xiang et al. TSAA: A two-stage anchor assignment method towards anchor drift in crowded object detection
CN112825143A (zh) 深度卷积神经网络压缩方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant