CN113829345A - 双机械臂排爆操作控制方法、装置、电子设备及存储介质 - Google Patents

双机械臂排爆操作控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113829345A
CN113829345A CN202111123868.7A CN202111123868A CN113829345A CN 113829345 A CN113829345 A CN 113829345A CN 202111123868 A CN202111123868 A CN 202111123868A CN 113829345 A CN113829345 A CN 113829345A
Authority
CN
China
Prior art keywords
explosive
arm
task
explosives
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111123868.7A
Other languages
English (en)
Other versions
CN113829345B (zh
Inventor
孙富春
陈洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111123868.7A priority Critical patent/CN113829345B/zh
Publication of CN113829345A publication Critical patent/CN113829345A/zh
Application granted granted Critical
Publication of CN113829345B publication Critical patent/CN113829345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/002—Manipulators for defensive or military tasks
    • B25J11/0025—Manipulators for defensive or military tasks handling explosives, bombs or hazardous objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Manipulator (AREA)

Abstract

本公开提供的双机械臂排爆操作控制方法、装置、电子设备及存储介质，包括：利用爆炸物数据集对神经网络模型进行训练，得到爆炸物的种类和爆炸物在任务场景中的位置；获取任务场景图像，将该图像输入所述神经网络模型，若检测到图像中含有待处理的爆炸物，则双机械臂按照期望任务轨迹运动至爆炸物所在位置，并执行排爆操作，期间实时获取双机械臂与爆炸物间的操作接触力，直至操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；否则利用声音信号和/或气味信号判断是否含有爆炸物。本公开利用多种模态信息来感知理解操作场景，能够适应复杂环境下的爆炸物检测与识别。

Description

双机械臂排爆操作控制方法、装置、电子设备及存储介质
技术领域
本公开属于排爆机器人领域，具体涉及双机械臂排爆操作控制方法、装置、电子设备及存储介质。
背景技术
炸弹、手雷等爆炸物作为易燃易爆、破坏力极强的危险品，常出现于现代战争中，极其危险、并严重威胁生命安全。
在世界上许多战乱国家中，到处都散布着未爆炸的各种爆炸物。在许多国家中甚至还残留有一战和二战中未爆炸的炸弹和地雷。
在城市救援和反恐防暴环境中，现场遗留的爆炸物对武警人员造成很大的威胁，需要在短时间内完成对爆炸物的勘察、搬运、转移、处置等工作。人工排除爆炸物危险性大、效率低，具有侦查环境、识别爆炸物、处置爆炸物等功能于一体的无人移动操作平台为爆炸物处理提供了解决方案。然而，目前排爆操作控制以遥操作为主，并且受到现场环境图像质量影响，爆炸物种类识别难度大、检测精度低。
发明内容
本公开旨在解决上述问题之一。
为此，本公开提供了一种可实现对不同种类爆炸物进行排爆操作任务的双机械臂排爆操作控制方法，包括：
1)获取不同种类爆炸物在任务场景下的图像，以此构建爆炸物数据集；
2)利用所述爆炸物数据集对神经网络模型进行训练，以对爆炸物进行分类与检测，得到爆炸物的种类和爆炸物在任务场景中的位置；
3)通过示教过程获得对不同种类爆炸物执行排爆操作时生成的相应运动轨迹，以此作为双臂排爆操作的期望任务轨迹；
4)获取任务场景图像，将该图像输入所述神经网络模型，若检测到图像中含有待处理的爆炸物，则执行步骤5)，若未检测到图像中含有待处理的爆炸物，则执行步骤6)；
5)双机械臂按照根据待处理爆炸物种类及其对应的期望任务轨迹运动至爆炸物所在位置，并执行排爆操作，排爆操作过程中实时获取双机械臂与爆炸物间的操作接触力，直至操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；
6)检测任务场景中是否存在爆炸物发出的声音信号和气味信号中的至少一种信号，若存在，则利用定位方法检测爆炸物的位置，控制双机械臂移除爆炸物周围的遮盖物，获取移除遮盖物后的任务场景图像，将该图像输入神经网络模型，返回步骤5)；若不存在，则判定任务场景中不存在爆炸物。
本公开第一方面实施例提供的双机械臂排爆操作控制方法，具有以下特点及有益效果：
本公开一方面实施例提供的双机械臂排爆操作控制方法，是一种基于多模态感知的双臂排爆操作控制方法，利用视-听手段对复杂场景爆炸物进行检测与识别，根据爆炸物类型选择适合其拆除任务的末端执行器，基于人工双臂排爆操作运动数据，规划具有动态避障的双臂排爆操作动作，利用触觉感知拆除爆炸物过程的末端执行器操作接触力，最终实现对不同种类爆炸物的双臂排爆操作任务。本公开可考虑爆炸物在隐蔽、遮盖情况，采用视 -听手段能够更好的感知理解场景，使其能够适应复杂环境下的爆炸物检测与识别，此外，本公开能够感知操作接触力，避免因操作力过大导致排爆任务失败，同时利用操作接触力检测出滑动状态，提高稳定操作成功率。
在一些实施例中，将所述爆炸物分成以下三种类型：简易引线式定时炸弹，记为爆炸物A；可拆卸式手雷，记为爆炸物B；和不可拆卸式手雷，记为爆炸物C；所述爆炸物数据集中的图像含有所述爆炸物A、所述爆炸物B和所述爆炸物C。
在一些实施例中，所述神经网络模型采用YOLO目标检测网络。
在一些实施例中，通过以下运动规划方法使所述双机械臂运动至爆炸物所在位置：
设置双机械臂的工作空间、主臂的工作空间、副臂的工作空间和双机械臂的合作空间，其中，将机械臂沿着其期望任务轨迹进行运动规划时的作业空间定义为紧任务约束空间，以此设置主臂的紧任务约束空间和副臂的紧任务约束空间；将机械臂围绕其期望任务轨迹的邻域空间，实际位置与期望位置在容许误差范围内进行运动规划时的作业空间称为松任务约束空间，以此设置主臂的松任务约束空间和副臂的松任务约束空间；设置所述主臂的初始位置和所述副臂的初始位置，在所述双机械臂合作空间中随机选择一个任务点作为当前双机械臂期望合作任务点；
当前轮规划开始时刻，主臂和副臂分别根据基于松紧任务约束空间的主臂运动规划策略和副臂运动规划策略进行运动；若所述主臂和所述副臂均运动到所述当前双机械臂期望合作任务点，则规划成功；若所述主臂和所述副臂中存在至少一个没有运动到所述当前双机械臂期望合作任务点，则认为当前轮规划失败，依次使所述副臂和所述主臂回到各自的初始位置，并在所述当前双机械臂期望合作任务点的邻域空间内随机选取一个点作为当前双机械臂期望合作任务点，进行下一轮规划，直至失败次数达到设定的最大次数时，若所述主臂和所述副臂中仍存在至少一个没有运动到所述当前双机械臂期望合作任务点，则判定双机械臂无法运动至所述爆炸物所在位置。
在一些实施例中，设置所述双机械臂的工作空间为W、所述主臂的工作空间为W1、所述副臂的工作空间为W2和所述双机械臂的合作空间为Wco，满足：W1∈W，W2∈W，Wco＝ W1∩W2；设置所述主臂和所述副臂的期望任务轨迹分别为P1和P2，设置所述主臂和所述副臂的紧任务约束空间分别为
Figure BDA00032780049800000311
和
Figure BDA00032780049800000312
满足：
Figure BDA0003278004980000039
和
Figure BDA00032780049800000310
设置所述主臂和所述副臂的松任务约束空间分别为
Figure BDA0003278004980000034
和
Figure BDA0003278004980000033
满足：
Figure BDA00032780049800000313
和
Figure BDA00032780049800000314
设置所述主臂和所述副臂的初始位置分别为
Figure BDA0003278004980000035
和
Figure BDA0003278004980000036
满足：
Figure BDA0003278004980000037
和
Figure BDA0003278004980000038
在一些实施例中，将所述主臂和所述副臂的期望任务轨迹分别均分成若干段，由每段的端点构成相应的期望轨迹点，主臂和副臂的最后一个期望轨迹点为当前双机械臂期望合作任务点；所述主臂运动规划策略和副臂运动规划策略均分别是对各自期望任务轨迹上的各期望轨迹点依次进行如下规划：
求解从所述当前期望轨迹点到下一个期望轨迹点的机械臂逆运动学，如果有解，则使机械臂在该机械臂的紧任务约束空间上从所述当前期望轨迹点运动到所述下一个期望轨迹点，然后进行所述下一个期望轨迹点的规划；如果无解，则在所述当前期望轨迹点的邻域空间内随机选取若干个近邻点，求取所述当前期望轨迹点到各所述近邻点中代价最小的近邻点作为最优近邻点，机械臂在该机械臂的松任务约束空间上从所述当前望轨迹点运动到所述最优近邻点，更新所述当前期望轨迹点为所述最优近邻点，若所述当前期望轨迹点到所述下一个期望轨迹点的距离小于设定的距离阈值，则进行下一个期望轨迹点的规划，若所述当前期望轨迹点到所述下一个期望轨迹点的距离大于或者等于设定的距离阈值，则从所述当前期望轨迹点到所述下一个期望轨迹点的路径上选取一点作为过渡点，机械臂在该机械臂的松任务约束空间上从所述当前期望轨迹点运动到所述过渡点，更新所述当前期望轨迹点为所述过渡点，然后进行下一个期望轨迹点的规划。
在一些实施例中，按照下式求取所述当前期望轨迹点到各所述近邻点的最小代价J*：
Figure BDA0003278004980000031
其中，
Figure BDA0003278004980000032
为T时刻机械臂关节空间在第s个近邻点Pn_s处的角位置向量，M为在所述当前期望轨迹点的邻域空间内随机选取的近邻点的总个数；
所述过渡点按照下式计算得到：
Pmid＝Pk+a*(Pk+1-Pk)/‖Pk+1-Pk‖
其中，Pmid为所述过渡点；a为常数，a∈(0,1)；Pk和Pk+1分别为当前期望轨迹点和下一个期望轨迹点。
本公开第二方面实施例提供的双机械臂排爆操作控制装置，包括：
爆炸物数据集构建模块，用于获取不同种类的爆炸物在任务场景下的图像，以此构建爆炸物数据集；
神经网络模型训练模块，用于利用所述爆炸物数据集对神经网络模型进行训练，以对爆炸物进行分类与检测，得到爆炸物的种类和爆炸物在任务场景中的位置；
触觉采集模块，用于采集双机械臂的末端执行器的操作接触力；
声音信号采集模块，用于采集任务场景中爆炸物发出的声音信号；
气味信号采集模块，用于采集任务场景中爆炸物发出的气味信号；
图像采集模块，用于获取操作场景图像；和
控制模块，用于控制所述图像采集模块获取操作场景图像，将所述场景图像输入所述神经网络模型，若检测到所述任务场景图像中含有待处理的爆炸物，则控制双机械臂运动至爆炸物所在位置，并执行相应的排爆操作，排爆操作过程中通过所述触觉采集模块实时获取双机械臂的操作接触力，直至所述操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；若未检测到所述任务场景图像中含有待处理的爆炸物，则利用所述声音信号采集模块和/或所述气味信号采集模块检测所述任务场景图像中是否含有爆炸物发出的声音信号和/或气味信号，若含有，则通过定位方法检测爆炸物的位置，控制机械臂移除爆炸物周围的遮盖物，获取移除遮盖物的任务场景图像，将该任务场景图像输入至所述神经网络模型得到爆炸物的种类，控制双机械臂执行相应的排爆操作，排爆操作过程中通过所述触觉采集模块实时获取双机械臂的操作接触力，直至该操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；若声音信号和气味信号均不含有，则判定任务场景中无爆炸物。
本公开第三方面实施例提供的电子设备，包括：
至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述双机械臂排爆操作控制方法。
本公开第四方面实施例提供的计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述双机械臂排爆操作控制方法。
附图说明
图1为本公开第一方面实施例提供的双机械臂排爆操作控制方法的整体流程图。
图2是本公开第一方面实施例中运动规划方法的流程图。
图3是本公开第一方面实施例中运动规划方法的操作任务示意图。
图4是本公开第一方面实施例中基于松紧任务约束空间的机械臂运动规划策略的流程图。
图5的(a)、(b)、(c)分别为利用本公开第一方面实施例提供的双机械臂排爆操作控制方法对爆炸物进行剪切、夹断、抓取操作时物体的状态图。
图6为本公开第二法方面实施例提供的双机械臂排爆操作控制装置的结构示意图。
图7是本公开第三方面实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本申请，并不用于限定本申请。
相反，本申请涵盖任何由权利要求定义的在本申请精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。
本公开实施例提出的双机械臂排爆操作控制方法，双机械臂中的其中一个机械臂作为主臂、另一个机械臂作为副臂，各机械臂的末端均分别设有用于执行抓取、剪切和夹断操作的执行器，且在各机械臂上设有用于检测场景中爆炸物位置的视觉相机、用于检测场景中爆炸物所发出声音提示方向和位置的声学传感器、用于测量机械臂对爆炸物进行操作过程中操作力的触觉传感器以及用于检测爆炸物中化学物质产生气味的气体传感器；其中：
剪切操作，是指末端执行器在进行闭合过程中，末端执行器对物体产生包络闭合，从而将物体拆分成两部分的操纵动作。
夹断操作，是指末端执行器对物体产生包络闭合，直至将物体破坏成两部分的操纵动作。
抓取操作，是指末端执行器对物体产生包络闭合，直至不会发生物体从末端执行器掉落的操纵动作。
本公开实施例提供的双机械臂排爆操作控制方法的整体流程参见图1，包括以下步骤：
1)获取不同种类爆炸物在任务场景下的图像，以此构建爆炸物数据集；
2)利用爆炸物数据集对神经网络模型进行训练，以对爆炸物进行分类与检测，得到爆炸物的种类和爆炸物在任务场景中的位置；
3)通过示教过程获得对不同种类爆炸物执行排爆操作时生成的相应运动轨迹，以此作为双臂排爆操作的期望任务轨迹。
4)获取任务场景图像，将该图像输入神经网络模型，若检测到图像中含有待处理的爆炸物，则执行步骤5)，若未检测到图像中含有待处理的爆炸物，则执行步骤6)；
5)双机械臂按照根据待处理爆炸物种类及其对应的期望任务轨迹运动至爆炸物所在位置，并执行排爆操作，排爆操作过程中实时获取双机械臂与爆炸物间的操作接触力，直至操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；
6)检测任务场景中是否存在爆炸物发出的声音信号和气味信号中的至少一种信号，若存在，则利用定位方法检测爆炸物的位置，控制双机械臂移除爆炸物周围的遮盖物，获取移除遮盖物后的任务场景图像，将该图像输入神经网络模型，返回步骤5)；若不存在，则则判定任务场景中不存在爆炸物。
在一些实施例中，将爆炸物分成以下三种类型：简易引线式定时炸弹，记为爆炸物A；可拆卸式手雷，记为爆炸物B；和不可拆卸式手雷，记为爆炸物C。利用互联网、武警特警爆炸物处置遗物、仿制玩具、自制仿制爆炸物等方式获取各类爆炸物在不同明暗程度、拍摄角度与距离的图像，以此构建爆炸物数据集，该爆炸物数据集中含有的图像总量至少为3万张，含有爆炸物A的图像至少1万张，含有爆炸物B的图像至少1万张，含有爆炸物C的图像至少1万张。
在一些实施例中，利用爆炸物数据集对神经网络模型进行训练，具体包括以下步骤：
从爆炸物数据集中随机选取至少3万张图像，其中，80％的图像作为训练样本对神经网络模型进行训练，以对图像中的爆炸物进行分类与检测，剩余20％的图像作为测试样本对神经网络模型进行测试，以保证神经网络模型的识别效果。
在一些实施例中，采用YOLO目标检测网络作为用于爆炸物分类与检测的神经网络模型，当YOLO目标检测网络在测试样本上的误判率小于5％时，停止YOLO目标检测网络的训练过程，此时训练完毕的YOLO目标检测网络可以获得爆炸物的位置和其所属类别及相应的置信概率。
在一些实施例中，获取任务场景图像，将该任务场景图像输入至训练完毕的神经网络模型中，若神经网络模型检测输入的任务场景图像中含有待处理的爆炸物，则进入步骤5)，若神经网络模型未检测到输入的任务场景图像中含有待处理的爆炸物，则进入步骤6)。
在一些实施例中，通过以下运动规划方法使双机械臂运动至爆炸物所在位置：
设置双机械臂的工作空间、主臂的工作空间、副臂的工作空间和双机械臂的合作空间，其中，将机械臂沿着其期望任务轨迹进行运动规划时的作业空间定义为紧任务约束空间，以此设置主臂的紧任务约束空间和副臂的紧任务约束空间；将机械臂围绕其期望任务轨迹的邻域空间，实际位置与期望位置在容许误差范围内进行运动规划时的作业空间称为松任务约束空间，以此设置主臂的松任务约束空间和副臂的松任务约束空间；设置主臂的初始位置和副臂的初始位置，在双机械臂合作空间中随机选择一个任务点作为当前双机械臂期望合作任务点；
当前轮规划开始时刻，主臂和副臂分别根据基于松紧任务约束空间的主臂运动规划策略和副臂运动规划策略进行运动；若主臂和副臂均运动到当前双机械臂期望合作任务点，则规划成功；若主臂和副臂中存在至少一个没有运动到当前双机械臂期望合作任务点，则认为当前轮规划失败，依次使副臂和主臂回到各自的初始位置，并在当前双机械臂期望合作任务点的邻域空间内随机选取一个点作为当前双机械臂期望合作任务点，进行下一轮规划，直至失败次数达到设定的最大次数时，若所述主臂和所述副臂中仍存在至少一个没有运动到所述当前双机械臂期望合作任务点，则认为规划失败，即双机械臂无法运动至爆炸物所在位置。
本公开基于双机械臂协调运动规划到合作任务点，其中，主臂首先运动规划到合作任务点，到达目标后，副臂再运动规划到合作任务点。这种主从方式的协调运动规划方法可以有效避免双机械臂协调运动规划过程中的重复计算量。主臂运动规划时，可以把副臂当做静态障碍物，同理副臂运动规划时，可以把主臂当做静态障碍物，提高了运动规划效率；机械臂优先按照期望轨迹在紧任务约束空间下进行运动规划，保证路径最优，遇到障碍物、奇异位置等使其无法在紧任务约束空间下进行运动规划时，机械臂将会在松任务约束空间下进行运动规划，保证双机械臂操作任务继续工作，此时机械臂虽然不在期望轨迹上运动，但是能够使其在满足紧任务约束空间条件时重新返回到期望轨迹上进行运动规划。因此，本公开实施例提供的运动规划方法能够保证机械臂末端尽可能的沿着期望轨迹进行运动，当无法在期望轨迹中的位置获得可行解时，机械臂能够在容许任务空间中进行运动规划，当在期望轨迹位置上有可行解时，立即返回期望轨迹上进行运动规划。
在一些实施例中，参见图2，本公开实施例提供运动规划方法，具体包括以下步骤：
1)参见图3，将双机械臂中的其中一个机械臂作为主臂M1、另一个机械臂作为副臂M2；设双机械臂的作业空间为W，主臂M1的工作空间为W1，副臂M2的工作空间为W2，双机械臂的合作空间为Wco，满足：W1∈W，W2∈W，Wco＝W1∩W2；设主臂M1的期望任务轨迹为P1，副臂M2的期望任务轨迹为P2，双机械臂的期望合作任务点为Pco；将机械臂沿着其期望任务轨迹进行运动规划时的作业空间定义为紧任务约束空间Wh，设主臂M1的紧任务约束空间为
Figure BDA0003278004980000071
满足：
Figure BDA0003278004980000072
副臂M2的紧任务约束空间为
Figure BDA0003278004980000073
满足：
Figure BDA0003278004980000074
将机械臂围绕其期望任务轨迹的邻域空间，实际位置与期望位置在容许误差范围内进行运动规划时的作业空间定义为松任务约束空间Ws，设主臂M1的松任务约束空间为
Figure BDA0003278004980000075
满足：
Figure BDA0003278004980000076
副臂M2的松任务约束空间为
Figure BDA0003278004980000077
满足：
Figure BDA0003278004980000078
设主臂M1的初始位置为
Figure BDA0003278004980000079
满足：
Figure BDA00032780049800000710
即
Figure BDA00032780049800000711
位于去除双机械臂合作空间Wco的主臂工作空间W1的空间中，设副臂M2的初始位置为
Figure BDA00032780049800000712
满足：
Figure BDA00032780049800000713
即
Figure BDA00032780049800000714
位于去除双机械臂合作空间Wco的副臂工作空间W2的空间中；设期望合作任务点规划失败次数为fail_count，初始化 fail_count＝0；设容许期望合作任务点规划失败的最大次数为N_fail；设邻域空间的半径为ε；在双机械臂合作空间Wco中随机选择一个任务点作为当前双机械臂的期望合作任务点Pco。
2)判断fail_count是否小于N_fail，如果fail_count大于或者等于N_fail，则判定双机械臂协调运动规划失败，无法完成操作任务；如果fail_count小于N_fail，则执行步骤3)。
3)主臂M1和副臂M2分别根据基于松紧任务约束空间的主臂运动规划策略和副臂运动规划策略进行运动，若主臂M1和副臂M2中存在至少一个没有运动到当前双机械臂的期望合作任务点Pco，则执行步骤4)；若主臂M1和副臂M2均运动到当前双机械臂的期望合作任务点Pco，则规划成功，本方法结束。
4)使副臂M2回到副臂的初始状态
Figure BDA00032780049800000715
然后使主臂M1回到主臂的初始状态
Figure BDA00032780049800000716
在当前双机械臂期望合作任务点Pco的邻域空间内随机选取一个点作为近邻点Pnew，并令Pco＝Pnew，即将该近邻点Pnew作为新的双机械臂期望合作任务点Pco。
5)令fail_count＝fail_count+1，返回步骤2)。
在一些实施例中，将主臂和副臂的期望任务轨迹分别均分成若干段，由每段的端点构成相应的期望轨迹点，主臂和副臂的最后一个期望轨迹点为当前双机械臂期望合作任务点；基于松紧任务约束空间的主臂运动规划策略和副臂运动规划策略均分别是对各自期望任务轨迹上的各期望轨迹点依次进行如下规划：
求解从当前期望轨迹点到下一个期望轨迹点的机械臂逆运动学，如果有解，则使机械臂在该机械臂的紧任务约束空间上从当前期望轨迹点运动到下一个期望轨迹点，然后进行下一个期望轨迹点的规划；如果无解，则在当前期望轨迹点的邻域空间内随机选取若干个近邻点，求取当前期望轨迹点到各近邻点中代价最小的近邻点作为最优近邻点，机械臂在该机械臂的松任务约束空间上从当前望轨迹点运动到最优近邻点，更新当前期望轨迹点为最优近邻点，若当前期望轨迹点到下一个期望轨迹点的距离小于设定的距离阈值，则进行下一个期望轨迹点的规划，若当前期望轨迹点到下一个期望轨迹点的距离大于或者等于设定的距离阈值，则从当前期望轨迹点到下一个期望轨迹点的路径上选取一点作为过渡点，机械臂在该机械臂的松任务约束空间上从当前期望轨迹点运动到过渡点，更新当前期望轨迹点为过渡点，然后进行下一个期望轨迹点的规划。
在一些实施例中，参见图4，基于松紧任务约束空间的机械臂运动规划策略，均分别包括：
31)将机械臂的期望任务轨迹均分成N+1段，由每段的端点构成相应的期望轨迹点P0,P1,…,Pk,…,PN，由此构成期望轨迹集合{P0,P1,…,Pk,…,PN}，PN＝Pco，k＝ 0,1,2,…,N；近邻点选取数量为M＝3，当前期望轨迹点的邻域空间的半径为η＝0.02，两个位置之间的距离下限γ＝0.01，比例系数a＝0.5。初始化当前机械臂位于期望轨迹点P0处，k＝0，N＝10。
32)求解从期望轨迹点Pk到Pk+1的机械臂逆运动学，如果有解，则使机械臂在紧任务约束空间Wh上从当前期望轨迹点Pk运动到下一个期望轨迹点Pk+1，并令k＝k+1，进一步判断如果k＝N，输出规划成功，否则，转到步骤32)；如果无解，转到步骤33)。
33)若k＝N-1，则输出规划失败，机械臂运动规划结束；否则，转到步骤34)。
34)在当前期望轨迹点Pk的邻域空间内随机选取M个近邻点Pn_1～Pn_M，求取当前期望轨迹点Pk到近邻点Pn_1～Pn_M中代价最小的近邻点作为最优近邻点P*nearnest，机械臂在松任务约束空间Ws上从当前期望轨迹点Pk运动到最优近邻点P*nearnest，并令k＝k+1，更新当前位置Pk为P*nearnest；判断Pk到Pk+1的距离是否小于γ，如果是，则返回步骤32)；否则，执行步骤35)；
35)从当前期望轨迹点Pk到下一个期望轨迹点Pk+1的路径上选取一个中间点作为过渡点，机械臂在松任务约束空间Ws上从当前期望轨迹点Pk运动到过渡点Pmid，更新当前位置Pk为Pmid，返回步骤32)。
在一些实施例中，按照下式计算当前期望轨迹点Pk到近邻点Pn_1～Pn_M中最小代价J*：
Figure BDA0003278004980000091
其中，
Figure BDA0003278004980000092
为T时刻机械臂关节空间在近邻点Pn_s处的角位置向量，同理，T-1为上一时刻、T+1为下一时刻。
在一些实施例中，为了使机械臂的规划轨迹满足平滑稳定，按照下式计算过渡点Pmid：
Pmid＝Pk+a*(Pk+1-Pk)/‖Pk+1-Pk‖
其中，a为设定的常数，a∈(0,1)，当a越趋近于0时，选取的过渡点Pmid越靠近当前期望轨迹点Pk，当a越趋近于1时，选取的过渡点Pmid越靠近下一个期望轨迹点Pk+1。
在一些实施例中，待双机械臂运动至爆炸物所在位置后，根据神经网络模型识别的爆炸物类别分别执行如下操作：
51)若识别到的爆炸物为爆炸物A
将神经网络模型获得的爆炸物A的位置通过坐标转换矩阵得到爆炸物A在主臂和副臂坐标系下的位置，主臂按照爆炸物A的基于高斯混合模型的双臂排爆操作运动轨迹进行抓取操作，副臂按照爆炸物A的基于高斯混合模型的双臂排爆操作运动轨迹进行剪切操作。在副臂对爆炸物A进行剪切操作时，触觉传感器实时反馈剪切力，直到剪切力达到预定值时，判断剪切操作完成，副臂按照爆炸物A的基于高斯混合模型的双臂排爆操作运动轨迹原路返回到初始位置，主臂抓取已经排除危险的爆炸物A按照路径最短且避免碰撞的原则运动到防爆缸上方或其他可放置爆炸物的地点，并放入爆炸物A，主臂按照路径最短且避免碰撞原则运动到初始位置，双机械臂排爆操作结束。本公开实施例对爆炸物A进行剪切操作过程中的状态图参见图5中(a)。
52)若识别到的爆炸物为爆炸物B
将神经网络模型获得的爆炸物B的位置通过坐标转换矩阵得到爆炸物B在主臂和副臂坐标系下的位置，主臂按照爆炸物B的基于高斯混合模型的双臂排爆操作运动轨迹进行抓取操作，副臂按照爆炸物B的基于高斯混合模型的双臂排爆操作运动轨迹进行夹断操作。在副臂对爆炸物B进行夹断操作时，触觉传感器实时反馈夹断力，直到夹断力达到预定值时，判断夹断操作完成，副臂按照爆炸物B的基于高斯混合模型的双臂排爆操作运动轨迹原路返回到初始位置，主臂抓取已经排除危险的爆炸物B按照路径最短且避免碰撞原则运动到防爆缸上方或其他可放置爆炸物的地点，并放入爆炸物B，主臂按照路径最短且避免碰撞原则运动到初始位置，双机械臂排爆操作结束。本公开实施例对爆炸物B进行夹断操作过程中的状态图参见图5中(b)。
53)若识别到的爆炸物为爆炸物C
将神经网络模型获得的爆炸物C的位置通过坐标转换矩阵得到爆炸物C在主臂坐标系下的位置，主臂按照爆炸物C的基于高斯混合模型的双臂排爆操作运动轨迹进行抓取操作。在主臂对爆炸物C进行抓取操作时，触觉传感器实时反馈抓取力，直到抓取力达到预定值时，主臂抓取爆炸物C按照路径最短且避免碰撞原则运动到防爆缸上方或其他可放置爆炸物的地点，并放入爆炸物C，主臂按照路径最短且避免碰撞原则运动到初始位置，双机械臂排爆操作结束。本公开实施例对爆炸物C进行抓取操作过程中的状态图参见图5中(c)。
在一些实施例中，若神经网络模型未检测到输入的任务场景图像中含有待处理的爆炸物，则进一步检测任务场景中是否存在爆炸物发出的声音信号和气味信号中的至少一种信号，其中，通过声学传感器识别任务场景中是否存在爆炸物发出的“滴滴滴”声音，通过气体传感器识别任务场景中是否存在爆炸物发出的气味信号；如果既没有声音信号、也没有气味信号，则说明任务场景中没有隐藏的爆炸物，本方法结束；如果检测到声音信号和气味信号中的至少一种信号，利用波达方向定位技术或者气体浓度定位技术获取爆炸物的位置，主臂按照路径最短且避免碰撞原则运动到爆炸物位置，对遮挡物进行抓取操作，并将其放入防爆缸。获取移除遮挡物后的任务场景图像，将该任务场景图像输入神经网络模型中，得到爆炸物的种类和位置，然后按照步骤5)所述操作进行双臂排爆操作。
本公开实施例提供的双机械臂排爆操作控制装置，参见图6，包括：
爆炸物数据集构建模块，用于获取不同种类的爆炸物在任务场景下的图像，以此构建爆炸物数据集；
神经网络模型训练模块，用于利用爆炸物数据集对神经网络模型进行训练，以对爆炸物进行分类与检测，得到爆炸物的种类和爆炸物在任务场景中的位置；
触觉采集模块，用于采集双机械臂的末端执行器的操作接触力；
声音信号采集模块，用于采集任务场景中爆炸物发出的声音信号；
气味信号采集模块，用于采集任务场景中爆炸物发出的气味信号；
图像采集模块，用于获取操作场景图像；和
控制模块，用于控制图像采集模块获取操作场景图像，将获取的场景图像输入神经网络模型，若检测到任务场景图像中含有待处理的爆炸物，则控制双机械臂运动至爆炸物所在位置，并执行相应的排爆操作，排爆操作过程中通过触觉采集模块实时获取双机械臂的操作接触力，直至操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；若未检测到任务场景图像中含有待处理的爆炸物，则利用声音信号采集模块和/或气味信号采集模块检测任务场景图像中是否含有爆炸物发出的声音信号和/或气味信号，若含有，则通过定位方法检测爆炸物的位置，控制机械臂移除爆炸物周围的遮盖物，获取移除遮盖物的任务场景图像，将该任务场景图像输入至神经网络模型得到爆炸物的种类，控制双机械臂执行相应的排爆操作，排爆操作过程中通过触觉采集模块实时获取双机械臂的操作接触力，直至操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；若声音信号和气味信号均不含有，则判定任务场景中无爆炸物。
为了实现上述实施例，本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，用于执行上述实施例的双机械臂排爆操作控制方法。
下面参考图7，其示出了适于用来实现本公开实施例的电子设备100的结构示意图。其中，需要说明的是，该电子设备100中包括双机械臂排爆操作控制系统，其中，本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、服务器等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备100可以包括处理装置(例如中央处理器、图形处理器等)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储装置108加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM 103 中，还存储有电子设备100操作所需的各种程序和数据。处理装置101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
通常，以下装置可以连接至I/O接口105：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置106；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置107；包括例如磁带、硬盘等的存储装置108；以及通信装置109。通信装置109可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图 7示出了具有各种装置的电子设备100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图中所示方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置109从网络上被下载和安装，或者从存储装置108被安装，或者从ROM 102被安装。在该计算机程序被处理装置101执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：1)获取不同种类的爆炸物在任务场景下的图像，以此构建爆炸物数据集；2)利用爆炸物数据集对神经网络模型进行训练，以对爆炸物进行分类与检测，得到爆炸物的种类和爆炸物在任务场景中的位置；3)获取任务场景图像，将该图像输入神经网络模型，若检测到图像中含有待处理的爆炸物，则执行步骤4)，若未检测到图像中含有待处理的爆炸物，则执行步骤5)；4)双机械臂运动至爆炸物所在位置，并执行排爆操作，排爆操作过程中实时获取双机械臂与爆炸物间的接触力，直至接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；5)检测任务场景中是否存在爆炸物发出的声音信号和气味信号中的至少一种信号，若存在，则利用定位方法检测爆炸物的位置，控制双机械臂移除爆炸物周围的遮盖物，获取移除遮盖物后的任务场景图像，将该图像输入神经网络模型，返回步骤4)；若不存在，则判定不存在爆炸物。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、 C++、python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM 或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤，可以通过程序来指令相关的硬件完成，所开发的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种双机械臂排爆操作控制方法，其特征在于，包括：
1)获取不同种类爆炸物在任务场景下的图像，以此构建爆炸物数据集；
2)利用所述爆炸物数据集对神经网络模型进行训练，以对爆炸物进行分类与检测，得到爆炸物的种类和爆炸物在任务场景中的位置；
3)通过示教过程获得对不同种类爆炸物执行排爆操作时生成的相应运动轨迹，以此作为双臂排爆操作的期望任务轨迹；
4)获取任务场景图像，将该图像输入所述神经网络模型，若检测到图像中含有待处理的爆炸物，则执行步骤5)，若未检测到图像中含有待处理的爆炸物，则执行步骤6)；
5)双机械臂按照根据待处理爆炸物种类及其对应的期望任务轨迹运动至爆炸物所在位置，并执行排爆操作，排爆操作过程中实时获取双机械臂与爆炸物间的操作接触力，直至操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；
6)检测任务场景中是否存在爆炸物发出的声音信号和气味信号中的至少一种信号，若存在，则利用定位方法检测爆炸物的位置，控制双机械臂移除爆炸物周围的遮盖物，获取移除遮盖物后的任务场景图像，将该图像输入神经网络模型，返回步骤5)；若不存在，则判定任务场景中不存在爆炸物。
2.根据权利要求1所述的双机械臂排爆操作控制方法，其特征在于，将所述爆炸物分成以下三种类型：简易引线式定时炸弹，记为爆炸物A；可拆卸式手雷，记为爆炸物B；和不可拆卸式手雷，记为爆炸物C；所述爆炸物数据集中的图像含有所述爆炸物A、所述爆炸物B和所述爆炸物C。
3.根据权利要求1所述的双机械臂排爆操作控制方法，其特征在于，所述神经网络模型采用YOLO目标检测网络。
4.根据权利要求1所述的双机械臂排爆操作控制方法，其特征在于，通过以下运动规划方法使所述双机械臂运动至爆炸物所在位置：
设置双机械臂的工作空间、主臂的工作空间、副臂的工作空间和双机械臂的合作空间，其中，将机械臂沿着其期望任务轨迹进行运动规划时的作业空间定义为紧任务约束空间，以此设置主臂的紧任务约束空间和副臂的紧任务约束空间；将机械臂围绕其期望任务轨迹的邻域空间，实际位置与期望位置在容许误差范围内进行运动规划时的作业空间称为松任务约束空间，以此设置主臂的松任务约束空间和副臂的松任务约束空间；设置所述主臂的初始位置和所述副臂的初始位置，在所述双机械臂合作空间中随机选择一个任务点作为当前双机械臂期望合作任务点；
当前轮规划开始时刻，主臂和副臂分别根据基于松紧任务约束空间的主臂运动规划策略和副臂运动规划策略进行运动；若所述主臂和所述副臂均运动到所述当前双机械臂期望合作任务点，则规划成功；若所述主臂和所述副臂中存在至少一个没有运动到所述当前双机械臂期望合作任务点，则认为当前轮规划失败，依次使所述副臂和所述主臂回到各自的初始位置，并在所述当前双机械臂期望合作任务点的邻域空间内随机选取一个点作为当前双机械臂期望合作任务点，进行下一轮规划，直至失败次数达到设定的最大次数时，若所述主臂和所述副臂中仍存在至少一个没有运动到所述当前双机械臂期望合作任务点，则判定双机械臂无法运动至所述爆炸物所在位置。
5.根据权利要求4所述的双机械臂排爆操作控制方法，其特征在于，设置所述双机械臂的工作空间为W、所述主臂的工作空间为W1、所述副臂的工作空间为W2和所述双机械臂的合作空间为Wco，满足：W1∈W，W2∈W，Wco＝W1∩W2；设置所述主臂和所述副臂的期望任务轨迹分别为P1和P2，设置所述主臂和所述副臂的紧任务约束空间分别为
Figure FDA0003278004970000021
和
Figure FDA0003278004970000022
满足：
Figure FDA0003278004970000023
和
Figure FDA0003278004970000024
设置所述主臂和所述副臂的松任务约束空间分别为
Figure FDA0003278004970000025
和
Figure FDA0003278004970000026
满足：
Figure FDA0003278004970000027
和
Figure FDA0003278004970000028
设置所述主臂和所述副臂的初始位置分别为
Figure FDA0003278004970000029
和
Figure FDA00032780049700000210
满足：
Figure FDA00032780049700000211
和
Figure FDA00032780049700000212
6.根据权利要求5所述的双机械臂排爆操作控制方法，其特征在于，将所述主臂和所述副臂的期望任务轨迹分别均分成若干段，由每段的端点构成相应的期望轨迹点，主臂和副臂的最后一个期望轨迹点为当前双机械臂期望合作任务点；所述主臂运动规划策略和副臂运动规划策略均分别是对各自期望任务轨迹上的各期望轨迹点依次进行如下规划：
求解从所述当前期望轨迹点到下一个期望轨迹点的机械臂逆运动学，如果有解，则使机械臂在该机械臂的紧任务约束空间上从所述当前期望轨迹点运动到所述下一个期望轨迹点，然后进行所述下一个期望轨迹点的规划；如果无解，则在所述当前期望轨迹点的邻域空间内随机选取若干个近邻点，求取所述当前期望轨迹点到各所述近邻点中代价最小的近邻点作为最优近邻点，机械臂在该机械臂的松任务约束空间上从所述当前望轨迹点运动到所述最优近邻点，更新所述当前期望轨迹点为所述最优近邻点，若所述当前期望轨迹点到所述下一个期望轨迹点的距离小于设定的距离阈值，则进行下一个期望轨迹点的规划，若所述当前期望轨迹点到所述下一个期望轨迹点的距离大于或者等于设定的距离阈值，则从所述当前期望轨迹点到所述下一个期望轨迹点的路径上选取一点作为过渡点，机械臂在该机械臂的松任务约束空间上从所述当前期望轨迹点运动到所述过渡点，更新所述当前期望轨迹点为所述过渡点，然后进行下一个期望轨迹点的规划。
7.根据权利要求6所述的双机械臂排爆操作控制方法，其特征在于，按照下式求取所述当前期望轨迹点到各所述近邻点的最小代价J*：
Figure FDA00032780049700000213
其中，
Figure FDA00032780049700000214
为T时刻机械臂关节空间在第s个近邻点Pn_s处的角位置向量，M为在所述当前期望轨迹点的邻域空间内随机选取的近邻点的总个数；
所述过渡点按照下式计算得到：
Pmid＝Pk+a*(Pk+1-Pk)/‖Pk+1-Pk‖
其中，Pmid为所述过渡点；a为常数，a∈(0,1)；Pk和Pk+1分别为当前期望轨迹点和下一个期望轨迹点。
8.一种双机械臂排爆操作控制装置，其特征在于，包括：
爆炸物数据集构建模块，用于获取不同种类的爆炸物在任务场景下的图像，以此构建爆炸物数据集；
神经网络模型训练模块，用于利用所述爆炸物数据集对神经网络模型进行训练，以对爆炸物进行分类与检测，得到爆炸物的种类和爆炸物在任务场景中的位置；
触觉采集模块，用于采集双机械臂的末端执行器的操作接触力；
声音信号采集模块，用于采集任务场景中爆炸物发出的声音信号；
气味信号采集模块，用于采集任务场景中爆炸物发出的气味信号；
图像采集模块，用于获取操作场景图像；和
控制模块，用于控制所述图像采集模块获取操作场景图像，将所述场景图像输入所述神经网络模型，若检测到所述任务场景图像中含有待处理的爆炸物，则控制双机械臂运动至爆炸物所在位置，并执行相应的排爆操作，排爆操作过程中通过所述触觉采集模块实时获取双机械臂的操作接触力，直至所述操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；若未检测到所述任务场景图像中含有待处理的爆炸物，则利用所述声音信号采集模块和/或所述气味信号采集模块检测所述任务场景图像中是否含有爆炸物发出的声音信号和/或气味信号，若含有，则通过定位方法检测爆炸物的位置，控制机械臂移除爆炸物周围的遮盖物，获取移除遮盖物的任务场景图像，将该任务场景图像输入至所述神经网络模型得到爆炸物的种类，控制双机械臂执行相应的排爆操作，排爆操作过程中通过所述触觉采集模块实时获取双机械臂的操作接触力，直至该操作接触力达到设定阈值，利用机械臂将爆炸物移至安全区域，排爆操作完成；若声音信号和气味信号均不含有，则判定任务场景中无爆炸物。
9.一种电子设备，其特征在于，包括：
至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1～7中任一项所述的双机械臂排爆操作控制方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1～7中任一项所述的双机械臂排爆操作控制方法。
CN202111123868.7A 2021-09-24 2021-09-24 双机械臂排爆操作控制方法、装置、电子设备及存储介质 Active CN113829345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111123868.7A CN113829345B (zh) 2021-09-24 2021-09-24 双机械臂排爆操作控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111123868.7A CN113829345B (zh) 2021-09-24 2021-09-24 双机械臂排爆操作控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113829345A true CN113829345A (zh) 2021-12-24
CN113829345B CN113829345B (zh) 2023-10-10

Family

ID=78969938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111123868.7A Active CN113829345B (zh) 2021-09-24 2021-09-24 双机械臂排爆操作控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113829345B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117681214A (zh) * 2024-02-04 2024-03-12 泓浒(苏州)半导体科技有限公司 基于晶圆传送的多机械臂碰撞预警方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980454A (zh) * 2012-11-09 2013-03-20 河海大学常州校区 一种基于脑机结合的机器人排爆系统的排爆方法
CN107756406A (zh) * 2016-08-22 2018-03-06 胡松华 一种排爆机器人控制系统
CN108132008A (zh) * 2017-12-18 2018-06-08 苏州融萃特种机器人有限公司 一种自主式爆炸物销毁器移动平台及其的控制方法
CN108638065A (zh) * 2018-05-15 2018-10-12 河南科技学院 一种排爆机器人双臂协同控制系统
CN109910010A (zh) * 2019-03-23 2019-06-21 广东石油化工学院 一种高效控制机器人的系统及方法
US20200311969A1 (en) * 2019-03-26 2020-10-01 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
CN112276951A (zh) * 2020-10-22 2021-01-29 中国人民武装警察部队工程大学 一种无人搜排爆机器人系统及其工作方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980454A (zh) * 2012-11-09 2013-03-20 河海大学常州校区 一种基于脑机结合的机器人排爆系统的排爆方法
CN107756406A (zh) * 2016-08-22 2018-03-06 胡松华 一种排爆机器人控制系统
CN108132008A (zh) * 2017-12-18 2018-06-08 苏州融萃特种机器人有限公司 一种自主式爆炸物销毁器移动平台及其的控制方法
CN108638065A (zh) * 2018-05-15 2018-10-12 河南科技学院 一种排爆机器人双臂协同控制系统
CN109910010A (zh) * 2019-03-23 2019-06-21 广东石油化工学院 一种高效控制机器人的系统及方法
US20200311969A1 (en) * 2019-03-26 2020-10-01 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
CN112276951A (zh) * 2020-10-22 2021-01-29 中国人民武装警察部队工程大学 一种无人搜排爆机器人系统及其工作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117681214A (zh) * 2024-02-04 2024-03-12 泓浒(苏州)半导体科技有限公司 基于晶圆传送的多机械臂碰撞预警方法及系统
CN117681214B (zh) * 2024-02-04 2024-04-12 泓浒(苏州)半导体科技有限公司 基于晶圆传送的多机械臂碰撞预警方法及系统

Also Published As

Publication number Publication date
CN113829345B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
Finn et al. Developments and challenges for autonomous unmanned vehicles
Nahavandi Trusted autonomy between humans and robots: Toward human-on-the-loop in robotics and autonomous systems
Trevelyan et al. Robotics in hazardous applications
CN113829345A (zh) 双机械臂排爆操作控制方法、装置、电子设备及存储介质
Durst et al. Levels of autonomy and autonomous system performance assessment for intelligent unmanned systems
Ismail et al. Military support and rescue robot
CN112295145A (zh) 人工智能消防机器人、灾情检测方法、计算机装置及介质
KR20240004350A (ko) 미지의 환경들에서의 로봇 항법을 위한 방법 및 시스템
Merkt et al. Robust shared autonomy for mobile manipulation with continuous scene monitoring
Luo et al. Environment-centric safety requirements for autonomous unmanned systems
Sasi et al. Deep Learning Techniques for Autonomous Navigation of Underwater Robots
Transeth et al. Autonomous subsea intervention (SEAVENTION)
Lee et al. Sensing-aware deep reinforcement learning with HCI-based human-in-the-loop feedback for autonomous nonlinear drone mobility control
CN114367988A (zh) 一种煤矿自主巡检平台上的机械臂运动规划方法和装置
Ollero et al. Application of intelligent aerial robots to the inspection and maintenance of electrical power lines
Zheng et al. An object recognition grasping approach using proximal policy optimization with yolov5
Alitappeh et al. Autonomous Robot Navigation: Deep Learning Approaches for Line Following and Obstacle Avoidance
Brüggemann et al. Search and retrieval of human casualties in outdoor environments with unmanned ground systems—system overview and lessons learned from ELROB 2014
Everett et al. Toward a warfighter’s associate: Eliminating the operator control unit
Nusrat et al. Integrated multi-sensory m2m system for enhanced military situational awareness and response
Lindholm Unmanned Ground Vehicles in Urban Military Operations: A case study exploring what the potential end users want
Novitzky Improvement of multi-auv cooperation through teammate verification
Islam et al. WIP: Human-AI interactions in real-world complex environments using a comprehensive reinforcement learning framework
Fletcher Autonomous vehicles and the net-centric battlespace
RU2749540C1 (ru) Способ проведения технической разведки повреждённых образцов вооружения и военной техники в ходе ведения боевых действий

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant