CN108838991A - 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 - Google Patents
一种自主类人双臂机器人及其对运动目标的跟踪操作系统 Download PDFInfo
- Publication number
- CN108838991A CN108838991A CN201810184427.XA CN201810184427A CN108838991A CN 108838991 A CN108838991 A CN 108838991A CN 201810184427 A CN201810184427 A CN 201810184427A CN 108838991 A CN108838991 A CN 108838991A
- Authority
- CN
- China
- Prior art keywords
- robot
- arms
- target
- people
- class people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000004438 eyesight Effects 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000004088 simulation Methods 0.000 claims abstract description 6
- 239000012636 effector Substances 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 36
- 210000003857 wrist joint Anatomy 0.000 claims description 20
- 210000002310 elbow joint Anatomy 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 14
- 238000011160 research Methods 0.000 claims description 14
- 210000000323 shoulder joint Anatomy 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000009017 pursuit movement Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 210000001503 joint Anatomy 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000004387 environmental modeling Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 101000941170 Homo sapiens U6 snRNA phosphodiesterase 1 Proteins 0.000 claims 1
- 102100031314 U6 snRNA phosphodiesterase 1 Human genes 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
- B25J9/0087—Dual arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种自主类人双臂机器人，其包括头部、双轮差速驱动移动平台、七自由度类人双臂、移动目标模拟平台、PTZ摄像头系统；双轮差速驱动移动平台里设有里程计，二维激光雷达系统，超声波避障传感器系统、双目视觉测量系统和PTZ摄像头系统。本发明的优点：利用双轮差速驱动移动平台和高冗余类人双臂机器人组成一个基于ROS操作系统的高冗余类人双臂移动服务机器人系统；提出了一种先进的基于整体性速度分解控制算法对该高冗余类人双臂移动服务机器人进行整体性运动规划方法；建立基于PTZ视觉系统和激光传感器系统多模态信息融合的目标捕获辨识和抓取系统；提出一种基于三维C空间的增强型概率地图改进型A*算法的路径规划方法。
Description
技术领域
本发明涉及一种自主类人双臂机器人及其对运动目标的跟踪操作系统，属于机器人技术领域。
背景技术
类人双臂移动服务机器人是在非结构环境下为人类提供必要服务的多种高技术的集成体。类人双臂机器人并不是简单的把两个单臂机器人组合在一起，而是将其作为一个独立的机器人系统，类人双臂之间存在着高度的协同关系。人型化的服务机器人拥有着人体手臂一样的高冗余双臂系统，而双臂协调操作是提高机器人系统操作能力、负载能力、可靠性及扩展操作空间的有效途径。我国《国家中长期科学和技术发展规划纲要(2006-2020)》将在非结构环境下为人类提供必要服务的多种高技术集成的智能服务机器人作为未来15年前沿申请技术，并将类人服务机器人作为我国重点发展的对象。不同于一般工业机器人固定在特定位置做着重复性高精度的运动，服务机器人具有灵活的运动机构，可以随时运动到需要的地方，包括一些对于普通人来说不易到达的地方和角落，完成人或智能系统预先设置指定的工作。目前社会对实际可用的家庭类人服务机器人的需求日益迫切，尤其随着全球人口老龄化进程的加速，对配有类人双臂的自主移动机器人及其相关技术的研发更具有急切的现实意义。我国的老龄化现象非常严重，据统计，到2012年底，我国60岁以上老年人占全部人口的比例高达14.3％，预计到2050年，这一比例将超过30％。为了护理老年人、残疾人等行动不便人士，对家庭环境中常见物体的抓取，成为家庭类人服务机器人不可或缺的重要功能需求。因此高冗余类人双臂移动服务机器人协调运动控制和基于多模态传感器信息融合的抓取机理的研究成为当今机器人发展的一个主要方向。高冗余类人双臂移动服务机器人的应用增强了机器人对复杂任务的适应性，提高了机器人对工作空间的利用率。类人双臂无碰撞路径规划方法可以使机器人类人双臂运动过程中互不相碰，扩大了机器人工作空间，可应用于家庭移动类人服务机器人和与机械手臂生产实践相关的领域，具有很广阔的研究和实际应用价值。
多传感器信息融合技术通过对多类同构或异构传感器数据进行综合，形成比单一信源更可靠、更完全的融合信息。基于多模态信息融合的物体识别和抓取规划一直是图像处理、机器视觉、深度信息处理、机器学习、人工智能等领域的研究焦点，也是类人双臂移动服务机器人动态目标追踪研究中至关重要的环节，其中较典型的信息主要是图像信息和深度信息。一个典型的识别系统一般包含数据预处理、特征提取、特征匹配等部分，在机器视觉领域分别对应低层视觉、中层视觉与高层视觉。数据预处理一般是对数据进行滤波，去除噪声，图像增强或复原等，为下一步的特征提取做准备。特征提取是物体识别的关键，物体特征应具有类内的一致性与类间的区分性，常用的特征包括轮廓特征、颜色特征、形状特征等。为了方便下一步的特征匹配，常常将特征提取的结果表示成一定维度的向量，从而在一定意义上将物体的识别与匹配转换为在特征向量空间里对最近邻的搜索和对特征空间的划分问题，一般需要综合利用多种机器学习与人工智能算法，例如人工神经网络、支持向量机、贝叶斯分类器等。按照被识别对象的种类，可以将物体识别方法分为对特定物体的识别与对一般物体的识别。本申请以基于激光传感器的深度信息和视觉传感器的图像信息进行融合进行运动目标检测用于对运动目标的跟踪抓取操作，在移动服务机器人领域有着重要的意义与应用价值。
机器人的运动规划经过多年发展，形成了基于栅格的方法、基于图搜索的方法、基于势场的方法和和基于随机采样的方法等多种不同的规划方法。家庭环境下的智能抓取机器人一般由移动基与一条或多条机械臂构成，整体自由度往往达到十个甚至几十个，由于机器人运动规划的复杂度会随着机器人的自由度指数增长，机器人的高自由度会给整体性运动规划带来“维数灾难(dimension curse)”问题。尽管基于随机采样的方法在高自由度机器人的运动规划方面取得了很大的成功，但考虑到机器人抓取的实时性要求，如何提高高自由度机器人的运动规划效率仍然是一个需要解决的问题。对于由移动基与多机械臂构成的移动抓取系统，移动平台与多机械臂的运动同步性往往难以保证，因此解决移动抓取问题常采用的策略是先使移动平台运动到靠近物体的位置，再用多机械臂完成协调抓取。在该过程中，如何确定移动平台的目标位置以使得该位置处多机械臂能更好地协调完成抓取操作工作尤为关键。
发明内容
本发明要解决的技术问题，在于提供一种自主类人双臂机器人及其对运动目标的跟踪操作系统，针对高冗余类人双臂移动服务机器人的运动特性和操作特点，建立三维高冗余类人双臂移动服务机器人的各个臂坐标系，用表达式表示出类人双臂机器人机械臂顶端执行器姿态和位置。建立正向运动的数学模型，通过数学运算推导和讨论求出待求量：类人双臂机器人机械手的位姿；建立逆向运动的数学模型，并通过数学运算推导和讨论求出各个关节的运动变量。在三维运动模型基础上对整体性运动规划进行研究，提出整体性分解运动速度协调控制算法，实现移动平台和类人双臂移动服务机器人末端执行器的协调运动控制；
提出一种基于图像信息和深度信息多模态数据融合的目标姿态估计及抓取规划方案，主要目的在于移动类人双臂机器人更为有效的对运动目标进行快速精确的识别，自动实现对目标的捕获、辨识和跟踪，在目标较远和范围较大的情况下采用视觉图像系统对目标进行识别，即采用该机器人自有三摄像头系统和安装在移动平台上的PTZ摄像头系统进行目标的识别，在抓取时为辅助传感；在目标较近距离时采用Gocator2380激光传感器进行目标的捕获、辨识、定位和跟踪抓取操作任务；
提出一种新的高冗余类人双臂移动服务机器人和非合作目标追踪方式，降低高冗余类人双臂移动服务机器人的追踪速度及其相对速度；
设计非线性追踪算法，提高系统的快速性和鲁棒性，实现高冗余类人双臂移动服务机器人对目标的全局渐近稳定和快速追踪；
探索对具有高冗余自由度类人双臂移动服务机器人的整体性运动规划方法，提高高冗余类人双臂移动服务机器人的自主任务规划和控制能力。
本发明通过下述方案实现：一种自主类人双臂机器人，其包括头部、双轮差速驱动移动平台、七自由度类人双臂、移动目标模拟平台、PTZ摄像头系统；所述双轮差速驱动移动平台里设有里程计，二维激光雷达系统，超声波避障传感器系统、双目视觉测量系统和PTZ摄像头系统；所述移动目标模拟平台，模拟目标在X-Y平面的运动，然后设计一个在Z向运动的机构安装在机器人本体上；所述七自由度类人双臂的末端执行器内设有红外感应器和力矩感应器，所述头部内设有三个视觉感应器，所述七自由度类人双臂包括S0肩关节，S1肩关节，E0肘关节，E1肘关节，W0腕关节，W1腕关节和W2腕关节。
所述S0肩关节的运动范围为-141°～+51°，S1肩关节的运动范围为-123°～+60°，E0肘关节的运动范围为-173.5°～+173.5°，E1肘关节的运动范围为-3°～+150°，W0腕关节的运动范围为-175.25°～+175.25°，W1腕关节的运动范围为-90°～+120°和W2腕关节的运动范围为-175.25°～+175.25°。
一种自主类人双臂机器人对运动目标的跟踪操作系统，其包括高冗余类人双臂移动服务机器人系统的构建、运动模型的构建、基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真、基于PTZ视觉系统图像信息和基于激光传感器深度信息的多模态数据融合的目标捕获辨识和抓取系统、基于三维C空间的增强概率地图改进型A*算法的路径规划研究、高冗余类人双臂移动服务机器人双臂末端执行器前置跟踪运动目标研究，
高冗余类人双臂移动服务机器人系统的构建：双轮差速驱动移动平台(2)、七自由度类人双臂组成基于ROS系统的高冗余三维类人双臂移动服务机器人，该机器人系统拥有16个自由度，其中类人手臂各七个自由度，移动平台两个自由度，完全满足类人双臂末端执行器对运动目标的跟踪操作要求；
运动模型的构建：包括建立双轮差速驱动平台运动模型、固定类人双臂机器人运动模型和高冗余类人双臂移动服务机器人运动模型；
基于PTZ视觉系统图像信息和基于激光传感器深度信息的多模态数据融合的目标捕获辨识和抓取系统：其包括一、基于PTZ视觉系统图像信息采集和目标定位，即通过摄像机、USB 1路STK1160芯片视频采集卡转换视频为计算机接收信息，将视频信息提取图片，然后使用 MATLAB对图片处理，首先基于目标颜色和外形双重特征值对目标进行识别，然后通过单目测距原理是将二维图片转换为三维空间模型，并且利用空间相似三角形比进行计算并求出目标位置；基于二维激光轮廓测量传感器进行目标采集和目标定位；二、基于二维激光轮廓测量传感器进行目标采集和目标定位，即通过使用二维激光轮廓传感器，将目标的深度信息进行提取得到一个高精度的深度信息；
基于三维C空间的增强概率地图改进型A*算法的路径规划研究：采用增强型概率地图方法，在Free C-Space中小于临界值点不进行采样，以便减少采样时间，增强高冗余类人双臂机器人双臂末端执行器追踪操作运动目标实时性，基于自由空间法，将类人双臂移动服务机器人双臂末端执行点视为质点，将其周围的障碍物及边界按比例相应地扩大，使类人双臂移动服务机器人双臂末端执行点能够在障碍物空间中移动到任意一点，而不与障碍物及边界发生碰撞。然后将环境栅格化，将类人双臂移动服务机器人双臂末端执行点置于立方矩形方格内，定义机器人可以向26个方向选择下一步运动方向，代价在水平和垂直方向上为1，平面斜角上为立体顶角上的斜角为
高冗余类人双臂移动服务机器人双臂末端执行器前置跟踪运动目标研究，类人双臂移动服务机器人首先沿着迎面交汇的方式向目标逼近，然后在预定的位置进行转向，最后沿着与目标相同方向运动，在目标轨道的前方捕获目标，根据类人双臂移动机器人和动态目标的相对运动关系，利用古典力学理论可建立该机器人的三维前置追踪运动学模型，同时可建立三维前置追踪的制导方程，并分析满足追踪的参数和初始条件限制，为了降低移动本体和双机械臂末端执行器跟踪目标的速度和相对速度，采用面向任务的协作式方法对类人双臂移动服务机器人双臂末端执行器进行整体性运动规划以及设计跟踪算法获取目标信息。
所述双轮差速驱动平台运动模型中和关系可由下面公式进行描述：其中：是一个(3×1)向量；和表示本体x和y方向的速度；表示本体旋转速度；是一个(2×1)向量；和分别表示该差速移动平台左右驱动轮速度；Jplatform表示该移动平台的雅可比矩阵；r表示驱动轮半径；O表示速度驱动中心点；P0表示两个驱动轮的中心点，另外拟在移动平台上加装 PTZ摄像头系统：sony-evi-d100p，用以对目标在较远距离和宽范围的识别和跟踪。
所述固定类人双臂机器人运动模型采用开源式系统ROS系统，且设有多传感器：在所述 头部和所述七自由度类人双臂中都装有摄像头，组成双视频监控系统；每个关节都装有位置、 速度和力反馈系统；且装有360°声呐传感器、双目视觉系统和激光雷达系统，其中所述双 目视觉系统用于对目标的更为精确的识别、测距和环境建模，配有的激光雷达系统用以对对 象的精确定位，激光雷达系统采用二维激光测距扫描传感器Gocator2380。运动模型中：Ps为 类人双臂机器人与固定平台接触点；Pe和Pe′分别表示左右臂末端执行器，坐标分别是 (xe,ye,ze)和(x′e,y′e,z′e)；li(i＝1,…，4)表示左右臂各个关节的长度；θi和θ′i(i＝1,…,7)分别表示左右臂各个关节的角度，固定类人双臂机器人左臂末端执行器速度， 即和的关系可由下式进行描述：
其中：是一个(3×1)向量，表示固定类人双臂机器人左臂末端执行器速度；是一个(6×1)向量，表示该机器人左臂6个关节角速度；Jd_l_f表示该固定类人双臂机器人左臂的雅可比矩阵；
固定类人双臂机器人右臂末端执行器速度，即和的关系可以由下式进行描述：
其中：是一个(3×1)向量，表示该固定类人双臂机器人右臂末端执行器的速度；是一个(6×1)向量，表示该机器人右臂6个关节的角速度；Jd_r_f表示该机器人右臂的雅可比矩阵；
高冗余类人双臂移动服务机器人运动模型是在双轮差速驱动移动平台(2)和固定类人双臂机器人在基于ROS系统下进行联合建模，得到运动模型，该机器人左臂末端执行器速度，即和的关系也可由下式矩阵的形式进行描述：
其中：是一个(7×1)向量；Jd_l_m表示高冗余类人双臂移动服务机器人左臂雅可比矩阵；
将上述两式联合求解，得到左臂完整运动学模型如下：
其中：是一个(5×1)向量；是一个(8×1)向量；Rd_l_m是一个(5×5)常数矩阵；Jd_l_m是该类人双臂移动服务机器人左臂雅可比矩阵，相对于固定类人双臂机器人左臂运动模型，由于增加了差速驱动移动平台，该机器人自由度数量从6个增加到8个，不仅与有关,而且也与有关，该类人双臂移动服务机器人右臂末端执行器速度，即和的关系也可由下面变换矩阵的形式进行描述：
其中：是一个(7×1)向量；Jd_r_m表示该机器人右臂雅可比矩阵。
该类人双臂移动服务机器人右臂完整运动学模型可由式和式联解获得：
其中：是一个(5×1)向量；是一个(8×1)向量；Rd_r_m是一个(5×5)常数矩阵；Jd_r_m表示该类人双臂移动服务机器人右臂雅可比矩阵。
整体性模型中，和的变换矩阵关系可以由下式进行描述：
其中：是一个(8×1)向量；是一个(14×1)向量；Rd_m是一个(8×8)常数矩阵； Jd_r_m表示该高冗余类人双臂移动服务机器人整体性雅可比矩阵。
所述基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真中由上述公式θd_m＝[θT w θT d_l θT d_r]T和的关系可由下式确定：
Pe_d＝f(θd_m)
其中：是一个(8×1)向量；θd_m是一个(14×1)向量；Ps、Pe_d_l和Pe_d_r分别表示点Ps、Pe和P′e的位置；θw、θd_l和θd_r分别表示θl、θr、θi和θ′i(i＝1，...，6) 的角度，式Pe_d＝f(θd_m)两边求导可推导出式然后将式两边求逆推导出下式：
其中：J-1 d_m是高冗余类人双臂移动服务机器人逆雅可比矩阵；.
为进行仿真，将式中速度以单位时间角度和位置的变化量表示，即：
其中：Δθd_m＝[ΔθT w ΔθT d_l ΔθT d_r]T是一个(14×1)向量；是一个(8×1)向量；Δθw、Δθd_l和Δθd_r分别对应θl、θr、θi和θ′i(i＝1,…,6)的单位时间角度变化量；ΔP′s、ΔPe_d_l和ΔPe_d_r分别对应点Ps、Pe和P′e单位时间位置变化量。
所述基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真中具体算法如下，
步骤一：输入包括差速移动平台和类人双臂机器人的初始状态；
步骤二：输入该类人双臂移动服务机器人双臂跟踪不同路径的轨迹；
步骤三：合适单位时间ΔT确定，整个过程需要运行的步骤数N和相应的ΔPe_d也可以确定；
步骤四：Δθd_m通过ΔPe_d可以确定；
步骤五：据Δθd_m的值,Δθw、Δθd_l和Δθd_r分别得到驱动；
步骤六：下一个运动状态确定，如果整个过程的少于N,程序转为步骤④,否则转为步骤⑦；
步骤七：程序结束。
所述基于PTZ视觉系统图像信息采集和目标定位包括基于目标颜色和外形双重特征值对目标进行识别和基于颜色与边缘形状检测相结合的目标识别系统。
所述基于颜色与边缘形状检测相结合的目标识别系统包括颜色识别、边缘提取和识别目标球。
本发明的有益效果为：
1、本发明采用双轮差速移动平台保证了该机器人运动的快速性、运动控制的高效性和广 泛的可应用性。“Baxter”类人双臂机器人拥有高冗余的七自由度类人双臂(其中肩关节2个， 肘关节2个和腕关节3个)，保证了操作的灵活性，见图1-9。拥有多种传感器：包括红外、 力矩和三个视觉(分别安装在左右臂末端执行器和头部位置)等，能保证对外部和内部环境 的感知测量，并拥有开放式ROS操作系统可与底座进行实时通信；
2、解决了三维高冗余类人双臂移动服务机器人的整体性运动规划问题，对具有高冗余自由度的类人双臂移动服务机器人而言，高冗余类人双臂移动服务机器人整体性运动规划的重点是如何协调移动平台与机械臂来共同完成给定任务，本发明在三维运动模型基础上对整体性运动规划进行研究，提出整体性分解运动速度协调控制算法，实现移动本体和末端执行器的协调运动控制，将采用面向任务的协作式整体性运动规划方法，解决高冗余类人双臂移动服务机器人运动的任务分配和协调控制问题；
3、解决如何快速自动实现对运动目标(单个或多个目标)的捕获、辨识、跟踪和抓取的问题，三维C空间运动目标快速和高精度的捕获、辨识、定位、跟踪及抓取操作任务，即较远距离的自动视觉识别和目标较近距离时激光传感精确定位的多模态数据融合的目标识别和跟踪操作研究，对运动目标的自动目标识别(ATR:Automatic Target Recognition)是后续的跟踪测量操作系统方面的重要前提条件，本发明结合视觉图像和激光传感的多模态数据融合的方式：即在目标较远时采用视觉图像系统(PTZ视觉系统)对目标进行识别，在目标较近距离(目前已有激光传感器为gocator2340系列激光传感器，该传感器的测量范围在210mm，视场96-194；拟采购更高精度和测量范围的Gocator2380系列激光传感器，该传感器的测量范围能达到800mm，视场能达到390-1260)，这样就解决了类人双臂移动机器人在较大范围内对运动目标的快速和高精度的捕获、辨识、定位和跟踪操作任务；
4、解决高冗余类人双臂移动服务机器人的导航策略优化问题，传统的跟踪方式会造成高冗余类人双臂移动服务机器人的速度或者与目标的相对速度过大，不仅提高高冗余类人双臂移动服务机器人的制造和控制要求，还会对传感器带来探测干扰，本发明采用前置追踪方式，会降低高冗余类人双臂移动服务机器人的运动速度及其相对速度，从而消弱传感器的探测干扰，可解决高冗余类人双臂移动服务机器人的导航策略优化问题；
5、本发明拥有16个自由度，其中类人手臂各七个自由度，移动平台两个自由度，，完全满足类人双臂末端执行器对运动目标的跟踪操作要求；
6、本发明利用双轮差速驱动移动平台和高冗余类人双臂机器人组成一个基于ROS操作系统的高冗余类人双臂移动服务机器人系统。硬件方面还包括在该机器人基础上配有更为先进的辅助定位和识别装置：安装在移动平台的PTZ摄像头用以在较远距离并且范围较大情况下对目标的识别和跟踪，实现机器人本体三摄像头的补充；类人双臂机器人末端执行器装有二维激光轮廓传感器系统，用于配合机器人视觉系统对目标进行更为精确的识别、测距和定位。软件方面提出了一种先进的基于整体性速度分解控制算法(wRMRC)对该高冗余类人双臂移动服务机器人进行整体性运动规划方法，为后续该机器人类人双臂末端执行器跟踪操作运动目标的研究提供了运动学理论基础；
7、本发明通过建立基于PTZ视觉系统和激光传感器系统多模态信息融合的目标捕获辨识和抓取系统，通过购买Gogetor2380激光传感器和PTZ摄像系统等相关硬件设备，同时设计多模态数据融合深度学习算法，测量出目标的位置信息和三维信息。另外根据移动仿人双臂机器人高冗余和移动的特点与目标不停运动的特点，采用图像信息和深度信息相融合进行目标识别和抓取。图像信息量大、但精度相对较低，而激光深度信息精度高、但视场小且测量距离较近，因此将两者融合能做到既快又准的完成运动目标的跟踪和抓取任务；
8、本发明根据机器人高冗余、类人双臂以及移动等特点，提出一种基于三维C空间的增强型概率地图改进型A*算法的路径规划方法，解决高冗余类人双臂移动服务机器人本体和类人双臂末端执行器跟踪操作运动目标的路径寻优问题；
9、本发明提出一种前置追踪方法，采用面向任务的协作式方法对类人双臂移动服务机器人双臂末端执行器进行整体性运动规划以及设计跟踪算法获取目标信息，解决高冗余类人双臂移动服务机器人双臂末端执行器对运动目标的跟踪操作问题，该前置追踪方式可以大大的降低高冗余类人双臂移动服务机器人的追踪速度及其与目标的相对运动速度，从而削弱多传感器的探测干扰，降低高冗余类人双臂移动服务机器人的制造精度和控制要求，
10、本发明基于wRMRC算法的高冗余类人双臂移动服务机器人整体运动规划及基于图像信息和深度信息融合的目标抓取机理研究，可广泛应用于类人双臂移动服务机器人的追踪和抓取作业，在各个领域都具有非常重要的应用前景。
附图说明
图1为本发明一种自主类人双臂机器人的正视结构示意图。
图2为双轮差速驱动平台运动模型。
图3为固定类人双臂机器人运动模型。
图4为高冗余移动类人双臂机器人运动模型。
图5为机器人三维改进型A*算法仿真实验示意图。
图6为前置跟踪运动示意图。
图7为高冗余类人双臂移动服务机器人三维前置追踪算法示意图。
图8为高冗余类人双臂移动服务机器人跟踪整体性运动规划框图。
图9为类人双臂移动服务机器人跟踪作业的结构简图
图中：1为头部，2为双轮差速驱动移动平台，3为七自由度类人双臂，4为S0肩关节，5为S1肩关节，6为E0肘关节，7为E1肘关节，8为W0腕关节，9为W1腕关节，10为 W2腕关节。
具体实施方式
下面结合图1-9对本发明进一步说明，但本发明保护范围不局限所述内容。
其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向，且附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
为了清楚，不描述实际实施例的全部特征，在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱，应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标，例如按照有关系统或有关商业的限制，由一个实施例改变为另一个实施例，另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。
一种自主类人双臂机器人，其包括头部1、双轮差速驱动移动平台2、七自由度类人双臂 3、移动目标模拟平台、PTZ摄像头系统；双轮差速驱动移动平台2里设有里程计，二维激光雷达系统，超声波避障传感器系统、双目视觉测量系统和PTZ摄像头系统；移动目标模拟平台，模拟目标在X-Y平面的运动，然后设计一个在Z向运动的机构安装在机器人本体上；七自由度类人双臂3的末端执行器内设有红外感应器和力矩感应器，头部1内设有三个视觉感应器，七自由度类人双臂3包括S0肩关节4，S1肩关节5，E0肘关节6，E1肘关节7，W0 腕关节8，W1腕关节9和W2腕关节10。
S0肩关节4的运动范围为-141°～+51°，S1肩关节5的运动范围为-123°～+60°，E0肘关节6的运动范围为-173.5°～+173.5°，E1肘关节7的运动范围为-3°～+150°，W0腕关节8的运动范围为-175.25°～+175.25°，W1腕关节9的运动范围为-90°～+120°和W2 腕关节10的运动范围为-175.25°～+175.25°。
一种自主类人双臂机器人对运动目标的跟踪操作系统，其包括高冗余类人双臂移动服务机器人系统的构建、运动模型的构建、基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真、基于PTZ视觉系统图像信息和基于激光传感器深度信息的多模态数据融合的目标捕获辨识和抓取系统、基于三维C空间的增强概率地图改进型A*算法的路径规划研究、高冗余类人双臂移动服务机器人双臂末端执行器前置跟踪运动目标研究，
高冗余类人双臂移动服务机器人系统的构建：双轮差速驱动移动平台2、七自由度类人双臂3组成基于ROS系统的高冗余三维类人双臂移动服务机器人，该机器人系统拥有16个自由度，其中类人手臂各七个自由度，移动平台两个自由度，完全满足类人双臂末端执行器对运动目标的跟踪操作要求；
运动模型的构建：包括建立双轮差速驱动平台运动模型、固定类人双臂机器人运动模型和高冗余类人双臂移动服务机器人运动模型；
基于PTZ视觉系统图像信息和基于激光传感器深度信息的多模态数据融合的目标捕获辨识和抓取系统：其包括一、基于PTZ视觉系统图像信息采集和目标定位，即通过摄像机、USB 1路STK1160芯片视频采集卡转换视频为计算机接收信息，将视频信息提取图片，然后使用 MATLAB对图片处理，首先基于目标颜色和外形双重特征值对目标进行识别，然后通过单目测距原理是将二维图片转换为三维空间模型，并且利用空间相似三角形比进行计算并求出目标位置；基于二维激光轮廓测量传感器进行目标采集和目标定位；二、基于二维激光轮廓测量传感器进行目标采集和目标定位，即通过使用二维激光轮廓传感器，将目标的深度信息进行提取得到一个高精度的深度信息；
表1二维激光轮廓传感器参数值
表2二维激光轮廓传感器参数值测得深度值(部分)
| Y\X | -3.484 | 4.091 | 11.363 | 17.12 | 26.816 | 37.118 | 43.178 |
| 23.688 | 35.746 | 50.05 | 56.206 | 58.582 | 60.028 | 58.096 | 55.534 |
| 31.188 | 42.226 | 53.344 | 58.048 | 60.514 | 62.344 | 60.532 | 57.454 |
| 40.188 | 41.836 | 53.524 | 58.498 | 60.7 | 62.272 | 60.442 | 58.138 |
| 49.188 | 35.878 | 49.486 | 55.648 | 58.36 | 59.446 | 58.06 | 54.754 |
| 53.938 | 45.592 | 52.666 | 55.552 | 57.232 | 55.078 | 51.496 |
基于三维C空间的增强概率地图改进型A*算法的路径规划研究：采用增强型概率地图方法，在Free C-Space中小于临界值点不进行采样，以便减少采样时间，增强高冗余类人双臂机器人双臂末端执行器追踪操作运动目标实时性，基于自由空间法，将类人双臂移动服务机器人双臂末端执行点视为质点，将其周围的障碍物及边界按比例相应地扩大，使类人双臂移动服务机器人双臂末端执行点能够在障碍物空间中移动到任意一点，而不与障碍物及边界发生碰撞。然后将环境栅格化，将类人双臂移动服务机器人双臂末端执行点置于立方矩形方格内，定义机器人可以向26个方向选择下一步运动方向，代价在水平和垂直方向上为1，平面斜角上为立体顶角上的斜角为
启发式搜索算法A*是一种静态路网中求解最短路径最有效的方法。其基本思想是：定义一个评价函数f，对当前的搜索状态进行评估，找出一个最有希望的结点来扩展。
如果估价值大于实际值，搜索的点数少，搜索范围小，效率高，但不能保证得到最优解。估价值与实际值越接近，估价函数取得就越好。例如对于几何路网来说，可以取两个节点欧几里得距离(直线距离)作为估价值。
在使用同一个路网和相同的起点终点，从起始点逐渐向目标点方向扩展，用A*算法的情 况计算的点数数量明显比Dijkstra少得多，效率很高，且能得到最优解。对于高冗余类人双 臂移动服务机器人系统，由于机械臂为类人双臂，每个臂的关节数为七个，计算量大，因此 本申请拟采用改进型A*算法进行路径寻优，即对估价函数加权处理：fw(n)＝(1w)g(n)+wh(n), 这样保证了估价函数的可靠性；另外引入“人工搜索标志”，使得高冗余类人双臂移动服务机 器人本体和类人双臂末端执行点预先判断前方的障碍物情况，避免进入陷阱。
高冗余类人双臂移动服务机器人双臂末端执行器前置跟踪运动目标研究，类人双臂移动服务机器人首先沿着迎面交汇的方式向目标逼近，然后在预定的位置进行转向，最后沿着与目标相同方向运动，在目标轨道的前方捕获目标，根据类人双臂移动机器人和动态目标的相对运动关系，利用古典力学理论可建立该机器人的三维前置追踪运动学模型，同时可建立三维前置追踪的制导方程，并分析满足追踪的参数和初始条件限制，为了降低移动本体和双机械臂末端执行器跟踪目标的速度和相对速度，采用面向任务的协作式方法对类人双臂移动服务机器人双臂末端执行器进行整体性运动规划以及设计跟踪算法获取目标信息。
双轮差速驱动平台运动模型中和关系可由下面公式进行描述：其中：是一个(3×1)向量；和表示本体x和y方向的速度；表示本体旋转速度；是一个(2×1)向量；和分别表示该差速移动平台左右驱动轮速度；Jplatform表示该移动平台的雅可比矩阵；r表示驱动轮半径； O表示速度驱动中心点；P0表示两个驱动轮的中心点，另外拟在移动平台上加装PTZ摄像头系统：sony-evi-d100p，用以对目标在较远距离和宽范围的识别和跟踪。
表3 PTZ摄像头系统参数
表4双轮差速移动平台参数
该移动平台中和关系可由下面公式进行描述：
固定类人双臂机器人运动模型采用开源式系统ROS系统，且设有多传感器：在头部1和七自由度类人双臂3中都装有摄像头，组成双视频监控系统；每个关节都装有位置、速度和力反馈系统，这样可以利用这些传感器感受周围环境，减少对周边工作人员的伤害；且装有 360°声呐传感器、双目视觉系统和激光雷达系统，其中双目视觉系统用于对目标的更为精确的识别、测距和环境建模，配有的激光雷达系统用以对对象的精确定位，激光雷达系统采用二维激光测距扫描传感器Gocator2380。运动模型中：Ps为类人双臂机器人与固定平台接触点；Pe和P′e分别表示左右臂末端执行器，坐标分别是(xe,ye,ze)和(x′e,y′e,z′e)；li(i＝1,…,4)表示左右臂各个关节的长度；θi和θ′i(i＝1,…,7)分别表示左右臂各个关节的角度，固定类人双臂机器人左臂末端执行器速度，即和的关系可由下式进行描述：
其中：是一个(3×1)向量，表示固定类人双臂机器人左臂末端执行器速度；是一个(6×1)向量，表示该机器人左臂6个关节角速度；Jd_l_f表示该固定类人双臂机器人左臂的雅可比矩阵；
固定类人双臂机器人右臂末端执行器速度，即和的关系可以由下式进行描述：
其中：是一个(3×1)向量，表示该固定类人双臂机器人右臂末端执行器的速度；是一个(6×1)向量，表示该机器人右臂6个关节的角速度；Jd_r_f表示该机器人右臂的雅可比矩阵。
高冗余类人双臂移动服务机器人运动模型是在双轮差速驱动移动平台2和固定类人双臂机器人在基于ROS系统下进行联合建模，得到运动模型，该机器人左臂末端执行器速度，即和的关系也可由下式矩阵的形式进行描述：
其中：是一个(7×1)向量；Jd_l_m表示高冗余类人双臂移动服务机器人左臂雅可比矩阵；
将上述两式联合求解，得到左臂完整运动学模型如下：
其中：是一个(5×1)向量；是一个(8×1)向量；Rd_l_m是一个(5×5)常数矩阵；Jd_l_m是该类人双臂移动服务机器人左臂雅可比矩阵，相对于固定类人双臂机器人左臂运动模型，由于增加了差速驱动移动平台，该机器人自由度数量从6个增加到8个，不仅与有关,而且也与有关，该类人双臂移动服务机器人右臂末端执行器速度，即和的关系也可由下面变换矩阵的形式进行描述：
其中：是一个(7×1)向量；Jd_r_m表示该机器人右臂雅可比矩阵。
该类人双臂移动服务机器人右臂完整运动学模型可由式和式联解获得：
其中：是一个(5×1)向量；是一个(8×1)向量；Rd_r_m是一个(5×5)常数矩阵；Jd_r_m表示该类人双臂移动服务机器人右臂雅可比矩阵。
在分别对差速移动平台和类人双臂机器人左右臂建模以后，采用整体性速度分解控制算法wRMRC对整个高冗余类人双臂移动服务机器人进行了建模，这种整体性建模的优点就是能够同时将该机器人类人双臂末端执行器的运动分解为差速移动平台左右驱动轮的运动和类人双臂各个关节的运动；
整体性模型中，和的变换矩阵关系可以由下式进行描述：
其中：是一个(8×1)向量；是一个(14×1)向量；Rd_m是一个(8×8)常数矩阵； Jd_r_m表示该高冗余类人双臂移动服务机器人整体性雅可比矩阵。
基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真中由上述公式θd_m＝[θT w θT d_1 θT d_r]T和Pe_d＝[P′s T PT e_d_l PT e_d_r]T的关系可由下式确定：
Pe_d＝f(θd_m)
其中：是一个(8×1)向量；θd_m是一个(14×1)向量；Ps、Pe_d_l和Pe_d_r分别表示点Ps、Pe和P′e的位置；θw、θd_l和θd_r分别表示θl、θr、θi和θ′i(i＝1,…,6) 的角度，式Pe_d＝f(θd_m)两边求导可推导出式然后将式两边求逆推导出下式：
其中：J-1 d_m是高冗余类人双臂移动服务机器人逆雅可比矩阵；.
为进行仿真，将式中速度以单位时间角度和位置的变化量表示，即：
其中：Δθd_m＝[ΔθT w ΔθT d_l ΔθT d_r]T是一个(14×1)向量；是一个(8×1)向量；Δθw、Δθd_l和Δθd_r分别对应θl、θr、θi和θ′i(i＝1,…,6)的单位时间角度变化量；ΔP′s、ΔPe_d_l和ΔPe_d_r分别对应点Ps、Pe和P′e单位时间位置变化量。
基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真中具体算法如下，
步骤一：输入包括差速移动平台和类人双臂机器人的初始状态；
步骤二：输入该类人双臂移动服务机器人双臂跟踪不同路径的轨迹；
步骤三：合适单位时间ΔT确定，整个过程需要运行的步骤数N和相应的ΔPe_d也可以确定；
步骤四：Δθd_m通过ΔPe_d可以确定；
步骤五：据Δθd_m的值,Δθw、Δθd_l和Δθd_r分别得到驱动；
步骤六：下一个运动状态确定，如果整个过程的少于N,程序转为步骤④,否则转为步骤⑦；
步骤七：程序结束。
基于PTZ视觉系统图像信息采集和目标定位包括基于目标颜色和外形双重特征值对目标进行识别和基于颜色与边缘形状检测相结合的目标识别系统。
基于颜色与边缘形状检测相结合的目标识别系统包括颜色识别、边缘提取和识别目标球，颜色识别根据彩色特征将某一颜色的物体提取出来，其他部分去除。这样做的目的是为了在下一步处理中只在这区域中寻找，不必要搜索整个图像，缩短视觉处理时间；边缘提取：利用上一步得到的图像进行边缘提取，得到边缘的特征，这样更有利于下一步的操作；识别目标球：考虑到球在图像中是圆的，有规则的物体。利用形状特征提取把图像中的圆形提取出来。从而达到识别目标的目的。
高冗余类人双臂移动服务机器人双臂末端执行器对同一目标进行跟踪仿真实验
首先设定该类人双臂移动服务机器人如下一些配置：
左右臂末端执行器跟踪的同一目标轨迹方程如下：
xe＝x′e＝0.0075t+0.5；
该机器人双臂参数如下：
h＝0.78m；w＝0.473m；
l1＝l′1＝0.27m；l2＝l′2＝0.44m；
l3＝l′3＝0.374m；l4＝l′4＝0.23m.
该机器人左右臂初始配置如下：
θ(0)＝(φ，θ1，θ2，θ3，θ4，θ5，θ6)＝(0°，20°，36°，180°，20°，-270°，-300°)；
θ′(0)＝(φ,θ′1，θ′2，θ′3，θ′4，θ′5，θ′6)＝(0°，-20°，-18°，180°，-30°，-270°，-300°).
点Ps的轨迹如下：
xs＝0.0065t+0.5；
zs＝1/4.55.
差速移动平台参数如下：r＝0.1m；//d＝0m；//b＝0.38m.
尽管已经对本发明的技术方案做了较为详细的阐述和列举，应当理解，对于本领域技术人员来说，对上述实施例做出修改或者采用等同的替代方案，这对本领域的技术人员而言是显而易见，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种自主类人双臂机器人，其特征在于：其包括头部(1)、双轮差速驱动移动平台(2)、七自由度类人双臂(3)、移动目标模拟平台、PTZ摄像头系统；所述双轮差速驱动移动平台(2)里设有里程计，二维激光雷达系统，超声波避障传感器系统、双目视觉测量系统和PTZ摄像头系统；所述移动目标模拟平台，模拟目标在X-Y平面的运动，然后设计一个在Z向运动的机构安装在机器人本体上；所述七自由度类人双臂(3)的末端执行器内设有红外感应器和力矩感应器，所述头部(1)内设有三个视觉感应器，所述七自由度类人双臂(3)包括S0肩关节(4)，S1肩关节(5)，E0肘关节(6)，E1肘关节(7)，W0腕关节(8)，W1腕关节(9)和W2腕关节(10)。
2.根据权利要求1所述的一种自主类人双臂机器人及其对运动目标的跟踪操作系统，其特征在于：所述S0肩关节(4)的运动范围为-141°～+51°，S1肩关节(5)的运动范围为-123°～+60°，E0肘关节(6)的运动范围为-173.5°～+173.5°，E1肘关节(7)的运动范围为-3°～+150°，W0腕关节(8)的运动范围为-175.25°～+175.25°，W1腕关节(9)的运动范围为-90°～+120°和W2腕关节(10)的运动范围为-175.25°～+175.25°。
3.一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：其包括高冗余类人双臂移动服务机器人系统的构建、运动模型的构建、基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真、基于PTZ视觉系统图像信息和基于激光传感器深度信息的多模态数据融合的目标捕获辨识和抓取系统、基于三维C空间的增强概率地图改进型A*算法的路径规划研究、高冗余类人双臂移动服务机器人双臂末端执行器前置跟踪运动目标研究，
高冗余类人双臂移动服务机器人系统的构建：双轮差速驱动移动平台(2)、七自由度类人双臂(3)组成基于ROS系统的高冗余三维类人双臂移动服务机器人，该机器人系统拥有16个自由度，其中类人手臂各七个自由度，移动平台两个自由度，完全满足类人双臂末端执行器对运动目标的跟踪操作要求；
运动模型的构建：包括建立双轮差速驱动平台运动模型、固定类人双臂机器人运动模型和高冗余类人双臂移动服务机器人运动模型；
基于PTZ视觉系统图像信息和基于激光传感器深度信息的多模态数据融合的目标捕获辨识和抓取系统：其包括一、基于PTZ视觉系统图像信息采集和目标定位，即通过摄像机、USB1路STK1160芯片视频采集卡转换视频为计算机接收信息，将视频信息提取图片，然后使用MATLAB对图片处理，首先基于目标颜色和外形双重特征值对目标进行识别，然后通过单目测距原理是将二维图片转换为三维空间模型，并且利用空间相似三角形比进行计算并求出目标位置；基于二维激光轮廓测量传感器进行目标采集和目标定位；二、基于二维激光轮廓测量传感器进行目标采集和目标定位，即通过使用二维激光轮廓传感器，将目标的深度信息进行提取得到一个高精度的深度信息；
基于三维C空间的增强概率地图改进型A*算法的路径规划研究：采用增强型概率地图方法，在Free C-Space中小于临界值点不进行采样，以便减少采样时间，增强高冗余类人双臂机器人双臂末端执行器追踪操作运动目标实时性，基于自由空间法，将类人双臂移动服务机器人双臂末端执行点视为质点，将其周围的障碍物及边界按比例相应地扩大，使类人双臂移动服务机器人双臂末端执行点能够在障碍物空间中移动到任意一点，而不与障碍物及边界发生碰撞。然后将环境栅格化，将类人双臂移动服务机器人双臂末端执行点置于立方矩形方格内，定义机器人可以向26个方向选择下一步运动方向，代价在水平和垂直方向上为1，平面斜角上为立体顶角上的斜角为
高冗余类人双臂移动服务机器人双臂末端执行器前置跟踪运动目标研究，类人双臂移动服务机器人首先沿着迎面交汇的方式向目标逼近，然后在预定的位置进行转向，最后沿着与目标相同方向运动，在目标轨道的前方捕获目标，根据类人双臂移动机器人和动态目标的相对运动关系，利用古典力学理论可建立该机器人的三维前置追踪运动学模型，同时可建立三维前置追踪的制导方程，并分析满足追踪的参数和初始条件限制，为了降低移动本体和双机械臂末端执行器跟踪目标的速度和相对速度，采用面向任务的协作式方法对类人双臂移动服务机器人双臂末端执行器进行整体性运动规划以及设计跟踪算法获取目标信息。
4.根据权利要求3所述的一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：所述双轮差速驱动平台运动模型中和关系可由下面公式进行描述：其中：是一个(3×1)向量；和表示本体x和y方向的速度；表示本体旋转速度；是一个(2×1)向量；和分别表示该差速移动平台左右驱动轮速度；Jplatform表示该移动平台的雅可比矩阵；r表示驱动轮半径；O表示速度驱动中心点；P0表示两个驱动轮的中心点，另外拟在移动平台上加装PTZ摄像头系统：sony-evi-d100p，用以对目标在较远距离和宽范围的识别和跟踪。
5.根据权利要求3所述的一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：所述固定类人双臂机器人运动模型采用开源式系统ROS系统，且设有多传感器：在所述头部(1)和所述七自由度类人双臂(3)中都装有摄像头，组成双视频监控系统；每个关节都装有位置、速度和力反馈系统；且装有360°声呐传感器、双目视觉系统和激光雷达系统，其中所述双目视觉系统用于对目标的更为精确的识别、测距和环境建模，配有的激光雷达系统用以对对象的精确定位，激光雷达系统采用二维激光测距扫描传感器Gocator2380。运动模型中：Ps为类人双臂机器人与固定平台接触点；Pe和Pe′分别表示左右臂末端执行器，坐标分别是(xe,ye,ze)和(x′e,y′e,z′e)；li(i＝1,…,4)表示左右臂各个关节的长度；θi和θ′i(i＝1,…,7)分别表示左右臂各个关节的角度，固定类人双臂机器人左臂末端执行器速度，即和的关系可由下式进行描述：
其中：是一个(3×1)向量，表示固定类人双臂机器人左臂末端执行器速度；是一个(6×1)向量，表示该机器人左臂6个关节角速度；Jd_l_f表示该固定类人双臂机器人左臂的雅可比矩阵；
固定类人双臂机器人右臂末端执行器速度，即和的关系可以由下式进行描述：
其中：是一个(3×1)向量，表示该固定类人双臂机器人右臂末端执行器的速度；是一个(6×1)向量，表示该机器人右臂6个关节的角速度；Jd_r_f表示该机器人右臂的雅可比矩阵。
6.根据权利要求3所述的一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：高冗余类人双臂移动服务机器人运动模型是在双轮差速驱动移动平台(2)和固定类人双臂机器人在基于ROS系统下进行联合建模，得到运动模型，该机器人左臂末端执行器速度，即和的关系也可由下式矩阵的形式进行描述：
其中：是一个(7×1)向量；Jd_l_m表示高冗余类人双臂移动服务机器人左臂雅可比矩阵；
将上述两式联合求解，得到左臂完整运动学模型如下：
其中：是一个(5×1)向量；
是一个(8×1)向量；Rd_l_m是一个(5×5)常数矩阵；Jd_l_m是该类人双臂移动服务机器人左臂雅可比矩阵，相对于固定类人双臂机器人左臂运动模型，由于增加了差速驱动移动平台，该机器人自由度数量从6个增加到8个，不仅与有关,而且也与有关，该类人双臂移动服务机器人右臂末端执行器速度，即和的关系也可由下面变换矩阵的形式进行描述：
其中：是一个(7×1)向量；Jd_r_m表示该机器人右臂雅可比矩阵；
该类人双臂移动服务机器人右臂完整运动学模型可由式和式联解获得：
其中：是一个(5×1)向量；是一个(8×1)向量；Rd_r_m是一个(5×5)常数矩阵；Jd_r_m表示该类人双臂移动服务机器人右臂雅可比矩阵；
整体性模型中，和的变换矩阵关系可以由下式进行描述：
其中：是一个(8×1)向量；是一个(14×1)向量；Rd_m是一个(8×8)常数矩阵；Jd_r_m表示该高冗余类人双臂移动服务机器人整体性雅可比矩阵。
7.根据权利要求3所述的一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：所述基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真中由上述公式θd_m＝[θT wθT d_lθT d_r]T和Pe_d＝[P′s TPT e_d_lPT e_d_r]T的关系可由下式确定：
Pe_d＝f(θd_m)
其中：是一个(8×1)向量；θd_m是一个(14×1)向量；Ps、Pe_d_l和Pe_d_r分别表示点Ps、Pe和P′e的位置；θw、θd_l和θd_r分别表示θl、θr、θi和θ′i(i＝1，…，6)的角度，式Pe_d＝f(θd_m)两边求导可推导出式然后将式两边求逆推导出下式：
其中：J-1 d_m是高冗余类人双臂移动服务机器人逆雅可比矩阵；.
为进行仿真，将式中速度以单位时间角度和位置的变化量表示，即：
其中：Δθd_m＝[ΔθT wΔθT d_lΔθT d_r]T是一个(14×1)向量；是一个(8×1)向量；Δθw、Δθd_l和Δθd_r分别对应θl、θr、θi和θ′i(i＝1,…,6)的单位时间角度变化量；ΔP′s、ΔPe_d_l和ΔPe_d_r分别对应点Ps、Pe和P′e单位时间位置变化量。
8.根据权利要求7所述的一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：所述基于整体性速度分解控制算法高冗余类人双臂移动服务机器人的系统仿真中具体算法如下，
步骤一：输入包括差速移动平台和类人双臂机器人的初始状态；
步骤二：输入该类人双臂移动服务机器人双臂跟踪不同路径的轨迹；
步骤三：合适单位时间ΔT确定，整个过程需要运行的步骤数N和相应的ΔPe_d也可以确定；
步骤四：Δθd_m通过ΔPe_d可以确定；
步骤五：据Δθd_m的值,Δθw、Δθd_l和Δθd_r分别得到驱动；
步骤六：下一个运动状态确定，如果整个过程的少于N,程序转为步骤④,否则转为步骤⑦；
步骤七：程序结束。
9.根据权利要求3所述的一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：所述基于PTZ视觉系统图像信息采集和目标定位包括基于目标颜色和外形双重特征值对目标进行识别和基于颜色与边缘形状检测相结合的目标识别系统。
10.根据权利要求8所述的一种自主类人双臂机器人对运动目标的跟踪操作系统，其特征在于：所述基于颜色与边缘形状检测相结合的目标识别系统包括颜色识别、边缘提取和识别目标球。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810184427.XA CN108838991B (zh) | 2018-03-06 | 2018-03-06 | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810184427.XA CN108838991B (zh) | 2018-03-06 | 2018-03-06 | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108838991A true CN108838991A (zh) | 2018-11-20 |
| CN108838991B CN108838991B (zh) | 2022-03-25 |
Family
ID=64211825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810184427.XA Expired - Fee Related CN108838991B (zh) | 2018-03-06 | 2018-03-06 | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108838991B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109773783A (zh) * | 2018-12-27 | 2019-05-21 | 北京宇琪云联科技发展有限公司 | 一种基于空间点云识别的巡防智能机器人及其警务系统 |
| CN109822554A (zh) * | 2019-03-20 | 2019-05-31 | 华中科技大学 | 面向水下的双臂协同抓取、抱取及避碰一体化方法及系统 |
| CN110244756A (zh) * | 2019-04-29 | 2019-09-17 | 福州大学 | 无人机快速追踪协同避障方法 |
| CN110421556A (zh) * | 2019-06-14 | 2019-11-08 | 河北工业大学 | 一种冗余双臂服务机器人实时避碰的轨迹规划方法及平稳运行方法 |
| CN110900613A (zh) * | 2019-12-18 | 2020-03-24 | 合肥科大智能机器人技术有限公司 | 一种面向移动机器人的不停车控制方法及系统 |
| CN111267098A (zh) * | 2020-02-19 | 2020-06-12 | 清华大学 | 机器人关节层控制方法及系统 |
| CN111360851A (zh) * | 2020-02-19 | 2020-07-03 | 哈尔滨工业大学 | 一种融合触觉和视觉的机器人混合伺服控制装置及方法 |
| CN111452022A (zh) * | 2020-03-24 | 2020-07-28 | 东南大学 | 基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法 |
| CN111546348A (zh) * | 2020-06-10 | 2020-08-18 | 上海有个机器人有限公司 | 机器人位置标定方法和位置标定系统 |
| CN112809655A (zh) * | 2021-02-02 | 2021-05-18 | 无锡江锦自动化科技有限公司 | 一种非对称双臂协作机器人系统及其建模和工作方法 |
| CN112894792A (zh) * | 2021-01-29 | 2021-06-04 | 王安平 | 9轴双臂机器人 |
| CN112947458A (zh) * | 2021-02-26 | 2021-06-11 | 同济大学 | 基于多模态信息的机器人准确抓取方法及计算机可读介质 |
| CN112959325A (zh) * | 2021-03-23 | 2021-06-15 | 南京航空航天大学 | 一种大场景下的双移动机械臂协同加工高精度控制方法 |
| CN113276090A (zh) * | 2020-12-08 | 2021-08-20 | 北京联合大学 | 一种大承载仿人双臂服务机器人 |
| CN113276082A (zh) * | 2021-05-31 | 2021-08-20 | 广东若铂智能机器人有限公司 | 冗余7轴双臂协作采摘机器人 |
| CN113456472A (zh) * | 2020-05-19 | 2021-10-01 | 成都中医药大学 | 视觉制导激光针灸机器人 |
| CN113467461A (zh) * | 2021-07-13 | 2021-10-01 | 燕山大学 | 移动机器人非结构化环境下的人机协作式路径规划方法 |
| CN113601504A (zh) * | 2021-08-04 | 2021-11-05 | 之江实验室 | 机器人肢体动作的控制方法及装置、电子设备、存储介质 |
| CN113743287A (zh) * | 2021-08-31 | 2021-12-03 | 之江实验室 | 基于脉冲神经网络的机器人自适应抓取控制方法及系统 |
| CN114102585A (zh) * | 2021-11-16 | 2022-03-01 | 北京洛必德科技有限公司 | 一种物品抓取规划方法及系统 |
| CN114589687A (zh) * | 2020-12-04 | 2022-06-07 | 山东新松工业软件研究院股份有限公司 | 一种机器人控制装置 |
| CN117850316A (zh) * | 2024-01-08 | 2024-04-09 | 哈尔滨工业大学 | 一种多自由度冗余驱动运动台的柔性模态抑制方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104602868B (zh) * | 2012-06-21 | 2016-10-12 | 睿信科机器人有限公司 | 用于机器人训练的用户接口 |
-
2018
- 2018-03-06 CN CN201810184427.XA patent/CN108838991B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104602868B (zh) * | 2012-06-21 | 2016-10-12 | 睿信科机器人有限公司 | 用于机器人训练的用户接口 |
Non-Patent Citations (5)
| Title |
|---|
| HONGXING WANG, ETC.: "Comparative study on the redundancy of mobile sigle-and dual-arm robots", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTICS SYSTEMS》 * |
| 姚立健: "茄子收获机器人视觉系统和机械臂避障规划研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 杜宇楠: "基于激光和视觉的移动机器人室内环境三维模型重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 葛连正: "前置追踪拦截方式的拦截器变结构制导律研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 葛连正: "移动机器人非线性前置追踪算法", 《吉林大学学报》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109773783A (zh) * | 2018-12-27 | 2019-05-21 | 北京宇琪云联科技发展有限公司 | 一种基于空间点云识别的巡防智能机器人及其警务系统 |
| CN109773783B (zh) * | 2018-12-27 | 2020-04-24 | 北京宇琪云联科技发展有限公司 | 一种基于空间点云识别的巡防智能机器人及其警务系统 |
| CN109822554A (zh) * | 2019-03-20 | 2019-05-31 | 华中科技大学 | 面向水下的双臂协同抓取、抱取及避碰一体化方法及系统 |
| CN110244756A (zh) * | 2019-04-29 | 2019-09-17 | 福州大学 | 无人机快速追踪协同避障方法 |
| CN110421556A (zh) * | 2019-06-14 | 2019-11-08 | 河北工业大学 | 一种冗余双臂服务机器人实时避碰的轨迹规划方法及平稳运行方法 |
| CN110421556B (zh) * | 2019-06-14 | 2022-07-19 | 河北工业大学 | 一种冗余双臂服务机器人实时避碰的轨迹规划方法及平稳运行方法 |
| CN110900613A (zh) * | 2019-12-18 | 2020-03-24 | 合肥科大智能机器人技术有限公司 | 一种面向移动机器人的不停车控制方法及系统 |
| CN111267098B (zh) * | 2020-02-19 | 2021-05-28 | 清华大学 | 机器人关节层控制方法及系统 |
| CN111360851A (zh) * | 2020-02-19 | 2020-07-03 | 哈尔滨工业大学 | 一种融合触觉和视觉的机器人混合伺服控制装置及方法 |
| CN111267098A (zh) * | 2020-02-19 | 2020-06-12 | 清华大学 | 机器人关节层控制方法及系统 |
| CN111452022A (zh) * | 2020-03-24 | 2020-07-28 | 东南大学 | 基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法 |
| CN111452022B (zh) * | 2020-03-24 | 2021-04-13 | 东南大学 | 基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法 |
| CN113456472A (zh) * | 2020-05-19 | 2021-10-01 | 成都中医药大学 | 视觉制导激光针灸机器人 |
| CN111546348A (zh) * | 2020-06-10 | 2020-08-18 | 上海有个机器人有限公司 | 机器人位置标定方法和位置标定系统 |
| CN114589687A (zh) * | 2020-12-04 | 2022-06-07 | 山东新松工业软件研究院股份有限公司 | 一种机器人控制装置 |
| CN113276090A (zh) * | 2020-12-08 | 2021-08-20 | 北京联合大学 | 一种大承载仿人双臂服务机器人 |
| CN112894792A (zh) * | 2021-01-29 | 2021-06-04 | 王安平 | 9轴双臂机器人 |
| CN112809655A (zh) * | 2021-02-02 | 2021-05-18 | 无锡江锦自动化科技有限公司 | 一种非对称双臂协作机器人系统及其建模和工作方法 |
| CN112947458A (zh) * | 2021-02-26 | 2021-06-11 | 同济大学 | 基于多模态信息的机器人准确抓取方法及计算机可读介质 |
| CN112947458B (zh) * | 2021-02-26 | 2022-09-20 | 同济大学 | 基于多模态信息的机器人准确抓取方法及计算机可读介质 |
| CN112959325A (zh) * | 2021-03-23 | 2021-06-15 | 南京航空航天大学 | 一种大场景下的双移动机械臂协同加工高精度控制方法 |
| CN113276082A (zh) * | 2021-05-31 | 2021-08-20 | 广东若铂智能机器人有限公司 | 冗余7轴双臂协作采摘机器人 |
| CN113467461A (zh) * | 2021-07-13 | 2021-10-01 | 燕山大学 | 移动机器人非结构化环境下的人机协作式路径规划方法 |
| CN113467461B (zh) * | 2021-07-13 | 2022-04-01 | 燕山大学 | 移动机器人非结构化环境下的人机协作式路径规划方法 |
| CN113601504A (zh) * | 2021-08-04 | 2021-11-05 | 之江实验室 | 机器人肢体动作的控制方法及装置、电子设备、存储介质 |
| CN113743287A (zh) * | 2021-08-31 | 2021-12-03 | 之江实验室 | 基于脉冲神经网络的机器人自适应抓取控制方法及系统 |
| CN113743287B (zh) * | 2021-08-31 | 2024-03-26 | 之江实验室 | 基于脉冲神经网络的机器人自适应抓取控制方法及系统 |
| CN114102585A (zh) * | 2021-11-16 | 2022-03-01 | 北京洛必德科技有限公司 | 一种物品抓取规划方法及系统 |
| CN114102585B (zh) * | 2021-11-16 | 2023-05-09 | 北京洛必德科技有限公司 | 一种物品抓取规划方法及系统 |
| CN117850316A (zh) * | 2024-01-08 | 2024-04-09 | 哈尔滨工业大学 | 一种多自由度冗余驱动运动台的柔性模态抑制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108838991B (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108838991A (zh) | 一种自主类人双臂机器人及其对运动目标的跟踪操作系统 | |
| Li | Human–robot interaction based on gesture and movement recognition | |
| CN110202583B (zh) | 一种基于深度学习的仿人机械手控制系统及其控制方法 | |
| CN109108942B (zh) | 基于视觉实时示教与自适应dmps的机械臂运动控制方法和系统 | |
| Asfour et al. | Toward humanoid manipulation in human-centred environments | |
| Pyo et al. | Service robot system with an informationally structured environment | |
| Tölgyessy et al. | Foundations of visual linear human–robot interaction via pointing gesture navigation | |
| CN104570731A (zh) | 一种基于Kinect的无标定人机交互控制系统及方法 | |
| CN113829343B (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| CN114905508B (zh) | 基于异构特征融合的机器人抓取方法 | |
| CN111753696B (zh) | 一种感知场景信息的方法、仿真装置、机器人 | |
| Zhao et al. | Image-based visual servoing using improved image moments in 6-DOF robot systems | |
| Du et al. | A novel human–manipulators interface using hybrid sensors with Kalman filter and particle filter | |
| Cong | Visual servoing control of 4-DOF palletizing robotic arm for vision based sorting robot system | |
| Chow et al. | Learning human navigational skill for smart wheelchair in a static cluttered route | |
| Lin et al. | Cloud robotic grasping of Gaussian mixture model based on point cloud projection under occlusion | |
| Schnaubelt et al. | Autonomous assistance for versatile grasping with rescue robots | |
| Gao et al. | A novel local path planning method considering both robot posture and path smoothness | |
| CN115781666A (zh) | 一种用于机器人全身模仿系统的控制方法 | |
| Huang et al. | SVM-based identification and un-calibrated visual servoing for micro-manipulation | |
| Zhang et al. | A markerless human-manipulators interface using multi-sensors | |
| Lu et al. | Human-robot collision detection based on the improved camshift algorithm and bounding box | |
| Cui et al. | Simulation and Implementation of Slam Drawing Based on Ros Wheeled Mobile Robot | |
| Okamoto et al. | GENERATION OF OBSTACLE AVOIDANCE BASED ON IMAGE FEATURES AND EMBODIMENT Yuichi Kobayashi | |
| Cipolla et al. | Visual robot guidance from uncalibrated stereo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220325 |