CN112405530A - 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法 - Google Patents

基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法 Download PDF

Info

Publication number
CN112405530A
CN112405530A CN202011229307.0A CN202011229307A CN112405530A CN 112405530 A CN112405530 A CN 112405530A CN 202011229307 A CN202011229307 A CN 202011229307A CN 112405530 A CN112405530 A CN 112405530A
Authority
CN
China
Prior art keywords
image
wearable
robot
vision
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011229307.0A
Other languages
English (en)
Other versions
CN112405530B (zh
Inventor
纪鹏
马凤英
张慧
张芳芳
王斌鹏
曹茂永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202011229307.0A priority Critical patent/CN112405530B/zh
Publication of CN112405530A publication Critical patent/CN112405530A/zh
Application granted granted Critical
Publication of CN112405530B publication Critical patent/CN112405530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明公开了一种基于可穿戴视觉的机器人视觉跟踪控制系统及方法,包括:主端可穿戴遥操作控制装置,被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据,并执行手势识别算法和目标跟踪算法;从端机器人,被配置为接收控制指令,并根据所述控制指令执行相应的动作,并向主端可穿戴遥操作控制装置返回采集到的数据;所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块,用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹。本发明设置的可穿戴控制系统可使操作员通过手势方便地控制移动机器人车载侦察系统快速瞄准目标与跟踪目标。

Description

基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法
技术领域
本发明涉及移动机器人的远程控制技术领域,尤其涉及一种基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
移动侦察机器人通常是由移动机器人车体和车载侦察系统组成,它可以执行战场抵近侦察监视、目标瞄准、目标跟踪和目标打击等任务。传统的车载侦察系统一般是由两自由度的云台和摄像头组成,侦察系统的视角由云台的俯仰角和偏转角决定。为了使车载侦察系统的侦察视角更加自由更加灵活,也可以将云台替换为多自由度机械臂,并将摄像头安装在机械臂末端。
移动侦察机器人的控制器一般为带有按钮、摇杆、鼠标和监控屏幕的手持式控制箱。操作人员通过按钮和摇杆控制机器人运动,通过监控屏幕观察车载侦察系统反馈的视频。车载侦察系统在自动跟踪可疑目标前,操作人员需要在监控屏幕上通过人机交互设备手动框选可疑目标,其中最常用的人机交互设备是鼠标。
近些年来,出现了基于可穿戴设备的控制方式,其中较为常见的控制方式是使用佩戴数据手套或者惯性元件采集操作员的手势的姿态信息和惯性信息并以此来控制机器人;另一种较为常见的控制方式是使用可穿戴摄像头来捕捉操作员手势的图像信息,然后结合模式识别方法分析手势的种类,并根据手势种类信息实现对机器人行为的控制。相比传统的手持式控制箱,基于可穿戴设备的控制方式更加轻便,但是目前操作员还无法使用这种方式快速有效地在监控视频中选取待跟踪的可疑目标,这也导致使用可穿戴设备的控制方式无法快速有效地使机器人实现对可疑目标的瞄准、跟踪与击打。
发明内容
为了解决上述问题,本发明提出了一种基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法,通过可穿戴摄像头来识别操作员手势的轨迹,并将操作员手势的运动轨迹所划定的区域作为目标跟踪算法中的初始跟踪区域,实现对监控视频中待跟踪目标的手动选取,以解决现有基于可穿戴设备的控制方式无法快速有效地控制移动机器人瞄准目标、跟踪目标和击打目标的问题。
在一些实施方式中,采用如下技术方案:
一种基于可穿戴视觉的机器人视觉跟踪控制系统,包括:
主端可穿戴遥操作控制装置,被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据,并执行手势识别算法和目标跟踪算法;
从端机器人,被配置为接收控制指令,并根据所述控制指令执行相应的动作,并向主端可穿戴遥操作控制装置返回采集到的数据;
所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块,分别用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹。
在另一些实施方式中,采用如下技术方案:
一种基于可穿戴视觉的机器人视觉跟踪控制方法,包括:
设置用于表示手势运动轨迹开始保存和停止保存的鼠标手型;
分别设置主端可穿戴遥操作控制装置可穿戴摄像头拍摄图像的坐标系和从端机器人拍摄图像的坐标系,以及从端机器人多自由度机械臂的末端坐标系;
主端可穿戴遥操作控制装置通过采集主端操作图像,判断图像中是否出现鼠标手型;
如果出现鼠标手型,则提取所述鼠标手型的运动轨迹的坐标集合,并将所述坐标集合在头戴显示模块显示图像的当前帧中所划定的区域作为目标跟踪算法的初始跟踪区域;
执行目标跟踪算法;
计算头戴显示模块显示图像的坐标系原点与跟踪区域的中心点之间的偏移向量,远程控制从端机器人多自由度机械臂的末端坐标系的原点向着能使所述偏移向量减小的方向运动;
在头戴显示模块的图像中更新跟踪区域并将新的跟踪区域作为下一帧中目标跟踪算法的初始跟踪区域。
在另一些实施方式中,采用如下技术方案:
一种主端可穿戴遥操作控制装置的遥操作控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行上述的基于可穿戴视觉的机器人视觉跟踪控制方法。
在另一些实施方式中,采用如下技术方案:
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行上述的基于可穿戴视觉的机器人视觉跟踪控制方法。
与现有技术相比,本发明的有益效果是:
(1)本发明设置的可穿戴控制系统可使操作员通过手势方便地控制移动机器人车载侦察系统快速瞄准目标与跟踪目标。
(2)本发明设置的视觉跟踪控制方法可以使操作员仅通过手势运动轨迹就可以快速在机器人侦察图像中选取待跟踪的可疑目标,使目标瞄准与目标跟踪任务更加直观与简单。
通过设置鼠标手势可以精确确定手势运动轨迹的起始坐标和终点坐标,使获取的手势运动轨迹更加准确,从而使目标跟踪算法所需的初始跟踪区域的选取更加准确。
(3)本发明设置的级联集成跟踪器可以跟踪的目标区域由于采用了多级分类器的思想,这就使本公开设置的级联集成跟踪器的初始跟踪区域不必是矩形区域,而可以为不规则的区域,这使得初始目标区域的选取更加方便。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本方面的实践了解到。
附图说明
图1为本发明实施例中基于可穿戴视觉的机器人视觉跟踪控制系统示意图;
其中,N1为移动机器人本体,N2为多自由度机械臂,N3为侦察摄像头,N4为头戴显示器,N5为可穿戴摄像头。
图2为本发明实施例中级联集成跟踪器的示意图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中,公开了一种基于可穿戴视觉的机器人视觉跟踪控制系统,参照图1,包括主端可穿戴遥操作控制装置和从端机器人,所述主端可穿戴遥操作控制装置和从端机器人通过无线通信设备进行通信,所述主端可穿戴遥操作控制装置穿戴在操作员身上,用于发送控制指令、接收从端机器人采集的数据、执行手势识别算法和目标跟踪算法等。
主端可穿戴遥操作控制装置包括头戴显示器N4、可穿戴摄像头N5、遥操作控制器和主端无线通信设备,所述遥操作控制器分别与头戴显示器N4、可穿戴摄像头N5和主端无线通信设备连接。
在操作员的头部设置可穿戴摄像头N5和头戴显示器N4,可穿戴摄像头N5用于采集操作员手势图像,头戴显示器N4设置可以同时显示移动机器人拍摄的侦察图像以及操作员手势的运动轨迹,方便操作员观察手势在侦察图像上的运动轨迹,能够使操作员通过手势快速选取待跟踪目标的初始区域,实现从端机器人对可疑目标的跟踪。可穿戴摄像头N5可以为普通单目摄像头N5,所述的摄像头N5用于采集操作员的手势图像。操作员在摄像头N5视野范围内使用手势的运动轨迹来实现对侦察图像中可疑待跟踪目标的选取。头戴显示器N4可以为视频眼镜N4,用于显示从端机器人侦察摄像头N3拍摄的侦察图像。遥操作控制器可以为穿戴式计算机,所述的穿戴式计算机可实时采集可穿戴摄像头N5拍摄的图像,并可在图像上执行手势检测算法和手势识别算法;
从端机器人包括移动机器人本体N1、从端无线通信设备、多自由度机械臂N2、侦察摄像头N3、无线通信设备和车载控制器,所述车载控制器分别与移动机器人本体N1、多自由度机械臂N2、侦察摄像头N3和从端无线通信设备连接;侦察摄像头N3安装在多自由度机械臂N2末端用于采集侦察数据。
车载多自由度机械臂N2接收主端可穿戴遥操作控制装置的控制指令并执行相应的动作,所述车载多自由度机械臂N2包括连杆机构、机械臂驱动器和机械臂驱动电机组。车载控制器将控制命令发送至机械臂驱动器,机械臂驱动器驱动机械臂驱动电机组的相应电机,实现连杆机构角度和位置的移动,从而改变多自由度机械臂N2的各关节的关节角信息,从而改变机械臂N2末端位姿。
操作员在单目摄像头N5视野范围内使用手势运动轨迹来实现对机器人侦察图像中可疑待跟踪目标的区域选取,然后通过该区域的中心与侦察图像的中心之间的偏差控制车载多自由侦察系统末端始终瞄准目标。
实施例二
在一个或多个实施方式中,公开了一种基于可穿戴视觉的机器人视觉跟踪控制方法,包括如下步骤:
步骤1:设置鼠标手型,用于表示手势运动轨迹开始保存和停止保存的标志;设置可穿戴摄像头N5拍摄图像的坐标系(OC-XC-YC-ZC)和移动机器人侦察摄像头N3拍摄图像的坐标系(OI-XI-YI-ZI),两坐标系原点均为图像中心,且两坐标系各对应坐标轴方向一致;设置移动机器人车载多自由度机械臂N2的末端坐标系(OT-XT-YT-ZT),其原点为侦察摄像头N3镜头中心,坐标系各坐标轴与前述俩坐标系各坐标轴方向一致;
鼠标手型可以为任意手型,可以根据需要自行设置,本实施例设置鼠标手型可以为右手食指伸直,其余手指握拳的手型。
步骤2:设置可穿戴摄像头N5的分辨率和头戴显示器N4的分辨率一致,采集可穿戴摄像头N5拍摄图像,执行手势检测算法判断图像中是否有操作员的手势存在,如果是,则执行下一步,否则继续执行步骤2;
手势检测算法可以具体为基于肤色阈值的手势检测算法。
步骤3:采用手型识别算法对手势进行手型识别,判断是否出现了鼠标手型,如果是,执行下一步,否则执行步骤2;
手型识别算法具体为基于深度学习的手型识别算法。
步骤4:使用指尖定位算法确定鼠标手型中食指末端在可穿戴摄像头N5拍摄图像的坐标系(OC-XC-YC-ZC)中的坐标,并将鼠标手型中食指末端运动轨迹的坐标实时保存起来,并将运动轨迹坐标实时叠加显示到头戴显示器N4的监控图像的坐标系(OI-XI-YI-ZI)中;
指尖定位算法可具体为基于曲率分析法的指尖定位算法。
步骤5:判断操作员手势是否消失或变为非鼠标手型,如果是,执行下一步,否则继续执行步骤4;
步骤6:提取保存的鼠标手型中食指末端运动轨迹的坐标集合,并将轨迹坐标集合在头戴显示器N4监控图像的当前帧中所划定的区域R作为目标跟踪算法的初始跟踪区域;
步骤7:执行目标跟踪算法;
本实施例中目标跟踪算法可设计为一种级联集成跟踪器,如图2所示,具体步骤如下:
步骤7.1:定义含有初始跟踪区域的图像为x,首先将图像x由粗(分辨率低)到细(分辨率高)切割为R级栅格状图像组[x1,…,xr,…,xR],每一级栅格状图像均包含若干子图像且每一级栅格状图像中的子图像均是由对当前帧图像按照其宽度和高度等比例分割而来;如第r级图像xr包括
Figure BDA0002764637730000081
共Nr幅子图像,第i幅子图像可表示为
Figure BDA0002764637730000082
第r级图像xr中子图像的个数为Nr,意味着第r级图像xr是由对图像x纵向
Figure BDA0002764637730000083
等分和横向
Figure BDA0002764637730000084
等分而来,因此第r级图像xr中子图像的个数为
Figure BDA0002764637730000085
也就是说如果图像x的宽度为W,高度为H,则第r级图像xr中子图像的宽度和高度分别为
Figure BDA0002764637730000086
Figure BDA0002764637730000087
步骤7.2:对R级栅格状图像组[x1,…,xr,…,xR]按照分辨率由低到高的顺序,计算第r级图像xr中每一幅子图像
Figure BDA0002764637730000088
中包含的跟踪区域面积占每幅子图像面积的比例P,如果P超过预设值,则将该子图像的标签
Figure BDA0002764637730000089
定义为正样本
Figure BDA00027646377300000810
否则定义为负样本
Figure BDA00027646377300000811
其中r=1,...,R,这里的P值可设置为30%;
样本的作用是训练弱分类器,继而组成强分类器并进一步组成级联集成跟踪器。
步骤7.3:给第r级图像xr中的每一幅子图像
Figure BDA00027646377300000812
赋予一个权重
Figure BDA00027646377300000813
并且将权重初始化为
Figure BDA00027646377300000814
步骤7.4:针对R级图像组[x1,…,xr,…,xR]中的第r级图像xr设计一个强分类器Hr,强分类器的设计方法可具体为:
步骤7.4.1:针对第r级图像xr先训练Tr个弱分类器
Figure BDA00027646377300000815
弱分类器可采用BP神经网络;
步骤7.4.2:设定在第r级图像xr上的第t个弱分类器
Figure BDA0002764637730000091
的分类误差为
Figure BDA0002764637730000092
设定在第r级图像xr上的第t个弱分类器的权重为
Figure BDA0002764637730000093
步骤7.4.3:更新第r级图像xr中的每一幅子图像
Figure BDA0002764637730000094
的权重
Figure BDA0002764637730000095
步骤7.4.4:第r级图像xr的强分类器
Figure BDA0002764637730000096
Figure BDA0002764637730000097
步骤7.5:对R级图像组[x1,…,xr,…,xR]可设计R个强分类器[H1,…,Hr,…,HR],这R个强分类器可组成一个级联集成跟踪器
Figure BDA0002764637730000098
Figure BDA0002764637730000099
目标跟踪算法实际就是级联集成跟踪器,级联集成跟踪器由R个强分类器构成,强分类器又由若干个弱分类器构成。强分类器用于对第R级图像进行目标跟踪,对R个强分类器的输出结果进行融合就是最终的要跟踪的目标所在位置。
步骤7.6:对于新的监控图像x+1,使用级联集成跟踪器H对监控图像x+1进行目标跟踪区域提取;
含有初始跟踪区域的图像是第一幅图像,其中的跟踪区域是由手势圈定的,第一幅图像包含的这个跟踪区域能够确定目标区域和非目标区域。这些区域可以用来训练弱分类器。等完成训练后,会得到强分类器并进一步得到级联集成跟踪器。然后就可以用这个级联集成跟踪器对视频流的第二幅图像进行目标跟踪了。这时第二幅图像又会得到一个新的目标区域,这个目标区域之外的都是非目标区域,目标区域和非目标区域又可以重新对弱分类器进行训练,并再次组成新的级联集成跟踪器。然后又可以对第三幅图像进行目标跟踪。
目标跟踪区域提取方法具体为:
步骤7.6.1:首先按照步骤7.1中的切割方法,将新的监控图像x+1切割为R级栅格状图像组[(x+1)1,…,(x+1)r,…,(x+1)R];
步骤7.6.2:然后针对R级栅格状图像组[(x+1)1,…,(x+1)r,…,(x+1)R]中的第r级图像(x+1)r使用强分类器Hr对第r级图像(x+1)r的每一幅子图像
Figure BDA0002764637730000101
进行分类,分类结果
Figure BDA0002764637730000102
为1或者为0,
Figure BDA0002764637730000103
代表子图像
Figure BDA0002764637730000104
属于目标跟踪区域,
Figure BDA0002764637730000105
代表子图像
Figure BDA0002764637730000106
不属于目标跟踪区域;R个强分类器的分类结果决定了级联集成跟踪器的最终输出,也即决定了目标跟踪跟踪区域的提取。
步骤7.7:根据步骤7.6得出的新的目标跟踪区域,按照步骤7.2中的方法对R级栅格状图像组[(x+1)1,…,(x+1)r,…,(x+1)R]按照从低分辨率到高分辨率的顺序重新定义每级图像的每一幅的子图像的标签为正样本或负样本;
步骤7.8:对第r级图像(x+1)r的Tr个弱分类器
Figure BDA0002764637730000107
按照其权重
Figure BDA0002764637730000108
的大小进行排序,去掉权重最低的Kr个弱分类器,然后重新增加Kr个新的弱分类器;
步骤7.9:按照步骤7.3重新将第r级图像(x+1)r中的每一幅子图像
Figure BDA0002764637730000109
的权重
Figure BDA00027646377300001010
初始化为
Figure BDA00027646377300001011
步骤7.10:按照步骤7.4重新给第r级图像(x+1)r设计一个强分类器Hr,并进一步按照步骤7.5对R级图像组[(x+1)1,…,(x+1)r,…,(x+1)R]设计一个新的级联集成跟踪器
Figure BDA00027646377300001012
步骤8:计算头戴显示器N4监控图像的坐标系原点与跟踪区域的中心点之间的偏移向量F,遥操作控制器通过无线通信设备发出控制指令使车载多自由机械臂N2末端坐标系(OT-XT-YT-ZT)向着能使该偏移向量F减小的方向运动,在监控图像中更新跟踪区域并将新的跟踪区域作为下一帧中目标跟踪算法的初始跟踪区域;
步骤9:判断是否结束,如果是,则程序结束,否则继续执行步骤7.6。
实施例三
在一个或多个实施方式中,公开了一种主端可穿戴遥操作控制装置的遥操作控制器,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施例一中的方法。为了简洁,在此不再赘述。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
实施例四
在一个或多个实施方式中,公开了一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并实施例一中所述的基于可穿戴视觉的机器人视觉跟踪控制方法。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,包括:
主端可穿戴遥操作控制装置,被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据,并执行手势识别算法和目标跟踪算法;
从端机器人,被配置为接收控制指令,并根据所述控制指令执行相应的动作,并向主端可穿戴遥操作控制装置返回采集到的数据;
所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块,分别用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹。
2.如权利要求1所述的一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,所述主端可穿戴遥操作控制装置还包括:遥操作控制器,以及与所述遥操作控制器连接的主端无线通信设备。
3.如权利要求1所述的一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,可穿戴摄像头用于采集操作员的手势图像,并根据手势的运动轨迹来实现对侦察图像中可疑待跟踪目标的选取;通过可疑待跟踪目标区域的中心与侦察图像的中心之间的偏差,控制从端机器人始终瞄准目标。
4.如权利要求1所述的一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,所述从端机器人包括:移动机器人本体、车载控制器,以及分别与车载控制器连接的从端无线通信设备、多自由度机械臂和侦察摄像头;侦察摄像头安装在多自由度机械臂末端用于采集侦察数据。
5.如权利要求4所述的一种基于可穿戴视觉的机器人视觉跟踪控制系统,其特征在于,所述车载多自由度机械臂包括连杆机构、机械臂驱动器和机械臂驱动电机组;车载控制器将控制命令发送至机械臂驱动器,机械臂驱动器驱动机械臂驱动电机组的相应电机,实现连杆机构角度和位置的移动,从而改变多自由度机械臂的各关节的关节角信息,从而改变机械臂末端位姿。
6.一种基于可穿戴视觉的机器人视觉跟踪控制方法,其特征在于,包括:
设置用于表示手势运动轨迹开始保存和停止保存的鼠标手型;
分别设置主端可穿戴遥操作控制装置可穿戴摄像头拍摄图像的坐标系和从端机器人拍摄图像的坐标系,以及从端机器人多自由度机械臂的末端坐标系;
主端可穿戴遥操作控制装置通过采集主端操作图像,判断图像中是否出现鼠标手型;
如果出现鼠标手型,则提取所述鼠标手型的运动轨迹的坐标集合,并将所述坐标集合在头戴显示模块显示图像的当前帧中所划定的区域作为目标跟踪算法的初始跟踪区域;
执行目标跟踪算法;
计算头戴显示模块显示图像的坐标系原点与跟踪区域的中心点之间的偏移向量,远程控制从端机器人多自由度机械臂的末端坐标系的原点向着能使所述偏移向量减小的方向运动;
在头戴显示模块的图像中更新跟踪区域并将新的跟踪区域作为下一帧中目标跟踪算法的初始跟踪区域。
7.如权利要求6所述的一种基于可穿戴视觉的机器人视觉跟踪控制方法,其特征在于,执行目标跟踪算法,目标跟踪算法可设计为一种级联集成跟踪器,具体过程包括:
将含有初始跟踪区域的图像由粗到细切割为R级栅格状图像组,每一级栅格状图像均包含若干子图像且每一级栅格状图像中的子图像均是由对当前帧图像按照其宽度和高度等比例分割而来;
对R级栅格状图像组按照分辨率由低到高的顺序,计算第r级图像中每一幅子图像包含的跟踪区域面积占每幅子图像面积的比例,确定正样本和负样本;
给第r级图像中的每一幅子图像赋予一个权重,并且将权重初始化;
针对R级图像组中的每一级图像均设计一个强分类器,R个强分类器可组成一个级联集成跟踪器H;每个强分类器由Tr个弱分类器组成;根据弱分类器对每一级图像的分类误差,确定每一个弱分类器的权重,同时更新每一级图像的每一幅子图像的权重;
对于新的监控图像x+1,使用级联集成跟踪器H对监控图像x+1进行目标跟踪区域提取;
对于新的目标跟踪区域,重新定义每级图像的每一幅的子图像的标签为正样本或负样本;
对第r级图像的T个弱分类器按照其权重大小进行排序,去掉权重最低的Kr个弱分类器,然后重新增加Kr个新的弱分类器;
重新给第r级图像(x+1)r中的每一幅子图像的权重
Figure FDA0002764637720000031
初始化为
Figure FDA0002764637720000032
重新给第r级图像(x+1)r设计一个强分类器Hr,并重新设计一个级联集成跟踪器H。
8.如权利要求7所述的一种基于可穿戴视觉的机器人视觉跟踪控制方法,其特征在于,对于新的监控图像x+1,使用级联集成跟踪器H对监控图像x+1进行目标跟踪区域提取,具体过程包括:
将新的监控图像x+1切割为R级栅格状图像组;
然后针对R级栅格状图像组中的第r级图像(x+1)r使用强分类器Hr对第r级图像的每一幅子图像进行分类,分类结果为属于目标跟踪区域或者不属于目标跟踪区域;R个强分类器的分类结果决定了级联集成跟踪器的最终输出,也即决定了目标跟踪区域的提取。
9.一种主端可穿戴遥操作控制装置的遥操作控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求6-8任一项所述的基于可穿戴视觉的机器人视觉跟踪控制方法。
10.一种计算机可读存储介质,其中存储有多条指令,其特征在于,所述指令适于由终端设备的处理器加载并执行权利要求6-8任一项所述的基于可穿戴视觉的机器人视觉跟踪控制方法。
CN202011229307.0A 2020-11-06 2020-11-06 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法 Active CN112405530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011229307.0A CN112405530B (zh) 2020-11-06 2020-11-06 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011229307.0A CN112405530B (zh) 2020-11-06 2020-11-06 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

Publications (2)

Publication Number Publication Date
CN112405530A true CN112405530A (zh) 2021-02-26
CN112405530B CN112405530B (zh) 2022-01-11

Family

ID=74780423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011229307.0A Active CN112405530B (zh) 2020-11-06 2020-11-06 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN112405530B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115008A (zh) * 2021-05-17 2021-07-13 哈尔滨商业大学 一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法
CN113821108A (zh) * 2021-11-23 2021-12-21 齐鲁工业大学 基于多模态交互技术的机器人远程控制系统及控制方法
CN114310903A (zh) * 2022-01-19 2022-04-12 梅蓉 一种基于双边遥操作的机械手控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136075A (zh) * 2011-03-04 2011-07-27 杭州海康威视软件有限公司 复杂场景下的多视角人脸检测方法及其装置
CN106778603A (zh) * 2016-12-13 2017-05-31 中国科学院信息工程研究所 一种基于梯度式级联svm分类器的行人识别方法
US20170361466A1 (en) * 2016-06-17 2017-12-21 Glen J. Anderson Vision-based robot control system
CN108257145A (zh) * 2017-12-13 2018-07-06 北京华航无线电测量研究所 一种基于ar技术的无人机智能侦察处理系统及方法
CN109636804A (zh) * 2018-10-10 2019-04-16 浙江大学 一种基于多粒度级联的人体图像分割方法
CN109955254A (zh) * 2019-04-30 2019-07-02 齐鲁工业大学 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN110039545A (zh) * 2019-04-30 2019-07-23 齐鲁工业大学 一种基于可穿戴设备的机器人远程控制系统及控制方法
CN110709790A (zh) * 2017-03-02 2020-01-17 罗博艾特有限责任公司 用于控制自主移动机器人的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136075A (zh) * 2011-03-04 2011-07-27 杭州海康威视软件有限公司 复杂场景下的多视角人脸检测方法及其装置
US20170361466A1 (en) * 2016-06-17 2017-12-21 Glen J. Anderson Vision-based robot control system
CN106778603A (zh) * 2016-12-13 2017-05-31 中国科学院信息工程研究所 一种基于梯度式级联svm分类器的行人识别方法
CN110709790A (zh) * 2017-03-02 2020-01-17 罗博艾特有限责任公司 用于控制自主移动机器人的方法
CN108257145A (zh) * 2017-12-13 2018-07-06 北京华航无线电测量研究所 一种基于ar技术的无人机智能侦察处理系统及方法
CN109636804A (zh) * 2018-10-10 2019-04-16 浙江大学 一种基于多粒度级联的人体图像分割方法
CN109955254A (zh) * 2019-04-30 2019-07-02 齐鲁工业大学 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN110039545A (zh) * 2019-04-30 2019-07-23 齐鲁工业大学 一种基于可穿戴设备的机器人远程控制系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨杰: "《视频目标检测和跟踪及其应用》", 31 August 2012 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115008A (zh) * 2021-05-17 2021-07-13 哈尔滨商业大学 一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法
CN113115008B (zh) * 2021-05-17 2023-05-19 哈尔滨商业大学 一种管廊主从操作巡检系统及方法
CN113821108A (zh) * 2021-11-23 2021-12-21 齐鲁工业大学 基于多模态交互技术的机器人远程控制系统及控制方法
CN114310903A (zh) * 2022-01-19 2022-04-12 梅蓉 一种基于双边遥操作的机械手控制方法及系统

Also Published As

Publication number Publication date
CN112405530B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN112405530B (zh) 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法
CN110039545B (zh) 一种基于可穿戴设备的机器人远程控制系统及控制方法
US9844881B2 (en) Robotic device including machine vision
US8194925B2 (en) Method, apparatus and computer program product for recognizing a gesture
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
JP2008000884A (ja) ロボットの相互作用のためのビジュアル・プロト−オブジェクトの評価
CN114097004A (zh) 基于视觉嵌入的自主任务性能
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
CN108044625B (zh) 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法
CN111645695B (zh) 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
EP3127586A1 (en) Interactive system, remote controller and operating method thereof
CN110633004A (zh) 基于人体姿态估计的交互方法、装置和系统
CN110807391A (zh) 基于视觉的人-无人机交互用人体姿态指令识别方法
Hu et al. Trajectory image based dynamic gesture recognition with convolutional neural networks
CN114495273A (zh) 一种机器人手势遥操作方法及相关装置
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
CN111290574B (zh) 一种利用手势控制无人机的方法,设备及可读存储介质
CN113221729B (zh) 一种基于手势人机交互的无人机集群控制方法及系统
Geisler et al. Real-time 3d glint detection in remote eye tracking based on bayesian inference
CN115331309A (zh) 用于识别人体动作的方法、装置、设备和介质
CN111002292B (zh) 基于相似性度量的机械臂仿人运动示教方法
CN114663982A (zh) 一种基于多特征融合的人手轨迹预测与意图识别方法
CN109934155B (zh) 一种基于深度视觉的协作机器人手势识别方法及装置
CN112766239A (zh) 一种人脸识别方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cao Maoyong

Inventor after: Ma Fengying

Inventor after: Ji Peng

Inventor after: Zhang Hui

Inventor after: Zhang Fangfang

Inventor after: Wang Binpeng

Inventor before: Ji Peng

Inventor before: Ma Fengying

Inventor before: Zhang Hui

Inventor before: Zhang Fangfang

Inventor before: Wang Binpeng

Inventor before: Cao Maoyong