CN116476074A - 基于混合现实技术的远程机械臂操作系统及人机交互方法 - Google Patents

基于混合现实技术的远程机械臂操作系统及人机交互方法 Download PDF

Info

Publication number
CN116476074A
CN116476074A CN202310668897.4A CN202310668897A CN116476074A CN 116476074 A CN116476074 A CN 116476074A CN 202310668897 A CN202310668897 A CN 202310668897A CN 116476074 A CN116476074 A CN 116476074A
Authority
CN
China
Prior art keywords
mechanical arm
representing
operator
man
interaction module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310668897.4A
Other languages
English (en)
Inventor
董泽宇
李勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN202310668897.4A priority Critical patent/CN116476074A/zh
Publication of CN116476074A publication Critical patent/CN116476074A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的基于混合现实技术的远程机械臂操作系统及人机交互方法包括机械臂平台、机械驱动模块、摄像头、计算机及安装在计算机上的人机交互模块和虚拟现实交互模块，所述人机交互模块、机械驱动模块和虚拟现实交互模块相互连接，机械驱动模块连接机械臂平台，计算机和机械臂平台末端分别安装摄像头，每个摄像头均连接人机交互模块。该系统建立了基于感知哈希算法的视频节流器，并优化关键点深度估算模型；此外，改进了机械臂的D‑H参数模型，建立了本系统Mecanum四轮结构的运动学模型，并结合Unity引擎，建立了机械臂平台反馈三维模型。

Description

基于混合现实技术的远程机械臂操作系统及人机交互方法
技术领域
本发明属于遥操作机器人技术领域，具体涉及一种基于混合现实技术的远程机械臂操作系统及人机交互方法。
背景技术
当发生诸如火灾、毒气泄漏、自然灾害等突发事故时，需要救援人员进入或接近现场进行抢救工作的安全成本与技术难度极大。为提供一种解决此类问题的技术思路，本发明提出了一种基于混合现实技术的远程机械臂操作系统。该系统通过搭建混合现实系统框架，辅助操作者实现对极端环境下工作的灾后救援机器人远程操纵与监测系统的设计思路。
而混合现实技术将可视化、人机交互和自动分析方法整合为一体，支持用户以视觉的方式感知数据，通过交互方式对数据进行探索。传统的人机交互功能依赖可视化交互设备实现可视化交互功能，其中信息的输出通过二维显示屏实现、指令的输入功能则是依赖键盘与鼠标实现。随着混合现实技术的发展，如今出现了更加自然直观的多模态人机交互方式，其中包含了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴设备交互、人机对话交互、及其他人机交互方式。人机交互的目的在于感知人类的交互意图，当前已有一些用于人机交互的设备，例如，Vahid Pooryousef等人通过对柔性印制线路板进行设计开发，制作出依赖触觉进行交互的VR手套、Microsoft公司开发了能够应用在动作捕捉中的深度摄像头Kinect等，然而，这些产品的成本相对较高，在使用时会受到一定程序的限制。此外，近年来，一些基于普通摄像头的人机交互方法因其成本和处理效率等方面的优势也得到了广泛的应用。然而，基于图像的人体关键点检测方法是实现利用摄像头进行动作识别与交互的重要方法，其主要是通过将人体结构映射为若干关键点的几何拓扑关系。例如，基于堆叠漏斗型神经网络的stacked hourglass网络模型、基于caffe深度学习框架的open Pose多人二维姿态估计方法及基于media pipe框架改进的模型等。鉴于mediapipe框架的开源特点，使得这类方法在基于图像的人机交互系统上得到了广泛应用。
此外，在机械臂控制方面，通常机械臂的主动操作多应用柔顺控制，分为基于机械结构实现的被动柔顺和通过反馈传感设备实现对机械臂的柔顺控制。目前主要研究方向为通过自适应阻抗控制技术实现对电流环的动态调整。两种控制方式都对于操作环境的局限性极大，并不利于遥操作机械臂普及。如今新兴的人机交互方式同样需要特定的环境布置传感设备，其成本与应用环境的局限性极大。
发明内容
为解决上述现有技术存在的问题，本发明通过采用基于视觉的动作捕捉功能以实现人机交互，采用Unity引擎构建虚拟仿真环境，同时通过ROS系统实现无线数据通讯功能实现指令的发布与接收，提供了一种基于混合现实的可移动机械臂操作控制系统，目的在于降低应用成本、环境因素限制与设备操作难度的问题，以使得混合现实技术能够用于在特殊环境下的机械臂操作。
为实现上述目的，本发明的具体方案如下：
基于混合现实技术的远程机械臂操作系统，包括机械臂平台及、机械驱动模块、摄像头、计算机及安装在计算机上的人机交互模块和虚拟现实交互模块，所述人机交互模块、机械驱动模块和虚拟现实交互模块相互连接，机械驱动模块连接机械臂平台，计算机和机械臂平台末端分别安装摄像头，每个摄像头均连接人机交互模块，人机交互模块通过计算机上和机械臂平台末端的摄像头获取操作者肢体手势动作的图像数据和观察机械臂平台的工作环境，采用感知哈希算法进行滤波后提取操作者的关键点2D数据，并进行关键点深度估计和提取操作者的关键点坐标，实现对操作者的肢体手势动作进行识别；机械驱动模块通过人机交互模块实现对操作者的肢体手势动作的捕捉与判断后，将操作者的姿势映射为相应的机械臂驱动控制指令和驱动轮驱动控制指令，并对指令执行发布、接收、解析工作，以实现对机械臂和驱动轮的远程控制；虚拟现实交互模块包括Car节点和Even节点，Car节点用于部署机械臂的数字化模型，负责接收、解析与模拟由机械臂平台发布的设备工况数据，Even节点用于搭载工作环境数字化虚拟模型并展示机械臂平台上的摄像头采集的工作实际场景。
进一步地，所述机械臂平台包括平台面板、机械臂、摄像头、激光雷达、激光雷达处理器、驱动轮、电机、底盘控制器、电池和顶层决策器，所述机械臂安装在平台面板底部前端，摄像头和激光雷达分别安装在平面板顶部，激光雷达连接激光雷达处理器，平台面板底部两侧分别安装驱动轮，每个驱动轮连接电机，每个电机连接底盘控制器，所述机械臂、摄像头、激光雷达处理器和底盘控制器分别连接顶层决策器，电池分别提供机底盘控制器和顶层决策器的工作电压。
进一步地，所述感知哈希算法的计算公式如下：
式中，I0为历史帧图像压缩至[10,9]像素；I1为输入帧图像压缩至[10,9]像素；dh为Hamming距离；abs(·)为求绝对值函数；ε()为阶跃函数；i表示像素横坐标，属于[0,10]；j表示像素纵坐标，属于[0,9]。。
进一步地，所述关提取操作者的关键点坐标的方法，包括如下步骤：
S1.获取操作者肢体手势动作的图像数据后，定位操作者位置并与环境进行分割处理；
S2.进入人体关键点坐标预测，通过匹配输入图像与人体关键点模型，定位目标关键点在图像中的分布坐标，并通过坐标检测环节判断被遮挡部分关键点置信度；
S3.由图像渲染环节接收由图像分割处理输出的图像数据流与坐标检测环节校正后输出的关键点分布坐标，在图像数据流中进行标记，最终输出标记了关键点的图像流与关键点坐标数据。
进一步地，所述关键点深度估计的计算公式如下：
式中，hk表示k关键点深度值；hi表示i关键点深度值；li，j表示i，j关键点间到摄像头平面投影距离；l0，i，j表示i，j关键点间实际距离。
进一步地，所述机械臂驱动控制指令的计算公式为：
i-1Ti＝RX(αi-1)×DX(ai-1)×RZ(θi)×DZ(di)
式(5)中，ai-1表示沿Xi-1轴，从Zi-1移动到Zi的距离；αi-1表示沿Xi-1轴，从Zi-1旋转到Zi的角度；di表示沿Zi轴，从Xi-1移动到Xi的距离；θi表示沿Zi轴，从Xi-1旋转到Xi的角度；i-1Ti表示从第i-1个坐标系到第i个坐标系的变换矩阵；RX表示绕X轴旋转的变换矩阵；DX表示X轴平移的变换矩阵；RZ表示绕Z轴旋转的变换矩阵；DZ表示沿Z轴平移的变换矩阵；
所述驱动轮驱动控制指令的计算公式为：
式(6)中，vx表示底盘x轴方向速度分量；vy表示底盘y轴方向速度分量；ω为底盘z轴方向自转角速度；(a，b)表示为车的旋转中心到各轮子的距离坐标；v1w表示一号轮旋转速度；v2w表示二号轮旋转速度；V3w表示三号轮旋转速度；V4w表示四号轮旋转速度；
一种所述的基于混合现实技术的远程机械臂操作系统实现人机交互的方法，其特征在于，包括如下步骤：
步骤1，安装在计算机上的人机交互模块通过安装在计算机和机械臂平台末端的摄像头分别获取操作者肢体手势动作的图像数据和观察机械臂平台的工作环境；
步骤2，人机交互模块通过感知哈希算法进行滤波后提取图像数据中操作者的关键点2D数据，并进行关键点深度估计和提取操作者的关键点坐标以识别对操作者的肢体手势动作后，向机械驱动模块发布指令；
步骤3，机械驱动模块接收指令后，根据预设映射关系实现通过操作者的肢体动作控制机械臂和驱动轮运动，并反馈机械臂和驱动轮运动情况到虚拟现实交互模块，操作者通过虚拟现实交互模块实现对机械臂平台运动情况进行可视化监控。
本发明的优点
1、本发明的基于混合现实技术的远程机械臂操作系统及人机交互方法基于mediapipe框架，通过调用视频图像数据，实现对设备的远程控制。
2、本发明采用感知哈希算法作为人机交互模块节流器核心算法，通过比较Hamming距离确定有效输入指令，降低系统对设备算力需要的同时提高了系统的鲁棒性。
3、本发明提出了基于空间几何的人体关键点三维信息估计算法，通过人体关键点平面拓扑结构推导关键点深度信息，有效提高交互方法的应用范围。
4、本发明中建立了基于感知哈希算法的视频节流器，并优化关键点深度估算模型；此外，改进了机械臂的D-H参数模型，建立了本系统Mecanum四轮结构的运动学模型，并结合Unity引擎，建立了机械臂平台反馈三维模型。
附图说明
图1为本发明基于混合现实技术的远程机械臂操作系统的工作原理图。
图2为图1的机械壁平台的底部结构示意图。
图3为图1的机械壁平台的顶部结构示意图。
图4为感知哈希滤波算法流程图。
图5为空间坐标系下人体关键点分布图。
图6为关键点深度估算效果展示：(a)原始图像；(b)关键点提取；(c)深度估计。
图7为连杆坐标系。
图8为Mecanum轮运动学建模。
图9为虚拟现实模块节点分布的工作原理图。
图10为场景3D展示效果。
图11为本发明系统的响应速度测试折线图。
图12为测试运动轨迹(a)运动起始端；(b)运动中间时刻；(c)运动终点。
图13为图12(a)的运动轨迹测试结果。
图14为图12(b)的运动轨迹测试结果。
图15为图12(c)的运动轨迹测试结果。
图16为本发明系统运行效果展示(a)机械臂初始状态(b)机械臂转向右侧并收缩(c)机械臂转向左侧并前伸(d)机械臂转向左侧并夹紧夹具。注:图像上方为操作者操作情况、下方为机械臂的运行情况。
图8中：
1：一号轮；2：二号轮；3：三号轮；4：四号轮。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步地解释和说明，需要注意的是，本具体实施例不用于限制本发明的权利范围。
如图1至图3所示，本具体实施例的基于混合现实技术的远程机械臂操作系统包括机械臂平台、摄像头、计算机、安装在机械臂平台上的机械驱动模块及安装在计算机上的人机交互模块和虚拟现实交互模块。
所述机械臂平台包括平台面板、机械臂、摄像头、激光雷达、激光雷达处理器、驱动轮、电机、底盘控制器、电池和顶层决策器，所述机械臂安装在平台面板底部前端，摄像头和激光雷达分别安装在平面板顶部，激光雷达连接激光雷达处理器，平台面板底部两侧分别安装驱动轮，每个驱动轮连接电机，每个电机连接底盘控制器，所述机械臂、摄像头、激光雷达处理器和控制器分别连接顶层决策器，电池分别提供机械臂、摄像头、激光雷达、激光雷达处理器、驱动轮、电机、底盘控制器和顶层决策器的工作电压。所述机械臂为亚博智能公司的DOFBOT AI视觉机械臂，激光雷达的型号为Deleta2B-67821，驱动轮为Mecanum轮，电机为步进电机，电池为充电锂电池，底盘控制器为Arduino UNO Basra主控板，顶层决策器为Jetson Nano主控板。
所述人机交互模块、机械驱动模块和虚拟现实交互模块相互连接。具体地，所述人机交互模块、机械驱动模块和虚拟现实交互模块通过基于消息队列遥测传输协议(MessageQueuing Telemetry Transport,MQTT)的网络通讯通道与局域网通讯通道结合，实现对指令信号的格式化、发布与接收功能。在保证系统良好的稳定性的同时，具有良好的拓展性。
机械驱动模块连接机械臂平台，计算机和机械臂平台末端分别安装摄像头，每个摄像头均连接人机交互模块，使人机交互模块通过计算机上和机械臂平台末端的摄像头获取操作者肢体手势动作的图像数据和观察机械臂平台的工作环境，采用感知哈希算法进行滤波后提取操作者的关键点2D数据，并进行关键点深度估计和提取操作者的关键点坐标，实现对操作者的肢体手势动作识别。
所述感知哈希算法的计算公式如下：
式中，I0为历史帧图像压缩至[10,9]像素；I1为输入帧图像压缩至[10,9]像素；dh为Hamming距离；abs(·)为求绝对值函数；ε()为阶跃函数；i表示像素横坐标，属于[0,10]；j表示像素纵坐标，属于[0,9]。
本系统利用感知哈希算法对输入视频进行预处理，以减少关键点检测工作的任务量并减小因操作者抖动等原因产生的误差，提高系统输出指令的有效率与准确性。
感知哈希算法是一种判断图像相似性的一类哈希算法。为保证该部分有效提高系统的处理速度，本系统采用差异值哈希算法实现节流器功能，对比历史帧图像与输入帧图像，通过式(1)确定有效动作输出，算法流程如图4所示。
启动安装在计算机上的摄像头后系统保存第一帧图像作为待处理图像，随后计算安装在计算机上的摄像头读取图像与待处理图像的Hamming距离。其中机械臂夹具控制图像差异值最小，且不同操作者多次测试动作Hamming距离都不小于5，因此，本系统选取Hamming距离5作为输入图像预处理的阈值。当Hamming距离大于预设阈值5时，将此帧摄像头读取图像替换待处理图像，并进行后续处理。
本系统通过MediaPipe框架实现对操作者的关键点坐标提取。关键点坐标提取流程与分布图，来源于参考文献Zhang,Fan et al.“MediaPipe Hands:On-device Real-timeHand Tracking.”ArXiv abs/2006.10214(2020):n.pag。所述关提取操作者的关键点坐标的方法，包括如下步骤：
S1.获取操作者肢体手势动作的图像数据后，定位操作者位置并与环境进行分割处理；
S2.进入人体关键点坐标预测(Pose_Landmarker)，通过匹配输入图像与人体关键点模型，定位目标关键点在图像中的分布坐标，并通过坐标检测环节判断被遮挡部分关键点置信度；
S3.由图像渲染环节(Pose_Renderer)接收由图像分割处理输出的图像数据流与坐标检测环节校正后输出的关键点分布坐标，在图像数据流中进行标记，最终输出标记了关键点的图像流与关键点坐标数据。
本系统通过人体运动特征结合立体视觉几何原理，实现对关键点的深度估算。所述关键点深度估计的计算公式如下：
式中，hk表示k关键点深度值；hi表示i关键点深度值；li，j表示i，j关键点间到摄像头平面投影距离；l0，i，j表示表示i，j关键点间实际距离。
具体地，如图6所示的人体关键点分布，系统将11、12、23、24号关键点作为特征关键点，并将特征关键点组成四边形的几何特征建立特征关键点矩阵A，最后通过空间几何原理建立的式(2)至式(7)实现对关键点的深度预测，生成深度矩阵H。矩阵A,H如下所示,其中lij为i,j关键点间距离，hk为k关键点深度值。
当操作者所在平面平行于摄像头平面时，以特征关键点所围图形中心为原点，以平行于11、12号关键点组成线段为x轴，以垂直于该平面且指向摄像头所在平面为z轴正方向，建立如图5所示的空间坐标系。建立基准特征关键点矩阵A0，并保存各关键点间距离，作为基准单位长度l0，此时深度矩阵记作
系统运行过程中，由矩阵A与矩阵A0的变换关系，得到基准关键点沿z轴移动矩阵Hz、沿x轴旋转矩阵Hx、沿y轴旋转矩阵Hy。最终通过运动学的叠加原理，建立基准点深度矩阵H。矩阵H如式(2)所示，矩阵Hx，Hy，Hz如式(3)所示，其中w为输入图像宽度，h为输入图像高度。
在获取基准关键点的相对深度特征H后，以特征关键点为基点，对四肢关键点深度进行预测。以左臂为例，系统由大臂实时映射长度l11,13与基准单位长度l0,11,13，得出大臂与躯干平面夹角α11，以此确认大臂的相对深度特征h11,13，将这些数据代入式(2)中，最终得到13号关键点深度特征h13为：
同理可得其他关键点深度特征，即实现了对所需关键点的深度预测功能关键点检测输出效果如图6所示，其中图6(a)为原始输入图像，图6(b)为人物分割与关键点提取展示图，图6(c)为关键点坐标展示。
机械驱动模块通过人机交互模块实现对操作者的肢体手势动作的捕捉与判断后，将操作者的姿势映射为相应的机械臂驱动控制指令和驱动轮驱动控制指令，并对指令执行发布、接收、解析工作，以实现对机械臂和驱动轮的远程控制；
机械驱动模块基于ROS系统开发，实现对设备运行情况的实时监测并利用固定在机械臂末端摄像头采集机械臂平台的工作环境信息，最终通过通信网络，实现对机械臂平台的远距离操作控制，以实现对目标物体搬运与环境信息采集工作。
机械臂的链路由刚体连杆组成，在已知机械臂的各个关节连杆参数的情况下，通过控制机械臂各关节舵机转动角度，即可驱动机械臂的运动到指定位置。本实施例选择改进型D-H法(Standard Denavit-Hartenberg method)，为机械臂的结构建立D-H参数表如表1所示：
表1机械臂D-H参数表
所述机械臂驱动控制指令的计算公式为：
i-1Ti＝RX(αi-1)×DX(ai-1)×RZ(θi)×DZ(di)
式(5)中，ai-1表示沿Xi-1轴，从Zi-1移动到Zi的距离；αi-1表示沿Xi-1轴，从Zi-1旋转到Zi的角度；di表示沿Zi轴，从Xi-1移动到Xi的距离；θi表示沿Zi轴，从Xi-1旋转到Xi的角度；i-1Ti表示从第i-1个坐标系到第i个坐标系的变换矩阵；RX表示绕X轴旋转的变换矩阵；DX表示X轴平移的变换矩阵；RZ表示绕Z轴旋转的变换矩阵；DZ表示沿Z轴平移的变换矩阵；
本实施例驱动轮选择Mecanum轮作为机械臂平台的运动驱动底盘。该部分根据人机交互模块发布的信息，实现在平面的全方向移动。
本实施例通过人机交互模块实现对Mecanum轮进行远程控制，以满足在不利于操作者进入的极端条件下对设备进行主动控制的需求。由于Mecanum轮在平面进行工作，因此，本实施例对Mecanum轮建立如图9所示坐标系，进行运动学分析。
所述驱动轮驱动控制指令的计算公式为：
式(6)中，vx表示底盘x轴方向速度分量；vy表示底盘y轴方向速度分量；ω为底盘z轴方向自转角速度；(a，b)表示为车的旋转中心到各轮子的距离坐标；v1w表示一号轮旋转速度；v2w表示二号轮旋转速度；V3w表示三号轮旋转速度；V4w表示四号轮旋转速度。
根据式(6)能实现在已知小车的运动状态时，精准调节电机转速。
虚拟现实交互模块的节点分布如图9所示，虚拟现实交互模块包括Car节点和Even节点，虚拟现实交互模块的运动控制脚本挂载在Car节点中，Car节点用于部署机械臂的数字化模型，负责接收、解析与模拟由机械臂平台发布的设备工况数据，Even节点用于搭载工作环境数字化虚拟模型并展示机械臂平台上的摄像头采集的工作实际场景。Even节点中挂载的脚本则执行简单的设备碰撞检测以及解析显示安装在机械臂端的摄像头捕捉画面。场景3D展示效果如图10所示。在系统运行状态下，虚拟现实交互模块将接收到机械臂的数据反馈，驱动模型运动，给操作者直观形象的机械臂平台工况反馈。
一种基于混合现实技术的远程机械臂操作系统实现人机交互的方法，包括如下步骤：
步骤1，安装在计算机上的人机交互模块通过安装在计算机上和机械臂平台末端的摄像头分别获取操作者肢体手势动作的待处理图像数据和观察机械臂平台的工作环境；
步骤2，人机交互模块通过感知哈希算法进行滤波后提取待处理图像数据中操作者的关键点2D数据，并进行关键点深度估计和提取操作者的关键点坐标以识别对操作者的肢体手势动作后，向机械驱动模块发布指令；
步骤3，机械驱动模块接收指令后，根据预设映射关系实现通过操作者的肢体动作控制机械臂和驱动轮运动，并反馈机械臂和驱动轮运动情况到虚拟现实交互模块，操作者通过虚拟现实交互模块实现对机械臂平台运动情况进行可视化监控。
以下对本具体实施例的基于混合现实技术的远程机械臂操作系统进行节流器测试、系统响应速度测试、交互指令测试和系统运行效果展示，具体如下：
1、节流器测试
本实施例的操作系统通过差异值哈希算法对输入图像进行预处理判断。其中三种感知哈希算法运算效率与动作差异值的结果输出如表2所示。
为区分操作者期待发布指令与操作者因抖动等问题造成的抖动误差指令，通过对三项控制方法分别进行四组测试，经测试d-Hash处理速度最快，且满足对于手势指令的识别，故系统选取d-Hash算法作为人机交互模块节流器核心算法。
表2感知哈希阈值与速度判断
2、系统响应速度测试
将本实施例的操作系统按模块分别搭建在Windows8系统(电脑配置为八内核Intel Core i7-3635QM，内存8GB，CPU主频2.40GHz)与jetson nano(设备配置为四内核ARMA57，内存4GB，CPU主频1.43GHz)。为实现对系统响应速度的测试，通过在调取图像后嵌入time.perf_counter()函数，利用设备性能计数器统计图像处理耗时。经过对五次测试数据的统计，绘制如图11所示的系统响应速度测试折线图。
由图11可见，系统的响应速度稳定在60～100ms/次。第一次指令发布过程中，由于系统需要进行服务器连接等工作，因此产生一定的延迟，此后每一次指令的发布耗时都稳定在60～100ms。
在运行过程中，当操作者的输入图像变化差异值小于阈值时系统处于静默状态，故静默状态系统的响应速度相比于发布指令时的速度有较大差异。因此加入输入图像预处理环节能降低系统对设备处理性能的占用率，且系统对于设备的性能要求较低。
3、交互指令测试
系统选择肢体关键点(参考文献Zhang,Fan et al.“MediaPipe Hands:On-deviceReal-time Hand Tracking.”ArXiv abs/2006.10214(2020):n.pag)的23-11-13、11-13-15、手部关键点4-5-12所成夹角，手臂如图12所示，由(a)运动至(c)，最终获取三个夹角变化折线图如图12所示。
在图13至图15的测试结果中，(23,11,13)测试平均标准差为2.49、(11,13,15)项测试平均标准差为3.77、(4,5,12)项测试平均标准差为11.77。本项测试选取五人完成该动作，其中起点位置与终点位置为预先设定位置，故在测试过程中操作者的运动轨迹存在一定波动，但各关键点夹角的变化趋势相似且最终都向目标角度收敛，因此能证明该方法的稳定性可以满足大部分对于精度要求不高的环境下机械臂的操作工作。
此外，由于手部关键点(4,5,12)夹角的变化差异较大，为确保系统运行的稳定性，将夹具的控制函数改为式(7)θ6的阶跃函数。
由图13至图15所示的实验结果可知，将机械臂夹具的控制阈值设为60°，能保障系统当且仅当手势调整至指定动作后，方可执行夹取与释放指令，有效避免系统运行过程中手势动作存在的波动。
通过对比室内遮光环境(光照强度37Lux)、室内日光环境(光照强度255Lux)、室内灯光环境(光照强度632Lux)、室外日光环境(光照强度10661Lux)四种不同光照强度条件，系统的准确性。经测试在室内灯光环境下设备的关键点估计准确性最好，同时增加了因肢体抖动产生的误差。因此为提高系统鲁棒性，本文添加节流器实现滤波功能。
加入节流器后在室内灯光环境对多位操作者进行测试发现，与摄像头水平距离差超过1398mm时存在将手势指令误判为抖动问题；与摄像头水平距离差小于500mm时存在摄像头无法捕捉到操作者手势指令问题；在与摄像头水平距离500mm至1398mm范围内操作系统时，系统进行如图13至图15的运动控制时可以达到100％完成率。
综上所述，操作者在光照强度632Lux且正对摄像头距离500mm至1398mm范围时，系统能进行有效工作。
4、系统运行效果展示
本实施例的系统运行效果最终展示效果，如图16所示。操作者首先在个人计算机中部署人机交互模块与虚拟现实模块，然后先后启动机械驱动模块与部署在个人计算机的模块，建立两者的通讯通道，随后操作者通过肢体手势动作对机械臂平台进行远程操作控制。
肢体动作与舵机映射关系如式(7)所示，其中θ1为一号舵机旋转角度，其中θ3为三号舵机旋转角度，θ4为四号舵机旋转角度，θ6为六号舵机旋转角度，θ11，13，23为肢体关键点11-13-23夹角，θ11，13，15为肢体关键点11-13-15夹角，θ4，5，12为手部关键点4-5-12夹角。
系统通过读取操作者右臂及右手的空间状态，并通过函数关系式(7)映射为机械臂的运动控制指令，最终辅助操作者实现对设备的预期运动控制效果。
由图16所示的实验结果可知：设备在运动过程中，由于肢体部分的关键点分布结构相比于手部关键点相互遮挡概率小，故肢体部分关键点分布预测精度相较于手势部分高，更适合作为系统的线性输入变量，并将手势指令通过阶跃函数处理，实现对夹具的二元化控制。此外，相比于未加入感知哈希函数，本系统对于操作者肢体在使用过程中产生的自然抖动具有良好的滤波效果。

Claims (7)

1.基于混合现实技术的远程机械臂操作系统，其特征在于，包括机械臂平台、机械驱动模块、摄像头、计算机及安装在计算机上的人机交互模块和虚拟现实交互模块，所述人机交互模块、机械驱动模块和虚拟现实交互模块相互连接，机械驱动模块连接机械臂平台，计算机和机械臂平台末端分别安装摄像头，每个摄像头均连接人机交互模块，人机交互模块通过计算机上和机械臂平台末端的摄像头获取操作者肢体手势动作的图像数据和观察机械臂平台的工作环境，采用感知哈希算法进行滤波后提取操作者的关键点2D数据，并进行关键点深度估计和提取操作者的关键点坐标，实现对操作者的肢体手势动作进行识别；机械驱动模块通过人机交互模块实现对操作者的肢体手势动作的捕捉与判断后，将操作者的姿势映射为相应的机械臂驱动控制指令和驱动轮驱动控制指令，并对指令执行发布、接收、解析工作，以实现对机械臂和驱动轮的远程控制；虚拟现实交互模块包括Car节点和Even节点，Car节点用于部署机械臂的数字化模型，负责接收、解析与模拟由机械臂平台发布的设备工况数据，Even节点用于搭载工作环境数字化虚拟模型并展示机械臂平台上的摄像头采集的工作实际场景。
2.根据权利要求1所述的基于混合现实技术的远程机械臂操作系统，其特征在于，所述机械臂平台包括平台面板、机械臂、摄像头、激光雷达、激光雷达处理器、驱动轮、电机、底盘控制器、电池和顶层决策器，所述机械臂安装在平台面板底部前端，摄像头和激光雷达分别安装在平面板顶部，激光雷达连接激光雷达处理器，平台面板底部两侧分别安装驱动轮，每个驱动轮均连接电机，每个电机均连接底盘控制器，所述机械臂、摄像头、激光雷达处理器和底盘控制器分别连接顶层决策器，电池分别提供机底盘控制器和顶层决策器的工作电压。
3.根据权利要求1所述的基于混合现实技术的远程机械臂操作系统，其特征在于，所述感知哈希算法的计算公式如下：
式中，I0为历史帧图像压缩至[10,9]像素；I1为输入帧图像压缩至[10,9]像素；dh为Hamming距离；abs(·)为求绝对值函数；ε()为阶跃函数；i表示像素横坐标，属于[0,10]；j表示像素纵坐标，属于[0,9]。
4.根据权利要求1所述的基于混合现实技术的远程机械臂操作系统，其特征在于，所述关提取操作者的关键点坐标的方法，包括如下步骤：
S1.获取操作者肢体手势动作的图像数据后，定位操作者位置并与环境进行分割处理；
S2.进入人体关键点坐标预测，通过匹配输入图像与人体关键点模型，定位目标关键点在图像中的分布坐标，并通过坐标检测环节判断被遮挡部分关键点置信度；
S3.由图像渲染环节接收由图像分割处理输出的图像数据流与坐标检测环节校正后输出的关键点分布坐标，在图像数据流中进行标记，最终输出标记了关键点的图像流与关键点坐标数据。
5.根据权利要求1所述的基于混合现实技术的远程机械臂操作系统，其特征在于，所述关键点深度估计的计算公式如下：
式中，hk表示k关键点深度值；hi表示i关键点深度值；li，j表示i，j关键点间到摄像头平面投影距离；l0，i，j表示i，j关键点间实际距离。
6.根据权利要求1所述的基于混合现实技术的远程机械臂操作系统，其特征在于，所述机械臂驱动控制指令的计算公式为：
式(5)中，ai-1表示沿Xi-1轴，从Zi-1移动到Zi的距离；αi-1表示沿Xi-1轴，从Zi-1旋转到Zi的角度；di表示沿Zi轴，从Xi-1移动到Xi的距离；θi表示沿Zi轴，从Xi-1旋转到Xi的角度；i-1Ti表示从第i-1个坐标系到第i个坐标系的变换矩阵；RX表示绕X轴旋转的变换矩阵；DX表示X轴平移的变换矩阵；RZ表示绕Z轴旋转的变换矩阵；DZ表示沿Z轴平移的变换矩阵；
所述驱动轮驱动控制指令的计算公式为：
式(6)中，vx表示底盘x轴方向速度分量；vy表示底盘y轴方向速度分量；ω为底盘z轴方向自转角速度；(a，b)表示为车的旋转中心到各轮子的距离坐标；v1w表示一号轮旋转速度；v2w表示二号轮旋转速度；V3w表示三号轮旋转速度；V4w表示四号轮旋转速度。
7.一种权利要求1至6中任意一项所述的基于混合现实技术的远程机械臂操作系统实现人机交互的方法，其特征在于，包括如下步骤：
步骤1，安装在计算机上的人机交互模块通过安装在计算机和机械臂平台末端的摄像头分别获取操作者肢体手势动作的图像数据和观察机械臂平台的工作环境；
步骤2，人机交互模块通过感知哈希算法进行滤波后提取图像数据中操作者的关键点2D数据，并进行关键点深度估计和提取操作者的关键点坐标以识别对操作者的肢体手势动作后，向机械驱动模块发布指令；
步骤3，机械驱动模块接收指令后，根据预设映射关系实现通过操作者的肢体动作控制机械臂和驱动轮运动，并反馈机械臂和驱动轮运动情况到虚拟现实交互模块，操作者通过虚拟现实交互模块实现对机械臂平台运动情况进行可视化监控。
CN202310668897.4A 2023-06-07 2023-06-07 基于混合现实技术的远程机械臂操作系统及人机交互方法 Pending CN116476074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310668897.4A CN116476074A (zh) 2023-06-07 2023-06-07 基于混合现实技术的远程机械臂操作系统及人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310668897.4A CN116476074A (zh) 2023-06-07 2023-06-07 基于混合现实技术的远程机械臂操作系统及人机交互方法

Publications (1)

Publication Number Publication Date
CN116476074A true CN116476074A (zh) 2023-07-25

Family

ID=87225392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310668897.4A Pending CN116476074A (zh) 2023-06-07 2023-06-07 基于混合现实技术的远程机械臂操作系统及人机交互方法

Country Status (1)

Country Link
CN (1) CN116476074A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117021117A (zh) * 2023-10-08 2023-11-10 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117021117A (zh) * 2023-10-08 2023-11-10 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法

Similar Documents

Publication Publication Date Title
CN102638653B (zh) 一种基于Kinect的自动面部追踪方法
Li Human–robot interaction based on gesture and movement recognition
CN108161882B (zh) 一种基于增强现实的机器人示教再现方法及装置
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人系统
US8571258B2 (en) Method of tracking the position of the head in real time in a video image stream
CN108838991A (zh) 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN107765855A (zh) 一种基于手势识别控制机器人运动的方法和系统
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN105252532A (zh) 动作捕捉机器人协同柔性姿态控制的方法
CN107357428A (zh) 基于手势识别的人机交互方法及装置、系统
CN110385694A (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
CN114972818A (zh) 一种基于深度学习与混合现实技术的目标锁定系统
CN116476074A (zh) 基于混合现实技术的远程机械臂操作系统及人机交互方法
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
CN110807391A (zh) 基于视觉的人-无人机交互用人体姿态指令识别方法
Liang et al. Bare-hand depth perception used in augmented reality assembly supporting
Rogelio et al. Alignment control using visual servoing and mobilenet single-shot multi-box detection (SSD): A review
Xue et al. Gesture-and vision-based automatic grasping and flexible placement in teleoperation
JP3288086B2 (ja) 動物体抽出装置
CN109934155B (zh) 一种基于深度视觉的协作机器人手势识别方法及装置
Duan et al. HRC of intelligent assembly system based on multimodal gesture control
CN113221729B (zh) 一种基于手势人机交互的无人机集群控制方法及系统
Fuchs et al. Assistance for telepresence by stereovision-based augmented reality and interactivity in 3D space
CN112000219B (zh) 一种可用于增强现实游戏的可移动式手势交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination