CN115890693A - 一种基于沉浸式感知和仿生控制的移动排爆装置及方法 - Google Patents

Abstract

本发明涉及一种基于沉浸式感知和仿生控制的移动排爆装置及方法，属于虚拟现实技术领域，解决了现有技术中排爆方式安全性差、且排爆效率低问题。该装置包括仿生控制设备，其中，摄像设备，用于采集操作人员脸部图像；处理器，用于对脸部图像进行处理获得双眼眼球信息，并通过无线通信模块发送至搭载在移动排爆机器人上的控制器；控制器根据双眼眼球信息对移动排爆机器人上的云台和可变基线双目相机进行调整，进而采集与操作人员视角相同的排爆现场的第一视场立体图像；操作人员基于排爆现场的第一视场立体图像控制移动排爆机器人进行排爆。该方法能够有效增强操作人员对排爆现场的沉浸式真感，从而提高操作人员的排爆效率和安全性。

Description

一种基于沉浸式感知和仿生控制的移动排爆装置及方法

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于沉浸式感知和仿生控制的移动排爆装置及方法。

背景技术

现有技术中，主要通过下述方式进行排爆，一是操作人员穿防爆服手工排爆或者操作人员穿防爆服通过机械手进行排爆；二是基于虚拟现实技术，通过排爆机器人端的RGB-D相机采集排爆现场图像，操作人员根据排爆现场图像进行排爆操作。

现有技术中至少存在以下缺陷，一是，操作人员穿防爆服手工排爆或者操作人员穿防爆服通过机械手进行排爆，安全性差；二是基于虚拟现实技术，通过排爆机器人端的RGB-D相机采集排爆现场图像，RGB-D相机基线固定，长时间佩戴虚拟现实设备通过RGB-D相机观察排爆现场情况，易造成视觉疲劳，沉浸式体验差，且易降低操作人员的操作准确度，从而降低排爆效率和安全性。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种基于沉浸式感知和仿生控制的移动排爆装置及方法，用以解决现有排爆方式安全性差、且排爆效率低的问题。

一方面，本发明提供了一种基于沉浸式感知和仿生控制的移动排爆装置，包括移动排爆机器人、仿生控制设备及无线通信模块；

所述仿生控制设备包括：

摄像设备，用于采集操作人员脸部图像；

处理器，用于对所述操作人员脸部图像进行处理获得双眼眼球信息，并通过所述无线通信模块将所述双眼眼球信息发送至搭载在所述移动排爆机器人上的控制器；

所述控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线双目相机进行调整，进而采集获得与操作人员视角相同的排爆现场的第一视场立体图像；

操作人员基于所述排爆现场的第一视场立体图像控制所述移动排爆机器人进行排爆。

进一步的，所述双眼眼球信息包括双眼眼球位姿信息、双眼眼球距离以及双眼眼球瞳孔尺寸，所述双眼眼球位姿信息包括眼球实时中心坐标以及转动方位角。

进一步的，所述处理器通过下述方式获得双眼眼球位姿信息：

利用图像检测算法对所述操作人员脸部图像进行处理确定双眼在操作人员脸部图像中的位置；

将双眼在操作人员脸部图像中的位置对应的区域图像转换为与双眼对应的两个灰度图，并计算每一灰度图中每个像素点的梯度，将梯度方向所在直线相交最多的点的位置作为眼球中心像素坐标位置；

根据标定好的像素坐标系与世界坐标系间的转换关系，将眼球中心像素坐标转换为眼球实时中心坐标；

根据操作人员正视前方时标定好的眼球中心坐标以及转换后的眼球实时中心坐标计算获得眼球转动方位角。

进一步的，采用最优化方法通过下述公式计算获得眼球中心像素坐标：

其中，X_i＝[u_i,v_i]^T为眼睛对应的灰度图中任意一点的像素坐标，c＝[u_c,v_c]^T为眼球中心像素坐标，d_i为归一化位移矢量，g_i为X_i点上的梯度矢量，I(u_i,v_i)为灰度函数，N表示灰度图中像素点的数量。

进一步的，所述处理器通过下述方式获得双眼眼球瞳孔尺寸：

利用高斯混合模型和EM算法根据灰度图的灰度值对所述灰度图进行聚类，并根据聚类后的灰度值提取瞳孔轮廓像素坐标；

将瞳孔轮廓像素坐标转换为世界坐标，并拟合成圆形，计算所述圆形直径即为眼球瞳孔尺寸。

进一步的，标定好的像素坐标系与世界坐标系间的转换关系为：

其中，[u,v]为所述任一点在像素坐标系中的坐标，[x_w,y_w,z_w]为所述任一点在世界坐标系中的坐标，γ、f_x、f_y、u₀、v₀、均为可变基线双目相机的内参，[u₀,v₀]为操作人员正视时眼球中心像素坐标，R_3×3、T_3×3分别表示可变基线双目相机坐标系到世界坐标系的旋转矩阵和平移矩阵。

进一步的，所述移动排爆机器人包括移动底盘、机械臂、抓手、云台及可变基线双目相机；

所述控制器根据所述双眼眼球位姿信息对所述云台的角度进行闭环调控；

所述控制器根据所述双眼眼球距离对所述可变基线双目相机的基线进行闭环调控；

所述控制器根据所述双眼眼球瞳孔尺寸对所述可变基线双目相机的焦距进行闭环调控；

所述双眼眼球距离与所述可变基线双目相机的基线距呈第一预设比例，所述瞳孔尺寸与所述可变基线双目相机的焦距呈第二预设比例，所述第一预设比例与所述第二预设比例相同。

进一步的，所述仿生控制设备还包括智能3D眼镜、肌电感知模块；

所述可变基线双目相机用于采集排爆现场的第一视场立体图像，所述第一视场立体图像包括左目图和右目图，所述左目图和所述右目图通过所述无线通信模块分别传输至所述智能3D眼镜的左目显示屏和右目显示屏；

操作人员根据排爆现场的第一视场立体图像进行抓取操作，所述肌电感知模块用于感知操作人员的抓取操作并生成抓取控制指令，进而通过无线通信模块传输至控制器，所述控制器根据所述抓取控制指令控制机械臂及抓手进行抓取操作以排爆。

进一步的，所述摄像设备安装于所述智能3D眼镜的顶部中央位置处。

另一方面，本发明提供了一种基于沉浸式感知和仿生控制的移动排爆方法，利用前述的移动排爆装置；

利用摄像设备采集操作人员脸部图像；

对所述操作人员脸部图像进行处理获得双眼眼球信息，并通过无线通信模块将所述双眼眼球信息发送至搭载在移动排爆机器人上的控制器；

利用控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线双目相机进行调整，进而采集获得与操作人员视角相同的排爆现场的第一视场立体图像；

基于所述排爆现场的第一视场立体图像控制所述移动排爆机器人进行排爆。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、本发明提出的基于沉浸式感知和仿生控制的移动排爆装置及方法，通过摄像机采集操作人员双眼眼球的位姿信息、距离信息及瞳孔尺寸，根据该些信息对移动排爆机器人段的云台和可变基线双目相机的焦距和基线进行闭环调控，使可变基线双目相机拍摄的排爆现场的第一视图与操作人员双眼的视角一致，一方面提高了操作人员的沉浸式体验，此外，双目相机采集的排爆现场的第一视图包括左目图和右目图，该左目图和右目图分别通过智能3D眼镜的左、右显示屏，以立体图像的形式呈现给操作人员，增强真实感，另一方面，可变基线双目相机的基线可以根据操作人员的眼部动态进行调整，很大程度上可以避免操作人员的眼部疲劳，提高操作人员的排爆准确率和排爆效率。

2、本发明提出的基于沉浸式感知和仿生控制的移动排爆装置及方法，通过沉浸式仿生控制，能够实现操作人员在后方进行操作，即可对移动排爆机器人进行控制，控制机器人进行抓取、排爆等工作，提高了操作人员排爆的安全性，并通过同步可变基线双目相机视角与操作人员的视角，有效解决了排爆机器人与操作人员协作困难的问题。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例基于沉浸式感知和仿生控制的移动排爆装置的示意图；

图2为本发明实施例眼球中心梯度矢量场的示意图；

图3为本发明实施例根据双眼眼球信息闭环调控云台及可变基线双目相机的流程示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种基于沉浸式感知和仿生控制的移动排爆装置。如图1所示，该装置包括移动排爆机器人、仿生控制设备及无线通信模块。

优选的，仿生控制设备包括摄像设备、处理器及智能3D眼镜。其中，摄像设备，用于采集操作人员脸部图像；优选的，摄像设备安装于智能3D眼镜顶部中央位置处，此外，还可以将两个摄像设备分别安装于智能3D眼镜上，分别采集包含操作人员左眼和右眼的图像，具体的，摄像设备可以是微型相机等。处理器，用于对操作人员脸部图像进行处理获得双眼眼球信息，并通过无线通信模块发送至搭载在移动排爆机器人上的控制器。

控制器根据双眼眼球信息对移动排爆机器人上的云台和可变基线双目相机进行调整，使双目相机拍摄到的排爆现场的视图与操作人员双眼的视角是一致的，从而增强操作人员的真实感，即采集获得与操作人员视角相同的排爆现场的第一视场立体图像。

控制器将采集的第一视场立体图像通过无线通信模块传输至操作人员佩戴的智能3D眼镜中，操作人员基于排爆现场的第一视场立体图像发出相应的抓取排爆指令，进而控制移动排爆机器人进行排爆。

优选的，无线通信模块可以是蜂窝移动网络模块或Wifi模块或蓝牙模块，具体的，操作人员可以根据距离或环境进行选择。

优选的，双眼眼球信息包括双眼眼球位姿信息、双眼眼球距离以及双眼眼球瞳孔尺寸，双眼眼球位姿信息包括眼球实时中心坐标以及转动方位角。

优选的，对像素坐标系和世界坐标系进行标定校准。具体的。确定操作人员正视前方时眼珠中心像素坐标[u₀,v₀]，并根据可变基线双目相机的内参、外参，建立像素坐标系到世界坐标系的坐标转换关系。具体如下：

其中，[u,v]为所述任一点在像素坐标系中的坐标，[x_w,y_w,z_w]为所述任一点在世界坐标系中的坐标，γ、f_x、f_y、u₀、v₀、均为可变基线双目相机的内参，在相机出厂前已经过校准标定。[u₀,v₀]为操作人员正视时眼球中心像素坐标，R_3×3、T_3×3为可变基线双目相机的外参，分别表示可变基线双目相机坐标系到世界坐标系的旋转矩阵和平移矩阵。

优选的，处理器通过下述方式获得双眼眼球位姿信息：

利用图像检测算法对操作人员脸部图像进行处理确定双眼在操作人员脸部图像中的位置。

将双眼在操作人员脸部图像中的位置对应的区域图像转换为与双眼对应的两个灰度图，并计算每一灰度图中每个像素点的梯度，将梯度方向所在直线相交最多的点的位置作为眼球中心像素坐标位置，具体的，眼球中心梯度矢量场如图2所示。

根据标定好的像素坐标系与世界坐标系间的转换关系，将眼球中心像素坐标转换为眼球实时中心坐标。

根据操作人员正视前方时标定好的眼球中心坐标以及转换后的眼球实时中心坐标计算获得眼球转动方位角。具体的，根据眼球中心坐标和转换后的眼球实施中心坐标构成一个方向矢量，根据该方向矢量确定眼球的转动方位角。

优选的，采用最优化方法通过下述公式计算获得眼球中心像素坐标：

其中，X_i＝[u_i,v_i]^T为眼睛对应的灰度图中任意一点的像素坐标，c＝[u_c,v_c]^T为眼球中心像素坐标，d_i为归一化位移矢量，g_i为X_i点上的梯度矢量，I(u_i,v_i)为灰度函数。

优选，处理器通过下述方式获得双眼眼球瞳孔尺寸：

利用高斯混合模型和EM算法根据灰度图的灰度值对灰度图进行聚类，并根据聚类后的灰度值提取瞳孔轮廓像素坐标。由于眼球内瞳孔的灰度值与瞳孔以外部分的灰度值存在较大差异，因此可以根据灰度值确定瞳孔与瞳孔以外部分的边界，从而可以根据该边界确定瞳孔轮廓像素坐标。

将瞳孔轮廓像素坐标转换为世界坐标，并拟合成圆形，计算圆形直径即为眼球瞳孔尺寸。

优选的，根据操作人员双眼眼球实时中心坐标通过下述公式计算获得操作人员双眼眼球的距离b：

b＝||(X_1w-X_2w)||₂，

其中，X_1w＝[x_1w,y_1w,z_1w]^T，X_2w＝[x_2w,y_2w,z_2w]^T分别为操作人员左眼眼球实时中心坐标、右眼眼球实时中心坐标，该坐标为世界坐标。

优选的，移动排爆机器人包括移动底盘、机械臂、抓手、云台及可变基线双目相机。控制器根据双眼眼球信息闭环调控云台及可变基线双目相机的流程如图3所示，具体的：

控制器根据双眼眼球位姿信息对所述云台的角度进行闭环调控。云台带伺服机构，接收眼珠转动角度指令后对云台进行跟踪，实现前方机器人双目两个镜头对后方人眼两个眼珠转动的伺服跟踪。

控制器根据双眼眼球距离对可变基线双目相机的基线进行闭环调控。通过伺服电机控制前方移动排爆机器人上的双目相机的两个摄像头，使它们能够在滚轴丝杠上移动，伺服电机接收双眼眼珠距离指令后对其跟踪，实现前方机器人双目相机基线伺服跟踪。

控制器根据双眼眼球瞳孔尺寸对可变基线双目相机的焦距进行闭环调控。具体的，相机接收瞳孔尺寸的相应指令后，可自动完成焦距闭环调控。

优选的，双眼眼球距离与可变基线双目相机的基线距呈第一预设比例，瞳孔尺寸与可变基线双目相机的焦距呈第二预设比例，第一预设比例与第二预设比例相同，根据上述设置可以保证操作人员双眼视角与可变基线双目相机的视角一致，从而增强操作人员的沉浸式体验。

优选的，仿生控制设备还肌电感知模块，具体的，该肌电感知模块可以是肌电传感器。

优选的，可变基线双目相机用于采集排爆现场的第一视场立体图像，第一视场立体图像包括左目图和右目图，左目图和右目图通过无线通信模块分别传输至智能3D眼镜的左目显示屏和右目显示屏，左目显示屏和右目显示屏上的左目图和右目图合并为第一视场立体图像。

操作人员根据排爆现场的第一视场立体图像进行抓取操作，肌电感知模块用于感知操作人员的抓取操作并生成抓取控制指令，进而通过无线通信模块传输至控制器，控制器根据抓取控制指令控制机械臂及抓手进行抓取操作以排爆。

本发明的另一个实施例，公开了一种基于沉浸式感知和仿生控制的移动排爆方法，利用前述的移动排爆装置。

由于该方式实施例与上述装置实施例基于相同相同的工作原理，因此重复之处可以参考上述装置实施例，在此不再赘述。

具体的，该方法包括：

利用摄像设备采集操作人员脸部图像。

对操作人员脸部图像进行处理获得双眼眼球信息，并通过无线通信模块发送至搭载在移动排爆机器人上的控制器。

利用控制器根据双眼眼球信息对移动排爆机器人上的云台和可变基线双目相机进行调整，进而采集获得与操作人员视角相同的排爆现场的第一视场立体图像。

基于排爆现场的第一视场立体图像控制移动排爆机器人进行排爆。

本发明实施例公开的基于沉浸式感知和仿生控制的移动排爆装置及方法，首先，通过摄像机采集操作人员双眼眼球的位姿信息、距离信息及瞳孔尺寸，根据该些信息对移动排爆机器人段的云台和可变基线双目相机的焦距和基线进行闭环调控，使可变基线双目相机拍摄的排爆现场的第一视图与操作人员双眼的视角一致，一方面提高了操作人员的沉浸式体验，此外，双目相机采集的排爆现场的第一视图包括左目图和右目图，该左目图和右目图分别通过智能3D眼镜的左、右显示屏，以立体图像的形式呈现给操作人员，增强真实感，另一方面，可变基线双目相机的基线可以根据操作人员的眼部动态进行调整，很大程度上可以避免操作人员的眼部疲劳，提高操作人员的排爆准确率和排爆效率。其次，本发明提出的基于沉浸式感知和仿生控制的移动排爆装置及方法，通过沉浸式仿生控制，能够实现操作人员在后方进行操作，即可对移动排爆机器人进行控制，控制机器人进行抓取、排爆等工作，提高了操作人员排爆的安全性，并通过同步可变基线双目相机视角与操作人员的视角，有效解决了排爆机器人与操作人员协作困难的问题。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于沉浸式感知和仿生控制的移动排爆装置，其特征在于，包括移动排爆机器人、仿生控制设备及无线通信模块；

所述仿生控制设备包括：

摄像设备，用于采集操作人员脸部图像；

处理器，用于对所述操作人员脸部图像进行处理获得双眼眼球信息，并通过所述无线通信模块将所述双眼眼球信息发送至搭载在所述移动排爆机器人上的控制器；

所述控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线双目相机进行调整，进而采集获得与操作人员视角相同的排爆现场的第一视场立体图像；

操作人员基于所述排爆现场的第一视场立体图像控制所述移动排爆机器人进行排爆。

2.根据权利要求1所述的移动排爆装置，其特征在于，所述双眼眼球信息包括双眼眼球位姿信息、双眼眼球距离以及双眼眼球瞳孔尺寸，所述双眼眼球位姿信息包括眼球实时中心坐标以及转动方位角。

3.根据权利要求2所述的移动排爆装置，其特征在于，所述处理器通过下述方式获得双眼眼球位姿信息：

利用图像检测算法对所述操作人员脸部图像进行处理确定双眼在操作人员脸部图像中的位置；

将双眼在操作人员脸部图像中的位置对应的区域图像转换为与双眼对应的两个灰度图，并计算每一灰度图中每个像素点的梯度，将梯度方向所在直线相交最多的点的位置作为眼球中心像素坐标位置；

根据标定好的像素坐标系与世界坐标系间的转换关系，将眼球中心像素坐标转换为眼球实时中心坐标；

根据操作人员正视前方时标定好的眼球中心坐标以及转换后的眼球实时中心坐标计算获得眼球转动方位角。

4.根据权利要求3所述的移动排爆装置，其特征在于，采用最优化方法通过下述公式计算获得眼球中心像素坐标：

其中，X_i＝[u_i,v_i]^T为眼睛对应的灰度图中任意一点的像素坐标，c＝[u_c,v_c]^T为眼球中心像素坐标，d_i为归一化位移矢量，g_i为X_i点上的梯度矢量，I(u_i,v_i)为灰度函数，N表示灰度图中像素点的数量。

5.根据权利要求3所述的移动排爆装置，其特征在于，所述处理器通过下述方式获得双眼眼球瞳孔尺寸：

利用高斯混合模型和EM算法根据灰度图的灰度值对所述灰度图进行聚类，并根据聚类后的灰度值提取瞳孔轮廓像素坐标；

将瞳孔轮廓像素坐标转换为世界坐标，并拟合成圆形，计算所述圆形直径即为眼球瞳孔尺寸。

6.根据权利要求3所述的移动排爆装置，其特征在于，标定好的像素坐标系与世界坐标系间的转换关系为：

其中，[u,v]为所述任一点在像素坐标系中的坐标，[x_w,y_w,z_w]为所述任一点在世界坐标系中的坐标，γ、f_x、f_y、u₀、v₀、均为可变基线双目相机的内参，[u₀,v₀]为操作人员正视时眼球中心像素坐标，R_3×3、T_3×3分别表示可变基线双目相机坐标系到世界坐标系的旋转矩阵和平移矩阵。

7.根据权利要求2-6任意一项所述的移动排爆装置，其特征在于，所述移动排爆机器人包括移动底盘、机械臂、抓手、云台及可变基线双目相机；

所述控制器根据所述双眼眼球位姿信息对所述云台的角度进行闭环调控；

所述控制器根据所述双眼眼球距离对所述可变基线双目相机的基线进行闭环调控；

所述控制器根据所述双眼眼球瞳孔尺寸对所述可变基线双目相机的焦距进行闭环调控；

所述双眼眼球距离与所述可变基线双目相机的基线距呈第一预设比例，所述瞳孔尺寸与所述可变基线双目相机的焦距呈第二预设比例，所述第一预设比例与所述第二预设比例相同。

8.根据权利要求7所述的移动排爆装置，其特征在于，所述仿生控制设备还包括智能3D眼镜、肌电感知模块；

所述可变基线双目相机用于采集排爆现场的第一视场立体图像，所述第一视场立体图像包括左目图和右目图，所述左目图和所述右目图通过所述无线通信模块分别传输至所述智能3D眼镜的左目显示屏和右目显示屏；

操作人员根据排爆现场的第一视场立体图像进行抓取操作，所述肌电感知模块用于感知操作人员的抓取操作并生成抓取控制指令，进而通过无线通信模块传输至控制器，所述控制器根据所述抓取控制指令控制机械臂及抓手进行抓取操作以排爆。

9.根据权利要求8所述的移动排爆装置，其特征在于，所述摄像设备安装于所述智能3D眼镜的顶部中央位置处。

10.一种基于沉浸式感知和仿生控制的移动排爆方法，其特征在于，利用权利要求1-9任意一项所述的移动排爆装置；

利用摄像设备采集操作人员脸部图像；

对所述操作人员脸部图像进行处理获得双眼眼球信息，并通过无线通信模块将所述双眼眼球信息发送至搭载在移动排爆机器人上的控制器；

利用控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线双目相机进行调整，进而采集获得与操作人员视角相同的排爆现场的第一视场立体图像；

基于所述排爆现场的第一视场立体图像控制所述移动排爆机器人进行排爆。

Images