CN113689496A

CN113689496A - 一种基于vr的核辐射环境场景构建与人机交互方法

Info

Publication number: CN113689496A
Application number: CN202110899217.0A
Authority: CN
Inventors: 徐锋; 郭中远; 陈国栋; 陈妍洁; 王贵洋
Original assignee: Southwest University of Science and Technology
Current assignee: Southwest University of Science and Technology
Priority date: 2021-08-06
Filing date: 2021-08-06
Publication date: 2021-11-23
Anticipated expiration: 2041-08-06
Also published as: CN113689496B

Abstract

本发明公开了一种基于VR的核辐射环境场景构建与人机交互方法，包括：传感器标定；获取核辐射环境下场景信息生成稠密三维点云地图；三维曲面重建算法生成三维场景模型和贴图；核辐射信息融合到三维场景地图上；在Unity 3D中对机器人进行建模得到虚拟机器人模型；将三维场景模型和贴图导入Unity 3D中并在Unity 3D中优化整个虚拟场景；在unity 3D中显示虚拟场景以及相关参数；机器人再次进入环境实现重定位并进行实时交互。本发明提供的一种基于VR的核辐射环境场景构建与人机交互方法,具有对核辐射环境进行快速、准确建模的特点和更具有沉浸性的交互方式，可有效应对核辐射环境下应急、维护、退役处置等任务。

Description

一种基于VR的核辐射环境场景构建与人机交互方法

技术领域

本发明属于场景重建与人机交互技术领域，具体涉及一种基于VR的核辐射环境场景构建与人机交互方法。

背景技术

随着核能发电、辐照等产业的推广应用以及核设施退役、核废处理处置工作的广泛开展，发生核泄漏、核素扩散、强放射源丢失等核安全事故的风险增加。但是由于受核环境强电离辐射、毒性、污染等方面的限制，工作人员往往无法直接进入事故现场。而进行核辐射场景空间与辐射信息三维融合重建有助于作业人员直观、准确地分析核辐射环境，提高作业的效率。

随着虚拟现实技术的不断发展，越来越多的行业和领域开始探寻与虚拟现实技术的契合点。实现虚拟现实首先需要对机器人作业现实场景进行三维重建，这是机器人分析和理解工作环境的基础，为机器人重定位、导航、避障、以及现场作业目标操作提供可靠的信息支持。所以构建基于虚拟现实的人机交互系统，首先需要构建与现实环境一致的虚拟环境。长期以来，现实环境的虚拟重建往往是经过图形图像处理、CAD仿真建模和作业环境位姿建立等完成，虚拟环境建模往往只能靠人工绘制及仿真使其与现实场景尽可能一致，这种虚拟环境建模往往不能真实反应现实机器人作业场景几何实体模型，且人工绘制时间比较长、效率低下。

现有的基于传统视觉的三维重建往往需要多个相机且只适用于小范围的重建，重建效果和实时性都会受到一定的影响。基于激光的三维重建缺失纹理信息，且构建稠密三维重建的设备通常都比较昂贵。

而SALM技术可以指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动，实现机器人的自主定位和导航。而视觉传感器又有体积小，使用便捷等优点，并且图像中存储了丰富的纹理和色彩信息，因此视觉SLAM得到了广泛的关注与研究。

在现有的技术水平下，机器人虽然具备了一定的智能，但不足以实施完全自主行动，人在回路的遥控仍然是当前机器人系统走向实际应用必不可少的环节。而传统的机器人遥控主要存在以下问题：利用液晶显示屏等显示设备为操作员提供机器人环境信息，使操作员在第三视角下的沉浸感不强；为机器人下达运动级指令的控制不仅效率低下且交互性不强，增加操作者的操作难度，容易使操作者感到疲劳。

Unity 3D软件是实时3D互动内容创作和运营平台。包括游戏开发、美术、建筑、汽车设计、影视在内的所有创作者，借助Unity将创意变成现实。Unity平台提供一整套完善的软件解决方案，可用于创作、运营和变现任何实时互动的2D和3D内容，支持平台包括手机、平板电脑、PC、游戏主机、增强现实和虚拟现实设备。

发明内容

鉴于此，针对于现有技术中的上述不足，本发明提出一种基于VR的核辐射环境场景构建与人机交互系统方法。

本发明的一个实施例提供了一种基于VR的核辐射环境场景构建与人机交互系统的构建方法，包括：

（1）传感器标定：确定RGBD相机和IMU的内参，RGBD相机与核辐射探测器以及IMU与RGBD相机的外参标定；

（2）获取核辐射环境下场景信息生成稠密三维点云地图：通过VR手柄和VR头盔分别控制机器人运动和机器人头部的RGBD相机，从而使RGBD相机、IMU、核辐射探测器获取核辐射环境下的场景信息，并通过视觉SLAM算法生成稠密的三维点云地图；

（3）三维曲面重建算法生成三维场景模型和贴图：通过三维曲面重建算法完成稠密三维点云地图转化成三维场景模型和对应的贴图；

（4）核辐射信息融合到三维地图上：将核辐射探测器与RGBD相机采集的图像的时间戳对齐，然后根据两者之前标定的外参将核辐射信息以点云的形式投射到三维地图之上完成融合；

（5）在Unity 3D中对机器人进行建模得到虚拟机器人模型:保证机器人现实和虚拟之间的比例和三维场景地图现实和虚拟的比例相同，从而使交互更便捷有效；

（6）将三维场景模型和贴图导入Unity 3D中并在Unity 3D中优化整个虚拟场景；

（7）在unity 3D交互界面上显示虚拟场景以及相关参数；

（8）机器人再次进入环境实现重定位并进行实时交互。

所述通过三维曲面重建算法将稠密三维点云地图转化成三维场景模型和对应的贴图，先根据点云地图大小和点云个数记算出点云密度，与密度阈值比较是否需要降采样;计算点云地图中每个点的法线：对于任意点通过固定的KnnSearch得到其邻域，根据邻域计算质心，构建对其邻域中的点构建协方差矩阵，然后对协方差矩阵进行SVD分解得到最小值对应的特征向量作为其法线，用于后续的模型与贴图的配对；对点云地图进行possion曲面重建生成模型并优化:首先对噪声点云进行滤波，然后用possion 曲面重建算法对点云地图进行曲面重建;最后利用DC算法提取等值面来消除曲面孔洞和误连接曲面特征的问题对模型进行优化；对点云地图顶点三角化生成贴图:临近匹配选择三个点进行三角化使点云面片化，将三个点的RGB信息进行均值化作为对应面的颜色信息，最后生成与地图点云密度相匹配分辨率的贴图；根据法线的方向将模型和贴图配对:根据生成的每个点对应的法线，将贴图中每个面片与其法线的方向相匹配，使贴图和模型贴合后的可视化效果更佳；保存模型和贴图:确定模型中的坐标原点，保存相应的模型和贴图。

所述在unity 3D交互界面上显示虚拟场景以及相关参数，通过VR手柄实现实时视频流和三维虚拟场景模型的切换，在交互主界面上显示三维虚拟场景时，核辐射信息、机器人运动情况、机器人作业情况、机器人所处环境中位置情况都会显示在三维虚拟场景中，而在主界面上显示实时视频流时，核辐射信息也会根据传感器之间的外参映射显示在视频中。在交互副界面显示机器人坐标、相机角度、控制信号传输延时、机器人剩余电量情况和手柄剩余电量情况。

所述机器人再次进入环境中实现重定位，通过相机实时采集的视频，提取每帧的彩色图像中的特征点与之前采集的数据包中关键帧的彩色图像中的特征点进行匹配，根据特征点相似度和两帧之间的深度图像之间的深度约束实现重定位，根据场景的大小设置不同的相似度和两帧之间的深度约束范围从而使重定位准确度更高，最后根据重定位成功后的坐标在虚拟三维场景中显示机器人实时的位置。

所述的人机交互内容，机器人头部上的RGBD相机的运动可以跟随VR头盔的运动而运动，从而使采集数据包时和再次进入环境中拍摄视频时更便捷；左手VR手柄圆盘上4个按钮控制机器人前后左右移动，扳机键控制机器人加减速；右手VR手柄圆盘上4个按钮左右控制机器人左右旋转，上键控制切换三维虚拟地图和实时视频流，下键控制核辐射信息的显示，扳机控制机器人的处置动作。

本发明提供的上述基于VR的核辐射环境场景构建与人机交互系统的构建方法的主要有益效果在于：

本发明通过视觉SLAM实现核辐射环境下现实三维场景直接转换成机器人虚拟作业场景，无需人工绘制及仿真，机器人虚拟作业场景与现实场景的几何模型完全一致，对核辐射环境下具有快速、准确建模的特点。且实现机器人在再次进入核辐射环境下的重定位并完成实时人机交互操作，VR的交互方式更具有沉浸性且操作简单，可有效应对核辐射环境下应急、维护、退役处置等任务。

附图说明

图1所示为本发明的一种基于VR的核辐射环境场景构建与人机交互方法的一个实施例的流程图。

图2所示为基于本发明的方法建立的一个三维点云地图转化成三维场景模型的流程图。

图3所示为基于本发明的方法建立的一个基于VR的核辐射环境场景构建与人机交互系统的框架图。

图4所示为基于本发明的方法建立的一个Unity 3D 交互显示界面。

图5所示为基于本发明的方法建立的一个VR手柄用于人机交互的按键图。其中，1、左手圆盘上键2、左手圆盘左键3、左手圆盘右键4、左手圆盘下键5、左手手柄电源键6、左手手柄扳机7、右手圆盘上键8、右手圆盘左键9、右手圆盘右键10、右手圆盘下键11、右手手柄电源键12、右手手柄扳机。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。

如图1所示为本发明的一种基于VR的核辐射环境场景构建与人机交互方法的一个实施例的流程图。实施例包括如下步骤S11至S18。

S11、传感器标定，确定RGBD相机和IMU的内参，RGBD相机与核辐射探测器以及IMU与RGBD相机的外参标定；

在本发明的一个实施例中，核辐射探测器可以用γ相机，而RGBD相机与γ相机之间的外参包括两部分：RGBD相机与γ相机的相对位姿值的是RGBD相机坐标系和γ相机坐标系之间的变换，包括相对旋转角和相对平移量；传感器的采样时间和时间戳的时间不匹配，从而导致RGBD相机和γ相机之间存在时间差td也需要进行标定。

RGBD相机与IMU之间的外参包括两部分：RGBD相机与IMU之间的相对位姿值的是相机坐标系和IMU坐标系之间的变换，包括相对旋转角和相对平移量；传感器的采样时间和时间戳的时间不匹配，从而导致相机和IMU之间存在时间差td也需要进行标定。

在标定中使用matlab以及opencv,kalibr进行标定,拍摄多张图像进行多次标定。

S12、获取核环境下场景信息，并将所采集的深度图像信息和彩色图像信息通过视觉SLAM算法转化成稠密三维点云地图；

在本发明的一个实施例中,可以利用深度传感器Release D435i来获取现实场景的彩色图像信息、深度图像信息和IMU信息，γ相机获取场景下的核辐射信息。

前端视觉惯性里程计对输入的彩色图像信息的每帧进行特征点的提取,在提取FAST角点后，对角点的RGB三个通道分别进行均值滤波，并计算滤波后的三通道比率，取最大值与设置灰度阈值（I>=250）比较，大过阈值则为噪声点而剔除。使用光流法对剔除噪声后提取的特征点进行跟踪，在跟踪特征点的同时，根据帧与帧之间的特征点对相机进行粗略的位姿估计，完成帧与帧之间的IMU预积分，根据估计的位姿，将彩色图像中的每个像素联合对应的深度图像生成局部的稠密三维点云地图。

后端位姿优化核心是优化关键帧的位姿和局部稠密地图,其中关键帧的位姿通过前端的特征和IMU 紧耦共同优化，而局部的稠密地图根据优化的位姿完成更新;

回环检测线程依据两帧图像的相似性确定回环检测关系，而相似度由词袋模型进行定义，当检测到回环信息时，将信息传递给后端优化，重新优化位姿与更新地图，从而消除累计误差。

S13、通过三维曲面重建算法将稠密三维点云地图转化成三维场景模型和对应的贴图；

在本发明的一个实施例中，将稠密三维点云地图转化成三维场景模型和对应的贴图的步骤为：对点云地图进行降采样；计算每个点的法线；对点云地图进行possion曲面重建并优化生成三维模型；点云三角化生成贴图；根据法线的方向将模型贴图配对；保存模型和贴图。

S14、核辐射信息融合到三维地图上，将γ相机与Release D435i相机采集的图像的按照标定时的时间戳对齐，然后将γ 相机图像中核辐射信息，根据S11标定的外参将核辐射信息以点云的形式投射到三维地图之上完成融合。

S15、在Unity 3D 中对机器人进行建模，得到虚拟机器人模型；

在本发明的一个实施例中,对于机器人的三维建模软件用到的是Unity 3D,人机交互的系统中,为了保证虚拟场景中的机器人能高效模拟实际场景中的机器人,首先得要求虚拟场景中的机器人外观形状与实际场景中的机器人大致相同,组成虚拟机器人的各个可以活动的部件的形状以及它们的相对的尺寸比例也应与实际场景和机器人的比例相一致。另外,虚拟机器人需要能跟现实机器人做一样的动作,必然要在基础结构上做到跟现实机器人一样,尽量做到与实际机器人拥有相同的自由度，以实现对虚拟机器人的交互式控制，够在使虚拟环境中的机器人按照操作人员对实际场景中的机器人的操作做出相应动作的映射。

因此,在本发明的一个实施例中,对机器人进行虚拟几何建模时,需要根据机器人的主要运动关节来拆分机器人的各部分构件,利用unity软件对机器人各个拆解部件建立各个部分的虚拟几何模型,最后将各个零部件装配成一个可以活动的整体模型，实际操作时，根据运行的效果还要对模型进行进一步的优化。

S16、将三维场景模型和贴图导入Unity 3D；

在本发明的一个实施例中将三维场景模型和贴图导入Unity 3D软件中,需将模型的坐标原点与3D空间的坐标原点进行对齐，使后续在系统上易于进行可视化和人机交互。

S17、在Unity 3D中显示虚拟场景以及相关参数；

在本发明的一个实施例中,在Unity 3D软件中主界面可以通过VR手柄实现实时视频流和三维虚拟场景模型的切换，在主界面上显示三维虚拟场景时，核辐射信息、机器人运动情况、机器人作业情况、机器人所处环境中位置情况都会显示在三维虚拟场景中，而在主界面上显示实时视频流时，核辐射信息也会根据相机之间的外参映射显示在视频中。在副界面显示核辐射浓度值、机器人坐标、相机角度、控制信号传输延时、机器人剩余电量情况和手柄剩余电量情况。

S18、机器人再次进入环境实现重定位并进行实时交互；

在本发明的一个实施例中，所述机器人再次进入环境中实现重定位的方法为：通过Release D435i相机实时采集的视频，提取每帧的彩色图像中的特征点与之前采集的数据中关键帧的彩色图像中的特征点进行匹配，根据特征点相似度和两帧之间的深度图像之间的约束实现重定位，根据场景的大小设置不同的相似度和两帧之间的深度约束范围从而使重定位准确度更高，最后根据重定位成功后的坐标在虚拟三维场景中显示机器人实时的位置，通过机器人在虚拟环境中的位置知道机器人在显示场景中对应的位置，从而可以完成用户和机器人的实时交互操作。

如图2所示为基于本发明的方法建立的一种将稠密三维点云地图转化成三维场景模型和对应的贴图的流程图。在本发明的一个实施例中,将稠密三维点云地图转化成三维场景模型和对应的贴图进一步包括步骤S21至S26。

S21、先根据点云地图大小和点云个数记算出点云密度，与密度阈值比较是否需要降采样。

S22、计算点云地图中每个点的法线，对于任意点通过固定的KnnSearch得到其领域，根据领域计算质心，构建对其领域中的点构建协方差矩阵，然后对协方差矩阵进行SVD分解得到最小值对应的特征向量作为其法线，用于后续的模型与贴图的配对。

S23、对点云地图进行possion曲面重建生成模型并优化，首先对噪声点云进行滤波，然后用possion 曲面重建算法对点云地图进行曲面重建;最后利用DC算法提取等值面来消除曲面孔洞和误连接曲面特征的问题对模型进行优化。

S24、对点云地图顶点三角化生成贴图，临近匹配选择三个点进行三角化使点云面片化，将三个点的RGB信息进行均值化作为对应面的颜色信息，最后生成与地图点云密度相匹配分辨率的贴图。

S25、根据法线的方向将模型和贴图配对，根据S22中生成的每个店对应的法线，将贴图中每个面片与其法线的方向相匹配，使贴图和模型贴合后的可视化效果更佳。

S26、保存模型和贴图，确定模型中的坐标原点，保存相应的模型和贴图。

如图3所示为基于本发明的方法建立的一个基于VR的核辐射环境场景构建与人机交互系统的框架图。包括机器人主控模块、机械臂和小车组成的机器人作业模块、RGBD相机和核辐射探测器组成的传感器模块、Unity 3D显示模块、用户端虚拟三维场景生成模块。

图4所示为基于本发明建立的一个unity3D中的显示界面图，在Unity 3D软件中主界面可以通过VR手柄实现实时视频流和三维虚拟场景模型的切换，在主界面上显示三维虚拟场景时，核辐射信息、机器人运动情况、机器人作业情况、机器人所处环境中位置情况都会显示在三维虚拟场景中，而在主界面上显示实时视频流时，核辐射信息也会根据相机之间的外参映射显示在视频中。在副界面显示核辐射浓度值、机器人坐标、相机角度、控制传输延时、机器人剩余电量情况和手柄剩余电量情况。

图5 所示为基于本发明建立的一个两个VR手柄的按键交互说明：其中，1、左手圆盘上键2、左手圆盘左键3、左手圆盘右键4、左手圆盘下键5、左手手柄电源键6、左手手柄扳机7、右手圆盘上键8、右手圆盘左键9、右手圆盘右键10、右手圆盘下键11、右手手柄电源键12、右手手柄扳机。

具体的，左手圆盘上键1控制机器人向前移动；左手圆盘左键2控制机器人向左移动；左手圆盘右键3控制机器人向右移动；左手圆盘下键4控制机器人向后移动；左手手柄电源键5控制左手手柄开关机；左手手柄扳机6控制小车加速前进；右手圆盘上键7控制主界面场景切换显示三维虚拟场景或者实时视频流；右手圆盘左键8控制机器人原地向左旋转；右手圆盘右键9控制机器人原地向右旋转；右手圆盘下键10控制核辐射信息是否显示在主界面上；右手手柄电源键11控制右手手柄开关机；右手手柄扳机12控制机器人的处置动作。

虽然以上述较佳的实施例对本发明做出了详细的描述,但并非用上述实施例限定本发明。本领域的技术应当意识到不脱离本发明技术方案所给出的技术特征和范围的情况下，对技术特征所作的增加、以本领域一些同样内容的替换，均应属本发明的保护范围。

Claims

1.一种基于VR的核辐射环境场景构建与人机交互方法，其特征在于，包含以下步骤：获取核辐射环境下场景信息生成稠密三维点云地图：通过VR手柄和VR头盔分别控制机器人运动和机器人头部的RGBD相机，从而使RGBD相机、IMU、核辐射探测器获取核辐射环境下的场景信息，并通过视觉SLAM算法生成稠密的三维点云地图；三维曲面重建算法生成三维场景模型和贴图：通过三维曲面重建算法完成稠密三维点云地图转化成三维场景模型和对应的贴图;核辐射信息融合到三维地图上：将核辐射探测器与RGBD相机采集的图像的时间戳对齐，然后根据两者之前标定的外参将核辐射信息以点云的形式投射到三维地图之上完成融合;将机器人模型和三维场景模型及贴图和相关参数在Unity 3D交互界面中显示；机器人再次进入环境中实现重定位并进行实时交互。

2.如权利要求1所述的一种基于VR的核辐射环境场景构建与人机交互方法，其特征在于，所述通过三维曲面重建算法将稠密三维点云地图转化成三维场景模型和对应的贴图步骤为：

先根据点云地图大小和点云个数记算出点云密度，与密度阈值比较是否需要降采样;计算点云地图中每个点的法线：对于任意点通过固定的KnnSearch得到其邻域，根据邻域计算质心，构建对其邻域中的点构建协方差矩阵，然后对协方差矩阵进行SVD分解得到最小值对应的特征向量作为其法线，用于后续的模型与贴图的配对；对点云地图进行possion曲面重建生成模型并优化：首先对噪声点云进行滤波，然后用possion 曲面重建算法对点云地图进行曲面重建;最后利用DC算法提取等值面来消除曲面孔洞和误连接曲面特征的问题对模型进行优化；对点云地图顶点三角化生成贴图：临近匹配选择三个点进行三角化使点云面片化，将三个点的RGB信息进行均值化作为对应面的颜色信息，最后生成与地图点云密度相匹配分辨率的贴图；根据法线的方向将模型和贴图配对：根据生成的每个点对应的法线，将贴图中每个面片与其法线的方向相匹配，使贴图和模型贴合后的可视化效果更佳；保存模型和贴图：确定模型中的坐标原点，保存相应的模型和贴图。

3.如权利要求1所述的一种基于VR的核辐射环境场景构建与人机交互方法，其特征在于，所述在Unity 3D软件中主界面可以通过VR手柄实现实时视频流和三维虚拟场景模型的切换，在交互主界面上显示三维虚拟场景时，核辐射信息、机器人运动情况、机器人作业情况、机器人所处环境中位置情况都会显示在三维虚拟场景中，而在主界面上显示实时视频流时，核辐射信息也会根据传感器之间的外参映射显示在视频中。在交互副界面显示机器人坐标、相机角度、控制信号传输延时、机器人剩余电量情况和手柄剩余电量情况。

4.如权利要求1所述的一种基于VR的核辐射环境场景构建与人机交互方法，其特征在于，所述机器人再次进入环境中实现重定位的方法为：通过相机实时采集的视频，提取每帧的彩色图像中的特征点与之前采集的数据包中关键帧的彩色图像中的特征点进行匹配，根据特征点相似度和两帧之间的深度图像之间的深度约束实现重定位，根据场景的大小设置不同的相似度和两帧之间的深度约束范围从而使重定位准确度更高，最后根据重定位成功后的坐标在虚拟三维场景中显示机器人实时的位置。

5.如权利要求1所述的一种基于VR的核辐射环境场景构建与人机交互方法，其特征在于，所述的人机交互内容为：机器人头部上的RGBD相机的运动可以跟随VR头盔的运动而运动，从而使采集数据包时和再次进入环境中拍摄视频时更便捷；左手VR手柄圆盘上4个按钮控制机器人前后左右移动，扳机键控制机器人加减速；右手VR手柄圆盘上4个按钮左右控制机器人左右旋转，上键控制切换三维虚拟地图和实时视频流，下键控制核辐射信息的显示，扳机控制机器人的处置动作。