CN110689611A - 一种空间遥操作中基于实时重建模型的预测显示方法 - Google Patents

一种空间遥操作中基于实时重建模型的预测显示方法 Download PDF

Info

Publication number
CN110689611A
CN110689611A CN201910939886.9A CN201910939886A CN110689611A CN 110689611 A CN110689611 A CN 110689611A CN 201910939886 A CN201910939886 A CN 201910939886A CN 110689611 A CN110689611 A CN 110689611A
Authority
CN
China
Prior art keywords
real
model
point
environment
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910939886.9A
Other languages
English (en)
Inventor
宋荆洲
王轮
张睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910939886.9A priority Critical patent/CN110689611A/zh
Publication of CN110689611A publication Critical patent/CN110689611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明使用KinectFusion三维重构算法完成对未知环境的重构。其次提出了KF‑VPS力觉渲染算法，结合实时三维重构技术和虚拟场景下的力觉渲染技术，解决主端预测环境下虚拟机械臂与真实从端环境之间的力觉预测显示问题。最后，提出了一种基于3D交互式路径规划的图形交互方式。本发明同时解决空间遥操作中大时延问题和环境未知性问题，并提高作业效率。

Description

一种空间遥操作中基于实时重建模型的预测显示方法
技术领域
本发明涉及一种空间遥操作中基于实时重建模型的预测显示技术，主要应用于空间未知环境下的遥操作任务，能够同时解决大时延问题和环境未知性问题并且提高作业效率。
背景技术
近几年来人工智能相关技术飞速发展，但是能够自主感知、自主决策、自主规划、并自主执行任务的全自主智能机器人仍然是人类科技需要努力的方向。面对很多人不易到达的危险环境，比如太空、深水环境、核辐射环境等，利用机器人代替人进行任务作业是很好的选择，在避免人受到危险环境的威胁的同时，还能提高作业效率。
目前遥操作机器人技术是解决此类危险环境的作业任务的主要手段。空间遥操作技术的发展主要有两大障碍，天地数据传输的大时延问题和从端场景的非结构化甚至完全未知的问题。大时延问题严重影响了天地控制回路的稳定性和透明性，针对此问题，图形预测显示技术是最好的解决方案。最早预测显示技术必须依靠先验知识对从端环境进行预先建模，主端工作过程中依据从端传回的数据对环境模型进行修正；显然这种预测显示技术有很大的局限性。随着三维重构技术的发展，基于重构模型的预测显示遥操作被认为是同时解决大时延问题和从端场景未知性问题的有效方法。但是也受限于三维重构技术的发展，系统的实时性和操作精度等方面还有很大的缺陷。
本发明是一种基于重构模型的预测显示遥操作方法，利用深度相机获取场景深度信息进行实时三维重构实现视觉预测显示，并且结合KinectFusion三维重构算法和VPS(VoxmapPointShell Algorithm)力觉渲染算法提出KF-VPS(力觉渲染算法，在虚拟机械臂与实时重构的环境模型进行交互的过程中提供力觉渲染，实现空间遥操作中虚拟力觉预测显示。
发明内容
本发明首先使用KinectFusion三维重构算法完成对未知环境的重构。通过三维重构将从端环境结构化，获得了机械臂基座的空间位置信息。在主端将虚拟机械臂注册叠加到视频画面中与三维重构模型一起形成了增强现实视觉预测显示。实时三维重构结果也为后续的力觉预测显示奠定了基础。
其次，针对目前未知环境下基于增强现实的遥操作技术中力觉预测显示困难的问题，提出了KF-VPS 力觉渲染算法，结合实时三维重构技术和虚拟场景下的力觉渲染技术，解决主端预测环境下虚拟机械臂与真实从端环境之间的力觉预测显示问题。算法的关键在于采用了一种三维场景的数据表示方式，既能够方便的表达三维重构的结果，又能方便进行碰撞检测与接触力计算。
最后，对主端人机交互技术进行了研究，提出了一种基于3D交互式路径规划的图形交互方式。针对目前使用手控器、同构机械臂、外骨骼等主端设备直接进行任务操作，在一些多障碍物或狭小空间下操作难度大，操作效率低的问题，该图形交互方式允许操作员在3D的交互界面中通过绘制机械臂期望轨迹的方式完成机械臂的路径规划，指导机械臂完成遥操作任务。任务规划阶段，充分发挥了人的决策判断能力且不需要机械臂的参与，安全高效。任务执行阶段，机械臂自主完成不需要操作员参与，减轻了操作员的压力。
附图说明
图1是三维重构原理流程图
图2是ICP迭代求解相机位姿流程图
图3是KF-VPS力觉生成算法流程图
图4是碰撞检测算法流程图
图5是关键点及绘制的期望轨迹示意图
图6是机械臂运动控制算法流程图
具体实施方式
首先，实现基于实时三维重构的视觉预测显示技术，算法主要流程如图1所示。
算法具体操作如下：第一步，利用Kinect深度相机得到场景的深度图像，并对得到的深度图像进行双边滤波得到滤波后的深度图像，达到保边去噪的目的。第二步，对Kinect深度相机进行标定获得其内参矩阵K，利用内参矩阵完成2D的图像坐标系与3D的相机坐标系之间的转换。然后对像素平面上任意点使用最小二乘法拟合一个最佳平面并计算其法向量。第三步，利用迭代最近点法(Iterative ClosestPoint， ICP)进行点云配准，迭代求解出满足精度要求的相机位姿变换矩阵，进而实现相机位姿的实时估计，ICP 迭代求解相机位姿流程图如图2所示。第四步，使用TSDF(Truncated Signed Distance Functions)模型来装载和融合每一帧的点云数据：首先将三维空间网格体素化，每个体素存储该体素中心到环境表面的距离，如果存储的距离大于0则表示该体素在空间表面的外面，相反则表示在里面，离表面越远则值越大，值为0的位置则为待重建表面上的点，交叉零点可通过插值法求得。点云数据转化为TSDF模型数据的效率要远远高于点云数据转化成三角面模型，而且很方便多帧点云数据的融合。融合后的TSDF数据能一定程度上弥补传感器采集深度数据的噪声、孔洞等误差。第五步，使用光线投影关系从TSDF模型反算出像素平面上每个点的像素值。
其次，实现了基于KF-VPS算法的力觉预测显示技术。算法主要流程如图3所示。
算法具体操作如下:第一步，生成点壳数据结构。本发明使用点壳数据结构来表示动态虚拟物体，点壳数据包含2部分，顶点数据和顶点的法向量数据。顶点数据类似物体的点云模型，但是为了碰撞检测的准确性和渲染力的计算，点壳的顶点十分的密集，点壳顶点的法向量方向是每个顶点指向模型里的表面法线方向，用于计算接触力的方向。点壳的生成过程主要可分为2个部分，首先是CPU部分，在CPU中利用八叉树将模型划分成足够小的体素，然后求得与模型表面相交的表层体素；将这些体素的中心点投影到模型表面上就得到了点壳的顶点，顶点的法向量就是该点处的曲面法线指向模型内部的方向。为了力渲染的高效性，将点壳数据拷贝到GPU中并行计算，在GPU中为点壳数据建立八叉树索引，方便进行层次遍历相交检测，进一步提高效率。第二步，实现碰撞检测。通过对从端未知环境的实时三维重构，得到了环境的TSDF模型，存在于显存中；经过上一步的工作，点壳数据也被存储到显存中，并建立了八叉树索引。在本发明的实际工程实现中，将待重构三维空间划分成了512×512×512个体素，一共有512× 512个逻辑的CUDA线程来负责每一排体素的计算，每个线程需要计算512个体素。具体到每个线程，首先根据当前线程坐标确定对应计算的体素三维坐标,从三维重构得到的TSDF模型数据中查询到该体素的tsdf值，判断当前体素有没有可能是环境表面附近的点。对于可能产生碰撞的体素，根据体素的坐标计算在世界坐标系下的三维坐标。为了进一步提高检测效率，生成点壳时已经为其建立八叉树索引。然后该体素与点壳八叉树开始相交检测，碰撞检测算法流程如图4所示，从八叉树的根节点开始层次遍历，如果当前节点与该体素相交，那么该节点的子节点之后将继续与体素进行相交检测，层层深入直到叶节点。若某个节点检测结果是与体素不相交，那么该节点的所有子节点都不需要再检测。如果某个叶节点与该体素相交，则继续检测该叶节点指向的点壳数据，遍历该节点中的所有点壳数据，如果点壳顶点在体素内，则可能产生了碰撞，该点壳顶点作为候选碰撞点继续接触力渲染的计算。第三步：计算接触力。本发明使用基于惩罚的思想进行接触力计算，假设接触过程中接触力主要由物体接触局部的形变产生，将接触力计算模型等效为弹簧模型或者弹簧阻尼模型。本发明使用K模型对接触过程进行建模，在接触阶段，预测力按环境刚度正比于侵入深度。然后在GPU中采用并行规约算法完成6-DOF接触力的计算。
最后，实现了基于3D交互式路径规划的图形交互技术。
本发明提出一种操作员手动绘制机械臂运动轨迹的图形交互接口，在前面对未知环境进行三维重构的基础上，将虚拟机械臂注册叠加到三维重构场景中，组成视觉预测环境，操作员适用手控器在三维融合场景中进行轨迹绘制，并将指令传递给虚拟机械臂进行轨迹跟踪，如果本地预测仿真成功，那么将指令传递到从端机械臂完成遥操作任务。在整个遥操作任务的执行过程中，任务路径的规划发挥了人类的强大判断、决策能力，具体的执行过程由机械臂自主完成，运动准确、高效，且减轻了操作员的负担。第一步，建立图形交互接口。图形交互接口基于OSG(Open Source Graphic)图形渲染引擎实现，包含三维重构的从端场景、虚拟仿真机械臂以及待绘制的机械臂运动轨迹。首先，通过手控器控制图形界面3D光标，移动到需要绘制轨迹关键点处，按下手控器按钮，完成一个关键点的绘制。根据任务选取合适的关键点，依次完成绘制，根据关键点进行插补得到连续轨迹的点集，如图5所示。然后，可以在本地进行机械臂运动情况的预测显示，如果机械臂运动轨迹不够好，修改关键点重新生成轨迹。最后发送指令给从端机械臂。第二步，完成对机械臂的运动控制。机械臂的运动包含本地虚拟机械臂的仿真运动和从端实物机械臂的运动，仿真机械臂接受位置输入，每帧刷新相应的关节角。实物机械臂也接受位置控制指令，传入相应7个关节角数据，机械臂控制器完成规划运动到指定位置。机械臂运动控制算法流程图如图6所示。

Claims (4)

1.空间遥操作中基于实时重建模型的预测显示方法，其特征在于：利用深度相机获取场景深度信息进行实时三维重构实现视觉预测显示，并且结合KinectFusion三维重构算法和VPS(VoxmapPointShell Algorithm)力觉渲染算法提出KF-VPS(力觉渲染算法)，在虚拟机械臂与实时重构的环境模型进行交互的过程中提供力觉渲染，实现空间遥操作中虚拟力觉预测显示。
2.根据权利要求1所述的基于实时重建模型的预测显示方法，其特征在于：利用Kinect深度相机得到场景的深度图像，并对得到的深度图像进行双边滤波得到滤波后的深度图像。利用Kinect相机内参矩阵完成2D的图像坐标系与3D的相机坐标系之间的转换。并对像素平面上任意点使用最小二乘法拟合一个最佳平面并计算其法向量。利用迭代最近点法(Iterative ClosestPoint，ICP)进行点云配准，进而实现相机位姿的实时估计。使用TSDF(Truncated Signed Distance Functions)模型来装载和融合每一帧的点云数据，并使用光线投影关系从TSDF模型反算出像素平面上每个点的像素值。
3.根据权利要求1所述的基于实时重建模型的预测显示方法，其特征在于：使用点壳数据结构来表示动态虚拟物体。将点壳数据拷贝到GPU中并行计算，在GPU中为点壳数据建立八叉树索引。通过对从端未知环境的实时三维重构，得到了环境的TSDF模型，存在于显存中；在显存中进行点壳模型和TSDF模型的碰撞检测。使用基于惩罚的思想进行接触力计算。
4.根据权利要求1所述的基于实时重建模型的预测显示方法，其特征在于：实现一种操作员手动绘制机械臂运动轨迹的图形交互接口，在前面对未知环境进行三维重构的基础上，将虚拟机械臂注册叠加到三维重构场景中，组成视觉预测环境，操作员适用手控器在三维融合场景中进行轨迹绘制，并将指令传递给虚拟机械臂进行轨迹跟踪，如果本地预测仿真成功，那么将指令传递到从端机械臂完成遥操作任务。
CN201910939886.9A 2019-09-30 2019-09-30 一种空间遥操作中基于实时重建模型的预测显示方法 Pending CN110689611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910939886.9A CN110689611A (zh) 2019-09-30 2019-09-30 一种空间遥操作中基于实时重建模型的预测显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910939886.9A CN110689611A (zh) 2019-09-30 2019-09-30 一种空间遥操作中基于实时重建模型的预测显示方法

Publications (1)

Publication Number Publication Date
CN110689611A true CN110689611A (zh) 2020-01-14

Family

ID=69111236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910939886.9A Pending CN110689611A (zh) 2019-09-30 2019-09-30 一种空间遥操作中基于实时重建模型的预测显示方法

Country Status (1)

Country Link
CN (1) CN110689611A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111300416A (zh) * 2020-03-10 2020-06-19 南京工程学院 基于增强现实的模块化可重构机器人规划仿真方法和系统
CN112802179A (zh) * 2021-01-18 2021-05-14 南京航空航天大学 一种基于法向的大规模点云可视化方法
CN115578827A (zh) * 2022-12-07 2023-01-06 杭州宇链科技有限公司 基于ai视频的危化品领用容器跟踪方法及系统
CN116956648A (zh) * 2023-09-20 2023-10-27 四川天地宏华导航设备有限公司 一种钻井过程的ai模拟仿真系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110039561A (zh) * 2019-05-14 2019-07-23 南京理工大学 基于点云的带电作业机器人遥操作人员培训系统及方法
CN110046406A (zh) * 2019-03-28 2019-07-23 天津大学 解剖教学系统中一种带有力反馈结构的软组织仿真方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046406A (zh) * 2019-03-28 2019-07-23 天津大学 解剖教学系统中一种带有力反馈结构的软组织仿真方法
CN110039561A (zh) * 2019-05-14 2019-07-23 南京理工大学 基于点云的带电作业机器人遥操作人员培训系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王轮: "空间遥操作中基于实时重建模型的预测显示技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111300416A (zh) * 2020-03-10 2020-06-19 南京工程学院 基于增强现实的模块化可重构机器人规划仿真方法和系统
CN112802179A (zh) * 2021-01-18 2021-05-14 南京航空航天大学 一种基于法向的大规模点云可视化方法
CN112802179B (zh) * 2021-01-18 2021-12-07 南京航空航天大学 一种基于法向的大规模点云可视化方法
US11532123B2 (en) 2021-01-18 2022-12-20 Nanjing University Of Aeronautics And Astronautics Method for visualizing large-scale point cloud based on normal
CN115578827A (zh) * 2022-12-07 2023-01-06 杭州宇链科技有限公司 基于ai视频的危化品领用容器跟踪方法及系统
CN116956648A (zh) * 2023-09-20 2023-10-27 四川天地宏华导航设备有限公司 一种钻井过程的ai模拟仿真系统及方法
CN116956648B (zh) * 2023-09-20 2024-01-12 四川天地宏华导航设备有限公司 一种钻井过程的ai模拟仿真系统及方法

Similar Documents

Publication Publication Date Title
JP7399912B2 (ja) 物体を取り込む画像に基づき、環境内の将来のロボット運動に関するパラメータに基づいて、ロボットの環境内の物体の動きを予測することに関する機械学習の方法および装置
CN110689611A (zh) 一种空间遥操作中基于实时重建模型的预测显示方法
Malik et al. Deephps: End-to-end estimation of 3d hand pose and shape by learning from synthetic depth
US11461958B2 (en) Scene data obtaining method and model training method, apparatus and computer readable storage medium using the same
Bunschoten et al. Robust scene reconstruction from an omnidirectional vision system
KR101347840B1 (ko) 신체 제스처 인식 방법 및 장치
Klingensmith et al. Articulated robot motion for simultaneous localization and mapping (arm-slam)
JP2019520633A (ja) リアルタイムの高さマップ作成
Al-Mutib et al. Stereo vision SLAM based indoor autonomous mobile robot navigation
Thomason et al. A comparison of adaptive view techniques for exploratory 3D drone teleoperation
Li et al. Depth camera based remote three-dimensional reconstruction using incremental point cloud compression
Ni et al. Vision-based virtual force guidance for tele-robotic system
Ding et al. Monocular camera-based complex obstacle avoidance via efficient deep reinforcement learning
Cuiral-Zueco et al. RGB-D tracking and optimal perception of deformable objects
Chappellet et al. Humanoid loco-manipulations using combined fast dense 3d tracking and slam with wide-angle depth-images
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
Ghazouani et al. Robot Navigation Map Building Using Stereo Vision Based 3D Occupancy Grid.
Okura et al. Free-viewpoint mobile robot teleoperation interface using view-dependent geometry and texture
Xie et al. A Generative Model-Based Predictive Display for Robotic Teleoperation
Täubig et al. Real-time continuous collision detection for mobile manipulators-a general approach
Safia et al. Visual path following by an omnidirectional mobile robot using 2d visual servoing
Ruan The survey of vision-based 3D modeling techniques
Löpez-Damian et al. Probabilistic view planner for 3D modelling indoor environments
CN116958450B (zh) 一种面向二维数据的人体三维重建方法
WO2022087932A1 (en) Non-rigid 3d object modeling using scene flow estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200114

WD01 Invention patent application deemed withdrawn after publication