CN114241134A - 一种基于人机交互的虚实融合三维物体快速碰撞检测系统 - Google Patents

一种基于人机交互的虚实融合三维物体快速碰撞检测系统 Download PDF

Info

Publication number
CN114241134A
CN114241134A CN202111555606.8A CN202111555606A CN114241134A CN 114241134 A CN114241134 A CN 114241134A CN 202111555606 A CN202111555606 A CN 202111555606A CN 114241134 A CN114241134 A CN 114241134A
Authority
CN
China
Prior art keywords
path
dimensional
collision detection
information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111555606.8A
Other languages
English (en)
Inventor
刘翊
王友爱
徐迟
谢锋云
柏兴旺
沈意平
周剑
段辉高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202111555606.8A priority Critical patent/CN114241134A/zh
Publication of CN114241134A publication Critical patent/CN114241134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于人机交互的虚实融合三维物体快速碰撞检测系统，包括预设路径输入、基于偏振光增强深度信息的多视角三维重构模块、多类型目标碰撞检测和路径优化模块；其中预设路径输入模块由运动捕捉系统采集得出一系列在该坐标系下的三维坐标信息和机械臂各关节旋转信息；基于偏振光多视角立体视觉的三维重构模块由4台能够采集3个角度偏振信息的相机对环境信息从多个视角进行采集，多类型目标碰撞检测模块通过在机械臂运动过程中对场景空间中的各种物体根据形状的不同，来进行碰撞检测；路径优化模块是利用基于路径代价的Lazy PRM路径规划。本发明加入多类型包围盒的碰撞检测的机械臂运动可以在复杂环境安全运行，使机械臂躲避碰撞风险。

Description

一种基于人机交互的虚实融合三维物体快速碰撞检测系统
技术领域
本发明涉及人机交互、增强现实、碰撞检测、机器人自主路径优化技术领域，具体为一种基于人机交互的虚实融合三维物体快速碰撞检测系统。
背景技术
随着人们对交互体验的要求不断增强，增强现实(Augmented Reality，AR)应用已获得快速发展，而基于视觉的AR系统因为对硬件要求不高已成为应用主流；在增强现实系统在工业环境中的环境更加复杂，真实物体与虚拟对象进行交互，虚实碰撞问题无可避免；碰撞检测技术可以确定在虚拟世界中以及在对象模型和虚拟场景之间是否存在对象模型的冲突，并可以提供诸如碰撞位置和穿刺深度之类的信息；
因此，将碰撞检测技术应用于增强现实(AR)领域可以检测虚拟物体之间的接触关系，准确的虚实碰撞检测及响应能使AR应用在工业环境中更加安全、真实且自然，从而使安全自由的虚实人机交互成为可能，鉴于此，提出一种基于人机交互的虚实融合三维物体快速碰撞检测系统。
发明内容
本发明的目的在于提供一种基于人机交互的虚实融合三维物体快速碰撞检测系统，根据动作捕捉系统获取示教器运动轨迹，对路径信息转换到相机的世界坐标系；基于多视角和偏振信息对规划的路径中心自适应重构区域内进行实时高精度的焊缝路径环境三维建图，同时，在世界坐标系下构造虚拟机械臂D-H模型，并根据预规划的机械臂运动路径和机器人逆运动学驱动机械臂运动，并同步构造多类型包围盒进行碰撞检测，确定出所述原始规划轨迹中位于障碍物区域内的轨迹片段；根据所处实时轨迹片段对原始运行轨迹进行优化，得到绕过所述障碍物区域的目标运行轨迹。
为实现上述目的，本发明提供如下技术方案：一种基于人机交互的虚实融合三维物体快速碰撞检测系统，包括：
预设路径输入、基于偏振光增强深度信息的多视角三维重构模块、多类型目标碰撞检测和路径优化模块；
其中预设路径输入模块由运动捕捉系统采集得出一系列在该坐标系下的三维坐标信息和机械臂各关节旋转信息；
基于偏振光多视角立体视觉的三维重构模块由4台能够采集3个角度偏振信息的相机对环境信息从多个视角进行采集，系统再对信息处理和三维场景重构，得到的场景三维信息和机械臂三维信息以体素为基本单元，通过八叉树结构存储；
多类型目标碰撞检测模块通过在机械臂运动过程中对场景空间中的各种物体根据形状的不同，使用不同类型包围盒进行包络，来进行碰撞检测；
路径优化模块是利用基于路径代价的Lazy PRM路径规划，离障碍物远的路径代价较小，规划器通过路径代价函数作为启发函数来进行最短路径搜索。
优选的，所述预设路径输入模块为运动捕捉系统下采集得到由操作员手持示教器对焊缝路径进行示教路径规划的三维路径信息，以此信息通过运动捕捉系统坐标系的转换到相机坐标系，进而确定在重构的三维体素空间内机械臂运动的路径。
优选的，所述基于偏振光增强深度信息的多视角三维重构模块，该模块输入的是在多个视点捕获的7个角度的偏振图像，并使用SfM和MVS方法首先用于恢复相机位置以及良好纹理区域的初始三维形状，然后从对应的偏振图像计算每个视图的相位角图φ，并进一步估计其中的方位角φ，以恢复无特征区域的深度，最后将多个视图的深度图融合在一起，恢复完整的三维形状，主要包含初始化和预处理和方位角模糊处理两个部分。
优选的，所述初始化和预处理部分使用Visual SfM来计算每个视图的相机位姿，并使用基于GPU的多视图立体视觉方法Patch Match Stereo重建初始3D形状。
优选的，最小二乘法计算每个视图的相位角图φ。方位角模糊处理部分中π/2模糊度的求解可以表述为图优化中的二值标注问题：
Figure BDA0003418528160000031
优选的，所述多类型目标碰撞检测模块将环境中的障碍物根据形状选择不同的包围盒分为OBB包围盒、球形包围盒和柱体包围盒进行包络，同时每个障碍物外层再进行一次球形包围盒包络。
优选的，所述路径优化模块使用基于路径代价的LazyPRM路径规划器，通过选取预设路径离当前机械臂末端所处位置一个距离合适的点为终点，进行路径查询，若一条路径碰撞检测失败，则会被标记为不可行路径，同时对该路径的代价取其所有点的代价之和，而每个点的代价则根据其与碰撞发生点的距离进行相应的设置，距离越近代价越大。
优选的，在轨迹规划时也设置五次多项式插补进行轨迹的平滑过度，最后将优化后的机械臂末端路径通过OpenGL显示。
本发明提出的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，有益效果在于：本发明基于人机交互的虚实融合三维物体高精度快速碰撞检测系统在真实工业环境下进行示教，提高了机械臂的自主工作的安全性；基于偏振信息的三维重构为操作者提供了高精度的焊缝三维结构图显示，加入多类型包围盒的碰撞检测的机械臂运动可以在复杂环境安全运行，使机械臂躲避碰撞风险。
附图说明
图1为本发明的程序整体框架图；
图2为本发明的系统示意图；
图3为本发明的偏振多视角立体视觉流程图；
图4为本发明的路径优化流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1、请参阅图1-3，本发明提供一种技术方案：一种基于人机交互的虚实融合三维物体快速碰撞检测系统，包括：
预设路径输入、基于偏振光增强深度信息的多视角三维重构模块、多类型目标碰撞检测和路径优化模块；
其中预设路径输入模块由运动捕捉系统采集得出一系列在该坐标系下的三维坐标信息和机械臂各关节旋转信息；
基于偏振光多视角立体视觉的三维重构模块由4台能够采集3个角度偏振信息的相机对环境信息从多个视角进行采集，系统再对信息处理和三维场景重构，得到的场景三维信息和机械臂三维信息以体素为基本单元，通过八叉树结构存储；
多类型目标碰撞检测模块通过在机械臂运动过程中对场景空间中的各种物体根据形状的不同，使用不同类型包围盒进行包络，来进行碰撞检测；
路径优化模块是利用基于路径代价的Lazy PRM路径规划，离障碍物远的路径代价较小，规划器通过路径代价函数作为启发函数来进行最短路径搜索。
更具体的，预设路径输入模块为运动捕捉系统下采集得到由操作员手持示教器对焊缝路径进行示教路径规划的三维路径信息，以此信息通过运动捕捉系统坐标系的转换到相机坐标系，进而确定在重构的三维体素空间内机械臂运动的路径。
更具体的，所述基于偏振光增强深度信息的多视角三维重构模块，该模块输入的是在多个视点捕获的7个角度的偏振图像，并使用SfM和MVS方法首先用于恢复相机位置以及良好纹理区域的初始三维形状，然后从对应的偏振图像计算每个视图的相位角图φ，并进一步估计其中的方位角φ，以恢复无特征区域的深度，最后将多个视图的深度图融合在一起，恢复完整的三维形状，主要包含初始化和预处理和方位角模糊处理两个部分；
初始化和预处理部分使用Visual SfM来计算每个视图的相机位姿，并使用基于GPU的多视图立体视觉方法Patch Match Stereo重建初始3D形状；
用随机值初始化平面参数，再将像素划分为一个“红”和“黑”组在一个棋盘模式，并同时更新所有的黑色和所有的红色，在一个给定的像素点上，可能的更新候选点仅是属于各自的其他(红/黑)组的局部邻域点，在本实施例中选择了20个领域点进行传播，如果在倾斜的支持窗口上降低了成本，就替换之前的值，此外，还将在两个视图之间传播平面，传播是交错与细化的平面参数(使用二分)，在完成对图像所有像素的遍历后，以反向传播方向迭代整个过程，迭代次数固定为8次，在评估匹配成本时，只使用窗口中每隔一行和每列，结果是4倍增益；为了得到最优结果，(1)去除视差图像中两个视差值不一致的像素；(2)扩大附近的平面以填补窟窿；(3)加权中值滤波；就可以计算出深度图，然后将结果融合成一个一致的三维重建；
同时用最小二乘法计算每个视图的相位角图φ，方位角模糊处理部分中π/2模糊度的求解可以表述为图优化中的二值标注问题：
Figure BDA0003418528160000051
用树加权依赖传播来解决这个二值标记问题,即可有效地从估计的相位角中解出π/2模糊度,在π/2模糊度解决后，由偏振估计的方位角与三维物体的真实方位角之间只存在π模糊度,为了解决π模糊度，利用方位角(带有π模糊)进行深度估计，从一组初始化时估算出可靠深度的稀疏点中追踪深度等值线；这将把深度从可靠区域稀疏点传播到无特征区域，为了跟踪等深度轮廓，从P_+中选择N＝2000像素(即具有可靠的深度)作为种子点，沿着垂直于方位角的φ_p的两个方向跟踪它们，使用0.5像素的步长进行跟踪；由于跟踪在深度不连续处是不精确的，一旦两个相邻像素之间的方位角变化大于阈值π/6，就停止跟踪；在许多情况下，跟踪可以传播P_-中的大多数像素的深度；然而，对于无特征区域较大或几何形状复杂的场景，跟踪后仍可能存在深度不可靠的像素；
为了进一步优化所有像素的深度，通过最小化：
Figure BDA0003418528160000061
来解决深度映射d(x,y)；
得到校正深度图后，根据相机内参得到相机坐标系下顶点图，由当前帧的转换矩阵将顶点图转换到世界坐标系下的点云图，由人机交互得到的预设路径对点云图截取一个沿示教路径自适应半径的球形点云空间，对点云处理后根据相机位置姿态和更新的体素八叉树值，融合点云，并显示焊缝高精度三维表面模型。
更具体的，多类型包围盒碰撞检测，由于真实环境中存在各种各样的障碍物，故将环境中的障碍物根据形状选择不同的包围盒分为OBB包围盒、球形包围盒和柱体包围盒进行包络，同时每个障碍物外层再进行一次球形包围盒包络；这样做的理由是：球体包围盒所需的存储空间小，只需要球心坐标和球体半径即能够唯一确定一个球，并且球体包围盒计算简单，可以快速地计算出机械臂工作空间内障碍物与机械臂连杆之间的距离，从而排除掉远离机械臂的障碍物，而将关注点集中与机械臂周围距离较近的障碍物中；机械臂使用OBB包围盒包络，当机械臂连杆与障碍物外层包围盒发生碰撞时，则将机械臂与内层更精确的包围盒进行碰撞检测，而进行机械臂碰撞检测时需要满足以下碰撞约束：
Figure BDA0003418528160000071
更具体的，由于路径预设模块仅仅得到了不考虑避障的路径，所以在机械臂运行过程中进行碰撞检测后需要进一步优化出局部的避障路径；在当前路径运行过程中，障碍物如若进入机械臂运行范围内，则进入局部避障路径规划，使用基于路径代价的LazyPRM路径规划器，通过选取预设路径离当前机械臂末端所处位置一个距离合适的点为终点，进行路径查询，如果一条路径碰撞检测失败，则会被标记为不可行路径，同时对该路径的代价取其所有点的代价之和，而每个点的代价则根据其与碰撞发生点的距离进行相应的设置，距离越近代价越大；同时，在轨迹规划时也设置五次多项式插补进行轨迹的平滑过度，最后将优化后的机械臂末端路径通过OpenGL显示。
综上所述，本发明基于多视角偏振信息的三维重构系统，可以自适应选择目标路径附近的重构范围，同时对该路径范围内的焊缝进行高精度的三维重构及显示；基于多类型包围盒的碰撞检测系统，通过对机械臂三维模型的移动，进行环境物体多类型包围盒的构建，并进行碰撞检测；通过基于路径代价的路径优化器，得出平滑的避障路径；对工业机器人应用场景的高精度三维重构，机械臂末端运动路径高亮显示。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于，包括：
预设路径输入、基于偏振光增强深度信息的多视角三维重构模块、多类型目标碰撞检测和路径优化模块；
其中预设路径输入模块由运动捕捉系统采集得出一系列在该坐标系下的三维坐标信息和机械臂各关节旋转信息；
基于偏振光多视角立体视觉的三维重构模块由4台能够采集3个角度偏振信息的相机对环境信息从多个视角进行采集，系统再对信息处理和三维场景重构，得到的场景三维信息和机械臂三维信息以体素为基本单元，通过八叉树结构存储；
多类型目标碰撞检测模块通过在机械臂运动过程中对场景空间中的各种物体根据形状的不同，使用不同类型包围盒进行包络，来进行碰撞检测；
路径优化模块是利用基于路径代价的Lazy PRM路径规划，离障碍物远的路径代价较小，规划器通过路径代价函数作为启发函数来进行最短路径搜索。
2.根据权利要求1所述的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于：所述预设路径输入模块为运动捕捉系统下采集得到由操作员手持示教器对焊缝路径进行示教路径规划的三维路径信息，以此信息通过运动捕捉系统坐标系的转换到相机坐标系，进而确定在重构的三维体素空间内机械臂运动的路径。
3.根据权利要求1所述的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于：所述基于偏振光增强深度信息的多视角三维重构模块，该模块输入的是在多个视点捕获的7个角度的偏振图像，并使用SfM和MVS方法首先用于恢复相机位置以及良好纹理区域的初始三维形状，然后从对应的偏振图像计算每个视图的相位角图φ，并进一步估计其中的方位角φ，以恢复无特征区域的深度，最后将多个视图的深度图融合在一起，恢复完整的三维形状，主要包含初始化和预处理和方位角模糊处理两个部分。
4.根据权利要求3所述的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于：所述初始化和预处理部分使用Visual SfM来计算每个视图的相机位姿，并使用基于GPU的多视图立体视觉方法Patch Match Stereo重建初始3D形状。
5.根据权利要求3所述的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于：最小二乘法计算每个视图的相位角图φ。方位角模糊处理部分中π/2模糊度的求解可以表述为图优化中的二值标注问题：
Figure FDA0003418528150000021
6.根据权利要求1所述的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于：所述多类型目标碰撞检测模块将环境中的障碍物根据形状选择不同的包围盒分为OBB包围盒、球形包围盒和柱体包围盒进行包络，同时每个障碍物外层再进行一次球形包围盒包络。
7.根据权利要求1所述的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于：所述路径优化模块使用基于路径代价的LazyPRM路径规划器，通过选取预设路径离当前机械臂末端所处位置一个距离合适的点为终点，进行路径查询，若一条路径碰撞检测失败，则会被标记为不可行路径，同时对该路径的代价取其所有点的代价之和，而每个点的代价则根据其与碰撞发生点的距离进行相应的设置，距离越近代价越大。
8.根据权利要求7所述的一种基于人机交互的虚实融合三维物体快速碰撞检测系统，其特征在于：在轨迹规划时也设置五次多项式插补进行轨迹的平滑过度，最后将优化后的机械臂末端路径通过OpenGL显示。
CN202111555606.8A 2021-12-17 2021-12-17 一种基于人机交互的虚实融合三维物体快速碰撞检测系统 Pending CN114241134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111555606.8A CN114241134A (zh) 2021-12-17 2021-12-17 一种基于人机交互的虚实融合三维物体快速碰撞检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111555606.8A CN114241134A (zh) 2021-12-17 2021-12-17 一种基于人机交互的虚实融合三维物体快速碰撞检测系统

Publications (1)

Publication Number Publication Date
CN114241134A true CN114241134A (zh) 2022-03-25

Family

ID=80758415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111555606.8A Pending CN114241134A (zh) 2021-12-17 2021-12-17 一种基于人机交互的虚实融合三维物体快速碰撞检测系统

Country Status (1)

Country Link
CN (1) CN114241134A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409871A (zh) * 2022-10-31 2022-11-29 浙江中测新图地理信息技术有限公司 一种基于位置智能的三维场景虚实交互方法及装置
CN117162098A (zh) * 2023-10-07 2023-12-05 合肥市普适数孪科技有限公司 一种狭小空间机器人姿态自主规划系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409871A (zh) * 2022-10-31 2022-11-29 浙江中测新图地理信息技术有限公司 一种基于位置智能的三维场景虚实交互方法及装置
CN117162098A (zh) * 2023-10-07 2023-12-05 合肥市普适数孪科技有限公司 一种狭小空间机器人姿态自主规划系统及方法
CN117162098B (zh) * 2023-10-07 2024-05-03 合肥市普适数孪科技有限公司 一种狭小空间机器人姿态自主规划系统及方法

Similar Documents

Publication Publication Date Title
CN109416843B (zh) 实时高度映射
Broggi et al. Terrain mapping for off-road autonomous ground vehicles using rational b-spline surfaces and stereo vision
CN114241134A (zh) 一种基于人机交互的虚实融合三维物体快速碰撞检测系统
US20150145965A1 (en) Stereo auto-calibration from structure-from-motion
CN109242873A (zh) 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN104661010A (zh) 三维立体模型的建立方法和装置
CN111882668B (zh) 一种多视角立体对象重建方法与系统
Li et al. Dense surface reconstruction from monocular vision and LiDAR
EP3293700A1 (en) 3d reconstruction for vehicle
Ding et al. Fusing structure from motion and lidar for dense accurate depth map estimation
Alcantarilla et al. Large-scale dense 3D reconstruction from stereo imagery
CN113031597A (zh) 一种基于深度学习和立体视觉的自主避障方法
Pacheco et al. Reconstruction of high resolution 3D objects from incomplete images and 3D information
Song et al. Active 3D modeling via online multi-view stereo
Kim et al. Recursive estimation of motion and a scene model with a two-camera system of divergent view
Hung et al. Multipass hierarchical stereo matching for generation of digital terrain models from aerial images
Huber et al. Real-time photo-realistic visualization of 3D environments for enhanced tele-operation of vehicles
Okura et al. Free-viewpoint mobile robot teleoperation interface using view-dependent geometry and texture
JP2013518340A (ja) 自動化された三次元マッピング法
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
Cobzas et al. Cylindrical panoramic image-based model for robot localization
US20220377973A1 (en) Method and apparatus for modeling an environment proximate an autonomous system
CN113850293A (zh) 基于多源数据和方向先验联合优化的定位方法
Sato et al. Omnidirectional free-viewpoint rendering using a deformable 3-d mesh model
CN111915740A (zh) 一种快速的三维图像获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination