CN112181135B - 一种基于增强现实的6-dof视触觉交互方法 - Google Patents

一种基于增强现实的6-dof视触觉交互方法 Download PDF

Info

Publication number
CN112181135B
CN112181135B CN202010893239.1A CN202010893239A CN112181135B CN 112181135 B CN112181135 B CN 112181135B CN 202010893239 A CN202010893239 A CN 202010893239A CN 112181135 B CN112181135 B CN 112181135B
Authority
CN
China
Prior art keywords
real
haptic
time
interaction
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010893239.1A
Other languages
English (en)
Other versions
CN112181135A (zh
Inventor
刘佳
郭斌
谢余磊
闫冬
卞方舟
钱昌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010893239.1A priority Critical patent/CN112181135B/zh
Publication of CN112181135A publication Critical patent/CN112181135A/zh
Application granted granted Critical
Publication of CN112181135B publication Critical patent/CN112181135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于增强现实的6‑DOF视触觉交互方法，包括如下步骤：首先采用基于自然特征的方法搭建增强现实环境，然后添加触觉反馈接口，将触觉设备集成到增强现实环境中，通过视触觉空间转换矩阵，将触觉空间转换到真实空间，对场景中的真实触控笔进行虚拟注册，实现视觉与触觉的共址定位；基于触觉设备的前向运动模型提出6‑DOF的视触觉交互方法，在所选自然特征模板上注册虚拟物体，实现虚拟物体与虚拟触控笔间的触觉交互。当发生交互操作时，能在视觉上保持触控笔和虚拟触控笔具有相同的运动姿态，实现更加自然、真实的交互。

Description

一种基于增强现实的6-DOF视触觉交互方法
技术领域
本发明涉及一种视触觉交互的方法，更具体地说是一种基于增强现实的6-DOF视触觉交互方法。
背景技术
增强现实的关键技术有三维跟踪注册技术、虚实融合显示技术和人机交互技术。目前，基于视觉跟踪注册技术收到越来越多的关注，主要可分为基于标识物或自然特征的方法。基于标识的方法是室内增强现实应用中最为常用的跟踪注册方法，如ARToolKit库、ARTag库和SRC库等。但是该方法受标识物的约束，且对光照、遮挡等因素有较为严格的要求。基于自然特征的增强现实技术一般利用自然场景中的点、线，颜色和纹理等图像信息对目标进行实时的检测、匹配与跟踪。基于自然特征的增强现实技术只需要选取场景中的某个图像作为注册目标，从而使渲染的虚实融合场景更加的真实、自然。交互技术是增强现实系统中与显示技术和注册技术密切相关的技术，满足了人们在虚拟和现实世界自然交互的愿望。早期的增强现实研究中，用户只能通过显示设备观看虚实效果，没有太多与外界的交互。但随着计算机性能的提高，仅“显示”的增强现实场景不再能满足用户的需求，多种交互技术在增强现实系统中应用。
目前，增强现实中人机交互技术主要分为四类，分别为基本命令式交互、双手交互、多通道交互和特殊工具交互。人自身具有多种感官感知功能，可以将触觉、听觉、力反馈等作为输出，实现多通道的增强现实交互。在增强现实系统中加入触觉感知，构建视触觉增强现实系统(Visuo-Haptic Augmented Reality，VHAR)，这主要运用了多通道交互方式。VHAR的理念主要是将增强现实技术与触觉相结合，满足用户在增强现实环境中看到并触摸虚拟对象的需求，实现与虚拟对象的触觉交互。触觉增强现实技术已经取得了一些初步的研究和探索。但是，目前的触觉增强现实系统大多是基于标识的增强现实系统中融入触觉反馈，虽然基于标识的触觉增强现实系统为精确交互提供了保障，但是在很大程度上造成了场景的割裂感，且用户通过触觉设备与场景中虚拟对象进行交互时，计算机并未对触觉设备进行合理的“增强”。基于自然特征搭建视触觉融合的增强现实系统，不仅可以对场景进行“增强”，还可以对用于交互的触觉设备进行“增强”，进一步提升交互的真实性。
发明内容
发明目的：为解决利用触觉设备与虚拟对象实现更加自然、真实的交互问题，本发明提出一种基于增强现实的6-DOF视触觉交互方法。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于增强现实的6-DOF视触觉交互方法，包括以下步骤：
步骤1，将触觉设备和相机初始化，在场景中放置自然特征模板a，通过相机实时采集场景图像；对场景图像中模板a进行检测和跟踪，搭建基于自然特征的增强现实系统；
步骤2，获取触控笔的初始姿态信息，构建视触觉空间转换矩阵，通过视触觉空间转换矩阵对场景中的触觉设备末端的真实触控笔进行虚拟注册，并添加触觉反馈接口；
步骤3，基于视触觉空间转换关系将触觉设备的前向运动模型融入触觉交互过程，实时计算触控笔的姿态信息，将触觉设备的运动姿态映射到视觉空间；
步骤4，在场景中放置自然特征模板b，在模板b上注册虚拟物体，对虚拟物体模型进行绘制及渲染，使用步骤2中注册的虚拟触控笔与虚拟物体进行交互，实现触觉交互。
进一步的，所述步骤1，实时采集场景图像，使用ORB算法(Oriented FAST andRotated BRIEF，快速特征点提取和描述的算法)和KTL算法对场景图像中模板a的特征点进行提取、识别、匹配和跟踪，搭建基于自然特征的增强现实系统。
进一步的，所述步骤2，具体包括：
步骤2.1，采集触控笔在世界模板图像上的四个角点位置，分别记录触控笔在触觉空间和世界坐标中的位置，构建视触觉空间转换矩阵；通过刚性转换将触觉空间转换到基于自然特征模板构建的真实世界空间；
步骤2.2，实时检测并计算注册虚拟对象所需要的模型视图矩阵，基于空间转换矩阵和模型视图矩阵对场景中真实触控笔进行虚拟注册。
进一步的，所述步骤2.1中，计算触控笔的绕各个轴的旋转量，用于初始化虚拟触控笔的方向角，补充触控笔的姿态信息，构建数学转换公式：
Figure BDA0002657654290000021
其中
Figure BDA0002657654290000022
代表触控笔在真实世界中的三维坐标，
Figure BDA0002657654290000023
表示触控笔在触觉活动空间的三维坐标，R3×3和t3×1分别表示旋转矩阵和平移向量。
进一步的，所述步骤2.2中，结合刚性转换和方向角设置虚拟触控笔的模型视图矩阵，实现对触控笔的虚拟注册，使用Levenberg-Marquardt算法求解
Figure BDA0002657654290000024
Figure BDA0002657654290000025
获得最优的R3×3和t3×1的值，完成视触觉空间之间的转换，式中N表示分别采集真实世界坐标系中的点数量。
进一步的，所述步骤3中，基于触觉设备的运动学模型推导出触控笔的实时运动状态，θja＝(θ1,θ2,θ3)代表触觉设备的关节角度，θ1,θ2,θ3分别为触觉设备在X,Y,Z轴上的旋转角度，表示触控笔的位置；通过触觉设备上的万向节传感器获得实时旋转角度，θga＝(θ4,θ5,θ6)代表触控笔的绕轴方向角，即触控笔在坐标轴上的实时旋转角，θ4,θ5,θ6分别为触控笔在X,Y,Z轴上的旋转角度，表示触控笔的方位；根据万向节传感器得到绕Y、X和Z轴的实时旋转角，最后获得触控笔在位置和方向上的实时旋转角度；将触觉设备的前向运动模型映射到增强现实空间中，用于视触觉实时交互。
进一步的，所述步骤4，具体为：
根据所拍摄场景中的特征点完成虚拟物体的注册，对虚拟物体模型进行绘制及渲染，在注册完成后利用场景中的触觉设备与虚拟对象进行实时交互，在视觉上的显示为两个虚拟物体间的交互；当发生交互操作时，基于触觉设备的运动模型计算实时的模型视图矩阵，对场景图像和反馈力进行实时的刷新。
进一步的，所述步骤4中，当通过虚拟触控笔与对象进行实时交互时，将虚拟触控笔的实时状态传递交互的对象，并通过模型视图矩阵和投影矩阵将触控笔姿态的实时变化量传递给交互对象；通过触控笔上的按钮获取视触觉交互时触控笔的初始位置和旋转值，基于触控笔的实时移动构建交互对象的移动和旋转的模型视图矩阵，计算实时的旋转量；然后对旋转量进行罗德尼格斯方法构建旋转矩阵，并对其进行齐次操作；基于按下按钮时的旋转矩阵，确定虚拟触控笔相对于初始位置时的旋转变换量；接着将其坐标轴原点移动至交互点并以交互构建坐标轴，将交互点作为旋转和平移的中心点，根据初始位置和实时位置计算实时位移量t，继而根据位移量构建实时的位移转换矩阵，最后将当前的模型视图变换矩阵与实时变换后模型视图矩阵相乘，获得包含旋转和平移的模型视图矩阵，实现将触觉设备的运动姿态传递给交互对象。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明使用基于自然特征的方法搭建增强现实环境，能够满足系统的实时性和稳定性；本发明将触觉设备集成到增强现实环境中，实现了视触觉空间中的触控笔共址协同运动；本发明提出了6-DOF的视触觉融合交互算法，营造了更加真实、自然的人机交互环境。
附图说明
图1是本发明方法的流程图；
图2是自然特征模板a及搭建增强现实环境结果图；
图3是视触觉转换增强现实框架图；
图4是触觉设备的位姿定位图；
图5是触觉设备的运动模型示意图；
图6是视触觉空间转换实时注册效果图；
图7是与注册的虚拟对象进行触觉交互的模型转换图；
图8是通过触觉设备与虚拟对象进行交互图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于增强现实的6-DOF视触觉交互方法，工作流程如图1所示，具体实现包括以下步骤：
步骤1，将自然特征模板a置于真实环境中，自然特征模板a如图2(a)所示。使用相机采集现实场景图像，使用ORB和KTL算法对场景图像中自然特征模板a上的特征点进行提取、识别、匹配和跟踪，搭建基于自然特征的增强现实系统。该算法具有计算速度快、占用空间小和鲁棒性优良的特点，满足增强现实时检测与跟踪的要求。使用基于自然特征的方法搭建增强现实环境结果如图2(b)-2(e)所示，分别展示了算法在旋转、尺度和遮挡情况下的注册结果。
步骤2，获取触控笔的初始姿态信息并求解单应性矩阵，即构建视触觉空间的刚性转换矩阵，进行视触觉空间的转换；通过视触觉空间转换矩阵对场景中的触觉设备末端的真实触控笔进行虚拟注册并融入触觉反馈接口，实现视触觉融合的增强现实环境。
现有的触觉增强现实模型是将触觉空间映射到屏幕坐标系，将虚拟物体与虚拟触笔代理一起注册到增强现实场景中，该方法触觉设备与增强现实环境是分开的，如图3(a)所示。本发明将触觉空间转换到真实空间中，将触觉设备集成到增强现实环境中，如图3(b)所示。假设触觉坐标系中一点的坐标为(Xh,Yh,Zh)T，其在图像坐标系对应的投影点的坐标为(u,v)，在相机坐标系中对应的点的坐标为(Xc,Yc,Zc)T，根据视触觉转换增强现实框架以及增强现实注册流程得出公式(1)：
Figure BDA0002657654290000041
其中dx,dy为每个像素点在图像坐标系的x,y轴方向上的物理尺寸；(u0,v0)为图像坐标系的原点在像素坐标系上的坐标，f为摄像机焦距；由于f,1/dx,1/dy,u0,v0只与摄像头的内部参数有关，称这些参数为摄像头内参。R为绕三个坐标轴的旋转矩阵，T为三维平移向量，[R T]为实时跟踪注册的模型视图矩阵T3；C4×4的矩阵代表触觉空间转换到模板a中的刚性转换矩阵T1；A4×4矩阵表示模板a与相机坐标系之间的关系，即T2，基于[R T]A4×4C4×4完成了视触觉空间的实时转换；
Figure BDA0002657654290000042
为投影矩阵，用于投影成像。
为了完成触觉坐标和世界坐标之间的转换，通过刚性转换的方式进行空间转换。其过程包括：在笛卡尔坐标系中，首先采集触控笔在世界模板图像上的四个角点位置，并分别记录触控笔在触觉空间和世界坐标中的位置，然后通过刚性转换的方式获得视触觉空间位置之间的绝对转换关系，经过刚性转换后，基于模板可以求解出触控笔在世界模板图像中的位置。为了补充触控笔的姿态信息，需要计算触控笔的绕各个轴的旋转量以用于初始化虚拟触控笔的方向角，结合刚性转换和方向角设置虚拟触控笔的模型视图矩阵，最终实现对触控笔的虚拟注册。
根据上述转换过程，构建数学转换过程，如公式(2)：
Figure BDA0002657654290000051
其中
Figure BDA0002657654290000052
代表触控笔在真实世界中的三维坐标，
Figure BDA0002657654290000053
表示触控笔在触觉活动空间的三维坐标，R3×3和t3×1分别表示旋转矩阵和平移向量。为了获得最优的R3×3和t3×1的值，使用Levenberg-Marquardt算法对公式(3)求解，以完成视触觉空间之间的转换。
Figure BDA0002657654290000054
式中N表示分别采集真实世界坐标系中的点数量，1≤N≤4。
通过基于自然特征的增强现实系统进行触觉反馈接口的设计。其过程包括：(1)根据步骤1搭建增强现实环境；(2)在触觉设备工作区的正前方放置自然特征模板a，通过刚性转换实现触觉空间转换到基于自然特征模板a构建的真实世界空间，其中刚性转换矩阵为T1；(3)基于跟踪注册算法实时计算相机相对于自然特征模板a的相对位置，获得模型视图矩阵T2；其中通过T2 -1 T1 -1完成对触觉设备的视觉增强。
步骤3，为了更加真实地通过触觉设备与虚拟对象进行场景交互，将触觉设备的前向运动模型映射到视觉空间中，营造更加直观、自然的交互场景。以触觉设备的前向运动模型为基础，提出6-DOF(六自由度)的视触觉交互方法，基于空间转换关系成功将触觉设备的前向运动模型融入到触觉交互过程中，实时计算基于真实世界中触觉空间与相机的坐标关系，实时跟踪真实触控笔的位姿，使步骤2中注册的虚拟触控笔与真实触控笔在视觉上保持相同的运动姿态。所述空间转换关系指模板(即世界)坐标系、相机坐标系、图像坐标系、触觉空间坐标系这几个坐标系之间的空间转换关系。
图4为触觉设备的位姿定位图，显示了触觉设备的位置参数和旋转参数。触觉设备是一个以运动反馈为目的的机电设备，具有6自由度位置姿态检测和3自由度的力反馈功能。触觉设备的末端执行器是一个笔形状的探针，上面有两个按钮，触觉设备的末端执行器即为触控笔。根据Geomagic Touch触觉设备的运动模型对触控笔位姿进行建模，通过触觉设备的两个关节角进行触控笔的位置求解；另外通过触觉设备的上的三个万向节传感器实时感知触控笔在各个坐标轴上的旋转变化。基于上述描述和对触觉设备的运动模型的认知，根据右手坐标系，对触觉设备定性建模分析，触觉设备的运动模型如图5所示。将触觉设备的机械手臂互相垂直放置，短臂与触控笔相交的地方记为原点，以此建立坐标系。沿短臂方向向上为y轴方向，垂直于短臂指向里为x轴方向，沿触控笔方向向外延伸为z轴方向。基于触觉设备的运动学模型推导出触控笔的实时运动状态HIPpose(θ,l)，如公式(4)所示：
Figure BDA0002657654290000055
其中l＝(l1,l2)代表触觉设备的臂长，l1,l2分别为触觉设备的机械手臂的长臂和短臂的长度，θja＝(θ1,θ2,θ3)代表装置关节角度，θ1,θ2,θ3分别为触觉设备在X,Y,Z轴上的旋转角度，表示触控笔的位置；(l,θja)用于计算触控笔在触觉空间中的位置变化。公式(4)中包含了触控笔的实时位置THIP(θja,l)和旋转变换R123(θja)，如公式(5)和公式(6)：
Figure BDA0002657654290000061
Figure BDA0002657654290000062
为了获得绕轴的角度旋转量，可以通过触觉设备上的万向节传感器获得实时旋转角度，θga＝(θ4,θ5,θ6)代表触控笔的绕轴方向角，即触控笔在坐标轴上的实时旋转角，θ4,θ5,θ6分别为触控笔在X,Y,Z轴上的旋转角度，表示触控笔的方位；根据万向节传感器可得公式(7)：
Figure BDA0002657654290000063
其中R4、R5和R6分别表示绕Y、X和Z轴的实时旋转角。最后可以获得触控笔在位置和方向上的实时旋转角度，如公式(8)：
RHIP(θja，θga)＝R123R4R5R6   (8)
结合公式(7)和(8)可对公式(4)获得：
Figure BDA0002657654290000064
而根据公式(1)和(9)将触觉设备的前向运动模型映射到增强现实空间中以用于视触觉实时交互，6-DOF的视触觉交互公式(10)：
Figure BDA0002657654290000065
其中
Figure BDA0002657654290000066
矩阵完成视触觉空间坐标轴的匹配，从而实现6-DOF视触觉融合的增强现实环境。图6是视触觉空间转换实时注册效果图。
步骤4，在场景放置另一个自然特征模板b，该模板用于注册交互的虚拟对象，其中用于注册的模型视图矩阵为T3；根据所拍摄场景中的模板上的特征点完成虚拟物体的精确注册，使用OpenGL图形库对虚拟物体模型进行绘制和渲染，通过T3 -1 T2 T1求解出用于视触觉交互的转换矩阵。在整个交互场景中，相机、模板a和触觉设备位置实时固定的。用户在注册完成后可以利用场景中的触觉设备与虚拟对象进行实时交互，在视觉上的显示为两个虚拟物体间的交互。当发生交互操作时，基于触觉设备的运动模型计算实时的模型视图矩阵以对场景图像和反馈力进行实时的刷新，并通过模型视图矩阵和投影矩阵将触控笔姿态的实时变化量传递给交互对象。图7展示了与注册的虚拟对象进行触觉交互的模型转换图。
通过触控笔上的按钮获取视触觉交互时触控笔的初始位置
Figure BDA0002657654290000071
旋转值
Figure BDA0002657654290000072
触控笔的实时位置
Figure BDA0002657654290000073
和旋转值
Figure BDA0002657654290000074
其中
Figure BDA0002657654290000075
和
Figure BDA0002657654290000076
分别为在触觉坐标系中的坐标值；
Figure BDA0002657654290000077
和
Figure BDA0002657654290000078
分别为在触觉坐标系中相对于xyz轴的旋转角度。基于触控笔的实时移动构建交互对象的移动和旋转的模型视图矩阵，实时的旋转量
Figure BDA0002657654290000079
公式如(11)：
Figure BDA00026576542900000710
然后对实时的旋转量进行罗德尼格斯方法构建旋转矩阵，并对其进行齐次操作得到A4×4，基于按下按钮时的旋转矩阵，确定虚拟触控笔相对于初始位置时的旋转变换量B4×4，如公式(12)：
B4×4＝Rot4×4·A4×4   (12)
其中
Figure BDA00026576542900000711
为当前交互对象的旋转矩阵，基于公式(12)可以获得交互对象实时旋转变换量。
为了控制交互对象的平移变换，接着需要将其坐标轴原点移动至交互点并以交互构建坐标轴，将交互点作为旋转和平移的中心点，其变换公式用C4×4表示，如公式(13)：
Figure BDA00026576542900000712
根据初始位置和实时位置计算实时位移量t，如公式(14)：
Figure BDA00026576542900000713
继而根据位移量构建实时的位移转换矩阵M4×4：
Figure BDA00026576542900000714
最后将当前的模型视图变换矩阵与实时变换后模型视图矩阵相乘，获得包含旋转和平移的模型视图矩阵，实现将触觉设备的运动姿态传递给交互对象，如上述公式(15)所示。图8展示了通过触觉设备与虚拟对象进行交互图。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于增强现实的6-DOF视触觉交互方法，其特征在于：该方法包括以下步骤：
步骤1，将触觉设备和相机初始化，在场景中放置自然特征模板a，通过相机实时采集场景图像；对场景图像中模板a进行检测和跟踪，搭建基于自然特征的增强现实系统；
步骤2，获取触控笔的初始姿态信息，构建视触觉空间转换矩阵，通过视触觉空间转换矩阵对场景中的触觉设备末端的真实触控笔进行虚拟注册，并添加触觉反馈接口；
步骤2.1，采集触控笔在世界模板图像上的四个角点位置，分别记录触控笔在触觉空间和世界坐标中的位置，构建视触觉空间转换矩阵；通过刚性转换将触觉空间转换到基于自然特征模板构建的真实世界空间；
计算触控笔的绕各个轴的旋转量，用于初始化虚拟触控笔的方向角，补充触控笔的姿态信息，构建数学转换公式：其中代表触控笔在真实世界中的三维坐标，表示触控笔在触觉活动空间的三维坐标，R3×3和t3×1分别表示旋转矩阵和平移向量；
步骤2.2，实时检测并计算注册虚拟对象所需要的模型视图矩阵，基于空间转换矩阵和模型视图矩阵对场景中真实触控笔进行虚拟注册；
结合刚性转换和方向角设置虚拟触控笔的模型视图矩阵，实现对触控笔的虚拟注册，使用Levenberg-Marquardt算法求解获得最优的R3×3和t3×1的值，完成视触觉空间之间的转换，式中N表示分别采集真实世界坐标系中的点数量；
步骤3，基于视触觉空间转换关系将触觉设备的前向运动模型融入触觉交互过程，实时计算触控笔的姿态信息，将触觉设备的运动姿态映射到视觉空间；
步骤4，在场景中放置自然特征模板b，在模板b上注册虚拟物体，对虚拟物体模型进行绘制及渲染，使用步骤2中注册的虚拟触控笔与虚拟物体进行交互，实现触觉交互。
2.根据权利要求1所述的一种基于增强现实的6-DOF视触觉交互方法，其特征在于：所述步骤1，实时采集场景图像，使用ORB算法和KTL算法对场景图像中模板a的特征点进行提取、识别、匹配和跟踪，搭建基于自然特征的增强现实系统。
3.根据权利要求1所述的一种基于增强现实的6-DOF视触觉交互方法，其特征在于：所述步骤3中，基于触觉设备的运动学模型推导出触控笔的实时运动状态，θja＝(θ1,θ2,θ3)代表触觉设备的关节角度，θ1,θ2,θ3分别为触觉设备在X,Y,Z轴上的旋转角度，表示触控笔的位置；通过触觉设备上的万向节传感器获得实时旋转角度，θga＝(θ4,θ5,θ6）代表触控笔的绕轴方向角，即触控笔在坐标轴上的实时旋转角，θ4,θ5,θ6分别为触控笔在X,Y,Z轴上的旋转角度，表示触控笔的方位；根据万向节传感器得到绕Y、X和Z轴的实时旋转角，最后获得触控笔在位置和方向上的实时旋转角度；将触觉设备的前向运动模型映射到增强现实空间中，用于视触觉实时交互。
4.根据权利要求1所述的一种基于增强现实的6-DOF视触觉交互方法，其特征在于：所述步骤4，具体为：
根据所拍摄场景中的特征点完成虚拟物体的注册，对虚拟物体模型进行绘制及渲染，在注册完成后利用场景中的触觉设备与虚拟对象进行实时交互，在视觉上的显示为两个虚拟物体间的交互；当发生交互操作时，基于触觉设备的运动模型计算实时的模型视图矩阵，对场景图像和反馈力进行实时的刷新。
5.根据权利要求4所述的一种基于增强现实的6-DOF视触觉交互方法，其特征在于：所述步骤4中，当通过虚拟触控笔与对象进行实时交互时，将虚拟触控笔的实时状态传递交互的对象，并通过模型视图矩阵和投影矩阵将触控笔姿态的实时变化量传递给交互对象；通过触控笔上的按钮获取视触觉交互时触控笔的初始位置和旋转值，基于触控笔的实时移动构建交互对象的移动和旋转的模型视图矩阵，计算实时的旋转量；然后对旋转量进行罗德尼格斯方法构建旋转矩阵，并对其进行齐次操作；基于按下按钮时的旋转矩阵，确定虚拟触控笔相对于初始位置时的旋转变换量；接着将其坐标轴原点移动至交互点并以交互构建坐标轴，将交互点作为旋转和平移的中心点，根据初始位置和实时位置计算实时位移量t，继而根据位移量构建实时的位移转换矩阵，最后将当前的模型视图变换矩阵与实时变换后模型视图矩阵相乘，获得包含旋转和平移的模型视图矩阵，实现将触觉设备的运动姿态传递给交互对象。
CN202010893239.1A 2020-08-31 2020-08-31 一种基于增强现实的6-dof视触觉交互方法 Active CN112181135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010893239.1A CN112181135B (zh) 2020-08-31 2020-08-31 一种基于增强现实的6-dof视触觉交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010893239.1A CN112181135B (zh) 2020-08-31 2020-08-31 一种基于增强现实的6-dof视触觉交互方法

Publications (2)

Publication Number Publication Date
CN112181135A CN112181135A (zh) 2021-01-05
CN112181135B true CN112181135B (zh) 2023-05-09

Family

ID=73925175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010893239.1A Active CN112181135B (zh) 2020-08-31 2020-08-31 一种基于增强现实的6-dof视触觉交互方法

Country Status (1)

Country Link
CN (1) CN112181135B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415827A (zh) * 2021-12-20 2022-04-29 北京理工大学 一种为虚拟物体提供实体交互的方法、系统及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN109655059A (zh) * 2019-01-09 2019-04-19 武汉大学 一种基于θ-增量学习的视觉-惯性融合导航系统及方法
CN111047947A (zh) * 2019-12-10 2020-04-21 塔普翊海（上海）智能科技有限公司 一种基于ar技术的书写指导器及书写指导方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509468B2 (en) * 2016-01-27 2019-12-17 Tactai, Inc. Providing fingertip tactile feedback from virtual objects
US10740960B2 (en) * 2019-01-11 2020-08-11 Microsoft Technology Licensing, Llc Virtual object placement for augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN109655059A (zh) * 2019-01-09 2019-04-19 武汉大学 一种基于θ-增量学习的视觉-惯性融合导航系统及方法
CN111047947A (zh) * 2019-12-10 2020-04-21 塔普翊海（上海）智能科技有限公司 一种基于ar技术的书写指导器及书写指导方法

Also Published As

Publication number Publication date
CN112181135A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
KR101687017B1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
Zollmann et al. Flyar: Augmented reality supported micro aerial vehicle navigation
JP4768196B2 (ja) ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
Demirdjian et al. 3-d articulated pose tracking for untethered diectic reference
Behringer et al. Augmented Reality: Placing artificial objects in real scenes
EP1376464A1 (en) Image processing device and method therefor and program codes, storing medium
JP4743818B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN110825234A (zh) 一种面向工业场景的投影式增强现实跟踪显示方法和系统
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN110327048A (zh) 一种基于可穿戴式惯性传感器的人体上肢姿态重建系统
CN113689577A (zh) 虚拟三维模型与实体模型匹配的方法、系统、设备及介质
CN112181135B (zh) 一种基于增强现实的6-dof视触觉交互方法
JP3144400B2 (ja) ジェスチャ認識装置及び方法
CN113888723A (zh) 一种超高清诊断级医疗数据mr全景展示系统及方法
Bianchi et al. High-fidelity visuo-haptic interaction with virtual objects in multi-modal AR systems
CN109214295B (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN114840079B (zh) 一种基于手势识别的高铁模拟驾驶动作虚实交互方法
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
Siegl et al. An augmented reality human–computer interface for object localization in a cognitive vision system
CN116958450B (zh) 一种面向二维数据的人体三维重建方法
Varga et al. Survey and investigation of hand motion processing technologies for compliance with shape conceptualization
Wang et al. Study on virtual coordinate measuring machine based on augmented virtuality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant