CN109471521A - Ar环境下的虚实遮挡交互方法及系统 - Google Patents

Ar环境下的虚实遮挡交互方法及系统 Download PDF

Info

Publication number
CN109471521A
CN109471521A CN201811032771.3A CN201811032771A CN109471521A CN 109471521 A CN109471521 A CN 109471521A CN 201811032771 A CN201811032771 A CN 201811032771A CN 109471521 A CN109471521 A CN 109471521A
Authority
CN
China
Prior art keywords
camera
hand
scene
dummy object
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811032771.3A
Other languages
English (en)
Inventor
高明柯
白利娟
李旭波
夏定江
崔璨
邵培南
周燕琼
王熠
房家骥
王梦童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 32 Research Institute
Original Assignee
CETC 32 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 32 Research Institute filed Critical CETC 32 Research Institute
Priority to CN201811032771.3A priority Critical patent/CN109471521A/zh
Publication of CN109471521A publication Critical patent/CN109471521A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明提供了一种AR环境下的虚实遮挡交互方法及系统，包括：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景；使用体感控制器在AR融合场景中实现手与虚拟物体的交互；使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系；将AR融合场景中虚拟手与真实手重叠放置；计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度；在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。本发明既可以实现手与虚拟物体的直接交互，又可实现手与虚拟物体之间的正确遮挡关系。

Description

AR环境下的虚实遮挡交互方法及系统
技术领域
本发明涉及图像处理技术领域，具体地，涉及AR环境下的虚实遮挡交互方法及系统。
背景技术
随着增强现实(Augmented Reality，AR)在技术研究与产品领域的大幅度发展，AR已经成功走进人们的视野并且赢得了广泛关注。根据Ronald Azuma定义的AR的三维注册、虚实结合、实时交互三个特点，虚拟物体的精确注册跟踪、虚实无缝融合的显示、用户与场景之间的实时交互决定了AR系统的真实感、沉浸感以及交互性。
随着计算机技术与多媒体技术的发展,人们追求着更加便捷自然的交互方式,传统的鼠标键盘交互方式已经不能满足人们的需要。直接通过裸手进行自然交互的方式,更符合人们日常的行为习惯。近年国内外学者采用裸手进行直接交互的相关技术设计增强现实系统的相关工作较少。如何通过裸手与虚拟模型进行直接交互，是增强现实系统中一个热点难点问题。中国专利103955267 A公开了一种双手人机交互方法,摆脱了键盘、鼠标、触摸板等传统的人机交互方式，然而其依赖于数据手套中的磁力跟踪传感器，不够经济方便,同时也并不能算一种严格意义上的裸手自然交互方法。中国专利104765448 A实现了在AR环境下通过手与真实世界中虚拟模型自然交互，从而控制虚拟物体移动、旋转以及大小。中国专利1047430437 A实现了一种使用一只或多只手在三维感知空间中的真实运动来实际旋转虚拟对象的方法。上述方法均没有涉及手与虚拟物体进行触碰交互，因此交互过程中无需虚实遮挡处理。中国专利CN 206848951 U发明了一种AR交互系统，借助一个普通摄像头Leap motion，使用现实中的手在AR环境下的虚拟世界中进行各种虚拟实验。但是该方法没有在真实世界中实现手与虚拟物体之间的正确遮挡关系。错误的遮挡关系即在观察视角下，当用户的手在虚拟物体的前面时，手一直被虚拟物体遮挡；正确的遮挡关系即根据手与虚拟物体在真实空间中的位置关系，渲染出手遮挡虚拟物体的场景。错误的遮挡关系，会给用户造成虚实物体之间相对位置失真的错觉以及在深度感知上的错乱，降低了融合场景的真实感。
虚实遮挡：由于AR融合场景中虚拟物体简单注册，无论真实物体怎么移动，虚拟物体始终遮挡着真实物体。错误的遮挡关系即在观察视角下，当用户的手在虚拟物体的前面时，手一直被虚拟物体遮挡；正确的遮挡关系即根据手与虚拟物体在真实空间中的位置关系，渲染出手遮挡虚拟物体的场景。错误的遮挡关系，会给用户造成虚实物体之间相对位置失真的错觉以及在深度感知上的错乱，降低了融合场景的真实感。通过实现正确处理虚实物体间的遮挡关系构造具有更自然、真实、高度沉浸感的融合场景，增加用户对场景的临场感。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种AR环境下的虚实遮挡交互方法及系统。
根据本发明提供的一种AR环境下的虚实遮挡交互方法，包括：
AR融合场景构建步骤：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景；
交互建立步骤：使用体感控制器在AR融合场景中实现手与虚拟物体的交互；
标定步骤：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系；
重叠步骤：将AR融合场景中虚拟手与真实手重叠放置；
深度计算步骤：计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度；
遮挡步骤：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。
较佳的，所述AR融合场景构建步骤包括：
S101、将Vuforia的SDK导入到Unity，删除Unity自带的相机，将ARCamera、ImageTarget拖至场景中，调整ARCamera相机位置；
S102、把预备的识别图上传到Unity内部的图片库，创建一个新的Database，添加Target，设置Image Target Behaviour组件的Data Set属性，选中识别图，得到Unity资源包；
S103、将Unity资源包导入工程，在ImageTarget组件上的Image TargetBehaviour上选中识别图；
S104、设置ARCamera相机，添加AR模型，并设置AR模型的位置，利用摄像头拍摄真实场景，通过获取识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
较佳的，所述交互建立步骤包括：
把体感控制器的SDK导入到Unity中，并将LeapHandController拖至场景中ARCamera相机的前方，新建一个GestureInteraction脚本，实现手与虚拟物体的交互。
较佳的，所述标定步骤包括：
使用摄像头和体感控制器分别从不同位置同时拍摄棋盘格标定板多次，通过双目标定工具得到摄像头和体感控制器之间的转换矩阵P以及摄像头的外参矩阵Tcm；
虚拟手在体感控制器坐标系的三维坐标值(Xv，Yv，Zv)、真实手在摄像机坐标系中的三维坐标值(XRC，YRC，ZRC)以及真实手在虚拟世界坐标系中的坐标值(XRW，YRW，ZRW)之间的关系如下：
(XRW，YRW，ZRW)＝Tcm·(XRC，YRC，ZRC)＝Tcm·P·(Xv，Yv，Zv)。
根据本发明提供的一种AR环境下的虚实遮挡交互系统，包括：
AR融合场景构建模块：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景；
交互建立模块：使用体感控制器在AR融合场景中实现手与虚拟物体的交互；
标定模块：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系；
重叠模块：将AR融合场景中虚拟手与真实手重叠放置；
深度计算模块：计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度；
遮挡模块：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。
较佳的，所述AR融合场景构建模块包括：
将Vuforia的SDK导入到Unity，删除Unity自带的相机，将ARCamera、ImageTarget拖至场景中，调整ARCamera相机位置；
把预备的识别图上传到Unity内部的图片库，创建一个新的Database，添加Target，设置Image Target Behaviour组件的Data Set属性，选中识别图，得到Unity资源包；
将Unity资源包导入工程，在ImageTarget组件上的Image Target Behaviour上选中识别图；
设置ARCamera相机，添加AR模型，并设置AR模型的位置，利用摄像头拍摄真实场景，通过获取识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
较佳的，所述交互建立模块包括：
把体感控制器的SDK导入到Unity中，并将LeapHandController拖至场景中ARCamera相机的前方，新建一个GestureInteraction脚本，实现手与虚拟物体的交互。
较佳的，所述标定模块包括：
使用摄像头和体感控制器分别从不同位置同时拍摄棋盘格标定板多次，通过双目标定工具得到摄像头和体感控制器之间的转换矩阵P以及摄像头的外参矩阵Tcm；
虚拟手在体感控制器坐标系的三维坐标值(Xv，Yv，Zv)、真实手在摄像机坐标系中的三维坐标值(XRC，YRC，ZRC)以及真实手在虚拟世界坐标系中的坐标值(XRW，YRW，ZRW)之间的关系如下：
(XRW，YRW，ZRW)＝Tcm·(XRC，YRC，ZRC)＝Tcm·P·(Xv，Yv，Zv)。
与现有技术相比，本发明具有如下的有益效果：
本发明既可以实现手与虚拟物体的直接交互，如移动、旋转、缩放虚拟物体，又可实现手与虚拟物体之间的正确遮挡关系。本发明克服了以往方法中手与虚拟物体交互过程中的错误遮挡关系给用户造成的错乱深度感知，也增强了融合场景的真实感，带给用户更贴近生活的交互体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程图；
图2为本发明的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的一种AR环境下的虚实遮挡交互方法，包括：
AR融合场景构建步骤：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
具体的，AR融合场景构建步骤包括：
S101、将Vuforia的SDK导入到Unity，删除Unity自带的相机，将ARCamera、ImageTarget拖至场景中，调整ARCamera相机位置；
S102、把预备的识别图上传到Unity内部的图片库，创建一个新的Database，添加Target，设置Image Target Behaviour组件的Data Set属性，选中识别图，得到Unity资源包；
S103、将Unity资源包导入工程，在ImageTarget组件上的Image TargetBehaviour上选中识别图；
S104、设置ARCamera相机，添加AR模型，并设置AR模型的位置，利用摄像头拍摄真实场景，通过获取识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
交互建立步骤：使用体感控制器在AR融合场景中实现手与虚拟物体的交互。把体感控制器的SDK导入到Unity中，并将LeapHandController拖至场景中ARCamera相机的前方，新建一个GestureInteraction脚本，实现手与虚拟物体的交互。
标定步骤：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系。使用摄像头和体感控制器分别从不同位置同时拍摄棋盘格标定板多次，通过双目标定工具得到摄像头和体感控制器之间的转换矩阵P以及摄像头的外参矩阵Tcm；虚拟手在体感控制器坐标系的三维坐标值(Xv，Yv，Zv)、真实手在摄像机坐标系中的三维坐标值(XRC，YRC，ZRC)以及真实手在虚拟世界坐标系中的坐标值(XRW，YRW，ZRW)之间的关系如下：
(XRW，YRW，ZRW)＝Tcm·(XRC，YRC，ZRC)＝Tcm·P·(Xv，Yv，Zv)。
重叠步骤：将AR融合场景中虚拟手与真实手重叠放置。
深度计算步骤：结合虚拟物体在虚拟世界坐标系中注册位置的三维坐标(Xvo，Yvo，Zvo)与真实手的三维坐标(XRW，YRW，ZRW)计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度。
遮挡步骤：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。如果真实手的深度值大于虚拟物体的深度值，则真实物体处于虚拟物体后面，无需处理就可实现其正确遮挡关系。如果真实手的深度值小于虚拟物体的深度值，则真实手处于虚拟物体前面，此时虚拟物体经过渲染后被虚拟手遮挡，实现了正确的“虚虚”关系，由于真实手与虚拟手是重叠放置的，将虚拟手消隐之后，真实手仍遮挡虚拟手，间接实现了真实手与虚拟物体间的正确遮挡，并且在手与虚拟物体间的交互过程中始终保持着正确的遮挡关系。
如图2所示，在上述一种AR环境下的虚实遮挡交互方法的基础上，本发明还提供一种AR环境下的虚实遮挡交互系统，包括：
AR融合场景构建模块：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
具体的，AR融合场景构建模块包括：
S101、将Vuforia的SDK导入到Unity，删除Unity自带的相机，将ARCamera、ImageTarget拖至场景中，调整ARCamera相机位置；
S102、把预备的识别图上传到Unity内部的图片库，创建一个新的Database，添加Target，设置Image Target Behaviour组件的Data Set属性，选中识别图，得到Unity资源包；
S103、将Unity资源包导入工程，在ImageTarget组件上的Image TargetBehaviour上选中识别图；
S104、设置ARCamera相机，添加AR模型，并设置AR模型的位置，利用摄像头拍摄真实场景，通过获取识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
交互建立模块：使用体感控制器在AR融合场景中实现手与虚拟物体的交互。把体感控制器的SDK导入到Unity中，并将LeapHandController拖至场景中ARCamera相机的前方，新建一个GestureInteraction脚本，实现手与虚拟物体的交互。
标定模块：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系。使用摄像头和体感控制器分别从不同位置同时拍摄棋盘格标定板多次，通过双目标定工具得到摄像头和体感控制器之间的转换矩阵P以及摄像头的外参矩阵Tcm；虚拟手在体感控制器坐标系的三维坐标值(Xv，Yv，Zv)、真实手在摄像机坐标系中的三维坐标值(XRC，YRC，ZRC)以及真实手在虚拟世界坐标系中的坐标值(XRW，YRW，ZRW)之间的关系如下：
(XRW，YRW，ZRW)＝Tcm·(XRC，YRC，ZRC)＝Tcm·P·(Xv，Yv，Zv)。
重叠模块：将AR融合场景中虚拟手与真实手重叠放置。
深度计算模块：结合虚拟物体在虚拟世界坐标系中注册位置的三维坐标(Xvo，Yvo，Zvo)与真实手的三维坐标(XRW，YRW，ZRW)计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度。
遮挡模块：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。如果真实手的深度值大于虚拟物体的深度值，则真实物体处于虚拟物体后面，无需处理就可实现其正确遮挡关系。如果真实手的深度值小于虚拟物体的深度值，则真实手处于虚拟物体前面，此时虚拟物体经过渲染后被虚拟手遮挡，实现了正确的“虚虚”关系，由于真实手与虚拟手是重叠放置的，将虚拟手消隐之后，真实手仍遮挡虚拟手，间接实现了真实手与虚拟物体间的正确遮挡，并且在手与虚拟物体间的交互过程中始终保持着正确的遮挡关系。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种AR环境下的虚实遮挡交互方法，其特征在于，包括：
AR融合场景构建步骤：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景；
交互建立步骤：使用体感控制器在AR融合场景中实现手与虚拟物体的交互；
标定步骤：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系；
重叠步骤：将AR融合场景中虚拟手与真实手重叠放置；
深度计算步骤：计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度；
遮挡步骤：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。
2.根据权利要求1所述的AR环境下的虚实遮挡交互方法，其特征在于，所述AR融合场景构建步骤包括：
S101、将Vuforia的SDK导入到Unity，删除Unity自带的相机，将ARCamera、ImageTarget拖至场景中，调整ARCamera相机位置；
S102、把预备的识别图上传到Unity内部的图片库，创建一个新的Database，添加Target，设置Image Target Behaviour组件的Data Set属性，选中识别图，得到Unity资源包；
S103、将Unity资源包导入工程，在ImageTarget组件上的Image Target Behaviour上选中识别图；
S104、设置ARCamera相机，添加AR模型，并设置AR模型的位置，利用摄像头拍摄真实场景，通过获取识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
3.根据权利要求2所述的AR环境下的虚实遮挡交互方法，其特征在于，所述交互建立步骤包括：
把体感控制器的SDK导入到Unity中，并将LeapHandController拖至场景中ARCamera相机的前方，新建一个GestureInteraction脚本，实现手与虚拟物体的交互。
4.根据权利要求1所述的AR环境下的虚实遮挡交互方法，其特征在于，所述标定步骤包括：
使用摄像头和体感控制器分别从不同位置同时拍摄棋盘格标定板多次，通过双目标定工具得到摄像头和体感控制器之间的转换矩阵P以及摄像头的外参矩阵Tcm；
虚拟手在体感控制器坐标系的三维坐标值(Xv，Yv，Zv)、真实手在摄像机坐标系中的三维坐标值(XRC，YRC，ZRC)以及真实手在虚拟世界坐标系中的坐标值(XRW，YRW，ZRW)之间的关系如下：
(XRW，YRW，ZRW)＝Tcm(XRC，YRC，ZRC)＝Tcm·P·(Xv，Yv，Zv)。
5.一种AR环境下的虚实遮挡交互系统，其特征在于，包括：
AR融合场景构建模块：通过摄像头拍摄真实场景，获取真实场景中识别图的自然特征点实现虚拟物体的注册，得到AR融合场景；
交互建立模块：使用体感控制器在AR融合场景中实现手与虚拟物体的交互；
标定模块：使用棋盘格标定板对体感控制器与摄像头进行标定，得到体感控制器与摄像头位置之间的位置关系；
重叠模块：将AR融合场景中虚拟手与真实手重叠放置；
深度计算模块：计算虚拟世界坐标系中虚拟物体和真实手距离摄像机的深度；
遮挡模块：在真实手的深度小于虚拟物体的深度的情况下，虚拟物体经过渲染后被虚拟手遮挡。
6.根据权利要求5所述的AR环境下的虚实遮挡交互系统，其特征在于，所述AR融合场景构建模块包括：
将Vuforia的SDK导入到Unity，删除Unity自带的相机，将ARCamera、ImageTarget拖至场景中，调整ARCamera相机位置；
把预备的识别图上传到Unity内部的图片库，创建一个新的Database，添加Target，设置Image Target Behaviour组件的Data Set属性，选中识别图，得到Unity资源包；
将Unity资源包导入工程，在ImageTarget组件上的Image Target Behaviour上选中识别图；
设置ARCamera相机，添加AR模型，并设置AR模型的位置，利用摄像头拍摄真实场景，通过获取识别图的自然特征点实现虚拟物体的注册，得到AR融合场景。
7.根据权利要求6所述的AR环境下的虚实遮挡交互系统，其特征在于，所述交互建立模块包括：
把体感控制器的SDK导入到Unity中，并将LeapHandController拖至场景中ARCamera相机的前方，新建一个GestureInteraction脚本，实现手与虚拟物体的交互。
8.根据权利要求5所述的AR环境下的虚实遮挡交互系统，其特征在于，所述标定模块包括：
使用摄像头和体感控制器分别从不同位置同时拍摄棋盘格标定板多次，通过双目标定工具得到摄像头和体感控制器之间的转换矩阵P以及摄像头的外参矩阵Tcm；
虚拟手在体感控制器坐标系的三维坐标值(Xv，Yv，Zv)、真实手在摄像机坐标系中的三维坐标值(XRC，YRC，ZRC)以及真实手在虚拟世界坐标系中的坐标值(XRW，YRW，ZRW)之间的关系如下：
(XRW，YRW，ZRW)＝Tcm·(XRC，YRC，ZRC)＝Tcm·P·(Xv，Yv，Zv)。
CN201811032771.3A 2018-09-05 2018-09-05 Ar环境下的虚实遮挡交互方法及系统 Pending CN109471521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811032771.3A CN109471521A (zh) 2018-09-05 2018-09-05 Ar环境下的虚实遮挡交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811032771.3A CN109471521A (zh) 2018-09-05 2018-09-05 Ar环境下的虚实遮挡交互方法及系统

Publications (1)

Publication Number Publication Date
CN109471521A true CN109471521A (zh) 2019-03-15

Family

ID=65663008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811032771.3A Pending CN109471521A (zh) 2018-09-05 2018-09-05 Ar环境下的虚实遮挡交互方法及系统

Country Status (1)

Country Link
CN (1) CN109471521A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110264568A (zh) * 2019-06-21 2019-09-20 网易（杭州）网络有限公司 一种三维虚拟模型交互方法和装置
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法
CN111462339A (zh) * 2020-03-30 2020-07-28 网易（杭州）网络有限公司 增强现实中的显示方法和装置、介质和电子设备
CN111727924A (zh) * 2020-07-14 2020-10-02 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
WO2020207191A1 (zh) * 2019-04-12 2020-10-15 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN111899293A (zh) * 2020-09-29 2020-11-06 成都索贝数码科技股份有限公司 Ar应用中的虚实遮挡处理方法
CN113268139A (zh) * 2021-04-14 2021-08-17 佛山科学技术学院 一种面向虚拟实验的虚实物体自然交互方法和系统
CN113593049A (zh) * 2021-07-27 2021-11-02 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
WO2022040970A1 (zh) * 2020-08-26 2022-03-03 南京翱翔信息物理融合创新研究院有限公司 一种同步实现三维重建和ar虚实注册的方法、系统及装置
CN114863072A (zh) * 2022-05-16 2022-08-05 聚好看科技股份有限公司 一种交互系统中虚拟人物的定位方法及设备
CN115830112A (zh) * 2022-11-25 2023-03-21 之江实验室 一种基于手持实物的混合现实交互方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宁亚楠: "基于Leap Motion的手势识别在虚拟沙画中的应用研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
袁蔚等: "《虚拟仿真与游戏开发实用教程》", 30 April 2015 *
陆佳辉: "基于视觉的增强现实关键技术研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220036648A1 (en) * 2019-04-12 2022-02-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and terminal device for determining occluded area of virtual object
WO2020207191A1 (zh) * 2019-04-12 2020-10-15 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN111815755B (zh) * 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US11842438B2 (en) 2019-04-12 2023-12-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and terminal device for determining occluded area of virtual object
CN111815755A (zh) * 2019-04-12 2020-10-23 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US11762475B2 (en) 2019-05-13 2023-09-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. AR scenario-based gesture interaction method, storage medium, and communication terminal
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
WO2020228644A1 (zh) * 2019-05-13 2020-11-19 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110264568B (zh) * 2019-06-21 2023-07-25 网易（杭州）网络有限公司 一种三维虚拟模型交互方法和装置
CN110264568A (zh) * 2019-06-21 2019-09-20 网易（杭州）网络有限公司 一种三维虚拟模型交互方法和装置
CN111161422A (zh) * 2019-12-13 2020-05-15 广东电网有限责任公司 一种用于增强虚拟场景实现的模型展示方法
CN111462339A (zh) * 2020-03-30 2020-07-28 网易（杭州）网络有限公司 增强现实中的显示方法和装置、介质和电子设备
CN111462339B (zh) * 2020-03-30 2023-08-08 网易（杭州）网络有限公司 增强现实中的显示方法和装置、介质和电子设备
CN111727924B (zh) * 2020-07-14 2022-03-18 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
CN111727924A (zh) * 2020-07-14 2020-10-02 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
WO2022040970A1 (zh) * 2020-08-26 2022-03-03 南京翱翔信息物理融合创新研究院有限公司 一种同步实现三维重建和ar虚实注册的方法、系统及装置
CN111899293A (zh) * 2020-09-29 2020-11-06 成都索贝数码科技股份有限公司 Ar应用中的虚实遮挡处理方法
CN113268139A (zh) * 2021-04-14 2021-08-17 佛山科学技术学院 一种面向虚拟实验的虚实物体自然交互方法和系统
CN113593049B (zh) * 2021-07-27 2023-08-04 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113593049A (zh) * 2021-07-27 2021-11-02 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN114863072A (zh) * 2022-05-16 2022-08-05 聚好看科技股份有限公司 一种交互系统中虚拟人物的定位方法及设备
CN115830112A (zh) * 2022-11-25 2023-03-21 之江实验室 一种基于手持实物的混合现实交互方法和系统
CN115830112B (zh) * 2022-11-25 2023-09-22 之江实验室 一种基于手持实物的混合现实交互方法和系统

Similar Documents

Publication Publication Date Title
CN109471521A (zh) Ar环境下的虚实遮挡交互方法及系统
Mueller et al. Real-time hand tracking under occlusion from an egocentric rgb-d sensor
Guo et al. Image retargeting using mesh parametrization
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20130222427A1 (en) System and method for implementing interactive augmented reality
CN104050859A (zh) 可交互数字化立体沙盘系统
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN110163942B (zh) 一种图像数据处理方法和装置
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
CN104656893B (zh) 一种信息物理空间的远程交互式操控系统及方法
CN106504339A (zh) 基于虚拟现实的文物3d展示方法
US20150002419A1 (en) Recognizing interactions with hot zones
GB2583848A (en) Virtualization of tangible interface objects
CN102945564A (zh) 基于视频透视式增强现实的真三维建模系统和方法
CN103400543A (zh) 3d互动展示系统及其展示方法
CN102984565A (zh) 具有多输入模式的多维度遥控器及电视输入指令的方法
CN110442245A (zh) 基于物理键盘的显示方法、装置、终端设备及存储介质
EP3914367B1 (en) A toy system for augmented reality
CN111862333A (zh) 基于增强现实的内容处理方法、装置、终端设备及存储介质
CN109271023B (zh) 一种基于三维对象外形轮廓徒手手势动作表达的选择方法
CN104680532A (zh) 一种对象标注方法及装置
CN105103112A (zh) 用于操纵显示装置上的对象的取向的设备和方法
CN104598035B (zh) 基于3d立体图像显示的光标显示方法、智能设备及系统
CN106780757B (zh) 一种增强现实的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190315

RJ01 Rejection of invention patent application after publication