CN114882121A - 一种基于混合现实头显的人机交互虚实融合方法及装置 - Google Patents
一种基于混合现实头显的人机交互虚实融合方法及装置 Download PDFInfo
- Publication number
- CN114882121A CN114882121A CN202210546704.3A CN202210546704A CN114882121A CN 114882121 A CN114882121 A CN 114882121A CN 202210546704 A CN202210546704 A CN 202210546704A CN 114882121 A CN114882121 A CN 114882121A
- Authority
- CN
- China
- Prior art keywords
- camera
- virtual
- ori
- cameras
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 63
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims description 37
- 239000007787 solid Substances 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 24
- 230000000694 effects Effects 0.000 abstract description 19
- 210000003128 head Anatomy 0.000 description 73
- 210000003414 extremity Anatomy 0.000 description 30
- 238000004088 simulation Methods 0.000 description 19
- 230000002452 interceptive effect Effects 0.000 description 17
- 210000003811 finger Anatomy 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000005224 forefinger Anatomy 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于混合现实头显的人机交互虚实融合方法及装置。其中，该方法包括：获取相机的内参数矩阵M内和外参数矩阵M外；根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated获得相机的外参数M'外根据所述相机的内参数和外参数,获得融合后的图像。本发明解决了现有技术为实现在以上两种情况下都具有可交互性，通常借助建模技术，在虚拟场景中构建一个衣着、肤色、骨骼长度等与测试者都相近的虚拟人模型，使用数据驱动的手段使虚拟人模型与测试者同步运动。由于现有的建模技术不能很好的保证建模精度，导致虚拟人模型在肤色、衣着、骨骼长度等方面与测试者存在一定差异，交互效果的真实性降低的技术问题。
Description
技术领域
本发明提出一种适用于民机混合现实仿真的虚实动态融合的人机交互方法，通过混合现实头显的摄像头获取真实场景图片，使用多相机系统获取人体关节点的三维位置信息，然后利用关节点的三维位置信息和图像处理技术识别出肢体在图片中的像素区域，最终提取该像素区域合并到虚拟显示场景中，实现一种更真实、准确的人机交互虚实融合方法，因此本发明属于混合现实、人机交互技术领域。
背景技术
随着智能化科技的不断发展，人们的生活、工作、学习之中越来越多地用到了智能化设备，使用智能化科技手段，提高了人们生活的质量，增加了人们学习和工作的效率。目前，对于相关技术如下：
混合现实技术，混合现实(Mix Reality，简称MR)，是合并现实世界和虚拟世界而产生的新的可视化环境，可实现物理和数字对象共存，并实时互动。此技术手段兼具虚拟与真实的优势，相较于纯虚拟仿真，可以将部分关键实体场景融入仿真环境增加仿真的真实感；相较于纯实物仿真，可以使用虚拟场景替代大量实物以减少成本并提高可变性。，随着计算机软硬件技术的发展，MR技术开始在民机的设计评估、人机工效分析等方面发挥重要作用。在民机的概念方案设计或初步设计阶段，需要对不同的设计方案进行对比、评估以及优化迭代。采用MR技术手段，将设计方案中的关键部分做成实物件，其他部分以虚拟场景和虚拟模型的方式表现，能够最大限度的保证仿真的真实性，同时实现快速的迭代优化、修改等。
人机交互技术，人机交互(Human-Computer Interaction，简称HCI)，是一种实现人与计算机之间交换信息的技术手段。在民机的混合现实仿真环境下，测试者主要通过视觉、触觉等感官，对设计方案进行真实性、可达性、舒适度等方面的评估。在此过程中，人机交互效果的好坏将极大的影响测试者的判断。因此，建立民机的混合现实仿真平台，最关键的技术之一是保证人机交互效果的真实性、准确性。
作为最接近本申请的现有技术中，存在基于数据驱动的人机交互方法，其在民机的混合现实仿真环境下，常用的人机交互方法可概述为：首先，我们需要借助现有的建模技术(如扫描)，在虚拟场景中构建一个虚拟人模型，该虚拟人模型的肤色、衣着、骨骼长度等都与真实人体相似，然后使用光学设备等，获取真实人体关节点的三维位置信息，以此来驱动虚拟人运动实现人机交互。使用此方法在交互时，测试者需要佩戴虚拟现实头盔，即可看到虚拟人随着测试者肢体的运动而同步运动，并与场景进行交互。
另外，基于虚实融合的人机交互方法，一种虚实结合的交互式输入方法、装置和存储介质，专利号为CN109085931A。当前专利权人为南京禹步信息科技有限公司，该发明提出一种基于虚实融合的交互式输入方法、装置和存储介质，主要为了提高在混合现实环境下手部的交互效果，属于混合现实领域。具体可概述为：准备工作，将虚实场景的坐标系完全匹配，将虚实场景中的键盘完全匹配，将虚实相机进行标定后完全匹配；首先测试者需要佩戴混合现实头盔(此发明中使用的是Vive Pro)，在手腕处佩戴追踪器(此发明中使用的是Vive Tracker)，此时测试者可通过混合现实头盔看到虚拟场景(实际上是通过虚拟相机获取虚拟场景图像再呈现给测试者)，头盔上的摄像头可拍摄真实场景图像，并且手腕处的追踪器位置可被实时获取；通过追踪器获取手部位置信息，结合传统图像处理技术(二值化处理)将手部轮廓从真实场景图像中提取出来并叠加在虚拟场景图像的对应位置；从而营造出一种测试者使用自己的手敲击虚拟场景中的键盘的交互效果。
混合现实环境下的人机交互通常可分为两种情况分别讨论：第一种是虚拟场景中的部分虚拟模型在真实场景中有与之完全匹配的实体模型；第二种是虚拟场景中的虚拟模型在真实场景中不存在实体模型与之匹配。
现有技术为实现在以上两种情况下都具有可交互性，通常借助建模技术，在虚拟场景中构建一个衣着、肤色、骨骼长度等与测试者都相近的虚拟人模型，使用数据驱动的手段使虚拟人模型与测试者同步运动。由于现有的建模技术不能很好的保证建模精度，导致虚拟人模型在肤色、衣着、骨骼长度等方面与测试者存在一定差异，交互效果的真实性降低；并且此方法鲁棒性较差，需要对每一个测试者都构建一个虚拟人模型，费时费力。现有技术为提高交互效果的真实性，采用虚实融合的技术手段。但其通常只考虑在第一种交互情况下的人机交互，并不能实现在第二种情况下准确、真实的人机交互。现有技术通常需要测试者佩戴额外的设备，来辅助完成人机交互，这将影响测试者的交互体验。
因此本申请要解决在任意情况(虚实模型相对应和纯虚拟模型)下的可交互性；保证交互效果的真实、准确；减少对测试者交互过程的干扰。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于混合现实头显的人机交互虚实融合方法及装置，以至少解决现有技术为实现在以上两种情况下都具有可交互性，通常借助建模技术，在虚拟场景中构建一个衣着、肤色、骨骼长度等与测试者都相近的虚拟人模型，使用数据驱动的手段使虚拟人模型与测试者同步运动。由于现有的建模技术不能很好的保证建模精度，导致虚拟人模型在肤色、衣着、骨骼长度等方面与测试者存在一定差异，交互效果的真实性降低的技术问题。
根据本发明实施例的一个方面，提供了一种基于混合现实头显的人机交互虚实融合方法，包括：获取相机的内参数矩阵M内和外参数矩阵M外；根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated；使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M'外＝T(Pori,Rori,trelated)获得相机的外参数M'外，其中T(*)表示通过Pori,Rori,trelated转换得到相机的外参数矩阵；根据所述相机的内参数和外参数,获得融合后的图像。
可选的，在所述根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated之后，所述方法还包括：对MR设备上一对实体相机进行标定，获取相机的内参数M'内。
可选的，所述根据所述相机的内参数和外参数,获得融合后的图像包括：依照所述相机内参数M'内和外参数M'外，在虚拟场景中构建与之完全相同的虚拟相机，并将所述虚拟相机的内外参数记为M”内和M”外；对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同；根据矫正后的匹配关系，进行图像融合操作。
可选的，所述根据矫正后的匹配关系，进行图像融合操作包括：使用多相机系统获取人体关节点的三维位置信息A；使用MR头显上的实体相机拍摄真实场景图像P；使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像P’。
根据本发明实施例的另一方面，还提供了一种基于混合现实头显的人机交互虚实融合装置，包括：获取模块，用于获取相机的内参数矩阵M内和外参数矩阵M外；坐标模块，用于根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated；计算模块，用于使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M'外＝T(Pori,Rori,trelated)获得相机的外参数M'外，其中T(*)表示通过Pori,Rori,trelated转换得到相机的外参数矩阵；融合模块，用于根据所述相机的内参数和外参数,获得融合后的图像。
可选的，所述装置还包括：标定模块，用于对MR设备上一对实体相机进行标定，获取相机的内参数M'内。
可选的，所述融合模块包括：构建单元，用于依照所述相机内参数M'内和外参数M'外，在虚拟场景中构建与之完全相同的虚拟相机，并将所述虚拟相机的内外参数记为M”内和M”外；矫正单元，用于对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同；融合单元，用于根据矫正后的匹配关系，进行图像融合操作。
可选的，所述融合单元包括：获取模块，用于使用多相机系统获取人体关节点的三维位置信息A；拍摄模块，用于使用MR头显上的实体相机拍摄真实场景图像P；虚拟模块，用于使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像P’。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种基于混合现实头显的人机交互虚实融合方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种基于混合现实头显的人机交互虚实融合方法。
在本发明实施例中，采用获取相机的内参数矩阵M内和外参数矩阵M外；根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated；使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M'外＝T(Pori,Rori,trelated)获得相机的外参数M'外，其中T(*)表示通过Pori,Rori,trelated转换得到相机的外参数矩阵；根据所述相机的内参数和外参数,获得融合后的图像的方式，解决了现有技术为实现在以上两种情况下都具有可交互性，通常借助建模技术，在虚拟场景中构建一个衣着、肤色、骨骼长度等与测试者都相近的虚拟人模型，使用数据驱动的手段使虚拟人模型与测试者同步运动。由于现有的建模技术不能很好的保证建模精度，导致虚拟人模型在肤色、衣着、骨骼长度等方面与测试者存在一定差异，交互效果的真实性降低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例中现有技术的虚实人体同步运动示意图；
图2是根据本发明实施例中现有技术虚实手在肤色、骨骼长度等存在一定差异示意图；
图3是根据本发明实施例的虚实融合显示原理示意图；
图4是根据本发明实施例的可交互性原理示意图；
图5是根据本发明实施例的头显的追踪坐标系和相机坐标系示意图；
图6是根据本发明实施例的民机驾驶舱混合现实仿真虚实融合方法实施流程；
图7是根据本发明实施例的一种基于混合现实头显的人机交互虚实融合方法的流程图；
图8是根据本发明实施例的一种基于混合现实头显的人机交互虚实融合装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种基于混合现实头显的人机交互虚实融合方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
图7是根据本发明实施例的一种基于混合现实头显的人机交互虚实融合方法的流程图，如图7所示，该方法包括如下步骤：
步骤S702，获取相机的内参数矩阵M内和外参数矩阵M外。
步骤S704，根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated。
步骤S706，使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M'外＝T(Pori,Rori,trelated)获得相机的外参数M'外，其中T(*)表示通过Pori,Rori,trelated转换得到相机的外参数矩阵。
步骤S708，根据所述相机的内参数和外参数,获得融合后的图像。
可选的，在所述根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated之后，所述方法还包括：对MR设备上一对实体相机进行标定，获取相机的内参数M'内。
可选的，所述根据所述相机的内参数和外参数,获得融合后的图像包括：依照所述相机内参数M'内和外参数M'外，在虚拟场景中构建与之完全相同的虚拟相机，并将所述虚拟相机的内外参数记为M”内和M”外；对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同；根据矫正后的匹配关系，进行图像融合操作。
可选的，所述根据矫正后的匹配关系，进行图像融合操作包括：使用多相机系统获取人体关节点的三维位置信息A；使用MR头显上的实体相机拍摄真实场景图像P；使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像P’。
在民机的混合现实仿真环境下，首先需要依据仿真需求，构建虚拟仿真环境，并选择部分关键组件(如驾驶舱仪表板、操纵杆等)搭建部分实物仿真平台。搭建完成后通过标定和动态调整将两者进行坐标匹配。坐标匹配完成后，此时可认为虚实场景是在同一套世界坐标系下。此外，为获取人体关节点较为准确的三维位置信息，需在测试者周围布置多台RGB相机；为实现真实场景的图像采集，还需要借助混合现实头显在人眼位置处安装的一对相机；由于混合现实头显上的一对相机时刻随人体运动而运动，为时刻获取该相机的外参数，我们需要在真实场景中布置头显的追踪系统。本发明提出的方法以上述假设作为基础，即三维虚拟场景与实物场景已完成坐标系匹配，测试者周围布置有多台RGB相机可获取人体关节点较为准确的三维位置信息，混合现实头显具备一对与人眼位置一致的相机可采集真实场景图像，真实场景中布置有一套追踪设备可实时获取混合现实头显上一对相机的外参数。
本发明的最终目的在于使用多相机系统获取人体关节点较为准确的三维位置信息，并根据关节点的三维位置信息从相机拍摄到的真实场景图像中提取肢体所在的像素区域，并将该像素区域与虚拟场景图像叠加，实现更准确、更真实的人机交互效果，如图3所示；同时，为保证在情况(虚拟场景中的虚拟模型在真实场景中没有真实的模型与之对应)下的可交互性，以触碰按钮为例，只提取食指指尖关节的三维位置信息(通常用食指触碰按钮)，将食指指尖的三维位置信息与可交互按钮的三维位置信息相比较，从而判断食指正在与哪个按钮进行交互，如图4所示。
在进行仿真前，需要对多相机系统及混合现实头显上的一对相机进行标定，获取每台相机的内、外参数信息，建立相机坐标系(由于MR头显上的相机随人体运动而运动，其相机外参数一直在变化，因此在标定阶段我们只需要获取其内参数即可)；使用头显追踪设备对混合现实头显进行标定，确定此时头显的追踪坐标系，如图5所示，OH为追踪原点；此时，我们还需要查阅MR头显的技术说明书，确定相机相对于追踪原点的位姿变换。完成标定后，需在虚拟场景中依照混合现实头显上一对相机的内参数生成一对“相同”的虚拟相机，而虚拟相机的外参数则需要时刻保持和实体相机相同。此时，虚实场景及多相机系统已经完成了标定，并且混合现实头显上的实体相机与虚拟场景中的虚拟相机完成了关联和匹配。我们首先使用多相机系统获取人体关节点的三维位置信息A，同时我们使用混合现实头显上的一对实体相机及其对应的虚拟相机拍摄一帧的图像分别记为P和P’；当图像P中出现人的肢体(如上肢)时，理论上，利用混合现实头显上的实体相机的内参数及此刻的外参数，将关节点的三维信息A投影到图像P上记为A’，此时A’表示关节点在图像上的2D坐标；接下来，我们可利用关节点在图像上的2D坐标A’，确定肢体骨骼的走向(连接两个相邻的关节点即可确定肢体骨骼的走向)，从而可大致确定肢体在图像P上所在的像素区域；在大致确定肢体的像素区域后，使用图像处理技术精确提取肢体的轮廓信息，将肢体轮廓包围的所有像素作为肢体精确的像素区域；提取肢体精确的像素区域，覆盖到P’图像相同位置上；为保证在情况(虚拟场景中的虚拟模型在真实场景中没有真实的模型与之对应)下的可交互性，以触碰按钮为例，我们从三维位置信息A中提取食指指尖点的三维位置信息(通常用食指触碰按钮)，由于可交互按钮的三维位置信息是可以在搭建虚拟仿真场景时设定并已知的，将指尖的三维位置信息与可交互按钮的三维位置信息相比较，从而判断手部正在与哪个按钮进行交互，将该模型的交互效果(比如闪烁红灯)展现给测试者。
因此，本发明实施例提出使用虚实融合的方法代替行业内常用的使用数据驱动虚拟人的方法完成交互，能够在保证可交互性的同时，提高交互效果的真实、准确和鲁棒性；本发明中使用多台RGB相机获取人体关节点的三维位置信息，测试者在不穿戴任何额外设备的前提下，仍能够保证三维位置信息的准确性，相比于Optitrack、Vicon等提出的依赖额外穿戴设备的解决方案，本发明更能够保证测试者的舒适性，减少对测试者主观判断的影响。
由于发明CN109085931A中提到的虚实融合的交互式输入方法只考虑了一种情况下的交互(即虚拟模型在真实场景中有真实模型与之对应的交互情况)，并且此方法没有考虑到背景对于手部像素区域提取的干扰，与之相比，本发明中提出的交互方法更具有可交互性和鲁棒性，可适用于任意情况下的交互并且不易受环境的干扰；并且发明CN109085931A中提出的交互方法需要借助佩戴于手腕处的追踪器进行定位，使用此方法时测试者的舒适性降低，并且会干扰测试者的评估和判断，本发明中提出的交互方法不需要测试者佩戴任何的设备，测试者能够在完全放松的情况下完成人机交互。
在开始仿真前，需要先将所搭建的虚实场景进行坐标系匹配，同时在测试者周围布置多台RGB相机，使用一款在双眼位置安装有一对相机的混合现实头显，布置一套混合现实头显的追踪设备。
本发明实施例具体实施步骤如下
对多相机系统进行标定，获取相机的内、外参数矩阵记为M内和M外。
对MR头显进行标定，获取其追踪坐标系相关信息，记为{Pori，Rori}，查阅技术说明书，获取MR头显上实体相机相对于追踪原点之间的位姿关系，记为trelated。
对MR头显上一对实体相机进行标定，获取相机的内参数记为M'内。
使用MR头显追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M'外＝T(Pori,Rori,trelated)获得相机的外参数M'外，其中T(*)表示通过Pori,Rori,trelated转换得到相机的外参数矩阵。由于追踪坐标系的Pori,Rori是实时变化的，因此相机的外参数矩阵需要实时计算。
依照实体相机内、外参数，在虚拟场景中构建与之完全相同的虚拟相机，将虚拟相机的内外参数记为M”内和M”外。
对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同。
以下三点需同时进行。
使用多相机系统获取人体关节点的三维位置信息，记为A
使用MR头显上的实体相机拍摄真实场景图像，记为P
使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像，记为P’
情况一：虚拟场景中虚拟模型在真实场景中有实体模型与之对应
利用MR头显上的实体相机此时的内、外参数矩阵M'内和M'外，通过公式A'＝M'内 - 1M'外 -1A，将人体关节点的三维坐标投影到实际场景图像上，此时人体关节点的表示方式为在图像上的二维坐标，记为A'。
连接相邻两关节点在图像上的二维坐标A'1和A'2，可形成肢体的二维骨骼记为skel12，以骨骼的长度len(skel12)和α×len(skel12)作为长和宽(α的大小可根据不同的肢体分别定义)，粗略的识别出肢体在实际场景图像上的矩形像素区域。
使用二值化处理精确提取肢体在实际场景图像上的像素区域，并使用3×3的Canny算子提取像素区域轮廓，记录并存储轮廓内各像素的颜色值及像素坐标{colori,pixeli}。
根据{colori,pixeli}中记录的像素坐标pixeli，将像素的颜色colori覆盖到虚拟场景图像P’对应的像素上，使用3×3的均值滤波算法对融合后的图像进行处理，从而使融合的效果更佳。
情况二：虚拟场景中虚拟模型在真实场景中没有实体模型与之对应(以触碰虚拟按钮为例)从人体关节点的三维位置信息A中提取食指指尖关节点的三维位置信息记为BL和BR，L和R分别代表左手和右手。获取虚拟按钮模型的三维位置信息记为H，H＝{H1,H2,H3,…,Hn}。使用Euclidean distance，计算食指指尖的三维位置信息与H中记录的多个虚拟按钮模型的三维位置信息之间的距离D。当D<β时，认为手部正在与该模型交互，显示该模型的交互效果(如红灯闪烁),最终完成虚实融合的人机交互。
通过上述实施例，解决了现有技术为实现在以上两种情况下都具有可交互性，通常借助建模技术，在虚拟场景中构建一个衣着、肤色、骨骼长度等与测试者都相近的虚拟人模型，使用数据驱动的手段使虚拟人模型与测试者同步运动。由于现有的建模技术不能很好的保证建模精度，导致虚拟人模型在肤色、衣着、骨骼长度等方面与测试者存在一定差异，交互效果的真实性降低的技术问题。
实施例二
图8是根据本发明实施例的一种基于混合现实头显的人机交互虚实融合装置的结构框图，如图8所示，该装置包括：
获取模块80，用于获取相机的内参数矩阵M内和外参数矩阵M外。
坐标模块82，用于根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated。
计算模块84，用于使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M'外＝T(Pori,Rori,trelated)获得相机的外参数M'外，其中T(*)表示通过Pori,Rori,trelated转换得到相机的外参数矩阵。
融合模块86，用于根据所述相机的内参数和外参数,获得融合后的图像。
可选的，所述装置还包括：标定模块，用于对MR设备上一对实体相机进行标定，获取相机的内参数M'内。
可选的，所述融合模块包括：构建单元，用于依照所述相机内参数M'内和外参数M'外，在虚拟场景中构建与之完全相同的虚拟相机，并将所述虚拟相机的内外参数记为M”内和M”外；矫正单元，用于对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同；融合单元，用于根据矫正后的匹配关系，进行图像融合操作。
可选的，所述融合单元包括：获取模块，用于使用多相机系统获取人体关节点的三维位置信息A；拍摄模块，用于使用MR头显上的实体相机拍摄真实场景图像P；虚拟模块，用于使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像P’。
在民机的混合现实仿真环境下，首先需要依据仿真需求，构建虚拟仿真环境，并选择部分关键组件(如驾驶舱仪表板、操纵杆等)搭建部分实物仿真平台。搭建完成后通过标定和动态调整将两者进行坐标匹配。坐标匹配完成后，此时可认为虚实场景是在同一套世界坐标系下。此外，为获取人体关节点较为准确的三维位置信息，需在测试者周围布置多台RGB相机；为实现真实场景的图像采集，还需要借助混合现实头显在人眼位置处安装的一对相机；由于混合现实头显上的一对相机时刻随人体运动而运动，为时刻获取该相机的外参数，我们需要在真实场景中布置头显的追踪系统。本发明提出的方法以上述假设作为基础，即三维虚拟场景与实物场景已完成坐标系匹配，测试者周围布置有多台RGB相机可获取人体关节点较为准确的三维位置信息，混合现实头显具备一对与人眼位置一致的相机可采集真实场景图像，真实场景中布置有一套追踪设备可实时获取混合现实头显上一对相机的外参数。
本发明的最终目的在于使用多相机系统获取人体关节点较为准确的三维位置信息，并根据关节点的三维位置信息从相机拍摄到的真实场景图像中提取肢体所在的像素区域，并将该像素区域与虚拟场景图像叠加，实现更准确、更真实的人机交互效果，如图3所示；同时，为保证在情况(虚拟场景中的虚拟模型在真实场景中没有真实的模型与之对应)下的可交互性，以触碰按钮为例，只提取食指指尖关节的三维位置信息(通常用食指触碰按钮)，将食指指尖的三维位置信息与可交互按钮的三维位置信息相比较，从而判断食指正在与哪个按钮进行交互，如图4所示。
在进行仿真前，需要对多相机系统及混合现实头显上的一对相机进行标定，获取每台相机的内、外参数信息，建立相机坐标系(由于MR头显上的相机随人体运动而运动，其相机外参数一直在变化，因此在标定阶段我们只需要获取其内参数即可)；使用头显追踪设备对混合现实头显进行标定，确定此时头显的追踪坐标系，如图5所示，OH为追踪原点；此时，我们还需要查阅MR头显的技术说明书，确定相机相对于追踪原点的位姿变换。完成标定后，需在虚拟场景中依照混合现实头显上一对相机的内参数生成一对“相同”的虚拟相机，而虚拟相机的外参数则需要时刻保持和实体相机相同。此时，虚实场景及多相机系统已经完成了标定，并且混合现实头显上的实体相机与虚拟场景中的虚拟相机完成了关联和匹配。我们首先使用多相机系统获取人体关节点的三维位置信息A，同时我们使用混合现实头显上的一对实体相机及其对应的虚拟相机拍摄一帧的图像分别记为P和P’；当图像P中出现人的肢体(如上肢)时，理论上，利用混合现实头显上的实体相机的内参数及此刻的外参数，将关节点的三维信息A投影到图像P上记为A’，此时A’表示关节点在图像上的2D坐标；接下来，我们可利用关节点在图像上的2D坐标A’，确定肢体骨骼的走向(连接两个相邻的关节点即可确定肢体骨骼的走向)，从而可大致确定肢体在图像P上所在的像素区域；在大致确定肢体的像素区域后，使用图像处理技术精确提取肢体的轮廓信息，将肢体轮廓包围的所有像素作为肢体精确的像素区域；提取肢体精确的像素区域，覆盖到P’图像相同位置上；为保证在情况(虚拟场景中的虚拟模型在真实场景中没有真实的模型与之对应)下的可交互性，以触碰按钮为例，我们从三维位置信息A中提取食指指尖点的三维位置信息(通常用食指触碰按钮)，由于可交互按钮的三维位置信息是可以在搭建虚拟仿真场景时设定并已知的，将指尖的三维位置信息与可交互按钮的三维位置信息相比较，从而判断手部正在与哪个按钮进行交互，将该模型的交互效果(比如闪烁红灯)展现给测试者。
因此，本发明实施例提出使用虚实融合的方法代替行业内常用的使用数据驱动虚拟人的方法完成交互，能够在保证可交互性的同时，提高交互效果的真实、准确和鲁棒性；本发明中使用多台RGB相机获取人体关节点的三维位置信息，测试者在不穿戴任何额外设备的前提下，仍能够保证三维位置信息的准确性，相比于Optitrack、Vicon等提出的依赖额外穿戴设备的解决方案，本发明更能够保证测试者的舒适性，减少对测试者主观判断的影响。
由于发明CN109085931A中提到的虚实融合的交互式输入方法只考虑了一种情况下的交互(即虚拟模型在真实场景中有真实模型与之对应的交互情况)，并且此方法没有考虑到背景对于手部像素区域提取的干扰，与之相比，本发明中提出的交互方法更具有可交互性和鲁棒性，可适用于任意情况下的交互并且不易受环境的干扰；并且发明CN109085931A中提出的交互方法需要借助佩戴于手腕处的追踪器进行定位，使用此方法时测试者的舒适性降低，并且会干扰测试者的评估和判断，本发明中提出的交互方法不需要测试者佩戴任何的设备，测试者能够在完全放松的情况下完成人机交互。
在开始仿真前，需要先将所搭建的虚实场景进行坐标系匹配，同时在测试者周围布置多台RGB相机，使用一款在双眼位置安装有一对相机的混合现实头显，布置一套混合现实头显的追踪设备。
本发明实施例具体实施步骤如下
对多相机系统进行标定，获取相机的内、外参数矩阵记为M内和M外。
对MR头显进行标定，获取其追踪坐标系相关信息，记为{Pori，Rori}，查阅技术说明书，获取MR头显上实体相机相对于追踪原点之间的位姿关系，记为trelated。
对MR头显上一对实体相机进行标定，获取相机的内参数记为M'内。
使用MR头显追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M'外＝T(Pori,Rori,trelated)获得相机的外参数M'外，其中T(*)表示通过Pori,Rori,trelated转换得到相机的外参数矩阵。由于追踪坐标系的Pori,Rori是实时变化的，因此相机的外参数矩阵需要实时计算。
依照实体相机内、外参数，在虚拟场景中构建与之完全相同的虚拟相机，将虚拟相机的内外参数记为M”内和M”外。
对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同。
以下三点需同时进行。
使用多相机系统获取人体关节点的三维位置信息，记为A
使用MR头显上的实体相机拍摄真实场景图像，记为P
使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像，记为P’
情况一：虚拟场景中虚拟模型在真实场景中有实体模型与之对应
利用MR头显上的实体相机此时的内、外参数矩阵M'内和M'外，通过公式A'＝M'内 - 1M'外 -1A，将人体关节点的三维坐标投影到实际场景图像上，此时人体关节点的表示方式为在图像上的二维坐标，记为A'。
连接相邻两关节点在图像上的二维坐标A'1和A'2，可形成肢体的二维骨骼记为skel12，以骨骼的长度len(skel12)和α×len(skel12)作为长和宽(α的大小可根据不同的肢体分别定义)，粗略的识别出肢体在实际场景图像上的矩形像素区域。
使用二值化处理精确提取肢体在实际场景图像上的像素区域，并使用3×3的Canny算子提取像素区域轮廓，记录并存储轮廓内各像素的颜色值及像素坐标{colori,pixeli}。
根据{colori,pixeli}中记录的像素坐标pixeli，将像素的颜色colori覆盖到虚拟场景图像P’对应的像素上，使用3×3的均值滤波算法对融合后的图像进行处理，从而使融合的效果更佳。
情况二：虚拟场景中虚拟模型在真实场景中没有实体模型与之对应(以触碰虚拟按钮为例)从人体关节点的三维位置信息A中提取食指指尖关节点的三维位置信息记为BL和BR，L和R分别代表左手和右手。获取虚拟按钮模型的三维位置信息记为H，H＝{H1,H2,H3,…,Hn}。使用Euclidean distance，计算食指指尖的三维位置信息与H中记录的多个虚拟按钮模型的三维位置信息之间的距离D。当D<β时，认为手部正在与该模型交互，显示该模型的交互效果(如红灯闪烁),最终完成虚实融合的人机交互。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行一种基于混合现实头显的人机交互虚实融合方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行一种基于混合现实头显的人机交互虚实融合方法。
通过上述实施例，解决了现有技术为实现在以上两种情况下都具有可交互性，通常借助建模技术，在虚拟场景中构建一个衣着、肤色、骨骼长度等与测试者都相近的虚拟人模型，使用数据驱动的手段使虚拟人模型与测试者同步运动。由于现有的建模技术不能很好的保证建模精度，导致虚拟人模型在肤色、衣着、骨骼长度等方面与测试者存在一定差异，交互效果的真实性降低的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于混合现实头显的人机交互虚实融合方法，其特征在于，包括：
获取相机的内参数矩阵M内和外参数矩阵M外；
根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated；
使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M′外＝T(Pori，Rori，trelated)获得相机的外参数M′外，其中T(*)表示通过Pori，Rori，trelated转换得到相机的外参数矩阵；
根据所述相机的内参数和外参数，获得融合后的图像。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated之后，所述方法还包括：
对MR设备上一对实体相机进行标定，获取相机的内参数M′内。
3.根据权利要求1所述的方法，其特征在于，所述根据所述相机的内参数和外参数，获得融合后的图像包括：
依照所述相机内参数M′内和外参数M′外，在虚拟场景中构建与之完全相同的虚拟相机，并将所述虚拟相机的内外参数记为M″内和M″外；
对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同；
根据矫正后的匹配关系，进行图像融合操作。
4.根据权利要求3所述的方法，其特征在于，所述根据矫正后的匹配关系，进行图像融合操作包括：
使用多相机系统获取人体关节点的三维位置信息A；
使用MR头显上的实体相机拍摄真实场景图像P；
使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像P’。
5.一种基于混合现实头显的人机交互虚实融合装置，其特征在于，包括：
获取模块，用于获取相机的内参数矩阵M内和外参数矩阵M外；
坐标模块，用于根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori，Rori}和实体相机相对于追踪原点之间的位姿关系trelated；
计算模块，用于使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M′外＝T(Pori，Rori，trelated)获得相机的外参数M′外，其中T(*)表示通过Pori，Rori，trelated转换得到相机的外参数矩阵；
融合模块，用于根据所述相机的内参数和外参数，获得融合后的图像。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
标定模块，用于对MR设备上一对实体相机进行标定，获取相机的内参数M′内。
7.根据权利要求5所述的装置，其特征在于，所述融合模块包括：
构建单元，用于依照所述相机内参数M′内和外参数M′外，在虚拟场景中构建与之完全相同的虚拟相机，并将所述虚拟相机的内外参数记为M″内和M″外；
矫正单元，用于对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同；
融合单元，用于根据矫正后的匹配关系，进行图像融合操作。
8.根据权利要求7所述的方法，其特征在于，所述融合单元包括：
获取模块，用于使用多相机系统获取人体关节点的三维位置信息A；
拍摄模块，用于使用MR头显上的实体相机拍摄真实场景图像P；
虚拟模块，用于使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像P’。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，所述程序运行时控制非易失性存储介质所在的设备执行权利要求1至4中任意一项所述的方法。
10.一种电子装置，其特征在于，包含处理器和存储器；所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行权利要求1至4中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210546704.3A CN114882121A (zh) | 2022-05-19 | 2022-05-19 | 一种基于混合现实头显的人机交互虚实融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210546704.3A CN114882121A (zh) | 2022-05-19 | 2022-05-19 | 一种基于混合现实头显的人机交互虚实融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882121A true CN114882121A (zh) | 2022-08-09 |
Family
ID=82676995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210546704.3A Pending CN114882121A (zh) | 2022-05-19 | 2022-05-19 | 一种基于混合现实头显的人机交互虚实融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882121A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115762293A (zh) * | 2022-12-26 | 2023-03-07 | 北京东方瑞丰航空技术有限公司 | 一种基于虚拟现实定位器定位的航空训练方法和系统 |
| CN115937478A (zh) * | 2022-12-26 | 2023-04-07 | 北京字跳网络技术有限公司 | 一种标定信息确定方法、装置、电子设备和存储介质 |
| CN116243803A (zh) * | 2023-05-11 | 2023-06-09 | 南京鸿威互动科技有限公司 | 一种基于vr技术的动作评估方法、系统、设备及可读存储介质 |
| CN116896608A (zh) * | 2023-09-11 | 2023-10-17 | 山东省地震局 | 一种基于移动设备传播的虚拟地震场景演播系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105262958A (zh) * | 2015-10-15 | 2016-01-20 | 电子科技大学 | 一种虚拟视点的全景特写拼接系统及其方法 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
| CN109598796A (zh) * | 2017-09-30 | 2019-04-09 | 深圳超多维科技有限公司 | 将真实场景与虚拟物体进行3d融合显示的方法和装置 |
| CN113870163A (zh) * | 2021-09-24 | 2021-12-31 | 埃洛克航空科技（北京）有限公司 | 基于三维场景的视频融合方法以及装置、存储介质、电子装置 |
-
2022
- 2022-05-19 CN CN202210546704.3A patent/CN114882121A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105262958A (zh) * | 2015-10-15 | 2016-01-20 | 电子科技大学 | 一种虚拟视点的全景特写拼接系统及其方法 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
| CN109598796A (zh) * | 2017-09-30 | 2019-04-09 | 深圳超多维科技有限公司 | 将真实场景与虚拟物体进行3d融合显示的方法和装置 |
| CN113870163A (zh) * | 2021-09-24 | 2021-12-31 | 埃洛克航空科技（北京）有限公司 | 基于三维场景的视频融合方法以及装置、存储介质、电子装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115762293A (zh) * | 2022-12-26 | 2023-03-07 | 北京东方瑞丰航空技术有限公司 | 一种基于虚拟现实定位器定位的航空训练方法和系统 |
| CN115937478A (zh) * | 2022-12-26 | 2023-04-07 | 北京字跳网络技术有限公司 | 一种标定信息确定方法、装置、电子设备和存储介质 |
| CN115937478B (zh) * | 2022-12-26 | 2023-11-17 | 北京字跳网络技术有限公司 | 一种标定信息确定方法、装置、电子设备和存储介质 |
| CN116243803A (zh) * | 2023-05-11 | 2023-06-09 | 南京鸿威互动科技有限公司 | 一种基于vr技术的动作评估方法、系统、设备及可读存储介质 |
| CN116243803B (zh) * | 2023-05-11 | 2023-12-05 | 南京鸿威互动科技有限公司 | 一种基于vr技术的动作评估方法、系统、设备及可读存储介质 |
| CN116896608A (zh) * | 2023-09-11 | 2023-10-17 | 山东省地震局 | 一种基于移动设备传播的虚拟地震场景演播系统 |
| CN116896608B (zh) * | 2023-09-11 | 2023-12-12 | 山东省地震局 | 一种虚拟地震场景演播系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114882121A (zh) | 一种基于混合现实头显的人机交互虚实融合方法及装置 | |
| CN103941866B (zh) | 一种基于Kinect深度图像的三维手势识别方法 | |
| EP3479351B1 (en) | System and method for digital makeup mirror | |
| US10339712B2 (en) | Image processing apparatus and image processing method | |
| US9348950B2 (en) | Perceptually guided capture and stylization of 3D human figures | |
| CN106873778A (zh) | 一种应用的运行控制方法、装置和虚拟现实设备 | |
| Du et al. | Edge snapping-based depth enhancement for dynamic occlusion handling in augmented reality | |
| JP7244541B2 (ja) | 拡張現実表示装置及び拡張現実表示方法 | |
| US20090153569A1 (en) | Method for tracking head motion for 3D facial model animation from video stream | |
| CN109801379A (zh) | 通用的增强现实眼镜及其标定方法 | |
| MXPA02005288A (es) | Procesador de imagen, metodo de procesamiento de imagen, medio de registro, programa de computadora y dispositivo esmi conductor. | |
| EP1960970A1 (en) | Stereo video for gaming | |
| KR101255219B1 (ko) | 시선 추적 방법 및 이를 적용한 장치 | |
| CN102591533A (zh) | 基于计算机视觉技术的多点触摸屏系统实现方法与装置 | |
| JP2013134706A (ja) | 情報処理装置、情報処理方法、及びそのプログラム | |
| CN106201173A (zh) | 一种基于投影的用户交互图标的交互控制方法及系统 | |
| CN111696140A (zh) | 基于单目的三维手势追踪方法 | |
| CN110764620A (zh) | 一种增强半虚拟现实飞机座舱系统 | |
| CN111291746B (zh) | 影像处理系统及影像处理方法 | |
| CN113821108B (zh) | 基于多模态交互技术的机器人远程控制系统及控制方法 | |
| JP2000149025A (ja) | ジェスチャ認識装置及び方法 | |
| CN112927330B (zh) | 用于生成虚拟人体图像的方法和系统 | |
| CN107368188B (zh) | 介导现实中的基于多重空间定位的前景抽取方法及系统 | |
| CN109754467B (zh) | 三维人脸构建方法、计算机存储介质和计算机设备 | |
| CN109085931A (zh) | 一种虚实结合的交互式输入方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |