CN109085931A - 一种虚实结合的交互式输入方法、装置和存储介质 - Google Patents
一种虚实结合的交互式输入方法、装置和存储介质 Download PDFInfo
- Publication number
- CN109085931A CN109085931A CN201810824917.1A CN201810824917A CN109085931A CN 109085931 A CN109085931 A CN 109085931A CN 201810824917 A CN201810824917 A CN 201810824917A CN 109085931 A CN109085931 A CN 109085931A
- Authority
- CN
- China
- Prior art keywords
- target object
- virtual space
- image
- space
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 27
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000003709 image segmentation Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 172
- 238000006243 chemical reaction Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 42
- 238000009877 rendering Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚实结合的交互式输入方法，包括：确定第一目标对象在实体空间中的位置，确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。本发明还公开了一种虚实结合的交互式输入装置和存储介质。
Description
技术领域
本发明涉及虚拟现实技术，尤其涉及一种虚实结合的交互式输入方法、装置和计算机可读存储介质。
背景技术
虚拟现实(VR，Virtual Reality)是一种可以创建和体验虚拟世界的计算机系统。它利用计算机技术生成一个逼真的，具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，可以同虚拟环境中的物体互动。简单讲，虚拟现实利用计算机图形技术创建一个虚拟的三维空间，并提供方法让用户置身于虚拟世界里，如同身历其境一般。
虚拟现实技术具有四大特征，分别是多感知性、存在感、交互性和自主性。多感知性指的是视觉感知、听觉感知、力觉感知、触觉感知、运动感知、味觉感知等，是虚拟世界带给“身处其中”的用户的各种感知信号。存在感又称临场感，是用户感到作为主角存在于虚拟环境中的真实程度。交互性是指用户对虚拟环境内物体的可操作程度和从环境得到反馈的自然程度。自主性指虚拟环境中物体依据物理定律自主产生动作的程度。其中，交互性是虚拟现实技术的一项重要特性，甚至很多人将虚拟现实技术定义为一种人机交互技术。交互包括操作虚拟环境中的物体和从虚拟环境得到反馈两部分，也就是输入和输出，而输入是用户与虚拟环境进行交互的前提，是虚拟现实系统必不可少的一项功能。
虚拟现实头盔，也被称为VR头盔、VR头显、VR眼镜、Head-mounted Display(HMD)等，是一种利用头戴式显示器将人对外界的视觉封闭，通过位于人眼前面的屏幕和光学系统将计算机生成的虚拟场景影像投射到人眼的装置。虚拟现实头盔是目前采用比较广泛的一种虚拟现实显示设备，用户佩戴虚拟现实头盔可以获得较好的沉浸感。目前市场上虚拟现实头盔的品牌众多，比较知名的有HTC Vive、Oculus、SONY、SAMSUNG、大朋DeePoon等。
最常采用的与虚拟现实头盔配套的输入或交互设备是VR手柄。手柄上往往集成了多个定位器、触摸面板、扳机和按键等，用户手持手柄可以轻松完成定位、选择、拾取、移动等操作。除手柄外还可以采用深度相机(如Kinect)或体感控制器(如Leap motion)识别手部动作并对手的位置进行跟踪定位。虚拟现实场景中也会经常需要输入文字、字符或符号等，也就是在现实世界中通常由键盘完成的输入操作。但是目前存在的模拟键盘输入的方法在交互性、输入速率、准确度等方面都存在一定的问题。
目前，虚拟现实系统中最常见的键盘输入方法包括：在虚拟场景中生成一个虚拟键盘，通过VR手柄的射线功能瞄准键盘按键，然后按下手柄按键完成虚拟键盘的一个敲击动作。这种方式的主要问题是在保持同等输入准确度的情况下，极大地降低了键盘输入的速率，因为它的输入动作与现实中键盘的输入动作完全不同，无法发挥用户积累的键盘操作经验。另一方面，它的操作过程相比现实键盘的敲击过程复杂，需要系统中不同部件的联动，限制了键盘输入的最高速率，用户只能一个个敲打虚拟键盘上的字符，无法像现实中那样流畅。而且该种输入方式操作不方便，降低了键入准确度。为了提高键盘输入正确率，减少重新输入的次数，很多系统添加了自动矫正功能，虽然在一定程度上改善了键盘输入的操作难度，但仍然无法与现实中用户使用键盘的体验相比。
但当采用虚拟现实头盔作为显示设备时，头盔遮挡了用户的视线，使得用户无法看到真实的键盘。而现有的键盘输入方式降低了输入的速度和准确率，影响了操作的便捷性和舒适感。
发明内容
有鉴于此，本发明的主要目的在于提供一种虚实结合的交互式输入方法、装置和存储介质。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种虚实结合的交互式输入方法，所述方法包括：
确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
进一步地，所述根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，包括：根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的所述投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。
进一步地，所述方法还包括：确定所述投影矩阵；
所述确定所述投影矩阵，包括：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。
进一步地，所述第一目标对象上设有跟踪器；
所述确定第一目标对象在实体空间中的位置，包括：获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；
所述根据第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域，包括：根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。
进一步地，所述对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象，包括：
对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。
进一步地，所述将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域，包括：
将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
本发明实施例提供了一种虚实结合的交互式输入装置，所述装置包括：第一处理模块、第二处理模块、第三处理模块；其中，
所述第一处理模块，用于确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
所述第二处理模块，用于获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
所述第三处理模块，用于将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
进一步地，所述第一处理模块，具体用于根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的所述投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。
进一步地，所述装置还包括：预处理模块，用于根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。
进一步地，所述第一目标对象上设有跟踪器；
所述第一处理模块，具体用于获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；
所述第一处理模块，还用于根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域；
所述第二处理模块，具体用于对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象；
所述第三处理模块，具体用于将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
本发明实施例提供了一种虚实结合的交互式输入装置，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行以上所述的任意一种虚实结合的交互式输入方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的任意一种虚实结合的交互式输入方法的步骤。
本发明实施例所提供的虚实结合的交互式输入方法、装置和存储介质，确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。本发明实施例有效提高了虚拟场景中交互式输入的速率和准确率，让用户可以在佩戴VR设备的情况下，使用现实中的硬件进行输入操作，并在VR设备中看到操作过程，同时保留了操作的触觉反馈和力反馈，增强了输入过程的舒适感和系统的沉浸感。
附图说明
图1为本发明实施例提供的一种将键盘操作从现实世界映射到虚拟世界的概念图；
图2为本发明实施例提供的一种虚实结合的交互式输入方法的流程示意图；
图3为本发明实施例提供的转换矩阵已知时投影矩阵的处理方法的算法示意图；
图4为本发明实施例提供的一种图像分割方法的流程示意图；
图5为本发明实施例提供的一种图像分割的效果示意图；
图6为本发明实施例提供的键盘与手的融合效果示意图；
图7为本发明实施例提供的操作台与手的融合效果示意图；
图8为本发明实施例提供的一种虚实结合的交互式输入装置的结构示意图。
具体实施方式
在本发明的各种实施例中，确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
下面结合实施例对本发明再作进一步详细的说明。
图2为本发明实施例提供的一种虚实结合的交互式输入方法的流程示意图；所述方法应用于VR设备，如一种VR头盔，如图2所示，所述方法包括：
步骤101、确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
步骤102、获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
步骤103、将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
这里，所述第一目标对象可以为键盘和/或操作台等；
所述第二目标对象可以是操作所述第一目标对象的对象，如用户的手、操作所述第一目标对象的机械臂等。
所述第一目标对象为实体空间中用户操作的第一目标对象(如键盘)，所述虚拟空间中的或所述第二位置区域展示有的第一目标对象为通过VR设备展示的与所述第一目标对象对应的设备(如虚拟键盘)。
所述第二目标对象为实体空间中用户的手或机械臂等，所述第二位置区域展示的第二目标对象为通过VR设备展示的与所述第二目标对象对应的对象。
所述第一图像为一种彩色图像，即RGB图像。
具体地，所述步骤101，所述根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，包括：
确定所述第一目标对象在实体空间中的位置后，根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵(具体指一种实体空间坐标系到虚拟空间坐标系的转换关系，可以是由VR设备的开发商和/或虚拟空间设计者预先设定并保存)，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。这里，通过RGB摄像头实时采集RGB图像，所述RGB图像上投影占据的第一位置区域是指实体空间中通过RGB摄像头实时采集的RGB图像中第一目标对象投影占据的第一位置区域。
这里，所述RGB摄像头属于或者连接于所述VR头盔。
所述方法还包括：确定所述从虚拟空间到RGB图像的投影矩阵；所述投影矩阵表征从虚拟空间坐标系到RGB图像的投影矩阵；
所述确定所述投影矩阵，包括：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法算从虚拟空间到RGB图像的投影矩阵。
所述头盔坐标系是以头盔显示器为基准建立的坐标系，一般由VR头盔厂家设定；
所述RGB摄像头坐标系是以RGB摄像头为基准建立的坐标系，坐标系原点为摄像头的光心，X轴和Y轴分别与图像平面的X轴和Y轴平行，Z轴为摄像头光轴；
所述头盔坐标系到RGB摄像头坐标系的转换矩阵可以由VR头盔厂商提供，通过VR头盔的接口函数获取；
所述头盔坐标系到虚拟空间坐标系的转换矩阵，可以通过VR头盔的接口函数查询获得，由VR头盔的制造商在生产过程中设定并保存。
所述RGB摄像头的内参数矩阵，可以通过RGB摄像头的API接口查询获取，由RGB摄像头的制造商提供，也可以采用相机标定方法标定得到。
具体地，所述第一目标对象上设有跟踪器，如HTC Vive追踪器；
所述确定所述第一目标对象在实体空间中的位置，包括：
获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标。
所述根据第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域，包括：
根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的所述第二位置区域。
具体来说，所述第一目标对象上设有跟踪器，所述跟踪器用于获取第一目标对象在实体空间中的位置；所述VR设备(如VR头盔)获取所述跟踪器的位置，并根据从实体空间到虚拟空间的转换矩阵得到第一目标对象在虚拟空间中的位置，即确定所述第二位置区域。
所述虚拟场景的渲染矩阵为虚拟空间设计者预先设定并保存在VR设备中。
这里，所述实体坐标系指实体空间中设定的世界坐标系，所述虚拟空间坐标系指虚拟空间内设定的世界坐标系。
具体地，步骤102中，获取的所述第一图像具体指包含第一目标对象的RGB图像，第二图像指从第一图像中截取的、在第一目标对象投影区域内的RGB图像；
这里，所述对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象，包括：
对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。
如图4所示，图4为本发明实施例提供的一种图像分割方法的流程示意图；具体来说，以第一目标对象为键盘为例进行说明，根据键盘上固定的跟踪器返回的实时数据和从实体空间到虚拟空间的转换矩阵可以得到键盘四个角点在虚拟空间中的位置，记为Mi(i＝1,2,3,4)，根据虚拟空间RGB图像的投影矩阵可以得到键盘四个角点在RGB图像(一种通过RGB摄像头采集的彩色图像)上的投影坐标mi＝PMi(i＝1,2,3,4)，连接四个投影点得到一个四边形区域，即为键盘在RGB图像上的投影区域，即第一位置区域。可以选择黑色键盘，使得键盘的颜色与手的肤色相差较大，有利于图像分割。物体表面的颜色即表面色是因光照而呈现的颜色，在自然光照射和白色灯光照射下，手部和键盘形成不同的表面色，且手部表面色处于一定的色彩范围内，利用手部和键盘在RGB颜色分量上的差异设定颜色通道阈值，将彩色图像二值化，如图5a所示。
本实施例中，采用OpenCV的查找轮廓函数cvFindContours对二值化后的第一图像进行轮廓检测，得到轮廓序列，如图5b所示(轮廓线用白色线绘制)；再利用cvContourArea函数计算每个轮廓包围的面积，剔除掉面积小于阈值的轮廓，主要针对的是黑色键盘上的白色符号和其它噪声；最后得到手部轮廓，保留轮廓内的像素，将轮廓外像素设置为黑色，即完成了手部分割，如图5c所示(白色轮廓线包围的区域)。
具体地，步骤103，所述将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域，包括：
将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
本实施例中，以第一目标对象为键盘为例进行说明，提供一种步骤103的具体操作方法，包括：
对RGB图像进行畸变矫正，得到无畸变图像，并将其存入二维纹理单元；对于键盘上的任一顶点，将其记为V。利用键盘局部坐标系到世界坐标系的转换矩阵ModelWorldMatrix 和从虚拟空间到RGB图像的投影矩阵P，可以计算出键盘上点在无畸变RGB图像上的投影点的图像坐标：
v＝P*ModelWorldMatrix*V
这里，所述v是RGB图像上投影点的齐次坐标,用(vx，vy，vw)表示。进一步可以得到投影点的纹理坐标：
其中，w是RGB图像的宽度，h是图像高度。
然后，判断纹理坐标对应的纹理像素值是否为零，如果纹理像素为黑色，则输出键盘的顶点的颜色，如果纹理像素值不等于零，则输出纹理颜色。
最后，采用shader着色器语言实现第二目标对象(如用户的手)与虚拟键盘的融合，效果如图6a所示。
本实施例中，还可以将第二目标对象渲染成半透明的影子，以这种形式与虚拟键盘进行融合显示。
相应的，判断纹理坐标对应的纹理像素值时，如果纹理像素为黑色，输出键盘颜色，如果纹理像素值不等于零，输入手部影子颜色与键盘的混合色(影子颜色可以在与键盘不同的颜色中选择，如蓝色、黄色、红色等)。同样采用shader着色器实现融合，效果如图6b所示。
通过以上步骤101、102、103，从而实现键盘操作从真实世界到虚拟世界的映射，当用户戴有VR设备，即可实时看到实体空间中手在键盘上的位置和手对键盘的操作。
本实施例还适用于操作台的操作，即所述第一目标对象为操作台，得到操作台与手的融合效果如图7所示。
本发明实施例中，所述步骤101之前，所述方法还包括：第一目标对象建模和标定从虚拟空间到RGB图像(即所述第一图像)的投影矩阵；
具体来说，投影矩阵指的是从虚拟空间到RGB图像的投影矩阵，通过投影矩阵标定得到投影矩阵的值；第一目标对象建模指为现实第一目标对象创建三维模型，并确保模型尺寸与真实第一目标对象一致；通过对现实第一目标对象进行定位跟踪，动态获取第一目标对象的实时位置，根据第一目标对象的位置和标定得到的投影矩阵计算第一目标对象在RGB图像中的投影区域，并在该区域内分割出第二目标对象的图像；最后将第二目标对象的图像与第一目标对象进行融合显示，使得用户可以在佩戴的头盔显示器中看到第二目标对象在第一目标对象上的位置和对第一目标对象进行的操作，实现虚拟场景中的第一目标对象输入和与虚拟场景的交互。
以下对确定从虚拟空间到RGB图像的投影矩阵的方法进行说明；
投影矩阵标定指的是获取从虚拟空间到RGB图像的投影矩阵的过程。此处，可以根据所采用的硬件能够提供的参数情况提出两种投影矩阵的标定方法。一种方法适用于已知头盔坐标系到RGB摄像头坐标系的转换矩阵的情况，另一种方法适用于转换矩阵未知的情况。
①已知转换矩阵
若已知头盔坐标系到RGB摄像头坐标系的转换矩阵，则投影矩阵的标定采用图3所示的方案。
将由头盔显示器定义的坐标系记为OH-XHYHZH，OH位于头盔显示器的中心，X轴平行于左右眼点的连线，Y轴垂直于眼点连线向上，Z轴沿视线的方向指向前方(不同品牌和型号的头盔显示器可能有按自己标准定义的自身坐标系，但不影响本方案中投影矩阵的计算)；将摄像头定义的坐标系记为OC-XCYCZC，Oc位于摄像头的投影中心，Z轴指向成像平面并与其垂直，X轴和Y轴均与成像平面平行；将虚拟空间坐标系记为OV-XVYVZV，在生成虚拟场景时一般都会定义一个虚拟空间的世界坐标系。
获取摄像头的内参数与畸变参数(具体获取方法，可以通过硬件提供的API接口查询摄像头参数，如果无法直接查询，也可以采用黑白棋盘格平面标定法计算出摄像头参数)；从不同角度拍摄若干张棋盘格图像，本实施例中，可以拍摄大于10张的图像；检测图像中的特征点，即棋盘格角点；根据角点坐标计算得到摄像头的内参数和畸变系数，具体的有焦距、主点坐标、径向畸变系数和切向畸变系数。这里，可以采用Matlab工具箱TOOLBOX_calib 完成RGB摄像头的标定工作。设空间中存在一个物理点Q，其在摄像头坐标系中的坐标为 (X,Y,Z)，则该物理点投影到成像平面上的坐标可以通过下式计算：
q＝KQ，其中
其中，q是投影点的齐次坐标表示，fx、fy是焦距，cx、cy是主点坐标,s为扭曲参数。图像畸变采用Brown–Conrady模型进行矫正，公式如下：
xu＝xd+(xd-xc)(k1r2+kr4)+p1(r2+2(xd-xc)2)+2p2(xd-xc)(yd-yc)
yu＝yd+(yd-yc)(k1r2+k2r4)+2p1(xd-xc)(yd-yc)+p2(r2+2(yd-yc)2)
其中，(xd，yd)是畸变点在成像仪上的原始位置，(xu，yu)是矫正后的图像坐标，(xc，yc)是主点位置，等于(cx，cy)，k1、k2是径向畸变参数，p1、p2是切向畸变参数。
图3中，Th2c是头盔坐标系到RGB摄像头坐标系的转换矩阵，根据假设条件，该矩阵已知。Th2v是头盔坐标系到虚拟空间坐标系的转换矩阵，一般的头盔显示器都附带了接口函数可以查询该矩阵的大小。则从虚拟空间到RGB图像的投影矩阵为
P＝KTh2cTh2v -1
此投影矩阵适用于经过畸变矫正的RGB图像。
②转换矩阵未知
若转换矩阵未知，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。
具体来说，所述采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵，包括：
固定RGB摄像头不动，在场景中放置一个位置跟踪器，如HTC的Vive追踪器，跟踪器可以返回自己在实体空间中的位置并根据所述转换矩阵得到跟踪器在虚拟空间中的世界坐标。
移动跟踪器，记录若干组(大于20)它在虚拟空间中的坐标和用RGB摄像头拍摄的图像。手动标记跟踪器在RGB图像中的位置，得到一组跟踪器在图像上的投影点集合 {qi＝(xi，yi)}，已知其对应的虚拟世界坐标集合{Qi＝(Xi，Yi，Zi)}，通过最小化重投影误差得到投影矩阵P：
如果RGB摄像头在虚拟空间中的位置发生了变化(由于虚拟空间坐标系的变化或RGB摄像头的移动)，即RGB摄像头在虚拟世界坐标系中的坐标与标定时的坐标不同，则还需要此时 RGB摄像头相对于标定时的转换矩阵T，此时从虚拟空间到RGB图像的投影矩阵为P′＝PT。
以下对第一目标对象建模进行说明；
第一目标对象建模过程是指通过一定的建模手段和工具为真实第一目标对象建立三维模型的过程。如果第一目标对象参数已知，则可直接由美工人员应用建模软件创建第一目标对象的三维模型；如果第一目标对象参数未知，则需要对真实第一目标对象的尺寸进行测量之后再由美工人员建模。第一目标对象的三维模型可以通过渲染引擎加载到虚拟场景中并进行渲染显示。
本发明实施例提供的一种虚实结合的交互式输入装置的结构示意图；如图8所示，所述装置包括：第一处理模块、第二处理模块、第三处理模块；其中，
所述第一处理模块，用于确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
所述第二处理模块，用于获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
所述第三处理模块，用于将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
具体地，所述第一处理模块，具体用于确定所述第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的所述投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。
具体地，所述装置还包括：预处理模块，用于确定从虚拟空间到RGB图像的投影矩阵；
所述预处理模块，具体用于根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。
具体地，所述第一目标对象上设有跟踪器；
所述第一处理模块，具体用于获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标。
具体地，所述第一处理模块，还用于根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。
具体地，所述第二处理模块，具体用于对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。
具体地，所述第三处理模块，具体用于将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
以上所述虚实结合的交互式输入装置执行虚实结合的交互式输入操作时，具体操作可执行与图2所示的虚实结合的交互式输入方法相同的操作。
本实施例还提供了另一种虚实结合的交互式输入装置，所述装置应用于VR头盔；所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行：确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
在一实施例中，所述处理器还用于执行：确定所述第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的所述投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。
在一实施例中，所述处理器还用于执行：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到 RGB图像的投影矩阵；或者，采用外置跟踪器计算从虚拟空间到RGB图像的投影矩阵。
在一实施例中，所述处理器还用于执行：获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；
以及，根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。
在一实施例中，所述处理器还用于执行：对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。
在一实施例中，所述处理器还用于执行：将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
需要说明的是：上述实施例提供的虚实结合的交互式输入装置与虚实结合的交互式输入方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
实际应用时，所述装置还可以包括：至少一个网络接口。装置中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。其中，所述处理器的个数可以为至少一个。网络接口用于交互装置与其他设备之间有线或无线方式的通信。
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行：确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
在一实施例中，所述计算机程序被处理器运行时，执行：确定所述第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB 图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的所述投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。
在一实施例中，所述计算机程序被处理器运行时，执行：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器计算从虚拟空间到RGB图像的投影矩阵。
在一实施例中，所述计算机程序被处理器运行时，执行：获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；
以及，根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。
在一实施例中，所述计算机程序被处理器运行时，执行：对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。
在一实施例中，所述计算机程序被处理器运行时，执行：将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种虚实结合的交互式输入方法，其特征在于，所述方法包括：
确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，包括：
根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；
获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述投影矩阵；
所述确定所述投影矩阵，包括：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。
4.根据权利要求1所述的方法，其特征在于，所述第一目标对象上设有跟踪器；
所述确定第一目标对象在实体空间中的位置，包括：获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；
所述根据第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域，包括：根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。
5.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象，包括：
对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。
6.根据权利要求1所述的方法，其特征在于，所述将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域，包括：
将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
7.一种虚实结合的交互式输入装置，其特征在于，所述装置包括：第一处理模块、第二处理模块、第三处理模块；其中，
所述第一处理模块，用于确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；
所述第二处理模块，用于获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；
所述第三处理模块，用于将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。
8.根据权利要求7所述的装置，其特征在于，所述第一处理模块，具体用于根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：预处理模块，用于根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。
10.根据权利要求8所述的装置，其特征在于，所述第一目标对象上设有跟踪器；
所述第一处理模块，具体用于获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；
所述第一处理模块，还用于根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域；
所述第二处理模块，具体用于对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象；
所述第三处理模块，具体用于将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。
11.一种虚实结合的交互式输入装置，其特征在于，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至6任一所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810824917.1A CN109085931A (zh) | 2018-07-25 | 2018-07-25 | 一种虚实结合的交互式输入方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810824917.1A CN109085931A (zh) | 2018-07-25 | 2018-07-25 | 一种虚实结合的交互式输入方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109085931A true CN109085931A (zh) | 2018-12-25 |
Family
ID=64838515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810824917.1A Pending CN109085931A (zh) | 2018-07-25 | 2018-07-25 | 一种虚实结合的交互式输入方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109085931A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084204A (zh) * | 2019-04-29 | 2019-08-02 | 北京字节跳动网络技术有限公司 | 基于目标对象姿态的图像处理方法、装置和电子设备 |
| CN110264393A (zh) * | 2019-05-15 | 2019-09-20 | 联想（上海）信息技术有限公司 | 一种信息处理方法、终端和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673161A (zh) * | 2009-10-15 | 2010-03-17 | 复旦大学 | 一种可视可操作无实体的触摸屏系统 |
| CN101727182A (zh) * | 2010-01-28 | 2010-06-09 | 南京航空航天大学 | 头盔式虚拟现实环境中参与者实际手的可视化方法和系统 |
| CN105354820A (zh) * | 2015-09-30 | 2016-02-24 | 深圳多新哆技术有限责任公司 | 调整虚拟现实图像的方法及装置 |
| CN106249881A (zh) * | 2016-07-21 | 2016-12-21 | 江苏奥格视特信息科技有限公司 | 增强现实视场空间和虚拟三维目标动态配准方法 |
| CN106373085A (zh) * | 2016-09-20 | 2017-02-01 | 福州大学 | 一种基于增强现实的智能终端3d手表试戴方法及系统 |
| CN106898049A (zh) * | 2017-01-18 | 2017-06-27 | 北京商询科技有限公司 | 一种用于混合现实设备的空间匹配方法及系统 |
| CN107491731A (zh) * | 2017-07-17 | 2017-12-19 | 南京航空航天大学 | 一种面向精确打击的地面运动目标检测与识别方法 |
| CN107533373A (zh) * | 2015-08-04 | 2018-01-02 | 谷歌有限责任公司 | 虚拟现实中经由手与对象的场境敏感碰撞的输入 |
| CN108027653A (zh) * | 2015-09-09 | 2018-05-11 | 微软技术许可有限责任公司 | 虚拟环境中的触觉交互 |
-
2018
- 2018-07-25 CN CN201810824917.1A patent/CN109085931A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673161A (zh) * | 2009-10-15 | 2010-03-17 | 复旦大学 | 一种可视可操作无实体的触摸屏系统 |
| CN101727182A (zh) * | 2010-01-28 | 2010-06-09 | 南京航空航天大学 | 头盔式虚拟现实环境中参与者实际手的可视化方法和系统 |
| CN107533373A (zh) * | 2015-08-04 | 2018-01-02 | 谷歌有限责任公司 | 虚拟现实中经由手与对象的场境敏感碰撞的输入 |
| CN108027653A (zh) * | 2015-09-09 | 2018-05-11 | 微软技术许可有限责任公司 | 虚拟环境中的触觉交互 |
| CN105354820A (zh) * | 2015-09-30 | 2016-02-24 | 深圳多新哆技术有限责任公司 | 调整虚拟现实图像的方法及装置 |
| CN106249881A (zh) * | 2016-07-21 | 2016-12-21 | 江苏奥格视特信息科技有限公司 | 增强现实视场空间和虚拟三维目标动态配准方法 |
| CN106373085A (zh) * | 2016-09-20 | 2017-02-01 | 福州大学 | 一种基于增强现实的智能终端3d手表试戴方法及系统 |
| CN106898049A (zh) * | 2017-01-18 | 2017-06-27 | 北京商询科技有限公司 | 一种用于混合现实设备的空间匹配方法及系统 |
| CN107491731A (zh) * | 2017-07-17 | 2017-12-19 | 南京航空航天大学 | 一种面向精确打击的地面运动目标检测与识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084204A (zh) * | 2019-04-29 | 2019-08-02 | 北京字节跳动网络技术有限公司 | 基于目标对象姿态的图像处理方法、装置和电子设备 |
| CN110084204B (zh) * | 2019-04-29 | 2020-11-24 | 北京字节跳动网络技术有限公司 | 基于目标对象姿态的图像处理方法、装置和电子设备 |
| CN110264393A (zh) * | 2019-05-15 | 2019-09-20 | 联想（上海）信息技术有限公司 | 一种信息处理方法、终端和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102658303B1 (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
| US11577159B2 (en) | Realistic virtual/augmented/mixed reality viewing and interactions | |
| CN109801379B (zh) | 通用的增强现实眼镜及其标定方法 | |
| US10460512B2 (en) | 3D skeletonization using truncated epipolar lines | |
| US11694392B2 (en) | Environment synthesis for lighting an object | |
| CN110070621B (zh) | 电子装置、显示增强现实场景的方法及电脑可读取媒体 | |
| US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
| CN114785996B (zh) | 虚拟现实视差校正 | |
| US11170521B1 (en) | Position estimation based on eye gaze | |
| JP2017182274A (ja) | 情報処理装置およびコンピュータープログラム | |
| US20180218539A1 (en) | Rendering emthod in ar scene, processor and ar glasses | |
| CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
| JP2014106543A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11830148B2 (en) | Reconstruction of essential visual cues in mixed reality applications | |
| US11380063B2 (en) | Three-dimensional distortion display method, terminal device, and storage medium | |
| KR20180099703A (ko) | 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성 | |
| JP2015114905A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN110874135A (zh) | 光学畸变的校正方法、装置、终端设备及存储介质 | |
| CN112657176A (zh) | 一种结合人像行为信息的双目投影人机交互方法 | |
| US11682234B2 (en) | Texture map generation using multi-viewpoint color images | |
| JP6552266B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN106981100A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| CN107016730A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| CN111813214A (zh) | 虚拟内容的处理方法、装置、终端设备及存储介质 | |
| JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181225 |