CN105759963A - 基于相对位置关系定位人手在虚拟空间中运动轨迹的方法 - Google Patents

Abstract

本发明的具体实施例提供了一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其中，该方法包括：将现实空间中的物体分为固定标志物和可移动标志物，并采样包含物体的图像；通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹；将物体和人手映射到虚拟空间中获得人手在虚拟空间中的虚拟运动轨迹。本发明能够准确定位人手在虚拟空间中的运动轨迹，从而保证用户在虚拟世界中准确无误地操作实体虚拟物。

Description

基于相对位置关系定位人手在虚拟空间中运动轨迹的方法

技术领域

本发明涉及虚拟现实(VirtualReality，VR)和增强现实(AugmentedReality，AR)技术领域，尤其涉及一种确定人手在虚拟空间位置的方法，具体来说就是一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法。

背景技术

虚拟现实(VirtualReality)和增强现实(AugmentedReality)是近年来出现的高新技术，其原理是利用电脑模拟产生一个三维空间的虚拟世界，向使用者提供关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地观察三维空间内的事物。而交互控制领域是虚拟现实和增强现实技术的重要应用方向之一，也为虚拟现实和增强现实技术的快速发展起了巨大的需求牵引作用。

交互控制的实现需要用户用手去做一些动作，从而在三维空间的虚拟世界里，产生对应的结果。例如，在真人虚拟CS对战游戏中，用户的穿戴式智能设备发现弹药库内墙壁上挂一把枪，在现实世界中这把枪可能是带有二维码的木棍，悬挂在田野中一棵树下，如果用户想使用这把枪进行交战，需要用户用手把枪取下来，问题是用户完全处于一个虚拟的世界中，不能像现实世界中一样，直接用裸眼观察手的位置及运动轨迹，即不能精确确定在虚拟空间里自己手与实体虚拟物之间处于一个什么样的位置关系，不知道自己的手伸到什么位置进行抓取动作，才能准确拿到枪，由于人手处于运动状态，此时需要穿戴式智能设备对包含人手及枪的现实空间进行高频图像采样，从而定位人手的运动轨迹，进而确定在虚拟世界中人手与枪的相对位置关系，这样带来的问题是，高频采样图像包括了人手及枪的背景信息，穿戴式智能设备需要处理海量的数据，不但需要高配置的穿戴式智能设备，而且还会导致人手运动轨迹定位延迟，加上虚拟世界中枪的位置与大小，并不一定完全与现实世界中木棍的位置与大小相重合，因此经常发生用户在虚拟世界中拿不到枪的情况，用户体验度差。

为了解决上述问题，本领域技术人员亟待提供一种确定人手在虚拟空间位置的方法，从而保证人手在虚拟世界内能够准确无误地操作实体虚拟物。

发明内容

有鉴于此，本发明需要解决的技术问题在于提供一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，解决了现有技术中人手运动轨迹定位延迟，用户在虚拟世界内不能精确确定自己手的位置，用户不能准确无误地操作实体虚拟物的问题。

本发明具体实施方式提供一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，包括：将现实空间中的物体分为固定标志物和可移动标志物，并采样包含物体的图像；通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹；将物体和人手映射到虚拟空间中获得人手在虚拟空间中的虚拟运动轨迹。

由以上本发明具体实施方式提供的技术方案可知，基于相对位置关系定位人手在虚拟空间中运动轨迹的方法至少具有以下优点或特点：将现实空间中的物体分为固定标志物和可移动标志物，通过固定标志物确定穿戴式智能设备的位置，由于在单位时间内仅处理少量的包括固定标志物的图像帧，所以相对于现有技术，通过很少的图像处理计算量，就能够基于人手与穿戴式智能设备之间的相对位置关系准确定位人手在虚拟空间中的运动轨迹，且人手在虚拟空间中的定位不会出现延迟，从而保证用户在虚拟世界中准确无误地操作实体虚拟物，提高了用户体验度。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。

附图说明

下面的所附附图是本发明的说明书的一部分，其绘示了本发明的示例实施例，所附附图与说明书的描述一起用来说明本发明的原理。

图1为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例一的流程图；

图2为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例二的流程图；

图3为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例三的流程图；

图4为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的图像处理的流程图；

图5为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例四的流程图；

图6为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例五的流程图；

图7为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的图像处理的另一流程图；

图8为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实际应用示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本发明所揭示内容的精神，任何所属技术领域技术人员在了解本发明内容的实施例后，当可由本发明内容所教示的技术，加以改变及修饰，其并不脱离本发明内容的精神与范围。

本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例一的流程图，如图1所示，首先，将现实空间中的物体分为固定标志物和可移动标志物，在单位时间内仅处理少量的包括固定标志物的图像帧，在单位时间内仅处理大量的包括可移动标志物的图像帧，可以减少穿戴式智能设备的数据处理量，利用人手与穿戴式智能设备之间的相对位置关系定位人手的运动轨迹，由于虚拟空间与现实空间相对应，可以保证用户在虚拟世界中准确无误地操作实体虚拟物。

该图所示的具体实施方式的步骤包括：

步骤1：将现实空间中的物体分为固定标志物和可移动标志物，并采样包含物体的图像。所述固定标志物和所述可移动标志物具有不同的特征标志部件，所述特征标志部件为发光单元。所述固定标志物的特征标志部件和所述可移动标志物的特征标志部件具有不同的发光频率或者发光颜色。穿戴式智能设备可以为头盔、眼镜(如谷歌眼镜)等，现实空间即为人类裸眼认知的世界，位置固定的固定标志物是指该固定标志物相对于地面的位置不变，不会随时间的变化发生位移，例如房子、道路、树木、固定在墙上的灯泡等均为固定标志物；可移动标志物指可能会随时间的变化发生位移，例如手枪、战车、人手等均为可移动标志物。

步骤2：通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹。穿戴式智能设备具有探测器、传感器、摄像头、陀螺仪等部件，利用探测器、传感器、摄像头、陀螺仪等部件基于固定标志物的物理特征参数可以定位穿戴式智能设备在现实空间的位置。固定标志物的物理参数包括：固定标志物的形状、固定标志物的大小。例如，穿戴式智能设备靠近固定标志物时，探测器探测到的固定标志物会变大，远离固定标志物时，探测器探测到的固定标志物会变小。人手上可以佩戴特征标志部件，特征标志部件可以为发光单元，发光单元包括发光面、发光带和发光点等，发光单元可以发出不同颜色、频率、亮度的光；通过发光单元物理特征的变化可以确定其运动轨迹，特征标志部件的物理参数包括：特征标志部件的形状、特征标志部件的大小、特征标志部件的颜色。例如，人手相对于穿戴式智能设备的位置不同，探测器探测到的特征标志部件的形状也不同，假如，发光单元为一圆形发光环，圆形发光环在探测器的正前方时，探测器探测到的发光环为圆形，当人手向前伸时，圆形发光环逐渐变成椭圆，最终可以变成一条线。

步骤3：将物体和人手映射到虚拟空间中获得人手在虚拟空间中的虚拟运动轨迹。无论是穿戴式智能设备，还是人手或者其它物体，在虚拟空间中的位置、运动轨迹和现实空间中的位置、运动轨迹相一致，通过映射可以方便将人手和物体在现实空间的运动轨迹映射到虚拟空间中，获得人手在虚拟空间中的运动轨迹，用户可以在虚拟世界中准确无误地操作实体虚拟物，所述实体虚拟物就是在现实空间中真实存在的物体，只是有可能在现实空间与虚拟空间中呈现的形式不一样，例如，一根木棍在虚拟空间中为一把枪，这把枪就是实体虚拟物。

参见图1，在虚拟现实(VirtualReality，VR)游戏中，用户佩戴着穿戴式智能设备，通过自己眼前的显示屏看到一个全新的世界，比如用户在海底遨游，并且手可以捕捉各种海洋生物，现实世界中，用户在一间房子里面，室内悬挂着纸盒(即实体虚拟物)，纸盒上面具有三维标签，由于三维标签的不同，穿戴式智能设备将纸盒识别成不同的海洋生物，由于用户无法看到自己的手，并不知道自己手所处的准确位置，如果用户想用手去捕捉这些海洋生物，即用手抓住纸盒，就很难做到了，因此，需要精确确定人手在虚拟世界中的位置后，才可以完成上述操作。然而纸盒、墙壁等是不动的，为固定标志物，人手是可以移动的，为可移动标志物，尤其在虚拟现实游戏中，人手需要频繁进行一些操作，为了能够准确人手的位置，需要知道人手的运动轨迹，因此需要获得包含人手的高频采样图像，分析图像，定位人手的位置，即需要在极短的时间间隔内反复定位人手的位置；而对于纸盒、墙壁来说，其位置固定，仅需要很少包括墙壁的采样图像就能定位穿戴式智能设备的位置，而且穿戴式智能设备的运动速度慢，且运动频率低，即仅需要在较长时间间隔内定位下穿戴式智能设备的位置即可，这样就降低了运算量，对设备硬件要求低，设备升级改造容易。本发明能够基于人手与穿戴式智能设备之间的相对位置关系准确定位人手在虚拟空间中的位置，从而保证用户在虚拟世界中准确无误地操作实体虚拟物，提高了用户体验度。

图2为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例二的流程图，如图2所示，分别用不同采样速率采样固定标志物和可移动标志物。

在该附图具体实施方式中，采集包含物体的图像，具体包括：

步骤11：利用低频采样设备采样仅包括所述固定标志物的图像。低频采样设备可以为摄像头、传感器、探测器等。

步骤12：利用高频采样设备采样仅包括所述可移动标志物的图像。高频采样设备可以为摄像头、传感器、探测器等。

参见图2，固定标志物和可移动标志物可以为不同种类的标志物，例如，固定标志物发出可见光，可移动标志物发出不可见光，低频采样设备仅能识别可见光，高频采样设备仅能识别不可见光，从而实现固定标志物和可移动标志物分别采样，低频采样不需要很大计算量就能定位穿戴式智能设备的位置，实现简单，高频采样可以精确追踪可移动标志物的运动轨迹。

图3为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例三的流程图，如图3所示，通过图像处理确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，并确定人手在现实空间中相对于穿戴式智能设备的运动轨迹。

在该附图具体实施方式中，通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹，具体包括：

步骤21：通过处理仅包括所述固定标志物的图像，确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置。

步骤22：通过处理仅包括所述可移动标志物的图像，确定人手在现实空间中相对于穿戴式智能设备的运动轨迹。

参见图3，图像处理可以为图像识别技术，例如可以采用图4所示的步骤，附图4所示的具体实施步骤包括：

步骤201：利用边缘检测算法检测图像获得边缘信息。

步骤202：利用边缘增强算法对所述边缘信息进行增强获得增强边缘信息。利用边缘增强算法是为了突显出图片中的固定标志物，在本发明其它实施例中，也可以省略这一步骤，而直接从边缘信息中识别并分离出固定标志物。

步骤203：根据所述增强边缘信息识别并分离出所述固定标志物。

步骤204：根据所述固定标志物的物理参数计算出穿戴式智能设备的现实位置信息。所述固定标志物的所述物理参数包括：固定标志物的形状、固定标志物的大小、固定标志物的姿态等。

参见图3、图4，利用穿戴式智能设备对现实空间进行拍照，利用图像识别技术识别出固定标志物，根据固定标志物与穿戴式智能设备之间的位置关系变化，可以准确确定穿戴式智能设备在现实三维空间中的位置，实现简单，定位准确。

图5为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例四的流程图，如图5所示，使用一套高频采样设备对固定标志物和可移动标志物同时进行高频采样，只是确定穿戴式智能设备的位置时，仅需要处理部分采样图像就能完成定位，节省了数据处理量，当确定可移动标志物的运动轨迹时，需要处理所有采样图像，因此可以精确确定可移动标志物的运动轨迹。

该附图具体实施方式中，采集包含物体的图像，具体包括：

步骤11’：利用高频采样设备采样包括所述固定标志物和所述可移动标志物的图像。高频采样设备可以为摄像头、传感器、探测器等。

参见图5，固定标志物和可移动标志物可以为不同种类的标志物，例如，固定标志物和可移动标志物具有不同的颜色，因此在处理采样图像时，可以分开处理，即可以从采样图像帧中抽样部分图像帧进行处理，从而在节省数据处理量的基础上，定位穿戴式智能设备的位置。

图6为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实施例五的流程图，如图6所示，通过处理采样图像中的部分图像定位穿戴式智能设备的位置，通过处理所有采样图像，定位人手的运动轨迹，在实现本发明目的的前提下，实现了运算数据量的节省。

该附图具体实施方式中，通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹，具体包括：

步骤21’：通过抽样处理采样的图像，确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置。

步骤22’：通过处理采样的图像，确定人手在现实空间中相对于穿戴式智能设备的运动轨迹。

参见图6，对采样图像进行抽样，确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置时，仅需要处理抽样图像，节省了数据处理量，确定人手的运动轨迹时，处理所有采样图像，实现对人手运动轨迹的精确定位。图像处理可以采用图7所示的步骤，附图7的具体实施步骤包括：

步骤201’：利用边缘检测算法检测包含人手的图像获得人手边缘信息。

步骤202’：利用边缘增强算法对所述人手边缘信息进行增强获得人手增强边缘信息。利用边缘增强算法是为了突显出图片中的可移动标志物，在本发明其它实施例中，也可以省略这一步骤，而直接从人手边缘信息中识别并分离出可移动标志物。标志物可以为发光单元，发光单元包括发光面、发光带和发光点等，发光单元可以发出不同颜色、频率、亮度的光。

步骤203’：基于所述人手增强边缘信息识别并分离出可移动标志物。

步骤204’：根据可移动标志物的物理参数计算出人手在现实空间中的现实运动轨迹。可移动标志物的所述物理参数包括：可移动标志物的形状、可移动标志物的大小、可移动标志物的颜色、可移动标志物的姿态等。

参见图7，利用穿戴式智能设备对人手进行高频拍照或录像，利用图像识别技术识别出可移动标志物，根据可移动标志物与穿戴式智能设备之间的位置关系变化，可以准确确定可移动标志物在现实三维空间中的位置(即人手在现实三维空间中的运动轨迹)，实现简单，定位准确。

图8为本发明具体实施方式提供的一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法的实际应用示意图，如图8所示，用户在一室内进行虚拟现实游戏，穿戴式智能设备的低频摄像头识别出来墙上方形和三角形固定标志物，同时识别出来地上的球形固定标志物，当然也可以仅识别其中一个固定标志物，同时识别出不同位置的多个固定标志物的好处在于，可以提高定位的准确度。用户移动时，上述三个固定标志物在低频摄像头拍摄出来的图片中大小、位置及形状也会发生变化，从而可以推测出低频摄像头在现实世界中所处的位置(即穿戴式智能设备的位置)。同时，穿戴式智能设备的高频摄像头识别出人手上的特征标志部件(人手为可移动标志物)，可以得到在现实空间中，人手相对于穿戴式智能设备的位置，即获得了人手相对于固定标志物的运动轨迹，因此可以获得出人手在现实世界中所处的位置(即特征标志部件(人手)的运动轨迹)。由于穿戴式智能设备及人手在虚拟空间中的位置、运动轨迹和真实空间中的位置、运动轨迹相一致，可以确定人手在虚拟空间中的运动轨迹。然后，确定现实空间与虚拟空间之间的坐标系转换规则，应用该坐标系转换规则，可以轻易将人手在现实空间中的运动轨迹照射到虚拟世界中去，可以保证用户在虚拟世界中准确无误地操作实体虚拟物(例如上述的三个固定标志物)，提高了用户体验度。

本发明提供一种基于相对位置关系定位人手在虚拟空间位置的方法，可以利用视角仅包含人手的传感器对人手进行高频图像采样，利用大视角传感器对其它物体进行低频采样；或者人手与其它物体上特征标志物不相同，分别利用高频采样设备对人手进行高频采样，利用低频采样设备对其它固定物体进行低频采样；或者同时对人手和其它固定物体进行高频采样，只是在图像处理前先对图像采样帧先进行抽样，通过图像处理确定穿戴式智能设备在现实世界中的位置信息，再基于人手与穿戴式智能设备之间的相对位置关系准确定位人手在现实世界中的运动轨迹，再将人手和物体从现实世界映射到虚拟世界中，从而通过很少的计算量，就能够基于人手与穿戴式智能设备之间的相对位置关系准确定位人手在虚拟空间中的运动轨迹，且人手在虚拟空间中的定位不会出现延迟，从而保证用户在虚拟世界中准确无误地操作实体虚拟物，提高了用户体验度。

上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施例也可为在数据信号处理器(DigitalSignalProcessor，DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FieldProgrammableGateArray，FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

以上所述仅为本发明示意性的具体实施方式，在不脱离本发明的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (10)

1.一种基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，该方法包括：

将现实空间中的物体分为固定标志物和可移动标志物，并采样包含物体的图像；

通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹；以及

将物体和人手映射到虚拟空间中获得人手在虚拟空间中的虚拟运动轨迹。

2.如权利要求1所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，采集包含物体的图像，具体包括：

利用低频采样设备采样仅包括所述固定标志物的图像；以及

利用高频采样设备采样仅包括所述可移动标志物的图像。

3.如权利要求2所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹，具体包括：

通过处理仅包括所述固定标志物的图像，确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置；以及

通过处理仅包括所述可移动标志物的图像，确定人手在现实空间中相对于穿戴式智能设备的运动轨迹。

4.如权利要求1所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，采集包含物体的图像，具体包括：

利用高频采样设备采样包括所述固定标志物和所述可移动标志物的图像。

5.如权利要求4所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，通过处理图像确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置，以及人手相对于穿戴式智能设备的运动轨迹，具体包括：

通过抽样处理采样的图像，确定穿戴式智能设备在现实空间中相对于所述固定标志物的位置；以及

通过处理采样的图像，确定人手在现实空间中相对于穿戴式智能设备的运动轨迹。

6.如权利要求2或4所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，所述高频采样设备和低频采样设备为摄像头。

7.如权利要求1所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，处理图像，具体包括：

利用边缘检测算法检测图像获得边缘信息；

利用边缘增强算法对所述边缘信息进行增强获得增强边缘信息；

根据所述增强边缘信息识别并分离出物体；以及

确定出物体的物理参数。

8.如权利要求7所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，所述物理参数包括：物体的形状、物体的大小。

9.如权利要求1所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，所述固定标志物和所述可移动标志物具有不同的特征标志部件，所述特征标志部件为发光单元。

10.如权利要求9所述的基于相对位置关系定位人手在虚拟空间中运动轨迹的方法，其特征在于，所述固定标志物的特征标志部件和所述可移动标志物的特征标志部件具有不同的发光频率或者发光颜色。