CN107422854A - 应用于虚拟现实的动作识别方法及终端 - Google Patents
应用于虚拟现实的动作识别方法及终端 Download PDFInfo
- Publication number
- CN107422854A CN107422854A CN201710531916.3A CN201710531916A CN107422854A CN 107422854 A CN107422854 A CN 107422854A CN 201710531916 A CN201710531916 A CN 201710531916A CN 107422854 A CN107422854 A CN 107422854A
- Authority
- CN
- China
- Prior art keywords
- action
- sensing data
- sensor
- depth map
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种应用于虚拟现实的动作识别方法及终端,其中方法包括:当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据;根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息;根据该环境深度图中的动作深度信息进行虚拟现实控制处理。本发明实施例可以基于手机等智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作。
Description
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种应用于虚拟现实的动作识别方法及终端。
背景技术
随着科技的进步,以及互联网+和工业4.0的进程,虚拟现实将会得到前所未有的爆发性增长,并将引领下一代互联网的走向。在虚拟现实技术中,用户可通过人机交互与系统交流,并进行操作。目前,虚拟现实的交互方式多种多样,市面上也出现了各种交互设备,如手柄、线控耳机、数据手套等。但是,如手柄、线控耳机等交互设备定义的交互动作与用户在真实世界的动作差别很大,降低了用户体验,如数据手套等交互设备的交互成本较高。
发明内容
本发明实施例提供一种应用于虚拟现实的动作识别方法,可基于手机等智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作。
第一方面,本发明实施例提供了一种应用于虚拟现实的动作识别方法,该方法包括:
当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据;
根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息;
根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
第二方面,本发明实施例提供了一种终端,该终端包括:
第一调用单元,用于当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据;
第一确定单元,用于根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息;
第一控制单元,用于根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
第三方面,本发明实施例提供了另一种终端,该终端包括存储器、处理器以及存储在该存储器并在该处理器上运行的计算机程序,该处理器执行该计算机程序时实现:
当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据;
根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息;
根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现:
当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据;
根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息;
根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
本发明实施例通过调用手机、平板电脑等智能终端中内置的传感器采集用户动作的相关数据,得到环境深度图,并根据该环境深度图进行虚拟现实控制处理,可以基于智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作,由于不需要手柄、数据手套等专用的交互设备而使用手机、平板电脑等常用的用户设备,降低了虚拟现实的人机交互成本。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种应用于虚拟现实的动作识别方法的示意流程图;
图2是本发明另一实施例提供的一种应用于虚拟现实的动作识别方法的示意流程图;
图3是智能终端中的光线传感器的位置示意图;
图4是智能终端中的光线传感器的感测范围示意图;
图5是智能终端在虚拟现实设备中的放置姿态示意图;
图6是智能终端放入虚拟现实设备后的俯视示意图;
图7是发射信号、反射信号以及相位参数的示意图;
图8是深度图像捕获示意图;
图9是深度图像捕获细节示意图;
图10是预测的深度图像捕获示意图;
图11是本发明实施例提供的一种终端的示意性框图;
图12是本发明另一实施例提供的一种终端的示意性框图;
图13是本发明又一实施例提供的一种终端的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“若”可以依据上下文被解释为“当...时”或“一旦”。类似地,短语“若确定”或“若接收到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦接收到[所描述条件或事件]”或“响应于接收到[所描述条件或事件]”。
具体实现中,本发明实施例中描述的智能终端可以包括诸如具有光线传感器的手机或平板电脑之类的便携式设备。应当理解的是,智能终端可以具有触摸敏感表面(例如,触摸屏显示器和/或触摸板),还可以包括诸如物理按键、麦克风等物理用户接口设备。
智能终端支持各种应用程序,例如以下中的一个或多个:绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在智能终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及智能终端上显示的相应信息。这样,智能终端的公共物理架构(例如,触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
应当理解的是,本发明实施例描述的终端指的是对光线传感器所采集的感测数据进行分析和处理的处理终端,而非上述具有光线传感器的智能终端。在本发明实施例中,处理终端具体是虚拟现实(Virtual Reality,VR)设备,智能终端具体是具有光线传感器的手机。
本发明实施例提供了一种应用于虚拟现实的动作识别方法,用户佩戴VR设备,该VR设备通过有线(如USB)或无线(如Wi-Fi、蓝牙等)的方式与具有光线传感器的手机进行通信连接;用户在该手机的光线传感器的感测范围内做出手势或动作;光线传感器发出经调制的近红外光,近红外光遇到用户手势或动作形成反射光;VR设备对光线传感器发出的近红外光及其对应的反射光进行计算,得到近红外光和反射光的相位差,并根据该相位差,计算出近红外光照射到的用户手势或动作上的目标位置点的深度距离;VR设备计算出用户手势或动作上的各个目标位置点的深度距离,以不同颜色代表不同距离的地形图方式,从而确定出该光线传感器感测范围内的环境深度图;VR设备对环境深度图进行虚拟现实控制处理,得到三维手势或动作,并将该三维手势或动作显示在VR设备的屏幕中。采用本发明实施例,可以基于智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作,由于不需要手柄、数据手套等专用的交互设备而使用手机、平板电脑等常用的用户设备,降低了虚拟现实的人机交互成本。下面将结合附图1-13对本发明实施例提供的应用于虚拟现实的动作识别方法及终端分别进行详细的介绍。
参见图1,是本发明实施例提供的一种应用于虚拟现实的动作识别方法的示意流程图。具体实现中,该方法包括的各个步骤可以由上述的处理终端执行。如图1所示的应用于虚拟现实的动作识别方法可包括:
S11、当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据。
具体地,上述传感器指的是光线传感器,智能终端指的是具有光线传感器的手机或平板电脑等便携式设备。具体实现中,光线传感器可以与用户身份模块(SubscriberIdentity Module,SIM)卡集成置于同一区域,即光线传感器位于SIM卡开孔位置,减少了手机的外观开孔及破坏,使得手机集成度高且美观,同时便于传感器感测用户手势或动作。
当VR设备检测到有手机接入,即检测到与手机建立了通信连接时,该VR设备调用该手机中内置的光线传感器感测该光线传感器感测范围内的用户动作,采集该光线传感器感测范围内的第一感测数据。显然,该第一感测数据包括该光线传感器感测范围内的动作感测数据。具体地,该光线传感器通过发射近红外光感测用户动作,近红外光遇到用户动作后形成反射光。该VR设备通过该光线传感器发射的近红外光,以及根据该接收近红外光接收到的反射光,采集该光线传感器感测范围内的第一感测数据。可知,该第一感测数据中包括近红外光及其反射光的信号参数,如时间参数、相位参数等。在本发明实施例中,所描述的用户动作包括静态的手势或动态的动作。
S12、根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息。
具体地,VR设备根据该第一感测数据所包括的光线传感器发射的近红外光及其反射光的相位参数,计算出近红外光及其反射光的相位差,并根据该相位差,计算出近红外光照射到的用户动作上的目标位置点的深度距离。具体实现中,该VR设备计算出用户动作上的各个目标位置点的深度距离,以不同颜色代表不同距离的地形图方式,从而确定出该光线传感器感测范围内的环境深度图。
S13、根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
具体地,VR设备对环境深度图中的动作深度信息进行虚拟现实控制处理,得到与光线传感器所感测的用户动作相对应的三维动作,并将该三维动作显示在该VR设备的屏幕中。该VR设备根据预置的交互动作与控制操作之间的映射关系,确定与该三维动作相对应的交互动作,进而查找出并执行与该三维动作相对应的目标控制操作,从而实现了用户与VR设备之间的人机交互过程。
在本发明实施例中,通过调用手机、平板电脑等智能终端中内置的传感器采集用户动作的相关数据,得到环境深度图,并根据该环境深度图进行虚拟现实控制处理,可以基于智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作,由于不需要手柄、数据手套等专用的交互设备而使用手机、平板电脑等常用的用户设备,降低了虚拟现实的人机交互成本。
参见图2,是本发明另一实施例提供的一种应用于虚拟现实的动作识别方法的示意流程图。具体实现中,该方法包括的各个步骤可以由上述的处理终端执行。如图2所示的应用于虚拟现实的动作识别方法可包括:
S21、预置针对目标动作的初始动作识别模型。
具体地,在VR设备中预置针对目标动作的初始动作识别模型。
S22、调用智能终端中内置的传感器采集该传感器感测范围内的第二感测数据,该第二感测数据包括该传感器感测范围内的目标动作的动作感测数据。
具体地,上述传感器指的是光线传感器,智能终端指的是具有光线传感器的手机或平板电脑等便携式设备。在本发明实施例中,以手机为例。具体实现中,光线传感器可以与SIM卡集成置于同一区域。即光线传感器位于SIM卡开孔位置,如图3所示,减少了手机的外观开孔及破坏,使得手机集成度高且美观,同时便于传感器感测用户手势或动作。其中,光线传感器的感测范围包括感知角度和感知距离。具体地,如图4所示,光线传感器的感知角度约为30°,感知距离约为3m。
作为一种可选的实施方式,用户佩戴VR设备,并将手机放入VR设备中,以通过USB连接的方式连接手机与VR设备。具体地,手机在VR设备中的放置姿态如图5所示,用户佩戴VR设备,且手机已放入VR设备之后的俯视图示意图如图6所示。
当VR设备检测到有手机接入,即检测到与手机建立了通信连接时,该VR设备调用该手机中内置的光线传感器感测该光线传感器感测范围内的用户动作,采集该光线传感器感测范围内的第二感测数据。显然,该第二感测数据包括该光线传感器感测范围内的目标动作的动作感测数据。
S23、根据该初始动作识别模型对该第二感测数据进行分析识别,若分析识别出该目标动作,则将该初始识别模型作为目标动作识别模型。
具体地,VR设备根据该初始动作识别模型对该第二感测数据进行分析识别,可以包括:VR设备根据该第二感测数据所包括的该光线传感器发射的近红外光及其反射光的相位参数,计算出近红外光及其反射光的相位差;并根据该相位差,计算出近红外光照射到的目标动作上的目标位置点的深度距离;具体实现中,该VR设备计算出目标动作上的各个目标位置点的深度距离,以不同颜色代表不同距离的地形图方式,从而确定出该光线传感器感测范围内的环境深度图;其中,该环境深度图中包括该目标动作的动作感测数据的动作深度信息;VR设备调用预置的初始动作识别模型,对该环境深度图中的动作深度信息进行分析识别,并在该VR设备的屏幕中显示分析识别结果,即目标三维动作。用户通过观察屏幕中的目标三维动作,判断该目标三维动作是否与用户做出的目标动作一致,如果一致,用户可以发出对屏幕中所显示的分析识别结果的确认指令。若VR设备接收到对该目标三维动作的确认指令,则确定分析识别出该目标动作,将该初始动作识别模型作为目标动作识别模型。
其中,VR设备根据第二感测数据所包括的光线传感器发射的近红外光及其反射光的相位参数,计算出近红外光及其反射光的相位差,具体可以包括:获取位移Q1,Q2,Q3,Q4,使用位移计算出近红外光及其反射光的相位差其中,上述位移Q1,Q2,Q3,Q4如图7所示,是入射光线到物体上,物体移动后并发射给传感器后引起的位移。
其中,VR设备根据相位差,计算出近红外光照射到的目标动作上的目标位置点的深度距离,具体可以包括:VR设备根据相位差以及近红外光的传播速度c和频率f,计算出近红外光照射到的目标动作上的目标位置点的深度距离
其中,对于根据初始动作模型确定出的光线传感器感测范围内的环境深度图,当目标动作从左向右移动时,深度图像捕获示意图如图8所示。在图8中,该深度图像捕获示意图第一行的图以及第二行的图分别为目标动作在光线传感器感测范围内的不同位置区域时的深度图像捕获示意图。具体地,深度图像捕获细节示意图如图9所示。根据图7和图9,在一个实施例中,所述相位差的计算公式在另一个实施例中,该计算公式可以改写为:其中,m、n分别为前后镜的半径。
S24、当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据。
具体地,光线传感器通过发射近红外光感测用户动作,近红外光遇到用户动作后形成反射光。该VR设备通过该光线传感器发射的近红外光,以及根据该接收近红外光接收到的反射光,采集该光线传感器感测范围内的第一感测数据。可知,该第一感测数据中包括近红外光及其反射光的信号参数,如时间参数、相位参数等。在本发明实施例中,所描述的用户动作和目标动作包括静态的手势或动态的动作。
S25、根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息。
具体地,VR设备根据采集到的该第一感测数据所包括的如图7所示的入射光线到物体上,物体移动后并发射给传感器后引起的位移Q1,Q2,Q3,Q4,计算出光线传感器发出的近红外光及其反射光的相位差并对其求导得到其中,为物体位移后导致的前后镜半径m、n不同,是基于m的位移。当时,预测出深度图像捕获示意图,如图10所示,并根据预测出的深度图像捕获示意图,确定出该光线传感器感测范围内的环境深度图。
S26、调用该目标动作识别模型,对该环境深度图中的动作深度信息进行分析识别,确定出该环境深度图中包括的动作特征。
其中,上述动作特征可以是用户动作的轮廓等特征。该目标动作识别模型是由初始动作识别模型经过校正、完善得到的,使用该目标动作识别模型对用户动作进行分析识别,有利于得到更为精确的与该用户动作相对应的三维动作。当然,还可以对该目标动作识别模型进行进一步的优化。
S27、根据该动作特征进行虚拟现实控制处理。
具体地,VR设备对环境深度图中的动作深度信息进行虚拟现实控制处理,得到与光线传感器感测的用户动作相对应的三维动作,并将该三维动作显示在该VR设备的屏幕中。该VR设备根据预置的交互动作与控制操作之间的映射关系,确定与该三维动作相对应的交互动作,进而查找出并执行与该三维动作相对应的目标控制操作,从而实现了用户与VR设备之间的人机交互过程。
具体实现中,可以根据初始动作识别模型对光线传感器采集到的感测数据进行分析识别,得到三维动作。在本发明实施例中,还可以通过学习算法对该初始动作识别模型进行校正和完善,得到目标动作识别模型,并根据目标动作识别模型对手机中已有的光线传感器采集到的感测数据进行分析识别,得到三维动作,从而可以基于智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作,由于不需要手柄、数据手套等专用的交互设备而使用手机、平板电脑等常用的用户设备,降低了虚拟现实的人机交互成本。
参见图11,是本发明实施例提供的一种终端的示意性框图。如图11所示的终端可以包括:第一调用单元31、第一确定单元32和第一控制单元33。其中,
第一调用单元31,用于当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据。
第一确定单元32,用于根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息。
第一控制单元33,用于根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
需要说明的是,本发明实施例提供的终端的具体工作流程请参考本发明实施例提供的方法流程部分,在此不再赘述。
在本发明实施例中,通过调用手机、平板电脑等智能终端中内置的传感器采集用户动作的相关数据,得到环境深度图,并根据该环境深度图进行虚拟现实控制处理,可以基于智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作,由于不需要手柄、数据手套等专用的交互设备而使用手机、平板电脑等常用的用户设备,降低了虚拟现实的人机交互成本。
参见图12,是本发明另一实施例提供的一种终端的示意性框图。如图12所示的终端可以包括:预置单元41、第二调用单元42、第二识别单元43、第一调用单元44、第一确定单元45和第一控制单元46。其中,
预置单元41,用于预置针对目标动作的初始动作识别模型。
第二调用单元42,用于调用智能终端中内置的传感器采集该传感器感测范围内的第二感测数据,该第二感测数据包括该传感器感测范围内的目标动作的动作感测数据。
第二识别单元43,用于根据该初始动作识别模型对该第二感测数据进行分析识别,若分析识别出该目标动作,则将该初始识别模型作为目标动作识别模型。
可选地,第二识别单元43具体可以包括:
显示单元431,用于在屏幕中显示分析识别结果;
第三确定单元432,用于当接收到对该分析识别结果的确认指令时,确定分析识别出该目标动作,执行将该初始动作模型作为目标动作识别模型。
第一调用单元44,用于当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据。
第一确定单元45,用于根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息。
可选地,该虚拟现实设备通过该传感器的发射信号和根据该发射信号接收到的反射信号采集第一感测数据。第一确定单元45具体可以包括:
第一计算单元451,用于根据该第一感测数据中所包括的目标位置点的发射信号和反射信号的相位参数,计算出该发射信号和反射信号的相位差;
第二计算单元452,用于根据该相位差,计算出该目标位置点的深度距离;
可选地,第二计算单元452,具体用于根据该相位差,以及该发射信号的传播速度和频率,计算出该目标位置点的深度距离;
第二确定单元453,用于根据该传感器探测范围内的各个目标位置点的深度距离,确定环境深度图。
第一控制单元46,用于根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
可选地,第一控制单元46具体可以包括:
第一识别单元461,用于调用该目标动作识别模型,对该环境深度图中的动作深度信息进行分析识别,确定出该环境深度图中包括的动作特征;
第二控制单元462,用于根据该动作特征进行虚拟现实控制处理。
需要说明的是,本发明另一实施例提供的终端的具体工作流程请参考本发明另一实施例提供的方法流程部分,在此不再赘述。
具体实现中,可以根据初始动作识别模型对传感器采集到的感测数据进行分析识别,得到三维动作。在本发明实施例中,还可以通过学习算法对该初始动作识别模型进行校正和完善,得到目标动作识别模型,并根据目标动作识别模型对手机中已有的传感器采集到的感测数据进行分析识别,得到三维动作,从而可以基于智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作,由于不需要手柄、数据手套等专用的交互设备而使用手机、平板电脑等常用的用户设备,降低了虚拟现实的人机交互成本。
参见图13,是本发明又一实施例提供的一种终端的示意性框图。如图13所示的本实施例中的终端可以包括:一个或多个处理器51、一个或多个输入设备52、一个或多个输出设备53和存储器54。上述处理器51、输入设备52、输出设备53和存储器54通过总线55连接。存储器54用于存储计算机程序,处理器51用于执行存储器54存储的计算机程序。
具体地,处理器51调用存储在存储器54中的计算机程序,用于当检测到智能终端接入虚拟现实设备时,调用该智能终端中内置的传感器采集该传感器感测范围内的第一感测数据,该第一感测数据包括该传感器感测范围内的动作感测数据;根据该第一感测数据确定环境深度图,该环境深度图中包括该动作感测数据所指示的动作深度信息;根据该环境深度图中的动作深度信息进行虚拟现实控制处理。
可选地,该虚拟现实设备通过该传感器的发射信号和根据该发射信号接收到的反射信号采集第一感测数据;处理器51调用存储在存储器54中的计算机程序执行根据该第一感测数据确定环境深度图,具体用于根据该第一感测数据中所包括的目标位置点的发射信号和反射信号的相位参数,计算出该发射信号和反射信号的相位差;根据该相位差,计算出该目标位置点的深度距离;根据该传感器探测范围内的各个目标位置点的深度距离,确定环境深度图。
可选地,处理器51调用存储在存储器54中的计算机程序执行根据该相位差,计算出该目标位置点的深度距离,具体用于根据该相位差,以及该发射信号的传播速度和频率,计算出该目标位置点的深度距离。
可选地,处理器51调用存储在存储器54中的计算机程序执行根据该环境深度图中的动作深度信息进行虚拟现实控制处理,具体用于调用目标动作识别模型,对该环境深度图中的动作深度信息进行分析识别,确定出该环境深度图中包括的动作特征;根据该动作特征进行虚拟现实控制处理。
可选地,处理器51调用存储在存储器54中的计算机程序,还用于预置针对目标动作的初始动作识别模型;调用智能终端中内置的传感器采集该传感器感测范围内的第二感测数据,该第二感测数据包括该传感器感测范围内的目标动作的动作感测数据;根据该初始动作识别模型对该第二感测数据进行分析识别,若分析识别出该目标动作,则将该初始识别模型作为目标动作识别模型。
可选地,处理器51调用存储在存储器54中的计算机程序执行若分析识别出该目标动作,则将该初始识别模型作为目标动作识别模型,具体用于在屏幕中显示分析识别结果;当接收到对该分析识别结果的确认指令时,确定分析识别出该目标动作,执行将该初始动作模型作为目标动作识别模型。
应当理解,在本发明实施例中,所称处理器51可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备52可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备53可以包括显示器(液晶显示屏(Liquid CrystalDisplay,LCD)等)、扬声器等。
该存储器54可以包括只读存储器(Read-Only Memory,ROM)和随机存取存储器(Random Access Memory,RAM),并向处理器51提供计算机程序和数据。存储器54的一部分还可以包括非易失性随机存取存储器。例如,存储器54还可以存储设备类型的信息。
具体实现中,本发明又一实施例中所描述的处理器51、输入设备52、输出设备53可执行本申请图1或图2所描述的应用于虚拟现实的动作识别方法的实现方式,也可执行本申请图11或图12所描述的终端的实现方式,在此不再赘述。
在本发明又一实施例中,处理器51调用存储在存储器54中的计算机程序,通过调用手机、平板电脑等智能终端中内置的传感器采集用户动作的相关数据,得到环境深度图,并根据该环境深度图进行虚拟现实控制处理,可以基于智能终端实现虚拟现实中的人机交互,并得到更为精确的交互动作,由于不需要手柄、数据手套等专用的交互设备而使用手机、平板电脑等常用的用户设备,降低了虚拟现实的人机交互成本。
在本发明的又一实施例中提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本申请图1或图2所描述的应用于虚拟现实的动作识别方法。
所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元,例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的终端和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的终端和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机程序用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种应用于虚拟现实的动作识别方法,其特征在于,包括:
当检测到智能终端接入虚拟现实设备时,调用所述智能终端中内置的传感器采集所述传感器感测范围内的第一感测数据,所述第一感测数据包括所述传感器感测范围内的动作感测数据;
根据所述第一感测数据确定环境深度图,所述环境深度图中包括所述动作感测数据所指示的动作深度信息;
根据所述环境深度图中的动作深度信息进行虚拟现实控制处理。
2.根据权利要求1所述的方法,其特征在于,所述虚拟现实设备通过所述传感器的发射信号和根据所述发射信号接收到的反射信号采集第一感测数据;所述根据所述第一感测数据确定环境深度图,包括:
根据所述第一感测数据中所包括的目标位置点的发射信号和反射信号的相位参数,计算出所述发射信号和反射信号的相位差;
根据所述相位差,计算出所述目标位置点的深度距离;
根据所述传感器探测范围内的各目标位置点的深度距离,确定环境深度图。
3.根据权利要求2所述的方法,其特征在于,所述根据所述相位差,计算出所述目标位置点的深度距离,具体包括:
根据所述相位差,以及所述发射信号的传播速度和频率,计算出所述目标位置点的深度距离。
4.根据权利要求1所述的方法,其特征在于,所述根据所述环境深度图中的动作深度信息进行虚拟现实控制处理,包括:
调用目标动作识别模型,对所述环境深度图中的动作深度信息进行分析识别,确定出所述环境深度图中包括的动作特征;
根据所述动作特征进行虚拟现实控制处理。
5.根据权利要求4所述的方法,其特征在于,还包括:
预置针对目标动作的初始动作识别模型;
调用智能终端中内置的传感器采集所述传感器感测范围内的第二感测数据,所述第二感测数据包括所述传感器感测范围内的目标动作的动作感测数据;
根据所述初始动作识别模型对所述第二感测数据进行分析识别,若分析识别出所述目标动作,则将所述初始识别模型作为目标动作识别模型。
6.根据权利要求5所述的方法,其特征在于,所述若分析识别出所述目标动作,则将所述初始识别模型作为目标动作识别模型,包括:
在屏幕中显示分析识别结果;
若接收到对所述分析识别结果的确认指令,则确定分析识别出所述目标动作,执行将所述初始动作模型作为目标动作识别模型。
7.一种终端,其特征在于,包括:
第一调用单元,用于当检测到智能终端接入所述终端时,调用所述智能终端中内置的传感器采集所述传感器感测范围内的第一感测数据,所述第一感测数据包括所述传感器感测范围内的动作感测数据;
第一确定单元,用于根据所述第一感测数据确定环境深度图,所述环境深度图中包括所述动作感测数据所指示的动作深度信息;
第一控制单元,用于根据所述环境深度图中的动作深度信息进行虚拟现实控制处理。
8.根据权利要求6所述的终端,其特征在于,所述虚拟现实设备通过所述传感器的发射信号和根据所述发射信号接收到的反射信号采集第一感测数据;所述第一确定单元包括:
第一计算单元,用于根据所述第一感测数据中所包括的目标位置点的发射信号和反射信号的相位参数,计算出所述发射信号和反射信号的相位差;
第二计算单元,用于根据所述相位差,计算出所述目标位置点的深度距离;
第二确定单元,用于根据所述传感器探测范围内的各目标位置点的深度距离,确定环境深度图。
9.根据权利要求8所述的终端,其特征在于,
所述第二计算单元,具体用于根据所述相位差,以及所述发射信号的传播速度和频率,计算出所述目标位置点的深度距离。
10.根据权利要求7所述的终端,其特征在于,所述第一控制单元包括:
第一识别单元,用于调用目标动作识别模型,对所述环境深度图中的动作深度信息进行分析识别,确定出所述环境深度图中包括的动作特征;
第二控制单元,用于根据所述动作特征进行虚拟现实控制处理。
11.根据权利要求10所述的终端,其特征在于,还包括:
预置单元,用于预置针对目标动作的初始动作识别模型;
第二调用单元,用于调用智能终端中内置的传感器采集所述传感器感测范围内的第二感测数据,所述第二感测数据包括所述传感器感测范围内的目标动作的动作感测数据;
第二识别单元,用于根据所述初始动作识别模型对所述第二感测数据进行分析识别,若分析识别出所述目标动作,则将所述初始识别模型作为目标动作识别模型。
12.根据权利要求11所述的终端,其特征在于,所述第二识别单元包括:
显示单元,用于在屏幕中显示分析识别结果;
第三确定单元,用于当接收到对所述分析识别结果的确认指令,确定分析识别出所述目标动作,执行将所述初始动作模型作为目标动作识别模型。
13.一种终端,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法。
14.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710531916.3A CN107422854A (zh) | 2017-06-30 | 2017-06-30 | 应用于虚拟现实的动作识别方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710531916.3A CN107422854A (zh) | 2017-06-30 | 2017-06-30 | 应用于虚拟现实的动作识别方法及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107422854A true CN107422854A (zh) | 2017-12-01 |
Family
ID=60426805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710531916.3A Withdrawn CN107422854A (zh) | 2017-06-30 | 2017-06-30 | 应用于虚拟现实的动作识别方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107422854A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898062A (zh) * | 2018-05-31 | 2018-11-27 | 电子科技大学 | 一种基于改进的信号片段提取算法的手部动作识别方法 |
CN109144221A (zh) * | 2018-07-17 | 2019-01-04 | Oppo广东移动通信有限公司 | 信息提示方法、存储介质及电子设备 |
CN109453517A (zh) * | 2018-10-16 | 2019-03-12 | Oppo广东移动通信有限公司 | 虚拟角色控制方法和装置、存储介质、移动终端 |
-
2017
- 2017-06-30 CN CN201710531916.3A patent/CN107422854A/zh not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898062A (zh) * | 2018-05-31 | 2018-11-27 | 电子科技大学 | 一种基于改进的信号片段提取算法的手部动作识别方法 |
CN108898062B (zh) * | 2018-05-31 | 2021-12-10 | 电子科技大学 | 一种基于改进的信号片段提取算法的手部动作识别方法 |
CN109144221A (zh) * | 2018-07-17 | 2019-01-04 | Oppo广东移动通信有限公司 | 信息提示方法、存储介质及电子设备 |
CN109453517A (zh) * | 2018-10-16 | 2019-03-12 | Oppo广东移动通信有限公司 | 虚拟角色控制方法和装置、存储介质、移动终端 |
CN109453517B (zh) * | 2018-10-16 | 2022-06-10 | Oppo广东移动通信有限公司 | 虚拟角色控制方法和装置、存储介质、移动终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230401032A1 (en) | Audio assisted enrollment | |
CN104903834B (zh) | 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面 | |
US11231845B2 (en) | Display adaptation method and apparatus for application, and storage medium | |
CN105339870B (zh) | 用于提供虚拟输入界面的方法和可穿戴装置 | |
KR101116442B1 (ko) | 양면 입력 디바이스를 이용해서 전자 기기를 조작하는 장치, 방법 및 컴퓨터-판독 가능 매체 | |
CN102262476B (zh) | 传输触觉信息的系统和方法 | |
CN108763317B (zh) | 一种辅助选取图片的方法和终端设备 | |
CN109933252B (zh) | 一种图标移动方法及终端设备 | |
CN109213401A (zh) | 双面屏应用图标整理方法、移动终端及可读存储介质 | |
CN110489029A (zh) | 一种图标显示方法及终端设备 | |
CN109495616B (zh) | 一种拍照方法及终端设备 | |
CN109240577A (zh) | 一种截屏方法及终端 | |
CN110703972B (zh) | 一种文件控制方法及电子设备 | |
CN109800045A (zh) | 一种显示方法及终端 | |
CN110502293A (zh) | 一种截屏方法及终端设备 | |
CN107422854A (zh) | 应用于虚拟现实的动作识别方法及终端 | |
CN107783747A (zh) | 一种界面显示处理方法及移动终端 | |
CN107704190A (zh) | 手势识别方法、装置、终端及存储介质 | |
CN110096203A (zh) | 一种截图方法及移动终端 | |
CN111352892B (zh) | 一种运算处理方法和电子设备 | |
CN109756621A (zh) | 一种二维码显示方法及终端设备 | |
CN111522613A (zh) | 截屏方法及电子设备 | |
CN107885450B (zh) | 实现鼠标操作的方法和移动终端 | |
CN110413183A (zh) | 一种呈现页面的方法与设备 | |
CN107239184A (zh) | 一种触屏触控装置、方法和移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171201 |