CN110780743A - 一种vr交互方法及vr设备 - Google Patents
一种vr交互方法及vr设备 Download PDFInfo
- Publication number
- CN110780743A CN110780743A CN201911071827.0A CN201911071827A CN110780743A CN 110780743 A CN110780743 A CN 110780743A CN 201911071827 A CN201911071827 A CN 201911071827A CN 110780743 A CN110780743 A CN 110780743A
- Authority
- CN
- China
- Prior art keywords
- gesture
- hand
- image
- reference image
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Abstract
本申请提供了一种VR交互方法及VR设备,所述方法包括:控制VR设备携带的相机获取手势图像;确定所述手势图像中的手部所处的分区,其中不同分区对应手势图像的不同位置;根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,其中,同样的手部姿势在所述手部所处的分区不同时表征不同的控制指令。本申请提供的VR交互方法及VR设备,通过控制VR设备携带的相机获取用户的手势图像,根据手势图像中的手部姿势和手部所处的分区触发对应的预设操作指令,实现基于VR设备所携带的相机和用户手部的人机交互,提高了用户输入人机交互操作指令的便利性。
Description
技术领域
本申请涉及VR(Virtual Reality,虚拟现实)设备技术领域,尤其涉及一种VR交互方法及VR设备。
背景技术
VR设备,是利用仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术网络技术等多种技术集合的产品,是借助计算机及最新传感器技术创造的一种崭新的人机交互手段。
目前,现有VR设备在实现用户输入人机交互操作指令时,通常采用设置在VR设备上的机械按键或者VR设备外的手柄、遥控器等硬件设施。然而用户输入人机交互操作指令时,通常是用户已经将VR设备佩戴完毕,即VR设备处于佩戴状态,用户无法准确定位VR设备上的机械按键或者VR设备外的手柄、遥控器等外界物体位置,容易出现误操作,造成用户输入人机交互操作指令不便。因此,通过VR设备上的机械按键或者VR设备外的手柄、遥控器等硬件设施实现人机交互信号的输入,容易出现误操作,给人机交互信号的输入带来不便。
发明内容
本申请提供了一种VR交互方法及VR设备,提高了用户输入人机交互操作指令的便利性。
第一方面,本申请提供了一种VR交互方法,所述方法包括:
控制VR设备携带的相机获取手势图像;
确定所述手势图像中的手部所处的分区,其中不同分区对应手势图像的不同位置;
根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,其中,同样的手部姿势在所述手部所处的分区不同时表征不同的控制指令。
第二方面,本申请还提供了一种VR设备,包括:
相机,所述相机被配置为获取手势图像;
控制器,所述控制器被配置为:
控制VR设备携带的相机获取手势图像;
确定所述手势图像中的手部所处的分区,其中不同分区对应手势图像的不同位置;
根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,其中,同样的手部姿势在所述手部所处的分区不同时表征不同的控制指令。
本申请提供的VR交互方法及VR设备,通过控制VR设备携带的相机捕捉用户的手部,获取用户手部图像,确定手势图像中手部所处的分区,根据手势图像中识别出的手势姿势和手部所处的分区确定控制指令。其中,同样的手部姿势在手部所处的分区不同时表征不同的控制指令。当通过检测到手势图像中手部所处的分区时,根据分区表征的控制指令实现用户与VR设备之间的交互。本申请提供的VR交互方法,通过控制VR设备携带的相机获取用户的手势图像,根据手势图像中的手部姿势和手部所处的分区触发对应的预设操作指令,实现基于VR设备所携带的相机和用户手部的人机交互。相较于通过VR设备上的机械按键或者VR设备外的手柄、遥控器等硬件设施实现人机交互,本申请提供的VR交互方法,提高了用户输入人机交互操作指令的便利性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的VR交互方法的结构流程图;
图2为本申请实施例提供的一种分区划分结构示意图;
图3为本申请实施例提供的手势的结构示意图一;
图4为本申请实施例提供的手势的结构示意图二;
图5为本申请实施例提供的手势的结构示意图三;
图6为本申请实施例提供的手势的结构示意图四;
图7为本申请实施例提供的一种VR设备;
图8为本申请实施例提供的另一种VR设备。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
附图1为本申请实施例一提供的一种VR交互方法的流程图,所述VR交互方法主要用于VR设备。如附图1所示,本申请实施例一提供的VR交互方法,包括:
S100:控制VR设备携带的相机获取手势图像。
在本申请实施例中涉及的VR设备上包括相机,如VR设备的前部设置摄像头,可用于获取VR设备相机前方的图像。在本申请实施例中,控制VR设备携带的相机获取VR设备前方或相机前方的手势图像。
在本申请实施例中,可根据捕捉到手部动作触发VR交互。可选的,预先设置某一或某些手势作为触发VR控制的手势,则当相机捕捉到包含触发VR控制手势的用户手部图像时,触发VR交互;或者设置触发VR交互按钮,当启动VR交互按钮,触发VR交互。
优选的,设置VR控制触发时间阈值,相机捕捉用户的手部,当相机捕捉到用户手部时并检测手部静止时间,获取手部静止时间,当手部静止时间大于VR交互触发时间阈值时,触发VR交互。当使用手部静止时间进行VR控制的触发,可不考虑用户手部的手势形状,减少手势匹配,同时便于与VR设备内场景结合,保证选择场景中的对象精确度较高,在对对象进行控制时,有效避免误操作。
在本申请实施例中,当VR交互启动后,控制VR设备携带的相机获取VR设备前方或相机前方的手势图像,用于进一步执行VR交互的具体工作。具体在,当VR交互启动时,先获取初始时刻的参照图像,然后控制VR设备携带的相机获取手势图像,通常将获取若干帧图像,如40-60帧。
S200:确定所述手势图像中的手部所处的分区,其中不同分区对应手势图像的不同位置。
在本申请实施例中,不同分区对应手势图像的不同位置,但为便于VR交互的具体执行,每一个分区将是手势图像中一定位置的集合。
根据获取到初始时刻的参照图像,识别出参照图像中手部,基于参照图像中手部的位置将参照图像划分为若干分区。优选的,以参照图像中手部所在位置为圆心将参照图像划分为若干分区。
在本申请实施例中,将参照图像划分为若干分区可根据需要被划分为若干不等或相等的分区。优选的,参照图像被划分为若干相等分区,如将参照图像围绕所述圆心均匀的划分为4、6或8个相等分区。当将参照图像围绕所述圆心被划分为4、6或8个分区时,可以选择经过圆心任意方向为起始位置将参照图像围绕其圆心进行一定等角度划分。
假设,将参照图像划分为8个相等分区,即将参照图像围绕其圆心均匀的划分为8个相等分区,则每个分区的角度为45°。同样可选择经过圆心任意方向为起始位置进行参照图像8等分区的划分,如选择某一正方开始或某一正方向左右22.5°等。附图2为本申请实施例提供的一种参照图像分区划分结构示意图。如附图2所示,图中以圆心O为起点选择某一正方向左右22.5°将参照图像围绕其圆心被划分为8个分区,具体包括第一分区A、第二分区B、第三分区C、第四分区D、第五分区E、第六分区F、第七分区G和第八分区H。
基于参照图像的分区,确定相机获取的手势图像中的手部所处的分区。可选的,将所述手势图像映射到所述参照图像中;识别所述手势图像中的手部在所述参照图像中映射到的位置,将所述手部映射到的位置在参照图像中所处的分区确定为所述手势图像中的手部所处的分区。可选的,将所述参照图像中的分区映射到所述手势图像中;根据映射到所述手势图像上的分区和所述手势图像中的手部的位置,确定所述手势图像中的手部所处的分区。
在本申请实施例中,在每一次的VR交互过程中,为完成VR交互,用户的手部可能处于移动状态,如轻扫,在手部移动的过程中相机可能获取若干张手势图像,可选择获取到的全部手势图像或者选取其中的某一或某几张手势图像确定手部所处的分区。具体的,可选的将全部手势图像依次映射到参照图像上,确定手势图像中的手部所处的分区;可选的将从中的选择的某一或某几张射到参照图像上,确定手势图像中的手部所处的分区。或者,将所述参照图像中的分区映射到全部手势图像依次映射到参照图像上或其中的某一或某几张手势图像上,确定手势图像中的手部所处的分区。
当将获取的手势图像依次映射到参照图像上时,检测参照图像上映射的手部以及确定手部的位置,进而确定参照图像上映射的手部位于参照图像上的哪一分区,若检测到参照图像上映射的手部位于第三分区C时,则确定手势图像中的手部所处的分区为第三分区C。或者,当将参照图像中的分区映射到手势图像上时,检测手势图像上的手部位置以及与手部位置对应的分区,进而确定手势图像中的手部所处的分区,若检测到参照图像上映射的手部位于第六分区F,则确定手势图像中的手部所处的分区为第六分区F。
在本申请实施例中,分区可以是VR设备根据预置划分方式将手势图像划分得到。如在VR设备的相机上进行分区划分,当控制相机获取手势图像时,识别手势图像中的手部即可获得手部所处的分区。优选的,VR设备根据预置划分方式将相机视场划分为若干分区,通过识别手势图像中手部在相机视场范围内的所属分区确定手势图像中的手部所处的分区。
S300:根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,其中,同样的手部姿势在所述手部所处的分区不同时表征不同的控制指令。
预先建立分区及分区组合所对应的控制指令,不同分区将表征不同的而控制指令。如第一分区A对应预设操作指令1、第二分区B对应预设操作指令2、第三分区C对应预设操作指令3等,预设操作指令1、预设操作指令2、预设操作指令3等实际对应的预设操作指令可根据VR设备的使用需要以及具体使用场景进行选择。
同时预先建立不同手势姿势所对应的控制指令,不同手势姿势对应不同的控制指令。在本申请实施例中,可预先设置若干中手势姿势。可选的,预设的手势姿势包括第一手势、第二手势、第三手势和第四手势。可选的,第一手势、第二手势、第三手势和第四手势如附图3-6所示。
在本申请实施例中,使用手势姿势和手部所处的分区共同决定具体的控制指令。如此,不同的手势姿势处在相同的分区时表征不同的控制指令,相同的手势姿势处在不同的分区时表征不同的控制指令。如此,有助于丰富VR交互中涉及的控制指令,可实现预设操作指令多样性,便于适应VR设备在各种各样的场景下的操作。
如此当如附图2所示将参照图像划分为8个分区时,可以将第一手势与第一分区A组合对应预设操作指令11、第一手势与第二分区B组合对应预设操作指令12、第一手势与第三分区C组合对应预设操作指令13、第一手势与第四分区D组合对应预设操作指令14、第一手势与第五分区E组合对应预设操作指令15、第一手势与第六分区F组合对应预设操作指令16、第一手势与第七分区G组合对应预设操作指令17、第一手势与第八分区H组合对应预设操作指令18……第二手势与第一分区A组合对应预设操作指令21、第二手势与第二分区B组合对应预设操作指令22……第四手势与第一分区A组合对应预设操作41、第四手势与第二分区B组合对应预设操作指令42等。匹配获得手势图像中手部对应的预设手势,确定所述手部所属出的分区,结合所属的预设手势与手部所处的分区,确定其对应的预设操作指令,启动所述预设操作指令。预设操作指令11、应预设操作指令12……对应的预设指令可根据需要进行选择设置。
当进行VR交互时,需要识别手势图像中的手部姿势,然后根据识别到的手部姿势和手部所处的分区确定控制指令。
在本申请实施例中,识别手势图像中的手部姿势,可选的,识别所述手势图像中手部姿势信息;匹配所述手部姿势信息与预设手势的手部姿势信息,确定所述手势图像的手部姿势对应的预设手势。
如,根据相机实际捕捉到的手势图像,识别相机实际捕捉到的手势图像中的手势姿势信息,将所述手势姿势信息与预设手势的手势信息进行匹配,若手势图像中手势姿势信息与第一手势的手势姿势信息匹配成功,则认为手势图像中手势姿势为第一手势,从而根据第一手势对应的预设操作指令等相关内容进行处理,若手势图像中手势姿势信息与第二手势的手势信息匹配成功,则认为手势图像中手势姿势为第二手势,从而根据第二手势对应的预设操作指令等相关内容进行处理等。
若当在手势图像中识别到的手部姿势为第一手势以及确定手部所处的分区为第一分区A时,确定第一手势和第一分区A结合对应的控制指令,执行对应的控制指令,如第一手势和第一分区A结合对应的预设控制指令11,则执行第一手势和第一分区A对应的预设控制指令11。若当在手势图像中识别到的手部姿势为第三手势以及确定手部所处的分区为第四分区D时,确定第三手势和第四分区D结合对应的控制指令,执行对应的控制指令。
在本申请实施例提供的VR交互方法中,通过控制VR设备携带的相机捕捉用户的手部,获取用户手部图像,确定手势图像中手部所处的分区,根据手势图像中识别出的手势姿势和手部所处的分区确定控制指令。其中,同样的手部姿势在手部所处的分区不同时表征不同的控制指令。当通过检测到手势图像中手部所处的分区时,根据分区表征的控制指令实现用户与VR设备之间的交互。本申请提供的VR交互方法,通过控制VR设备携带的相机获取用户的手势图像,根据手势图像中的手部姿势和手部所处的分区触发对应的预设操作指令,实现基于VR设备所携带的相机和用户手部的人机交互。相较于通过VR设备上的机械按键或者VR设备外的手柄、遥控器等硬件设施实现人机交互,本申请提供的VR交互方法,提高了用户输入人机交互操作指令的便利性。
在本申请实施例中,每一次进行VR交互时:当用户的手部移动时,控制VR设备携带的相机获取VR设备前方的用户手部图像;当检测到用户的手势发生改变时,结束手势变化前对应手势手部图像的获取。
如此,在每一次通过VR交互方法实现执行预设指令操作时,通过捕捉手势的变化实现一次操作结束时间点的判断。从而当用户通过VR交互方法实现启动预设操作指令时,执行手部移动时在动作的结束时刻变换手势告知VR设备一次操作的结束。
为保证VR交互操作的精确度,避免误操作以及方便用户操作,在本申请实施提供的VR交互方法中,根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令前,所述方法还包括:判断所述分区是否唯一;
当所述分区为唯一时,根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令;
当所述分区不唯一时,结束本次VR交互。
如此,在根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令前,先确定手势图像中手部所处的分区是否唯一,当手势图像中手部所处的分区唯一时,根据在手势图像中识别到的手部姿势和手部所处的分区确定控制指令。
在本申请实施提供的VR交互方法中,只有当手势图像中手部所处的分区唯一时,才可启动其分区对应的预设操作指令,进而实现VR交互操作的精准控制。如此,在每次VR交互操作时,用户手部可从圆心出发在相应的分区内轻扫。如,从圆心O出发,垂直向上轻扫,辐射区域在第一分区A内;从圆心O出发,向右上轻扫,辐射区域在第二分区B内;从圆心O出发,向右轻扫,辐射区域在第三分区C内;从圆心O出发,向右下轻扫,辐射区域在第四分区D内;从圆心O出发,向下轻扫,辐射区域在第五分区E内;从圆心O出发,向左下轻扫,辐射区域在第六分区F内;从圆心O出发,向左轻扫,辐射区域在第七分区G内;从圆心O出发,向左上轻扫,辐射区域在第八分区H内,完成相应分区内对应预设操作指令的触发。从而,在本申请实施中,参照图像的分区划分不可太多,即每个分区不可太过狭小,避免造成过多的VR交互操作被认为是无效操作。
在确定所述手部在手势图像中的手部所处的分区,判断手势图像中手部所处的分区是否唯一时,可选的,根据相机获取手势图像确定手部的运动轨迹,然后根据所述手部的运动轨迹确定所述手部在所述手势图像中的辐射区域,当所述手部的运动轨迹映射在参照图像中所占的分区唯一时,则确定手势图像中手部所处的分区唯一,当所述手部的运动轨迹映射在参照图像中所占的分区不唯一时,确定手势图像中手部所处的分区不唯一。
为便于用户准确的完成VR设备的人机交互,在本申请实施例提供的VR交互方法中,还包括:若VR交互启动,获取所述VR设备内场景信息,基于所述场景信息呈现手势提示操作信息。
当根据手部的动作触发VR交互时,VR设备根据具体的场景信息,显示手势提示操作信息,所述提示操作信息是指预设操作指令对应的预设的手势以及手势图像中的手部所处的分区,用于提示为完成启动预设操作指令如何用户操作。
在本申请实施例中,当触发VR控制时,VR设备基于当时的场景进行手势提示操作信息的呈现,如:当进行视频观看时,显示调节声音、进度、亮度等相关预设操作指令的手势提示操作信息,当进行游戏娱乐时,显示游侠操作相关的预设操作指令的手势提示操作信息。如此VR设备通过呈现手势提示操作信息,更加便于实现本申请实施例提供的VR交互方法的实现。
进一步,在本申请实施例提供的VR交互方法中,所述方法还包括:控制VR设备携带的相机捕捉用户的手部,统计所述手部离开相机可捕捉范围的时间;当所述时间达到提示时间阈值时,关闭所述手势提示操作信息。
当VR设备基于其当时的场景信息呈现手势提示操作信息时,根据相机捕捉到的图像,识别相机捕捉到的图像,统计用户手部离开相机可捕捉范围的时间,当手部离开相机可捕捉范围的时间达到提示时间阈值时,关闭手势提示操作信息。即当在提示时间阈值时间内用户手部离开相机可捕捉范围,则关闭手势提示操作信息,避免在不需要进行VR交互时长时间呈现手势提示操作信息对VR设备的使用带来不良的体验。
在本申请实施例提供的VR交互方法中,为防止因为VR设备在使用中被移动等产生位置变动对VR交互造成影响,VR设备中设置位置传感器或陀螺仪等用于获取一次VR交互中VR设备的位置变化情况,进而进行VR设备位置的校正,保证确定手势图像中的手部所处的分区的准确性。
可选的,若VR交互过程中VR设备的位置发生变化,根据获取参照图像时设备的位置和获取手势图像时设备的位置的相对位置关系,确定参照图像和手势图像的空间校正量;根据所述空间校正量校正所述参照图像,基于校正后的所述参照图像中的手部位置将所述参照图像划分为若干分区。
在获取初始时刻的参照图像,基于参照图像中的手部位置将参照图像划分为若干分区时,根据VR设备在VR交互过程中变化量校正参照图像的中手部的位置,然后在校正后的手部基础上进行分区的划分。从而,实现VR交互过程中VR设备的位置发生变化的补偿。
可选的,若VR交互过程中VR设备的位置发生变化,根据获取参照图像时设备的位置和获取手势图像时设备的位置的相对位置关系,确定参照图像和手势图像的空间校正量;根据所述空间校正量校正所述手势图像,将校正后手势图像映射到所述参照图像中;或者,根据所述空间校正量校正所述手势图像,将所述参照图像中的分区映射到校正后手势图像中。
根据获取到的参照图像和手势图像的空间校正量,校正手势图像,然后根据校正后的手势图像确定手势图像中手部所处的分区。
基于本申请实施例提供的VR交互方法,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所述的VR交互方法。VR交互方法参见上述实施例,在此不再赘述。
存储介质是指任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
基于本申请实施例提供的VR交互方法,本申请还提供了一种VR设备。附图7为本申请实施例提供的一种VR设备的结构示意图。如附图7所示,本申请实施例提供的VR设备上设置相机,所述相机被配置为获取VR设备前方的用户手部的图像。具体可选的,VR设备的前端面上设置摄像头701。
VR设备还包括控制器,所述控制器被配置为:控制VR设备携带的相机获取手势图像;确定所述手势图像中的手部所处的分区,其中不同分区对应手势图像的不同位置;根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,其中,同样的手部姿势在所述手部所处的分区不同时表征不同的控制指令。
具体执行可参见上述实施例有关于VR交互方法的描述,在此不再赘述,另外对控制器配置的进一步先定也可参考有关于VR交互方法的描述。
基于本申请实施例提供的VR交互方法,本申请实施例还提供了另一种VR设备。附图8为本申请实施例提供的另一种VR设备的结构示意图。如附图8所示,本申请实施例提供的VR设备包括存储器801和处理器802;所述存储器801,用于存储程序代码;所述处理器802,用于读取所述存储器中801存储的程序代码,并作具体部件执行上述实施例提供的任意一项所述的VR交互方法。
其中,处理器802内部设置有微存储器,用于存储程序,程序可以包括程序代码,程序代码包括计算机操作指令。微存储器可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。图中仅示出了一个处理器,当然,微存储器也可以根据需要,为多个微处理器。微处理器,用于读取存储器中存储的程序代码。存储器用于临时存储芯片下载的芯片启动程序,当芯片启动完毕后,存储器中的芯片启动程序随即释放。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处,相关之处参见方法实施例的部分说明即可。本领域技术人员在考虑说明书及实践这里的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (12)
1.一种VR交互方法,其特征在于,所述方法包括:
控制VR设备携带的相机获取手势图像;
确定所述手势图像中的手部所处的分区,其中不同分区对应手势图像的不同位置;
根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,其中,同样的手部姿势在所述手部所处的分区不同时表征不同的控制指令。
2.根据权利要求1所述的VR交互方法,其特征在于,在控制VR设备携带的相机获取手势图像之前,所述方法包括:
获取初始时刻的参照图像,基于所述参照图像中的手部位置将所述参照图像划分为若干分区;
确定相机获取的手势图像中的手部所处的分区,包括:
将所述手势图像映射到所述参照图像中;
识别所述手势图像中的手部在所述参照图像中映射到的位置,将所述手部映射到的位置在参照图像中所处的分区确定为所述手势图像中的手部所处的分区。
3.根据权利要求1所述的VR交互方法,其特征在于,在控制VR设备携带的相机获取手势图像之前,所述方法包括:
获取初始时刻的参照图像,基于所述参照图像中的手部位置将所述参照图像划分为若干分区;
确定相机获取的手势图像中的手部所处的分区,包括:
将所述参照图像中的分区映射到所述手势图像中;
根据映射到所述手势图像上的分区和所述手势图像中的手部的位置,确定所述手势图像中的手部所处的分区。
4.根据权利要求1所述的VR交互方法,其特征在于,控制VR设备携带的相机获取手势图像,包括:
控制VR设备携带的相机捕捉获取VR设备前方用户的手部,获取手部在VR设备前方的静止时间;
当所述手部在VR设备前方的静止时间大于VR交互触发时间阈值时,控制VR设备携带的相机获取VR设备前方的用户手部图像。
5.根据权利要求1所述的VR交互方法,其特征在于,根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,包括:
识别所述手势图像中手部姿势信息;
匹配所述手部姿势信息与预设手势的手部姿势信息,确定所述手势图像的手部姿势对应的预设手势,所述预设手势包括第一手势、第二手势、第三手势和第四手势;
根据所述对应的预设手势和所述手部所处的分区确定控制指令。
6.根据权利要求1所述的VR交互方法,其特征在于,确定相机获取的手势图像中的手部所处的分区前,所述方法包括:
获取所述VR设备内场景信息,基于所述场景信息呈现手势提示操作信息。
7.根据权利要求1所述的VR交互方法,其特征在于,根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令前,所述方法还包括:
判断所述分区是否唯一;
当所述分区为唯一时,根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令;
当所述分区不唯一时,结束本次VR交互。
8.根据权利要求2或3所述的VR交互方法,其特征在于,获取初始时刻的参照图像,基于所述参照图像中的手部位置将所述参照图像划分为若干分区,包括:
根据获取参照图像时设备的位置和获取手势图像时设备的位置的相对位置关系,确定参照图像和手势图像的空间校正量;
根据所述空间校正量校正所述参照图像,基于校正后的所述参照图像中的手部位置将所述参照图像划分为若干分区。
9.根据权利要求2所述的VR交互方法,其特征在于,将所述手势图像映射到所述参照图像中,包括:
根据获取参照图像时设备的位置和获取手势图像时设备的位置的相对位置关系,确定参照图像和手势图像的空间校正量;
根据所述空间校正量校正所述手势图像,将校正后手势图像映射到所述参照图像中。
10.根据权利要求3所述的VR交互方法,其特征在于,将所述参照图像中的分区映射到所述手势图像中,包括:
根据获取参照图像时设备的位置和获取手势图像时设备的位置的相对位置关系,确定参照图像和手势图像的空间校正量;
根据所述空间校正量校正所述手势图像,将所述参照图像中的分区映射到校正后手势图像中。
11.根据权利要求1所述的VR交互方法,其特征在于,确定相机获取的手势图像中的手部所处的分区,包括:
VR设备根据预置划分方式将相机视场划分为若干分区,通过识别手势图像中手部在相机视场范围内的所属分区确定手势图像中的手部所处的分区。
12.一种VR设备,其特征在于,包括:
相机,所述相机被配置为获取手势图像;
控制器,所述控制器被配置为:
控制VR设备携带的相机获取手势图像;
确定所述手势图像中的手部所处的分区,其中不同分区对应手势图像的不同位置;
根据在所述手势图像中识别到的手部姿势和所述手部所处的分区确定控制指令,其中,同样的手部姿势在所述手部所处的分区不同时表征不同的控制指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911071827.0A CN110780743A (zh) | 2019-11-05 | 2019-11-05 | 一种vr交互方法及vr设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911071827.0A CN110780743A (zh) | 2019-11-05 | 2019-11-05 | 一种vr交互方法及vr设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110780743A true CN110780743A (zh) | 2020-02-11 |
Family
ID=69389088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911071827.0A Pending CN110780743A (zh) | 2019-11-05 | 2019-11-05 | 一种vr交互方法及vr设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110780743A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115202530A (zh) * | 2022-05-26 | 2022-10-18 | 当趣网络科技(杭州)有限公司 | 一种用户界面的手势交互方法和系统 |
CN116301361A (zh) * | 2023-03-08 | 2023-06-23 | 百度在线网络技术(北京)有限公司 | 基于智能眼镜的目标选择方法、装置和电子设备 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1830002A (zh) * | 2003-07-28 | 2006-09-06 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及失真校正方法 |
CN102713794A (zh) * | 2009-11-24 | 2012-10-03 | 奈克斯特控股公司 | 用于手势识别模式控制的方法和装置 |
CN104199550A (zh) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | 人机交互式虚拟触控装置、系统及方法 |
CN104279958A (zh) * | 2014-10-24 | 2015-01-14 | 西安诺瓦电子科技有限公司 | 用于指导校正的led显示装置空间位置检测方法及系统 |
CN104794680A (zh) * | 2015-04-01 | 2015-07-22 | 环境保护部卫星环境应用中心 | 基于同一卫星平台的多相机图像镶嵌方法及装置 |
CN105453559A (zh) * | 2013-04-16 | 2016-03-30 | 点积公司 | 手持式便携光学扫描器及其使用方法 |
CN106780297A (zh) * | 2016-11-30 | 2017-05-31 | 天津大学 | 场景和光照变化条件下的图像高精度配准方法 |
CN106875465A (zh) * | 2017-01-20 | 2017-06-20 | 深圳奥比中光科技有限公司 | 基于rgbd图像的三维操控空间的建立方法及设备 |
CN107346175A (zh) * | 2017-06-30 | 2017-11-14 | 联想(北京)有限公司 | 一种手势位置校正方法和增强现实显示设备 |
CN109461128A (zh) * | 2018-10-24 | 2019-03-12 | 福州大学 | 一种基于梯度保持的结构一致立体图像颜色校正方法 |
CN109917922A (zh) * | 2019-03-28 | 2019-06-21 | 更藏多杰 | 一种交互方法及可穿戴交互设备 |
CN110322485A (zh) * | 2019-06-25 | 2019-10-11 | 南京大学 | 一种异构多相机成像系统的快速图像配准方法 |
-
2019
- 2019-11-05 CN CN201911071827.0A patent/CN110780743A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1830002A (zh) * | 2003-07-28 | 2006-09-06 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及失真校正方法 |
CN102713794A (zh) * | 2009-11-24 | 2012-10-03 | 奈克斯特控股公司 | 用于手势识别模式控制的方法和装置 |
CN105453559A (zh) * | 2013-04-16 | 2016-03-30 | 点积公司 | 手持式便携光学扫描器及其使用方法 |
CN104199550A (zh) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | 人机交互式虚拟触控装置、系统及方法 |
CN104279958A (zh) * | 2014-10-24 | 2015-01-14 | 西安诺瓦电子科技有限公司 | 用于指导校正的led显示装置空间位置检测方法及系统 |
CN104794680A (zh) * | 2015-04-01 | 2015-07-22 | 环境保护部卫星环境应用中心 | 基于同一卫星平台的多相机图像镶嵌方法及装置 |
CN106780297A (zh) * | 2016-11-30 | 2017-05-31 | 天津大学 | 场景和光照变化条件下的图像高精度配准方法 |
CN106875465A (zh) * | 2017-01-20 | 2017-06-20 | 深圳奥比中光科技有限公司 | 基于rgbd图像的三维操控空间的建立方法及设备 |
CN107346175A (zh) * | 2017-06-30 | 2017-11-14 | 联想(北京)有限公司 | 一种手势位置校正方法和增强现实显示设备 |
CN109461128A (zh) * | 2018-10-24 | 2019-03-12 | 福州大学 | 一种基于梯度保持的结构一致立体图像颜色校正方法 |
CN109917922A (zh) * | 2019-03-28 | 2019-06-21 | 更藏多杰 | 一种交互方法及可穿戴交互设备 |
CN110322485A (zh) * | 2019-06-25 | 2019-10-11 | 南京大学 | 一种异构多相机成像系统的快速图像配准方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115202530A (zh) * | 2022-05-26 | 2022-10-18 | 当趣网络科技(杭州)有限公司 | 一种用户界面的手势交互方法和系统 |
CN115202530B (zh) * | 2022-05-26 | 2024-04-09 | 当趣网络科技(杭州)有限公司 | 一种用户界面的手势交互方法和系统 |
CN116301361A (zh) * | 2023-03-08 | 2023-06-23 | 百度在线网络技术(北京)有限公司 | 基于智能眼镜的目标选择方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107913520B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
WO2018040906A1 (zh) | 一种云台控制方法和装置、计算机存储介质 | |
US8879787B2 (en) | Information processing device and information processing method | |
US11184548B2 (en) | Imaging device, and method and apparatus for controlling the imaging device | |
WO2016123816A1 (zh) | 一种射击游戏的瞄准方法及装置 | |
US9753545B2 (en) | Input device, input method, and storage medium | |
KR20160058117A (ko) | 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법 | |
US11573627B2 (en) | Method of controlling device and electronic device | |
US10025975B2 (en) | Information processing device, storage medium storing information processing program, information processing system, and information processing method | |
CN109189302B (zh) | Ar虚拟模型的控制方法及装置 | |
CN110215685B (zh) | 游戏中的虚拟对象控制方法及装置、设备、存储介质 | |
CN108355347B (zh) | 交互控制方法、装置、电子设备及存储介质 | |
CN110780743A (zh) | 一种vr交互方法及vr设备 | |
JP2020204914A5 (zh) | ||
US9864905B2 (en) | Information processing device, storage medium storing information processing program, information processing system, and information processing method | |
US11241615B2 (en) | Method and apparatus for controlling shooting in football game, computer device and storage medium | |
JP5918285B2 (ja) | 移動制御装置及びプログラム | |
CN112987924A (zh) | 用于设备交互的方法、装置、设备和存储介质 | |
CN109753146B (zh) | 一种移动终端启动应用的方法及移动终端 | |
US20160232404A1 (en) | Information processing device, storage medium storing information processing program, information processing system, and information processing method | |
WO2020029556A1 (zh) | 自适应平面的方法、装置和计算机可读存储介质 | |
US9824293B2 (en) | Information processing device, storage medium storing information processing program, information processing system, and information processing method | |
US11941164B2 (en) | Method and apparatus for user control of an application and corresponding device | |
US9761009B2 (en) | Motion tracking device control systems and methods | |
WO2020029555A1 (zh) | 用于平面间无缝切换的方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |