CN106775258A - 利用手势控制实现虚拟现实交互的方法和装置 - Google Patents

利用手势控制实现虚拟现实交互的方法和装置 Download PDF

Info

Publication number
CN106775258A
CN106775258A CN201710004798.0A CN201710004798A CN106775258A CN 106775258 A CN106775258 A CN 106775258A CN 201710004798 A CN201710004798 A CN 201710004798A CN 106775258 A CN106775258 A CN 106775258A
Authority
CN
China
Prior art keywords
picture
virtual reality
gesture
module
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710004798.0A
Other languages
English (en)
Inventor
邓晖
林崇仰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ArcSoft Corp Ltd
Original Assignee
ArcSoft Hangzhou Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ArcSoft Hangzhou Multimedia Technology Co Ltd filed Critical ArcSoft Hangzhou Multimedia Technology Co Ltd
Priority to CN201710004798.0A priority Critical patent/CN106775258A/zh
Publication of CN106775258A publication Critical patent/CN106775258A/zh
Priority to US15/616,945 priority patent/US10168790B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

本发明是一种利用手势控制实现虚拟现实交互的方法，包括以下步骤：响应于手势检测信号，显示拍摄到的第二画面；识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。用户可以直接采用手势来控制实现虚拟现实，不仅解决了用户无法看到真实场景的问题，还提高了虚拟现实的易用性。

Description

利用手势控制实现虚拟现实交互的方法和装置
技术领域
本发明涉及虚拟现实技术领域，特别涉及一种利用手势控制实现虚拟现实交互的方法和装置。
背景技术
2016年全球虚拟现实产业(也就是俗称的VR产业)持续发热,各大厂商的虚拟现实装置也就是VR设备相继上市。用于信息交互的VR设备大多都是在整体的VR设备中包含了控制手柄或者触控板，并且价格较高，由于价格的限制，普通用户一般只能接受低价位的VR设备，而低价位的VR设备只能用来显示移动端上的画面，不能与用户实现信息交互。
在这种情况下，Hand Gesture for Mobile VR即虚拟现实装置手势就应运而生。但是现有的Hand Gesture for Mobile VR在不增加任何硬件的前提下，当用户在观看VR画面时，当接电话或者看短信时，但是由于用户戴着头盔，无法知晓周围的环境，无法准确地将手移到摄像头可检测的区域内，并且无法准确的用手来执行动作。
发明内容
为解决在信息交互时，由于用户戴着头盔，无法知晓周围的环境，无法准确的将手移到摄像头可检测的区域内的技术问题，本发明提出一种利用手势控制实现虚拟现实交互的方法来实现。
一种利用手势控制实现虚拟现实交互的方法，包括以下步骤：
响应于手势检测信号，显示拍摄到的第二画面；
识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；
显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。
作为一种可实施方式，所述识别第二画面中的真实手势动作，将真实手势动作转化成图形指针，包括以下步骤：
捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；
对每个手部候选区域内的手形进行判断，若有多个所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；
在所述特定区域内将真实手势动作转换成图形指针。
作为一种可实施方式，所述第一画面是在检测到手势检测信号之前呈现的；
显示拍摄到的第二画面中包含了所述第一画面。
作为一种可实施方式，所述显示拍摄到的第二画面中包含了所述第一画面，是指所述第一画面与所述第二画面采用Alpha Blending算法进行叠加处理。
作为一种可实施方式，拍摄所述第二画面时伴随着对第二画面的预处理。
作为一种可实施方式，拍摄所述第二画面后对所述第二画面进行预处理。
作为一种可实施方式，对所述第二画面进行预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。
一种利用手势控制实现虚拟现实交互的装置，包括：第二画面显示模块、指针识别模块和交互显示模块；
所述第二画面显示模块用于响应手势检测信号，显示拍摄到的第二画面；
所述指针识别模块用于识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；
所述交互显示模块用于显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。
作为一种可实施方式，所述指针识别模块包括捕捉分析模块、检测手形模块和转换图形指针模块；
所述捕捉分析模块用于捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；
所述检测手形模块用于对每个手部候选区域内的手形进行判断，若有多个所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；
所述转换图形指针模块用于在所述特定区域内将真实手势动作转换成图形指针。
作为一种可实施方式，所述交互显示模块被设置为所述第一画面是在检测到手势检测信号之前呈现的。
作为一种可实施方式，所述交互显示拍摄到的第二画面中包含了所述第一画面。
作为一种可实施方式，所述交互显示模块被设置为对所述显示拍摄到的第二画面中包含了所述第一画面，是指所述第一画面与所述第二画面采用Alpha Blending算法进行叠加处理。
作为一种可实施方式，所述交互显示模块被设置为拍摄所述第二画面时伴随着对第二画面的预处理。
作为一种可实施方式，所述交互显示模块被设置为对所述第二画面进行的预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。
本发明相比于现有技术的有益效果在于：
本发明利用手势控制实现虚拟现实交互的方法的是：响应于手势检测信号，显示拍摄到的第二画面；识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。用户可以直接采用手势来控制实现虚拟现实，不仅解决了用户无法看到真实场景的问题，还提高了虚拟现实的易用性。
附图说明
图1为本发明实施例的利用手势控制实现虚拟现实交互方法的流程示意图；
图2为本发明识别第二画面中的真实手势动作，将真实手势动作转化成图形指针的流程示意图；
图3-图6为本发明实施例的具体应用场景示意图；
图7为本发明利用手势控制实现虚拟现实交互的装置的结构示意图；
图8为本发明指针识别模块的结构示意图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。
应用场景总览，本发明依赖于虚拟现实装置来实现，当用户使用虚拟现实装置(VR设备)时，突然有手势检测信号接入，此时，显示出了拍摄到的第二画面，将第二画面中的真实手势动作转换成图形指针，此时显示第一画面，并且在第一画面的相互对应的位置显示图形指针，通过手势动作来控制虚拟现实交互。
可选地，第一画面在显示第二画面出现或者是在第二画面消失后出现。
也就是说，接下来将要描述的本发明的实施方式的方法中的步骤，可以全部依赖于虚拟现实装置或者类似于虚拟现实装置来执行。
示例性方法：
请参照附图1所示，利用手势控制实现虚拟现实交互的方法，包括以下步骤：
步骤S1，响应于手势检测信号，显示拍摄到的第二画面；
步骤S2，识别第二画面中的真实手势动作，将真实手势动作转化成图形指针；
步骤S3，显示第一画面，并在第一画面对应的位置显示图形指针，进行交互。
进一步地，识别第二画面中的真实手势动作，将真实手势动作转化成图形指针的具体过程为：
S201，捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；
S202，对每个手部候选区域内的手形进行判断，若有多个手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；
S203，在特定区域内将真实手势动作转换成图形指针。
通过使用利用手势控制实现虚拟现实交互的方法以及具体的识别第二画面中的真实手势动作，将真实手势动作转化成图形指针的过程，用户可以直接采用手势来控制实现虚拟现实，不仅解决了用户无法看到真实场景的问题，还提高了虚拟现实的易用性。
可选地，可以在检测到手势检测信号之前显示第一画面，当检测到手势检测信号，显示拍摄到的第二画面，此时，显示拍摄到的第二画面包含了第一画面。
实施例1
参照场景示意图3到场景示意图6来详细说明利用手势控制实现虚拟现实交互的方法。
本实施例中，如图3所示，用户在观看第一画面，如图4所示，用户有电话接入，即检测到手势检测信号，开始显示拍摄到的第二画面，但是，此时显示出来的第二画面是经过处理的，其中包含了第一画面，如图5所示，第二画面出现真实手势动作，对真实手势动作进行转换，将其转换成图形指针，如图6所示，第二画面消失，显示第一画面，并且在第一画面相对应的位置出现了图形指针，追踪真实手势动作，用户通过移动手来控制虚拟指针的位置，通过手势的动作来控制指针的动作执行。
在图5中出现了真实手势动作，图6中出现了图形指针，将真实手势动作转换成图形指针具体方法请参照图2，包含以下步骤：
S201，捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；
S202，对每个手部候选区域内的手形进行判断，若有多个手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；
S203，在特定区域内将真实手势动作转换成图形指针。
步骤S201的具体过程为：通过肤色检测和运动检测的方法，得到一些运动的团块，根据运动团块的颜色、形状等信息，过滤掉一些不可能是手的运动团块；再对过滤后剩余的可能为手的运动团块进行运动预测和跟踪，分析它们的运动速度、轨迹等信息，从而得到最可能是手的一些运动团块，将这些运动团块出现的区域作为下一步检测的候选区域；
步骤S202的具体过程为：在每一个候选区域内，对多个位置、多个尺度分别进行纹理特征提取和梯度特征提取，将提取的纹理特征和梯度特征送入离线训练好的分类器，进行手形的判断，如果有多个位置通过验证，那么需要对这些候选区域进行非最大值抑制，最终输出一个包含真实手势动作的矩形框；
最终在矩形框内将真实手势动作转换成图形指针。
真实手势动作转换成指针之后，需要对手部进行跟踪，并且来识别手的动作，进而实现通过移动手来控制虚拟指针的位置，通过手势的动作来控制指针的动作执行。
手部跟踪包括运动预测、跟踪、在线学习和在线验证，运动预测是根据目标之前的运动状况，预测当前帧目标的位置；跟踪算法可以是粒子滤波、光流跟踪、压缩跟踪等算法；在线学习模块实时提取跟踪目标的特征，进行学习，并实时更新在线的分类器；在线验证则是利用在线分类器，对当前的跟踪目标进行验证，如果目标不是手则丢弃，这样可以排除可能的错误跟踪。
手部跟踪之前，设置预定义动态手势，在检测手部运动和变化的同时还要对手势动作进行识别，和预定义动态手势动作进行对比，如果和预定义的动态手势相同，则控制指针。
在手部跟踪的同时，也会进一步侦测手的特定动作，比如，还需要做手势动作进行识别，和预定义的动态手势对比较，识别出用户的手形，因此用户可以通过特定动作来完成一些点击动作；在手部跟踪的同时，还要对手势进行识别，识别出手势的种类，为了判断手势是否存在变化，是否由一种静态手势变成了另一种静态手势，例如由手掌变为拳头，需要对这些手势进行识别，识别的方法为：利用离线训练好的深度神经网络做多分类的识别。
在此实施例中，需要在进行拍摄时对第二画面进行预处理，对第二画面的预处理包括缩放处理、白平衡调整，曝光调整、去噪处理等等，预处理之后将第二画面和第一画面进行Alpha Blending处理(Alpha透明混合处理)，第一画面和第二画面经过处理之后对第二画面进行显示，显示的第二画面中包括了第一画面。
若第二画面是深度摄像头拍摄到的画面，则需要将第二画面和第一画面做对齐处理，再将将第二画面和第一画面进行Alpha Blending处理(Alpha透明混合处理)，第一画面和第二画面经过处理之后对第二画面进行显示，显示的第二画面中包括了第一画面。
于一个实施例中，当用户在观看VR设备中的第一画面时，此时用户想玩短信或者是用户玩手机，都可以看做是手势检测信号被触发，这些情况都可以利用手势控制实现虚拟现实交互的方法来进行交互。
示例性设备
在介绍了本发明示例性实施方式的方法之后，接下来，参考图对本发明示例性实施方式的利用手势控制实现虚拟现实交互的装置进行介绍。
利用手势控制实现虚拟现实交互的装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“单元”或者“模块”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能被构想的。
如图8所示，一种利用手势控制实现虚拟现实交互的装置，包括：第二画面显示模块1、识别模块2和显示模块3；
第二画面显示模块1用于响应手势检测信号，显示拍摄到的第二画面；
指针识别模块2用于识别第二画面中的真实手势动作，将真实手势动作转化成图形指针；
交互显示模块3用于显示第一画面，并在第一画面对应的位置显示图形指针，进行交互。
如图8所示，指针识别模块2包括捕捉分析模块21、检测手形模块22和转换图形指针模块23；
捕捉分析模块21用于捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；
检测手形模块22用于对每个手部候选区域内的手形进行判断，若有多个手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；
转换图形指针模块23用于在特定区域内将真实手势动作转换成图形指针。
进一步地，交互显示模块3被设置显示拍摄到的第二画面中包含了第一画面。
进一步地，交互显示模块3被设置为对显示拍摄到的第二画面中包含了第一画面，是指第一画面与第二画面采用Alpha Blending算法进行叠加处理。
进一步地，交互显示模块3被设置为拍摄第二画面时伴随着对第二画面的预处理。
进一步地，交互显示模块3被设置为对第二画面进行的预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。
应该注意的是，捕捉分析模块21包括了捕捉模块和分析模块，捕捉手部区域模块用于拍摄第二画面并且还捕捉出现在第二画面中的手部区域，更具体的捕捉手部区域模块为用于VR设备的摄像头，该摄像头可以放置在VR设备内部也可以安装在VR设备外部，摄像头包括彩色摄像头、深度摄像头、rgb-d摄像头、红外摄像头等等，在方法中已经讲过当为深度摄像头时拍摄到的第二画面该如何处理，此处不再赘述。
应当注意，尽管在上文详细描述中提及了利用手势控制实现虚拟现实交互的装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的三个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种利用手势控制实现虚拟现实交互的方法，其特征在于，包括以下步骤：
响应于手势检测信号，显示拍摄到的第二画面；
识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；
显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。
2.根据权利要求1所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述识别第二画面中的真实手势动作，将真实手势动作转化成图形指针，包括以下步骤：
捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；
对每个手部候选区域内的手形进行判断，若有多个所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；
在所述特定区域内将真实手势动作转换成图形指针。
3.根据权利要求1所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述第一画面在检测到手势检测信号之前呈现的。
4.根据权利要求3所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述显示拍摄到的第二画面中包含了所述第一画面。
5.根据权利要求4所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述显示拍摄到的第二画面中包含了所述第一画面，是指所述第一画面与所述第二画面采用Alpha Blending算法进行叠加处理。
6.根据权利要求5所述的利用手势控制实现虚拟现实交互的方法，其特征在于：拍摄所述第二画面时伴随着对第二画面的预处理。
7.根据权利要求6所述的利用手势控制实现虚拟现实交互的方法，其特征在于：对所述第二画面进行预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。
8.一种利用手势控制实现虚拟现实交互的装置，其特征在于，包括：第二画面显示模块、指针识别模块和交互显示模块；
所述第二画面显示模块用于响应手势检测信号，显示拍摄到的第二画面；
所述指针识别模块用于识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；
所述交互显示模块用于显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。
9.根据权利要求8所述的利用手势控制实现虚拟现实交互的装置，其特征在于，所述指针识别模块包括捕捉分析模块、检测手形模块和转换图形指针模块；
所述捕捉分析模块用于捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；
所述检测手形模块用于对每个手部候选区域内的手形进行判断，若有多个所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；
所述转换图形指针模块用于在所述特定区域内将真实手势动作转换成图形指针。
10.根据权利要求8所述的利用手势控制实现虚拟现实交互的装置，其特征在于，所述交互显示模块被设置为所述第一画面是在检测到手势检测信号之前呈现的。
11.根据权利要求10所述的利用手势控制实现虚拟现实交互的装置，其特征在于，所述交互显示模块被设置为显示拍摄到的第二画面中包含了所述第一画面。
12.根据权利要求11所述的利用手势控制实现虚拟现实交互的装置，其特征在于，所述交互显示模块被设置为对所述显示拍摄到的第二画面中包含了所述第一画面，是指所述第一画面与所述第二画面采用AlphaBlending算法进行叠加处理。
13.根据权利要求12所述的利用手势控制实现虚拟现实交互的装置，其特征在于，所述交互显示模块被设置为拍摄所述第二画面时伴随着对第二画面的预处理。
14.根据权利要求13所述的利用手势控制实现虚拟现实交互的装置，其特征在于：所述交互显示模块被设置为对所述第二画面进行的预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。
CN201710004798.0A 2017-01-04 2017-01-04 利用手势控制实现虚拟现实交互的方法和装置 Pending CN106775258A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710004798.0A CN106775258A (zh) 2017-01-04 2017-01-04 利用手势控制实现虚拟现实交互的方法和装置
US15/616,945 US10168790B2 (en) 2017-01-04 2017-06-08 Method and device for enabling virtual reality interaction with gesture control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710004798.0A CN106775258A (zh) 2017-01-04 2017-01-04 利用手势控制实现虚拟现实交互的方法和装置

Publications (1)

Publication Number Publication Date
CN106775258A true CN106775258A (zh) 2017-05-31

Family

ID=58949842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710004798.0A Pending CN106775258A (zh) 2017-01-04 2017-01-04 利用手势控制实现虚拟现实交互的方法和装置

Country Status (2)

Country Link
US (1) US10168790B2 (zh)
CN (1) CN106775258A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479715A (zh) * 2017-09-29 2017-12-15 广州云友网络科技有限公司 利用手势控制实现虚拟现实交互的方法和装置
CN107608522A (zh) * 2017-09-29 2018-01-19 广州云友网络科技有限公司 利用移动设备定制虚拟运动场景的方法和系统
CN109697001A (zh) * 2017-10-24 2019-04-30 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质、电子装置
CN113366821A (zh) * 2018-12-21 2021-09-07 弗劳恩霍夫应用研究促进协会 具有用于产生深度图的多孔径成像设备的设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739353A (zh) * 2018-12-27 2019-05-10 重庆上丞科技有限公司 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
USD947874S1 (en) * 2019-06-14 2022-04-05 Oxford VR Limited Virtual reality googles with graphical user interface
US11675494B2 (en) * 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
CN113141502B (zh) * 2021-03-18 2022-02-08 青岛小鸟看看科技有限公司 头戴式显示设备的摄像控制方法、装置及头戴式显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452584B1 (en) * 1997-04-23 2002-09-17 Modern Cartoon, Ltd. System for data management based on hand gestures
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
CN105867626A (zh) * 2016-04-12 2016-08-17 京东方科技集团股份有限公司 头戴式虚拟现实设备及其控制方法、虚拟现实系统
CN105975158A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
WO2016130860A3 (en) * 2015-02-13 2016-10-06 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
JP2013025619A (ja) * 2011-07-22 2013-02-04 Olympus Corp 画像表示装置および画像表示方法
JP6217244B2 (ja) * 2013-08-29 2017-10-25 セイコーエプソン株式会社 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452584B1 (en) * 1997-04-23 2002-09-17 Modern Cartoon, Ltd. System for data management based on hand gestures
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
WO2016130860A3 (en) * 2015-02-13 2016-10-06 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN105867626A (zh) * 2016-04-12 2016-08-17 京东方科技集团股份有限公司 头戴式虚拟现实设备及其控制方法、虚拟现实系统
CN105975158A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟现实交互的方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479715A (zh) * 2017-09-29 2017-12-15 广州云友网络科技有限公司 利用手势控制实现虚拟现实交互的方法和装置
CN107608522A (zh) * 2017-09-29 2018-01-19 广州云友网络科技有限公司 利用移动设备定制虚拟运动场景的方法和系统
CN107608522B (zh) * 2017-09-29 2020-12-25 广州云友网络科技有限公司 利用移动设备定制虚拟运动场景的方法和系统
CN109697001A (zh) * 2017-10-24 2019-04-30 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质、电子装置
WO2019080870A1 (zh) * 2017-10-24 2019-05-02 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质、电子装置
CN109697001B (zh) * 2017-10-24 2021-07-27 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质、电子装置
CN113366821A (zh) * 2018-12-21 2021-09-07 弗劳恩霍夫应用研究促进协会 具有用于产生深度图的多孔径成像设备的设备
US11924395B2 (en) 2018-12-21 2024-03-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device comprising a multi-aperture imaging device for generating a depth map
CN113366821B (zh) * 2018-12-21 2024-03-08 弗劳恩霍夫应用研究促进协会 具有用于产生深度图的多孔径成像设备的设备

Also Published As

Publication number Publication date
US10168790B2 (en) 2019-01-01
US20180188815A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN106775258A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN106709932B (zh) 一种人脸位置跟踪方法、装置和电子设备
CN112149636B (zh) 用于检测目标物体的方法、装置、电子设备及存储介质
CN106951346B (zh) 一种响应时间的测试方法和装置
CN109657533A (zh) 行人重识别方法及相关产品
CN108292362A (zh) 用于光标控制的手势识别
Chu et al. Hand gesture for taking self portrait
CN105516656B (zh) 一种物品实况查看方法和系统
CN108198199B (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
CN111241872B (zh) 视频图像遮挡方法及装置
CN110245641A (zh) 一种目标追踪拍摄方法、装置、电子设备
CN109982036A (zh) 一种全景视频数据处理的方法、终端以及存储介质
CN113194253B (zh) 去除图像反光的拍摄方法、装置和电子设备
Drab et al. Motion Detection as Interaction Technique for Games & Applications on Mobile Devices.
CN109086725B (zh) 手部跟踪方法及机器可读存储介质
CN108647633B (zh) 识别跟踪方法、识别跟踪装置和机器人
CN103873759B (zh) 一种拍摄方法及电子设备
US20220300774A1 (en) Methods, apparatuses, devices and storage media for detecting correlated objects involved in image
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN112511743B (zh) 视频拍摄方法和装置
WO2021130549A1 (en) Target tracking method and apparatus, electronic device, and storage medium
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
CN115278014A (zh) 一种目标跟踪方法、系统、计算机设备及可读介质
CN106354263A (zh) 基于面部特征追踪的实时人机交互系统及其工作方法
CN112153291A (zh) 拍照方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310000 Building 22 and 23 of Paradise Software Park A, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Rainbow Software Co.,Ltd.

Address before: 310000 Room B, 20th Building, Building A, Paradise Software Park, No. 3 Xidoumen Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: ArcSoft (Hangzhou) Multimedia Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531