CN111580652A - 视频播放的控制方法、装置、增强现实设备及存储介质 - Google Patents

视频播放的控制方法、装置、增强现实设备及存储介质 Download PDF

Info

Publication number
CN111580652A
CN111580652A CN202010374681.3A CN202010374681A CN111580652A CN 111580652 A CN111580652 A CN 111580652A CN 202010374681 A CN202010374681 A CN 202010374681A CN 111580652 A CN111580652 A CN 111580652A
Authority
CN
China
Prior art keywords
gesture
target
gesture information
gestures
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010374681.3A
Other languages
English (en)
Other versions
CN111580652B (zh
Inventor
劳逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010374681.3A priority Critical patent/CN111580652B/zh
Publication of CN111580652A publication Critical patent/CN111580652A/zh
Application granted granted Critical
Publication of CN111580652B publication Critical patent/CN111580652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种视频播放的控制方法、装置、增强现实设备及存储介质,该视频播放的控制方法应用于增强现实设备,所述增强现实设备包括图像采集模块,该视频播放的控制方法包括:当增强现实设备播放视频时,识别增强现实设备所处的当前场景;如果当前场景为目标场景时,通过图像采集模块获取目标区域的区域图像,目标场景为通过手势控制视频播放的场景;识别区域图像中的手势信息;在识别到区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配;当识别到的手势信息与多种手势中的目标手势的手势信息匹配时,对视频的播放进行目标手势对应的播放控制操作。本方法可以方便快捷的实现视频的播放控制。

Description

视频播放的控制方法、装置、增强现实设备及存储介质
技术领域
本申请涉及显示技术领域,更具体地,涉及一种视频播放的控制方法、装置、增强现实设备及存储介质。
背景技术
随着科技水平和生活水平的进步,越来越多的人们使用智能终端进行视频的观看,多媒体视频的播放已经成为了人们重要的娱乐和学习方式。传统的视频播放方案中,通常通过触控操作、按键操作、鼠标操作等来控制视频的播放,但是传统的视频播放的控制会存在不方便用户操作的情况。
发明内容
鉴于上述问题,本申请提出了一种视频播放的控制方法、装置、增强现实设备及存储介质。
第一方面,本申请实施例提供了一种视频播放的控制方法,应用于增强现实设备,所述增强现实设备包括图像采集模块,所述方法包括:当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景;如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景;识别所述区域图像中的手势信息;在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配;当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
第二方面,本申请实施例提供了一种视频播放的控制装置,应用于增强现实设备,所述增强现实设备包括图像采集模块,所述装置包括:场景识别模块、图像获取模块、手势识别模块、手势匹配模块以及播放控制模块,其中,所述场景识别模块用于当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景;所述图像获取模块用于如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景;所述手势识别模块用于识别所述区域图像中的手势信息;所述手势匹配模块用于在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配;所述播放控制模块用于当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
第三方面,本申请实施例提供了一种增强现实设备,包括:一个或多个处理器;存储器;图像采集模块;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的视频播放的控制方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的视频播放的控制方法。
本申请提供的方案,当增强现实设备播放视频时,识别增强现实设备所处的当前场景,如果该当前场景为目标场景时,通过增强现实设备的图像采集模块获取目标区域的区域图像,该目标场景为通过手势控制视频播放的场景,然后识别该区域图像中的手势信息,在识别到该区域图像中的手势信息,再将识别到的手势信息与多种手势中的手势信息进行匹配,当识别到的手势信息与目标手势的手势信息匹配时,对当前视频的播放进行目标手势对应的播放控制操作,从而可以实现用户在利用增强现实设备观看视频时,如果增强现实设备处于通过手势控制播放的场景,可以通过在目标区域内做出相应的手势,即可实现对视频播放的相应控制,不需要用户进行过多的操作,方便了用户对视频播放的控制需求,提升了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的增强现实设备的一种示意图。
图2示出了根据本申请一个实施例的视频播放的控制方法流程图。
图3示出了本申请一个实施例提供的一种显示效果示意图。
图4示出了本申请一个实施例提供的另一种显示效果示意图。
图5示出了根据本申请另一个实施例的视频播放的控制方法流程图。
图6示出了本申请另一个实施例提供的一种显示效果示意图。
图7示出了本申请另一个实施例提供的另一种显示效果示意图。
图8示出了根据本申请又一个实施例的视频播放的控制方法流程图。
图9示出了本申请又一个实施例提供的一种显示效果示意图。
图10示出了根据本申请再一个实施例的视频播放的控制方法流程图。
图11示出了根据本申请又另一个实施例的视频播放的控制方法流程图。
图12示出了根据本申请一个实施例的视频播放的控制装置的一种框图。
图13是本申请实施例的用于执行根据本申请实施例的视频播放的控制方法的增强现实设备的框图。
图14是本申请实施例的用于保存或者携带实现根据本申请实施例的视频播放的控制方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
目前,多媒体视频的播放已经成为人们重要的娱乐和学习方式。课堂上人们使用投影视频教学,日常生活中使用手机平板观看视频娱乐,丰富精神生活,甚至做饭也会一边观看视频学习。人们已经离不开多媒体视频播放给人们来带的精神享受。
传统的通过智能终端进行视频播放的方案中,视频播放设备大多数是投影仪、手机播放、平板、PC电脑、笔记本电脑等,在需要调节视频播放进、暂停播放、调整音量、调整亮度时,需要用户点击触摸屏,点击鼠标或者操作键盘等操作,从而完成相应的控制。
发明人经过长时间的研究发现,在一些情况下,用户在利用视频播放设备进行播放视频时,通过点击触摸屏,点击鼠标或者操作键盘等操作来完成需求的播放控制时,会存在不方便操作的情况。例如,当用户在一边观看视频一边进行其他事情时,操作触摸屏或者操作键盘会不便利。
针对上述问题,发明人提出了本申请实施例提供的视频播放的控制方法、装置、增强现实设备以及存储介质,可以用户在利用增强现实设备观看视频时,如果增强现实设备处于通过手势控制播放的场景,可以通过在目标区域内做出相应的手势,实现对视频播放的相应控制,无需用户进行过多的操作,即可以完成视频播放的控制,方便了用户对于视频播放的控制需求,提升了用户体验。其中,具体的视频播放的控制方法在后续的实施例中进行详细的说明。
下面先介绍本申请实施例中的增强现实设备。其中,该增强现实设备可以为增强现实(AR,Augmented Reality)眼镜,也可以为AR头盔等,在此不做限定。
如图1所示,图1示出了增强现实设备的一种示意图。如图1所示,增强现实设备可以为头戴显示设备。该增强现实设备100包括显示屏110、框架120、成像装置130和图像采集模块103。
该框架120包括前表面121、侧表面122和后表面123,显示屏110安装在所述框架的前表面,成像装置130能够将虚拟对象的图像显示在显示屏110上。例如,该成像装置130可以是衍射光波导,能够将图像投影到显示屏上。
作为一种实施方式,该显示屏110可以是该AR眼镜的镜片,并且该显示屏110还可以透光,即该显示屏110可以是半透半反的镜片,用户在佩戴该头戴显示设备的时候,当该显示屏110上显示图像的时候,用户能够看到该显示屏110上所显示的图像同时还可以透过该显示屏110看到周围环境中现实世界中的物体。则通过该半透半反的镜片,用户能够将镜片上所显示的图像与周围环境相叠加,从而实现增强现实的视觉效果。
其中,用户在佩戴该头戴显示设备的时候,显示屏110位于用户的眼前,即前表面121在用户眼睛的前方,后表面123位于用户眼睛的后方,侧表面122位于用户眼睛的侧方。
另外,在前表面121设置有图像采集模块103,通过该图像采集模块103感知前方的环境信息,以便实现即时定位与地图构建(Simultaneous Localization and Mapping,SLAM),进而实现增强现实或混合现实的视觉效果。并且图像采集模块103可以用于采集用户的手部图像,以根据手部图像来获取手部的三维信息,并进行手势的识别,以便根据识别出的手势,进行视频播放的控制。
在另一些AR技术中,可以使用前置摄像头实现真实场景与虚拟对象的结合。具体地,可以在头戴显示设备的前表面的前置摄像头的视野方向与用户在佩戴该头戴显示设备时用户的视野方向一致,且该前置摄像头用于采集真实场景的图像,并且将所采集的真实场景的图像经过处理之后显示在用户眼前的显示屏上,具体地,可以是在真实场景的图像上叠加虚拟对象的图像,被用户看到,以使用户观察到增强现实的视觉效果。
在一些实施方式中,以上头戴显示设备可以为一体式头戴显示设备,也可以是外接式/接入式头戴显示设备。头戴显示设备为一体式头戴显示设备时,头戴显示设备可以包括处理器和存储器,用于进行数据的处理和存储。头戴显示设备为外接式/接入式头戴显示设备时,与其连接的手机等智能终端,可作为头戴显示装置的处理和存储设备,插入或者接入外接式头戴显示装置,进行数据的存储和处理。
请参阅图2,图2示出了本申请一个实施例提供的视频播放的控制方法的流程示意图。在具体的实施例中,所述视频播放的控制方法应用于如图12所示的视频播放的控制装置400以及配置有所述视频播放的控制装置400的增强现实设备100(图13),该增强现实设备包括图像采集模块。下面将以增强现实设备为例,说明本实施例的具体流程。下面将针对图2所示的流程进行详细的阐述,所述视频播放的控制方法具体可以包括以下步骤:
步骤S110:当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景。
在本申请实施例中,增强现实设备可以用于进行视频的播放。作为一种方式,增强现实设备播放的视频可以是本地存储的视频,增强现实设备在播放视频时,可以从本地读取视频文件,并进行视频的播放;作为另一种方式,增强现实设备中可以设置无线模块,增强现实设备通过无线模块可以连接互联网,以从视频平台获取网络视频,并进行网络视频的播放。当然,增强现实设备播放的视频的来源可以不作为限定。
在一些实施方式中,增强现实设备播放视频时可以以虚拟现实(VR,VirtualReality)的方式进行播放,实现VR视频的播放效果。其中,VR视频又名全景视频,是指通过VR摄影功能将现场环境真实地记录下来,再通过计算机进行后期处理,所形成的可以实现三维的空间展示功能的视频。在该实施方式下,用户在通过增强现实设备观看VR视频时,仅能看到虚拟世界的内容,而无法看到真实世界中的内容,从而实现沉浸式的视频播放效果。例如,如图3所示,增强现实设备100在播放VR视频时,用户仅能看到视频内容A1,而无法看到真实世界的内容,用户可以感受到沉浸式的观看体验。
在另一些实施方式中,增强现实设备播放视频时也可以以AR的方式播放视频,实现AR视频的播放效果。增强现实设备在播放AR视频时,可以将视频内容叠加显示于真实世界,使用户不仅可以看到视频内容,也可以看到真实世界的内容,从而可以满足用户在一些场景下的视频观看需求,也能实现视频内容的增强现实的播放效果,例如,用户在一边做菜,一边观看视频时,则可以通过AR视频的方式,增强现实设备将视频内容叠加显示于厨房某个位置,用户在做菜时也能看到视频内容。如图4所示,增强现实设备100在播放AR视频时,用户不仅能看到视频内容A1,也能看到真实世界中的真实人物A2,实现视频的增强现实的显示效果,提升用户的观看体验。
在以上实施方式中,增强现实设备播放的视频可以为2D(二维)的视频,也可以为3D(三维)的视频,视频的具体形式可以不作为限定。可选的,增强现实设备可以播放3D视频,从而用户在任意场景和地点,也可以独自进行3D视频的观看,提升了用户的视频观看体验。
在本申请实施例中,当增强现实设备播放视频时,由于用户通过增强现实设备播放视频时,可能是处于专门观看视频的场景,即用户没有做其他事情,而仅在观看视频,这时候用户通常可以主动选择通过增强现实设备上的按键,或者通过与增强现实设备连接的控制器,例如控制播放音量、播放进度等;而在一些场景下,用户可能处于观看播放的视频的同时,可能做其他事情,例如看视频的同时,一边做饭、做手工、玩手机、下棋等场景,而在这些场景下,用户通常不方便利用控制器或者增强现实设备上的按键来进行视频播放的控制,而是利用手势进行播放控制更加的方便。因此,当增强现实设备播放视频时,可以识别其所处的当前场景,以确定是否利用手势来进行播放的控制。
在一些实施方式中,增强现实设备可以通过其图像采集模块采集其所处场景的场景图像,然后将场景图像输入至预先训练的场景识别模型,获得场景识别模型输出的场景识别结果,从而确定出其当前所处的场景。其中,该场景识别模型可以根据大量训练样本训练得到,训练样本可以包括增强现实设备在多种不同场景下使用时的多张场景图像,并且每张场景图像可以被标注其场景。场景识别模型可以为神经网络模型、决策树模型等,在此不做限定。
作为一种方式,以上训练样本对应的多种不同场景的场景图像可以被标注为目标场景以及非目标场景,从而根据训练样本训练得到的场景识别模型可以识别出当前场景是目标场景或者非目标场景。其中,目标场景为通过手势控制视频播放的场景,例如,目标场景可以为做饭的场景、做手工的场景、下棋的场景、玩手机的场景、吃东西的场景、使用键盘打字的场景、写字的场景等,可以理解的,目标场景下用户通常不方便用增强现实设备的按键或者与其连接的控制器进行播放控制,这时候通过于真实场景中做出的手势进行控制会更加方便,因此可以获取大量这些场景下的图像,并被标注为目标场景,而其他用户仅播放视频的场景的图像可以将被标注为非目标场景,非目标场景下,用户可以主动选择利用控制器或者按键进行播放控制。从而,场景识别模型可以自动的识别出当前场景为目标场景或者非目标场景,以便在识别出当前场景为目标场景时,主动检测手势信息,以实现手势控制视频的播放。
在另一些实施方式中,头戴显示设备也可以通过其图像采集模块连续的采集其所处场景的多张场景图像,然后根据多张场景图像,识别用户的手部区域,再根据连续的多张场景图像中的手部区域,确定其手部动作,并进一步确定其手部动作是否为静止,以及手部是否握持有其他物体,则确定其手部动作为静止的状态,则可以确定其为仅观看播放视频的场景,作为非目标场景,如果其手部动作为非静止的状态,且且手部握持有其他物体,则可以确定其为观看播放视频的同时做其他事情的场景,作为目标场景。
步骤S120:如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景。
在本申请实施例中,增强现实设备在识别其所处的场景后,可以确定其所处的场景是否为目标场景,目标场景即为通过手势控制视频播放的场景。如果识别出当前场景为目标场景时,则可以主动检测用户的手部动作,以检测出用户在需要进行播放控制时做出的手势,因此可以通过增强显示设备中设置的图像采集模块,获取目标区域的区域图像。其中,目标区域可以为预先设置的用于进行手势采集的区域,也就是说,用户可以通过在目标区域做出手势,进而可以被增强现实设备采集手部的三维信息后,进行手势识别,以进行相应的播放控制。
作为一种实施方式,图像采集模块可以包括结构光投射单元以及图像采集单元,通过结构光投射单元向目标区域投射结构光源,然后通过图像采集模块,采集结构光在投射到目标区域内的手部之后的图像,作为目标区域的区域图像,根据采集的深度图像可以用于获知被拍摄物造成的光信号的变化,计算被拍摄物的位置和深度等信息,进而复原获得被拍摄物的三维信息,以进行手势信息的识别。作为另一种实施方式,图像采集模块可以包括飞行时间测距法(TOF,Time of flight)摄像头,增强现实设备可以通过TOF摄像头采集目标区域内的深度图像,作为目标区域的区域图像,获得的深度图像同样可以获取被拍摄物的深度图像,以进行手势信息的识别。其中,TOF是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。
当然,具体获取目标区域的区域图像的方式可以不作为限定。
步骤S130:识别所述区域图像中的手势信息。
在本申请实施例中,增强现实设备在获得到目标区域的区域图像后,则可以根据区域图像识别区域图像中是否存在手部区域,并获取手部区域的三维信息,然后根据手部区域的三维信息,进行手势识别,以识别出手势信息。作为一种实施方式,增强现实设备可以在区域图中存在手部区域时,可以识别手部区域中手部的形状、大小等,从而得到手势信息。作为另一种实施方式,也可以通过预先训练的手势识别模型,在区域图中存在手部区域时,将区域图像输入至手势识别模型中,获得手势识别模型输出的手势识别结果,得到识别出的手势信息,其中,手势识别模型可以根据大量的训练数据,对神经网络等初始模型进行训练后获得,训练数据可以包括多个手部的手部图像。可以理解的,如果区域图像中存在手部区域时,则增强现实设备可以识别到相应的手势信息;如果区域图像中不存在手部区域时,则增强现实设备识别不到相应的手势信息。
当然,识别区域图像中手势信息的具体方式可以不作为限定。
步骤S140:在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配。
在本申请实施例中,增强现实设备在识别出区域图像中的手势信息之后,如果在识别到手势信息时,可以将识别出的手势信息与预先设置的多种手势信息进行匹配。其中,预先设置的多种手势可以为预先设置的可以用于进行播放控制操作的手势。例如,识别出的手势为手势1,预先设置的多种手势包括手势1、手势2、手势3等,则识别出的手势与多种手势的手势1匹配。并且,增强现实设备中存储有这些预先设置的多种手势中每种手势的手势信息,进行可以实现识别到的手势信息与预先设置的手势的手势信息进行匹配。
步骤S150:当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
在本申请实施例中,增强现实设备在将识别出的手势信息与预先设置的多种手势的手势信息进行匹配后,可以根据匹配结果,确定识别出的手势的手势信息是否与多种手势中的其中一种手势的手势信息匹配。如果识别出的手势信息与多种手势的手势信息中的其中一种手势的手势信息匹配时,可以将该识别出的手势信息所匹配的手势信息对应的手势作为目标手势,并根据目标手势,对当前的视频播放进行相应的播放控制操作;如果识别出的手势信息与多种手势的手势信息中的任意一种手势的手势信息均不匹配时,则不执行对视频播放的控制操作。
在一些实施方式中,增强现实设备可以根据多种手势中每种手势与控制操作的对应关系,来确定目标手势所对应的控制操作。其中,预先设置的多种手势中可以每种手势对应不同的播放控制操作,也可以为至少两种手势对应一个播放控制操作,具体预先设置的手势与播放控制操作的对应关系可以不作为限定。
在一些实施方式中,对视频播放的控制操作可以包括:停止播放、开始播放、快进、后退、增加音量、减少音量、增加亮度、减小亮度、增加画质、降低画质等。具体的控制操作可以不作为限定。例如,目标手势对应的控制操作为暂停播放时,则可以控制当前的视频播放进行暂停。
本申请实施例提供的视频播放的控制方法,当增强现实设备播放视频时,识别增强现实设备所处的当前场景,如果该当前场景为目标场景时,通过获取目标区域的的区域图像,该目标场景为通过手势控制视频播放的场景,然后识别该区域图像中的手势信息,在识别到该区域图像中的手势信息,并根据识别出的手势信息所匹配的手势信息对应的目标手势,对视频播放进行相应的控制,从而仅需要用户在目标区域做出预先设置的用户控制视频播放的手势,即可进行需求的播放控制操作,操作简单方便,方便了用户对视频播放的控制,提升了用户体验。
请参阅图5,图5示出了本申请另一个实施例提供的视频播放的控制方法的流程示意图。该视频播放的控制方法应用于上述增强现实设备,该增强现实设备包括图像采集模块,下面将针对图5所示的流程进行详细的阐述,所述视频播放的控制方法具体可以包括以下步骤:
步骤S210:当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景。
在本申请实施例中,步骤S210可以参阅前述实施例的内容,在此不再赘述。
步骤S220:如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景,所述目标区域包括多个子区域。
在一些实施方式中,目标区域可以设置为图像采集模块的视野范围内的区域。当增强现实设备通过AR的方式播放视频时,用户通过增强现实设备可以观看到真实世界的内容,此时在利用手势对播放进行控制时,可能会存在手势遮挡住视频画面或者影响到视频画面的显示效果的情况。因此,可以将目标区域设置为用户的视野范围以外的区域,用户可以知晓该设置,并且在需要进行手势识别时,在自己的视野范围以外的区域做出相应的手势。例如,如图6所示,可以将目标区域A3设置于用户的视野范围以外,此时用户通过增强现实设备100看到的画面中不会出现用户的手部,有效提升视频观看体验。
在该实施方式中,增强现实设备在通过图像采集模块获取目标区域的区域图像时,可以通过获取用户的视野范围,然后确定视野范围以外的指定区域作为目标区域,再通过图像采集模块获取目标区域的区域图像。可以理解的,增强现实设备可以通过识别出用户视野范围以外的指定区域,并将该区域作为目标区域,从而可以对准该目标区域进行图像获取。
通过以上方式进行区域图像的采集,增强现实设备可以主动的识别用户的视野范围以外的目标区域,然后通过图像采集模块来获取该区域的区域图像。用户在目标区域内做手势,可以有效避免用户的手部会影响到AR视频播放的效果的情况发生,提升视频播放的播放效果。
在本申请实施例中,考虑到用户做出的手势的类型是有限的,而对视频播放的控制操作可能比较多,因此目标区域还可以为多个子区域,并且同一种手势在不同的子区域中所对应的控制操作不同,例如手势1在一个子区域中对应的控制操作为增加音量,在另一个子区域中对应的控制操作为增加亮度。例如,如图7所示,目标区域A3可以分为四个子区域,四个子区域分别为子区域A31、子区域A32、子区域A33和子区域A34。通过对目标区域进行划分,并且使得同一种手势在不同的子区域中所对应的控制操作不同,可以使用户无需比划过多的手势,即可实现不同的控制操作,更加方便了用户对于视频播放的控制。需要说明的是,目标区域以及子区域可以为空间区域,也可以为平面区域。
步骤S230:识别所述区域图像中的手势信息。
步骤S240:在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配。
在本申请实施例中,步骤S230及步骤S240可以参阅前述实施例的内容,在此不再赘述。
步骤S250:当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,确定所述手势信息对应的手部所在的目标子区域。
在本申请实施例中,由于目标区域进行划分,并且同一种手势在不同的子区域中所对应的控制操作不同。因此,增强现实设备在将识别出的手势信息与预先设置的多种手势的手势信息进行匹配之后,如果根据匹配结果,确定出识别出的手势信息与多种手势中的目标手势的手势信息匹配时,则可以确定用户的手部所在的目标子区域,以便根据目标子区域来确定目标手势所对应的控制操作。可以理解的,目标子区域为上述多个子区域中的其中一个子区域。
步骤S260:根据所述目标子区域,确定与所述目标手势对应的播放控制操作。
在本申请实施例中,增强现实设备在确定出用户的手部所在的目标子区域之后,则可以根据目标子区域来确定与目标手势对应的播放控制操作。可以理解的,由于当在不同子区域中做出相同的手势时,手势对应的控制操作是不同的,因此可以根据目标子区域,来确定目标手势对应的控制操作。
在一些实施方式中,增强现实设备中可以预先设置有每个子区域与控制操作集合之间的对应关系,每个子区域对应的控制操作集合可以不同。控制操作集合中可以包括有预先设置的多种手势与控制操作之间的对应关系。增强现实设备在根据目标子区域,确定与目标手势对应的控制操作时,增强现实设备可以根据不同子区域与控制操作集合的对应关系,获取该目标子区域对应的控制操作集合,然后根据目标子区域对应的控制操作集合,即可确定出与目标手势对应的播放控制操作。
步骤S270:对所述视频的播放进行所述播放控制操作。
在本申请实施例中,增强现实设备在确定出目标手势所对应的播放控制操作之后,则可以对当前的视频播放进行该确定的传播控制操作。例如,当识别出的手势为手势2,且手部处于子区域A31,A31对应的控制操作集合中手势2对应的控制操作为降低亮度,则进行视频的亮度的降低;又例如,当识别出的手势为手势2,且手部处于子区域A32,A32对应的控制操作集合中手势2对应的控制操作为降低画质,则进行视频的画质的降低。
通过本申请实施例提供的视频播放的控制方法,可以实现用户在不同的子区域中做出同一手势时,能实现的播放控制操作不同,这样可以有效的减少预先设置的手势的数量,使得用户可以不必做出较多的手势来实现不同的控制操作,更为方便了用户对于视频播放的控制。
请参阅图8,图8示出了本申请又一个实施例提供的视频播放的控制方法的流程示意图。该视频播放的控制方法应用于上述增强现实设备,该增强现实设备包括图像采集模块,下面将针对图8所示的流程进行详细的阐述,所述视频播放的控制方法具体可以包括以下步骤:
步骤S310:当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景。
步骤S320:如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景。
步骤S330:识别所述区域图像中的手势信息。
在本申请实施例中,步骤S310、步骤S320及步骤S330可以参阅前述实施例的内容,在此不再赘述。
步骤S340:当所述识别出的手势包括多个手势时,将所述多个手势对应的手势信息中的每个手势信息与预先设置的多种手势的手势信息进行匹配。
用户在通过增强现实设备观看视频时,可能所处的现实场景中会存在多人,此时,可能其他人的手部也会出现在设置的目标区域内,因此可能会出现识别出多个手势的情况。例如,如图9所示,增强现实设备100的使用者在观看视频时,在目标区域A3内做出手势时,另一用户的手部也出现在了目标区域A3,因此可能会识别出多个手势。
在本申请实施例中,如果增强现实设备识别出的手势信息为多个手势对应的手势信息时,则表示识别出的多个手势的手势信息中不仅包括增强现实设备的使用者做出的手势对应的手势信息,也包括现实场景中其他人的手势对应的手势信息。此时,增强现实设备可以将多个手势中的每个手势的手势信息与预先设置的多种手势的手势信息进行匹配。可以理解的,由于其他人并不是在看视频和需要对视频控制,因此不会刻意的做出用于控制播放的手势,从而可以将多个手势中的每个手势的手势信息与预先设置的多种手势的手势信息进行匹配,除了使用者的手势以外的其他手势的手势信息一般情况下不会与预先设置的手势的手势信息匹配,因此可以将其过滤掉,从而筛选出真正的使用者的手势的手势信息,即只有使用者的手势的手势信息与预先设置的多种手势中的其中一个手势的手势信息匹配,此时可以将该匹配的手势信息对应的手势作为目标手势,并根据目标手势来进行相应的播放控制。
步骤S350:当识别到的多个手势对应的手势信息中存在至少两个手势的手势信息与所述多种手势中的其中一个手势的手势信息匹配时,从所述至少两个手势中获取指定手势。
在本申请实施例中,除了识别出的多个手势的手势信息中只有一个手势的手势信息能与预先设置的手势的手势信息匹配的情况,也就是使用者的手势的手势信息与预先设置的手势的手势信息匹配的情况,还可能存在一些特殊情况,例如恰好其他用户在目标区域内做出了预先设置的手势,又例如,存在用户知道哪些手势是预先设置的手势,可以用于播放控制,于是进行恶作剧故意做出预先设置的手势。因此,可能会存在识别出的多个手势的手势信息中与多种手势的手势信息中的其中一个手势的手势信息匹配的情况。该情况下,需要进一步的确定增强现实设备的使用者的手势的手势信息,以及其匹配的手势信息对应的目标手势,也就是确定出视频观看者做出的手势所匹配的目标手势。从而增强现实设备可以从以上至少两个目标手势中,获取至少一个指定手势,以得到增强现实设备的使用者的手势所匹配的目标手势。
在一些实施方式中,可以通过使用者的手部特征,来确定使用者的手势信息,并确定相匹配的手势信息对应的目标手势,作为指定手势。其中,手部特征可以包括掌纹信息、手掌形状、手掌大小、手指形状、手指大小、手部肤色、手部纹理、手部的静脉分布等。可以理解的,手部特征可以用于区分不同用户的手部,因此可以利用使用者的手部特征,来确定出使用者的手势信息,并确定相匹配的手势信息对应的目标手势。
在另一些实施方式中,增强现实设备也可以分别确定至少两个手势中每个手势对应的手部与所述图像采集模块之间的距离,根据每个手势对应的手部对应的距离,从至少两个手势中确定距离满足设定距离条件的至少一个手部对应的手势,作为指定手势。其中,设定距离条件可以为:手部距离所述图像采集模块的距离最小;设定距离条件也可以为:手部距离所述图像采集模块的距离小于预设距离。可以理解的,通常增强现实设备的使用者的手部距离图像采集设备的距离最近,或者距离小于某个距离,因此,可以以此为条件,来筛选出使用者的手势,并将筛选出的手势作为指定手势。
步骤S360:根据所述指定手势匹配的目标手势,确定对应的播放控制操作。
步骤S370:对所述视频的播放进行所述播放控制操作。
在本申请实施例中,步骤S360以及步骤S370可以参阅前述实施例的内容,在此不再赘述。
本申请实施例提供的视频播放的控制方法,可以实现当增强现实设备的使用者处于多人的现实场景中时,识别到目标区域内有多个手势的情况下,如果有至少两个手势的手势信息与预先设置的手势的手势信息匹配时,筛选出真正使用者的手势,然后根据使用者的手势所匹配的手势,来进行相应的播放控制,有效避免了其他用户误触发对视频播放的控制,或者其他用户的恶作剧的发生,提升了用户的视频观看体验。
请参阅图10,图10示出了本申请再一个实施例提供的视频播放的控制方法的流程示意图。该视频播放的控制方法应用于上述增强现实设备,该增强现实设备包括图像采集模块,下面将针对图10所示的流程进行详细的阐述,所述视频播放的控制方法具体可以包括以下步骤:
步骤S410:当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景。
步骤S420:如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景。
步骤S430:识别所述区域图像中的手势信息。
步骤S440:在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配。
在本申请实施例中,步骤S410至步骤S440可以参阅前述实施例的内容,在此不再赘述。
步骤S450:当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,连续检测所述手势信息对应的手部的手势动作,获得连续的多个手势。
在本申请实施例中,用户在通过增强现实设备观看视频时,可能所处的现实场景中会存在多人,此时,可能其他人的手部也会出现在设置的目标区域内,因此可能会存在造成误触发对视频播放的控制的情况发生。从而,可以将目标手势作为触发手势控制的初始条件,然后再检测到相应的手势组合时,才进行该目标手势对应的播放控制操作。
因此,当识别出的手势信息与多种手势的手势中的目标手势的手势信息匹配时,可以连续检测手部的手势动作,获得连续的多个手势。具体获取连续的多个手势的方式,可以参阅前述实施例中识别手势的方式进行,在此不再赘述。
步骤S460:当所述多个手势构成的手势组合与所述目标手势对应的手势组合匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
在本申请实施例中,在获得连续的多个手势之后,则可以根据多个手势所构成的手势组合,来确定该手势组合是否与目标手势对应的手势组合匹配,如果该手势组合是否与目标手势对应的手势组合匹配,则表示此前为使用者需求的手势控制,因此才执行对视频的播放进行目标手势对应的播放控制操作。
另外,如果增强现实设备未检测到多个连续的手势,或者检测到多个连续的手势与目标手势对应的手势组合匹配时,则表示当前检测的手势可能是误检测到的其他用户的手势,而不会执行对视频播放的控制,有效地避免了误触发对视频播放的控制的发生。
在一些变形的实施例中,考虑到用户做出的手势的类型是有限的,而对视频播放的控制操作可能比较多,增强现实设备也可以将目标手势作为触发手势控制的初始条件,当识别出的手势与目标手势匹配时,可以继续检测连续的多个手势,然后根据多个手势构成的手势组合所匹配的预设手势组合,来确定与预设手势组合对应的播放控制操作,最后执行该播放控制操作,从而可以使用户不必进行复杂的手势,而实现对视频播放的不同控制。
本申请实施例提供的视频播放的控制方法,通过在识别到的手势信息与目标手势的手势信息匹配时,继续检测连续的多个手势,并在多个手势构成的手势组合与目标手势对应的手势组合匹配时,才进行与目标手势对应的播放控制操作,可以实现当增强现实设备的使用者处于多人的现实场景中时,有效避免了其他用户误触发对视频播放的控制,提升了用户的视频观看体验。
请参阅图11,图11示出了本申请又另一个实施例提供的视频播放的控制方法的流程示意图。该视频播放的控制方法应用于上述增强现实设备,该增强现实设备包括图像采集模块,下面将针对图11所示的流程进行详细的阐述,所述视频播放的控制方法具体可以包括以下步骤:
步骤S510:当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景。
步骤S520:如果所述当前场景为目标场景时,确定是否检测到控制触发指令。
在本申请实施例中,考虑到用户不会一直进行播放控制,而如果增强现实设备一直采集区域图像进行手势信息的识别,会带来增强现实设备较大的功耗。因此,可以设置控制触发指令来触发手势控制视频播放的过程。具体地,增强现实设备可以实时的确定是否检测到控制触发指令,该控制触发指令用于触发手势控制视频播放的过程。如果检测到该控制触发指令,则后续可以采集区域图像,手势信息识别,手势信息的匹配,以及视频播放的控制等过程,也就是步骤S530至步骤S580的过程。
在一些实施方式中,可以用户可以通过眼部的动作,来输入控制触发指令。具体地,增强现实设备可以获取用户的眼部图像,根据然后眼部图像,确定用户的眼部动作,在检测到用户的眼部动作为预设动作时,确定检测到用户输入的控制触发指令,在检测到用户的眼部动作不为预设动作时,确定未检测到用户输入的控制触发指令。其中,预设动作可以为眨眼动作、指定次数的眨眼动作、挤眼动作等,在此不做限定。
在一些实施方式中,用户也可以通过晃动增强现实设备来输入控制触发指令。例如,增强现实设备为头戴显示设备时,可以获取头戴式显示设备的晃动参数,如果晃动参数满足预设参数条件,则确定检测到用户输入的控制触发指令,如果晃动参数不满足预设参数条件,则确定未检测到用户输入的控制触发指令。其中,晃动参数可以根据头戴显示装置检测的姿态获得,晃动参数可以包括晃动的方向、频率、幅度等。预设参数条件可以包括:晃动方向为指定方向、晃动频率大于指定频率以及晃动幅度大于指定幅度中的至少一种,也就是说,可以为以上三种条件中的任意一个,也可以为任意两个条件的组合,也可以为以上三个条件的组合。
当然,具体的触发控制指令可以不作为限定,例如也还可以是通过增强现实设备上的按键来输入触发控制指令,也还可以通过语音指令来输入触发控制指令等。
步骤S530:在检测到控制触发指令时,通过所述图像采集模块获取目标区域的区域图像。
在本申请实施例中,步骤S530可以参阅前述实施例的内容,在此不再赘述。
步骤S540:获取所述区域图像中的手部对应的手部特征。
在本申请实施例中,用户在通过增强现实设备观看视频时,可能所处的现实场景中会存在多人,此时,可能其他人的手部也会出现在设置的目标区域内,因此可能会存在造成误触发对视频播放的控制的情况发生。因此增强现实设备可以先根据手部特征,来确定当前目标区域的手部是否为使用者的手部。手部特征可以为手部的生物特征,生物特征可以包括掌纹信息、手掌形状、手掌大小、手指形状、手指大小、手部肤色、手部纹理、手部的静脉分布等。可以理解的,不同用户的手部的生物特征通常不同,因此可以依据手部的生物特征来区分不同用户的手部。
步骤S550:将所述手部特征与预设手部特征进行匹配,获得匹配结果。
在本申请实施例中,增强现实设备在获得手部特征之后,可以将获取到的手部特征与预设手部特征进行匹配。其中,预设手部特征可以为预先设置的增强现实设备的使用者的手部的生物特征。也就是说,当获取的手部特征与预设手部特征匹配时,则表示该手部为使用者的手部。在将获取到的手部特征与预设手部特征进行匹配时,可以计算获取到的手部特征与预设手部特征之间的相似度,并将计算得到的相似度作为匹配结果。
在一些实施方式中,预设手部特征可以预先存储于电子设备,电子设备在每次获取到手部特征之后,可以将获取到的手部特征与存储的预设手部特征进行匹配,进而获得匹配结果
步骤S560:如果所述匹配结果满足预设匹配条件,识别所述区域图像中的手势信息。
在本申请实施例中,增强现实设备在获取到手部特征与预设手部特征的匹配结果之后,可以确定匹配结果是否满足预设匹配条件。其中,预设匹配条件可以为获取到的手部特征与预设手部特征的相似度大于指定相似度,指定相似度可以不作为限定,例如,指定相似度可以为90%,也可以为95%等。可以理解的,如果匹配结果满足预设匹配条件,则表示该手部为使用者的手部;如果匹配结果不满足预设匹配条件,则表示该手部不为使用者的手部。因此,如果获得的匹配结果满足预设匹配条件,则增强现实设备可以执行识别区域图像中的手势信息。
步骤S570:在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配。
步骤S580:当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
在本申请实施例中,步骤S570及步骤S580可以参阅前述实施例的内容,在此不再赘述。
需要说明的是,本申请实施例中的内容也可以同样适用于其他实施例中。
本申请实施例提供的视频播放的控制方法,可以实现增强现实设备播放视频时,如果所处的当前场景为目标场景,且检测到控制触发指令时,才执行通过图像采集模块获取目标区域的区域图像,并进行后续的手势信息的识别、匹配等过程,可以有效的节省增强现实设备的功耗。另外,在识别得到手势信息之后,通过手部特征的匹配,当手部特征与预设手部特征匹配时,才执行手势的识别、手势的匹配以及播放控制等过程,可以有效避免其他用户误触发对视频播放的控制的情况发生,也能进一步的节省增强现实设备的功耗。
请参阅图12,其示出了本申请实施例提供的一种视频播放的控制装置400的结构框图。该视频播放的控制装置400应用上述的增强现实设备,该增强现实设备包括图像采集模块。该视频播放的控制装置400包括:场景识别模块410、图像获取模块420、手势识别模块430、手势匹配模块440以及播放控制模块450。其中,所述场景识别模块410用于当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景;所述图像获取模块420用于如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景;所述手势识别模块430用于识别所述区域图像中的手势信息;所述手势匹配模块440用于在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配;所述播放控制模块440用于当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
在一些实施方式中,所述目标区域可以包括多个子区域。播放控制模块450可以包括:子区域确定单元、第一操作确定单元以及第一操作执行单元。其中,子区域确定单元用于当识别出到的手势信息与所述多种手势中的目标手势的手势信息匹配时,确定所述手势信息对应的手部所在的目标子区域;第一操作确定单元用于根据所述目标子区域,确定与所述目标手势对应的播放控制操作;第一操作执行单元用于对所述视频的播放进行所述播放控制操作。
在该实施方式中,第一操作确定单元可以包括:集合获取子单元以及操作确定子单元。其中,集合获取子单元用于根据不同子区域与控制操作集合的对应关系,获取所述目标子区域对应的控制操作集合;操作确定子单元用于根据所述目标子区域对应的控制操作集合,确定与所述目标手势对应的播放控制操作。
在一些实施方式中,当所述识别到的手势信息包括多个手势对应的手势信息时,手势匹配模块可以具体用于:将所述多个手势对应的手势信息中的每个手势信息与预先设置的多种手势的手势信息进行匹配。播放控制模块450可以包括:手势确定单元、第二操作确定单元以及第二操作执行单元。其中,手势确定单元用于当识别到的多个手势对应的手势信息中存在至少两个手势的手势信息与所述多种手势中的其中一个手势的手势信息匹配时,从所述至少两个手势中获取指定手势;第二操作确定单元用于根据所述指定手势的手势信息匹配的手势信息所对应的目标手势,确定对应的播放控制操作;第二操作执行单元用于对所述视频的播放进行所述播放控制操作。
在该实施方式中,第二操作确定单元可以包括:距离确定子单元以及手势选取子单元。其中,距离确定子单元用于分别确定所述至少两个手势中每个手势对应的手部与所述图像采集模块之间的距离;手势选取子单元用于根据每个手势对应的手部对应的所述距离,从所述至少两个手势中确定所述距离满足设定距离条件的至少一个手部对应的手势,作为指定手势。
进一步地,所述设定距离条件包括:
手部距离所述图像采集模块的距离最小;或者
手部距离所述图像采集模块的距离小于预设距离。
在一些实施方式中,播放控制模块450也可以包括:手势检测单元以及第三控制执行单元。其中,手势检测单元用于识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,连续检测所述手势信息对应的手部的手势动作,获得连续的多个手势;第三控制执行单元用于当所述多个手势构成的手势组合与所述目标手势对应的手势组合匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
在一些实施方式中,图像获取模块420可以包括:指令判断单元以及三维信息获取单元。其中,指令判断单元用于如果所述当前场景为目标场景时,确定是否检测到控制触发指令;三维信息获取单元用于在检测到控制触发指令时,通过所述图像采集模块获取目标区域的区域图像。
在一些实施方式中,图像获取模块420可以包括:范围确定单元、区域获取单元以及信息采集单元。其中,范围确定单元用于获取用户的视野范围;区域获取单元用于确定所述视野范围以外的指定区域作为目标区域;信息采集单元用于通过所述图像采集模块获取所述目标区域的区域图像。
在一些实施方式中,该视频播放的控制装置400还可以包括:特征获取模块以及特征匹配模块。特征获取模块用于在所述识别区域图像中的手势信息之前,获取所述区域图像中的手部对应的手部特征;特征匹配模块用于将所述手部特征与预设手部特征进行匹配,获得匹配结果;如果所述匹配结果满足预设匹配条件,则手势识别模块420执行识别所述区域图像中的手势信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上所述,本申请提供的方案,当增强现实设备播放视频时,识别增强现实设备所处的当前场景,如果该当前场景为目标场景时,通过增强现实设备的图像采集模块获取目标区域的区域图像,该目标场景为通过手势控制视频播放的场景,然后识别该区域图像中的手势信息,在识别到该区域图像中的手势信息,再将识别到的手势信息与多种手势中的手势信息进行匹配,当识别到的手势信息与目标手势的手势信息匹配时,对当前视频的播放进行目标手势对应的播放控制操作,从而可以实现用户在利用增强现实设备观看视频时,如果增强现实设备处于通过手势控制播放的场景,可以通过在目标区域内做出相应的手势,即可实现对视频播放的相应控制,不需要用户进行过多的操作,方便了用户对视频播放的控制需求,提升了用户体验。
请参考图13,其示出了本申请实施例提供的一种增强现实设备的结构框图。该增强现实设备100可以是AR眼镜、AR头盔等能够运行应用程序的电子设备。本申请中的增强现实设备100可以包括一个或多个如下部件:处理器101、存储器102以及图像采集模块103,存储器102中可存储有一个或多个计算机程序,计算机程序可被配置为由一个或多个处理器101执行,以用于执行如前述方法实施例所描述的方法。
处理器101可以包括一个或者多个处理核。处理器101利用各种接口和线路连接整个增强现实设备100内的各个部分,通过运行或执行存储在存储器320内的指令、程序、代码集或指令集,以及调用存储在存储器102内的数据,执行增强现实设备100的各种功能和处理数据。可选地,处理器101可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器101可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器101中,单独通过一块通信芯片进行实现。
存储器102可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储增强现实设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
在本申请实施例中,图像采集模块103用于采集用的手部的图像。图像采集模块104可以为深度相机,也可以是红外摄像头,也可以是彩色摄像头,具体的图像采集模块在本申请实施例中并不作为限定。
请参考图14,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种视频播放的控制方法,其特征在于,应用于增强现实设备,所述增强现实设备包括图像采集模块,所述方法包括:
当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景;
如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景;
识别所述区域图像中的手势信息;
在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配;
当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
2.根据权利要求1所述的方法,其特征在于,所述目标区域包括多个子区域,所述当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作,包括:
当识别出到的手势信息与所述多种手势中的目标手势的手势信息匹配时,确定所述手势信息对应的手部所在的目标子区域;
根据所述目标子区域,确定与所述目标手势对应的播放控制操作;
对所述视频的播放进行所述播放控制操作。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标子区域,确定与所述目标手势对应的播放控制操作,包括:
根据不同子区域与控制操作集合的对应关系,获取所述目标子区域对应的控制操作集合;
根据所述目标子区域对应的控制操作集合,确定与所述目标手势对应的播放控制操作。
4.根据权利要求1所述的方法,其特征在于,当所述识别到的手势信息包括多个手势对应的手势信息时,所述将识别到的手势信息与预先设置的多种手势的手势信息进行匹配,包括:
将所述多个手势对应的手势信息中的每个手势信息与预先设置的多种手势的手势信息进行匹配;
所述当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作,包括:
当识别到的多个手势对应的手势信息中存在至少两个手势的手势信息与所述多种手势中的其中一个手势的手势信息匹配时,从所述至少两个手势中获取指定手势;
根据所述指定手势的手势信息匹配的手势信息所对应的目标手势,确定对应的播放控制操作;
对所述视频的播放进行所述播放控制操作。
5.根据权利要求4所述的方法,其特征在于,所述从所述至少两个手势中获取指定手势,包括:
分别确定所述至少两个手势中每个手势对应的手部与所述图像采集模块之间的距离;
根据每个手势对应的手部对应的所述距离,从所述至少两个手势中确定所述距离满足设定距离条件的至少一个手部对应的手势,作为指定手势。
6.根据权利要求5所述的方法,其特征在于,所述设定距离条件包括:
手部距离所述图像采集模块的距离最小;或者
手部距离所述图像采集模块的距离小于预设距离。
7.根据权利要求1所述的方法,其特征在于,所述当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作,包括:
当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,连续检测所述手势信息对应的手部的手势动作,获得连续的多个手势;
当所述多个手势构成的手势组合与所述目标手势对应的手势组合匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,包括:
如果所述当前场景为目标场景时,确定是否检测到控制触发指令;
在检测到控制触发指令时,通过所述图像采集模块获取目标区域的区域图像。
9.根据权利要求1-7任一项所述的方法,其特征在于,所述通过所述图像采集模块获取目标区域的区域图像,包括:
获取用户的视野范围;
确定所述视野范围以外的指定区域作为目标区域;
通过所述图像采集模块获取所述目标区域的区域图像。
10.根据权利要求1-7任一项所述的方法,其特征在于,在所述识别所述区域图像中的手势信息之前,所述方法还包括:
获取所述区域图像中的手部对应的手部特征;
将所述手部特征与预设手部特征进行匹配,获得匹配结果;
如果所述匹配结果满足预设匹配条件,则执行识别所述区域图像中的手势信息。
11.一种视频播放的控制装置,其特征在于,应用于增强现实设备,所述增强现实设备包括图像采集模块,所述装置包括:场景识别模块、图像获取模块、手势识别模块、手势匹配模块以及播放控制模块,其中,
所述场景识别模块用于当所述增强现实设备播放视频时,识别所述增强现实设备所处的当前场景;
所述图像获取模块用于如果所述当前场景为目标场景时,通过所述图像采集模块获取目标区域的区域图像,所述目标场景为通过手势控制视频播放的场景;
所述手势识别模块用于识别所述区域图像中的手势信息;
所述手势匹配模块用于在识别到所述区域图像中的手势信息时,将识别到的手势信息与预先设置的多种手势的手势信息进行匹配;
所述播放控制模块用于当识别到的手势信息与所述多种手势中的目标手势的手势信息匹配时,对所述视频的播放进行所述目标手势对应的播放控制操作。
12.一种增强现实设备,其特征在于,包括:
一个或多个处理器;
存储器;
图像采集模块;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-10任一项所述的方法。
13.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。
CN202010374681.3A 2020-05-06 2020-05-06 视频播放的控制方法、装置、增强现实设备及存储介质 Active CN111580652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010374681.3A CN111580652B (zh) 2020-05-06 2020-05-06 视频播放的控制方法、装置、增强现实设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010374681.3A CN111580652B (zh) 2020-05-06 2020-05-06 视频播放的控制方法、装置、增强现实设备及存储介质

Publications (2)

Publication Number Publication Date
CN111580652A true CN111580652A (zh) 2020-08-25
CN111580652B CN111580652B (zh) 2024-01-16

Family

ID=72126292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010374681.3A Active CN111580652B (zh) 2020-05-06 2020-05-06 视频播放的控制方法、装置、增强现实设备及存储介质

Country Status (1)

Country Link
CN (1) CN111580652B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672185A (zh) * 2020-12-18 2021-04-16 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
CN112686169A (zh) * 2020-12-31 2021-04-20 深圳市火乐科技发展有限公司 手势识别控制方法、装置、电子设备及存储介质
CN112905003A (zh) * 2021-01-21 2021-06-04 浙江吉利控股集团有限公司 一种智能座舱手势控制方法、装置和存储介质
CN113010018A (zh) * 2021-04-20 2021-06-22 歌尔股份有限公司 交互控制方法、终端设备及存储介质
CN114650443A (zh) * 2020-12-18 2022-06-21 广州视享科技有限公司 头戴式显示设备的播放方法、装置以及头戴式显示设备
CN114780010A (zh) * 2021-02-08 2022-07-22 海信视像科技股份有限公司 一种显示设备及其控制方法
WO2022198819A1 (zh) * 2021-03-22 2022-09-29 北京市商汤科技开发有限公司 基于图像识别的设备控制方法及装置、电子设备及计算机可读存储介质
CN115334274A (zh) * 2022-08-17 2022-11-11 上海疆通科技有限公司 一种基于增强现实的远程协助的方法及装置
CN115499580A (zh) * 2022-08-15 2022-12-20 珠海视熙科技有限公司 多模式融合的智能取景方法、装置及摄像设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
US20170185161A1 (en) * 2010-06-17 2017-06-29 Apple Inc. Gesture Based User Interface
KR20170094574A (ko) * 2016-02-11 2017-08-21 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스
CN107977070A (zh) * 2016-10-25 2018-05-01 中兴通讯股份有限公司 一种手势操控虚拟现实视频的方法、装置和系统
CN109828660A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 一种基于增强现实的控制应用操作的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170185161A1 (en) * 2010-06-17 2017-06-29 Apple Inc. Gesture Based User Interface
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
KR20170094574A (ko) * 2016-02-11 2017-08-21 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN107977070A (zh) * 2016-10-25 2018-05-01 中兴通讯股份有限公司 一种手势操控虚拟现实视频的方法、装置和系统
CN109828660A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 一种基于增强现实的控制应用操作的方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672185A (zh) * 2020-12-18 2021-04-16 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
CN114650443A (zh) * 2020-12-18 2022-06-21 广州视享科技有限公司 头戴式显示设备的播放方法、装置以及头戴式显示设备
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
CN114650443B (zh) * 2020-12-18 2024-04-19 广州视享科技有限公司 头戴式显示设备的播放方法、装置以及头戴式显示设备
CN112686169A (zh) * 2020-12-31 2021-04-20 深圳市火乐科技发展有限公司 手势识别控制方法、装置、电子设备及存储介质
CN112905003A (zh) * 2021-01-21 2021-06-04 浙江吉利控股集团有限公司 一种智能座舱手势控制方法、装置和存储介质
CN114780010A (zh) * 2021-02-08 2022-07-22 海信视像科技股份有限公司 一种显示设备及其控制方法
WO2022198819A1 (zh) * 2021-03-22 2022-09-29 北京市商汤科技开发有限公司 基于图像识别的设备控制方法及装置、电子设备及计算机可读存储介质
CN113010018A (zh) * 2021-04-20 2021-06-22 歌尔股份有限公司 交互控制方法、终端设备及存储介质
CN115499580A (zh) * 2022-08-15 2022-12-20 珠海视熙科技有限公司 多模式融合的智能取景方法、装置及摄像设备
CN115499580B (zh) * 2022-08-15 2023-09-19 珠海视熙科技有限公司 多模式融合的智能取景方法、装置及摄像设备
CN115334274A (zh) * 2022-08-17 2022-11-11 上海疆通科技有限公司 一种基于增强现实的远程协助的方法及装置

Also Published As

Publication number Publication date
CN111580652B (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
CN111580652B (zh) 视频播放的控制方法、装置、增强现实设备及存储介质
JP7137804B2 (ja) ジェスチャベースインタラクションのための方法およびシステム
CN108885533B (zh) 组合虚拟现实和增强现实
US10831278B2 (en) Display with built in 3D sensing capability and gesture control of tv
US20180224948A1 (en) Controlling a computing-based device using gestures
US9703940B2 (en) Managed biometric identity
US9069381B2 (en) Interacting with a computer based application
US20170192500A1 (en) Method and electronic device for controlling terminal according to eye action
KR20200020960A (ko) 이미지 처리 방법 및 장치, 및 저장 매체
JP2020530631A (ja) インタラクション位置決定方法、システム、記憶媒体、およびスマートデバイス
WO2019218880A1 (zh) 识别交互方法、装置、存储介质及终端设备
US20110107216A1 (en) Gesture-based user interface
US20140068526A1 (en) Method and apparatus for user interaction
CN110119700B (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN111045511B (zh) 基于手势的操控方法及终端设备
CN111147880A (zh) 视频直播的互动方法、装置、系统、电子设备及存储介质
CN110942501B (zh) 虚拟形象切换方法、装置、电子设备及存储介质
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
US12034996B2 (en) Video playing method, apparatus and device, storage medium, and program product
CN111273777A (zh) 虚拟内容的控制方法、装置、电子设备及存储介质
WO2014194148A2 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
US20150185829A1 (en) Method and apparatus for providing hand gesture-based interaction with augmented reality applications
EP2939411B1 (en) Image capture
US11169603B2 (en) Electronic apparatus and method for recognizing view angle of displayed screen thereof
CN111079662A (zh) 一种人物识别方法、装置、机器可读介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant