CN111078011A - 手势控制方法、装置、计算机可读存储介质及电子设备 - Google Patents

手势控制方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN111078011A
CN111078011A CN201911268123.2A CN201911268123A CN111078011A CN 111078011 A CN111078011 A CN 111078011A CN 201911268123 A CN201911268123 A CN 201911268123A CN 111078011 A CN111078011 A CN 111078011A
Authority
CN
China
Prior art keywords
user gesture
live
gesture
setting item
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911268123.2A
Other languages
English (en)
Inventor
庄宇轩
孙静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201911268123.2A priority Critical patent/CN111078011A/zh
Publication of CN111078011A publication Critical patent/CN111078011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种手势控制方法、手势控制装置、计算机可读存储介质及电子设备;涉及人机交互技术领域。该手势控制方法包括:实时采集直播视频,如果所述直播视频中包含第一用户手势,则在所述主播端显示直播功能设置页面;识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项;识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。本公开中的手势控制方法能够在一定程度上克服因主播调整直播设备而导致的画面不稳定的问题,进而提升直播画面的稳定性。

Description

手势控制方法、装置、计算机可读存储介质及电子设备
技术领域
本公开涉及人机交互技术领域,具体而言,涉及一种手势控制方法、手势控制装置、计算机可读存储介质及电子设备。
背景技术
随着在线网络直播技术的快速发展,参与直播的用户规模越来越庞大,直播场景已经扩散到人们生活中的各行各业,例如娱乐、工作、学习等,成为了非常重要的媒体形式。
目前,在网络直播平台上,主播通常需要使用独立的信号采集设备采集音视频信号,从而发布至网络供人们观看。例如,主播可以利用手机、电脑或者摄像设备录制视频,并通过手机或者电脑的显示屏幕实时观看视频,与用户进行互动。然而,在该直播场景下,主播与直播设备相隔一定的距离,如果需要对摄像角度进行调整,则需要将直播设备取下,再进行相关设置,导致直播画面剧烈晃动,影响用户的观看体验。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种手势控制方法、手势控制装置、计算机可读存储介质及电子设备,应用于直播平台中的主播端,能够在一定程度上克服直播设备不易调整的问题,从而提升直播画面的稳定性。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种手势控制方法,应用于直播平台中的主播端,该方法包括:
实时采集直播视频,如果所述直播视频中包含第一用户手势,则在所述主播端显示直播功能设置页面;
识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项;
识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。
在本公开的一种示例性实施例中,所述识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项,包括:
将所述第二用户手势对应的目标图像与所述直播功能设置页面进行映射,以确定所述第二用户手势选中的目标设置项,其中,所述目标图像包括在显示所述直播功能设置页面之后采集的直播视频中包含的图像。
在本公开的一种示例性实施例中,确定所述第二用户手势选中的目标设置项之后,还包括:
在所述直播功能设置页面中,将所述目标设置项进行区别显示。
在本公开的一种示例性实施例中,所述将所述手势图像与所述直播功能设置页面进行映射,以确定所述第二用户手势选中的目标设置项,包括:
将所述目标图像与所述直播功能设置页面进行映射,确定所述第二用户手势对应的设置项;
将所述目标图像之后的多帧图像分别与所述直播功能设置页面进行映射,如果所述多帧图像中的第二用户手势均对应所述设置项,则将所述设置项作为目标设置项。
在本公开的一种示例性实施例中,根据所述第二用户手势确定所述直播功能设置页面中的目标设置项之后,还包括:
显示所述目标设置项的调整页面;
在所述调整页面中显示提示信息,以提示用户通过所述第三用户手势调整所述目标设置项的设置值。
在本公开的一种示例性实施例中,所述识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值,包括:
通过所述目标设置项的调整页面显示之后的多帧图像,确定所述第三用户手势的移动方向;
如果所述第三用户手势的移动方向为第一方向,则将所述目标设置项的设置值增大;
如果所述第三用户手势的移动方向为第二方向,则将所述目标设置项的设置值减小。
在本公开的一种示例性实施例中,所述实时采集直播视频,包括:
通过深度传感摄像头采集多帧图像,以获取所述直播视频;
通过各帧图像中包含的深度数据确定所述各帧图像中是否包含所述第一用户手势。
根据本公开的第二方面,提供一种手势控制装置,应用于直播平台中的主播端,该装置包括图像采集模块、设置项确定模块以及取值模块,其中:
图像采集模块,用于实时采集直播视频,如果所述直播视频中包含第一用户手势,则在所述主播端显示直播功能设置页面;
设置项确定模块,用于识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项;
取值模块,用于识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。
在本公开的一种示例性实施例中,设置项确定模块可以具体用于将所述第二用户手势对应的目标图像与所述直播功能设置页面进行映射,以确定所述第二用户手势选中的目标设置项,其中,所述目标图像包括在显示所述直播功能设置页面之后采集的直播视频中包含的图像。
在本公开的一种示例性实施例中,所述装置还包括区别显示模块,用于在所述直播功能设置页面中,将所述目标设置项进行区别显示。
在本公开的一种示例性实施方式中,设置项确定模块可以包括手势映射单元和目标设置项确定单元,其中:
手势映射单元,用于将所述目标图像与所述直播功能设置页面进行映射,确定所述第二用户手势对应的设置项。
目标设置项确定单元,用于将所述目标图像之后的多帧图像分别与所述直播功能设置页面进行映射,如果所述多帧图像中的第二用户手势均对应所述设置项,则将所述设置项作为目标设置项。
在本公开的一种示例性实施方式中,该装置还包括调整页面显示模块和提示模块,其中:
调整页面显示模块,用于显示所述目标设置项的调整页面。
提示模块,用于在所述调整页面中显示提示信息,以提示用户通过所述第三用户手势调整所述目标设置项的设置值。
在本公开的一种示例性实施方式中,取值模块可以包括移动方向确定单元、数值增大单元和数值减小单元,其中:
移动方向确定单元,用于通过所述目标设置项的调整页面显示之后的多帧图像,确定所述第三用户手势的移动方向。
数值增大单元,用于如果所述第三用户手势的移动方向为第一方向,则将所述目标设置项的设置值增大。
数值减小单元,用于如果所述第三用户手势的移动方向为第二方向,则将所述目标设置项的设置值减小。
在本公开的一种示例性实施方式中,图像采集模块可以包括深度数据获取单元和手势识别单元,其中:
深度数据获取单元,用于通过深度传感摄像头采集多帧图像,以获取所述直播视频。
手势识别单元,用于通过各帧图像中包含的深度数据确定所述各帧图像中是否包含所述第一用户手势。
根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果:
在本公开的一示例实施方式所提供的手势控制方法中,一方面,通过采集到的直播图像可以识别用户手势,无需用户手指在屏幕上操作,能够避免设备被移动导致画面不稳定的问题,从而可以提高直播画面的稳定性,给用户带来更好的观看体验。另一方面,当需要调整直播平台中的各种直播功能时,只需要隔空作出用户手势,通过采集直播图像对该用户手势进行识别,从而对各设置项进行调整,操作便捷,能够提高交互效率,并且可以丰富交互方式。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开的一个实施例的手势控制方法的系统架构图;
图2示意性示出了根据本公开的一个实施例的手势控制方法的流程图;
图3示意性示出了根据本公开的一个实施例的直播功能设置页面的显示效果图;
图4示意性示出了根据本公开的一个实施例的目标设置项的区别显示效果图;
图5示意性示出了根据本公开的一个实施例的手势控制方法的流程图;
图6示意性示出了根据本公开的另一个实施例的手势控制方法的流程图;
图7示意性示出了根据本公开的一个实施例的调整页面的显示效果图;
图8示意性示出了根据本公开的一个实施例的手势控制方法的流程图;
图9示意性示出了根据本公开的一个实施例的手势控制装置的框图;
图10示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
以下对本公开实施例的技术方案进行详细阐述:
首先,本公开的示例性实施例中提供一种用于实现手势控制方法的系统架构。参考图1所示,该系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送请求指令等。终端设备101、102、103上可以安装有直播客户端,从而实现该手势控制方法,还可以安装其他客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。主播可以使用终端设备101、102、103进行直播,此时终端设备101、102、103可以作为主播端,而用户也可以利用终端设备101、102、103观看直播,因此,终端设备可以作为用户端。举例而言,主播可以使用终端设备101上的摄像头采集直播视频,用户可以在终端设备102、103中观看该主播录制的直播视频。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的直播平台提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的信息查询请求等数据进行分析处理,并将处理结果(例如直播视频信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本公开实施方式所提供的手势控制方法可以由服务器执行,相应地,手势控制装置设置于服务器中。然而,本领域技术人员可以理解的是,本实施方式提供的手势控制方法也可以由终端设备执行,相应地,手势控制装置也可以设置于终端设备中;本实施方式提供的手势控制方法的不同步骤还可以由服务器和终端设备分别执行,相应地,手势控制装置的不同模块还可以分别设置于服务器和终端设备中,本实施方式对此不做特殊限定。
基于上述系统架构,本示例实施方式提供一种手势控制方法。参考图2所示,该手势控制方法可以包括以下步骤:
步骤S210:从采集到的直播图像中识别第一用户手势,如果所述第一用户手势与唤起手势匹配,则显示直播功能设置页面。
步骤S220:识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项。
步骤S230:识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。
在本公开的一示例实施方式所提供的手势控制方法中,一方面,通过采集到的直播图像可以识别用户手势,无需用户手指在屏幕上操作,能够避免设备被移动导致画面不稳定的问题,从而可以提高直播画面的稳定性,给用户带来更好的观看体验。另一方面,当需要调整直播平台中的各种直播功能时,只需要隔空作出用户手势,通过采集直播图像对该用户手势进行识别,从而对各设置项进行调整,操作便捷,能够提高交互效率,并且可以丰富交互方式。
下面,对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S210中,实时采集直播视频,如果所述直播视频中包含第一用户手势,则在所述主播端显示直播功能设置页面。
其中,直播视频指的是直播过程中由主播端的摄像头采集到的视频数据。该摄像头可以包括主播使用的终端设备(如手机、电脑等)上的摄像头,也可以包括与该终端设备相连的独立摄像头。该终端设备上可以安装一直播平台,由于直播过程是动态的,因此摄像头可以持续不断地采集多帧图像构成视频,将多帧图像作为数据包上传至服务器,通过服务器发送给各个用户端,从而可以在各个用户端播放直播视频,供用户观看。
在采集到直播视频后,可以对直播视频进行识别,识别出直播视频中包含的第一用户手势。该第一用户手势可以为主播的肢体动作,具体可以包括主播手臂的动作,例如手臂转动一定角度等,也可以包括手掌的动作,例如手指张开、手指收缩等。第一用户手势可以为直播功能设置页面的触发手势,根据实际需求可以预先设置,例如,五指握拳、五指握拳画圈等,本实施方式对此不做特殊限定。
如果直播视频中检测到该第一手势,则呼出直播功能设置页面。直播功能设置页面中可以包括多个设置项,每个设置项可以对应一功能,例如,该功能设置页面中可以调整焦距、传输码率设置、权限设置等,还可以包括其他设置项,例如画质设置、滤镜设置、美颜设置等,本实施方式对此不做特殊限定。
本实施方式中,可以利用直播视频中包含的多帧图像对用户手势进行识别,根据播放需求对帧率的要求,每秒视频中包括的图像的数量可以不同。具体的,可以每采集一定数量帧图像进行一次识别,例如,每50帧图像进行识别,从而识别出这50帧图像中包含的用户手势;也可以每间隔一段时间将该段时间内的直播视频包含的多帧图像进行识别,从而在直播过程中识别出用户手势;还可以对每一帧图像分别进行实时识别,即,采集到图像后即开始进行识别。识别出直播视频中的用户手势时,可以将该用户手势与第一用户手势进行匹配,如果能够互相匹配,则可以确定直播视频中包含第一用户手势,则在主播所使用的终端设备的屏幕中显示直播功能设置页面。可以理解的是,用户端能够观看由主播端摄像头记录的视频数据,而对于主播端的显示界面可以不与用户进行共享,因此,在用户端对该直播功能设置页面不进行显示。
在步骤S220中,识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项。
其中,第二用户手势也可以根据实际需要预先设置,例如,可以为单指指向、双指指向等,也可以为其他手势,例如,手掌指向等,本实施方式对此不做特殊限定。在直播过程中,主播端的直播视频不断向服务器上传,以供服务器转发至各个用户端,因此,在识别第一用户手势之后,还可以在直播功能设置页面显示之后,继续采集主播端的直播视频,并从该直播视频中识别第二用户手势。
根据第二用户手势可以确定直播功能设备页面中的目标设置项。具体的,在识别出第二用户手势时,可以将包含第二用户手势的目标图像与直播功能设置页面进行映射,从而确定用户手势所指向的设置项,该设置项为第二用户手势选中的目标设置项。其中,目标图像可以包括在直播功能设置页面显示之后采集到的图像。根据采集到的目标图像的显示大小,以及直播功能设置页面的显示大小,可以对目标图像进行缩放,从而可以使得目标图像与直播功能设置页面的大小互相匹配,然后将目标图像映射到直播功能设置页面,可以确定第二手势所在的位置,该位置处的设置项即为目标设置项。举例而言,如果第二用户手势为单指指向,则可以将包含该单指指向手势的目标图像与直播功能设置页面进行映射,从而可以将该单指指向的位置处对应的设置项确定出来,从而得到目标设置项。
确定目标设置项之后,可以在直播功能设置页面中对该目标设置项进行区别显示,从而提示主播当前选中的设置项。举例而言,可以将目标设置项所对应的显示区域进行放大,或者将目标设置项进行高亮显示等,也可以通过其他区别显示方式显示,例如,将目标设置的名称进行放大、将目标设置项的显示颜色进行改变等,本实施方式对此不做特殊限定。
示例性的,在该直播功能设置页面中,多个设置项可以以阵列的方式排列,如图3所示。当确定目标设置项为功能1时,则可以将功能1对应的显示区域进行放大,并且将设置项的排列方式进行改变,如图4所示。可以理解的是,该目标设置项可以随着主播第二用户手势的改变而改变,也就是说,在确定目标设置项之后,可以继续采集直播视频,此时如果主播改变第二用户手势的位置,则可以重新确定一目标设置项,并将重新确定的目标设置项进行放大。
为了更准确的确定目标设置项,该方法可以包括步骤S501和步骤S502,如图5所示,其中:
在步骤S501中,将所述目标图像与所述直播功能设置页面进行映射,确定所述第二用户手势对应的设置项。将目标图像缩放为与直播功能设置页面相同大小之后,可以确定第二用户手势所在的位置处对应的设置项。该设置项可以进行区别显示,如果主播发现当前手势对应的设置项不是自己想选的,则主播可以随意更改该第二用户手势的位置,从而重新确定第二用户手势对应的设置项。
在步骤S502中,将所述目标图像之后的多帧图像分别与所述直播功能设置页面进行映射,如果所述多帧图像中的第二用户手势均对应所述设置项,则将所述设置项作为目标设置项。本实施方式中,如果第二用户手势的位置在预设时长内不发生改变,则可以确定该第二用户手势对应的设置项为主播最终确定的设置项,即目标设置项。例如,在主播作出第二用户手势之后,第二用户手势的位置处对应的设置项为“功能1”,并且该第二用户手势在该位置处停留预设时长,则该“功能1”为最终的目标设置项。本实施方式中,预设时长可以包括3秒、5秒,也可以包括2秒、6秒,本实施方式对此不做特殊限定。
在从目标图像中识别出第二用户手势时,可以对目标图像之后采集的每一帧图像均进行识别,判断第二用户手势是否发生变化,如果在预设时长内的多帧图像中,该第二用户手势均未发生变化,则可以确定第二用户手势对应的设置项为目标设置项。如果这多帧图像中第二用户手势发送变化,则重新识别第二用户手势,确定新的设置项。举例而言,如果预设时长为1秒,该时长范围内包括30帧图像,则在目标图像中识别出第二用户手势之后,再采集视频,并实时对采集到的每一帧图像进行识别,判断第二用户手势是否发生变化,如果识别的图像数量达到30帧,并且第二用户手势仍然没有发生变化,则可以最终确定该第二用户手势对应的目标设置项。
在步骤S230中,识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。
其中,第三用户手势为目标设置项的调整手势,可以包括向左移动、向右移动等,也可以包括其他手势,例如,向上移动、向下移动等,本实施方式对此不做特殊限定。设置值为设置项的具体的取值,不同的取值呈现的效果不同,例如,该设置项可以为音量设置,则不同的取值代表不同的音量大小。设置值可以包括多种类型的值,例如连续型、离散型等,因此可以根据设置项的取值情况确定设置项的第三用户手势。不同的设置项对应的第三用户手势可以不同,举例而言,设置项取值为离散型时,可以将取值进行列举,从而为每一取值确定一第三用户手势,即,第三用户手势可以包括多个不同的用户手势,例如,设置项为“画面设置”,其取值包括“超清、高清、标清”,对应的第三用户手势分别可以为“画圈、画曲线、画直线”。由于不同设置项对应的第三用户手势可以不同,为了是主播能够更快速确定设置值,可以对主播进行提示。该方法可以包括步骤S601和步骤S602,如图6所示,其中:
在步骤S601中,显示所述目标设置项的调整页面。确定目标设置项后可以将主播端的显示界面进行切换,将直播功能设置页面切换为目标设置项的调整页面;也可以将目标设置项的显示区域内的显示画面进行改变,在该显示区域内显示该调整页面。
在步骤S602中,在所述调整页面中显示提示信息,以提示用户通过所述第三用户手势调整所述目标设置项的设置值。该提示信息可以为手势信息,从而提醒主播采用该手势信息中的用户手势进行相应值的设置。该提示信息可以包括文字信息,也可以包括图像信息,例如该提示信息可以为“向右滑动”、“向左滑动”等,本实施方式对此不做特殊限定。显示该调整页面之后,继续采集图像,如果采集到的图像中检测到提示信息中包含的用户手势时,则可以对目标设置项的设置值进行确定。
示例性的,图7示出了该调整页面的显示效果。参考图7,如果设置项的设置值为连续型取值时,则第三用户手势可以为滑动手势,例如,左移、右移,通过这两种手势可以确定设置值。具体的,该方法可以包括步骤S801至步骤S803,如图8所示,其中:
在步骤S801中,通过所述目标设置项的调整页面显示之后的多帧图像,确定所述第三用户手势的移动方向。在调整页面触发之后采集到的多帧图像中,通过比较多帧图像中包含的第三用户手势,可以确定第三用户手势是否发生移动,并确定第三用户手势的移动方向。可以理解的是,该多帧图像按照直播视频的播放顺序排列,则将这多帧图像可以按排列顺序两两进行比较,从而确定第三用户手势的移动方向。首先比较前两帧,确定这两帧中后一帧图像中的第三用户手势的位置,相对于前一帧图像是否发送移动,如果未发生移动,则顺序移动两帧图像再次进行比较,如果能够确定第三用户手势发送移动,则可以确定其移动的方向。此外,本实施方式中,还可以每间隔一定数量帧图像进行比较,能够减少比较的次数,节省计算资源,提高计算效率。例如,每间隔8帧,则将第1帧与第10帧进行比较,第10帧再与第19帧进行比较等等。
在步骤S802中,如果所述第三用户手势的移动方向为第一方向,则将所述目标设置项的设置值增大。其中,第一方向可以为向右、向左,也可以为向前、向后,还可以为其他方向,例如左前、右后等,本实施方式对此不做特殊限定。通过两帧图像的比较可以确定第三用户手势的移动方向,每比较一次可以确定一移动方向,如果该移动方向为第一方向,则对设置值进行增大。进行多次比较如果移动方向均为第一方向,则可以对设置值进行多次增大。
在步骤S803中,如果所述第三用户手势的移动方向为第二方向,则将所述目标设置项的设置值减小。同理的,可以将设置值进行多次减小。例如,第三用户手势为滑动,如果当前滑动的方向为向右,则可以将设置项的设置值进行增大,如果检测到当前滑动方向为向左,则可以将设置值进行减小,如果再次确定滑动方向为向左,则将设置值再次进行减小,直到第三用户手势消失则停止调整设置值。如图7所示,本实施方式中,为了更好的提示主播,该调整页面中还可以显示该设置值,主播可以根据屏幕上的提示,将设置值设置为自己想要的数值,从而完成对某一功能的设置。
需要理解的是,本实施方式中的第一用户手势、第二用户手势以及第三用户手势可以是主播的肢体动作,无需主播与屏幕进行接触,或者与终端设备的其他部件进行接触。并且,本实施方式中可以通过深度传感摄像头采集图像,从而得到多帧图像形成直播视频。并且,利用深度传感摄像头采集的图像中可以包括深度数据,以便于根据该深度数据确定图像中是否包含第一用户手势。本实施方式中,利用该深度数据可以从图像中分离出用户手势进行识别,一方面可以减少识别的特征量级,从而提高对用户手势的识别效率,另一方面可以提高识别的精确性。
进一步的,本示例实施方式中,还提供了一种手势控制装置,用于执行本公开上述的手势控制方法。该手势控制装置可以应用于一服务器或终端设备。
参考图9所示,该手势控制装置900可以包括:图像采集模块910、设置项确定模块920以及取值模块930,其中:
图像采集模块910,用于实时采集直播视频,如果所述直播视频中包含第一用户手势,则在所述主播端显示直播功能设置页面;
设置项确定模块920,用于识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项;
取值模块930,用于识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。
在本公开的一种示例性实施例中,设置项确定模块920可以具体用于将所述第二用户手势对应的目标图像与所述直播功能设置页面进行映射,以确定所述第二用户手势选中的目标设置项,其中,所述目标图像包括在显示所述直播功能设置页面之后采集的直播视频中包含的图像。
在本公开的一种示例性实施例中,所述装置还包括区别显示模块,用于在所述直播功能设置页面中,将所述目标设置项进行区别显示。
在本公开的一种示例性实施方式中,设置项确定模块920可以包括手势映射单元和目标设置项确定单元,其中:
手势映射单元,用于将所述目标图像与所述直播功能设置页面进行映射,确定所述第二用户手势对应的设置项。
目标设置项确定单元,用于将所述目标图像之后的多帧图像分别与所述直播功能设置页面进行映射,如果所述多帧图像中的第二用户手势均对应所述设置项,则将所述设置项作为目标设置项。
在本公开的一种示例性实施方式中,该装置还包括调整页面显示模块和提示模块,其中:
调整页面显示模块,用于显示所述目标设置项的调整页面。
提示模块,用于在所述调整页面中显示提示信息,以提示用户通过所述第三用户手势调整所述目标设置项的设置值。
在本公开的一种示例性实施方式中,取值模块930可以包括移动方向确定单元、数值增大单元和数值减小单元,其中:
移动方向确定单元,用于通过所述目标设置项的调整页面显示之后的多帧图像,确定所述第三用户手势的移动方向。
数值增大单元,用于如果所述第三用户手势的移动方向为第一方向,则将所述目标设置项的设置值增大。
数值减小单元,用于如果所述第三用户手势的移动方向为第二方向,则将所述目标设置项的设置值减小。
在本公开的一种示例性实施方式中,图像采集模块910可以包括深度数据获取单元和手势识别单元,其中:
深度数据获取单元,用于通过深度传感摄像头采集多帧图像,以获取所述直播视频。
手势识别单元,用于通过各帧图像中包含的深度数据确定所述各帧图像中是否包含所述第一用户手势。
由于本公开的示例实施例的手势控制装置的各个功能模块与上述手势控制方法的示例实施例的步骤对应,因此对于本公开装置实施例中未披露的细节,请参照本公开上述的手势控制方法的实施例。
图10示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图10示出的电子设备的计算机系统1000仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统1000包括中央处理单元(CPU)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的方法和装置中限定的各种功能。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图2和图5所示的各个步骤等。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种手势控制方法,应用于直播平台中的主播端,其特征在于,包括:
实时采集直播视频,如果所述直播视频中包含第一用户手势,则在所述主播端显示直播功能设置页面;
识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项;
识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。
2.根据权利要求1所述的方法,其特征在于,所述识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项,包括:
将所述第二用户手势对应的目标图像与所述直播功能设置页面进行映射,以确定所述第二用户手势选中的目标设置项,其中,所述目标图像包括在显示所述直播功能设置页面之后采集的直播视频中包含的图像。
3.根据权利要求2所述的方法,其特征在于,确定所述第二用户手势选中的目标设置项之后,还包括:
在所述直播功能设置页面中,将所述目标设置项进行区别显示。
4.根据权利要求2所述的方法,其特征在于,所述将所述手势图像与所述直播功能设置页面进行映射,以确定所述第二用户手势选中的目标设置项,包括:
将所述目标图像与所述直播功能设置页面进行映射,确定所述第二用户手势对应的设置项;
将所述目标图像之后的多帧图像分别与所述直播功能设置页面进行映射,如果所述多帧图像中的第二用户手势均对应所述设置项,则将所述设置项作为目标设置项。
5.根据权利要求1所述的方法,其特征在于,根据所述第二用户手势确定所述直播功能设置页面中的目标设置项之后,还包括:
显示所述目标设置项的调整页面;
在所述调整页面中显示提示信息,以提示用户通过所述第三用户手势调整所述目标设置项的设置值。
6.根据权利要求5所述的方法,其特征在于,所述识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值,包括:
通过所述目标设置项的调整页面显示之后的多帧图像,确定所述第三用户手势的移动方向;
如果所述第三用户手势的移动方向为第一方向,则将所述目标设置项的设置值增大;
如果所述第三用户手势的移动方向为第二方向,则将所述目标设置项的设置值减小。
7.根据权利要求1所述的方法,其特征在于,所述实时采集直播视频,包括:
通过深度传感摄像头采集多帧图像,以获取所述直播视频;
通过各帧图像中包含的深度数据确定所述各帧图像中是否包含所述第一用户手势。
8.一种手势控制装置,应用于直播平台中的主播端,其特征在于,包括:
图像采集模块,用于实时采集直播视频,如果所述直播视频中包含第一用户手势,则在所述主播端显示直播功能设置页面;
设置项确定模块,用于识别第二用户手势,根据所述第二用户手势在所述直播功能设置页面中确定目标设置项;
取值模块,用于识别第三用户手势,根据所述第三用户手势确定所述目标设置项的设置值。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。
CN201911268123.2A 2019-12-11 2019-12-11 手势控制方法、装置、计算机可读存储介质及电子设备 Pending CN111078011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911268123.2A CN111078011A (zh) 2019-12-11 2019-12-11 手势控制方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911268123.2A CN111078011A (zh) 2019-12-11 2019-12-11 手势控制方法、装置、计算机可读存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN111078011A true CN111078011A (zh) 2020-04-28

Family

ID=70313866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911268123.2A Pending CN111078011A (zh) 2019-12-11 2019-12-11 手势控制方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111078011A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380990A (zh) * 2020-11-13 2021-02-19 咪咕文化科技有限公司 图片调节方法、电子设备和可读存储介质
CN112770173A (zh) * 2021-01-28 2021-05-07 腾讯科技(深圳)有限公司 直播画面处理方法、装置、计算机设备及存储介质
CN114051172A (zh) * 2022-01-11 2022-02-15 阿里巴巴达摩院(杭州)科技有限公司 一种直播交互方法、装置、电子设备及计算机程序产品
CN114520928A (zh) * 2020-11-18 2022-05-20 北京字跳网络技术有限公司 显示信息生成方法、信息显示方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339125A (zh) * 2010-07-23 2012-02-01 夏普株式会社 信息设备及其控制方法和系统
US20130097565A1 (en) * 2011-10-17 2013-04-18 Microsoft Corporation Learning validation using gesture recognition
CN105892902A (zh) * 2015-12-11 2016-08-24 乐视网信息技术(北京)股份有限公司 一种移动设备直播应用的操作方法及移动客户端
CN106412706A (zh) * 2016-09-28 2017-02-15 北京小米移动软件有限公司 视频播放的控制方法、装置及其设备
CN107247536A (zh) * 2017-06-02 2017-10-13 武汉斗鱼网络科技有限公司 直播界面透明度的调整方法、存储介质、电子设备及系统
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备
CN110234015A (zh) * 2019-05-15 2019-09-13 广州视源电子科技股份有限公司 直播控制方法、装置、存储介质、终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339125A (zh) * 2010-07-23 2012-02-01 夏普株式会社 信息设备及其控制方法和系统
US20130097565A1 (en) * 2011-10-17 2013-04-18 Microsoft Corporation Learning validation using gesture recognition
CN105892902A (zh) * 2015-12-11 2016-08-24 乐视网信息技术(北京)股份有限公司 一种移动设备直播应用的操作方法及移动客户端
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备
CN106412706A (zh) * 2016-09-28 2017-02-15 北京小米移动软件有限公司 视频播放的控制方法、装置及其设备
CN107247536A (zh) * 2017-06-02 2017-10-13 武汉斗鱼网络科技有限公司 直播界面透明度的调整方法、存储介质、电子设备及系统
CN110234015A (zh) * 2019-05-15 2019-09-13 广州视源电子科技股份有限公司 直播控制方法、装置、存储介质、终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380990A (zh) * 2020-11-13 2021-02-19 咪咕文化科技有限公司 图片调节方法、电子设备和可读存储介质
CN114520928A (zh) * 2020-11-18 2022-05-20 北京字跳网络技术有限公司 显示信息生成方法、信息显示方法、装置和电子设备
CN114520928B (zh) * 2020-11-18 2024-01-26 北京字跳网络技术有限公司 显示信息生成方法、信息显示方法、装置和电子设备
CN112770173A (zh) * 2021-01-28 2021-05-07 腾讯科技(深圳)有限公司 直播画面处理方法、装置、计算机设备及存储介质
CN114051172A (zh) * 2022-01-11 2022-02-15 阿里巴巴达摩院(杭州)科技有限公司 一种直播交互方法、装置、电子设备及计算机程序产品
CN114051172B (zh) * 2022-01-11 2024-03-22 杭州阿里云飞天信息技术有限公司 一种直播交互方法、装置、电子设备及计算机程序产品

Similar Documents

Publication Publication Date Title
US11385778B2 (en) Inline message alert
CN109313812B (zh) 具有上下文增强的共享体验
KR20220130197A (ko) 촬영 방법, 장치, 전자설비 및 저장매체
CN111078011A (zh) 手势控制方法、装置、计算机可读存储介质及电子设备
JP6165846B2 (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
CN110688571A (zh) 一种列表流的实现方法、装置、电子设备及存储介质
US20220013026A1 (en) Method for video interaction and electronic device
US20200007948A1 (en) Video subtitle display method and apparatus
CN110782532B (zh) 图像生成方法、生成装置、电子设备及存储介质
CN112835484B (zh) 基于操作体的动态显示方法、装置、存储介质及电子设备
US12019669B2 (en) Method, apparatus, device, readable storage medium and product for media content processing
CN110868632B (zh) 视频处理方法、装置、存储介质及电子设备
WO2019119643A1 (zh) 移动直播的互动终端、方法及计算机可读存储介质
CN109521938B (zh) 数据评价信息的确定方法、装置、电子设备及存储介质
CN115379105B (zh) 视频拍摄方法、装置、电子设备和存储介质
CN114845152A (zh) 播放控件的显示方法、装置、电子设备及存储介质
CN112115341A (zh) 内容展示方法、装置、终端、服务器、系统及存储介质
CN108874141B (zh) 一种体感浏览方法和装置
CN111274925A (zh) 推荐视频的生成方法、装置、电子设备及计算机存储介质
CN107391661B (zh) 推荐词显示方法及装置
CN115225948A (zh) 直播间互动方法、装置、设备及介质
WO2016206468A1 (zh) 视频通讯图像的处理方法及装置
CN110769129B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111221455B (zh) 素材展示方法、装置、终端及存储介质
CN110263743B (zh) 用于识别图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination