CN106162369B - 一种实现虚拟场景中互动的方法、装置及系统 - Google Patents
一种实现虚拟场景中互动的方法、装置及系统 Download PDFInfo
- Publication number
- CN106162369B CN106162369B CN201610494996.5A CN201610494996A CN106162369B CN 106162369 B CN106162369 B CN 106162369B CN 201610494996 A CN201610494996 A CN 201610494996A CN 106162369 B CN106162369 B CN 106162369B
- Authority
- CN
- China
- Prior art keywords
- user
- spectators
- main broadcaster
- specified
- action data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种实现虚拟场景中互动的方法、装置及系统,属于网络技术领域。主播用户终端采集当前直播间中的主播用户图像和主播用户骨骼动作数据,并发送给服务器,指定观众用户终端采集该直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并发送给服务器,由服务器进行下发,该多个观众用户终端中的每个观众用户终端和该主播用户终端分别在该直播间的当前显示界面所显示的虚拟场景中显示主播用户图像和指定观众用户图像,在显示过程中,判断主播用户骨骼动作数据和指定观众用户骨骼动作数据是否满足指定动作模式,当主播用户骨骼动作数据和指定观众用户骨骼动作数据满足该指定动作模式时,触发对应的事件,增加了直播互动方式。
Description
技术领域
本发明涉及网络技术领域,特别涉及一种实现虚拟场景中互动的方法、装置及系统。
背景技术
随着网络技术的快速发展,出现了各种各样的网络直播平台,该网络直播平台可以提供诸如娱乐直播、游戏直播等之类的网络直播服务。通常情况下,该网络直播平台中包括有主播用户和观众用户,在主播用户进行网络直播的过程中,观众用户可以和该主播用户进行互动,例如,该观众用户可以为该主播用户赠送虚拟礼物等。
但是,在目前所提供的网络直播平台中,该观众用户与该主播用户之间只能进行一些简单的互动,即互动方式比较单一。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种实现虚拟场景中互动的方法、装置及系统。所述技术方案如下:
第一方面,提供了一种实现虚拟场景中互动的方法,所述方法应用于网络直播系统中,所述网络直播系统包括主播用户终端、服务器以及多个观众用户终端,所述多个观众用户终端包括指定观众用户终端;
所述主播用户终端采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据,并将所述主播用户图像和所述主播用户骨骼动作数据发送给服务器;
所述指定观众用户终端采集所述指定观众用户当前在所述直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并将所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述服务器,所述指定观众用户为所述直播间中的观众用户;
所述服务器接收所述主播用户终端采集的所述主播用户图像和所述主播用户骨骼动作数据,以及接收所述指定观众用户终端采集的所述指定观众用户图像和所述指定观众用户骨骼动作数据;
所述服务器将所述主播用户终端采集的所述主播用户图像和所述主播用户骨骼动作数据发送给所述直播间内的多个观众用户终端,并将所述指定观众用户终端采集的所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述主播用户终端和所述多个观众用户终端中除所述指定观众用户终端之外的其它所有终端;
所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别在所述直播间的当前显示界面所显示的虚拟场景中显示所述主播用户图像和所述指定观众用户图像;
在显示过程中,所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式,并当所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式时,触发与所述指定动作模式对应的事件。
第二方面,提供了一种实现虚拟场景中互动的方法,所述方法包括:
采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据;
接收服务器发送的指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,所述指定观众用户为所述直播间中的观众用户;
在所述直播间的当前显示界面所显示的虚拟场景中显示所述主播用户图像和所述指定观众用户图像;
在显示过程中,判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式;
若所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式,则触发与所述指定动作模式对应的事件。
第三方面,提供了一种实现虚拟场景中互动的系统,所述系统包括主播用户终端、服务器以及多个观众用户终端,所述多个观众用户终端包括指定观众用户终端;
所述主播用户终端,用于采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据,并将所述主播用户图像和所述主播用户骨骼动作数据发送给服务器;
所述指定观众用户终端,用于采集所述指定观众用户当前在所述直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并将所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述服务器,所述指定观众用户为所述直播间中的观众用户;
所述服务器,用于接收所述主播用户终端采集的所述主播用户图像和所述主播用户骨骼动作数据,以及接收所述指定观众用户终端采集的所述指定观众用户图像和所述指定观众用户骨骼动作数据;
所述服务器,还用于将所述主播用户终端采集的所述主播用户图像和所述主播用户骨骼动作数据发送给所述直播间内的多个观众用户终端,并将所述指定观众用户终端采集的所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述主播用户终端和所述多个观众用户终端中除所述指定观众用户终端之外的其它所有终端,所述多个观众用户终端中包括所述指定观众用户终端;
所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别在所述直播间的当前显示界面所显示的虚拟场景中显示所述主播用户图像和所述指定观众用户图像;
在显示过程中,所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式,并当所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式时,触发与所述指定动作模式对应的事件。
第四方面,提供了一种实现虚拟场景中互动的装置,所述装置包括:
采集模块,用于采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据;
第一接收模块,用于接收服务器发送的指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,所述指定观众用户为所述直播间中的观众用户;
显示模块,用于在所述直播间的当前显示界面所显示的虚拟场景中显示所述采集模块采集的所述主播用户图像和所述第一接收模块接收的所述指定观众用户图像;
判断模块,用于在所述显示模块显示过程中,判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式;
触发模块,用于当所述判断模块确定所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式时,触发与所述指定动作模式对应的事件。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器执行以实现如第二方面所述的实现虚拟场景中互动的方法。
本发明实施例提供的技术方案带来的有益效果是:主播用户终端采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据,并通过服务器将该主播用户图像和主播用户骨骼动作数据发送给包括指定观众用户终端的多个观众用户终端,另外,该指定观众用户终端采集该直播间中指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,并通过该服务器将该指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端和多个观众用户终端中除指定观众用户终端之外的其它终端,如此,对于该主播用户终端或该多个观众用户终端中的每个终端,在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像,也即是,该主播用户和该指定观众用户可以在该虚拟场景中看到彼此的真实图像,如此,基于所显示的真实图像,使得该主播用户与该指定观众用户之间互动方式不受限,即增加了互动方式,并且,在显示过程中,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件,增加了互动效果,从而也提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是根据一示例性实施例示出的一种实施环境示意图。
图1B是根据一示例性实施例示出的一种实现虚拟环境中互动的系统的框图。
图2是根据一示例性实施例示出的一种实现虚拟场景中互动的方法流程图。
图3是根据另一示例性实施例示出的一种实现虚拟场景中互动的方法流程图。
图4A是根据另一示例性实施例示出的一种实现虚拟场景中互动的方法流程图。
图4B是图4A实施例所涉及的一种主播用户图像和指定观众用户图像在虚拟场景中的显示示意图。
图5A是根据一示例性实施例示出的一种实现虚拟场景中互动的装置的结构示意图。
图5B是根据另一示例性实施例示出的一种实现虚拟场景中互动的装置的结构示意图。
图5C是根据另一示例性实施例示出的一种实现虚拟场景中互动的装置的结构示意图。
图6是根据一示例性实施例示出的一种实现虚拟场景中互动的装置600的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例提供的方法进行介绍之前,首先对本发明实施例的应用场景进行介绍,本发明实施例提供的方法应用于网络直播系统中,请参考图1A,该图1A是根据一示例性实施例示出的一种实施环境示意图,该实施环境中主要包括主播用户终端110、服务器130以及多个观众用户终端140,该多个观众用户终端中包括指定观众用户终端120。其中,该主播用户终端110、该指定观众用户终端120以及该多个观众用户终端140分别与该服务器130之间通过有线网络或者无线网络建立通信连接。
其中,该多个观众用户终端140和该指定观众用户终端120均可以为PC(personalcomputer,个人电脑)机、电视游戏机或电子设备等。该服务器130为用于直播的服务器,在一种可能的实现方式中,该服务器130可以为网络直播平台,接下来以该服务器130为网络直播平台为例进行说明。
其中,该主播用户终端110、该指定观众用户终端120以及该多个观众用户终端140中均运行有直播客户端,对于该主播用户来说,可以通过该直播客户端登录该网络直播平台,并在该网络直播平台中建立直播间,之后,该主播用户即可在该直播间中进行直播。而对于该指定观众用户终端120和该多个观众用户终端140来说,可以通过对应的直播客户端登录到该网络直播平台中,并进入该主播用户所创建的直播间,之后,即可在该直播间中观看该主播用户的直播。
此外,针对该直播间,网络直播平台还提供有诸如舞台等之类的虚拟场景,在本发明实施例中,通过主播用户终端110或者该多个观众用户终端140,可以将该主播用户图像和该指定观众用户图像融入到该虚拟场景中,以实现该主播用户和该指定观众用户之间的互动。
图1B是根据一示例性实施例示出的一种实现虚拟环境中互动的系统的框图。该系统中主要包括主播用户终端112、服务器114以及多个观众用户终端116,该多个观众用户终端116中包括指定观众用户终端118,另外,该系统中还包括有体感摄像头122。其中,该主播用户终端112、该指定观众用户终端118以及该多个观众用户终端116分别与该服务器114之间通过有线网络或者无线网络建立通信连接。
另外,该主播用户终端112和该指定观众用户终端118均连接有体感摄像头122,该主播用户终端112可以通过该体感摄像头122采集该主播用户的主播用户图像和主播用户骨骼动作数据,以及该指定观众用户终端118通过该体感摄像头122采集该指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据。在一种可能的实现方式中,该多个观众用户终端116中除了该指定观众用户终端118之外的其它每个观众用户终端116也可以连接有体感摄像头122,该观众用户终端116同样可以通过该体感摄像头122采集该观众用户的观众用户图像和观众用户骨骼动作数据。
其中,该主播用户终端112,用于采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据,并将该主播用户图像和该主播用户骨骼动作数据发送给该服务器114;
该指定观众用户终端118,用于采集指定观众用户当前在该直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并将该指定观众用户图像和该指定观众用户骨骼动作数据发送给该服务器114,该指定观众用户为该直播间中的观众用户;
该服务器114,用于接收该主播用户终端112采集的该主播用户图像和该主播用户骨骼动作数据,以及接收该指定观众用户终端118采集的该指定观众用户图像和该指定观众用户动作数据;
该服务器114,还用于将该主播用户终端112采集的主播用户图像和该主播用户骨骼动作数据发送给该直播间内的多个观众用户终端116,并将该指定观众用户终端118采集的该指定观众用户图像和该指定观众用户骨骼动作数据发送给该主播用户终端112和该多个观众用户终端116中除该指定观众用户终端118之外的其它所有终端;
该多个观众用户终端116中的每个观众用户终端116和该主播用户终端112分别在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像;
在显示过程中,该多个观众用户终端116中的每个观众用户终端116和该主播用户终端112分别判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,并当该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式时,触发与该指定动作模式对应的事件。
可选地,该多个观众用户终端116包括该直播间内所有观众用户的终端;或,
该多个观众用户终端116包括该直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
可选地,对于该多个观众用户终端116中的每个观众用户终端116,该观众用户终端116,用于基于该主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,该观众用户骨骼动作数据由该观众用户终端采集得到;
该观众用户终端116,用于将该匹配度发送至该服务器114;
该服务器114,用于接收每个观众用户终端116发送的匹配度,并对接收的多个匹配度进行排序,得到排序列表;
该服务器114,用于将该排序列表发送至该主播用户终端112,以使该主播用户终端112将该排序列表中匹配度最大的观众用户确定为该指定观众用户。
可选地,该主播用户和该指定观众用户均包括多个骨骼部位,该主播用户骨骼动作数据和该指定观众用户骨骼动作数据均包括该多个骨骼部位的动作数据;
该观众用户终端116,用于基于该主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,包括:
该观众用户终端116,用于确定该主播用户骨骼动作数据中每个骨骼部位的动作数据与该观众用户骨骼动作数据中对应骨骼部位的动作数据之间的匹配度,得到多个骨骼部位匹配度;
该观众用户终端116,用于将该多个骨骼部位匹配度的平均值确定为该匹配度。
在本发明实施例中,主播用户终端采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据,并通过服务器将该主播用户图像和主播用户骨骼动作数据发送给包括指定观众用户终端的多个观众用户终端,另外,该指定观众用户终端采集该直播间中指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,并通过该服务器将该指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端和多个观众用户终端中除指定观众用户终端之外的其它终端,如此,对于该主播用户终端或该多个观众用户终端中的每个终端,在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像,也即是,该主播用户和该指定观众用户可以在该虚拟场景中看到彼此的真实图像,如此,基于所显示的真实图像,使得该主播用户与该指定观众用户之间互动方式不受限,即增加了互动方式,并且,在显示过程中,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件,增加了互动效果,从而也提高了用户体验。
图2是根据一示例性实施例示出的一种实现虚拟场景中互动的方法流程图,该实现虚拟场景中互动的方法应用于网络直播系统中,该网络直播系统包括主播用户终端、服务器以及多个观众用户终端,该多个观众用户终端包括指定观众用户终端,该实现虚拟场景中互动的方法可以包括如下几个步骤:
步骤201:该主播用户终端采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据,并将该主播用户图像和该主播用户骨骼动作数据发送给服务器。
步骤202:该指定观众用户终端采集该指定观众用户当前在该直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并将该指定观众用户图像和该指定观众用户骨骼动作数据发送给该服务器,该指定观众用户为该直播间中的观众用户。
步骤203:该服务器接收该主播用户终端采集的该主播用户图像和该主播用户骨骼动作数据,以及接收该指定观众用户终端采集的该指定观众用户图像和该指定观众用户骨骼动作数据。
步骤204:该服务器将该主播用户终端采集的该主播用户图像和该主播用户骨骼动作数据发送给该直播间内的多个观众用户终端,并该指定观众用户终端采集的该指定观众用户图像和该指定观众用户骨骼动作数据发送给该主播用户终端和该多个观众用户终端中除该指定观众用户终端之外的其它所有终端。
步骤205:该多个观众用户终端中的每个观众用户终端和该主播用户终端分别在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像。
步骤206:在显示过程中,该多个观众用户终端中的每个观众用户终端和该主播用户终端分别判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,并当该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式时,触发与该指定动作模式对应的事件。
在本发明实施例中,主播用户终端采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据,并通过服务器将该主播用户图像和主播用户骨骼动作数据发送给包括指定观众用户终端的多个观众用户终端,另外,该指定观众用户终端采集该直播间中指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,并通过该服务器将该指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端和多个观众用户终端中除指定观众用户终端之外的其它终端,如此,对于该主播用户终端或该多个观众用户终端中的每个终端,在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像,也即是,该主播用户和该指定观众用户可以在该虚拟场景中看到彼此的真实图像,如此,基于所显示的真实图像,使得该主播用户与该指定观众用户之间互动方式不受限,即增加了互动方式,并且,在显示过程中,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件,增加了互动效果,从而也提高了用户体验。
可选地,该多个观众用户终端包括该直播间内所有观众用户的终端;或,
该多个观众用户终端包括该直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
可选地,该服务器将该主播用户终端采集的该主播用户图像和该主播用户骨骼动作数据发送给该直播间内的多个观众用户终端之后,还包括:
对于该多个观众用户终端中的每个观众用户终端,该观众用户终端基于该主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,该观众用户骨骼动作数据由该观众用户终端采集得到;
该观众用户终端将该匹配度发送至该服务器;
该服务器接收每个观众用户终端发送的匹配度,并对接收的多个匹配度进行排序,得到排序列表;
该服务器将该排序列表发送至该主播用户终端,以使该主播用户终端将该排序列表中匹配度最大的观众用户确定为该指定观众用户。
可选地,该主播用户和该指定观众用户均包括多个骨骼部位,该主播用户骨骼动作数据和该指定观众用户骨骼动作数据均包括该多个骨骼部位的动作数据;
该观众用户终端基于该主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,包括:
该观众用户终端确定该主播用户骨骼动作数据中每个骨骼部位的动作数据与该观众用户骨骼动作数据中对应骨骼部位的动作数据之间的匹配度,得到多个骨骼部位匹配度;
该观众用户终端将该多个骨骼部位匹配度的平均值确定为该匹配度。
上述所有可选技术方案,均可按照任意结合形成本发明的可选实施例,本发明实施例对此不再一一赘述。
图3是根据一示例性实施例示出的一种实现虚拟场景中互动的方法流程图,该实现虚拟场景中互动的方法可以包括如下几个步骤:
步骤301:采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据。
步骤302:接收服务器发送的指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,该指定观众用户为该直播间中的观众用户。
步骤303:在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像。
步骤304:在显示过程中,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式。
步骤305:若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件。
在本发明实施例中,主播用户终端采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据,并且,该主播用户终端通过接收服务器发送的指定观众用户图像和指定观众用户骨骼动作数据,之后,该主播用户终端在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像,也即是,该主播用户可以通过该主播用户终端在该虚拟场景中看到该指定观众用户的真实图像,如此,基于所显示的真实图像,使得该主播用户与该指定观众用户之间互动方式不受限,即增加了互动方式,并且,在显示过程中,主播用户终端判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件,增加了互动效果,从而也提高了用户体验。
可选地,该采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据之后,还包括:
将该主播用户图像和该主播用户骨骼动作数据发送给该服务器,使该服务器将该主播用户图像和该主播用户骨骼动作数据发送给该直播间内的多个观众用户终端,该多个观众用户终端包括指定观众用户终端。
可选地,该多个观众用户终端包括该直播间内所有观众用户的终端;或,
该多个观众用户终端包括该直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
可选地,该方法还包括:
接收该服务器发送的排序列表,该排序列表为该服务器对多个匹配度进行排序得到,该多个匹配度与该多个观众用户终端一一对应,且对于该多个匹配度中每个匹配度,该匹配度是由对应的观众用户终端基于该主播用户骨骼动作数据和采集到的观众用户骨骼动作数据确定得到;
从该排序列表中选择匹配度最大的观众用户,并将所选择的观众用户确定为该指定观众用户。
可选地,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,包括:
确定该主播用户骨骼动作数据与第一指定动作数据之间的匹配度,以及确定该指定观众用户骨骼动作数据与第二指定动作数据之间的匹配度;
当该主播用户骨骼动作数据与该第一指定动作数据之间的匹配度大于或等于第一预设阈值,且该指定观众用户骨骼动作数据与该第二指定动作数据之间的匹配度大于或等于第二预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式。
可选地,该主播用户和该指定观众用户均包括多个骨骼部位,该主播用户骨骼动作数据和该指定观众用户骨骼动作数据均包括该多个骨骼部位的动作数据;
若该指定动作模式包括握手动作模式,则该判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,包括:
当检测到该主播用户的右手部位的骨骼动作数据与该指定观众用户的右手部位的骨骼动作数据之间的差值小于或等于第三预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该握手动作模式。
可选地,该多个骨骼部位包括头部位、颈部位、胸部部位,左手部位、左下臂部位、左上臂部位、右手部位、右下臂部位、右上臂部位、左大腿部位、左小腿部位、左脚部位、右大腿部位、右小腿部位以及右脚部位。
可选地,该指定动作模式对应的事件包括显示虚拟花瓣、播放喝彩声以及请求该服务器在该主播或该指定用户的账号中增加虚拟奖励中的至少一种。
上述所有可选技术方案,均可按照任意结合形成本发明的可选实施例,本发明实施例对此不再一一赘述。
图4A是根据另一示例性实施例示出的一种实现虚拟场景中互动的方法流程图,本发明实施例以多方交互的方式实现虚拟场景中互动的方法为例进行说明,该实现虚拟场景中互动的方法可以包括如下几个步骤:
步骤401:主播用户终端采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据,并将该主播用户图像和该主播用户骨骼动作数据发送给服务器。
本发明实施例提供的实现虚拟场景中互动的方法应用于图1A所提供的实施环境以及图1B所提供的系统中。也即是,该网络直播平台中通常包括有主播用户和观众用户,其中,该观众用户也可以称之为粉丝用户,或者,在游戏直播中,该观众用户也可以为玩家。在该虚拟场景中,主播用户和观众用户之间可以进行互动。其中,该主播用户所使用的终端可以称为主播用户终端,同理,该观众用户所使用的终端可以称为观众用户终端。
其中,以该网络直播是游戏直播为例,对主播用户终端采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据的实现过程进行介绍:在实际实现过程中,该主播用户终端连接有体感摄像头,并且,该主播用户终端上设置有游戏引擎,当接收到游戏直播启动指令时,该主播用户终端对该游戏引擎进行初始化,并启动该体感摄像头,之后,该主播用户终端即可以通过该体感摄像头采集该主播用户在当前直播间中的主播用户图像和主播骨骼动作数据。
其中,该游戏直播启动指令可以由用户触发,该用户可以通过指定操作触发,该指定操作可以包括点击操作、滑动操作等等,本发明实施例对此不做限定。
另外,在启动该4D体感摄像头后,还可以对该主播用户进行校准,也即是,当主播用户终端确定采集的主播用户图像模糊不清晰时,可以在当前显示界面中显示校准通知,该校准通知用于指示该主播用户在该4D体感摄像头前进行前后或左右移动,以便采集到的该主播用户图像清晰,例如,该校准通知可以为“请进行校准”。在一种可能的实现方式中,当主播用户终端确定采集到的主播用户图像较清晰时,可以不再显示该校准通知。
其中,主播用户终端可以根据所采集的主播用户图像的分辨率,判断采集的主播用户图像是否清晰,当该主播用户图像的分辨率大于或等于指定分辨率时,可以确定所采集的主播用户图像清晰,否则,可以确定所采集的主播用户图像不清晰。
其中,该指定分辨率可以由用户根据实际需求自定义设置,也可以由该主播用户终端默认设置,本发明实施例对此不做限定。
需要说明的是,上述根据所采集的主播用户图像的分辨率,判断采集的主播用户图像是否清晰仅是示例性,在另一实施例中,还可以通过其它方式判断采集的主播用户图像是否清晰,本发明实施例对此不做限定。
另外,上述主播用户图像是指仅包括该主播用户的图像,也即是,该主播用户图像中不包括其它背景元素,也即是,该主播用户终端可以在采集包括主播用户图像的图像后,从该图像中勾出该主播用户图像的轮廓,并基于该轮廓,将该主播用户图像从该图像中勾出,从而得到该主播用户图像,同理,后文中的指定观众用户图像也可以按照同样的处理方式得到,如此,以便于后续将该主播用户图像和该指定观众用户图像真实的融入到虚拟场景中。
该主播用户终端采集到该主播用户图像和该主播用户骨骼动作数据之后,为了能够使得该直播间中的其它观众用户终端也可以看到该主播用户与下文中所提及的指定观众用户之间的互动,该主播用户终端将该主播用户图像和该主播用户骨骼动作数据发送给服务器,以便该服务器可以将该主播用户图像和该主播用户骨骼动作数据下发给直播间中的多个观众用户终端。其中,该服务器用于管理该直播间,在一种可能的实现方式中,该服务器可以为网络直播平台。
步骤402:指定观众用户终端采集指定观众用户当前在该直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并将该指定观众用户图像和该指定观众用户骨骼动作数据发送给该服务器,该指定观众用户为该直播间中的观众用户。
为了能够使得该主播用户与指定观众用户出现在同一虚拟场景中,该指定观众用户终端也需要通过体感摄像头采集该指定观众用户当前在该直播间中的指定观众用户图像和指定观众用户骨骼动作数据,之后,将该指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据发送给该服务器,以便该服务器可以将该指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据下发给该直播间中的主播用户终端。
其中,该指定观众用户终端启动该体感摄像头,以及采集指定观众用户图像和指定观众用户骨骼动作数据的实现过程与上述主播用户终端对应的实现过程类似,这里不再赘述。
其中,该指定观众用户为该直播间中的观众用户,该指定观众用户可以是由该主播用户指定的观众用户,也可以是由管理员指定的观众用户。
当该指定观众用户为该主播用户指定的观众用户时,可以包括如下几种可能的实现方式:
第一种方式:该指定观众用户为该直播间中为该主播用户赠送指定虚拟礼物的用户。
其中,该指定虚拟礼物可以由用户根据实际需求自定义设置,也可以由服务器默认设置,本发明实施例对此不做限定。
也即是,在该种实现方式中,该主播用户终端上可以显示有该直播间中虚拟礼物赠送列表,该虚拟礼物赠送列表中可以用于指示该直播间中所有观众用户赠送虚拟礼物的情况,该主播用户基于该主播用户终端,从该虚拟礼物赠送列表选择赠送该指定虚拟礼物的观众用户以触发指定观众用户选择指令,当该主播用户终端接收到该指定观众用户选择指令时,将该指定观众用户选择指令所指示的观众用户确定为该指定观众用户。
第二种方式:该指定观众用户为该直播间中赠送虚拟礼物最多的观众用户。
该种实现方式与上述第一种方式类似,区别在于,该主播用户基于该主播用户终端,从该虚拟礼物赠送列表选择赠送虚拟礼物最多的观众用户以触发指定观众用户选择指令,当该主播用户终端接收到该指定观众用户选择指令时,将该指定观众用户选择指令所指示的观众用户确定为该指定观众用户。
当该指定观众用户是由该主播用户指定时,该主播用户终端确定该指定观众用户之后,向该服务器发送信息获取请求,该信息获取请求中至少携带该指定观众用户的指定观众用户信息,该服务器接收到该信息获取请求后,向该指定观众用户终端转发该信息获取请求,当该指定观众用户终端接收到该信息获取请求后,采集该指定观众用户图像和指定观众用户骨骼动作数据,并将该指定观众用户图像和该指定观众用户骨骼动作数据发送至该服务器中。
其中,需要说明的是,在本发明实施例中,该主播用户和该指定观众用户均可以包括多个骨骼部位,该主播用户骨骼动作数据和该指定观众用户骨骼动作数据均包括多个骨骼部位的动作数据。其中,该多个骨骼部位包括头部位、颈部位、胸部部位,左手部位、左下臂部位、左上臂部位、右手部位、右下臂部位、右上臂部位、左大腿部位、左小腿部位、左脚部位、右大腿部位、右小腿部位以及右脚部位。
步骤403:该服务器接收该主播用户终端采集的主播用户图像和主播用户骨骼动作数据,以及接收该指定观众用户终端采集的指定观众用户图像和指定观众用户骨骼动作数据。
步骤404:该服务器将主播用户终端采集的主播用户图像和主播用户骨骼动作数据发送给该直播间内的多个观众用户终端,并将该指定观众用户终端采集的指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端和该多个观众用户终端中除该指定观众用户终端之外的其它所有终端。
由上述步骤可知,该主播用户终端中采集有该主播用户图像和主播用户骨骼动作数据,为了能够使得在该主播用户终端上能够同时显示该主播用户图像和指定观众用户图像,该服务器将该指定观众用户终端所采集的指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端。
同理,为了能够使得该指定观众用户终端能够同时显示该指定观众用户和该主播用户的图像,该服务器将该主播用户图像和该主播用户骨骼动作数据发送给该指定观众用户终端。
另外,为了能够使得该直播间中的多个观众用户看到该主播用户和该指定观众用户之间的互动,以增加该直播间中的观众用户数量,或激励该多个观众用户在该直播间中进行消费等,该服务器还将该主播用户图像和该主播用户骨骼动作数据,以及该指定观众用户图像和指定观众用户骨骼动作数据发送给该多个观众用户终端。
其中,该多个观众用户终端中的终端包括如下任一种可能情况:
第一种方式:该多个观众用户终端包括该直播间内所有观众用户的终端。
在该种实现方式中,当该服务器将该主播用户图像和该主播用户骨骼动作数据,以及该指定观众用户图像和该指定观众用户骨骼动作数据发送给该直播间中所有观众用户的终端时,可以使得该直播间中所有观众用户均可以看到该直播间中该主播用户与该指定观众用户之间的互动,如此,可以激励该直播间中所有观众用户在该直播间中消费以实现与该主播用户进行互动。
第二种方式:该多个观众用户终端包括该直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
其中,预设级别可以由用户根据实际需求自定义设置,也可以由服务器默认设置,本发明实施例对此不做限定。
在该种实现方式中,服务器将该主播用户图像和主播用户骨骼动作数据,以及该指定观众用户图像和指定观众用户骨骼动作数据只发送给该直播间中部分观众用户,该部分观众用户也即是账号级别大于或等于预设级别的观众用户,也即是说,在该直播间中,并不是该直播间中所有观众用户均具有可以观看该主播用户与该指定观众用户之间互动的权利,即服务器限制了可以看到该主播用户与该指定观众用户之间互动的权利,如此,也可以激励其它观众用户在该直播间中进行账号升级等操作。
针对上述提供的两种实现方式,在实际实现过程中,还可以根据该多个观众用户的观众用户骨骼动作数据与该主播用户骨骼动作数据的匹配度,重新指定该指定用户终端,其具体实现过程可以包括:
对于该多个观众用户终端中的每个观众用户终端,该观众用户终端基于该主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,该观众用户骨骼动作数据由该观众用户终端采集得到,该观众用户终端将该匹配度发送至该服务器,该服务器接收每个观众用户终端发送的匹配度,并对接收的多个匹配度进行排序,得到排序列表,该服务器将该排序列表发送至该主播用户终端。
其中,该观众用户终端基于该主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度的具体实现过程可以包括:该观众用户终端确定该主播用户骨骼动作数据中每个骨骼部位的动作数据与该观众用户骨骼动作数据中对应骨骼部位的动作数据之间的匹配度,得到多个骨骼部位匹配度,该观众用户终端将该多个骨骼部位匹配度的平均值确定为该匹配度。
其中,对于该多个观众用户终端中的指定观众用户终端来说,由于该指定观众用户的级别可能高于该多个观众用户中的其它观众用户,因此,还可以由服务器或主播用户终端基于该主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,本发明实施例对此不做限定。
相应地,该主播用户终端接收该服务器发送的排序列表,该排序列表为该服务器对多个匹配度进行排序得到,该多个匹配度与该多个观众用户终端一一对应,且对于该多个匹配度中每个匹配度,该匹配度是由对应的观众用户终端基于该主播用户骨骼动作数据和采集到的观众用户骨骼动作数据确定得到,从该排序列表中选择匹配度最大的观众用户,并将所选择的观众用户确定为该指定观众用户。
也即是,在该种实现方式中,该主播用户将该直播间中的多个观众用户中跳舞跳得与该主播用户最像的观众用户确定为该指定观众用户。
当然,需要说明的是,在本发明实施例中,仅是以该服务器将该主播用户终端采集的主播用户图像和主播用户骨骼动作数据发送给该直播间内的多个观众用户终端,并该指定观众用户终端采集的指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端和该多个观众用户终端中除该指定观众用户终端之外的其它所有终端为例进行说明,在另一实施例中,该服务器还可以仅将主播用户终端采集的主播用户图像和主播用户骨骼动作数据发送给该指定观众用户终端,并仅将该指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端,在该种情况下,只有该主播用户终端和该指定观众用户终端中显示该主播用户图像和指定观众用户图像,本发明实施例对此不做限定。
步骤405:该多个观众用户终端中的每个观众用户终端和该主播用户终端分别在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像。
对于该多个观众用户终端中的每个观众用户终端和该主播用户终端来说,在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像的实现原理相同,接下来,以该主播用户终端侧为例进行说明。
该主播用户终端接收到该服务器发送的该指定观众用户图像和指定观众用户骨骼动作数据时,在该直播间的当前显示界面所显示的虚拟场景中渲染出该主播用户图像和该指定观众用户图像,以实现该主播用户与该指定观众用户之间的互动。
其中,该主播用户终端可以在该虚拟场景中的指定互动区域渲染出该主播用户图像和该指定观众用户图像。
其中,为了能够使得主播用户从该主播用户终端中直观感受到与该指定观众用户之间的互动,在一种可能的实现方式中,该指定互动区域可以是指第一显示区域与第二显示区域的重叠显示区域,其中,该第一显示区域用于显示主播用户图像,该第二显示区域用于显示该指定观众用户图像。
需要说明的是,上述确定指定互动区域的方式仅是示例性,在另一实施例中,该指定互动区域还可以该主播用户终端指定的在该虚拟场景中的任一互动区域,该任一互动区域用于显示该主播用户和该指定观众用户之间的互动操作,本发明实施例对此不作限定。
例如,请参考图4B,该图4B示出了该主播用户图像41和该指定观众用户图像42在该虚拟场景中的显示示意图,其中,该图4B中其它图像均为该虚拟场景中的背景元素。
步骤406:在显示过程中,该多个观众用户终端中的每个观众用户终端和该主播用户终端分别判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,并当该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式时,触发与该指定动作模式对应的事件。
其中,该指定动作模式可以由用户根据实际需求自定义设置,也可以由主播用户终端或多个观众用户终端中的每个观众用户终端默认设置,本发明实施例对此不做限定。
也即是,该指定观众用户终端或指定观众用户终端在该直播间当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像后,对于该主播用户或者该指定观众用户来说,在显示过程中,即可在自己所在的终端侧所显示虚拟场景中看到彼此,如此,该主播用户既可与该指定观众用户之间进行互动。接下来,以该主播用户终端侧为例进行说明。
在该主播用户与该指定观众用户互动过程中,该主播用户终端根据该主播用户骨骼动作数据和该指定观众用户骨骼动作数据,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式。
其中,根据该指定动作模式不同,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式的实现可以包括如下实现方式中任一种:
第一种方式:确定该主播用户骨骼动作数据与第一指定动作数据之间的匹配度,以及确定该指定观众用户骨骼动作数据与第二指定动作数据之间的匹配度,当该主播用户骨骼动作数据与该第一指定动作数据之间的匹配度大于或等于第一预设阈值,且该指定观众用户骨骼动作数据与该第二指定动作数据之间的匹配度大于或等于第二预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式。
其中,该第一指定动作数据可以由用户根据实际需求自定义设置,也可以由主播用户终端默认设置,本发明实施例对此不做限定。
其中,该第二指定动作数据可以由用户根据实际需求自定义设置,也可以由主播用户终端默认设置,本发明实施例对此不做限定。
其中,该第一预设阈值可以由用户根据实际需求自定义设置,也可以由主播用户终端默认设置,本发明实施例对此不做限定。
其中,该第二预设阈值可以由用户根据实际需求自定义设置,也可以由主播用户终端默认设置,本发明实施例对此不做限定。
在该种实现方式中,也即是,判断该主播用户与该指定观众用户是否共同完成一套指定动作,例如,该套指定动作可以是指一套双人舞蹈等。其中,若该主播用户骨骼动作数据与该第一指定动作数据之间的匹配度大于或等于第一预设阈值,则说明该主播用户与该套指定动作中的其中一个角色需要完成的动作匹配,并且,若该指定观众用户骨骼动作数据与该第二指定动作数据之间的匹配度大于或等于第二预设阈值,则说明该指定观众用户与该套指定动作中的另一个角色需要完成的动作匹配,因此,在该种情况下,可以确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式。
第二种方式:若该指定动作模式包括握手动作模式,当检测到该主播用户的右手部位的骨骼动作数据与该指定观众用户的右手部位的骨骼动作数据之间的差值小于或等于第三预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该握手动作模式。
其中,该第三预设阈值可以由用户根据实际需求自定义设置,也可以由主播用户终端默认设置,本发明实施例对此不做限定。
也即是,在该种实现方式中,当该主播用户的右手部位的骨骼动作数据与该指定观众用户的右手部位的骨骼动作数据之间的差值小于或等于第三预设阈值,说明该主播用户的右手部位与该指定观众用户的右手部位离的很近,因此,可以确定该主播用户与该指定观众用户之间的互动为握手。
需要说明的是,这里仅是以该指定动作模式包括握手动作模式为例进行举例说明,在另一实施例中,该指定动作模式还可以包括牵手动作模式、鼓掌动作模式等,其具体实现原理均可以参见该第二种实现方式,本发明实施例对此不做限定。
另外,需要说明的是,在本发明实施例中,仅是以上述两种方式,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式为例进行说明,在另一实施例中,还可以通过其它方式判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,例如,在一种可能的实现方式中,当该指定动作模式包括拥抱动作模式时,还可以基于该主播用户和指定观众用户的胸部部位、左手部位、左下臂部位、左上臂部位、右手部位、右下臂部位以及右上臂部位,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足拥抱动作模式,再如,在另一种可能的实现方式中,当检测到该主播用户骨骼动作数据或者该指定观众用户骨骼动作数据中任一个与预设动作数据匹配时,则确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足指定动作模式,本发明实施例对此不做限定。
其中,该预设动作数据可以由用户根据实际需求自定义设置,也可以由该主播用户终端默认设置,本发明实施例对此不做限定。
另外,当该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式时,触发与该指定动作模式对应的事件。
其中,指定动作模式对应的事件包括显示虚拟花瓣、播放喝彩声以及请求该服务器在该主播或该指定用户的账号中增加虚拟奖励中至少一种。
例如,当该主播用户与该指定观众用户之间的互动模式为拥抱动作模式时,对应地,该拥抱动作模式对应的事件可以包括显示虚拟花瓣,也即是,当该主播用户终端检测到该主播用户与该指定观众用户之间拥抱时,在当前显示界面中显示虚拟花瓣。
另外,需要说明的是,在本发明实施例中,仅是以该指定动作模式对应的事件包括显示虚拟花瓣、播放喝彩声以及请求该服务器在该主播或该指定用户的账号中增加虚拟奖励中至少一种为例进行说明,在另一实施例中,该指定动作模式对应的事件还可以为其它事件,本发明实施例对此不做限定。
在本发明实施例中,主播用户终端采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据,并通过服务器将该主播用户图像和主播用户骨骼动作数据发送给包括指定观众用户终端的多个观众用户终端,另外,该指定观众用户终端采集该直播间中指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,并通过该服务器将该指定观众用户图像和指定观众用户骨骼动作数据发送给该主播用户终端和多个观众用户终端中除指定观众用户终端之外的其它终端,如此,对于该主播用户终端或该多个观众用户终端中的每个终端,在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像,也即是,该主播用户和该指定观众用户可以在该虚拟场景中看到彼此的真实图像,如此,基于所显示的真实图像,使得该主播用户与该指定观众用户之间互动方式不受限,即增加了互动方式,并且,在显示过程中,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件,增加了互动效果,从而也提高了用户体验。
图5A是根据一示例性实施例示出的一种实现虚拟场景中互动的装置的结构示意图,该实现虚拟场景中互动的装置可以由软件、硬件或者两者的结合实现。该实现虚拟场景中互动的装置可以包括:
采集模块510,用于采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据;
第一接收模块520,用于接收服务器发送的指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,该指定观众用户为该直播间中的观众用户;
显示模块530,用于在该直播间的当前显示界面所显示的虚拟场景中显示该采集模块采集的该主播用户图像和该第一接收模块接收的该指定观众用户图像;
判断模块540,用于在该显示模块显示过程中,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式;
触发模块550,用于当该判断模块确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式时,触发与该指定动作模式对应的事件。
可选地,请参考图5B至图5C,该装置还包括:
发送模块560,用于将该主播用户图像和该主播用户骨骼动作数据发送给该服务器,使该服务器将该主播用户图像和该主播用户骨骼动作数据发送给该直播间内的多个观众用户终端,该多个观众用户终端包括指定观众用户终端。
可选地,该多个观众用户终端包括该直播间内所有观众用户的终端;或,
该多个观众用户终端包括该直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
可选地,该装置还包括:
第二接收模块570,用于接收该服务器发送的排序列表,该排序列表为该服务器对多个匹配度进行排序得到,该多个匹配度与该多个观众用户终端一一对应,且对于该多个匹配度中每个匹配度,该匹配度是由对应的观众用户终端基于该主播用户骨骼动作数据和采集到的观众用户骨骼动作数据确定得到;
确定模块580,用于从该第二接收模块接收的该排序列表中选择匹配度最大的观众用户,并将所选择的观众用户确定为该指定观众用户。
可选地,该判断模块540用于:
确定该主播用户骨骼动作数据与第一指定动作数据之间的匹配度,以及确定该指定观众用户骨骼动作数据与第二指定动作数据之间的匹配度;
当该主播用户骨骼动作数据与该第一指定动作数据之间的匹配度大于或等于第一预设阈值,且该指定观众用户骨骼动作数据与该第二指定动作数据之间的匹配度大于或等于第二预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式。
可选地,该主播用户和该指定观众用户均包括多个骨骼部位,该主播用户骨骼动作数据和该指定观众用户骨骼动作数据均包括该多个骨骼部位的动作数据;
该判断模块540,还用于当该指定动作模式包括握手动作模式,且检测到该主播用户的右手部位的骨骼动作数据与该指定观众用户的右手部位的骨骼动作数据之间的差值小于或等于第三预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该握手动作模式。
可选地,该多个骨骼部位包括头部位、颈部位、胸部部位,左手部位、左下臂部位、左上臂部位、右手部位、右下臂部位、右上臂部位、左大腿部位、左小腿部位、左脚部位、右大腿部位、右小腿部位以及右脚部位。
可选地,该指定动作模式对应的事件包括显示虚拟花瓣、播放喝彩声以及请求该服务器在该主播或该指定用户的账号中增加虚拟奖励中至少一种。
在本发明实施例中,主播用户终端采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据,并且,该主播用户终端通过接收服务器发送的指定观众用户图像和指定观众用户骨骼动作数据,之后,该主播用户终端在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像,也即是,该主播用户可以通过该主播用户终端在该虚拟场景中看到该指定观众用户的真实图像,如此,基于所显示的真实图像,使得该主播用户与该指定观众用户之间互动方式不受限,即增加了互动方式,并且,在显示过程中,主播用户终端判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件,增加了互动效果,从而也提高了用户体验。
图6是根据一示例性实施例示出的一种实现虚拟场景中互动的装置600的框图,该装置600可以为上述主播用户终端。例如,装置600可以是计算机,电视游戏机,电子设备等。
参照图6,装置600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如显示,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电源。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为装置600生成、管理和分配电源相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到装置600的打开/关闭状态,组件的相对定位,例如所述组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,该装置600还可以与体感摄像头连接,在一种可能的实现方式中,该体感摄像头可以安装在该装置600上,以便采集用户图像。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种实现虚拟场景中互动的方法,所述方法包括:
采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据。
接收服务器发送的指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,该指定观众用户为该直播间中的观众用户。
在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像。
在显示过程中,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式。
若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件。
可选地,该采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据之后,还包括:
将该主播用户图像和该主播用户骨骼动作数据发送给该服务器,使该服务器将该主播用户图像和该主播用户骨骼动作数据发送给该直播间内的多个观众用户终端,该多个观众用户终端包括指定观众用户终端。
可选地,该多个观众用户终端包括该直播间内所有观众用户的终端;或,
该多个观众用户终端包括该直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
可选地,该方法还包括:
接收该服务器发送的排序列表,该排序列表为该服务器对多个匹配度进行排序得到,该多个匹配度与该多个观众用户终端一一对应,且对于该多个匹配度中每个匹配度,该匹配度是由对应的观众用户终端基于该主播用户骨骼动作数据和采集到的观众用户骨骼动作数据确定得到;
从该排序列表中选择匹配度最大的观众用户,并将所选择的观众用户确定为该指定观众用户。
可选地,判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,包括:
确定该主播用户骨骼动作数据与第一指定动作数据之间的匹配度,以及确定该指定观众用户骨骼动作数据与第二指定动作数据之间的匹配度;
当该主播用户骨骼动作数据与该第一指定动作数据之间的匹配度大于或等于第一预设阈值,且该指定观众用户骨骼动作数据与该第二指定动作数据之间的匹配度大于或等于第二预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式。
可选地,该主播用户和该指定观众用户均包括多个骨骼部位,该主播用户骨骼动作数据和该指定观众用户骨骼动作数据均包括该多个骨骼部位的动作数据;
若该指定动作模式包括握手动作模式,则该判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,包括:
当检测到该主播用户的右手部位的骨骼动作数据与该指定观众用户的右手部位的骨骼动作数据之间的差值小于或等于第三预设阈值时,确定该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该握手动作模式。
可选地,该多个骨骼部位包括头部位、颈部位、胸部部位,左手部位、左下臂部位、左上臂部位、右手部位、右下臂部位、右上臂部位、左大腿部位、左小腿部位、左脚部位、右大腿部位、右小腿部位以及右脚部位。
可选地,该指定动作模式对应的事件包括显示虚拟花瓣、播放喝彩声以及请求该服务器在该主播或该指定用户的账号中增加虚拟奖励中的至少一种。
在本发明实施例中,主播用户终端采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据,并且,该主播用户终端通过接收服务器发送的指定观众用户图像和指定观众用户骨骼动作数据,之后,该主播用户终端在该直播间的当前显示界面所显示的虚拟场景中显示该主播用户图像和该指定观众用户图像,也即是,该主播用户可以通过该主播用户终端在该虚拟场景中看到该指定观众用户的真实图像,如此,基于所显示的真实图像,使得该主播用户与该指定观众用户之间互动方式不受限,即增加了互动方式,并且,在显示过程中,主播用户终端判断该主播用户骨骼动作数据和该指定观众用户骨骼动作数据是否满足指定动作模式,若该主播用户骨骼动作数据和该指定观众用户骨骼动作数据满足该指定动作模式,则触发与该指定动作模式对应的事件,增加了互动效果,从而也提高了用户体验。
需要说明的是:上述实施例提供的实现虚拟场景中互动的装置在实现虚拟场景中互动的方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的实现虚拟场景中互动的装置与实现虚拟场景中互动的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (25)
1.一种实现虚拟场景中互动的方法,其特征在于,所述方法应用于网络直播系统中,所述网络直播系统包括主播用户终端、服务器以及多个观众用户终端,所述多个观众用户终端包括指定观众用户终端;
所述主播用户终端采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据,并将所述主播用户图像和所述主播用户骨骼动作数据发送给服务器;
所述指定观众用户终端采集所述指定观众用户当前在所述直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并将所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述服务器,所述指定观众用户为所述直播间中的观众用户;
所述服务器接收所述主播用户图像和所述主播用户骨骼动作数据,以及接收所述指定观众用户图像和所述指定观众用户骨骼动作数据;
所述服务器将所述主播用户图像和所述主播用户骨骼动作数据发送给所述直播间内的多个观众用户终端,并将所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述主播用户终端和所述多个观众用户终端中除所述指定观众用户终端之外的其它所有终端;
所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别在所述直播间的当前显示界面所显示的虚拟场景中显示所述主播用户图像和所述指定观众用户图像;
在显示过程中,所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式,并当所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式时,触发与所述指定动作模式对应的事件。
2.如权利要求1所述的方法,其特征在于,所述多个观众用户终端包括所述直播间内所有观众用户的终端;或,
所述多个观众用户终端包括所述直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
3.如权利要求1所述的方法,其特征在于,所述服务器将所述主播用户终端采集的所述主播用户图像和所述主播用户骨骼动作数据发送给所述直播间内的多个观众用户终端之后,还包括:
对于所述多个观众用户终端中的每个观众用户终端,所述观众用户终端基于所述主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,所述观众用户骨骼动作数据由所述观众用户终端采集得到;
所述观众用户终端将所述匹配度发送至所述服务器;
所述服务器接收每个观众用户终端发送的匹配度,并对接收的多个匹配度进行排序,得到排序列表;
所述服务器将所述排序列表发送至所述主播用户终端,以使所述主播用户终端将所述排序列表中匹配度最大的观众用户确定为所述指定观众用户。
4.如权利要求3所述的方法,其特征在于,所述主播用户和所述指定观众用户均包括多个骨骼部位,所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据均包括所述多个骨骼部位的动作数据;
所述观众用户终端基于所述主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,包括:
所述观众用户终端确定所述主播用户骨骼动作数据中每个骨骼部位的动作数据与所述观众用户骨骼动作数据中对应骨骼部位的动作数据之间的匹配度,得到多个骨骼部位匹配度;
所述观众用户终端将所述多个骨骼部位匹配度的平均值确定为所述匹配度。
5.一种实现虚拟场景中互动的方法,其特征在于,所述方法包括:
采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据;
接收服务器发送的指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,所述指定观众用户为所述直播间中的观众用户;
在所述直播间的当前显示界面所显示的虚拟场景中显示所述主播用户图像和所述指定观众用户图像;
在显示过程中,判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式;
若所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式,则触发与所述指定动作模式对应的事件。
6.如权利要求5所述的方法,其特征在于,所述采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据之后,还包括:
将所述主播用户图像和所述主播用户骨骼动作数据发送给所述服务器,使所述服务器将所述主播用户图像和所述主播用户骨骼动作数据发送给所述直播间内的多个观众用户终端,所述多个观众用户终端包括指定观众用户终端。
7.如权利要求6所述的方法,其特征在于,所述多个观众用户终端包括所述直播间内所有观众用户的终端;或,
所述多个观众用户终端包括所述直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
8.如权利要求6或7所述的方法,其特征在于,所述方法还包括:
接收所述服务器发送的排序列表,所述排序列表为所述服务器对多个匹配度进行排序得到,所述多个匹配度与所述多个观众用户终端一一对应,且对于所述多个匹配度中每个匹配度,所述匹配度是由对应的观众用户终端基于所述主播用户骨骼动作数据和采集到的观众用户骨骼动作数据确定得到;
从所述排序列表中选择匹配度最大的观众用户,并将所选择的观众用户确定为所述指定观众用户。
9.如权利要求5所述的方法,其特征在于,所述判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式,包括:
确定所述主播用户骨骼动作数据与第一指定动作数据之间的匹配度,以及确定所述指定观众用户骨骼动作数据与第二指定动作数据之间的匹配度;
当所述主播用户骨骼动作数据与所述第一指定动作数据之间的匹配度大于或等于第一预设阈值,且所述指定观众用户骨骼动作数据与所述第二指定动作数据之间的匹配度大于或等于第二预设阈值时,确定所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式。
10.如权利要求5所述的方法,其特征在于,所述主播用户和所述指定观众用户均包括多个骨骼部位,所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据均包括所述多个骨骼部位的动作数据;
若所述指定动作模式包括握手动作模式,则所述判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式,包括:
当检测到所述主播用户的右手部位的骨骼动作数据与所述指定观众用户的右手部位的骨骼动作数据之间的差值小于或等于第三预设阈值时,确定所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述握手动作模式。
11.如权利要求10所述的方法,其特征在于,所述多个骨骼部位包括头部位、颈部位、胸部部位,左手部位、左下臂部位、左上臂部位、右手部位、右下臂部位、右上臂部位、左大腿部位、左小腿部位、左脚部位、右大腿部位、右小腿部位以及右脚部位。
12.如权利要求5所述的方法,其特征在于,所述指定动作模式对应的事件包括显示虚拟花瓣、播放喝彩声以及请求所述服务器在所述主播或所述指定观众用户的账号中增加虚拟奖励中的至少一种。
13.一种实现虚拟场景中互动的系统,其特征在于,所述系统包括主播用户终端、服务器以及多个观众用户终端,所述多个观众用户终端包括指定观众用户终端;
所述主播用户终端,用于采集主播用户在当前直播间中的主播用户图像和主播用户骨骼动作数据,并将所述主播用户图像和所述主播用户骨骼动作数据发送给服务器;
所述指定观众用户终端,用于采集所述指定观众用户当前在所述直播间中的指定观众用户图像和指定观众用户骨骼动作数据,并将所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述服务器,所述指定观众用户为所述直播间中的观众用户;
所述服务器,用于接收所述主播用户终端采集的所述主播用户图像和所述主播用户骨骼动作数据,以及接收所述指定观众用户终端采集的所述指定观众用户图像和所述指定观众用户骨骼动作数据;
所述服务器,还用于将所述主播用户终端采集的所述主播用户图像和所述主播用户骨骼动作数据发送给所述直播间内的多个观众用户终端,并将所述指定观众用户终端采集的所述指定观众用户图像和所述指定观众用户骨骼动作数据发送给所述主播用户终端和所述多个观众用户终端中除所述指定观众用户终端之外的其它所有终端;
所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别在所述直播间的当前显示界面所显示的虚拟场景中显示所述主播用户图像和所述指定观众用户图像;
在显示过程中,所述多个观众用户终端中的每个观众用户终端和所述主播用户终端分别判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式,并当所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式时,触发与所述指定动作模式对应的事件。
14.如权利要求13所述的系统,其特征在于,所述多个观众用户终端包括所述直播间内所有观众用户的终端;或,
所述多个观众用户终端包括所述直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
15.如权利要求13所述的系统,其特征在于,对于所述多个观众用户终端中的每个观众用户终端,所述观众用户终端,用于基于所述主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,所述观众用户骨骼动作数据由所述观众用户终端采集得到;
所述观众用户终端,用于将所述匹配度发送至所述服务器;
所述服务器,用于接收每个观众用户终端发送的匹配度,并对接收的多个匹配度进行排序,得到排序列表;
所述服务器,用于将所述排序列表发送至所述主播用户终端,以使所述主播用户终端将所述排序列表中匹配度最大的观众用户确定为所述指定观众用户。
16.如权利要求15所述的系统,其特征在于,所述主播用户和所述指定观众用户均包括多个骨骼部位,所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据均包括所述多个骨骼部位的动作数据;
所述观众用户终端,用于基于所述主播用户骨骼动作数据和观众用户骨骼动作数据,确定匹配度,包括:
所述观众用户终端,用于确定所述主播用户骨骼动作数据中每个骨骼部位的动作数据与所述观众用户骨骼动作数据中对应骨骼部位的动作数据之间的匹配度,得到多个骨骼部位匹配度;
所述观众用户终端,用于将所述多个骨骼部位匹配度的平均值确定为所述匹配度。
17.一种实现虚拟场景中互动的装置,其特征在于,所述装置包括:
采集模块,用于采集当前直播间中主播用户的主播用户图像和主播用户骨骼动作数据;
第一接收模块,用于接收服务器发送的指定观众用户的指定观众用户图像和指定观众用户骨骼动作数据,所述指定观众用户为所述直播间中的观众用户;
显示模块,用于在所述直播间的当前显示界面所显示的虚拟场景中显示所述采集模块采集的所述主播用户图像和所述第一接收模块接收的所述指定观众用户图像;
判断模块,用于在所述显示模块显示过程中,判断所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据是否满足指定动作模式;
触发模块,用于当所述判断模块确定所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式时,触发与所述指定动作模式对应的事件。
18.如权利要求17所述的装置,其特征在于,所述装置还包括:
发送模块,用于将所述主播用户图像和所述主播用户骨骼动作数据发送给所述服务器,使所述服务器将所述主播用户图像和所述主播用户骨骼动作数据发送给所述直播间内的多个观众用户终端,所述多个观众用户终端包括指定观众用户终端。
19.如权利要求18所述的装置,其特征在于,所述多个观众用户终端包括所述直播间内所有观众用户的终端;或,
所述多个观众用户终端包括所述直播间内所有观众用户中账号级别大于或等于预设级别的观众用户的终端。
20.如权利要求18或19所述的装置,其特征在于,所述装置还包括:
第二接收模块,用于接收所述服务器发送的排序列表,所述排序列表为所述服务器对多个匹配度进行排序得到,所述多个匹配度与所述多个观众用户终端一一对应,且对于所述多个匹配度中每个匹配度,所述匹配度是由对应的观众用户终端基于所述主播用户骨骼动作数据和采集到的观众用户骨骼动作数据确定得到;
确定模块,用于从所述第二接收模块接收的所述排序列表中选择匹配度最大的观众用户,并将所选择的观众用户确定为所述指定观众用户。
21.如权利要求17所述的装置,其特征在于,所述判断模块用于:
确定所述主播用户骨骼动作数据与第一指定动作数据之间的匹配度,以及确定所述指定观众用户骨骼动作数据与第二指定动作数据之间的匹配度;
当所述主播用户骨骼动作数据与所述第一指定动作数据之间的匹配度大于或等于第一预设阈值,且所述指定观众用户骨骼动作数据与所述第二指定动作数据之间的匹配度大于或等于第二预设阈值时,确定所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述指定动作模式。
22.如权利要求17所述的装置,其特征在于,所述主播用户和所述指定观众用户均包括多个骨骼部位,所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据均包括所述多个骨骼部位的动作数据;
所述判断模块,还用于当所述指定动作模式包括握手动作模式,且检测到所述主播用户的右手部位的骨骼动作数据与所述指定观众用户的右手部位的骨骼动作数据之间的差值小于或等于第三预设阈值时,确定所述主播用户骨骼动作数据和所述指定观众用户骨骼动作数据满足所述握手动作模式。
23.如权利要求22所述的装置,其特征在于,所述多个骨骼部位包括头部位、颈部位、胸部部位,左手部位、左下臂部位、左上臂部位、右手部位、右下臂部位、右上臂部位、左大腿部位、左小腿部位、左脚部位、右大腿部位、右小腿部位以及右脚部位。
24.如权利要求17所述的装置,其特征在于,所述指定动作模式对应的事件包括显示虚拟花瓣、播放喝彩声以及请求所述服务器在所述主播或所述指定观众用户的账号中增加虚拟奖励中至少一种。
25.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序,所述程序由处理器执行以实现如权利要求5至12任一项所述的实现虚拟场景中互动的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610494996.5A CN106162369B (zh) | 2016-06-29 | 2016-06-29 | 一种实现虚拟场景中互动的方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610494996.5A CN106162369B (zh) | 2016-06-29 | 2016-06-29 | 一种实现虚拟场景中互动的方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106162369A CN106162369A (zh) | 2016-11-23 |
CN106162369B true CN106162369B (zh) | 2018-11-16 |
Family
ID=57350446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610494996.5A Active CN106162369B (zh) | 2016-06-29 | 2016-06-29 | 一种实现虚拟场景中互动的方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106162369B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106878820B (zh) * | 2016-12-09 | 2020-10-16 | 北京小米移动软件有限公司 | 直播互动方法及装置 |
CN111405299B (zh) * | 2016-12-19 | 2022-03-01 | 广州虎牙信息科技有限公司 | 基于视频流的直播交互方法及其相应的装置 |
CN108073273A (zh) * | 2016-12-27 | 2018-05-25 | 北京市商汤科技开发有限公司 | 业务对象的操作方法、装置和电子设备 |
CN106791573A (zh) * | 2017-01-17 | 2017-05-31 | 维沃移动通信有限公司 | 一种视频通话方法及装置 |
CN107438183A (zh) * | 2017-07-26 | 2017-12-05 | 北京暴风魔镜科技有限公司 | 一种虚拟人物直播方法、装置及系统 |
CN107613310B (zh) * | 2017-09-08 | 2020-08-04 | 广州华多网络科技有限公司 | 一种直播方法、装置及电子设备 |
CN108024134B (zh) * | 2017-11-08 | 2020-01-21 | 北京密境和风科技有限公司 | 一种基于直播的数据分析方法、装置和终端设备 |
WO2019095131A1 (zh) * | 2017-11-15 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 通话方法、客户端及存储介质 |
CN107820132B (zh) * | 2017-11-21 | 2019-12-06 | 广州华多网络科技有限公司 | 直播互动方法、装置及系统 |
CN107911736B (zh) * | 2017-11-21 | 2020-05-12 | 广州华多网络科技有限公司 | 直播互动方法及系统 |
CN109874021B (zh) * | 2017-12-04 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 直播互动方法、装置及系统 |
CN111417010B (zh) * | 2018-05-03 | 2022-11-15 | 广州虎牙信息科技有限公司 | 直播播放方法、装置、计算机可读存储介质和计算机设备 |
CN110166848B (zh) * | 2018-05-11 | 2021-11-05 | 腾讯科技(深圳)有限公司 | 一种直播互动的方法、相关装置及系统 |
CN108718425B (zh) * | 2018-05-31 | 2021-01-01 | 东莞市华睿电子科技有限公司 | 一种应用于频道的图片分享方法 |
CN111385664B (zh) * | 2018-12-29 | 2023-04-14 | 广州市百果园网络科技有限公司 | 直播间的互动数据处理方法、装置、存储介质及服务器 |
CN109547811B (zh) * | 2019-01-15 | 2021-09-21 | 深圳市云歌人工智能技术有限公司 | 展示交互内容的方法、装置以及存储介质 |
CN110602517B (zh) * | 2019-09-17 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 基于虚拟环境的直播方法、装置和系统 |
CN111641841B (zh) * | 2020-05-29 | 2022-04-19 | 广州方硅信息技术有限公司 | 虚拟蹦迪活动数据交换方法、装置、介质及电子设备 |
CN111885411A (zh) * | 2020-08-03 | 2020-11-03 | 网易(杭州)网络有限公司 | 网络直播中的显示控制方法、装置、电子设备及存储介质 |
CN112333459B (zh) * | 2020-10-30 | 2022-10-25 | 北京字跳网络技术有限公司 | 一种视频直播的方法、装置以及计算机存储介质 |
CN113318442A (zh) * | 2021-05-27 | 2021-08-31 | 广州繁星互娱信息科技有限公司 | 直播界面显示方法、数据上传方法和数据下发方法 |
CN114173139B (zh) * | 2021-11-08 | 2023-11-24 | 北京有竹居网络技术有限公司 | 一种直播互动方法、系统及相关装置 |
CN114827644A (zh) * | 2021-12-29 | 2022-07-29 | 广州方硅信息技术有限公司 | 基于用户匹配信息的直播互动方法、装置及计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930284A (zh) * | 2009-06-23 | 2010-12-29 | 腾讯科技(深圳)有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和系统 |
CN103414630A (zh) * | 2013-08-28 | 2013-11-27 | 腾讯科技(深圳)有限公司 | 网络互动方法和相关装置及通信系统 |
CN103856552A (zh) * | 2012-11-29 | 2014-06-11 | 广州市千钧网络科技有限公司 | 用于互动直播的方法和设备 |
CN105554523A (zh) * | 2015-12-04 | 2016-05-04 | 珠海多玩信息技术有限公司 | 基于直播频道的信息交互方法及服务器 |
-
2016
- 2016-06-29 CN CN201610494996.5A patent/CN106162369B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930284A (zh) * | 2009-06-23 | 2010-12-29 | 腾讯科技(深圳)有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和系统 |
CN103856552A (zh) * | 2012-11-29 | 2014-06-11 | 广州市千钧网络科技有限公司 | 用于互动直播的方法和设备 |
CN103414630A (zh) * | 2013-08-28 | 2013-11-27 | 腾讯科技(深圳)有限公司 | 网络互动方法和相关装置及通信系统 |
CN105554523A (zh) * | 2015-12-04 | 2016-05-04 | 珠海多玩信息技术有限公司 | 基于直播频道的信息交互方法及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN106162369A (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106162369B (zh) | 一种实现虚拟场景中互动的方法、装置及系统 | |
KR102040754B1 (ko) | 추천 콘텐츠에 기초한 상호작용 방법, 단말기 및 서버 | |
KR102058976B1 (ko) | 애플리케이션의 처리 방법 및 장치 | |
CN112929687B (zh) | 基于直播视频的互动方法、装置、设备及存储介质 | |
CN110868626B (zh) | 一种内容数据预加载的方法及装置 | |
CN110198484B (zh) | 消息推送方法、装置及设备 | |
CN107707828B (zh) | 一种视频处理方法及移动终端 | |
CN106303733B (zh) | 播放直播特效信息的方法和装置 | |
CN108259983A (zh) | 一种视频图像处理方法、计算机可读存储介质和终端 | |
CN110221734A (zh) | 信息显示方法、图形用户接口及终端 | |
CN109920065A (zh) | 资讯的展示方法、装置、设备及存储介质 | |
KR20140105024A (ko) | 향상된 미디어 경험들을 제공하기 위한 햅틱 기술들의 사용 | |
CN108111909A (zh) | 视频图像处理方法及计算机存储介质、终端 | |
CN108259925A (zh) | 视频直播中的音乐礼物处理方法、存储介质及终端 | |
CN108966004A (zh) | 一种视频处理方法及终端 | |
CN109525883A (zh) | 互动特效显示方法、装置、电子设备、服务器及存储介质 | |
CN110061900A (zh) | 消息显示方法、装置、终端及计算机可读存储介质 | |
CN113490010B (zh) | 基于直播视频的互动方法、装置、设备及存储介质 | |
CN111836069A (zh) | 虚拟礼物赠送方法、装置、终端、服务器及存储介质 | |
CN109618192B (zh) | 播放视频的方法、装置、系统和存储介质 | |
CN112181573A (zh) | 媒体资源展示方法、装置、终端、服务器以及存储介质 | |
CN109039872A (zh) | 实时语音信息的交互方法、装置、电子设备及存储介质 | |
CN110087149A (zh) | 一种视频图像分享方法、装置及移动终端 | |
CN109151176A (zh) | 一种信息获取方法及终端 | |
CN109830248A (zh) | 一种音频录制方法及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211231 Address after: 16F, Kungang science and technology building, 777 Huancheng South Road, Xishan District, Kunming, Yunnan 650100 Patentee after: Yunnan Tengyun Information Industry Co.,Ltd. Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |