CN110662083B - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110662083B CN110662083B CN201910947226.5A CN201910947226A CN110662083B CN 110662083 B CN110662083 B CN 110662083B CN 201910947226 A CN201910947226 A CN 201910947226A CN 110662083 B CN110662083 B CN 110662083B
- Authority
- CN
- China
- Prior art keywords
- data
- terminal
- avatar
- pose
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000009471 action Effects 0.000 claims description 201
- 239000012634 fragment Substances 0.000 claims description 99
- 238000012545 processing Methods 0.000 claims description 54
- 230000008859 change Effects 0.000 claims description 46
- 230000005540 biological transmission Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 21
- 230000003993 interaction Effects 0.000 abstract description 44
- 230000008569 process Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 241000989913 Gunnera petaloidea Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开关于一种数据处理方法、装置、电子设备及存储介质,其中,该方法可以应用于服务器,该方法包括:在获取到第一终端和/或第二终端发送的实时聊天数据时,提取实时聊天数据的第一特征数据,基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。
Description
技术领域
本公开涉及网络直播技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
随着通信技术的发展,网络带宽容量和网络速率也越来越高,从而催生了大量视频直播应用。通过视频直播应用,使用智能终端的主播可以将直播视频实时发送给使用智能终端的多个观众观看,该主播还可以使用智能终端与观众进行互动。例如,主播和观众之间进行语音聊天互动和文字聊天互动等。
然而,由于相关技术中的直播应用,仅仅使用了语音聊天技术和文字聊天技术,使得主播和观众之间只能采用语音聊天和文字聊天方式,由于这种互动方式单一,当观众发送了语音聊天信息和文字聊天信息后,主播未能与该观众及时互动,会造成观众的不满,导致观众流失。因此,如何为主播和观众之间提供更多互动方式,以提高主播的观众成为亟待解决的问题。
发明内容
本公开提供一种数据处理方法、装置、电子设备及存储介质,以至少解决相关技术中互动方式单一的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种数据处理方法,应用于服务器,服务器与多个终端通信连接,多个终端至少包括第一终端和第二终端,该方法包括:
在获取到第一终端和/或第二终端发送的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;
基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
根据本公开实施例的第二方面,提供一种数据处理方法,应用于第二终端,第二终端与第一终端通信连接,该方法包括:
在获取到与第一终端的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;
基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
根据本公开实施例的第三方面,提供一种数据处理装置,应用于服务器,服务器与多个终端通信连接,多个终端至少包括第一终端和第二终端,该装置包括:
聊天数据获取模块,被配置为执行在获取到第一终端和/或第二终端发送的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
第一位姿数据确定模块,被配置为执行基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;
第一虚拟形象发送模块,被配置为执行基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
根据本公开实施例的第四方面,提供一种数据处理装置,应用于第二终端,第二终端与第一终端通信连接,该装置包括:
聊天数据获取模块,被配置为执行在获取到与第一终端的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
第一位姿数据确定模块,被配置为执行基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;
第一虚拟形象发送模块,被配置为执行基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
根据本公开实施例的第五方面,提供一种电子设备包括:处理器;用于存储处理器可执行指令的存储器;
其中,该处理器被配置为执行指令,以实现上述第一方面或第二方面的一种数据处理方法。
根据本公开实施例的第六方面,提供一种存储介质,当存储介质中的指令由上述第五方面提供的电子设备的处理器执行时,使得上述第五方面提供的电子设备能够执行上述第一方面或第二方面的一种数据处理方法。
根据本公开实施例的第七方面,提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面的一种数据处理方法。
本公开的实施例提供的一种数据处理方法、装置、电子设备及存储介质,可以在主播和观众进行聊天时,获取到获取到第一终端和/或第二终端发送的实时聊天数据,并提取实时聊天数据的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。从而可以使得该虚拟形象也能够与观众进行互动,这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是为应用本公开实施例的数据处理方法的系统示意图;
图2是示例性示出的应用于服务器的数据处理方法第一种实施方式的流程图;
图3是示例性示出的应用于服务器的数据处理方法第二种实施方式的流程图;
图4是示例性示出的应用于服务器的数据处理方法第三种实施方式的流程图;
图5是示例性示出的应用于服务器的数据处理方法第四种实施方式的流程图;
图6是示例性示出的应用于服务器的数据处理方法第五种实施方式的流程图;
图7是示例性示出的应用于服务器的数据处理方法第六种实施方式的流程图;
图8是示例性示出的应用于服务器的数据处理装置的结构框图。
图9是示例性示出的应用于第二终端的数据处理方法第一种实施方式的流程图;
图10是示例性示出的应用于第二终端的数据处理方法第二种实施方式的流程图;
图11是示例性示出的应用于第二终端的数据处理方法第三种实施方式的流程图;
图12是示例性示出的应用于第二终端的数据处理方法第四种实施方式的流程图;
图13是示例性示出的应用于第二终端的数据处理方法第五种实施方式的流程图;
图14是示例性示出的应用于第二终端的数据处理方法第六种实施方式的流程图;
图15是示例性示出的应用于第二终端的数据处理装置的框图。
图16是示例性实施例示出的第二终端的结构框图;
图17是示例性实施例示出的一种服务器的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了解决现有技术存在的问题,本公开实施例提供了一种数据处理方法、装置、电子设备及存储介质,以至少解决相关技术中互动方式单一的问题。
首先,对本公开实施例的应用场景进行介绍,如图1所示,为应用本公开实施例的数据处理方法的系统示意图,该系统可以包括服务器130与多个终端,该多个终端可以包括终端一110、终端二120以及终端三140。本公开实施例的数据处理方法可以应用于服务器130,也可以应用于该多个终端中的任一终端。
当该数据处理方法应用于服务器130时,该服务器130可以获取到与该服务器130通信连接的终端发送的实时聊天数据。该实时聊天数据可以是主播使用的终端通过该服务器130发送的数据,也可以是观众使用的终端通过该服务器130发送的数据。然后可以提取该实时聊天数据中的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于可以第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。这样,可以使得该虚拟形象的位姿能够基于终端之间的聊天数据而进行改变,可以避免主播不能与观众及时互动,从而可以增加主播与观众之间的互动方式,提高观众的满意度。
当该数据处理方法应用于任一终端时,例如,应用于终端一110,则该终端一110则为第二终端。该终端一110可以接收到终端二120和/或终端三140发送的实时聊天数据,然后可以提取该实时聊天数据中的第一特征数据,再基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;其中,该第一虚拟形象为在该终端一110中预先建立的虚拟形象。最后,基于第一位姿数据改变该第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至终端二120和/或终端三140。这样,可以使得该虚拟形象的位姿能够基于终端之间的聊天数据而进行改变,可以避免主播不能与观众及时互动,从而可以增加主播与观众之间的互动方式,提高观众的满意度。
下面,对应用于服务器的一种数据处理方法进行介绍,该服务器与多个终端通信连接,该多个终端至少包括第一终端和第二终端,如图2所示,是示例性示出的应用于服务器的数据处理方法第一种实施方式的流程图,该方法可以包括:
S201,在获取到第一终端和/或第二终端发送的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
在一些示例中,通常情况下,第二终端可以向服务器发送一个创建房间的请求,以便在服务器中建立一个虚拟房间,然后,第一终端可以通过与服务器建立通信连接而使得使用该第一终端的用户的虚拟身份加入到该虚拟房间中。该第一终端的用户的虚拟身份加入该虚拟房间后,第一终端可以发送聊天数据到该房间中,第二终端也可以发送聊天数据到该虚拟房间,从而可以实现第二终端的用户与第一终端的用户进行实时聊天,产生的实时聊天数据可以记录在该服务器中,因此,该服务器可以获取到第一终端和/或第二终端发送的实时聊天数据。
在一些示例中,该第二终端的用户可以主播,第一终端的用户可以是观看该主播的直播视频的观众。
在一些示例中,该实时聊天数据可以是经过第一终端的观众和/或第二终端的主播授权许可后,从第一终端和/或第二终端获取的聊天数据。
该服务器在获取到实时聊天数据后,为了使得能够自动与观众进行互动,可以对该实时聊天数据进行分析,分析该实时聊天数据的特征数据。该特征数据可以是关键字和/或关键词等。
在一些示例中,该服务器中可以预先存储有一个关键字和/或关键词库,当该实时聊天数据为文字聊天数据时,该服务器可以先对该实时聊天数据进行分词,然后在该预先建立的关键字和/或关键词库中查找与该实时聊天数据中的每个词对应的关键词和/或关键字。从而可以得到该实时聊天数据的特征数据。
当该实时聊天数据为语音聊天数据时,则可以先将该语音聊天数据转换为文字聊天数据,然后可以采用预先建立的关键字和/或关键词库确定该语音聊天数据对应的特征数据,也即第一特征数据。
当该实时聊天数据为手势数据时,可以在预先建立的手势数据与特征数据对应关系库中查找与该手势数据对应的特征数据,也即第一特征数据。
S202,基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据。
在得到第一特征数据后,为了使得预先设置的虚拟形象能够与观众进行互动,在本步骤中,可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定出与该第一特征数据对应的第一位姿数据。
在一些示例中,该服务器中可以预先存储有多个特征数据和多个位姿数据,每个特征数据对应一个位姿数据。例如,可以存储有特征数据“大笑”、“哈哈”、“站立”、“起立”、“转身”、“翻滚”也可以存储有与特征数据“大笑”、“哈哈”对应的位姿数据,与特征数据“站立”、“起立”对应的位姿数据,与特征数据“转身”对应的位姿数据,与特征数据“翻滚”对应的位姿数据。
在一些示例中,该第一虚拟形象可以是存储于该服务器中的虚拟形象,该虚拟形象可以是由工作人员预先设置的。
S203,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
上述的服务器在确定出与第一特征数据对应的第一位姿数据后,则可以采用该第一位姿数据来改变预先建立的虚拟形象的位姿,也即改变第一虚拟形象的位姿,从而可以得到改变位姿后的第一虚拟形象,然后可以将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端,从而可以实现基于第一终端和/或第二终端发送的实时聊天数据,让虚拟形象与第一终端的用户进行互动。
例如,假设确定出的第一位姿数据为第一特征数据“弯腰致敬”对应的第一位姿数据,则可以改变该虚拟形象的位姿,以使该虚拟形象的位姿改变为弯腰后的位姿,然后可以将该虚拟形象弯腰后的位姿发送至第一终端,从而可以实现该虚拟形象与第一终端的用户进行互动。
在一些示例中,为了使得第二终端的用户也可以观看到该基于第一位姿数据改变位姿后的第一虚拟形象,以便基于该改变位姿后的第一虚拟形象与第一终端的用户进行更好的互动,上述的服务器除了将该基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端外,还可以将该基于第一位姿数据改变位姿后的第一虚拟形象发送至第二终端。
在又一些示例中,上述的服务器可以先将该改变位姿后的第一虚拟形象发送至第一终端,然后将改变位姿后的第一虚拟形象发送至第二终端;也可以先将改变位姿后的第一虚拟形象发送至第二终端,然后再发送至第一终端;还可以将改变位姿后的第一虚拟形象同时发送至第一终端和第二终端,这都是可以的。
本公开的实施例提供的一种数据处理方法,可以在主播和观众进行聊天时,获取到第一终端和/或第二终端发送的实时聊天数据,并提取实时聊天数据的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。从而可以使得该虚拟形象也能够与观众进行互动,这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。
在一些示例中,上述的服务器除了使用预先设立的模板虚拟形象外,在图2所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图3所示,是示例性示出的应用于服务器的数据处理方法第二种实施方式的流程图,在步骤S201,在获取到第一终端和/或第二终端发送的实时聊天数据时,提取实时聊天数据的第一特征数据之前,该方法还可以包括:
S204,在获取到第二终端发送的人体体态信息时,提取人体体态信息中的第二特征数据;
S205,将第二特征数据叠加至预设人体模型,生成与人体体态信息对应的第一虚拟形象。
在一些示例中,主播除了使用服务器中预先存储的虚拟形象外,还可以基于自身的形象在服务器中创建一个虚拟形象,对此,该主播可以使用第二终端向服务器发送一个虚拟形象创建请求,该服务器在接收到该虚拟形象创建请求后,可以获取该主播的人体体态信息,其中,该人体体态信息可以包括该主播的全身体态,也可以包括该主播的头部体态。
该服务器获取到该主播的人体体态信息后,为了基于该人体体态信息生成该主播的第一虚拟形象,则可以对该人体体态信息进行特征分析,以便提取该人体体态信息中的特征数据,也即第二特征数据。例如,当该人体体态信息为全身体态时,该服务器可以从该人体体态信息中,提取到该主播的人体关键点和头部关键点;当该人体体态信息为头部体态时,则该服务器可以从该人体体态信息中,提取到该主播的头部关键点。
上述的服务器提取到人体体态信息对应的第二特征数据后,可以从本地预先存储的人体模型中,获取一个预设人体模型,并将该第二特征数据叠加至该预设人体模型,从而可以生成与该人体体态信息对应的第一虚拟形象。
在一些示例中,上述的服务器在提取到人体体态信息对应的第二特征数据后,可以将本地预先存储的多个人体模型发送至第二终端,以便第二终端的主播从该多个人体模型中选择一个人体模型,当该服务器接收到该第二终端发送的主播选择的人体模型后,则可以将该第二特征数据叠加至该选择的人体模型中,从而可以得到与主播的人体体态信息对应的第一虚拟形象。例如,可以将提取得到的人体关键点叠加至该人体模型中的人体关键点中,以替代该人体模型中的人体关键点,也可以采用该主播的头部关键点替代该人体模型中的头部关键点,从而可以得到主播的人体体态信息对应的第一虚拟形象。
在一些示例中,该人体体态信息可以是第二终端发送的图像,则上述的服务器可以在获取到第二终端发送的图像后,对该图像进行人脸特征识别和人体特征识别,得到该图像中的人脸特征和人体特征。
在又一些示例中,上述的预设人体模型可以是由多个预先设置的模型肢体组合成的人体模型。在本公开的一个方面,上述的服务器可以基于使用第二终端的主播的语音,来预先组合成人体模型。
例如,主播可以向第二终端输入要选择的模型肢体的语音,则该第二终端在获取到该语音后,将该语音发送至上述的服务器,服务器可以对该语音进行识别,以得到该语音对应的语音特征。然后,在预先建立的人体模型肢体库中查找与语音特征对应的模型肢体,在得到模型肢体后,可以对该模型肢体进行组合,得到上述的预设人体模型;最后,可以将人脸特征和人体特征叠加至预设人体模型,生成与人脸特征和人体特征对应的第一虚拟形象。
通过本公开实施例,可以使得该第一虚拟形象与主播的形象更贴近,以使得该虚拟形象与观众之间的互动更贴近于该主播与观众之间的互动,提高观众的感兴趣度。
在一些示例中,为了提高设置虚拟形象的灵活的,在生成与使用人体体态信息对应的第一虚拟形象的步骤之后,第二终端的主播也可以对生成的第一虚拟形象进行调整。对此,该主播可以使用第二终端向服务器发送一个形象调整请求,以便该服务器获取生成的第一虚拟形象的尺寸参数。该虚拟形象的尺寸参数可以包括:头部高度、脸的宽度、瞳距等参数。
然后,该服务器可以将该第一虚拟形象的尺寸参数发送至第二终端,第二终端的主播可以基于该参数进行调整,当第二终端的主播在进行调整后,该第二终端可以在获取到调整参数时,生成一个形象改变操作,然后将该形象改变操作发送至服务器。
该服务器在获取到第二终端发送的形象改变操作时,可以基于该形象改变操作,对生成的与人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。也即采用该调整参数,调整该第一虚拟形象,从而可以得到改变形象后的第一虚拟形象。
在一些示例中,为了使得该改变形象后的第一虚拟形象能够更好的与观众互动,提高观众的感兴趣度,该改变形象后的第一虚拟形象的尺寸参数可以随着时间改变而改变。
例如,随着主播使用第二终端时间的加长,该改变形象后的第一虚拟形象的尺寸参数可以变大或者变小,以使得该改变形象后的第一虚拟形象随着时间的加长变高、变低、变胖或变瘦等。
在又一些示例中,随着时间的改变,第一终端发送的物品会改变、第一终端的数量也会改变、关注该第二终端的主播的观众数量也会改变,例如,第一终端的观众会向第二终端的主播赠送更多的礼物,有更多的观众使用第一终端观看第二终端的主播的直播等;因此,上述的改变形象后的第一虚拟形象的尺寸参数可以随着物品信息的改变而改变,也可以随着第一终端的数量的改变而改变,还可以随着关注该第二终端的主播的观众数量的改变而改变,这都是可以的。
在一些示例中,当观众使用的第一终端为具有虚拟现实技术的终端时,上述的第二终端可以实时获取主播所处场景的场景信息,并将该场景信息发送至服务器,然后服务器可以生成与该场景信息对应的虚拟场景,并基于上述的人体体态信息,生成三维第一虚拟形象,并基于该主播在所处场景的位置,将该三维第一虚拟形象叠加至上述的虚拟场景,这样,可以生成包含该第一虚拟形象的虚拟场景,以便观众使用该具有虚拟现实技术的终端与第二终端的主播进行互动。
在又一些示例中,当观众使用的第一终端是具有增强现实技术的终端时,上述的第二终端可以实时获取主播所处场景的场景信息,然后将该场景信息发送至服务器,服务器可以将生成的第一虚拟形象叠加至该场景信息中,使得第一终端的观众使用具有增强现实技术的终端,可以观看到叠加有该第一虚拟形象的场景信息,也即,可以观看到将主播所处的场景与主播的第一虚拟形象叠加后的场景。
在又一些示例中,本公开实施例的一种应用于服务器的数据处理方法,还可以获取第二终端中的历史数据,然后可以根据该历史数据生成第一虚拟形象,其中,该历史数据可以至少包括:历史虚拟形象数据和/或历史聊天数据。
在一些示例中,当第二终端中的历史数据为历史虚拟形象数据时,通过对该历史虚拟形象数据进行分析,可以得到第二终端对应的主播常用的虚拟形象,然后可以根据该主播常用的虚拟形象,从而生成该第一虚拟形象。
当第二终端中的历史数据为历史聊天数据时,通过对该历史聊天数据进行分析,可以得到该第二终端对应的主播的兴趣偏好和性格,从而可以生成与该主播的兴趣偏好和性格相符合的第一虚拟形象。这样,可以使得自动生成第一虚拟形象,无需主播的操作,提高生成第一虚拟形象的便捷性。
在又一些示例中,上述的第二终端在获取历史数据时,可以先显示一个用户数据获取征求信息,以便该主播选择是否同意该第二终端获取历史数据,当主播同意获取第二终端用户数据时,则该第二终端可以获取到关于该主播的历史数据。当该主播不同意第二终端获取用户数据时,则该第二终端无法获取都关于该主播的历史数据,从而可以保证该主播的用户数据的安全。
在图3所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图4所示,是示例性示出的应用于服务器的数据处理方法第三种实施方式的流程图,在步骤S203基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端的步骤之后,该方法还可以包括:
S206,在获取到第一终端发送的第一物品信息后,基于预先建立的物品信息与第一虚拟形象的位姿数据之间的对应关系,确定与第一物品信息对应的第二位姿数据;
S207,基于第二位姿数据改变第一虚拟形象的位姿,并将基于第二位姿数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,第一终端的观众在与第二终端的主播进行互动的过程中,可以给该主播赠送物品,则该第一终端的观众可以在第一终端点击第一终端中的物品并点击赠送,此时,该服务器可以接收到第一终端发送的第一物品信息。
为了使得观众在赠送物品后,该虚拟形象能够与该观众进行互动,则可以预先建立物品信息与第一虚拟形象的位姿数据之间的对应关系,当该服务器接收到第一物品信息后,可以基于该预先建立的物品信息与位姿数据之间的对应关系,确定出与第一物品信息对应的第二位姿数据,然后可以采用该第二位姿数据来改编该第一虚拟形象的位姿,在改变第一虚拟形象的位姿后,可以将基于第二位姿数据改变位姿后的第一虚拟形象发送至第一终端。以使得该第一虚拟形象与观众之间的互动能够与第一终端发送的物品信息对应。
在图3所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图5所示,是示例性示出的应用于服务器的数据处理方法第四种实施方式的流程图,在步骤S203基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端的步骤之后,该方法还可以包括:
S208,获取第二终端发送的视频帧,并识别视频帧中的第二人体体态信息;
S209,基于预先建立的人体体态信息与第一虚拟形象的动作数据之间的对应关系,确定与第二人体体态信息对应的第一动作数据;
S210,基于第一动作数据改变第一虚拟形象的位姿,并将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,上述的第一虚拟形象除了能够与第一终端的观众进行互动外,还可以与第二终端的主播进行互动,并且可以让第一终端的观众观看到该第一虚拟形象与第二终端的主播进行互动的过程,对此,上述的服务器可以获取第二终端的视频帧,其中,该第二终端的视频帧可以是第二终端的主播采用第二终端的摄像头拍摄得到后主动发送给上述的服务器的,也可以是该第二终端接受到服务器发送的人体体态信息获取请求后,采用第二终端的摄像头拍摄的第二终端的主播的人体体态后得到的。
上述的服务器在接收到第二终端发送的视频帧后,可以对该视频帧进行识别,以识别该视频帧中的第二人体体态信息,在一些示例中,该服务器可以识别该视频帧中的人体关键点,并将该视频帧中的人体关键点作为该第二人体体态信息。或者识别该视频帧中的头部关键点,并将该视频帧中的头部关键点作为该第二人体体态信息。
在又一些示例中,为了使得第二虚拟形象在与主播的互动时,第二虚拟形象的位姿能够与主播的人体体态相对应,可以预先建立一个人体体态信息与第一虚拟形象的动作数据之间的对应关系,则该服务器可以基于预先建立的人体体态信息与第一虚拟形象的动作数据之间的对应关系,确定与第二人体体态信息对应的第一动作数据。
该服务器在确定出与第二人体体态信息对应的第一动作数据后,可以基于该第一动作数据改变第一虚拟形象的位姿,并将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端。这样,使得使用第一终端的观众能够观看到使用第二终端的主播与第一虚拟形象的互动过程,从而增加观众观看的兴趣,提高观众的观看体验度。
在一些示例中,在将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端时,可以将该基于第一动作数据改变位姿后的第一虚拟形象叠加至视频帧中,然后发送至第一终端。
在又一些示例中,该第一动作数据可以是该第一虚拟形象的各个关键点之间的位置数据或距离数据。
在一些示例中,为了使得使用第二终端的主播能够观看到自己与虚拟形象互动的过程,还可以将基于第一动作数据改变位姿后的第一虚拟形象发送至第二终端。这样,可以使得该主播能够更好的与观众进行互动。
在又一些示例中,该第一虚拟形象除了基于该主播的人体体态信息与主播进行互动外,为了使得该第一虚拟形象还能够基于使用第二终端的主播的语音信息与该主播进行互动,在图3所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图6所示,示例性示出的应用于服务器的数据处理方法第五种实施方式的流程图,在步骤S203基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端的步骤之后,该方法还可以包括:
S211,获取第二终端发送的视频片段和第一语音指令;
S212,基于预先建立的语音指令与动作片段数据之间的对应关系,确定与第一语音指令对应的第一动作片段数据;
S213,基于第一动作片段数据生成第一虚拟形象的动作片段,并将第一虚拟形象的动作片段和视频片段发送至第一终端。
在一些示例中,为了使得该第一虚拟形象能够基于主播的语音指令与主播进行互动,上述的服务器中可以预先存储有语音指令以及与语音指令具有对应关系的动作片段数据。
该主播可以使用第二终端向服务器发送一个语音指令和一段视频片段,则该服务器可以接收到第二终端发送的视频片段和第一语音指令,然后可以基于预先建立的语音指令与动作片段数据之间的对应关系,确定与第一语音指令对应的第一动作片段数据。然后可以基于该第一动作片段数据,生成该第一虚拟形象的动作片段,最后,将该第一虚拟形象的动作片段和视频片段发送至第一终端。
在一些示例中,该第一动作片段数据可以是不同时刻对应的第一虚拟形象的各个关键点之间的位置或距离。
例如,假设上述的第二终端发送了一段“伸出手掌”的视频片段,并发送了一个“跳舞”的语音指令,则该服务器接收到该“跳舞”的语音指令后,可以确定出与该“跳舞”的语音指令对应的动作片段数据,然后可以生成该第一虚拟形象“跳舞”的动作片段,最后将该“跳舞”的动作片段和“伸出手掌”的视频片段一起发送至该第一终端。这样,可以使得使用第一终端的观众能够看到该第一虚拟形象基于主播的语音指令与主播进行互动的过程,提高第一虚拟形象与主播进行互动的互动方式。
在一些示例中,为了使得使用第二终端的主播能够观看到该第一虚拟形象基于语音指令与自己进行互动的过程,上述的服务器可以将第一虚拟形象的动作片段和视频片段发送至第二终端。
在一些示例中,为了增加观众的感兴趣度,该第二终端的主播除了与第一虚拟形象以及第一终端的观众进行互动外,还可以与其他主播的虚拟形象进行互动,对此,上述的服务器还可以与第三终端通信连接,该第三终端可以是其他主播中的任一主播使用的终端,对此,在图3所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图7所示,示例性示出的应用于服务器的数据处理方法第六种实施方式的流程图,在步骤S203基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端的步骤之后,该方法还可以包括:
S214,在接收到第三终端发送的第二语音指令时,基于第三终端的标识信息,确定与第三终端对应的第二虚拟形象以及第二虚拟形象的多个动作片段数据;
S215,确定与第二语音指令对应的第二动作片段数据;
S216,基于第二动作片段数据,生成第二虚拟形象的动作片段,将第二虚拟形象的动作片段和第二终端发送的视频片段共同发送至第一终端。
在一些示例中,该第二终端的主播在与其他主播的虚拟形象进行互动前,该其他主播可以使用自己的终端向服务器发送一个语音指令,例如,使用第三终端向服务器发送一个第二语音指令,因此,上述的服务器可以接收到第三终端发送的第二语音指令。
上述的服务器在接收到第三终端发送的第二语音指令后,为了确定出与使用第三终端的主播对应的虚拟形象,可以基于该第三终端的标识信息,确定出该第三终端对应的第二虚拟形象以及该第二虚拟形象能够使用的多个动作片段的动作片段数据。其中,该服务器中可以存储有与第三终端的标识信息对应的第二虚拟形象,还存储有该第二虚拟形象的多个动作片段数据。
上述的服务器在确定出第三终端对应的第二虚拟形象后,可以从该第二虚拟形象的多个动作片段数据中,基于该第三终端发送的第二语音指令,确定出与该第二语音指令对应第二动作片段数据。然后可以采用该第二动作片段数据和第二虚拟形象,生成该第二虚拟形象的动作片段。
在一些示例中,该第二动作片段数据可以是不同时刻对应的第二虚拟形象的各个关键点之间的位置或距离。
上述的服务器生成的第二虚拟形象的动作片段后,可以将该第二虚拟形象的动作片段和该服务器接收到的第二终端发送的视频片段共同发送至第一终端,使得第一终端得观众可以观看到该第二终端的主播与第三终端对应的第二虚拟形象之间的互动过程,从而可以提高观众的观看兴趣度。增加主播与观众之间的互动方式。
在一些示例中,上述的服务器可以将该第二虚拟形象叠加至该第二终端发送的视频片段中发送至第一终端,这也是可以的。
在又一些示例中,上述的服务器在将第二虚拟形象的动作片段和第二终端发送的视频片段共同发送至第一终端后,还可以将第二虚拟形象的动作片段和第二终端发送的视频片段共同发送至第二终端和/或第三终端。使得第二终端的主播和/或第三终端的主播能够观看到该第二终端的主播与该第二虚拟形象之间的互动过程。
相应于上述的应用于服务器的数据处理方法实施例,本公开实施例还提供了一种数据处理装置,可以应用于服务器,如图8所示,是示例性示出的应用于服务器的数据处理装置的结构框图,该装置可以包括:
聊天数据获取模块810,被配置为执行在获取到第一终端和/或第二终端发送的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
第一位姿数据确定模块820,被配置为执行基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;
第一虚拟形象发送模块830,被配置为执行基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
本公开的实施例提供的一种数据处理装置,可以在主播和观众进行聊天时,获取到获取到第一终端和/或第二终端发送的实时聊天数据,并提取实时聊天数据的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。从而可以使得该虚拟形象也能够与观众进行互动,这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。
在一些示例中,第一虚拟形象发送模块830,还被配置为执行将基于第一位姿数据改变位姿后的第一虚拟形象发送至第二终端。
在一些示例中,该装置还可以包括:
第一体态信息获取模块,被配置为执行在获取到第二终端发送的人体体态信息时,提取人体体态信息中的第二特征数据;
第一虚拟形象生成模块,被配置为执行将第二特征数据叠加至预设人体模型,生成与人体体态信息对应的第一虚拟形象。
在一些示例中,第一体态信息获取模块,具体被配置为执行获取第二终端发送的图像,并对图像进行人脸特征识别和人体特征识别,得到图像中的人脸特征和人体特征;
在一些示例中,该数据处理装置还可以包括:
语音识别模块,被配置为执行获取第二终端发送的语音,并对语音进行语音识别,得到语音对应语音特征;
预设人体模型建立模块,被配置为执行在预先建立的人体模型肢体库中查找与语音特征对应的模型肢体,并对模型肢体进行组合,得到预设人体模型;
在一些示例中,第一虚拟形象生成模块,具体被配置为执行将人脸特征和人体特征叠加至预设人体模型,生成与人脸特征和人体特征对应的第一虚拟形象。
在一些示例中,该装置还可以包括:
操作获取模块,被配置为执行获取第二终端发送的形象改变操作,并基于形象改变操作,对生成的与人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。
在一些示例中,改变形象后的第一虚拟形象的参数随着时间改变而改变。
在一些示例中,该装置还可以包括:
第二虚拟形象生成模块,用于获取第二终端中的历史数据;并根据历史数据,生成第一虚拟形象,其中,历史数据至少包括:历史虚拟形象数据和/或历史聊天数据。
在一些示例中,该装置还可以包括:
第二位姿数据确定模块,被配置为执行在获取到第一终端发送的第一物品信息后,基于预先建立的物品信息与第一虚拟形象的位姿数据之间的对应关系,确定与第一物品信息对应的第二位姿数据;
第二虚拟形象发送模块,被配置为执行基于第二位姿数据改变第一虚拟形象的位姿,并将基于第二位姿数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,该装置还可以包括:
第二体态信息获取模块,被配置为执行获取第二终端发送的视频帧,并识别视频帧中的第二人体体态信息;
动作数据确定模块,被配置为执行基于预先建立的人体体态信息与第一虚拟形象的动作数据之间的对应关系,确定与第二人体体态信息对应的第一动作数据;
第三虚拟形象发送模块,被配置为执行基于第一动作数据改变第一虚拟形象的位姿,并将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,第三虚拟形象发送模块,具体被配置为执行将基于第一动作数据改变位姿后的第一虚拟形象叠加至视频帧中发送至第一终端。
在一些示例中,第三虚拟形象发送模块,具体被配置为执行将基于第一动作数据改变位姿后的第一虚拟形象发送至第二终端。
在一些示例中,该装置还可以包括:
第一语音指令获取模块,被配置为执行获取第二终端发送的视频片段和第一语音指令;
第一动作片段数据确定模块,被配置为执行基于预先建立的语音指令与动作片段数据之间的对应关系,确定与第一语音指令对应的第一动作片段数据;
第四虚拟形象发送模块,被配置为执行基于第一动作片段数据生成第一虚拟形象的动作片段,并将第一虚拟形象的动作片段和视频片段发送至第一终端。
在一些示例中,第四虚拟形象发送模块,还被配置为执行将第一虚拟形象的动作片段和视频片段发送至第二终端。
在一些示例中,多个终端还包括第三终端;该装置还可以包括:
第二语音指令获取模块,被配置为执行在接收到第三终端发送的第二语音指令时,基于第三终端的标识信息,确定与第三终端对应的第二虚拟形象以及第二虚拟形象的多个动作片段数据;
第二动作片段数据确定模块,被配置为执行确定与第二语音指令对应的第二动作片段数据;
第五虚拟形象发送模块,被配置为执行基于第二动作片段数据,生成第二虚拟形象的动作片段,将第二虚拟形象的动作片段和第二终端发送的视频片段共同发送至第一终端。
在一些示例中,第五虚拟形象发送模块,还被配置为执行将第二虚拟形象的动作片段和第二终端发送的视频片段共同发送至第二终端和/或第三终端。
本公开实施例的一种数据处理方法除了可以应用于服务器外,还可以应用于第二终端,该第二终端可以是主播使用的终端,该第二终端可以与多个第一终端通信连接,该第一终端可以是观众使用的终端,对此,本公开实施例还提供了一种可以应用于第二终端的数据处理方法,如图9所示,是示例性示出的应用于第二终端的数据处理方法第一种实施方式的流程图,该方法可以包括:
S901,在获取到与第一终端的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据。
在一些示例中,通常情况下,第二终端可以向服务器发送一个创建房间的请求,以便在服务器中建立一个虚拟房间,然后,第一终端可以通过与服务器建立通信连接而使得使用该第一终端的用户的虚拟身份加入到该虚拟房间中。该第一终端的用户的虚拟身份加入该虚拟房间后,第一终端可以发送聊天数据到该房间中,第二终端也可以发送聊天数据到该虚拟房间,从而可以实现第二终端的用户与第一终端的用户进行实时聊天,产生的实时聊天数据可以记录在该第二终端中,也可以记录在服务器中,因此,该第二终端可以获取到与第一终端的实时聊天数据。该实时聊天数据可以是第二终端的主播输入的聊天数据,也可以是第一终端发送的聊天数据。
在一些示例中,该第二终端的用户可以主播,第一终端的用户可以是观看该主播的直播视频的观众。
该第二终端在获取到实时聊天数据后,为了使得能够自动与观众进行互动,可以对该实时聊天数据进行分析,分析该实时聊天数据的特征数据。该特征数据可以是关键字和/或关键词等。
在一些示例中,该第二终端中可以预先存储有一个关键字和/或关键词库,当该实时聊天数据为文字聊天数据时,该第二终端可以先对该实时聊天数据进行分词,然后在该预先建立的关键字和/或关键词库中查找与该实时聊天数据中的每个词对应的关键词和/或关键字。从而可以得到该实时聊天数据的特征数据。
当该实时聊天数据为语音聊天数据时,则可以先将该语音聊天数据转换为文字聊天数据,然后可以采用预先建立的关键字和/或关键词库确定该语音聊天数据对应的特征数据,也即第一特征数据。
S902,基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据。
在得到第一特征数据后,为了使得预先设置的虚拟形象能够与观众进行互动,在本步骤中,可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定出与该第一特征数据对应的第一位姿数据。
在一些示例中,该第一虚拟形象可以是存储于该第二终端中的虚拟形象,该虚拟形象可以是由工作人员预先设置的。
S903,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
上述的第二终端在确定出与第一特征数据对应的第一位姿数据后,则可以采用该第一位姿数据来改变预先建立的虚拟形象的位姿,也即改变第一虚拟形象的位姿,从而可以得到改变位姿后的第一虚拟形象,然后可以将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端,从而可以实现基于第一终端发送的实时聊天数据,让虚拟形象与第一终端的用户进行互动。
在一些示例中,为了使得第二终端的用户也可以观看到该基于第一位姿数据改变位姿后的第一虚拟形象,以便基于该改变位姿后的第一虚拟形象与第一终端的用户进行更好的互动,上述的第二终端除了将该基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端外,还可以在第二终端展示基于第一位姿数据改变位姿后的第一虚拟形象。
本公开的实施例提供的一种数据处理方法,可以在主播和观众进行聊天时,获取到第一终端发送的实时聊天数据,并提取实时聊天数据的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。从而可以使得该虚拟形象也能够与观众进行互动,这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。
在一些示例中,上述的服务器除了使用预先设立的模板虚拟形象外,在图9所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图10所示,是示例性示出的应用于第二终端的数据处理方法第二种实施方式的流程图,在步骤S901,在获取到与第一终端的实时聊天数据时,提取实时聊天数据的第一特征数据的步骤之前,该方法还可以包括:
S904,获取人体体态信息时,提取人体体态信息中的第二特征数据,其中,人体体态信息预先存储在第二终端中或由第二终端拍摄产生;
S905,将第二特征数据叠加至预设人体模型,生成与人体体态信息对应的第一虚拟形象。
在一些示例中,主播除了使用第二终端中预先存储的虚拟形象外,还可以基于自身的形象在第二终端中创建一个虚拟形象,对此,该主播可以在第二终端中点击虚拟形象生成按钮,则该第二终端可以接收到虚拟形象创建指令,然后可以获取该主播的人体体态信息,其中,该人体体态信息可以包括该主播的全身体态,也可以包括该主播的头部体态。
该第二终端获取到该主播的人体体态信息后,为了基于该人体体态信息生成该主播的第一虚拟形象,则可以对该人体体态信息进行特征分析,以便提取该人体体态信息中的特征数据,也即第二特征数据。例如,当该人体体态信息为全身体态时,该第二终端可以从该人体体态信息中,提取到该主播的人体关键点和头部关键点;当该人体体态信息为头部体态时,则该第二终端可以从该人体体态信息中,提取到该主播的头部关键点。
上述的第二终端提取到人体体态信息对应的第二特征数据后,可以从本地预先存储的人体模型中,获取一个预设人体模型,并将该第二特征数据叠加至该预设人体模型,从而可以生成与该人体体态信息对应的第一虚拟形象。
在一些示例中,上述的第二终端在提取到人体体态信息对应的第二特征数据后,可以对本地预先存储的多个人体模型进行展示,以便第二终端的主播从该多个人体模型中选择一个人体模型,当该第二终端接收到该主播选择的人体模型后,则可以将该第二特征数据叠加至该选择的人体模型中,从而可以得到与主播的人体体态信息对应的第一虚拟形象。例如,可以将提取得到的人体关键点叠加至该人体模型中的人体关键点中,以替代该人体模型中的人体关键点,也可以采用该主播的头部关键点替代该人体模型中的头部关键点,从而可以得到主播的人体体态信息对应的第一虚拟形象。
在一些示例中,该人体体态信息可以是第二终端的图像,则上述的第二终端可以在获取到该图像后,对该图像进行人脸特征识别和人体特征识别,得到该图像中的人脸特征和人体特征。
在又一些示例中,上述的预设人体模型可以是由多个预先设置的模型肢体组合成的人体模型。在本公开的一个方面,上述的第二终端可以基于主播的语音,来预先组合成人体模型。
例如,主播可以向第二终端输入要选择的模型肢体的语音,则该第二终端在获取到该语音后,可以对该语音进行识别,以得到该语音对应的语音特征。然后,在预先建立的人体模型肢体库中查找与语音特征对应的模型肢体,在得到模型肢体后,可以对该模型肢体进行组合,得到上述的预设人体模型;最后,可以将人脸特征和人体特征叠加至预设人体模型,生成与人脸特征和人体特征对应的第一虚拟形象。
通过本公开实施例,可以使得该第一虚拟形象与主播的形象更贴近,以使得该虚拟形象与观众之间的互动更贴近于该主播与观众之间的互动,提高观众的感兴趣度。
在一些示例中,为了提高设置虚拟形象的灵活的,在生成与使用人体体态信息对应的第一虚拟形象的步骤之后,第二终端的主播也可以对生成的第一虚拟形象进行调整。对此,该主播可以点击该第二终端中的虚拟形象调节按钮,以便对该第一虚拟形象的尺寸参数进行调节。该虚拟形象的尺寸参数可以包括:头部高度、脸的宽度、瞳距等参数。
然后,该服务器可以对该第一虚拟形象的尺寸参数进行展示,第二终端的主播可以基于该参数进行调整,当第二终端的主播在进行调整后,该第二终端可以在获取到调整参数时,基于该调整参数,对生成的与人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。也即采用该调整参数,调整该第一虚拟形象,从而可以得到改变形象后的第一虚拟形象。
在一些示例中,为了使得该改变形象后的第一虚拟形象能够更好的与观众互动,提高观众的感兴趣度,该改变形象后的第一虚拟形象的尺寸参数可以随着时间改变而改变。
例如,随着主播使用第二终端时间的加长,该改变形象后的第一虚拟形象的尺寸参数可以变大或者变小,以使得该改变形象后的第一虚拟形象随着时间的加长变高、变低、变胖或变瘦等。
在又一些示例中,随着时间的改变,第一终端发送的物品会改变、第一终端的数量也会改变、关注该第二终端的主播的观众数量也会改变,例如,第一终端的观众会向第二终端的主播赠送更多的礼物,有更多的观众使用第一终端观看第二终端的主播的直播等;因此,上述的改变形象后的第一虚拟形象的尺寸参数可以随着物品信息的改变而改变,也可以随着第一终端的数量的改变而改变,还可以随着关注该第二终端的主播的观众数量的改变而改变,这都是可以的。
在又一些示例中,本公开实施例的一种应用于第二终端的数据处理方法,还可以获取第二终端中的历史数据,然后可以根据该历史数据生成第一虚拟形象,其中,该历史数据可以至少包括:历史虚拟形象数据和/或历史聊天数据。
在一些示例中,当第二终端中的历史数据为历史虚拟形象数据时,通过对该历史虚拟形象数据进行分析,可以得到第二终端对应的主播常用的虚拟形象,然后可以根据该主播常用的虚拟形象,从而生成该第一虚拟形象。
当第二终端中的历史数据为历史聊天数据时,通过对该历史聊天数据进行分析,可以得到该第二终端对应的主播的兴趣偏好和性格,从而可以生成与该主播的兴趣偏好和性格相符合的第一虚拟形象。
这样,可以使得自动生成第一虚拟形象,无需主播的操作,提高生成第一虚拟形象的便捷性。
在图10所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图11所示,是示例性示出的应用于第二终端的数据处理方法第三种实施方式的流程图,在步骤S903基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端的步骤之后,该方法还可以包括:
S906,在获取到第一终端发送的第一物品信息后,基于预先建立的物品信息与第一虚拟形象的位姿数据之间的对应关系,确定与第一物品信息对应的第二位姿数据;
S907,基于第二位姿数据改变第一虚拟形象的位姿,并将基于第二位姿数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,第一终端的观众在与第二终端的主播进行互动的过程中,可以给该主播赠送物品,则该第一终端的观众可以在第一终端点击第一终端中的物品并点击赠送,此时,该第二终端可以接收到第一终端发送的第一物品信息。
为了使得观众在赠送物品后,该虚拟形象能够与该观众进行互动,则可以预先建立物品信息与第一虚拟形象的位姿数据之间的对应关系,当该第二终端接收到第一物品信息后,可以基于该预先建立的物品信息与位姿数据之间的对应关系,确定出与第一物品信息对应的第二位姿数据,然后可以采用该第二位姿数据来改编该第一虚拟形象的位姿,在改变第一虚拟形象的位姿后,可以将基于第二位姿数据改变位姿后的第一虚拟形象发送至第一终端。以使得该第一虚拟形象与观众之间的互动能够与第一终端发送的物品信息对应。
在图10所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图12所示,是示例性示出的应用于第二终端的数据处理方法第四种实施方式的流程图,在步骤S903,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端的步骤之后,该方法还可以包括:
S908,获取第二终端拍摄的视频帧,并识别视频帧中的第二人体体态信息;
S909,基于预先建立的人体体态信息与第一虚拟形象的动作数据之间的对应关系,确定与第二人体体态信息对应的第一动作数据;
S910,基于第一动作数据改变第一虚拟形象的位姿,并将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,上述的第一虚拟形象除了能够与第一终端的观众进行互动外,还可以与第二终端的主播进行互动,并且可以让第一终端的观众观看到该第一虚拟形象与第二终端的主播进行互动的过程,对此,上述的第二终端可以获取自身拍摄的视频帧,其中,该第二终端的视频帧可以是第二终端的主播采用第二终端的摄像头拍摄得到的。
上述的第二终端在得到视频帧后,可以对该视频帧进行识别,以识别该视频帧中的第二人体体态信息,在一些示例中,该第二终端可以识别该视频帧中的人体关键点,并将该视频帧中的人体关键点作为该第二人体体态信息。或者识别该视频帧中的头部关键点,并将该视频帧中的头部关键点作为该第二人体体态信息。
在又一些示例中,为了使得第二虚拟形象在与主播的互动时,第二虚拟形象的位姿能够与主播的人体体态相对应,可以预先建立一个人体体态信息与第一虚拟形象的动作数据之间的对应关系,则该第二终端可以基于预先建立的人体体态信息与第一虚拟形象的动作数据之间的对应关系,确定与第二人体体态信息对应的第一动作数据。
该第二终端在确定出与第二人体体态信息对应的第一动作数据后,可以基于该第一动作数据改变第一虚拟形象的位姿,并将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端。这样,使得使用第一终端的观众能够观看到使用第二终端的主播与第一虚拟形象的互动过程,从而增加观众观看的兴趣,提高观众的观看体验度。
在一些示例中,在将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端时,可以将该基于第一动作数据改变位姿后的第一虚拟形象叠加至视频帧中,然后发送至第一终端。
在又一些示例中,该第一动作数据可以是该第一虚拟形象的各个关键点之间的位置数据或距离数据。
在一些示例中,为了使得使用第二终端的主播能够观看到自己与虚拟形象互动的过程,该第二终端还可以在第二终端展示基于第一动作数据改变位姿后的第一虚拟形象。
在又一些示例中,该第一虚拟形象除了基于该主播的人体体态信息与主播进行互动外,为了使得该第一虚拟形象还能够基于使用第二终端的主播的语音信息与该主播进行互动,在图10所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图13所示,是示例性示出的应用于第二终端的数据处理方法第五种实施方式的流程图,在步骤S903,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端的步骤之后,该方法还可以包括:
S911,获取第二终端的视频片段和第一语音指令;
S912,基于预先建立的语音指令与动作片段数据之间的对应关系,确定与第一语音指令对应的第一动作片段数据;
S913,基于第一动作片段数据生成第一虚拟形象的动作片段,并将第一虚拟形象的动作片段和视频片段发送至第一终端。
在一些示例中,为了使得该第一虚拟形象能够基于主播的语音指令与主播进行互动,上述的第二终端中可以预先存储有语音指令以及与语音指令具有对应关系的动作片段数据。
该主播可以使用第二终端采集一个语音指令和一段视频片段,并基于预先建立的语音指令与动作片段数据之间的对应关系,确定与第一语音指令对应的第一动作片段数据。然后可以基于该第一动作片段数据,生成该第一虚拟形象的动作片段,最后,将该第一虚拟形象的动作片段和视频片段发送至第一终端。
在一些示例中,该第一动作片段数据可以是不同时刻对应的第一虚拟形象的各个关键点之间的位置或距离。
在一些示例中,为了使得使用第二终端的主播能够观看到该第一虚拟形象基于语音指令与自己进行互动的过程,上述的第二终端还可以在第二终端中展示第一虚拟形象的动作片段和视频片段。
在一些示例中,为了增加观众的感兴趣度,该第二终端的主播除了与第一虚拟形象以及第一终端的观众进行互动外,还可以与其他主播的虚拟形象进行互动,对此,上述的第二终端还可以与第三终端通信连接,该第三终端可以是其他主播中的任一主播使用的终端,对此,在图10所示的数据处理方法的基础上,本公开实施例还提供了一种可能的实现方式,如图14所示,是示例性示出的应用于第二终端的数据处理方法第六种实施方式的流程图,该方法还可以包括:
S914,获取第二语音指令和上述第三终端发送的第二虚拟形象,其中,第二语音指令为第二终端采集的语音指令;
S915,基于预先存储的多个动作片段数据,确定与第二语音指令对应的第二动作片段数据;
S916,基于第二动作片段数据,生成第二虚拟形象的动作片段,并将第二虚拟形象的动作片段和第二终端的视频片段共同发送至第一终端。
在一些示例中,该第二终端的主播在与其他主播的虚拟形象进行互动前,该其他主播可以使用自己的终端与第二终端的主播进行互动,例如,使用第三终端向第二终端发送一个第二虚拟形象,因此,上述的第二终端可以接收到第三终端发送的第二虚拟形象。
上述的第二终端在接收到第三终端发送的第二虚拟形象后,为了确定出与使用第三终端的主播对应的虚拟形象,可以基于预先存储的多个动作片段数据,确定与第二语音指令对应的第二动作片段数据。其中,该第二终端中可以存储有多个动作片段数据。
上述的第二终端在确定出第二动作片段后,可以基于第二动作片段数据,生成第二虚拟形象的动作片段,并将第二虚拟形象的动作片段和第二终端的视频片段共同发送至第一终端,使得第一终端得观众可以观看到该第二终端的主播与第三终端对应的第二虚拟形象之间的互动过程,从而可以提高观众的观看兴趣度。增加主播与观众之间的互动方式。
在一些示例中,该第二动作片段数据可以是不同时刻对应的第二虚拟形象的各个关键点之间的位置或距离。
在一些示例中,上述的服务器可以将该第二虚拟形象叠加至该第二终端发送的视频片段中发送至第一终端,这也是可以的。
在又一些示例中,上述的第二终端在将第二虚拟形象的动作片段和第二终端发送的视频片段共同发送至第一终端后,还可以将第二虚拟形象的动作片段和第二终端视频片段共同发送至第三终端和/或在第二终端展示第二虚拟形象的动作片段,使得第二终端的主播和/或第三终端的主播能够观看到该第二终端的主播与该第二虚拟形象之间的互动过程。
相应于上述的应用于第二终端的数据处理方法的实施例,本公开实施例还提供了一种应用于第二终端的数据处理装置,如图15所示,是示例性示出的应用于第二终端的数据处理装置的框图,该装置可以包括:
聊天数据获取模块1510,被配置为执行在获取到与第一终端的实时聊天数据时,提取实时聊天数据的第一特征数据,其中,实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
第一位姿数据确定模块1520,被配置为执行基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;
第一虚拟形象发送模块1530,被配置为执行基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。
本公开的实施例提供的一种数据处理装置,可以在主播和观众进行聊天时,获取到与第一终端的实时聊天数据,并提取实时聊天数据的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。从而可以使得该虚拟形象也能够与观众进行互动,这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。
在一些示例中,该装置还可以包括:
第一展示模块,被配置为执行在第二终端展示基于第一位姿数据改变位姿后的第一虚拟形象。
在一些示例中,该装置还可以包括:
第一体态信息获取模块,被配置为执行获取人体体态信息时,提取人体体态信息中的第二特征数据,其中,人体体态信息预先存储在第二终端中或由第二终端拍摄产生;
第一虚拟形象生成模块,被配置为执行将第二特征数据叠加至预设人体模型,生成与人体体态信息对应的第一虚拟形象。
在一些示例中,第一体态信息获取模块,具体被配置为执行获取第二终端的图像,并对图像进行人脸特征识别和人体特征识别,得到图像中的人脸特征和人体特征;
在一些示例中,该数据处理装置,还可以包括:
语音识别模块,被配置为执行对从第二终端获取的语音进行语音识别,得到语音对应语音特征;
预设人体模型建立模块,被配置为执行在预先建立的人体模型肢体库中查找与语音特征对应的模型肢体,并对模型肢体进行组合,得到预设人体模型;
在一些示例中,第一虚拟形象生成模块,具体被配置为执行将人脸特征和人体特征叠加至预设人体模型,生成与人脸特征和人体特征对应的第一虚拟形象。
在一些示例中,该装置还可以包括:
操作获取模块,被配置为执行获取形象改变操作,并基于形象改变操作,对生成的与人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。
在一些示例中,改变形象后的第一虚拟形象的尺寸参数随着时间改变而改变。
在一些示例中,该装置还包括:
第二虚拟形象生成模块,用于获取第二终端中的历史数据;并根据历史数据,生成第一虚拟形象,其中,历史数据至少包括:历史虚拟形象数据和/或历史聊天数据。
在一些示例中,该装置还可以包括:
第二位姿数据确定模块,被配置为执行在获取到第一终端发送的第一物品信息后,基于预先建立的物品信息与第一虚拟形象的位姿数据之间的对应关系,确定与第一物品信息对应的第二位姿数据;
第二虚拟形象发送模块,被配置为基于第二位姿数据改变第一虚拟形象的位姿,并将基于第二位姿数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,该装置还可以包括:
第二体态信息获取模块,被配置为执行获取第二终端拍摄的视频帧,并识别视频帧中的第二人体体态信息;
动作数据确定模块,被配置为执行基于预先建立的人体体态信息与第一虚拟形象的动作数据之间的对应关系,确定与第二人体体态信息对应的第一动作数据;
第三虚拟形象发送模块,被配置为执行基于第一动作数据改变第一虚拟形象的位姿,并将基于第一动作数据改变位姿后的第一虚拟形象发送至第一终端。
在一些示例中,第三虚拟形象发送模块,具体被配置为执行将基于第一动作数据改变位姿后的第一虚拟形象叠加至视频帧中发送至第一终端。
在一些示例中,该装置还可以包括:
第二展示模块,被配置为执行在第二终端展示基于第一动作数据改变位姿后的第一虚拟形象。
在一些示例中,该装置还可以包括:
第一语音指令获取模块,被配置为执行获取第二终端的视频片段和第一语音指令;
第一动作片段数据确定模块,被配置为执行基于预先建立的语音指令与动作片段数据之间的对应关系,确定与第一语音指令对应的第一动作片段数据;
第四虚拟形象发送模块,被配置为执行基于第一动作片段数据生成第一虚拟形象的动作片段,并将第一虚拟形象的动作片段和视频片段发送至第一终端。
在一些示例中,该装置还可以包括:
第三展示模块,被配置为执行在第二终端中展示第一虚拟形象的动作片段和视频片段。
在一些示例中,第二终端还与第三终端通信连接;该装置还可以包括:
第二语音指令获取模块,被配置为执行获取第二语音指令和上述第三终端发送的第二虚拟形象,其中,第二语音指令为第二终端采集的语音指令;
第二动作片段数据确定模块,被配置为执行基于预先存储的多个动作片段数据,确定与第二语音指令对应的第二动作片段数据;
第五虚拟形象发送模块,被配置为执行基于第二动作片段数据,生成第二虚拟形象的动作片段,并将第二虚拟形象的动作片段和第二终端的视频片段共同发送至第一终端。
在一些示例中,该装置还可以包括:
第四展示模块,被配置为执行将第二虚拟形象的动作片段和第二终端视频片段共同发送至第三终端和/或在第二终端展示第二虚拟形象的动作片段。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图16是示例性实施例示出的第二终端的结构框图。例如,该第二终端1600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图16,该第二终端1600可以包括以下一个或多个组件:处理组件1602,存储器1604,电源组件1606,多媒体组件1608,音频组件1610,输入/输出(I/O)的接口1612,传感器组件1614,以及通信组件1616。
处理组件1602通常控制该第二终端1600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1602可以包括一个或多个处理器1620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1602可以包括一个或多个模块,便于处理组件1602和其他组件之间的交互。例如,处理组件1602可以包括多媒体模块,以方便多媒体组件1608和处理组件1602之间的交互。
存储器1604被配置为存储各种类型的数据以支持在第二终端1600的操作。这些数据的示例包括用于在该第二终端1600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1606为该第二终端1600的各种组件提供电力。电源组件1606可以包括电源管理系统,一个或多个电源,及其他与为该第二终端1600生成、管理和分配电力相关联的组件。
多媒体组件1608包括在该第二终端1600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1608包括一个前置摄像头和/或后置摄像头。当第二终端1600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1610被配置为输出和/或输入音频信号。例如,音频组件1610包括一个麦克风(MIC),当该第二终端1600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1604或经由通信组件1616发送。在一些实施例中,音频组件1610还包括一个扬声器,用于输出音频信号。
I/O接口1612为处理组件1602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1614包括一个或多个传感器,用于为该第二终端1600提供各个方面的状态评估。例如,传感器组件1614可以检测到第二终端1600的打开/关闭状态,组件的相对定位,例如组件为该第二终端1600的显示器和小键盘,传感器组件1614还可以检测该第二终端1600或该第二终端1600一个组件的位置改变,用户与该第二终端1600接触的存在或不存在,该第二终端1600方位或加速/减速和该第二终端1600的温度变化。传感器组件1614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1616被配置为便于该第二终端1600和其他设备之间有线或无线方式的通信。该第二终端1600可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件1616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,该第二终端1600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的任一种应用于第二终端的数据处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1604,上述指令可由该第二终端1600的处理器1620执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开的实施例提供的第二终端,可以在主播和观众进行聊天时,获取到与第一终端的实时聊天数据,并提取实时聊天数据的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。从而可以使得该虚拟形象也能够与观众进行互动,这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器1604,上述指令可由上述第二终端1600的处理器1620执行以完成上述数据处理方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图17是示例性实施例示出的一种服务器的结构框图。参照图17,服务器1700包括处理组件1722,其进一步包括一个或多个处理器,以及由存储器1732所代表的存储器资源,用于存储可由处理组件1722的执行的指令,例如应用程序。存储器1732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1722被配置为执行指令,以执行上述任一种应用于服务器的数据处理方法。
服务器1700还可以包括一个电源组件1726被配置为服务器1700的电源管理,一个有线或无线网络接口1750被配置为将服务器1700连接到网络,和一个输入输出(I/O)接口1758。服务器1700可以操作基于存储在存储器1732的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器1732,上述指令可由上述服务器1700的处理组件1722执行以完成上述数据处理方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开的实施例提供的一种服务器,可以在主播和观众进行聊天时,获取到第一终端和/或第二终端发送的实时聊天数据,并提取实时聊天数据的第一特征数据,然后可以基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与第一特征数据对应的第一位姿数据;最后,基于第一位姿数据改变第一虚拟形象的位姿,并将基于第一位姿数据改变位姿后的第一虚拟形象发送至第一终端。从而可以使得该虚拟形象也能够与观众进行互动,这样,可以提供除了主播与观众进行互动的互动方式以外的互动方式,从而可以避免主播未能与该观众及时互动,从而可以避免造成的观众的不满。
本公开实施例还提供了一种包含指令的程序产品,当其在服务器上运行时,使得服务器执行上述应用于服务器的数据处理方法的全部或部分步骤。
本公开实施例还提供了一种包含指令的程序产品,当其在第二终端上运行时,使得第二终端执行上述应用于第二终端的数据处理方法的全部或部分步骤。
本公开实施例还提供了一种计算机程序,当其在服务器上运行时,使得服务器执行上述应用于服务器的数据处理方法的全部或部分步骤。
本公开实施例还提供了一种计算机程序,当其在第二终端上运行时,使得第二终端执行上述应用于第二终端的数据处理方法的全部或部分步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述仅为本公开的较佳实施例而已,并非用于限定本公开的保护范围。本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (60)
1.一种数据处理方法,其特征在于,应用于服务器,所述服务器与多个终端通信连接,所述多个终端至少包括第一终端、第二终端和第三终端,所述方法包括:
在获取到所述第一终端和/或所述第二终端发送的实时聊天数据时,提取所述实时聊天数据的第一特征数据,其中,所述实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与所述第一特征数据对应的第一位姿数据;
基于所述第一位姿数据改变所述第一虚拟形象的位姿,并将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端;
所述方法还包括:
在接收到第三终端发送的第二语音指令时,基于所述第三终端的标识信息,确定与所述第三终端对应的第二虚拟形象以及所述第二虚拟形象的多个动作片段数据;
确定与所述第二语音指令对应的第二动作片段数据;
基于所述第二动作片段数据,生成所述第二虚拟形象的动作片段,并将所述第二虚拟形象的动作片段和所述第二终端发送的视频片段共同发送至所述第一终端。
2.根据权利要求1所述的数据处理方法,其特征在于,在所述基于所述第一位姿数据改变所述第一虚拟形象的位姿的步骤之后,所述方法包括:
将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第二终端。
3.根据权利要求1所述的数据处理方法,其特征在于,在所述在获取到所述第一终端和/或所述第二终端发送的实时聊天数据时,提取所述实时聊天数据的第一特征数据的步骤之前,所述方法还包括:
在获取到所述第二终端发送的人体体态信息时,提取所述人体体态信息中的第二特征数据;
将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象。
4.根据权利要求3所述的数据处理方法,其特征在于,所述在获取到所述第二终端发送的人体体态信息时,提取所述人体体态信息中的第二特征数据,包括:
获取所述第二终端发送的图像,并对所述图像进行人脸特征识别和人体特征识别,得到所述图像中的人脸特征和人体特征;
在所述将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象之前,所述方法还包括:
获取所述第二终端发送的语音,并对所述语音进行语音识别,得到所述语音对应语音特征;
在预先建立的人体模型肢体库中查找与所述语音特征对应的模型肢体,并对所述模型肢体进行组合,得到所述预设人体模型;
所述将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象,包括:
将所述人脸特征和所述人体特征叠加至所述预设人体模型,生成与所述人脸特征和所述人体特征对应的第一虚拟形象。
5.根据权利要求3所述的数据处理方法,其特征在于,在所述将所述第二特征数据叠加至预设人体模型,生成与使用所述人体体态信息对应的第一虚拟形象的步骤之后,所述方法还包括:
获取所述第二终端发送的形象改变操作,并基于所述形象改变操作,对生成的与所述人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。
6.根据权利要求5所述的数据处理方法,其特征在于,所述改变形象后的第一虚拟形象的尺寸参数随着时间改变而改变。
7.根据权利要求1所述的数据处理方法,其特征在于,在所述在获取到所述第一终端和/或所述第二终端发送的实时聊天数据时,提取所述实时聊天数据的第一特征数据的步骤之前,所述方法还包括:
获取所述第二终端中的历史数据,其中,所述历史数据至少包括:历史虚拟形象数据和/或历史聊天数据;
根据所述历史数据,生成第一虚拟形象。
8.根据权利要求1所述的数据处理方法,其特征在于,在所述将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法还包括:
在获取到所述第一终端发送的第一物品信息后,基于预先建立的物品信息与所述第一虚拟形象的位姿数据之间的对应关系,确定与所述第一物品信息对应的第二位姿数据;
基于所述第二位姿数据改变所述第一虚拟形象的位姿,并将基于所述第二位姿数据改变位姿后的第一虚拟形象发送至所述第一终端。
9.根据权利要求1所述的数据处理方法,其特征在于,在所述将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法还包括:
获取所述第二终端发送的视频帧,并识别所述视频帧中的第二人体体态信息;
基于预先建立的人体体态信息与所述第一虚拟形象的动作数据之间的对应关系,确定与所述第二人体体态信息对应的第一动作数据;
基于所述第一动作数据改变所述第一虚拟形象的位姿,并将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端。
10.根据权利要求9所述的数据处理方法,其特征在于,所述将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤包括:
将所述基于所述第一动作数据改变位姿后的第一虚拟形象叠加至所述视频帧中发送至所述第一终端。
11.根据权利要求9所述的数据处理方法,其特征在于,在所述将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法还包括:
将所述基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第二终端。
12.根据权利要求1所述的数据处理方法,其特征在于,在所述将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法包括:
获取所述第二终端发送的视频片段和第一语音指令;
基于预先建立的语音指令与动作片段数据之间的对应关系,确定与所述第一语音指令对应的第一动作片段数据;
基于所述第一动作片段数据生成所述第一虚拟形象的动作片段,并将所述第一虚拟形象的动作片段和所述视频片段发送至所述第一终端。
13.根据权利要求12所述的数据处理方法,其特征在于,在所述将所述第一虚拟形象的动作片段和所述视频片段发送至所述第一终端的步骤之后,所述方法还包括:
将所述第一虚拟形象的动作片段和所述视频片段发送至所述第二终端。
14.根据权利要求1所述的数据处理方法,其特征在于,在所述将所述第二虚拟形象的动作片段和所述第二终端发送的视频片段共同发送至所述第一终端的步骤之后,所述方法还包括:
将所述第二虚拟形象的动作片段和所述第二终端发送的视频片段共同发送至所述第二终端和/或所述第三终端。
15.一种数据处理方法,其特征在于,应用于第二终端,所述第二终端与第一终端通信连接,所述方法包括:
在获取到与所述第一终端的实时聊天数据时,提取所述实时聊天数据的第一特征数据,其中,所述实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与所述第一特征数据对应的第一位姿数据;
基于所述第一位姿数据改变所述第一虚拟形象的位姿,并将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端;
所述第二终端还与第三终端通信连接;所述方法还包括:
获取第二语音指令和所述第三终端发送的第二虚拟形象,其中,所述第二语音指令为所述第二终端采集的语音指令;
基于预先存储的多个动作片段数据,确定与所述第二语音指令对应的第二动作片段数据;
基于所述第二动作片段数据,生成所述第二虚拟形象的动作片段,并将所述第二虚拟形象的动作片段和所述第二终端的视频片段共同发送至所述第一终端。
16.根据权利要求15所述的数据处理方法,其特征在于,在所述基于所述第一位姿数据改变所述第一虚拟形象的位姿的步骤之后,所述方法还包括:
在所述第二终端展示所述基于所述第一位姿数据改变位姿后的第一虚拟形象。
17.根据权利要求15所述的数据处理方法,其特征在于,在所述在获取到所述第一终端发送的实时聊天数据时,提取所述实时聊天数据的第一特征数据的步骤之前,所述方法还包括:
获取人体体态信息时,提取所述人体体态信息中的第二特征数据,其中,所述人体体态信息预先存储在所述第二终端中或由所述第二终端拍摄产生;
将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象。
18.根据权利要求17所述的数据处理方法,其特征在于,所述获取人体体态信息时,提取所述人体体态信息中的第二特征数据,包括:
获取所述第二终端的图像,并对所述图像进行人脸特征识别和人体特征识别,得到所述图像中的人脸特征和人体特征;
在所述将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象之前,所述方法还包括:
对从第二终端获取的所述语音进行语音识别,得到所述语音对应语音特征;
在预先建立的人体模型肢体库中查找与所述语音特征对应的模型肢体,并对所述模型肢体进行组合,得到所述预设人体模型;
所述将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象,包括:
将所述人脸特征和所述人体特征叠加至所述预设人体模型,生成与所述人脸特征和所述人体特征对应的第一虚拟形象。
19.根据权利要求17所述的数据处理方法,其特征在于,在所述将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象的步骤之后,所述方法还包括:
获取形象改变操作,并基于所述形象改变操作,对生成的与所述人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。
20.根据权利要求19所述的数据处理方法,其特征在于,所述改变形象后的第一虚拟形象的尺寸参数随着时间改变而改变。
21.根据权利要求15所述的数据处理方法,其特征在于,在所述在获取到所述第一终端和/或所述第二终端发送的实时聊天数据时,提取所述实时聊天数据的第一特征数据的步骤之前,所述方法还包括:
获取所述第二终端中的历史数据,其中,所述历史数据至少包括:历史虚拟形象数据和/或历史聊天数据;
根据所述历史数据,生成第一虚拟形象。
22.根据权利要求15所述的数据处理方法,其特征在于,在所述将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法还包括:
在获取到所述第一终端发送的第一物品信息后,基于预先建立的物品信息与所述第一虚拟形象的位姿数据之间的对应关系,确定与所述第一物品信息对应的第二位姿数据;
基于所述第二位姿数据改变所述第一虚拟形象的位姿,并将基于所述第二位姿数据改变位姿后的第一虚拟形象发送至所述第一终端。
23.根据权利要求15所述的数据处理方法,其特征在于,在所述基于所述第一位姿数据改变所述第一虚拟形象的位姿,并将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法还包括:
获取所述第二终端拍摄的视频帧,并识别所述视频帧中的第二人体体态信息;
基于预先建立的人体体态信息与所述第一虚拟形象的动作数据之间的对应关系,确定与所述第二人体体态信息对应的第一动作数据;
基于所述第一动作数据改变所述第一虚拟形象的位姿,并将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端。
24.根据权利要求23所述的数据处理方法,其特征在于,所述将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤包括:
将所述基于所述第一动作数据改变位姿后的第一虚拟形象叠加至所述视频帧中发送至所述第一终端。
25.根据权利要求23所述的数据处理方法,其特征在于,在所述基于所述第一动作数据改变所述第一虚拟形象的位姿,并将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法包括:
在所述第二终端展示所述基于所述第一动作数据改变位姿后的第一虚拟形象。
26.根据权利要求15所述的数据处理方法,其特征在于,在所述基于所述第一位姿数据改变所述第一虚拟形象的位姿,并将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端的步骤之后,所述方法包括:
获取所述第二终端的视频片段和第一语音指令;
基于预先建立的语音指令与动作片段数据之间的对应关系,确定与所述第一语音指令对应的第一动作片段数据;
基于所述第一动作片段数据生成所述第一虚拟形象的动作片段,并将所述第一虚拟形象的动作片段和所述视频片段发送至所述第一终端。
27.根据权利要求26所述的数据处理方法,其特征在于,在所述将所述第一虚拟形象的动作片段和所述视频片段发送至所述第一终端的步骤之后,所述方法还包括:
在所述第二终端中展示所述第一虚拟形象的动作片段和所述视频片段。
28.根据权利要求15所述的数据处理方法,其特征在于,在所述将所述第二虚拟形象的动作片段和所述第二终端的视频片段共同发送至所述第一终端的步骤之后,所述方法还包括:
将所述第二虚拟形象的动作片段和所述第二终端视频片段共同发送至所述第三终端和/或在所述第二终端展示所述第二虚拟形象的动作片段。
29.一种数据处理装置,其特征在于,应用于服务器,所述服务器与多个终端通信连接,所述多个终端至少包括第一终端、第二终端和第三终端,所述装置包括:
聊天数据获取模块,被配置为执行在获取到所述第一终端和/或所述第二终端发送的实时聊天数据时,提取所述实时聊天数据的第一特征数据,其中,所述实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
第一位姿数据确定模块,被配置为执行基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与所述第一特征数据对应的第一位姿数据;
第一虚拟形象发送模块,被配置为执行基于所述第一位姿数据改变所述第一虚拟形象的位姿,并将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端;
所述装置还包括:
第二语音指令获取模块,被配置为执行在接收到第三终端发送的第二语音指令时,基于所述第三终端的标识信息,确定与所述第三终端对应的第二虚拟形象以及所述第二虚拟形象的多个动作片段数据;
第二动作片段数据确定模块,被配置为执行确定与所述第二语音指令对应的第二动作片段数据;
第五虚拟形象发送模块,被配置为执行基于所述第二动作片段数据,生成所述第二虚拟形象的动作片段,将所述第二虚拟形象的动作片段和所述第二终端发送的视频片段共同发送至所述第一终端。
30.根据权利要求29所述的数据处理装置,其特征在于,所述虚拟形象发送模块330,还被配置为执行将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第二终端。
31.根据权利要求29所述的数据处理装置,其特征在于,所述装置还包括:
第一体态信息获取模块,被配置为执行在获取到所述第二终端发送的人体体态信息时,提取所述人体体态信息中的第二特征数据;
第一虚拟形象生成模块,被配置为执行将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象。
32.根据权利要求31所述的数据处理装置,其特征在于,所述第一体态信息获取模块,具体被配置为执行获取所述第二终端发送的图像,并对所述图像进行人脸特征识别和人体特征识别,得到所述图像中的人脸特征和人体特征;
所述装置还包括:
语音识别模块,被配置为执行获取所述第二终端发送的语音,并对所述语音进行语音识别,得到所述语音对应语音特征;
预设人体模型建立模块,被配置为执行在预先建立的人体模型肢体库中查找与所述语音特征对应的模型肢体,并对所述模型肢体进行组合,得到所述预设人体模型;
所述第一虚拟形象生成模块,具体被配置为执行将所述人脸特征和所述人体特征叠加至所述预设人体模型,生成与所述人脸特征和所述人体特征对应的第一虚拟形象。
33.根据权利要求31所述的数据处理装置,其特征在于,所述装置还包括:
操作获取模块,被配置为执行获取所述第二终端发送的形象改变操作,并基于所述形象改变操作,对生成的与所述人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。
34.根据权利要求33所述的数据处理装置,其特征在于,所述改变形象后的第一虚拟形象的参数随着时间改变而改变。
35.根据权利要求29所述的数据处理装置,其特征在于,所述装置还包括:
第二虚拟形象生成模块,用于获取所述第二终端中的历史数据;并根据所述历史数据,生成第一虚拟形象,其中,所述历史数据至少包括:历史虚拟形象数据和/或历史聊天数据。
36.根据权利要求29所述的数据处理装置,其特征在于,所述装置还包括:
第二位姿数据确定模块,被配置为执行在获取到所述第一终端发送的第一物品信息后,基于预先建立的物品信息与所述第一虚拟形象的位姿数据之间的对应关系,确定与所述第一物品信息对应的第二位姿数据;
第二虚拟形象发送模块,被配置为执行基于所述第二位姿数据改变所述第一虚拟形象的位姿,并将基于所述第二位姿数据改变位姿后的第一虚拟形象发送至所述第一终端。
37.根据权利要求29所述的数据处理装置,其特征在于,所述装置还包括:
第二体态信息获取模块,被配置为执行获取所述第二终端发送的视频帧,并识别所述视频帧中的第二人体体态信息;
动作数据确定模块,被配置为执行基于预先建立的人体体态信息与所述第一虚拟形象的动作数据之间的对应关系,确定与所述第二人体体态信息对应的第一动作数据;
第三虚拟形象发送模块,被配置为执行基于所述第一动作数据改变所述第一虚拟形象的位姿,并将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端。
38.根据权利要求37所述的数据处理装置,其特征在于,所述第三虚拟形象发送模块,具体被配置为执行将所述基于所述第一动作数据改变位姿后的第一虚拟形象叠加至所述视频帧中发送至所述第一终端。
39.根据权利要求37所述的数据处理装置,其特征在于,所述第三虚拟形象发送模块,具体被配置为执行将所述基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第二终端。
40.根据权利要求29所述的数据处理装置,其特征在于,所述装置还包括:
第一语音指令获取模块,被配置为执行获取所述第二终端发送的视频片段和第一语音指令;
第一动作片段数据确定模块,被配置为执行基于预先建立的语音指令与动作片段数据之间的对应关系,确定与所述第一语音指令对应的第一动作片段数据;
第四虚拟形象发送模块,被配置为执行基于所述第一动作片段数据生成所述第一虚拟形象的动作片段,并将所述第一虚拟形象的动作片段和所述视频片段发送至所述第一终端。
41.根据权利要求40所述的数据处理装置,其特征在于,所述第四虚拟形象发送模块,还被配置为执行将所述第一虚拟形象的动作片段和所述视频片段发送至所述第二终端。
42.根据权利要求29所述的数据处理装置,其特征在于,所述第五虚拟形象发送模块,还被配置为执行将所述第二虚拟形象的动作片段和所述第二终端发送的视频片段共同发送至所述第二终端和/或所述第三终端。
43.一种数据处理装置,其特征在于,应用于第二终端,所述第二终端与第一终端通信连接,所示装置包括:
聊天数据获取模块,被配置为执行在获取到与所述第一终端的实时聊天数据时,提取所述实时聊天数据的第一特征数据,其中,所述实时聊天数据包括:文字聊天数据、手势数据和/或语音聊天数据;
第一位姿数据确定模块,被配置为执行基于预先建立的特征数据与第一虚拟形象的位姿数据之间的对应关系,确定与所述第一特征数据对应的第一位姿数据;
第一虚拟形象发送模块,被配置为执行基于所述第一位姿数据改变所述第一虚拟形象的位姿,并将基于所述第一位姿数据改变位姿后的第一虚拟形象发送至所述第一终端;
所述第二终端还与第三终端通信连接;所述装置还包括:
第二语音指令获取模块,被配置为执行获取第二语音指令和所述第三终端发送的第二虚拟形象,其中,所述第二语音指令为所述第二终端采集的语音指令;
第二动作片段数据确定模块,被配置为执行基于预先存储的多个动作片段数据,确定与所述第二语音指令对应的第二动作片段数据;
第五虚拟形象发送模块,被配置为执行基于所述第二动作片段数据,生成所述第二虚拟形象的动作片段,并将所述第二虚拟形象的动作片段和所述第二终端的视频片段共同发送至所述第一终端。
44.根据权利要求43所述的数据处理装置,其特征在于,所述装置还包括:
第一展示模块,被配置为执行在所述第二终端展示所述基于所述第一位姿数据改变位姿后的第一虚拟形象。
45.根据权利要求43所述的数据处理装置,其特征在于,所述装置还包括:
第一体态信息获取模块,被配置为执行获取人体体态信息时,提取所述人体体态信息中的第二特征数据,其中,所述人体体态信息预先存储在所述第二终端中或由所述第二终端拍摄产生;
第一虚拟形象生成模块,被配置为执行将所述第二特征数据叠加至预设人体模型,生成与所述人体体态信息对应的第一虚拟形象。
46.根据权利要求45所述的数据处理装置,其特征在于,所述第一体态信息获取模块,具体被配置为执行获取所述第二终端的图像,并对所述图像进行人脸特征识别和人体特征识别,得到所述图像中的人脸特征和人体特征;
所述装置还包括:
语音识别模块,被配置为执行对从第二终端获取的所述语音进行语音识别,得到所述语音对应语音特征;
预设人体模型建立模块,被配置为执行在预先建立的人体模型肢体库中查找与所述语音特征对应的模型肢体,并对所述模型肢体进行组合,得到所述预设人体模型;
所述第一虚拟形象生成模块,具体被配置为执行将所述人脸特征和所述人体特征叠加至所述预设人体模型,生成与所述人脸特征和所述人体特征对应的第一虚拟形象。
47.根据权利要求45所述的数据处理装置,其特征在于,所述装置还包括:
操作获取模块,被配置为执行获取形象改变操作,并基于所述形象改变操作,对生成的与所述人体体态信息对应的第一虚拟形象进行改变,得到改变形象后的第一虚拟形象。
48.根据权利要求47所述的数据处理装置,其特征在于,所述改变形象后的第一虚拟形象的尺寸参数随着时间改变而改变。
49.根据权利要求43所述的数据处理装置,其特征在于,所述装置还包括:
第二虚拟形象生成模块,用于获取所述第二终端中的历史数据;并根据所述历史数据,生成第一虚拟形象,其中,所述历史数据至少包括:历史虚拟形象数据和/或历史聊天数据。
50.根据权利要求43所述的数据处理装置,其特征在于,所述装置还包括:
第二位姿数据确定模块,被配置为执行在获取到所述第一终端发送的第一物品信息后,基于预先建立的物品信息与所述第一虚拟形象的位姿数据之间的对应关系,确定与所述第一物品信息对应的第二位姿数据;
第二虚拟形象发送模块,被配置为基于所述第二位姿数据改变所述第一虚拟形象的位姿,并将基于所述第二位姿数据改变位姿后的第一虚拟形象发送至所述第一终端。
51.根据权利要求43所述的数据处理装置,其特征在于,所述装置还包括:
第二体态信息获取模块,被配置为执行获取所述第二终端拍摄的视频帧,并识别所述视频帧中的第二人体体态信息;
动作数据确定模块,被配置为执行基于预先建立的人体体态信息与所述第一虚拟形象的动作数据之间的对应关系,确定与所述第二人体体态信息对应的第一动作数据;
第三虚拟形象发送模块,被配置为执行基于所述第一动作数据改变所述第一虚拟形象的位姿,并将基于所述第一动作数据改变位姿后的第一虚拟形象发送至所述第一终端。
52.根据权利要求51所述的数据处理装置,其特征在于,所述第三虚拟形象发送模块,具体被配置为执行将所述基于所述第一动作数据改变位姿后的第一虚拟形象叠加至所述视频帧中发送至所述第一终端。
53.根据权利要求51所述的数据处理装置,其特征在于,所述装置还包括:
第二展示模块,被配置为执行在所述第二终端展示所述基于所述第一动作数据改变位姿后的第一虚拟形象。
54.根据权利要求43所述的数据处理装置,其特征在于,所述装置还包括:
第一语音指令获取模块,被配置为执行获取所述第二终端的视频片段和第一语音指令;
第一动作片段数据确定模块,被配置为执行基于预先建立的语音指令与动作片段数据之间的对应关系,确定与所述第一语音指令对应的第一动作片段数据;
第四虚拟形象发送模块,被配置为执行基于所述第一动作片段数据生成所述第一虚拟形象的动作片段,并将所述第一虚拟形象的动作片段和所述视频片段发送至所述第一终端。
55.根据权利要求54所述的数据处理装置,其特征在于,所述装置还包括:
第三展示模块,被配置为执行在所述第二终端中展示所述第一虚拟形象的动作片段和所述视频片段。
56.根据权利要求43所述的数据处理装置,其特征在于,所述装置还包括:
第四展示模块,被配置为执行将所述第二虚拟形象的动作片段和所述第二终端视频片段共同发送至所述第三终端和/或在所述第二终端展示所述第二虚拟形象的动作片段。
57.一种电子设备,其特征在于,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1~14中任一项所述的数据处理方法。
58.一种电子设备,其特征在于,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求15~28中任一项所述的数据处理方法。
59.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备执行如权利要求1~14中任一项所述的数据处理方法。
60.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备执行如权利要求15~28中任一项所述的数据处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910947226.5A CN110662083B (zh) | 2019-09-30 | 2019-09-30 | 数据处理方法、装置、电子设备及存储介质 |
US17/038,970 US11503377B2 (en) | 2019-09-30 | 2020-09-30 | Method and electronic device for processing data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910947226.5A CN110662083B (zh) | 2019-09-30 | 2019-09-30 | 数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110662083A CN110662083A (zh) | 2020-01-07 |
CN110662083B true CN110662083B (zh) | 2022-04-22 |
Family
ID=69040001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910947226.5A Active CN110662083B (zh) | 2019-09-30 | 2019-09-30 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11503377B2 (zh) |
CN (1) | CN110662083B (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
US9716825B1 (en) | 2016-06-12 | 2017-07-25 | Apple Inc. | User interface for camera effects |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
DK180212B1 (en) | 2018-05-07 | 2020-08-19 | Apple Inc | USER INTERFACE FOR CREATING AVATAR |
US10375313B1 (en) * | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
DK202070624A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
CN112135160A (zh) * | 2020-09-24 | 2020-12-25 | 广州博冠信息科技有限公司 | 直播中虚拟对象控制方法及装置、存储介质和电子设备 |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
CN112399192A (zh) * | 2020-11-03 | 2021-02-23 | 上海哔哩哔哩科技有限公司 | 网络直播中的礼物展示方法和系统 |
CN112601100A (zh) * | 2020-12-11 | 2021-04-02 | 北京字跳网络技术有限公司 | 一种直播互动方法、装置、设备及介质 |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
CN113382271B (zh) * | 2021-05-31 | 2022-11-04 | 北京达佳互联信息技术有限公司 | 创建直播间的处理方法、装置及服务器 |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
CN113407850B (zh) * | 2021-07-15 | 2022-08-26 | 北京百度网讯科技有限公司 | 一种虚拟形象的确定和获取方法、装置以及电子设备 |
CN114549744A (zh) * | 2022-01-24 | 2022-05-27 | 聚好看科技股份有限公司 | 一种构建虚拟三维会议场景的方法、服务器和ar设备 |
US11978143B2 (en) * | 2022-05-23 | 2024-05-07 | Lemon Inc. | Creation of videos using virtual characters |
CN115334325A (zh) * | 2022-06-23 | 2022-11-11 | 联通沃音乐文化有限公司 | 基于可编辑三维虚拟形象生成直播视频流的方法和系统 |
CN117376596B (zh) * | 2023-12-08 | 2024-04-26 | 江西拓世智能科技股份有限公司 | 基于智能数字人模型的直播方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016154149A1 (en) * | 2015-03-20 | 2016-09-29 | Twitter, Inc. | Live video stream sharing |
CN106878820A (zh) * | 2016-12-09 | 2017-06-20 | 北京小米移动软件有限公司 | 直播互动方法及装置 |
CN109922354A (zh) * | 2019-03-29 | 2019-06-21 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
CN109936774A (zh) * | 2019-03-29 | 2019-06-25 | 广州虎牙信息科技有限公司 | 虚拟形象控制方法、装置及电子设备 |
CN110035325A (zh) * | 2019-04-19 | 2019-07-19 | 广州虎牙信息科技有限公司 | 弹幕回复方法、弹幕回复装置和直播设备 |
CN110119700A (zh) * | 2019-04-30 | 2019-08-13 | 广州虎牙信息科技有限公司 | 虚拟形象控制方法、虚拟形象控制装置和电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8930561B2 (en) * | 2003-09-15 | 2015-01-06 | Sony Computer Entertainment America Llc | Addition of supplemental multimedia content and interactive capability at the client |
US20100306671A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Avatar Integrated Shared Media Selection |
US8893022B2 (en) * | 2010-04-01 | 2014-11-18 | Microsoft Corporation | Interactive and shared viewing experience |
US8694899B2 (en) * | 2010-06-01 | 2014-04-08 | Apple Inc. | Avatars reflecting user states |
US9721373B2 (en) * | 2013-03-14 | 2017-08-01 | University Of Southern California | Generating instructions for nonverbal movements of a virtual character |
WO2014192552A1 (ja) * | 2013-05-30 | 2014-12-04 | ソニー株式会社 | 表示制御装置、表示制御方法及びコンピュータプログラム |
US9628416B2 (en) * | 2014-05-30 | 2017-04-18 | Cisco Technology, Inc. | Photo avatars |
US11310538B2 (en) * | 2017-04-03 | 2022-04-19 | Smule, Inc. | Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics |
US11044535B2 (en) * | 2018-08-28 | 2021-06-22 | Gree, Inc. | Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program |
CN109922355B (zh) * | 2019-03-29 | 2020-04-17 | 广州虎牙信息科技有限公司 | 虚拟形象直播方法、虚拟形象直播装置和电子设备 |
-
2019
- 2019-09-30 CN CN201910947226.5A patent/CN110662083B/zh active Active
-
2020
- 2020-09-30 US US17/038,970 patent/US11503377B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016154149A1 (en) * | 2015-03-20 | 2016-09-29 | Twitter, Inc. | Live video stream sharing |
CN106878820A (zh) * | 2016-12-09 | 2017-06-20 | 北京小米移动软件有限公司 | 直播互动方法及装置 |
CN109922354A (zh) * | 2019-03-29 | 2019-06-21 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
CN109936774A (zh) * | 2019-03-29 | 2019-06-25 | 广州虎牙信息科技有限公司 | 虚拟形象控制方法、装置及电子设备 |
CN110035325A (zh) * | 2019-04-19 | 2019-07-19 | 广州虎牙信息科技有限公司 | 弹幕回复方法、弹幕回复装置和直播设备 |
CN110119700A (zh) * | 2019-04-30 | 2019-08-13 | 广州虎牙信息科技有限公司 | 虚拟形象控制方法、虚拟形象控制装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US11503377B2 (en) | 2022-11-15 |
US20210099761A1 (en) | 2021-04-01 |
CN110662083A (zh) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110662083B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN111970533B (zh) | 直播间的互动方法、装置及电子设备 | |
CN106791893B (zh) | 视频直播方法及装置 | |
CN112153400B (zh) | 直播互动方法、装置、电子设备及存储介质 | |
CN110517185B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US20180004365A1 (en) | Method and apparatus for recommending an interface theme | |
CN108037863B (zh) | 一种显示图像的方法和装置 | |
CN109862380B (zh) | 视频数据处理方法、装置及服务器、电子设备和存储介质 | |
CN106331761A (zh) | 直播列表显示方法及装置 | |
CN113099297B (zh) | 卡点视频的生成方法、装置、电子设备及存储介质 | |
CN111954063B (zh) | 视频直播间的内容显示控制方法及装置 | |
CN106774849B (zh) | 虚拟现实设备控制方法及装置 | |
CN113194254A (zh) | 图像拍摄方法及装置、电子设备和存储介质 | |
CN107132769B (zh) | 智能设备控制方法及装置 | |
CN109766473B (zh) | 信息交互方法、装置、电子设备及存储介质 | |
CN106254939B (zh) | 信息提示方法及装置 | |
CN111800652A (zh) | 视频处理方法及装置、电子设备和存储介质 | |
CN110719530A (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
CN114025180A (zh) | 一种游戏操作同步系统、方法、装置、设备及存储介质 | |
CN108346179B (zh) | Ar设备显示方法和装置 | |
CN113032627A (zh) | 视频分类方法、装置、存储介质及终端设备 | |
CN108986803B (zh) | 场景控制方法及装置、电子设备、可读存储介质 | |
CN112948704A (zh) | 用于信息推荐的模型训练方法、装置、电子设备以及介质 | |
CN107247794B (zh) | 直播中的话题引导方法、直播装置及终端设备 | |
CN113988021A (zh) | 内容互动方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |