CN113099298A - 虚拟形象的改变方法、装置和终端设备 - Google Patents

虚拟形象的改变方法、装置和终端设备 Download PDF

Info

Publication number
CN113099298A
CN113099298A CN202110378494.7A CN202110378494A CN113099298A CN 113099298 A CN113099298 A CN 113099298A CN 202110378494 A CN202110378494 A CN 202110378494A CN 113099298 A CN113099298 A CN 113099298A
Authority
CN
China
Prior art keywords
avatar
data
live broadcast
live
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110378494.7A
Other languages
English (en)
Other versions
CN113099298B (zh
Inventor
董炼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN202110378494.7A priority Critical patent/CN113099298B/zh
Publication of CN113099298A publication Critical patent/CN113099298A/zh
Application granted granted Critical
Publication of CN113099298B publication Critical patent/CN113099298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种虚拟形象的改变方法、装置和终端设备,当用户进入某一直播间时,直播端设备发送第一直播数据至客户端设备;客户端设备对第一直播数据进行分析,得到初始虚拟形象模型;客户端设备获取虚拟形象调整指令,并根据虚拟形象调整指令对初始虚拟形象模型进行调整,生成目标虚拟形象;直播端设备发送第二直播数据至客户端设备;客户端设备使用该第二直播数据驱动目标虚拟形象并显示。该方法用户可以采用客户端设备对主播的虚拟形象进行修改或调整,从而使得进入同一直播间的各个用户都可以看到不同虚拟形象,一方面满足了个性化的需求;另一方面增加了用户的参与度,增加了直播的趣味性,从而提高用户的观看直播的留存率和观看时长。

Description

虚拟形象的改变方法、装置和终端设备
技术领域
本申请涉及互联网直播技术领域,具体涉及一种虚拟形象的改变方法、装置、终端设备和计算机可读存储介质。
背景技术
随着互联网技术及自媒体的发展,出现很多视频平台和对应的视频直播软件。在直播中,主播可通过直播APP进行视频直播从而为用户放送精彩的节目,而用户也可以通过直播APP观看主播直播或与主播进行互动;并且在直播过程中,主播可以以自己真实形象或根据自己的喜好选择素材库中存储的虚拟形象进行展示,例如采用虚拟主持人进行新闻主播;用户进入直播间就可以查看虚拟形象的直播节目,然而,进入同一个直播间的用户看到的虚拟形象都是相同的,缺乏个性化,用户体验不佳。
申请内容
有鉴于此,本申请实施例中提供了一种虚拟形象的改变方法、装置、终端设备和计算机可读存储介质,以克服现有技术中进入同一个直播间的用户看到的虚拟形象都是相同的,缺乏个性化的问题。
第一方面,本申请实施例提供了一种虚拟形象的改变方法,该方法包括:
当用户进入某一直播间时,直播端设备发送第一直播数据至客户端设备;
所述客户端设备对所述第一直播数据进行分析,得到初始虚拟形象模型;
所述客户端设备获取虚拟形象调整指令,并根据所述虚拟形象调整指令对所述初始虚拟形象模型进行调整,生成目标虚拟形象;
所述直播端设备发送第二直播数据至所述客户端设备;
所述客户端设备使用所述第二直播数据驱动所述目标虚拟形象并显示。
第二方面,本申请实施例提供了一种虚拟形象的改变方法,该方法包括:
当用户进入某一直播间时,接收直播端设备发送第一直播数据;
对所述第一直播数据进行分析,得到初始虚拟形象模型;
获取虚拟形象调整指令,并根据所述虚拟形象调整指令对所述初始虚拟形象模型进行调整,生成目标虚拟形象;
接收所述直播端设备发送第二直播数据;
使用所述第二直播数据驱动所述目标虚拟形象并显示。
第三方面,本申请实施例提供了一种,该装置包括:
第一数据接收模块,用于当用户进入某一直播间时,接收直播端设备发送第一直播数据;
初始形象获得模块,用于对所述第一直播数据进行分析,得到初始虚拟形象模型;
指令获取模块,用于获取虚拟形象调整指令;
目标形象生成模块,用于根据所述虚拟形象调整指令对所述初始虚拟形象模型进行调整,生成目标虚拟形象;
第二数据接收模块,用于接收所述直播端设备发送第二直播数据;
驱动显示模块,用于使用所述第二直播数据驱动所述目标虚拟形象并显示。
第四方面,本申请实施例提供了一种终端设备,包括:存储器;一个或多个处理器,与所述存储器耦接;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行上述第二方面提供的虚拟形象的改变方法。
第五方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第二方面提供的虚拟形象的改变方法。
本申请实施例中,在一用户进入某一直播间时,直播端设备发送第一直播数据至客户端设备;客户端设备对第一直播数据进行分析,得到初始虚拟形象模型;客户端设备获取虚拟形象调整指令,并根据虚拟形象调整指令对初始虚拟形象模型进行调整,生成目标虚拟形象;直播端设备发送第二直播数据至客户端设备;客户端设备使用该第二直播数据驱动目标虚拟形象并显示。
本申请采用了不同于现有技术的直播架构,用户可以采用客户端设备对主播的虚拟形象进行修改或调整,从而使得进入同一直播间的各个用户都可以看到不同虚拟形象,一方面满足了个性化的需求;另一方面增加了用户的参与度,进一步增加了直播的趣味性,从而提高用户的观看直播的留存率和观看时长。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的虚拟形象的改变方法的应用场景示意图;
图2为本申请一个实施例提供的虚拟形象的改变方法的流程示意图;
图3为本申请另一个实施例提供的虚拟形象的改变方法的流程示意图;
图4为本申请一个实施例提供的主播端设备显示的虚拟形象图;
图5为本申请一个实施例提供的客户端设备显示的虚拟形象图;
图6为本申请一个实施例提供的虚拟形象修改的界面图;
图7为本申请一个实施例中提供的虚拟形象的改变装置的结构示意图;
图8为本申请一个实施例中提供的终端设备的结构示意图;
图9为本申请一个实施例中提供的计算机可读存储介质的结构示意图。
具体实施方式
下面将对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更详细说明本申请,下面结合附图对本申请提供的一种虚拟形象的改变方法、装置、终端设备和计算机存储介质,进行具体地描述。
请参考图1,图1示出了本申请实施例提供的虚拟形象的改变方法的应用场景的示意图,该应用场景包括本申请实施例提供的服务器102、直播端设备104和客户端设备106。其中,其中服务器102、直播端设备104和客户端设备106之间设置有网络。网络用于在服务器102、直播端设备104和客户端设备106之间提供通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。服务器102能够与直播端设备104以及客户端设备106进行通信,以为直播端设备104或/和客户端设备106提供直播服务。例如,直播端设备104可以将直播间的直播视频流发送给服务器102,用户可以通过客户端设备106访问服务器102以观看直播间的直播视频。又例如,服务器102也可以在用户订阅的直播间开播时向该用户的客户端设备106发送通知消息。直播视频流可以是当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流。
在一些实施场景中,直播端设备104和客户端设备106可以互换使用。例如,主播可以使用直播端设备104来为观众提供直播视频服务,也可以作为用户查看其他主播提供的直播视频。又例如,用户可以使用客户端设备106观看所关注的主播提供的直播视频,也可以作为主播为其他观众提供直播视频服务。
本实施例中,直播端设备104和客户端设备106都是一种终端设备,可以是具有显示屏的各种电子设备,包括但不限于智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。其中,直播端设备104和客户端设备106中可以安装有用于提供互联网直播服务的互联网产品,例如,互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序APP、Web网页、小程序等。
可以理解,图1所示的应用场景仅为一种可行的示例,在其它可行的实施例中,该应用场景也可以仅包括图1所示的部分组件或者还可以包括其它的组成部分。例如,图1所示的应用场景还可以包括用于采集主播的直播视频帧的视频采集终端108,视频采集终端108可以直接安装或集成于直播端设备104,也可以独立于直播端设备104等,本实施例在此不做限制。
应该理解,直播端设备104、客户端设备106、网络和服务器102的数目仅仅是示意性的。根据实现需要,可以具有任意数目的直播端设备104、客户端设备106、网络和服务器102。比如服务器可以是多个服务器组成的服务器集群等。其中,直播端设备104、客户端设备106通过网络与服务器交互,以接收或发送消息等。服务器102可以是提供各种服务的服务器。其中直播端设备104或客户端设备102可以用来执行本申请实施例中提供的一种虚拟主播生成方法的步骤。
基于此,本申请实施例中提供了一种虚拟形象的改变方法。请参阅图2,图2示出了本申请实施例提供的一种虚拟形象的改变方法的流程示意图,以该方法应用于图1中的直播端设备和客户端设备为例进行说明,包括以下步骤:
步骤S110,当用户进入某一直播间时,直播端设备发送第一直播数据至客户端设备;
在本实施例中,是从直播端设备和客户端设备器两个执行主体来对虚拟形象的改变方法进行描述的。具体地,当点击访使用客户端设备上安装的直播应用程序(例如YY),可以选择进入任意一个直播间收看直播,此时客户端设备、与服务器以及直播端设备就建立了连接。可选地,用户在使用直播应用程序时可以采用注册的账号和密码进行登录,也可以以游客身份进行访问。
当用户进入的是某一个虚拟主播主体下的任一个直播间时,此时直播端设备发送第一直播数据至客户端设备,其中,直播端设备可以是通过服务器来发送第一直播数据给客户端设备。第一直播数据是指用户点击进入直播间时,直播端设备向客户端同步的直播数据。与现有技术中直播端设备在开播时将获取的音视频流数据向进入该直播间的所有客户端进行同步不同,本发明实施例中,第一直播数据不包括视频流,可以包括直播端设备在直播时生成的声音数据、姿态数据、表情数据、直播间场景数据(例如背景数据)、所用的虚拟形象数据(例如包括虚拟形象类型、发型、服饰等)。
此外,用户的数量可以是一个或多个,即多个用户进入同一个直播间,每一个用户都可以有一个客户端设备,每一个客户端设备都可以接收到直播端设备发送第一直播数据。
步骤S120,客户端设备对第一直播数据进行分析,得到初始虚拟形象模型;
客户端设备在接收到主播端设备发送的第一直播数据后,可以对第一直播数据进行分析,得到初始虚拟形象模型;其中初始虚拟形象模型可以为直播端设备的真实主播使用的虚拟形象的模型,该虚拟形象的模型可以是真实主播采用直播软件的捏脸模块或者第三方捏脸系统制作而成的。可选地,初始虚拟形象模型可以是真实直播采用设计人员预先设计的虚拟形象的通用模板制作成的,具体是基于人的标准脸型、标准唇形、及标准眼形等头部各部分对应的标准形态制作的。
步骤S130,客户端设备获取虚拟形象调整指令,并根据虚拟形象调整指令对初始虚拟形象模型进行调整,生成目标虚拟形象;
具体而言,客户端设备在得到初始虚拟形象模型之后,用户可以通过客户端设备对初始虚拟形象模型进行一些调整,从而生成新的虚拟形象。具体地,客户端设备获取虚拟形象调整指令,根据虚拟形象调整指令对初始虚拟形象模型进行相应的调整,从而生成目标虚拟形象。
其中,虚拟形象调整指令包括但不限于虚拟形象调整参数,例如骨骼系数、表情系数、眼睛、头发、鼻子、嘴巴、睫毛、眉毛等相关参数。
步骤S140,直播端设备发送第二直播数据至客户端设备;
步骤S150,客户端设备使用该第二直播数据驱动目标虚拟形象并显示。
在生成目标虚拟形象后,直播端设备发送第二直播数据至客户端设备,客户端设备使用第二直播数据驱动目标虚拟形象并在客户端设备进行显示。第二直播数据可以用来驱动目标虚拟形象做出与直播端设备的虚拟形象做出一致的动作、发出同样的声音,以及显示同样的直播间背景等。此外,直播端设备可以是通过服务器来发送第二直播数据给客户端设备。
第二直播数据是指用户点击进入直播间后,直播端设备向客户端同步的直播数据。与现有技术中直播端设备在开播时将获取的音视频流数据向进入该直播间的所有客户端进行同步不同,本发明实施例中,第二直播数据不包括视频流,可以包括直播端设备在直播时生成的声音数据、姿态数据、表情数据、直播间场景数据(例如背景数据)。且直播端设备仅在上述第二直播数据发生改变时,例如主播播放动作、主播移动、场景切换、主播切换等直播场景状态改变时,才向所述客户端设备同步第二直播数据。在客户端设备生成目标虚拟形象后,根据所述直播端设备通过的第二直播数据驱动目标虚拟形象并显示。
本申请实施例中,在一用户进入某一直播间时,直播端设备发送第一直播数据至客户端设备;客户端设备对第一直播数据进行分析,得到初始虚拟形象模型;客户端设备获取虚拟形象调整指令,并根据虚拟形象调整指令对初始虚拟形象模型进行调整,生成目标虚拟形象;直播端设备发送第二直播数据至客户端设备;客户端设备使用该第二直播数据驱动目标虚拟形象并显示。
本申请采用了不同于现有技术的直播架构,用户可以采用客户端设备对主播的虚拟形象进行修改或调整,从而使得进入同一直播间的各个用户都可以看到不同虚拟形象,一方面满足了个性化的需求;另一方面增加了用户的参与度,进一步增加了直播的趣味性,从而提高用户的观看直播的留存率和观看时长。
图3为本发明另一实施例的虚拟形象的改变方法的流程图,该虚拟形象的改变方法主要是由图1中客户端设备来执行的,如图3所示,该方法包括以下步骤:
步骤210,当用户进入某一直播间时,接收直播端设备发送第一直播数据;
在本实施例中,当用户进入某一个直播间时,该直播间为某一个虚拟主播主体下的任一个直播间时,此时直播端设备可以发送第一直播数据至客户端设备,其中,直播端设备可以是通过服务器来发送第一直播数据给客户端设备。第一直播数据是指用户点击进入直播间时,直播端设备向客户端同步的直播数据。与现有技术中直播端设备在开播时将获取的音视频流数据向进入该直播间的所有客户端进行同步不同,本发明实施例中,第一直播数据不包括视频流,可以包括直播端设备在直播时生成的声音数据、姿态数据、表情数据、直播间场景数据(例如背景数据)、所用的虚拟形象数据(例如包括虚拟形象类型、发型、服饰等)。
此外,用户的数量可以是一个或多个,即多个用户进入同一个直播间,每一个用户都可以有一个客户端设备,每一个客户端设备都可以接收到直播端设备发送第一直播数据。
步骤220,对第一直播数据进行分析,得到初始虚拟形象模型;
具体地,客户端设备可以对第一直播数据进行分析,得到初始虚拟形象模型;其中初始虚拟形象模型可以为直播端设备的真实主播使用的虚拟形象的模型,该虚拟形象的模型可以是真实主播采用直播软件的捏脸模块或者第三方捏脸系统制作而成的。可选地,初始虚拟形象模型可以是真实直播采用设计人员预先设计的虚拟形象的通用模板制作成的,具体是基于人的标准脸型、标准唇形、及标准眼形等头部各部分对应的标准形态制作的。
步骤230,获取虚拟形象调整指令,并根据虚拟形象调整指令对初始虚拟形象模型进行调整,生成目标虚拟形象;
具体地,客户端设备在得到初始虚拟形象模型之后,用户可以通过客户端设备对初始虚拟形象模型进行一些调整,从而生成新的虚拟形象。其中,虚拟形象调整指令包括但不限于虚拟形象调整参数,例如骨骼系数、表情系数、眼睛、头发、鼻子、嘴巴、睫毛、眉毛等相关参数。
步骤240,接收直播端设备发送第二直播数据;
步骤250,使用该第二直播数据驱动目标虚拟形象并显示。
在本实施例中,在生成目标虚拟形象后,客户端设备接收直播端设备发送第二直播数据,然后使用第二直播数据驱动目标虚拟形象并进行显示。第二直播数据可以用来驱动目标虚拟形象做出与直播端设备的虚拟形象做出一致的动作、发出同样的声音,以及显示同样的直播间背景等。
其中,第二直播数据是指用户点击进入直播间后,直播端设备向客户端同步的直播数据。与现有技术中直播端设备在开播时将获取的音视频流数据向进入该直播间的所有客户端进行同步不同,本发明实施例中,第二直播数据不包括视频流,可以包括直播端设备在直播时生成的声音数据、姿态数据、表情数据、直播间场景数据(例如背景数据)。且直播端设备仅在上述第二直播数据发生改变时,例如主播播放动作、主播移动、场景切换、主播切换等直播场景状态改变时,才向所述客户端设备同步第二直播数据。在客户端设备生成目标虚拟形象后,根据所述直播端设备通过的第二直播数据驱动目标虚拟形象并显示。
为了便于理解给出一个详细的实施例;假设有一主播A使用如图4所示的虚拟形象在B直播间进行直播;一用户C进入B直播间,此时主播A把包含有图4所示的虚拟形象的直播数据(即第一直播数据)发送(可以是通过服务器发送)至用户C的终端设备,用户C的终端设备在接收到有图4所示的虚拟形象的直播数据后,输入虚拟形象调整指令,对图4虚拟形象进行调整修改,从而生成图5所示的虚拟形象;在直播过程中,主播A把当前的直播数据(即第二直播数据)发送至用户C的终端设备,该直播数据可以来驱动图5所示的虚拟形象做出与图4所示的虚拟形象的相同的动作。应当理解,在实际使用中,用户的数量可以是多个,每一个用户的终端设备可以显示不同的虚拟形象。
在一个实施例中,根据虚拟形象调整指令对初始虚拟形象模型进行调整,生成目标虚拟形象的步骤中,包括:
对虚拟形象调整指令进行分析,得到虚拟形象的骨骼参数和表情参数;根据骨骼参数和表情参数对初始虚拟形象模型分别进行骨骼特征和表情特征调整,生成目标虚拟形象。
具体地,在获取到虚拟形象调整指令之后,对虚拟形象调整指令进行分析,得到虚拟形象的骨骼参数和表情参数,然后可以基于该骨骼参数和表情参数分别对初始虚拟形象模型的骨骼特征和表情特征进行调整,即根据骨骼参数、表情参数以及初始虚拟形象模型进行捏脸,从而得到目标虚拟形象。
在一些实施例中,在根据骨骼参数对初始虚拟形象模型的骨骼特征进行调整时,可以先对初始虚拟形象模型的骨骼特征进行分析,确定各骨骼的关键点信息(例如坐标),即确定初始虚拟形象模型的骨骼参数;然后将初始虚拟形象模型的骨骼参数与虚拟形象调整指令中虚拟形象的骨骼参数进行比较找出需要修改的一些参数(即确定骨骼变换信息),然后根据骨骼变换信息确定相应的骨骼缩放系数和骨骼位移,进而基于各骨骼缩放系数、骨骼位移,调整初始虚拟模型中相应的关键点的位置。
其中,骨骼变换或调整即骨骼局部空间变换的过程,可以通过变换矩阵等方式实现。
在对初始虚拟形象模型进行骨骼特征调整后,可以对其进行表情特征调整。具体为:可以对初始虚拟形象模型的表情特征进行分析,得到初始虚拟形象模型的表情参数,然后将初始虚拟形象模型的表情参数与初始虚拟形象模型的表情参数,确定需要修改的一些参数,然后基于修改的参数对初始虚拟形象模型进行表情修改。其中,初始虚拟形象模型的表情参数用来表示初始虚拟形象模型的表情状态。在一种可选的实施例方式中,可以采用数字来表示表情参数,即采用不同的数字来表示不同的表情状态,例如嘴巴张开为1,嘴巴闭合为0等。
在一个实施例中,在获取虚拟形象调整指令的步骤中,包括:响应于针对初始虚拟形象模型的点击操作,呈现虚拟形象图标的工具栏;虚拟形象图标的工具栏用于在接收到点击操作时生成虚拟形象调整指令。
在本实施例中,客户端设备响应于针对初始虚拟形象模型的点击操作的点击操作,可以呈现出包含虚拟形象修改的界面,该界面中可以包括虚拟形象图标的工具栏,具体请参照图6所示,图6中方框中的内容为虚拟形象图标的工具栏,该工作栏中存储中一系列虚拟形象图标,该虚拟形象图标用于接收到点击操作时生产虚拟形象调整指令,即用户可以通过点击虚拟形象图标来生成虚拟形象调整指令,从而来对初始虚拟形象模型进行调整。
其中,虚拟形象调整指令包括虚拟形象的调整参数,例如包括虚拟形象的骨骼参数、表情参数、肤色、眼睛大小、服装类型、音量、场景色调等参数,用户可根据自身需求对初始虚拟形象模型进行优化,从而进一步满足用户需求,改善用户体验。
在一些实施例中,在获取虚拟形象调整指令的步骤中,包括:获取用户的帧图像,对帧图像进行识别,得到虚拟形象调整指令。
在本实施例中,客户端设备获取用户的帧图像,基于帧图像,得到虚拟形象调整指令。可选地,用户的帧图像可以是客户端设备采用例如视频采集终端实时采集的,也可以是预先存储在客户端设备或其他第三方设备中的用户的帧图像。用户的帧图像是指包含有用户脸部信息相关的视频或图片。其中,用户脸部信息包括以下至少之一:眼部、发部、耳朵、嘴巴、鼻子、眉毛、胡子、脸型。这里,眼部可以包括眼睛及眼镜,发部可以包括头发及帽子等。
在一种可选的实施方式中,客户端设备采集用户的帧图像的具体过程为:客户端设备,终端通过视图界面向用户呈现包含如贴纸、滤镜、虚拟形象等多种拍摄道具图标的工具栏,用户可以通过点击操作选择需要的拍摄道具。当客户端设备检测到用户选择的拍摄道具时,视频采集终端开始采集或拍摄用户的视频图像或者照片图像,然后将拍摄的用户的视频图像或者照片图像发送至客户端设备,客户端设备对用户的视频图像或者照片图像进行分析,生成相应的虚拟形象调整指令。
在一个实施例中,在使用该第二直播数据驱动目标虚拟形象并显示的步骤中,包括:
对第二直播数据进行分析,得到直播端设备的主播声音数据和主播姿态数据;将主播声音数据和数据主播姿态数据叠加至目标虚拟形象,并以完成数据叠加的目标虚拟形象为用户提供直播内容并显示。
具体地,客户端设备在接收到第二直播数据后对其进行分析,得到主播声音数据和主播姿态数据,然后采用主播声音数据和姿态数据叠加至目标虚拟形象,进而驱动目标虚拟形象做出相应的动作以及发送相应的声音。
其中,主播声音数据包括但不限于音色信息、语言信息(即话说的内容)等;主播姿态信息包括但限于动作数据、表情数据。
采用该方式可以使得用户在收看直播时,目标虚拟形象的动作和说话的内容等与主播端设备的虚拟形象保持一致,增加了与用户的互动性。
在一个实施例中,在使用该第二直播数据驱动目标虚拟形象并显示的步骤中,还包括:
对第二直播数据进行分析,得到直播端设备的直播间场景数据;根据直播间场景数据对目标虚拟形象所在的场景进行设置并显示。
其中,直播间场景数据包括但不限于直播间背景(例如背景颜色、物件种类、摆设方式)等。采用该方式可以在直播端设备的直播间场景发生变化时可以对客户端设备的场景进行同步的更新,进一步增加了直播的趣味性以及与用户的互动性。
应该理解的是,虽然图2以及图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且图2以及图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述本申请公开的实施例中详细描述了一种虚拟形象的改变方法,对于本申请公开的上述方法可采用多种形式的设备实现,因此本申请还公开了对应上述方法的虚拟形象的改变装置,下面给出具体的实施例进行详细说明。
请参阅图7,为本申请实施例公开的一种虚拟形象的改变装置,主要包括:
第一数据接收模块702,用于当用户进入某一直播间时,接收直播端设备发送第一直播数据;
初始形象获得模块704,用于对第一直播数据进行分析,得到初始虚拟形象模型;
指令获取模块706,用于获取虚拟形象调整指令;
目标形象生成模块708,用于根据虚拟形象调整指令对初始虚拟形象模型进行调整,生成目标虚拟形象;
第二数据接收模块710,用于接收直播端设备发送第二直播数据;
驱动显示模块712,用于使用第二直播数据驱动目标虚拟形象并显示。
在一个实施例中,目标形象生成模块用于对虚拟形象调整指令进行分析,得到虚拟形象的骨骼参数和表情参数;根据骨骼参数和表情参数对初始虚拟形象模型分别进行骨骼特征和表情特征调整,生成目标虚拟形象。
在一个实施例中,指令获取模块,用于响应于针对初始虚拟形象模型的点击操作,呈现虚拟形象图标的工具栏;其中虚拟形象图标的工具栏用于在接收到点击操作时生成虚拟形象调整指令。
在一个实施例中,指令获取模块,用于获取用户的帧图像;对帧图像进行识别,得到虚拟形象调整指令。
在一个实施例中,驱动显示模块,用于对第二直播数据进行分析,得到直播端设备的主播声音数据和主播姿态数据;将主播声音数据和数据主播姿态数据叠加至目标虚拟形象,并以完成数据叠加的目标虚拟形象为用户提供直播内容并显示。
在一个实施例中,驱动显示模块,用于对第二直播数据进行分析,得到直播端设备的直播间场景数据;根据直播间场景数据对目标虚拟形象所在的场景进行设置并显示。
关于虚拟形象的改变装置的具体限定可以参见上文中对于方法的限定,在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中,也可以以软件形式存储于终端设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
请参考图8,图8其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备80可以是计算机设备。本申请中的终端设备80可以包括一个或多个如下部件:处理器82、存储器84以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器84中并被配置为由一个或多个处理器82执行,一个或多个应用程序配置用于执行上述应用于终端设备的方法实施例中所描述的方法,也可以配置用于执行上述应用于虚拟形象的改变方法实施例中所描述的方法。
处理器82可以包括一个或者多个处理核。处理器82利用各种接口和线路连接整个终端设备80内的各个部分,通过运行或执行存储在存储器84内的指令、程序、代码集或指令集,以及调用存储在存储器84内的数据,执行终端设备80的各种功能和处理数据。可选地,处理器82可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器82可集成中央处理器(Cen tralProcessingUnit,CPU)、埋点数据的上报验证器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器82中,单独通过一块通信芯片进行实现。
存储器84可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器84可用于存储指令、程序、代码、代码集或指令集。存储器84可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备80在使用中所创建的数据等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端设备的限定,具体的终端设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
综上,本申请实施例提供的终端设备用于实现前述方法实施例中相应的虚拟形象的改变方法,并具有相应的方法实施例的有益效果,在此不再赘述。
请参阅图9,其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质90中存储有程序代码,程序代码可被处理器调用执行上述虚拟形象的改变方法实施例中所描述的方法,也可以被处理器调用执行上述虚拟形象的改变方法实施例中所描述的方法。
计算机可读取存储介质90可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质90包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质90具有执行上述方法中的任何方法步骤的程序代码92的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码92可以例如以适当形式进行压缩。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种虚拟形象的改变方法,其特征在于,所述方法包括:
当用户进入某一直播间时,直播端设备发送第一直播数据至客户端设备;
所述客户端设备对所述第一直播数据进行分析,得到初始虚拟形象模型;
所述客户端设备获取虚拟形象调整指令,并根据所述虚拟形象调整指令对所述初始虚拟形象模型进行调整,生成目标虚拟形象;
所述直播端设备发送第二直播数据至所述客户端设备;
所述客户端设备使用所述第二直播数据驱动所述目标虚拟形象并显示。
2.一种虚拟形象的改变方法,其特征在于,所述方法包括:
当用户进入某一直播间时,接收直播端设备发送第一直播数据;
对所述第一直播数据进行分析,得到初始虚拟形象模型;
获取虚拟形象调整指令,并根据所述虚拟形象调整指令对所述初始虚拟形象模型进行调整,生成目标虚拟形象;
接收所述直播端设备发送第二直播数据;
使用所述第二直播数据驱动所述目标虚拟形象并显示。
3.根据权利要求2所述的方法,其特征在于,根据所述虚拟形象调整指令对所述初始虚拟形象模型进行调整,生成目标虚拟形象的步骤中,包括:
对所述虚拟形象调整指令进行分析,得到虚拟形象的骨骼参数和表情参数;
根据所述骨骼参数和所述表情参数对所述初始虚拟形象模型分别进行骨骼特征和表情特征调整,生成所述目标虚拟形象。
4.根据权利要求3所述的方法,其特征在于,在获取虚拟形象调整指令的步骤中,包括:
响应于针对所述初始虚拟形象模型的点击操作,呈现虚拟形象图标的工具栏;所述虚拟形象图标的工具栏用于在接收到点击操作时生成所述虚拟形象调整指令。
5.根据权利要求3所述的方法,其特征在于,在获取虚拟形象调整指令的步骤中,包括:
获取用户的帧图像,对所述帧图像进行识别,得到所述虚拟形象调整指令。
6.根据权利要求1-5任一项所述的方法,其特征在于,在使用所述第二直播数据驱动所述目标虚拟形象并显示的步骤中,包括:
对所述第二直播数据进行分析,得到所述直播端设备的主播声音数据和主播姿态数据;
将所述主播声音数据和数据主播姿态数据叠加至所述目标虚拟形象,并以完成数据叠加的目标虚拟形象为用户提供直播内容并显示。
7.根据权利要求6所述的方法,其特征在于,在使用所述第二直播数据驱动所述目标虚拟形象并显示的步骤中,还包括:
对所述第二直播数据进行分析,得到所述直播端设备的直播间场景数据;
根据所述直播间场景数据对所述目标虚拟形象所在的场景进行设置并显示。
8.一种虚拟形象的改变装置,其特征在于,所述装置包括:
第一数据接收模块,用于当用户进入某一直播间时,接收直播端设备发送第一直播数据;
初始形象获得模块,用于对所述第一直播数据进行分析,得到初始虚拟形象模型;
指令获取模块,用于获取虚拟形象调整指令;
目标形象生成模块,用于根据所述虚拟形象调整指令对所述初始虚拟形象模型进行调整,生成目标虚拟形象;
第二数据接收模块,用于接收所述直播端设备发送第二直播数据;
驱动显示模块,用于使用所述第二直播数据驱动所述目标虚拟形象并显示。
9.一种终端设备,其特征在于,包括:
存储器;一个或多个处理器,与所述存储器耦接;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行如权利要求2-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求2-7任一项所述的方法。
CN202110378494.7A 2021-04-08 2021-04-08 虚拟形象的改变方法、装置和终端设备 Active CN113099298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110378494.7A CN113099298B (zh) 2021-04-08 2021-04-08 虚拟形象的改变方法、装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110378494.7A CN113099298B (zh) 2021-04-08 2021-04-08 虚拟形象的改变方法、装置和终端设备

Publications (2)

Publication Number Publication Date
CN113099298A true CN113099298A (zh) 2021-07-09
CN113099298B CN113099298B (zh) 2022-07-12

Family

ID=76675772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378494.7A Active CN113099298B (zh) 2021-04-08 2021-04-08 虚拟形象的改变方法、装置和终端设备

Country Status (1)

Country Link
CN (1) CN113099298B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407850A (zh) * 2021-07-15 2021-09-17 北京百度网讯科技有限公司 一种虚拟形象的确定和获取方法、装置以及电子设备
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
CN113900522A (zh) * 2021-09-30 2022-01-07 温州大学大数据与信息技术研究院 一种虚拟形象的互动方法、装置
CN113938696A (zh) * 2021-10-13 2022-01-14 广州方硅信息技术有限公司 基于自定义虚拟礼物的直播互动方法、系统及计算机设备
CN114187394A (zh) * 2021-12-13 2022-03-15 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备以及存储介质
CN114374880A (zh) * 2021-12-23 2022-04-19 北京达佳互联信息技术有限公司 联合直播方法、装置、电子设备及计算机可读存储介质
CN114531601A (zh) * 2022-04-24 2022-05-24 海马云(天津)信息技术有限公司 直播方法与装置
CN115861500A (zh) * 2022-12-09 2023-03-28 上海哔哩哔哩科技有限公司 2d模型碰撞体生成方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
CN109874021A (zh) * 2017-12-04 2019-06-11 腾讯科技(深圳)有限公司 直播互动方法、装置及系统
CN110072116A (zh) * 2019-05-06 2019-07-30 广州虎牙信息科技有限公司 虚拟主播推荐方法、装置及直播服务器
CN110087121A (zh) * 2019-04-30 2019-08-02 广州虎牙信息科技有限公司 虚拟形象显示方法、虚拟形象显示装置和电子设备
CN110119700A (zh) * 2019-04-30 2019-08-13 广州虎牙信息科技有限公司 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN110766777A (zh) * 2019-10-31 2020-02-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
CN110971930A (zh) * 2019-12-19 2020-04-07 广州酷狗计算机科技有限公司 虚拟形象直播的方法、装置、终端及存储介质
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN112040270A (zh) * 2019-06-03 2020-12-04 广州虎牙信息科技有限公司 一种直播方法、装置、设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109874021A (zh) * 2017-12-04 2019-06-11 腾讯科技(深圳)有限公司 直播互动方法、装置及系统
CN108986192A (zh) * 2018-07-26 2018-12-11 北京运多多网络科技有限公司 用于直播的数据处理方法及装置
CN110087121A (zh) * 2019-04-30 2019-08-02 广州虎牙信息科技有限公司 虚拟形象显示方法、虚拟形象显示装置和电子设备
CN110119700A (zh) * 2019-04-30 2019-08-13 广州虎牙信息科技有限公司 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN110072116A (zh) * 2019-05-06 2019-07-30 广州虎牙信息科技有限公司 虚拟主播推荐方法、装置及直播服务器
CN112040270A (zh) * 2019-06-03 2020-12-04 广州虎牙信息科技有限公司 一种直播方法、装置、设备和存储介质
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN110766777A (zh) * 2019-10-31 2020-02-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
CN110971930A (zh) * 2019-12-19 2020-04-07 广州酷狗计算机科技有限公司 虚拟形象直播的方法、装置、终端及存储介质
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407850A (zh) * 2021-07-15 2021-09-17 北京百度网讯科技有限公司 一种虚拟形象的确定和获取方法、装置以及电子设备
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
CN113900522A (zh) * 2021-09-30 2022-01-07 温州大学大数据与信息技术研究院 一种虚拟形象的互动方法、装置
CN113938696A (zh) * 2021-10-13 2022-01-14 广州方硅信息技术有限公司 基于自定义虚拟礼物的直播互动方法、系统及计算机设备
CN113938696B (zh) * 2021-10-13 2024-03-29 广州方硅信息技术有限公司 基于自定义虚拟礼物的直播互动方法、系统及计算机设备
CN114187394A (zh) * 2021-12-13 2022-03-15 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备以及存储介质
CN114374880A (zh) * 2021-12-23 2022-04-19 北京达佳互联信息技术有限公司 联合直播方法、装置、电子设备及计算机可读存储介质
CN114374880B (zh) * 2021-12-23 2023-08-29 北京达佳互联信息技术有限公司 联合直播方法、装置、电子设备及计算机可读存储介质
CN114531601A (zh) * 2022-04-24 2022-05-24 海马云(天津)信息技术有限公司 直播方法与装置
CN115861500A (zh) * 2022-12-09 2023-03-28 上海哔哩哔哩科技有限公司 2d模型碰撞体生成方法及装置
CN115861500B (zh) * 2022-12-09 2023-08-18 上海哔哩哔哩科技有限公司 2d模型碰撞体生成方法及装置

Also Published As

Publication number Publication date
CN113099298B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
CN111641844B (zh) 直播互动方法、装置、直播系统及电子设备
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN110465097B (zh) 游戏中的角色立绘显示方法及装置、电子设备、存储介质
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
CN110827378A (zh) 虚拟形象的生成方法、装置、终端及存储介质
CN111654715B (zh) 直播的视频处理方法、装置、电子设备及存储介质
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
EP3917131A1 (en) Image deformation control method and device and hardware device
CN111182350B (zh) 图像处理方法、装置、终端设备及存储介质
CN105389090B (zh) 游戏交互界面显示的方法及装置、移动终端和电脑终端
CN116437137B (zh) 直播处理方法、装置、电子设备及存储介质
US20230386001A1 (en) Image display method and apparatus, and device and medium
CN112053370A (zh) 基于增强现实的显示方法、设备及存储介质
CN111510769B (zh) 视频图像处理方法、装置及电子设备
CN111866372A (zh) 自拍方法、装置、存储介质以及终端
CN109413152B (zh) 图像处理方法、装置、存储介质及电子设备
CN114222076A (zh) 一种换脸视频生成方法、装置、设备以及存储介质
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
CN117376660A (zh) 字幕元素的渲染方法、装置、设备、介质及程序产品
CN114913058A (zh) 显示对象的确定方法、装置、电子设备及存储介质
CN115334325A (zh) 基于可编辑三维虚拟形象生成直播视频流的方法和系统
CN115426505B (zh) 基于面部捕捉的预设表情特效触发方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant