CN110557625A - 虚拟形象直播方法、终端、计算机设备及存储介质 - Google Patents
虚拟形象直播方法、终端、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110557625A CN110557625A CN201910877546.8A CN201910877546A CN110557625A CN 110557625 A CN110557625 A CN 110557625A CN 201910877546 A CN201910877546 A CN 201910877546A CN 110557625 A CN110557625 A CN 110557625A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- avatar
- live
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000009471 action Effects 0.000 claims abstract description 96
- 238000009877 rendering Methods 0.000 claims abstract description 62
- 230000008921 facial expression Effects 0.000 claims abstract description 51
- 230000000875 corresponding effect Effects 0.000 claims abstract description 45
- 230000033001 locomotion Effects 0.000 claims description 91
- 230000001815 facial effect Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 abstract description 16
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开关于一种虚拟形象直播方法、装置、计算机设备及存储介质。该方法包括：从服务器获取虚拟形象模型以及虚拟素材数据，虚拟素材数据用于渲染虚拟形象模型；响应于服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动虚拟形象模型做出对应的动作；基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频播放。本公开的实施例当主播以虚拟形象进行直播时，向服务器上传主播的表情数据和动作数据，直播观看终端接收表情数据和动作数据后，在本地进行虚拟形象的渲染实现虚拟形象直播，降低了主播终端侧对网络带宽的要求，提高了虚拟形象视频的渲染质量。
Description
技术领域
本公开涉及视频直播技术领域，尤其涉及一种虚拟形象直播方法、终端、计算机设备及存储介质。
背景技术
近年来，虚拟形象直播在视频直播业务中占据着越来越大的比例，虚拟形象直播是以特定的虚拟形象替代主播的真实形象进行视频直播，具体的，实时的将主播的表情以及肢体动作应用到特定的虚拟形象之上，使该虚拟图像能够随主播的表情以及肢体动作同步实现相应的表情以及肢体动作等，通过这种新兴的直播方式，能够满足特定观看人群的需求，比如对二次元文化感兴趣的人群。
现有的虚拟形象直播主要是通过主播的终端将主播的表情以及肢体动作实时的向特定的虚拟形象渲染，使该虚拟形象能够随主播的表情及肢体动作做出对应的表情及肢体动作，在本地完成虚拟形象渲染后上传服务器，服务器通过流媒体技术将转换为直播视频流向观众的终端传输，以此来实现虚拟形象直播。
但是，上述现有方案会存在以下问题，受限于主播的终端性能，其所能上传的虚拟形象图像的分辨率不会太高，通常为720p格式，服务器将接收到虚拟形象图像后还会进行流媒体压缩，而压缩后的直播视频流的视频质量达不到720p格式的标准，导致用户在终端上无法观看到清晰的直播视频；并且，上述的直播方式对主播终端侧的网络状态特别敏感，当主播终端侧的网络信号不好时，导致服务器向用户终端传输直播视频流时，会出现虚拟形象表情和动作不连贯、卡顿及中断等状况。
发明内容
本公开提供了一种虚拟形象直播方法、装置、计算机设备及存储介质，以至少解决相关技术中虚拟形象视频不清晰以及容易受到网络信号波动的影响而导致虚拟形象表情和动作不连贯、卡顿及中断的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种虚拟形象直播方法，包括
从服务器获取虚拟形象模型以及虚拟素材数据，虚拟素材数据用于渲染虚拟形象模型；
响应于服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动虚拟形象模型做出对应的动作；
基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频播放。
根据本公开的一个实施例，上述响应于服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动虚拟形象模型做出对应的动作，包括：
基于面部表情数据驱动虚拟形象模型的面部模型，使面部模型做出相应的面部表情；
基于头部动作数据驱动虚拟形象模型的头部模型，使头部模型做出相应的头部动作；
基于身体动作数据驱动虚拟形象模型的身体模型，使身体模型做出相应的身体动作。
根据本公开的一个实施例，上述虚拟素材数据至少包括虚拟形象皮肤数据、环境数据、贴图数据中的一种。
根据本公开的一个实施例，上述将渲染后所获得的虚拟形象视频播放，包括：
获取主播的声音数据；
将声音数据与渲染后所获得的虚拟形象视频合并后播放。
根据本公开实施例的第二方面，提供一种虚拟形象直播方法，包括：
获取主播的直播视频，直播视频包括多个视频帧；
识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据；
向服务器发送携带有面部表情数据、头部动作数据和身体动作数据的直播指令，直播指令用于指示直播终端基于面部表情数据、头部动作数据和身体动作数据驱动预配置的虚拟形象模型做出对应的动作，并基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在直播观看终端上播放，其中，直播终端从服务器获取虚拟形象模型以及虚拟素材数据。
根据本公开的一个实施例，上述识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据，包括：
对每个视频帧进行面部识别和身体识别，获得主播的面部图像和身体图像；
分别对面部图像和身体图像进行分析，获得每个视频帧的面部参数、头部参数以及身体参数；
将每个视频帧的面部参数、头部参数以及身体参数按照视频帧顺序分别进行合并，获得面部表情数据、头部动作数据和身体动作数据。
根据本公开实施例的第三方面，提供一种直播观看终端，包括：
获取单元，被配置为执行从服务器获取虚拟形象模型以及虚拟素材数据，虚拟素材数据用于渲染虚拟形象模型；
驱动单元，被配置为响应于服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动虚拟形象模型做出对应的动作；
渲染单元，被配置为基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频播放。
根据本公开的一个实施例，上述驱动单元被配置为：
基于面部表情数据驱动虚拟形象模型的面部模型，使面部模型做出相应的面部表情；
基于头部动作数据驱动虚拟形象模型的头部模型，使头部模型做出相应的头部动作；
基于身体动作数据驱动虚拟形象模型的身体模型，使身体模型做出相应的身体动作。
根据本公开的一个实施例，上述虚拟素材数据至少包括虚拟形象皮肤数据、环境数据、贴图数据中的一种。
根据本公开的一个实施例，上述渲染单元还被配置为：
获取主播的声音数据；
将声音数据与渲染后所获得的虚拟形象视频合并后播放。
根据本公开实施例的第四方面，提供一种直播终端，包括：
获取单元，被配置为获取主播的直播视频，直播视频包括多个视频帧；
识别单元，被配置为识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据；
直播单元，被配置为向服务器发送携带有面部表情数据、头部动作数据和身体动作数据的直播指令，直播指令用于指示直播终端基于面部表情数据、头部动作数据和身体动作数据驱动预配置的虚拟形象模型做出对应的动作，并基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在直播观看终端上播放，其中，直播终端从服务器获取虚拟形象模型以及虚拟素材数据。
根据本公开的一个实施例，上述识别单元被配置为：
对每个视频帧进行面部识别和身体识别，获得主播的面部图像和身体图像；
分别对面部图像和身体图像进行分析，获得每个视频帧的面部参数、头部参数以及身体参数；
将每个视频帧的面部参数、头部参数以及身体参数按照视频帧顺序分别进行合并，获得面部表情数据、头部动作数据和身体动作数据。
根据本公开实施例的第五方面，提供一种计算机设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现如上述任一项的虚拟形象直播方法。
根据本公开实施例的第六方面，提供一种存储介质，当存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如上述任一项的虚拟形象直播方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，包括可执行指令，当计算机程序产品中的指令由计算机设备的处理器执行时，使得计算机设备能够执行如上述任一项的内容项投放方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开的实施例当主播以虚拟形象进行直播时，向服务器上传主播的表情数据和动作数据，直播观看终端接收表情数据和动作数据后，在本地进行虚拟形象的渲染实现虚拟形象直播，降低了主播终端侧对网络带宽的要求，提高了虚拟形象视频的渲染质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的直播观看终端实现虚拟形象直播方法的流程图；
图2是根据一示例性实施例示出的直播终端实现虚拟形象直播方法的流程图；
图3是根据一示例性实施例示出的一种直播观看终端的框图；
图4是根据一示例性实施例示出的一种直播终端框图；
图5根据一示例性实施例示出的一种虚拟形象直播系统500的示意图；
图6是根据一示例性实施例示出的一种计算机设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的终端和方法的例子。
针对于虚拟形象直播场景，为了解决虚拟形象视频在上传以及传输过程中容易受网络波动的影响，直播端可以将所获取到的主播的动作数据实时向服务器上传，服务器再将主播的动作数据向直播观看终端发送，直播观看终端接收到主播的动作数据后基于本地已配置好的虚拟素材数据进行虚拟形象渲染并播放，实现虚拟形象直播。图1是根据一示例性实施例示出的直播观看终端实现虚拟形象直播方法的流程图，应用于直播观看终端，该直播观看终端可以是智能手机、平板电脑、笔记本电脑或台式电脑等，如图1所示，包括以下步骤。
在步骤101中，从服务器获取虚拟形象模型以及虚拟素材数据，虚拟素材数据用于渲染虚拟形象模型。
在一种可能的实现方式中，直播观看终端可以预先接收服务器下发的虚拟形象模型以及虚拟素材信息，并将虚拟形象模型以及虚拟素材信息载入至用于进行虚拟形象渲染的程序中，使得直播观看终端在后续步骤中实时地对所接收到的主播的动作数据进行渲染并播放，减少直播延时，提高观众的观看体验。
在本公开的一个实施例中，虚拟形象模型可以包括多个虚拟形象的可配置三维模型，该虚拟形象可以是原创或已获得授权的动画角色、动漫角色、影视角色、游戏角色等，通过对该虚拟形象模型中的头部模型以及身体模型分别配置相应的动作参数，可以使该虚拟形象模型可以做出与动作参数相匹配的动作，该动作可以包括面部表情动作(比如微笑、大笑、库、吐舌头等)、头部动作(比如摇头、点头等)以及肢体动作(比如举手、抬腿以及跳舞等复杂动作)。
在一种可能的实现方式中，虚拟形象模型可以通过骨骼蒙皮动画(SkinnedMeshAnimation)系统进行构建，具体的，该系统将三维网格(可以是虚拟形象的皮肤)的各个顶点绑定到一个骨骼层次结构上，当骨骼层次结构发生变化后，根据所绑定的信息计算出新的顶点的坐标，进而驱动三维网格变形，实现驱动虚拟形象做出相应动作。
在步骤102中，响应于服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动虚拟形象模型做出对应的动作。
在一种可能的实现方式中，基于面部表情数据驱动虚拟形象模型的面部模型，使面部模型做出相应的面部表情；基于头部动作数据驱动虚拟形象模型的头部模型，使头部模型做出相应的头部动作；基于身体动作数据驱动虚拟形象模型的身体模型，使身体模型做出相应的身体动作。
在本公开的一个实施例中，直播观看终端接收到服务器发送的面部动作数据和身体动作数据后，可以驱动预设的驱动虚拟形象模型做出对应的动作，具体可以包括以下步骤：
步骤1021，在虚拟形象模型上选择多个控制单元，计算虚拟形象模型受这些控制单元的影响权重；
在一种可能的实现方式中，上述控制单元的影响权重可以控制虚拟形象模型发生变形的程度，精准的影响权重可以使虚拟形象模型发生自然、高质量的变形，使虚拟形象更加逼真，具体的，可以为控制单元的仿射变换设定限制条件，并通过求解在该限制条件下的仿射变换所对应的欧拉-拉格朗日方程，即可获得每个控制单元的影响权重。
步骤1022，基于面部动作数据和身体动作数据驱动相应的控制单元，控制单元根据影响权重控制虚拟形象模型的头部模型和身体模型发生形变的程度。
在本公开的一个实施例中，虚拟形象模型的头部模型和身体模型可以通过空间模型进行表示，该空间模型由多个三维向量构成，每个三维向量都标注有所在空间模型中位置以及朝向，最后通过矩阵对所有三维向量的位置以及朝向进行表示，具体的，虚拟形象模型的头部模型至少包括面部表情矩阵(可以是三维网格的形式，三维网格中的每一个顶点代表一个三维向量)和头部旋转矩阵，虚拟形象模型的身体模型至少包括多个身体旋转矩阵以及手部旋转矩阵，身体旋转矩阵包括了躯干、左臂、右臂、左腿、右腿、左脚、右脚的旋转矩阵等信息，手部旋转矩阵包括左手、右手的旋转矩阵，其中，在头部旋转矩阵、身体旋转矩阵以及手部旋转矩阵中，三维向量可以通过配置数据在不改变三维向量大小的情况下改变三维向量的朝向。
在一种可能的实现方式中，面部动作数据和身体动作数据包括用于分别配置上述头部模型以及身体模型的数据，具体的，面部动作数据包括主播的面部表情数据以及头部姿态旋转数据，身体动作数据包括主播的躯干、左臂、右臂、左腿、右腿、左脚、右脚的旋转数据，直接将该面部动作数据和身体动作数据可以按照顺序依次向虚拟形象模型的头部模型和身体模型配置，即可驱动虚拟形象模型做出对应的动作。
在步骤103中，基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频播放。
在一种可能的实现方式中，通过预设渲染算法，将虚拟素材数据向虚拟形象模型以及虚拟形象模型的环境进行渲染，获得渲染后的虚拟形象视频，虚拟素材数据至少包括虚拟形象的皮肤数据、环境数据、环境光照数据等。
在本公开的一个实施例中，对虚拟形象模型进行渲染是对虚拟形象所做出动作的动画进行渲染，该动画数据由虚拟形象的骨骼层级结构、骨骼层级结构所绑定的三维网格以及一系列关键帧组成，其中，一个关键帧对应于一个动作，也即是骨骼以及网格的新的状态，而关键帧之间的动画可以通过插值获得，具体过程包括以下步骤：
步骤1031，基于虚拟形象模型做出的每一个动作制作相应的关键帧，生成动画数据。
在本公开的一个实施例中，根据面部动作数据和身体动作数据将虚拟形象模型调整成对应的姿势，基于这个姿势制作对应的关键帧，其中，每一个关键帧中都记录了虚拟形象模型的头部模型所做出的面部表情参数和头部旋转参数，以及身体模型中各个身体部分的旋转、平移以及缩放参数。
在本公开的一个实施例中，动画数据中保存了存有虚拟形象名字、虚拟形象模型的关节数、关键帧数以及动画的持续时间，接着分别为每个身体部分保存关键帧。
步骤1032，对动画数据中关键帧之间做平滑处理；
在本公开的一个实施例中，如果单独播放上述动画数据中的关键帧可能会出现动作不平滑的问题，因此可以对关键帧之间进行插值处理，使动作平滑，具体的，给定一个时间t，确定出在时间t之前和之后的两个关键帧p帧和q帧，根据p帧和q帧中所记录的虚拟形象模型各部位的参数计算出在时间t时虚拟形象模型的各部位的参数，将所计算出t时间的各部位的参数作为帧p帧和q帧之间的插值，并写入动画数据中，完成关键帧之间的平滑处理，其中，插值处理过程可以通过线性插值、诶尔米特(Hermite)插值、球面插值等方法实现，这里不再赘述。
步骤1033，对动画数据中的虚拟形象模型进行蒙皮；
在本公开的一个实施例中，动画数据中虚拟形象模型仅仅是一个骨架模型的动画，还需要对这个骨架模型蒙上一层“皮”，即三维网格，将三维网格对骨架模型进行包裹并绑定，使三维网格能够随骨架模型运动而变化，具体的，当三维网格上的顶点绑定到一个或多个对该顶点影响最大的身体部分之上，而身体部分的状态变化会按照前述的影响权重共同影响该顶点的位置变化，也即是根据骨架模型当前的状态以及各顶点的绑定信息计算出新的顶点的坐标，具体可以通过maya、3dmax等建模软件实现上述蒙皮过程。
步骤1034，基于虚拟素材数据对蒙皮后的虚拟形象模型进行渲染，获得虚拟形象视频。
在本公开的一个实施例中，通过三维渲染引擎基于虚拟素材数据实时对蒙皮后的虚拟形象模型进行渲染，最后输出虚拟形象视频，具体的，三维渲染引擎主要是对虚拟形象模型进行空间渲染和图形渲染，其中，空间渲染包括将虚拟形象模型的坐标系转换、设置虚拟摄像机以及确定虚拟形象视频播放区域；图像渲染包括对虚拟形象模型的坐标变换、光照处理以及光栅化处理。
具体的，坐标系转换是将虚拟形象模型当前的坐标系转换为目标空间的坐标系是为了将虚拟形象模型以及虚拟物体模型等组合至一个场景中，也即是使用一个统一的坐标系来确定虚拟形象模型以及虚拟物体模型的位置；虚拟摄像机用于确定目标空间中的观察视角；播放区域则是确定终端屏幕上播放虚拟形象视频的窗口大小，比如窗口播放、全屏播放；虚拟形象模型的坐标变换、光照是将虚拟形象模型的各部分从目标空间转换至基于像素的屏幕空间，并结合与虚拟素材数据(光源、物体表面材质等)对虚拟形象模型的各部分应用不同类型的光照效果；光栅化处理是对经过坐标变换和光照处理后的虚拟形象模型的各部分所对应的像素配置正确的配色，在光栅化处理过程中，对经过坐标变换和光照处理后的虚拟形象模型的各部分执行纹理映射、颜色求和、雾计算、裁剪测试、alpha测试、模板测试、深度测试、混合、抖动、逻辑操作等多步计算后，最终获得虚拟形象视频，并在直播观看终端上播放。
在本公开的一个实施例中，获取主播的声音数据，将声音数据与渲染后所获得的虚拟形象视频合并后播放。
本公开的实施例通过当主播以虚拟形象进行直播时，直播观看终端接收服务器发送的表情数据和动作数据后，在本地进行虚拟形象的渲染实现虚拟形象直播，降低了主播终端侧对网络带宽的要求，提高了虚拟形象视频的渲染质量。
图2是根据一示例性实施例示出的直播终端实现虚拟形象直播方法的流程图，如图2所示，该虚拟形象直播方法用于直播终端中，该直播终端可以是智能手机、平板电脑、笔记本电脑或台式电脑等，包括以下步骤。
在步骤201中，获取主播的直播视频，直播视频包括多个视频帧。
在本公开的一个实施例中，直播终端可以通过直播终端内置的摄像头获取主播的直播视频，或者通过外置的摄像头获取主播的直播视频，其中，摄像头可以是景深摄像头，以便于识别主播的面部动作数据和身体动作数据。
在步骤202中，识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据。
在本公开的一个实施例中，对每个视频帧进行面部识别和身体识别，获得面部图像和身体图像；分别对面部图像和身体图像进行分析，获得每个视频帧的面部参数和身体参数；将每个视频帧的面部参数和身体参数按照视频帧顺序分别进行合并，获得面部动作数据和身体动作数据。
在一种可能的实现方式中，对每个视频帧进行人脸识别以及身体识别，识别出包含有主播面部或身体的图像帧，对图像帧中包含有主播的面部图像和身体图像进行标注后，获得主播的面部动作数据和身体动作数据。
在一种可能的实现方式中，主播的面部动作数据可以通过3DMM(3D FacesMorphable Model)模型对任一图像帧中人脸图像进行分析，分析出用于构建三维人脸模型的参数，该参数也即是图像帧的面部动作参数，将每一图像帧的面部动作参数按照图像帧的顺序整理后，即可获得主播的面部动作数据，其中，面部动作参数至少包括三维人脸网格参数、人脸表情参数以及头部姿态旋转参数。
在一种可能的实现方式中，可以结合深度学习技术，对任一图像帧中人脸图像进行分析，提高面部动作参数的准确性和分析效率。
在一种可能的实现方式中，主播的身体动作数据可以通过基于深度学习技术的姿态识别模型对任一图像帧中身体图像进行分析，分析出用于构建三维身体模型的参数，该参数也即是图像帧的身体动作参数，将每一图像帧的身体动作参数按照图像帧的顺序整理后，即可获得主播的身体动作数据，其中，身体动作参数至少包括躯干、左臂、右臂、左腿、右腿、左脚、右脚、左手，右手的旋转矩阵参数。
在步骤203中，向服务器发送携带有面部表情数据、头部动作数据和身体动作数据的直播指令。
其中，直播指令用于指示直播终端基于面部表情数据、头部动作数据和身体动作数据驱动预配置的虚拟形象模型做出对应的动作，并基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在直播观看终端上播放，其中，直播终端从服务器获取虚拟形象模型以及虚拟素材数据。
在一种可能的实现方式中，将所采集到主播的直播音频向服务器发送。
在一种可能的实现方式中，直播终端从服务器获取虚拟形象模型以及虚拟素材数据，虚拟素材数据用于渲染虚拟形象模型；基于面部表情数据、头部动作数据以及身体动作数据，驱动虚拟形象模型做出对应的动作；基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在本地播放。
在一种可能的实现方式中，直播终端向服务器发送携带有面部表情数据、头部动作数据和身体动作数据的直播指令，直播指令用于指示服务器基于面部表情数据、头部动作数据和身体动作数据驱动虚拟形象模型做出对应的动作，并基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在直播观看终端上播放。
关于上述实施例中的在直播终端对虚拟形象模型进行渲染以及播放渲染后的虚拟形象视频，其各个步骤的具体实现方式已经在图1所示的实施例中对应的步骤相同，此处将不做详细描述。
本公开的实施例当主播以虚拟形象进行直播时，只向服务器上传主播的面部动作数据和身体动作数据，直播观看终端接收到服务器发送的表情数据和动作数据后，在本地进行虚拟形象的渲染实现虚拟形象直播，降低了主播终端侧对网络带宽的要求，同时节省了网络带宽，也提高了虚拟形象视频的渲染质量。
图3是根据一示例性实施例示出的一种直播观看终端的框图。参照图3，该直播观看终端包括：
获取单元301，被配置为从服务器获取虚拟形象模型以及虚拟素材数据，虚拟素材数据用于渲染虚拟形象模型；
驱动单元302，被配置为响应于服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动虚拟形象模型做出对应的动作；
渲染单元303，被配置为基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频播放。
根据本公开的一个实施例，上述驱动单元302被配置为：
基于面部表情数据驱动虚拟形象模型的面部模型，使面部模型做出相应的面部表情；
基于头部动作数据驱动虚拟形象模型的头部模型，使头部模型做出相应的头部动作；
基于身体动作数据驱动虚拟形象模型的身体模型，使身体模型做出相应的身体动作。
根据本公开的一个实施例，上述虚拟素材数据至少包括虚拟形象皮肤数据、环境数据、贴图数据中的一种。
根据本公开的一个实施例，上述渲染单元303还被配置为：
获取主播的声音数据；
将声音数据与渲染后所获得的虚拟形象视频合并后播放。
图4是根据一示例性实施例示出的一种直播终端框图。参照图4，该直播终端包括：
获取单元401，被配置为获取主播的直播视频，直播视频包括多个视频帧；
识别单元402，被配置为识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据；
直播单元403，被配置为向服务器发送携带有面部表情数据、头部动作数据和身体动作数据的直播指令，直播指令用于指示直播终端基于面部表情数据、头部动作数据和身体动作数据驱动预配置的虚拟形象模型做出对应的动作，并基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在直播观看终端上播放，其中，直播终端从服务器获取虚拟形象模型以及虚拟素材数据。
根据本公开的一个实施例，上述识别单元402被配置为：
对每个视频帧进行面部识别和身体识别，获得主播的面部图像和身体图像；
分别对面部图像和身体图像进行分析，获得每个视频帧的面部参数、头部参数以及身体参数；
将每个视频帧的面部参数、头部参数以及身体参数按照视频帧顺序分别进行合并，获得面部表情数据、头部动作数据和身体动作数据。
图5根据一示例性实施例示出的一种虚拟形象直播系统500的示意图，参照图5，该系统500包括：
直播终端501，被配置为直播终端获取主播的直播视频，直播视频包括多个视频帧；识别每个视频帧中主播的面部动作数据和身体动作数据；将携带有面部动作数据和身体动作数据的直播指令向服务器发送，并指示服务器将面部动作参数和身体动作参数向直播观看终端发送；
直播服务器502，被配置为接收直播终端501上传的携带有面部动作数据和身体动作数据的直播指令，并根据直播指令将面部动作数据和身体动作数据向直播观看终端503发送。
直播观看终端503，被配置为从服务器获取虚拟形象模型以及虚拟素材数据；响应于服务器发送的面部动作数据和身体动作数据，驱动虚拟形象模型做出对应的动作；基于虚拟素材数据对所做出动作的虚拟形象模型进行渲染，将渲染后所获得的虚拟形象视频播放。
关于上述实施例中的终端以及系统，其中各个单元、终端以及服务器执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例当主播以虚拟形象进行直播时，向服务器上传主播的表情数据和动作数据，直播观看终端接收表情数据和动作数据后，在本地进行虚拟形象的渲染实现虚拟形象直播，降低了主播终端侧对网络带宽的要求，提高了虚拟形象视频的渲染质量。
图6是根据一示例性实施例示出的一种计算机设备的框图。该计算机设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，存储器602中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器601加载并执行以实现上述各个方法实施例提供的虚拟形象直播方法。当然，该计算机设备600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、只读光盘(CD-ROM，Compact DiscRead-Only Memory)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种虚拟形象直播方法，其特征在于，应用于直播观看终端，包括：
从服务器获取虚拟形象模型以及虚拟素材数据，所述虚拟素材数据用于渲染所述虚拟形象模型；
响应于所述服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动所述虚拟形象模型做出对应的动作；
基于所述虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频播放。
2.根据权利要求1所述的方法，其特征在于，所述响应于所述服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动所述虚拟形象模型做出对应的动作，包括：
基于所述面部表情数据驱动所述虚拟形象模型的面部模型，使所述面部模型做出相应的面部表情；
基于所述头部动作数据驱动所述虚拟形象模型的头部模型，使所述头部模型做出相应的头部动作；
基于所述身体动作数据驱动所述虚拟形象模型的身体模型，使所述身体模型做出相应的身体动作。
3.根据权利要求1所述的方法，其特征在于，所述虚拟素材数据至少包括虚拟形象皮肤数据、环境数据、贴图数据中的一种。
4.根据权利要求1所述的方法，其特征在于，所述将渲染后所获得的虚拟形象视频播放，包括：
获取主播的声音数据；
将所述声音数据与所述渲染后所获得的虚拟形象视频合并后播放。
5.一种虚拟形象直播方法，其特征在于，应用于直播终端，包括：
获取主播的直播视频，所述直播视频包括多个视频帧；
识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据；
向服务器发送携带有所述面部表情数据、头部动作数据和身体动作数据的直播指令，所述直播指令用于指示直播终端基于面部表情数据、头部动作数据和身体动作数据驱动预配置的虚拟形象模型做出对应的动作，并基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在直播观看终端上播放，其中，所述直播终端从服务器获取所述虚拟形象模型以及虚拟素材数据。
6.根据权利要求5所述的方法，其特征在于，所述识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据，包括：
对每个视频帧进行面部识别和身体识别，获得主播的面部图像和身体图像；
分别对所述面部图像和身体图像进行分析，获得所述每个视频帧的面部参数、头部参数以及身体参数；
将所述每个视频帧的面部参数、头部参数以及身体参数按照视频帧顺序分别进行合并，获得面部表情数据、头部动作数据和身体动作数据。
7.一种直播观看终端，其特征在于，包括：
获取单元，被配置为执行从服务器获取虚拟形象模型以及虚拟素材数据，所述虚拟素材数据用于渲染所述虚拟形象模型；
驱动单元，被配置为响应于所述服务器发送的主播的面部表情数据、头部动作数据以及身体动作数据，驱动所述虚拟形象模型做出对应的动作；
渲染单元，被配置为基于所述虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频播放。
8.一种直播终端，其特征在于，包括：
获取单元，被配置为获取主播的直播视频，所述直播视频包括多个视频帧；
识别单元，被配置为识别每个视频帧中主播的面部表情数据、头部动作数据以及身体动作数据；
直播单元，被配置为向服务器发送携带有所述面部表情数据、头部动作数据和身体动作数据的直播指令，所述直播指令用于指示直播终端基于面部表情数据、头部动作数据和身体动作数据驱动预配置的虚拟形象模型做出对应的动作，并基于虚拟素材数据对所做出动作的虚拟形象模型以及虚拟场景进行渲染，将渲染后所获得的虚拟形象视频在直播观看终端上播放，其中，所述直播终端从服务器获取所述虚拟形象模型以及虚拟素材数据。
9.一种计算机设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6任一项所述的虚拟形象直播方法。
10.一种存储介质，当所述存储介质中的指令由计算机设备的处理器执行时，使得所述计算机设备能够执行如权利要求1至6中任一项所述的虚拟形象直播方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910877546.8A CN110557625A (zh) | 2019-09-17 | 2019-09-17 | 虚拟形象直播方法、终端、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910877546.8A CN110557625A (zh) | 2019-09-17 | 2019-09-17 | 虚拟形象直播方法、终端、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110557625A true CN110557625A (zh) | 2019-12-10 |
Family
ID=68740583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910877546.8A Pending CN110557625A (zh) | 2019-09-17 | 2019-09-17 | 虚拟形象直播方法、终端、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110557625A (zh) |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971930A (zh) * | 2019-12-19 | 2020-04-07 | 广州酷狗计算机科技有限公司 | 虚拟形象直播的方法、装置、终端及存储介质 |
| CN111263178A (zh) * | 2020-02-20 | 2020-06-09 | 广州虎牙科技有限公司 | 直播方法、装置、用户端及存储介质 |
| CN111614967A (zh) * | 2019-12-25 | 2020-09-01 | 北京达佳互联信息技术有限公司 | 虚拟形象直播方法、装置、电子设备及存储介质 |
| CN111798548A (zh) * | 2020-07-15 | 2020-10-20 | 广州微咔世纪信息科技有限公司 | 舞蹈画面的控制方法、装置及计算机存储介质 |
| CN111814652A (zh) * | 2020-07-03 | 2020-10-23 | 广州视源电子科技股份有限公司 | 虚拟人像渲染方法、装置以及存储介质 |
| CN111970522A (zh) * | 2020-07-31 | 2020-11-20 | 北京琳云信息科技有限责任公司 | 虚拟直播数据的处理方法、装置及存储介质 |
| CN112235585A (zh) * | 2020-08-31 | 2021-01-15 | 江苏视博云信息技术有限公司 | 一种虚拟场景的直播方法、装置及系统 |
| CN112241203A (zh) * | 2020-10-21 | 2021-01-19 | 广州博冠信息科技有限公司 | 三维虚拟角色的控制装置及方法、存储介质及电子设备 |
| CN112511853A (zh) * | 2020-11-26 | 2021-03-16 | 北京乐学帮网络技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
| CN112601100A (zh) * | 2020-12-11 | 2021-04-02 | 北京字跳网络技术有限公司 | 一种直播互动方法、装置、设备及介质 |
| CN112653898A (zh) * | 2020-12-15 | 2021-04-13 | 北京百度网讯科技有限公司 | 用户形象生成方法、相关装置及计算机程序产品 |
| CN112967212A (zh) * | 2021-02-01 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
| CN113099298A (zh) * | 2021-04-08 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟形象的改变方法、装置和终端设备 |
| CN113099150A (zh) * | 2020-01-08 | 2021-07-09 | 华为技术有限公司 | 图像处理的方法、设备及系统 |
| CN113095206A (zh) * | 2021-04-07 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟主播生成方法、装置和终端设备 |
| CN113126746A (zh) * | 2019-12-31 | 2021-07-16 | 中移(成都)信息通信科技有限公司 | 一种虚拟对象模型控制方法、系统及计算机可读存储介质 |
| CN113194350A (zh) * | 2021-04-30 | 2021-07-30 | 百度在线网络技术（北京）有限公司 | 推送待播报数据、播报数据的方法和装置 |
| CN113242440A (zh) * | 2021-04-30 | 2021-08-10 | 广州虎牙科技有限公司 | 直播方法、客户端、系统、计算机设备以及存储介质 |
| CN113318442A (zh) * | 2021-05-27 | 2021-08-31 | 广州繁星互娱信息科技有限公司 | 直播界面显示方法、数据上传方法和数据下发方法 |
| WO2021208330A1 (zh) * | 2020-04-17 | 2021-10-21 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的表情的方法和装置 |
| WO2021209042A1 (zh) * | 2020-04-16 | 2021-10-21 | 广州虎牙科技有限公司 | 三维模型驱动方法、装置、电子设备及存储介质 |
| CN113613048A (zh) * | 2021-07-30 | 2021-11-05 | 武汉微派网络科技有限公司 | 虚拟形象表情驱动方法和系统 |
| CN113630646A (zh) * | 2021-07-29 | 2021-11-09 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法及装置、设备、存储介质 |
| CN114007091A (zh) * | 2021-10-27 | 2022-02-01 | 北京市商汤科技开发有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
| CN114286021A (zh) * | 2021-12-24 | 2022-04-05 | 北京达佳互联信息技术有限公司 | 渲染方法、装置、服务器、存储介质及程序产品 |
| CN114302128A (zh) * | 2021-12-31 | 2022-04-08 | 视伴科技(北京)有限公司 | 视频生成的方法、装置、电子设备及存储介质 |
| CN114302153A (zh) * | 2021-11-25 | 2022-04-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
| CN114327705A (zh) * | 2021-12-10 | 2022-04-12 | 重庆长安汽车股份有限公司 | 车载助手虚拟形象自定义方法 |
| CN114332308A (zh) * | 2021-12-29 | 2022-04-12 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114422862A (zh) * | 2021-12-24 | 2022-04-29 | 上海浦东发展银行股份有限公司 | 服务视频生成方法、装置、设备、存储介质和程序产品 |
| CN114594859A (zh) * | 2022-03-25 | 2022-06-07 | 乐元素科技(北京)股份有限公司 | 虚拟形象展示系统及方法 |
| CN114618163A (zh) * | 2022-03-21 | 2022-06-14 | 北京字跳网络技术有限公司 | 虚拟道具的驱动方法、装置、电子设备及可读存储介质 |
| CN114630173A (zh) * | 2022-03-03 | 2022-06-14 | 北京字跳网络技术有限公司 | 虚拟对象的驱动方法、装置、电子设备及可读存储介质 |
| CN114786040A (zh) * | 2022-06-15 | 2022-07-22 | 阿里巴巴（中国）有限公司 | 数据通信方法、系统、电子设备和存储介质 |
| CN114820285A (zh) * | 2021-01-21 | 2022-07-29 | 广东小天才科技有限公司 | 一种模拟面部形象变化方法及终端设备 |
| CN114827652A (zh) * | 2022-05-18 | 2022-07-29 | 上海哔哩哔哩科技有限公司 | 虚拟形象开播方法及装置 |
| CN114866802A (zh) * | 2022-04-14 | 2022-08-05 | 青岛海尔科技有限公司 | 视频流的发送方法和装置、存储介质及电子装置 |
| CN115174954A (zh) * | 2022-08-03 | 2022-10-11 | 抖音视界有限公司 | 视频直播方法、装置、电子设备以及存储介质 |
| CN115334325A (zh) * | 2022-06-23 | 2022-11-11 | 联通沃音乐文化有限公司 | 基于可编辑三维虚拟形象生成直播视频流的方法和系统 |
| WO2022252823A1 (zh) * | 2021-05-31 | 2022-12-08 | 北京字跳网络技术有限公司 | 直播视频生成方法及装置 |
| WO2023273500A1 (zh) * | 2021-06-29 | 2023-01-05 | 上海商汤智能科技有限公司 | 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质 |
| WO2023279704A1 (zh) * | 2021-07-07 | 2023-01-12 | 上海商汤智能科技有限公司 | 直播方法、装置、计算机设备、存储介质及程序 |
| CN115665507A (zh) * | 2022-12-26 | 2023-01-31 | 海马云（天津）信息技术有限公司 | 含虚拟形象的视频流数据的生成方法、装置、介质及设备 |
| CN115942030A (zh) * | 2022-12-22 | 2023-04-07 | 网易（杭州）网络有限公司 | 直播的方法、直播的装置、介质及电子设备 |
| WO2023131057A1 (zh) * | 2022-01-04 | 2023-07-13 | 阿里巴巴（中国）有限公司 | 视频直播方法、系统及计算机存储介质 |
| WO2023075682A3 (zh) * | 2021-10-25 | 2023-08-03 | 脸萌有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| WO2023075681A3 (zh) * | 2021-10-25 | 2023-08-24 | 脸萌有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| WO2023206359A1 (zh) * | 2022-04-29 | 2023-11-02 | 云智联网络科技(北京)有限公司 | 直播过程中虚拟形象的视觉行为和音频的传输播放方法和交互系统 |
| CN117880569A (zh) * | 2022-10-11 | 2024-04-12 | 广州开得联软件技术有限公司 | 数据推流方法、视频播放方法、装置和电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885348A (zh) * | 2005-06-21 | 2006-12-27 | 中国科学院计算技术研究所 | 一种基于骨骼的任意拓扑结构虚拟角色的驱动方法 |
| US20160150212A1 (en) * | 2014-11-26 | 2016-05-26 | Sony Corporation | Live selective adaptive bandwidth |
| CN106937154A (zh) * | 2017-03-17 | 2017-07-07 | 北京蜜枝科技有限公司 | 处理虚拟形象的方法及装置 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
| CN107438183A (zh) * | 2017-07-26 | 2017-12-05 | 北京暴风魔镜科技有限公司 | 一种虚拟人物直播方法、装置及系统 |
| CN108305312A (zh) * | 2017-01-23 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 3d虚拟形象的生成方法和装置 |
| CN108305308A (zh) * | 2018-01-12 | 2018-07-20 | 北京蜜枝科技有限公司 | 虚拟形象的线下展演系统及方法 |
| CN108769802A (zh) * | 2018-06-21 | 2018-11-06 | 北京密境和风科技有限公司 | 网络表演的实现方法、装置和系统 |
| CN109087379A (zh) * | 2018-08-09 | 2018-12-25 | 北京华捷艾米科技有限公司 | 人脸表情的迁移方法和人脸表情的迁移装置 |
| CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
| CN109922354A (zh) * | 2019-03-29 | 2019-06-21 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
| CN110139115A (zh) * | 2019-04-30 | 2019-08-16 | 广州虎牙信息科技有限公司 | 基于关键点的虚拟形象姿态控制方法、装置及电子设备 |
-
2019
- 2019-09-17 CN CN201910877546.8A patent/CN110557625A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1885348A (zh) * | 2005-06-21 | 2006-12-27 | 中国科学院计算技术研究所 | 一种基于骨骼的任意拓扑结构虚拟角色的驱动方法 |
| US20160150212A1 (en) * | 2014-11-26 | 2016-05-26 | Sony Corporation | Live selective adaptive bandwidth |
| CN108305312A (zh) * | 2017-01-23 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 3d虚拟形象的生成方法和装置 |
| CN106937154A (zh) * | 2017-03-17 | 2017-07-07 | 北京蜜枝科技有限公司 | 处理虚拟形象的方法及装置 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
| CN107438183A (zh) * | 2017-07-26 | 2017-12-05 | 北京暴风魔镜科技有限公司 | 一种虚拟人物直播方法、装置及系统 |
| CN108305308A (zh) * | 2018-01-12 | 2018-07-20 | 北京蜜枝科技有限公司 | 虚拟形象的线下展演系统及方法 |
| CN108769802A (zh) * | 2018-06-21 | 2018-11-06 | 北京密境和风科技有限公司 | 网络表演的实现方法、装置和系统 |
| CN109087379A (zh) * | 2018-08-09 | 2018-12-25 | 北京华捷艾米科技有限公司 | 人脸表情的迁移方法和人脸表情的迁移装置 |
| CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
| CN109922354A (zh) * | 2019-03-29 | 2019-06-21 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
| CN110139115A (zh) * | 2019-04-30 | 2019-08-16 | 广州虎牙信息科技有限公司 | 基于关键点的虚拟形象姿态控制方法、装置及电子设备 |
Cited By (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971930A (zh) * | 2019-12-19 | 2020-04-07 | 广州酷狗计算机科技有限公司 | 虚拟形象直播的方法、装置、终端及存储介质 |
| CN110971930B (zh) * | 2019-12-19 | 2023-03-10 | 广州酷狗计算机科技有限公司 | 虚拟形象直播的方法、装置、终端及存储介质 |
| CN111614967A (zh) * | 2019-12-25 | 2020-09-01 | 北京达佳互联信息技术有限公司 | 虚拟形象直播方法、装置、电子设备及存储介质 |
| CN111614967B (zh) * | 2019-12-25 | 2022-01-25 | 北京达佳互联信息技术有限公司 | 虚拟形象直播方法、装置、电子设备及存储介质 |
| CN113126746A (zh) * | 2019-12-31 | 2021-07-16 | 中移(成都)信息通信科技有限公司 | 一种虚拟对象模型控制方法、系统及计算机可读存储介质 |
| CN113099150A (zh) * | 2020-01-08 | 2021-07-09 | 华为技术有限公司 | 图像处理的方法、设备及系统 |
| CN111263178A (zh) * | 2020-02-20 | 2020-06-09 | 广州虎牙科技有限公司 | 直播方法、装置、用户端及存储介质 |
| WO2021209042A1 (zh) * | 2020-04-16 | 2021-10-21 | 广州虎牙科技有限公司 | 三维模型驱动方法、装置、电子设备及存储介质 |
| WO2021208330A1 (zh) * | 2020-04-17 | 2021-10-21 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的表情的方法和装置 |
| CN111814652A (zh) * | 2020-07-03 | 2020-10-23 | 广州视源电子科技股份有限公司 | 虚拟人像渲染方法、装置以及存储介质 |
| CN111798548A (zh) * | 2020-07-15 | 2020-10-20 | 广州微咔世纪信息科技有限公司 | 舞蹈画面的控制方法、装置及计算机存储介质 |
| CN111798548B (zh) * | 2020-07-15 | 2024-02-13 | 广州微咔世纪信息科技有限公司 | 舞蹈画面的控制方法、装置及计算机存储介质 |
| CN111970522A (zh) * | 2020-07-31 | 2020-11-20 | 北京琳云信息科技有限责任公司 | 虚拟直播数据的处理方法、装置及存储介质 |
| CN112235585A (zh) * | 2020-08-31 | 2021-01-15 | 江苏视博云信息技术有限公司 | 一种虚拟场景的直播方法、装置及系统 |
| CN112241203A (zh) * | 2020-10-21 | 2021-01-19 | 广州博冠信息科技有限公司 | 三维虚拟角色的控制装置及方法、存储介质及电子设备 |
| CN112511853B (zh) * | 2020-11-26 | 2023-10-27 | 北京乐学帮网络技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
| CN112511853A (zh) * | 2020-11-26 | 2021-03-16 | 北京乐学帮网络技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
| CN112601100A (zh) * | 2020-12-11 | 2021-04-02 | 北京字跳网络技术有限公司 | 一种直播互动方法、装置、设备及介质 |
| CN112653898A (zh) * | 2020-12-15 | 2021-04-13 | 北京百度网讯科技有限公司 | 用户形象生成方法、相关装置及计算机程序产品 |
| CN112653898B (zh) * | 2020-12-15 | 2023-03-21 | 北京百度网讯科技有限公司 | 用户形象生成方法、相关装置及计算机程序产品 |
| CN114820285A (zh) * | 2021-01-21 | 2022-07-29 | 广东小天才科技有限公司 | 一种模拟面部形象变化方法及终端设备 |
| CN112967212A (zh) * | 2021-02-01 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
| CN113095206A (zh) * | 2021-04-07 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟主播生成方法、装置和终端设备 |
| CN113099298A (zh) * | 2021-04-08 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟形象的改变方法、装置和终端设备 |
| CN113099298B (zh) * | 2021-04-08 | 2022-07-12 | 广州华多网络科技有限公司 | 虚拟形象的改变方法、装置和终端设备 |
| CN113194350A (zh) * | 2021-04-30 | 2021-07-30 | 百度在线网络技术（北京）有限公司 | 推送待播报数据、播报数据的方法和装置 |
| CN115243095A (zh) * | 2021-04-30 | 2022-10-25 | 百度在线网络技术（北京）有限公司 | 推送待播报数据、播报数据的方法和装置 |
| CN115243095B (zh) * | 2021-04-30 | 2024-07-19 | 百度在线网络技术（北京）有限公司 | 推送待播报数据、播报数据的方法和装置 |
| CN113242440A (zh) * | 2021-04-30 | 2021-08-10 | 广州虎牙科技有限公司 | 直播方法、客户端、系统、计算机设备以及存储介质 |
| CN113318442B (zh) * | 2021-05-27 | 2024-07-19 | 广州繁星互娱信息科技有限公司 | 直播界面显示方法、数据上传方法和数据下发方法 |
| CN113318442A (zh) * | 2021-05-27 | 2021-08-31 | 广州繁星互娱信息科技有限公司 | 直播界面显示方法、数据上传方法和数据下发方法 |
| WO2022252823A1 (zh) * | 2021-05-31 | 2022-12-08 | 北京字跳网络技术有限公司 | 直播视频生成方法及装置 |
| WO2023273500A1 (zh) * | 2021-06-29 | 2023-01-05 | 上海商汤智能科技有限公司 | 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质 |
| WO2023279704A1 (zh) * | 2021-07-07 | 2023-01-12 | 上海商汤智能科技有限公司 | 直播方法、装置、计算机设备、存储介质及程序 |
| CN113630646A (zh) * | 2021-07-29 | 2021-11-09 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法及装置、设备、存储介质 |
| CN113613048A (zh) * | 2021-07-30 | 2021-11-05 | 武汉微派网络科技有限公司 | 虚拟形象表情驱动方法和系统 |
| WO2023075682A3 (zh) * | 2021-10-25 | 2023-08-03 | 脸萌有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| WO2023075681A3 (zh) * | 2021-10-25 | 2023-08-24 | 脸萌有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN114007091A (zh) * | 2021-10-27 | 2022-02-01 | 北京市商汤科技开发有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
| CN114302153A (zh) * | 2021-11-25 | 2022-04-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
| CN114302153B (zh) * | 2021-11-25 | 2023-12-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
| CN114327705B (zh) * | 2021-12-10 | 2023-07-14 | 重庆长安汽车股份有限公司 | 车载助手虚拟形象自定义方法 |
| CN114327705A (zh) * | 2021-12-10 | 2022-04-12 | 重庆长安汽车股份有限公司 | 车载助手虚拟形象自定义方法 |
| CN114286021B (zh) * | 2021-12-24 | 2024-05-28 | 北京达佳互联信息技术有限公司 | 渲染方法、装置、服务器、存储介质及程序产品 |
| CN114422862A (zh) * | 2021-12-24 | 2022-04-29 | 上海浦东发展银行股份有限公司 | 服务视频生成方法、装置、设备、存储介质和程序产品 |
| CN114286021A (zh) * | 2021-12-24 | 2022-04-05 | 北京达佳互联信息技术有限公司 | 渲染方法、装置、服务器、存储介质及程序产品 |
| CN114332308A (zh) * | 2021-12-29 | 2022-04-12 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114302128A (zh) * | 2021-12-31 | 2022-04-08 | 视伴科技(北京)有限公司 | 视频生成的方法、装置、电子设备及存储介质 |
| WO2023131057A1 (zh) * | 2022-01-04 | 2023-07-13 | 阿里巴巴（中国）有限公司 | 视频直播方法、系统及计算机存储介质 |
| CN114630173A (zh) * | 2022-03-03 | 2022-06-14 | 北京字跳网络技术有限公司 | 虚拟对象的驱动方法、装置、电子设备及可读存储介质 |
| CN114618163A (zh) * | 2022-03-21 | 2022-06-14 | 北京字跳网络技术有限公司 | 虚拟道具的驱动方法、装置、电子设备及可读存储介质 |
| CN114594859A (zh) * | 2022-03-25 | 2022-06-07 | 乐元素科技(北京)股份有限公司 | 虚拟形象展示系统及方法 |
| CN114866802A (zh) * | 2022-04-14 | 2022-08-05 | 青岛海尔科技有限公司 | 视频流的发送方法和装置、存储介质及电子装置 |
| CN114866802B (zh) * | 2022-04-14 | 2024-04-19 | 青岛海尔科技有限公司 | 视频流的发送方法和装置、存储介质及电子装置 |
| WO2023206359A1 (zh) * | 2022-04-29 | 2023-11-02 | 云智联网络科技(北京)有限公司 | 直播过程中虚拟形象的视觉行为和音频的传输播放方法和交互系统 |
| CN114827652A (zh) * | 2022-05-18 | 2022-07-29 | 上海哔哩哔哩科技有限公司 | 虚拟形象开播方法及装置 |
| CN114786040A (zh) * | 2022-06-15 | 2022-07-22 | 阿里巴巴（中国）有限公司 | 数据通信方法、系统、电子设备和存储介质 |
| CN114786040B (zh) * | 2022-06-15 | 2022-09-23 | 阿里巴巴（中国）有限公司 | 数据通信方法、系统、电子设备和存储介质 |
| CN115334325A (zh) * | 2022-06-23 | 2022-11-11 | 联通沃音乐文化有限公司 | 基于可编辑三维虚拟形象生成直播视频流的方法和系统 |
| CN115174954A (zh) * | 2022-08-03 | 2022-10-11 | 抖音视界有限公司 | 视频直播方法、装置、电子设备以及存储介质 |
| CN117880569A (zh) * | 2022-10-11 | 2024-04-12 | 广州开得联软件技术有限公司 | 数据推流方法、视频播放方法、装置和电子设备 |
| CN117880569B (zh) * | 2022-10-11 | 2024-08-09 | 广州开得联软件技术有限公司 | 数据推流方法、视频播放方法、装置和电子设备 |
| CN115942030A (zh) * | 2022-12-22 | 2023-04-07 | 网易（杭州）网络有限公司 | 直播的方法、直播的装置、介质及电子设备 |
| CN115665507A (zh) * | 2022-12-26 | 2023-01-31 | 海马云（天津）信息技术有限公司 | 含虚拟形象的视频流数据的生成方法、装置、介质及设备 |
| CN115665507B (zh) * | 2022-12-26 | 2023-03-21 | 海马云（天津）信息技术有限公司 | 含虚拟形象的视频流数据的生成方法、装置、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110557625A (zh) | 虚拟形象直播方法、终端、计算机设备及存储介质 | |
| US11861936B2 (en) | Face reenactment | |
| US9626788B2 (en) | Systems and methods for creating animations using human faces | |
| CN111540055B (zh) | 三维模型驱动方法、装置、电子设备及存储介质 | |
| US10692288B1 (en) | Compositing images for augmented reality | |
| US11941748B2 (en) | Lightweight view dependent rendering system for mobile devices | |
| US20220245859A1 (en) | Data processing method and electronic device | |
| CN114025219B (zh) | 增强现实特效的渲染方法、装置、介质及设备 | |
| KR20130016318A (ko) | 비디오 시퀀스에 기록되는 실제 엔티티에 대한 실시간 크로핑 방법 | |
| US11354774B2 (en) | Facial model mapping with a neural network trained on varying levels of detail of facial scans | |
| US20240212252A1 (en) | Method and apparatus for training video generation model, storage medium, and computer device | |
| CN109413152B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN113822970A (zh) | 直播控制方法、装置、存储介质与电子设备 | |
| CN113411537A (zh) | 视频通话方法、装置、终端及存储介质 | |
| Eisert et al. | Volumetric video–acquisition, interaction, streaming and rendering | |
| CN116958344A (zh) | 虚拟形象的动画生成方法、装置、计算机设备及存储介质 | |
| CN113486787A (zh) | 一种脸部驱动和直播方法、装置、计算机设备和存储介质 | |
| US20240249419A1 (en) | Information processing apparatus, information processing method, and program | |
| CN117596373B (zh) | 基于动态数字人形象进行信息展示的方法及电子设备 | |
| US20240020901A1 (en) | Method and application for animating computer generated images | |
| CN114741541B (zh) | 基于模板化编辑的ai数字人对ppt的交互控制方法及装置 | |
| US11145109B1 (en) | Method for editing computer-generated images to maintain alignment between objects specified in frame space and objects specified in scene space | |
| CN111640179B (zh) | 宠物模型的显示方法、装置、设备以及存储介质 | |
| CN117097919A (zh) | 虚拟角色渲染方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191210 |
|
| RJ01 | Rejection of invention patent application after publication |