CN108416731A - 一种动画视频的实时传输方法及系统 - Google Patents

一种动画视频的实时传输方法及系统 Download PDF

Info

Publication number
CN108416731A
CN108416731A CN201710072547.6A CN201710072547A CN108416731A CN 108416731 A CN108416731 A CN 108416731A CN 201710072547 A CN201710072547 A CN 201710072547A CN 108416731 A CN108416731 A CN 108416731A
Authority
CN
China
Prior art keywords
data
cartoon role
action
expression
role
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710072547.6A
Other languages
English (en)
Inventor
刘鸿雁
车万毅
莫友三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Music Christie Animation Technology Co Ltd
Original Assignee
Beijing Music Christie Animation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Music Christie Animation Technology Co Ltd filed Critical Beijing Music Christie Animation Technology Co Ltd
Priority to CN201710072547.6A priority Critical patent/CN108416731A/zh
Publication of CN108416731A publication Critical patent/CN108416731A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种动画视频的实时传输方法及系统，所述方法包括：获取动画视频中动画角色的原始数据；获取所述动画视频中动画角色的表情变化数据及动作变化数据；提取所述动画视频中的音频数据，获得MP3格式音频文件；依据所述表情变化估算数据及动作变化估算数据计算得到动画角色表情数据及动画角色动作数据；打包所述动画角色表情数据/动画角色动作数据/MP3格式音频文件/动画角色的模型数据，作为传输数据。本发明提供的一种动画视频的实时传输方法及系统，解决了动画视频传输数据量过大的问题，缓解了网络传输压力，为实现基于动画的实时互动通信提供支持。

Description

一种动画视频的实时传输方法及系统
技术领域
本发明涉及动画技术领域，特别是一种动画视频的实时传输方法及系统。
背景技术
目前基于动画的实时互动技术的传统实现方式是将动画表现直接压缩成MP4等视频格式传输，无论采用何种压缩算法，受限于视频本身特点，都将面临传输数据量巨大的压力，对网络带宽有较高的要求。本发明实施例提出的一种动画视频的实时传输方法及系统，仅传输极其有限的字节级别的数据，有效的解决了传输数据过大的问题。
发明内容
本发明实施例提供的一种动画视频的实时传输方法及系统，用于解决动画视频传输过程中需要传输的数据量过大的问题，提高动画传输效率，为基于动画的实时互动技术提供技术支持。
本发明提出的一种动画视频的实时传输方法，包括：
获取动画视频中动画角色的原始数据；
获取所述动画视频中动画角色的表情变化数据及动作变化数据；
提取所述动画视频中的音频数据，获得MP3格式音频文件；
获得所述动画视频中动画角色的与时间轴对应的表情变化估算数据及动作变化估算数据；
依据所述表情变化估算数据及动作变化估算数据计算得到动画角色表情数据及动画角色动作数据；
打包所述动画角色表情数据/动画角色动作数据/MP3格式音频文件/动画角色的模型数据，作为传输数据。
在其中一个实施例中，所述动画角色的原始数据包括：所述动画角色自然状态下的面部特征点原始坐标数据，记为BasicDatas；所述动画角色表情变化最大状态下的面部特征点坐标数据，记为LargestDatas;所述动画角色自然状态下的肢体关键点坐标数据，记为BodyDatas。
进一步地，所述原始数据还包括：所述动画角色的模型数据。
更进一步地，所述动画角色的模型数据包括：所述动画角色的二维模型数据及三维模型数据。
在其中一个实施例中，所述表情变化数据包括：以Blendshape表示的动画角色的表情变化量。
在其中一个实施例中，所述动作变化数据包括：所述动画角色的肢体关键顶点坐标旋转位移数据。
在其中一个实施例中，所述表情变化估算数据包括：对视频帧率及所述表情变化数据进行线性插值算法获得，记为BlendshapeDatas；所述动作变化估算数据包括：对视频帧率及所述动作变化数据进行线性插值算法获得，记为RTDatas。
在其中一个实施例中，所述动画角色表情数据符合公式Expression=(LargestDatas-BasicDatas)* BlendshapeDatas+ BasicDatas；所述动画角色动作数据符合公式Action=BodyDatas* RTDatas。
本发明提出的一种动画视频的实时传输系统，包括：
数据集合模块，用于获取动画视频数据；
数据解析模块，用于解析所述数据集合模获取的数据；
渲染播放模块，用于对数据解析模块返回的数据进行处理及视频播放。
在其中一个实施例中，所述数据集合模块包括：原始数据建立单元，用于获取动画视频中动画角色的原始数据；表情数据获取单元，用于获取动画视频中动画角色的表情变化估算数据；动作数据获取单元，用于获取动画视频中动画角色的动作变化估算数据；音频获取单元，用于将动画视频中的音频数据打包为MP3格式。
进一步地，所述动画角色的原始数据包括：所述动画角色自然状态下的面部特征点原始坐标数据，记为BasicDatas；所述动画角色表情变化最大状态下的面部特征点坐标数据，记为LargestDatas；所述动画角色自然状态下的肢体关键点坐标数据，记为BodyDatas；所述动画角色的二维模型数据或三维模型数据。
更进一步地，所述表情变化估算数据根据所述动画角色的表情变化数据与所述动画视频的帧率之间的线性关系，使用线性插值算法获得，记为BlendshapeDatas；所述动画角色的动作变化估算数据根据所述动画角色的动作变化数据与所述动画视频的帧率之间的线性关系，使用线性插值算法获得，记为RTDatas。
更进一步地，所述表情变化数据包括：相对于自然状态下，所述动画角色的表情数据变化量；所述动作变化数据包括：相对于自然状态下，所述动画角色的肢体关键顶点坐标旋转位移数据。
在其中一个实施例中，所述数据解析模块包括：表情生成单元，用于根据所述表情变化估算数据生成所述动画角色的表情数据；动作生成单元，用于根据动作变化估算数据生成所述动画角色的动作数据。
进一步地，所述动画角色的表情数据符合公式Expression=(LargestDatas-BasicDatas)* BlendshapeDatas+ BasicDatas；所述动画角色的动作数据符合公式Action=BodyDatas* RTDatas。
在其中一个实施例中，所述渲染播放模块包括：视频生成单元，用于将所述表情数据与动作数据按照时间顺序整合并进行渲染，加入所述MP3格式的音频数据，生成演示视频；视频播放单元，用于播放所述演示视频。
与现有技术相比，本发明实施例在不影响动画视频质量的前提下，裁剪了动画视频传输过程的数据量，降低了动画视频传输对网络的压力，提高了传输速率；通过只传输表情数据/音频数据和MP3格式的音频数据的方式，在接收端视频合成，方便了接收端对动画视频的修改，增强交互性。
附图说明
图1为一个实施例中动画视频的实时传输方法流程图。
图2为一个实施例中动画视频的实时传输系统结构图。
图3为一个实施例中动画视频的实时传输系统发送端动画视频截图。
图4为一个实施例中动画视频的实时传输系统演示视频截图。
具体实施方式
为了使本发明的发明目的、特征、优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。
在一个实施例中，如图1所示，提供了一种动画视频的实时传输方法，包括如下步骤。
S1：获取动画视频中画角色自然状态下的面部特征点原始坐标数据，记为BasicDatas。
S2：获取动画角色表情变化最大状态下的面部特征点坐标数据，记为LargestDatas。
S3：获取动画角色自然状态下的肢体关键点坐标数据，记为BodyDatas。
S4：获取动画角色的三维模型数据。
S5：获取动画视频中动画角色的表情变化数据。
S6：获取动画角色的肢体关键顶点坐标旋转位移数据，作为动作变化数据。
S7：以Blendshape形式表示动画角色的表情变化量。
S8：使用线性插值算法，估算与时间轴对应的表情变化估算数据及动作变化估算数据，分别记为BlendshapeDatas/RTDatas。
S9：提取动画视频中的音频数据，获得MP3格式音频文件。
S10：使用公式Expression=(LargestDatas-BasicDatas)* BlendshapeDatas+BasicDatas及
Action=BodyDatas* RTDatas计算动画角色表情数据及动画角色动作数据。
S11：打包动画角色表情数据/动画角色动作数据/MP3格式音频文件/动画角色的模型数据，进行数据传输。
在一个实施例中，如图1所示，提供了一种动画视频的实时传输系统，系统功能如下：
数据集合模块，用于获取动画视频数据；
数据解析模块，用于解析所述数据集合模块获取的数据；
渲染播放模块，用于对数据解析模块返回的数据进行处理及视频播放。
数据集合模块包括：
原始数据建立单元，用于获取动画视频中动画角色的原始数据；
表情数据获取单元，用于获取动画视频中动画角色的表情变化估算数据；
动作数据获取单元，用于获取动画视频中动画角色的动作变化估算数据；
音频获取单元，用于将动画视频中的音频数据打包为MP3格式。
所述动画角色的原始数据包括：
所述动画角色自然状态下的面部特征点原始坐标数据，记为BasicDatas；
所述动画角色表情变化最大状态下的面部特征点坐标数据，记为LargestDatas；
所述动画角色自然状态下的肢体关键点坐标数据，记为BodyDatas；
所述动画角色的二维模型数据或三维模型数据。
所述表情变化估算数据根据所述动画角色的表情变化数据与所述动画视频的帧率之间的线性关系，使用线性插值算法获得，记为BlendshapeDatas。
所述动画角色的动作变化估算数据根据所述动画角色的动作变化数据与所述动画视频的帧率之间的线性关系，使用线性插值算法获得，记为RTDatas。
所述表情变化数据包括：相对于自然状态下，所述动画角色的表情变化数据。
所述动作变化数据包括：相对于自然状态下，所述动画角色的肢体关键顶点坐标旋转位移数据。
数据解析模块包括：表情生成单元，用于根据所述表情变化估算数据生成所述动画角色的表情数据；动作生成单元，用于根据动作变化估算数据生成所述动画角色的动作数据。
所述演示表情数据符合公式Expression=(LargestDatas-BasicDatas)*BlendshapeDatas+ BasicDatas；所述演示动作数据符合公式Action=BodyDatas*RTDatas。
所述渲染播放模块包括：视频生成单元，用于将所述表情数据与动作数据按照时间顺序整合并进行渲染，加入所述MP3格式的音频数据，生成演示视频；视频播放单元，用于播放所述演示视频。

Claims (15)

1.一种动画视频的实时传输方法，包括：获取动画视频中动画角色的原始数据；获取所述动画视频中动画角色的表情变化数据及动作变化数据；提取所述动画视频中的音频数据，获得MP3格式音频文件；获得所述动画视频中动画角色的与时间轴对应的表情变化估算数据及动作变化估算数据；依据所述表情变化估算数据及动作变化估算数据计算得到动画角色表情数据及动画角色动作数据；打包所述动画角色表情数据/动画角色动作数据/MP3格式音频文件/动画角色的模型数据，作为传输数据。
2.根据权利要求1所述的方法，其特征在于，所述动画角色的原始数据包括：所述动画角色自然状态下的面部特征点原始坐标数据，记为BasicDatas；所述动画角色表情变化最大状态下的面部特征点坐标数据，记为LargestDatas;所述动画角色自然状态下的肢体关键点坐标数据，记为BodyDatas；所述动画角色的模型数据。
3.根据权利要求2所述的方法，其特征在于，所述动画角色的模型数据包括：所述动画角色的二维模型数据或三维模型数据。
4.根据权利要求1所述的方法，其特征在于，所述表情变化数据包括：以Blendshape表示的动画角色的表情变化量。
5.根据权利要求1所述的方法，其特征在于，所述动作变化数据包括：所述动画角色的肢体关键顶点坐标旋转位移数据。
6.根据权利要求1所述的方法，其特征在于，所述表情变化估算数据包括：对视频帧率及所述表情变化数据进行线性插值算法获得，记为BlendshapeDatas；所述动作变化估算数据包括：对视频帧率及所述动作变化数据进行线性插值算法获得，记为RTDatas。
7.根据权利要求1所述的方法，其特征在于，所述动画角色表情数据符合公式Expression=(LargestDatas-BasicDatas)* BlendshapeDatas+ BasicDatas；所述动画角色动作数据符合公式Action=BodyDatas* RTDatas。
8.一种动画视频的实时传输系统，包括：数据集合模块，用于获取动画视频数据；数据解析模块，用于解析所述数据集合模获取的数据；渲染播放模块，用于对数据解析模块返回的数据进行处理及视频播放。
9.根据权利要求8所述的系统，其特征在于，所述数据集合模块包括：原始数据建立单元，用于获取动画视频中动画角色的原始数据；表情数据获取单元，用于获取动画视频中动画角色的表情变化估算数据；动作数据获取单元，用于获取动画视频中动画角色的动作变化估算数据；音频获取单元，用于将动画视频中的音频数据打包为MP3格式。
10.根据权利要求9所述的系统，其特征在于，所述动画角色的原始数据包括：所述动画角色自然状态下的面部特征点原始坐标数据，记为BasicDatas；所述动画角色表情变化最大状态下的面部特征点坐标数据，记为LargestDatas；所述动画角色自然状态下的肢体关键点坐标数据，记为BodyDatas；所述动画角色的二维模型数据或三维模型数据。
11.根据权利要求9所述的系统，其特征在于，所述表情变化估算数据根据所述动画角色的表情变化数据与所述动画视频的帧率之间的线性关系，使用线性插值算法获得，记为BlendshapeDatas；所述动画角色的动作变化估算数据根据所述动画角色的动作变化数据与所述动画视频的帧率之间的线性关系，使用线性插值算法获得，记为RTDatas。
12.根据权利要求11所述的系统，其特征在于，所述表情变化数据包括：相对于自然状态下，所述动画角色的表情数据变化量；所述动作变化数据包括：相对于自然状态下，所述动画角色的肢体关键顶点坐标旋转位移数据。
13.根据权利要求8所述的系统，其特征在于，所述数据解析模块包括：表情生成单元，用于根据所述表情变化估算数据生成所述动画角色的表情数据；动作生成单元，用于根据动作变化估算数据生成所述动画角色的动作数据。
14.根据权利要求13所述的系统，其特征在于，所述动画角色的表情数据符合公式Expression=(LargestDatas-BasicDatas)* BlendshapeDatas+ BasicDatas；所述动画角色的动作数据符合公式Action=BodyDatas* RTDatas。
15.所述动画角色的动作数据，所述渲染播放模块包括：视频生成单元，用于将所述表情数据与动作数据按照时间顺序整合并进行渲染，加入所述MP3格式的音频数据，生成演示视频；视频播放单元，用于播放所述演示视频。
CN201710072547.6A 2017-02-10 2017-02-10 一种动画视频的实时传输方法及系统 Pending CN108416731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710072547.6A CN108416731A (zh) 2017-02-10 2017-02-10 一种动画视频的实时传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710072547.6A CN108416731A (zh) 2017-02-10 2017-02-10 一种动画视频的实时传输方法及系统

Publications (1)

Publication Number Publication Date
CN108416731A true CN108416731A (zh) 2018-08-17

Family

ID=63124877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710072547.6A Pending CN108416731A (zh) 2017-02-10 2017-02-10 一种动画视频的实时传输方法及系统

Country Status (1)

Country Link
CN (1) CN108416731A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598943A (zh) * 2020-12-09 2021-04-02 重庆电子工程职业学院 一种用于儿童的口腔管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598943A (zh) * 2020-12-09 2021-04-02 重庆电子工程职业学院 一种用于儿童的口腔管理系统
CN112598943B (zh) * 2020-12-09 2022-09-27 重庆电子工程职业学院 一种用于儿童的口腔管理系统

Similar Documents

Publication Publication Date Title
CN103369289B (zh) 一种视频模拟形象的通信方法和装置
CN104008569B (zh) 一种基于深度视频的3d场景生成方法
CN104618721B (zh) 基于特征建模的极低码率下人脸视频编解码方法
CN110488981B (zh) 基于云渲染的手机端vr场景交互式显示方法
CN110519247B (zh) 一种一对多虚拟现实展示方法及装置
WO2023241459A1 (zh) 数据通信方法、系统、电子设备和存储介质
CN111464828A (zh) 虚拟特效显示方法、装置、终端及存储介质
CN112379769A (zh) 虚拟场景业务信息的处理方法、系统以及云管理平台
CN110503707A (zh) 一种真人动作捕捉实时动画系统及其方法
CN105957129A (zh) 一种基于语音驱动及图像识别的影视动画制作方法
CN108513090B (zh) 群组视频会话的方法及装置
CN113382275A (zh) 直播数据的生成方法、装置、存储介质及电子设备
CN106792133A (zh) 虚拟现实服务器、视频数据传输方法及系统
CN108416731A (zh) 一种动画视频的实时传输方法及系统
US20170221174A1 (en) Gpu data sniffing and 3d streaming system and method
CN111372113A (zh) 基于数字人表情、嘴型及声音同步的用户跨平台交流方法
CN102467746A (zh) 在便携式设备上制作动画的方法
CN104200520B (zh) 一种基于部件模型组合的三维云渲染方法及三维云渲染系统
CN106406902B (zh) 一种电子礼物的动画显示方法及装置
CN105913477A (zh) 一种实现虚拟现实系统立体启动动画的方法和装置
CN204031355U (zh) 一种头戴式可视设备和视频系统
US10152818B2 (en) Techniques for stereo three dimensional image mapping
CN108650525A (zh) 一种网络视频制作用特效画面制作插件
CN108320321A (zh) 一种表情和动作同步的三维动画制作方法及系统
CN117546460A (zh) 3d图像数据流的交互式处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180817

WD01 Invention patent application deemed withdrawn after publication