CN105338369A - 一种在视频中实时合成动画的方法和装置 - Google Patents
一种在视频中实时合成动画的方法和装置 Download PDFInfo
- Publication number
- CN105338369A CN105338369A CN201510713888.8A CN201510713888A CN105338369A CN 105338369 A CN105338369 A CN 105338369A CN 201510713888 A CN201510713888 A CN 201510713888A CN 105338369 A CN105338369 A CN 105338369A
- Authority
- CN
- China
- Prior art keywords
- video
- data
- action
- animation
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000003407 synthetizing effect Effects 0.000 title abstract 2
- 230000009471 action Effects 0.000 claims abstract description 157
- 230000001360 synchronised effect Effects 0.000 claims abstract description 37
- 230000001815 facial effect Effects 0.000 claims description 128
- 230000000875 corresponding effect Effects 0.000 claims description 66
- 230000015572 biosynthetic process Effects 0.000 claims description 59
- 238000003786 synthesis reaction Methods 0.000 claims description 59
- 230000033001 locomotion Effects 0.000 claims description 44
- 210000000988 bone and bone Anatomy 0.000 claims description 40
- 230000002194 synthesizing effect Effects 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 18
- 241001269238 Data Species 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 abstract description 16
- 238000004891 communication Methods 0.000 abstract description 7
- 238000009877 rendering Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 31
- 150000001875 compounds Chemical class 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 210000002310 elbow joint Anatomy 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 210000001364 upper extremity Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000000629 knee joint Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002508 compound effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012394 real-time manufacturing Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种在视频中实时合成动画的方法和装置，应用于实时采集的视频中，获取通过动作捕捉设备实时采集到的动作数据和动作坐标，以及通过面部捕捉设备实时采集到的面部数据和面部坐标，在虚拟区域的目标区域中生成骨骼模型和面部模型；通过虚拟摄像机保持与所述主摄像机同步，获取骨骼模型在虚拟区域中根据动作数据形成的骨骼动画和所述动作数据形成的面部动画；将所述骨骼动画和所述面部模型的面部动画从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画和所述面部动画的动画数据得到合成视频数据并同时实时的输出，从而实现实时的在视频中合成动画的功能，有效满足了现有的视频视觉传达需求。
Description
技术领域
本发明涉及实时视频合成领域，特别是涉及一种在视频中实时合成动画的方法和装置。
背景技术
视频属于一种常见的媒体格式，例如，通过摄像机采集的现场直播的电视节目就可以得到实时的现场视频数据。在直播的过程中，为了提高直播效果或者为了增加艺术表现，可以在现场视频数据中通过数据合成的方式，在现场视频中合成出动画效果，是一种新兴的视觉传达形式，例如强化表现人物表情的动画、画外音的艺术文字以及一些背景动画效果等。
但是，目前应用在电视或网络视频播放中的动画合成主要还是依靠在视频后期处理的过程中完成，即非直播的情况下，在已经录制完成的视频数据中进行动画合成后，再将合成后的视频数据通过电视或网络播放。在直播的现场视频数据中，由于采集视频数据的摄像机的拍摄角度、摄像位置都无法预判，若想在直播中的现场视频里合成动画，由于无法预估视频画面的变化，为了保证合成效果不突兀，最多只能在视频中合成一些持续时间很短的、2D的动画或图片。
可见，目前在视频中的动画合成效果尤其是在直播的现场视频中实时合成动画的能力基本没有，无法有效的满足现有视觉传达的需求。
发明内容
为了解决上述技术问题，本发明提供了一种在视频中实时合成动画的方法和装置，实现了在视频中实时合成动画的功能，有效满足了现有的视频视觉传达需求。
本发明实施例公开了如下技术方案：
一种在视频中实时合成动画的方法，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括：
所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上；
所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括：
所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
可选的，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
一种在视频中实时合成动画的装置，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述装置包括：
位置信息获取单元，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
动作获取单元，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；
骨骼模型生成单元，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；
骨骼动画获取单元，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；
实时合成单元，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画；
还包括：
面部获取单元，用于在触发实时合成单元之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；
面部模型生成单元，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
面部动画获取单元，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
所述实时合成单元还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述骨骼模型生成单元，包括：
节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
可选的，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
由上述技术方案可以看出，本发明实施例提供了一种在视频中实时合成动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种在视频中实时合成动画方法的方法流程图；
图2为本发明实施例提供的一种骨骼动画的视频制作系统的架构图；
图3为本发明实施例提供的一种三维动画模型动作的示例图；
图4为本发明实施例提供的一种在视频中实时合成动画装置的装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对直播的现场视频数据，由于采集视频数据的摄像机的拍摄角度、摄像位置都无法预判或预先获知，难以直接在视频中进行动画合成。传统的视频动画合成技术，往往只能通过后期制作的方式实现，很难在现场拍摄、实时直播的视频中实现动画合成。即使目前有些公司可以实现实时动画合成，但是由于上述采集视频数据的摄像机的拍摄角度、摄像位置都无法预判或预先获知的问题无法解决，无法预估视频画面的变化，为了保证合成效果不突兀，最多只能在视频中合成一些持续时间很短的、2D的动画或图片，无法有效的满足现有视觉传达的需求。
为此，本发明实施例提供了一种在视频中实时合成动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。
实施例一
图1为本发明实施例提供的一种在视频中实时合成动画方法的方法流程图。所述方法应用于实时采集的视频中，在实施所述方法之前，需要先获取到相关的参数。
采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致。
举例说明，所述固定区域具有明确的区域边界，可以是一个摄影棚、一个房间或者一处室外场所等。所述3D坐标系统用于标识所述固定区域，在所述3D坐标系统中，所述固定区域具有固定的位置信息例如坐标值。
对于现场拍摄，可能需要至少一台摄像机。摄像机的数量随着拍摄的需求改变。当为多台摄像机时，输出视频数据的为主摄像机，主摄像机可以随着拍摄需求在所述多台摄像机中切换。通过所述至少一台摄像机中主摄像机的位置信息和视频采集参数可以确定所述主摄像机的机位、移动和拍摄角度，甚至还有拍摄过程中的视角拉近和拉远等。
可选的，本发明提供了一种快捷有效的建立所述3D坐标系统、确定摄像机位置和视频采集参数的方式，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
举例说明，若所述固定区域在室内，可以在天花板上悬挂多个采集设备、几个角落出设置多个采集设备，用于建立对应所述固定区域的所述3D坐标系统，并采集所述固定区域在所述3D坐标系统中的位置信息。对于摄像机，可以在摄像机上设置反射器，可以通过反射所述采集设备发射的信号或其他方式，使得采集设备确定反射器在所述3D坐标系统中的位置信息以及部分视频采集参数例如拍摄角度、拍摄机位等。进一步，可以在摄像机中设置反射器，使得采集设备通过反射器确定出所述主摄像机镜头的拉近拉远等操作。若所述固定区域为室外，也可以通过在高处悬挂多个采集设备等方式实现上述功能。通过红外线能够较为有效实现位置采集的功能，故可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。而设置在主摄像机内用于检测主摄像机镜头的可以具体为传感器等装置。
所述服务器具有的渲染引擎类似于所述服务器的显卡，具有独立的处理器或者可以理解为图形处理器(英文：GraphicsProcessingUnit，缩写：GPU)，可以有效为所述服务器的处理器或者可以理解为中央处理器(英文：CentralProcessingUnit，缩写：CPU)分担处理工作。所述服务器可以使用所述渲染引擎根据之前获取的各个位置参数建立出虚拟区域。所述虚拟区域与所述固定区域之间位置信息具有比例关系，例如建立的所述虚拟区域的大小可以与所述固定区域一致等。
所述虚拟摄像机可以理解为观察所述虚拟区域的视角，可以根据所述主摄像机的位置信息和所述视频采集参数，利用四阶矩阵的运算确定所述虚拟摄像机在所述虚拟区域中的位置等。通过同步所述虚拟摄像机和所述主摄像机可以使得所述虚拟摄像机在所述虚拟区域中拍摄的角度、机位等拍摄相关参数均与所述主摄像机在所述固定区域内拍摄的相关参数一致。需要注意的是，若所述虚拟区域与所述固定区域之间的比例关系不为1:1时，在同步所述虚拟摄像机和所述主摄像机时还需要考虑到所述比例关系的影响。
如图1所示，所述方法包括：
S101：所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息。
由于在所述固定区域中实际并不存在合成的动画，故合成动画的所述目标区域一般事先确定好。这样在所述固定区域中进行拍摄时，便于提示节目中的参与者例如主持人、嘉宾、参演人等，做到与所述目标区域中将要合成的动画进行互动或者不进入该目标区域或该目标区域与主摄像机之间的区域，避免遮挡合成的动画等情况。由于所述固定区域和所述虚拟区域均依据于所述3D坐标系统，故通过所述区域位置信息可以明确所述目标区域在所述固定区域和所述虚拟区域中的具体位置。
S102：所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系。所述服务器获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上。
接下来将详细说明如何通过动作捕捉设备实施采集到动作数据和动作坐标。如图2所示，图2为本发明实施例提供的一种骨骼动画的视频制作系统的架构图。服务器1分别与主摄像机2及动作捕捉设备3(图示中穿戴在动作被采集者上或者说第二目标体上)相连。其中，连接的方式可以是有线的，也可以是无线的，本申请并不做具体限定。
主摄像机2，用于采集第一目标体(可以为固定区域中的参与者)的视频数据。由于第一目标体处于固定区域中，主摄像机2采集到的第一目标体的视频数据除包含有第一目标体图像外，还包含有空间场景图像。该种场景的一个具体示例为，摄像机拍摄节目主持人主持节目时的视频图像。
动作捕捉设备3，穿戴在第二目标体上，用于获取所述第二目标体的动作数据。其中，第二目标体是可以活动的任何目标体，如人体。动作捕捉设备3获取到的动作数据用于表示第二目标体活动的动作姿势。仍以上述场景示例为例，该人体可以是与该节目主持人互动的另外一位节目主持人。
需要说明的是，主摄像机2及动作捕捉设备3在视频制作过程中，是不间断地采集数据的，并将采集到的数据实时发送至服务器1。服务器1可以依据接收的数据来实时制作包含骨骼动画的视频。可以理解的是，视频是由多帧视频图像组合成的，本发明实施例提供的包含骨骼动画的视频制作方法，是仅就单独一帧视频图像的制作过程进行说明，其他各帧视频图像的制作过程同样可以参见本发明实施例提供的方法。所述面部捕捉设备可以为佩戴在人脸上的数据采集装置，通过摄像等功能，识别并输出人脸上特征点的变化，从而得到面部数据和面部坐标，所述面部坐标可以是人脸特征点的坐标值。所述面部捕捉设备也穿戴在所述第二目标体上，通过主摄像机2采集到所述第二目标体的面部表情、动作的变化。面部动画的制作方式与所述骨骼动画的制作方式类似，这里不再赘述。
S103：所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型。所述服务器根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型。
举例说明，利用三维动画绘制工具，绘制骨骼模型。需要说明的是，骨骼模型是按照第二目标体绘制的，用来模拟第二目标体。当然，骨骼模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，骨骼模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人体的动作。
例如，骨骼模型模拟第二目标体的方式，可以是根据第二目标体的可活动节点，在骨骼模型中设置相应数量的骨骼节点，每个骨骼节点用来唯一表示第二目标体的一个可活动节点。这样，在可活动节点运动时，骨骼模型的骨骼节点可相应地进行运动。由于骨骼模型是由骨骼节点构成的，确定骨骼节点的动作后，便可以获得骨骼模型的骨骼动画。需要说明的是，该一帧骨骼动画是骨骼模型的一帧动画图像。
所述动作坐标和所述3D坐标系统中的坐标具有对应关系，通过一个动作坐标可以确定出该动作坐标在所述3D坐标系统中所对应的坐标值。
举例说明，利用三维动画绘制工具，绘制面部模型。需要说明的是，面部模型是按照第二目标体(面部数据被采集者)绘制的，用来模拟第二目标体。当然，面部模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，面部模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人脸的表情神态等面部动作。
例如，面部模型模拟第二目标体的方式，可以是根据第二目标体的面部特征点，在面部模型中设置相应数量的面部节点，每个面部节点用来唯一表示第二目标体的一个面部特征点。这样，在面部特征点运动时，面部模型的面部节点可相应地进行运动。由于面部模型是由面部节点构成的，确定面部节点的动作后，便可以获得面部模型的面部动画。需要说明的是，该一帧面部动画是面部模型的一帧动画图像。
所述面部坐标和所述3D坐标系统中的坐标具有对应关系，通过一个面部坐标可以确定出该面部坐标在所述3D坐标系统中所对应的坐标值。
S104：所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画。所述服务器获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画。
步骤S103和S104可以是同时执行，也可以是S103先于S104执行。
若同时执行，可以理解为动作捕捉，面部捕捉和所述视频的拍摄同时进行，即在所述固定区域进行现场直播的过程中，动作捕捉和面部捕捉也在另一个区域中同时进行，利用实时获取的动作数据和动作坐标建立骨骼模型，并根据现场直播过程中的主摄像机的位置信息和视频采集参数同步所述虚拟摄像机采集到所述骨骼动画。利用实时获取的面部数据和面部坐标建立面部模型，并根据现场直播过程中的主摄像机的位置信息和视频采集参数同步所述虚拟摄像机采集到所述面部动画。
若S103先于S104执行，可以理解为先完成动作捕捉和目标捕捉，并通过捕捉的参数建立骨骼模型和面部模型。等到开始在所述固定区域现场直播时，再根据同步的虚拟摄像机采集所述骨骼动画和面部动画。但是在采集的过程中需要主要时间轴的一致性，时间轴的相关特征属于成熟技术，这里就不再赘述。
例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及动作捕捉设备发送的动作数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；动作捕捉设备发送的动作数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的动作可以是互动的。
例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及面部捕捉设备发送的面部数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；面部捕捉设备发送的面部数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的面部动作可以是互动的。
S105：所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
需要注意的是，由于骨骼模型的建立和骨骼动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述服务器将所述渲染引擎处理得到的骨骼动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述骨骼动画和所述视频的尺寸比例等。
例如，第一目标体的视频数据是一帧视频图像，骨骼模型的一帧骨骼动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含骨骼动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
需要注意的是，由于面部模型的建立和面部动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述服务器将所述渲染引擎处理得到的面部动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述面部动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述面部动画和所述视频的尺寸比例等。在合成数据的过程中，也需要考虑到所述面部动画和所述骨骼动画的尺寸比例等。
例如，第一目标体的视频数据是一帧视频图像，面部模型的一帧面部动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含面部动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
将合成得到的合成视频数据实时输出，可以达到现场采集视频的过程中，进行直播的过程中，通过动画的实时合成，能够实时的输出合成视频数据。那么在通过电视或网络收看现场直播的所述视频时，除了可以看到在所述固定区域采集的所述视频，还可以看到在所述视频中合成的动画。提升了视觉传达能力，尤其提升了在直播中这种实时视觉传达的能力。
根据上述实施例可以看出，本发明实施例提供了一种在视频中实时合成动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。
实施例二
在实际应用中，动作捕捉设备可以是按照预设的采集频率来采集第二目标体的动作数据的。例如，预设的采集频率为每秒50次，即动作捕捉设备在一秒内采集50次动作数据。当然该数值仅仅是示例说明，本发明并不局限于此。另外，服务器，可以预先设置有刷新率，为了便于描述，将该刷新率称为预设刷新率。服务器按照预设刷新率生成目标视频的每帧视频图像。例如，服务器的刷新率可以是每秒40次，则服务器一秒内生成40帧的视频图像。当然该数值仅仅是示例说明，本发明并不局限于此。
存在一种情况是，服务器的刷新率与动作捕捉设备的采集频率不同，则如何根据接收到的动作数据来控制骨骼模型的骨骼节点，是需要解决的技术问题。对此，本发明提供了上述图1所对应实施例中S103及S104的具体实现方式。
例如，动作捕捉设备是按照预设采集频率采集第二目标体的动作数据的，因此，接收动作捕捉设备按照预设发送频率发送的多组动作数据。多组动作数据的具体数量可以是由动作捕捉设备的性能参数决定的。
相应地，确定预先绘制的骨骼模型的骨骼动作的具体实现方式包括步骤A1～步骤A2。
步骤A1：在所述服务器的预设刷新率低于所述预设发送频率的情况下，在接收到的所述多组动作数据中，提取一组目标动作数据。
其中，动作捕捉设备采集动作数据后便向服务器发送，因此，动作捕捉设备的采集频率可以认为是预设发送频率。服务器接收到该多组动作数据后，需要在多组动作数据中提取一组动作数据，为了便于描述，将提取到的该组动作数据称为目标动作数据。需要说明的是，动作数据可以用三维坐标表示的，则一组动作数据中包含多个子动作数据，子动作数据标识的是不同维度上的坐标。
需要说明的是，在多组动作数据中，提取目标动作数据的方式，可以是随意提取，也可以是按照预设规则进行提取。动作捕捉设备发送的多组动作数据具有采集时间上的先后顺序，则多组动作数据可以是按照采集时间的先后顺序依次排序的，相应地，预设规则可以是在该多组动作数据中，提取某个固定顺序的一组动作数据。例如，多组动作数据为5个且依次排序，固定提取第3位的动作顺序。
在实际应用中，该种按照预设规则提取目标动作数据方式的具体过程可以是，服务器按照自身的预设刷新率，从动作捕捉设备按照发送频率发送的动作数据中，提取目标动作数据。例如，动作捕捉设备的发送频率是每隔2微秒发送一组动作数据，服务器是每隔5微秒刷新一次，即每隔5微秒生成一帧目标视频图像，因此，服务器每隔5微秒提取一组目标动作数据。
步骤A2：依据所述目标动作数据，确定预先绘制的骨骼模型的骨骼动作。
其中，目标动作数据是多组动作数据中的一组，表示的是第二目标体的动作姿势，骨骼模型是按照第二目标体绘制的。因此，利用该目标动作数据，可以确定出骨骼模型的动作。
由以上的技术方案可知，为了解决动作捕捉设备的采集频率与服务器的刷新率不同的问题，可以在多组动作数据中提取一组目标动作数据，利用一组目标动作数据来控制骨骼模型的骨骼动作。
在本发明实施例中，第二目标体可以包含若干个活动节点，例如，第二目标体为人，人的活动节点可以是手腕、肘关节及肩关节等等。相应地，动作捕捉设备设置有若干个动作捕捉点，在动作捕捉点为多个的情况下，不同的动作捕捉点用于获得第二目标体不同活动节点的动作数据。将一个活动节点的动作数据称为一个子动作数据，活动节点为若干个，则动作捕捉设备获取到的动作数据可以包含若干个子动作数据。为了区分不同的活动节点，则子动作数据具有各自的节点标识。
也就是说，可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点。
所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括：
所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点。
举例说明，骨骼模型具有骨骼节点，其骨骼节点是按照第二目标体的活动节点设置的。接收到的子动作数据具有节点标识，因此，可以确定出子动作数据对应骨骼节点。
例如，接收到的子动作数据为：子动作数据1、子动作数据2、子动作数据3及子动作数据4，各个子动作数据的节点标识分别为左上肢肘关节、右上肢肘关节、左下肢膝关节及右下肢膝关节，骨骼模型中具有这些关节对应的骨骼节点，进而分别为子动作数据1、子动作数据2、子动作数据3及子动作数据4确定各自对应的骨骼节点。
所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置。
所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
其中，子动作数据的一种具体实现形式是，所述3D坐标系统下的三维实体坐标。因此，子动作数据中包含三维坐标，为了与下述骨骼模型的坐标区分，可以将该三维坐标称为三维实体坐标。
例如，上一示例中的子动作数据1，即左上肢肘关节对应的三维实体坐标为(188.9，113.7，88.8)；子动作数据2，即右上肢肘关节对应的三维实体坐标为(127.5，54.3，68.9)；子动作数据3，即左下肢膝关节对应的三维实体坐标为(111.1，158.3，56.9)；子动作数据4，即右下肢膝关节对应的三维实体坐标为(99.8，155.5，77.7)。
相应地，确定目标骨骼节点在骨骼模型中的位置的具体实现方式可以包括步骤B1～步骤B2。
步骤B1：依据所述动作坐标与虚拟空间坐标之间的比例关系，确定所述动作坐标在所述虚拟空间下的三维动画坐标。
其中，该比例关系也可表示骨骼模型大小与第二目标体大小的关系。
步骤B2：将所述三维动画坐标确定的位置，作为所述目标骨骼节点的位置。
其中，三维动画坐标包含三个坐标值，该三个坐标值在骨骼模型中，可以确定出一个位置点，进而将确定出的该位置点，作为该三维动画坐标对应的骨骼节点的位置。参见图3所示，图3为本发明实施例提供的一种三维动画模型动作的示例图，图3中的左上肢肘关节、右上肢肘关节、左下肢膝关节及右下肢膝关节的位置是分别根据上述示例中的子动作数据1、子动作数据2、子动作数据3及子动作数据4来确定的。
实施例三
图4为本发明实施例提供的一种在视频中实时合成动画装置的装置结构图，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；
可选的，本发明提供了一种快捷有效的建立所述3D坐标系统、确定摄像机位置和视频采集参数的方式，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
举例说明，若所述固定区域在室内，可以在天花板上悬挂多个采集设备、几个角落出设置多个采集设备，用于建立对应所述固定区域的所述3D坐标系统，并采集所述固定区域在所述3D坐标系统中的位置信息。对于摄像机，可以在摄像机上设置反射器，可以通过反射所述采集设备发射的信号或其他方式，使得采集设备确定反射器在所述3D坐标系统中的位置信息以及部分视频采集参数例如拍摄角度、拍摄机位等。进一步，可以在摄像机中设置反射器，使得采集设备通过反射器确定出所述主摄像机镜头的拉近拉远等操作。若所述固定区域为室外，也可以通过在高处悬挂多个采集设备等方式实现上述功能。通过红外线能够较为有效实现位置采集的功能，故可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。而设置在主摄像机内用于检测主摄像机镜头的可以具体为传感器等装置。
所述服务器具有的渲染引擎类似于所述服务器的显卡，具有独立的处理器或者可以理解为图形处理器GPU，可以有效为所述服务器的处理器或者可以理解为中央处理器CPU分担处理工作。所述服务器可以使用所述渲染引擎根据之前获取的各个位置参数建立出虚拟区域。所述虚拟区域与所述固定区域之间位置信息具有比例关系，例如建立的所述虚拟区域的大小可以与所述固定区域一致等。
所述虚拟摄像机可以理解为观察所述虚拟区域的视角，可以根据所述主摄像机的位置信息和所述视频采集参数，利用四阶矩阵的运算确定所述虚拟摄像机在所述虚拟区域中的位置等。通过同步所述虚拟摄像机和所述主摄像机可以使得所述虚拟摄像机在所述虚拟区域中拍摄的角度、机位等拍摄相关参数均与所述主摄像机在所述固定区域内拍摄的相关参数一致。需要注意的是，若所述虚拟区域与所述固定区域之间的比例关系不为1:1时，在同步所述虚拟摄像机和所述主摄像机时还需要考虑到所述比例关系的影响。
所述装置包括：
位置信息获取单元501，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息。
由于在所述固定区域中实际并不存在合成的动画，故合成动画的所述目标区域一般事先确定好。这样在所述固定区域中进行拍摄时，便于提示节目中的参与者例如主持人、嘉宾、参演人等，做到与所述目标区域中将要合成的动画进行互动或者不进入该目标区域或该目标区域与主摄像机之间的区域，避免遮挡合成的动画等情况。由于所述固定区域和所述虚拟区域均依据于所述3D坐标系统，故通过所述区域位置信息可以明确所述目标区域在所述固定区域和所述虚拟区域中的具体位置。
动作获取单元502，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系。
可以参考实施例一中针对图2的说明，这里不再赘述。
骨骼模型生成单元503，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型。
举例说明，利用三维动画绘制工具，绘制骨骼模型。需要说明的是，骨骼模型是按照第二目标体绘制的，用来模拟第二目标体。当然，骨骼模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，骨骼模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人体的动作。
例如，骨骼模型模拟第二目标体的方式，可以是根据第二目标体的可活动节点，在骨骼模型中设置相应数量的骨骼节点，每个骨骼节点用来唯一表示第二目标体的一个可活动节点。这样，在可活动节点运动时，骨骼模型的骨骼节点可相应地进行运动。由于骨骼模型是由骨骼节点构成的，确定骨骼节点的动作后，便可以获得骨骼模型的骨骼动画。需要说明的是，该一帧骨骼动画是骨骼模型的一帧动画图像。
所述动作坐标和所述3D坐标系统中的坐标具有对应关系，通过一个动作坐标可以确定出该动作坐标在所述3D坐标系统中所对应的坐标值。
可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述骨骼模型生成单元，包括：
节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
骨骼动画获取单元504，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画。
举例说明，骨骼模型生成单元503和骨骼动画获取单元504可以同时触发，也可以骨骼模型生成单元503先于骨骼动画获取单元504触发。
若骨骼模型生成单元503先于骨骼动画获取单元504触发，可以理解为先完成动作捕捉，并通过捕捉的参数建立骨骼模型。等到开始在所述固定区域现场直播时，再根据同步的虚拟摄像机采集所述骨骼动画。但是在采集的过程中需要主要时间轴的一致性，时间轴的相关特征属于成熟技术，这里就不再赘述。
例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及动作捕捉设备发送的动作数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；动作捕捉设备发送的动作数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的动作可以是互动的。
实时合成单元505，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画。
需要注意的是，由于骨骼模型的建立和骨骼动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述实时合成单元505将所述渲染引擎处理得到的骨骼动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述骨骼动画和所述视频的尺寸比例等。
例如，第一目标体的视频数据是一帧视频图像，骨骼模型的一帧骨骼动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含骨骼动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
将合成得到的合成视频数据实时输出，可以达到现场采集视频的过程中，进行直播的过程中，通过动画的实时合成，能够实时的输出合成视频数据。那么在通过电视或网络收看现场直播的所述视频时，除了可以看到在所述固定区域采集的所述视频，还可以看到在所述视频中合成的动画。提升了视觉传达能力，尤其提升了在直播中这种实时视觉传达的能力。
在图4中，还包括：
面部获取单元506，用于在触发实时合成单元505之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系。
面部模型生成单元507，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型。
举例说明，所述面部捕捉设备可以为佩戴在人脸上的数据采集装置，通过摄像等功能，识别并输出人脸上特征点的变化，从而得到面部数据和面部坐标，所述面部坐标可以是人脸特征点的坐标值。
举例说明，利用三维动画绘制工具，绘制面部模型。需要说明的是，面部模型是按照第二目标体(面部数据被采集者)绘制的，用来模拟第二目标体。当然，面部模型展示在最终绘制的目标视频中时，可以是与第二目标体等比例的，或者，也可以是不同比例的。另外，面部模型的外观可以是第二目标体相同，或者，也可以与第二目标体不同，如利用动物卡通形象来展现人脸的表情神态等面部动作。
例如，面部模型模拟第二目标体的方式，可以是根据第二目标体的面部特征点，在面部模型中设置相应数量的面部节点，每个面部节点用来唯一表示第二目标体的一个面部特征点。这样，在面部特征点运动时，面部模型的面部节点可相应地进行运动。由于面部模型是由面部节点构成的，确定面部节点的动作后，便可以获得面部模型的面部动画。需要说明的是，该一帧面部动画是面部模型的一帧动画图像。
所述面部坐标和所述3D坐标系统中的坐标具有对应关系，通过一个面部坐标可以确定出该面部坐标在所述3D坐标系统中所对应的坐标值。
面部动画获取单元508，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画。
例如，需要开始制作视频图像时，相关人员会在服务器上触发视频开始制作的操作，从而生成视频开始制作的指令。服务器接收到该指令后，开始接收主摄像机发送的视频数据，以及面部捕捉设备发送的面部数据。其中，主摄像机发送的视频数据，是其自身采集到的第一目标体的视频图像；面部捕捉设备发送的面部数据，是其自身捕捉到的第二目标体的动作数据。其中，第一目标体与第二目标体的面部动作可以是互动的。
所述实时合成单元505还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
需要注意的是，由于面部模型的建立和面部动画的采集基本上都通过所述渲染引擎完成，有效的降低了所述服务器处理器的处理压力。在进行动画合成前，所述服务器将所述渲染引擎处理得到的面部动画的动画数据从所述渲染引擎中提取出来，在所述服务器自身的处理器的处理下，将根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据。具体的，在合成数据的过程中，需要考虑到所述面部动画和所述视频的尺寸比例等。在合成数据的过程中，也需要考虑到所述面部动画和所述骨骼动画的尺寸比例等。
例如，第一目标体的视频数据是一帧视频图像，面部模型的一帧面部动画是一帧动画图像，将动画图像嵌入到视频图像中，从而生成包含面部动画的目标视频，具体为一帧目标视频图像。需要说明的是，本发明实施例可以是不间断多次执行的，因此，可以生成多帧目标视频图像，多帧目标视频图像则组合为目标视频。
将合成得到的合成视频数据实时输出，可以达到现场采集视频的过程中，进行直播的过程中，通过动画的实时合成，能够实时的输出合成视频数据。那么在通过电视或网络收看现场直播的所述视频时，除了可以看到在所述固定区域采集的所述视频，还可以看到在所述视频中合成的动画。提升了视觉传达能力，尤其提升了在直播中这种实时视觉传达的能力。
根据上述实施例可以看出，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画的功能，有效满足了现有的视频视觉传达需求。
可见，本发明实施例提供了一种在视频中实时合成动画的方法和装置，在确定好固定区域的3D坐标系统、所用摄像机尤其是主摄像机的位置信息和视频采集参数后，通过渲染引擎建立与所述固定区域对应的虚拟区域，所述虚拟区域中的虚拟摄像机保持与所述固定区域中的主摄像机同步，使得通过虚拟摄像机在所述虚拟区域中所采集到的区域与所述主摄像机在所述固定区域中采集到的区域能够时刻保持一致，以便能够实现实时的动画合成。在根据所述3D坐标系统确定出用于合成动画的目标区域的位置信息后，所述服务器的渲染引擎将通过动作捕捉设备采集的动作数据和动作坐标在虚拟区域中对应所述目标区域的位置建立骨骼模型，以及通过面部捕捉设备采集的面部数据和面部坐标在所述目标区域的位置建立面部模型，通过所述虚拟摄像机保持与所述主摄像机同步的方式获取所述骨骼模型根据所述动作数据形成的骨骼动画，以及获取面部模型根据面部数据形成的面部动画，所述服务器从所述渲染引擎中提取出所述骨骼动画的动画数据和面部动画的动画数据，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和面部动画。通过渲染引擎自身处理器和所述服务器处理器的配合，以及虚拟摄像机与主摄像机的同步，从而实现实时的在视频中合成骨骼动画和面部动画的功能，有效满足了现有的视频视觉传达需求。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-onlymemory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种在视频中实时合成动画的方法，其特征在于，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括：
所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上；
所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
2.根据权利要求1所述的方法，其特征在于，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括：
所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
3.根据权利要求1所述的方法，其特征在于，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
4.根据权利要求3所述的方法，其特征在于，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
5.一种在视频中实时合成动画的装置，其特征在于，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述装置包括：
位置信息获取单元，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；
动作获取单元，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；
骨骼模型生成单元，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；
骨骼动画获取单元，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；
实时合成单元，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画；
还包括：
面部获取单元，用于在触发实时合成单元之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；
面部模型生成单元，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；
面部动画获取单元，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；
所述实时合成单元还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。
6.根据权利要求5所述的装置，其特征在于，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述骨骼模型生成单元，包括：
节点确定子单元，用于确定所述节点标识所对应的所述骨骼模型上的骨骼节点；
位置确定子单元，用于依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；
生成子单元，用于根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。
7.根据权利要求5所述的装置，其特征在于，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：
所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。
8.根据权利要求7所述的装置，其特征在于，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510713888.8A CN105338369A (zh) | 2015-10-28 | 2015-10-28 | 一种在视频中实时合成动画的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510713888.8A CN105338369A (zh) | 2015-10-28 | 2015-10-28 | 一种在视频中实时合成动画的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105338369A true CN105338369A (zh) | 2016-02-17 |
Family
ID=55288596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510713888.8A Pending CN105338369A (zh) | 2015-10-28 | 2015-10-28 | 一种在视频中实时合成动画的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105338369A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106060368A (zh) * | 2016-08-04 | 2016-10-26 | 深圳Tcl数字技术有限公司 | 拍摄方法及系统 |
| CN106462257A (zh) * | 2016-07-07 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 实时互动动画的全息投影系统、方法及人工智能机器人 |
| CN107302595A (zh) * | 2017-08-07 | 2017-10-27 | 东方联合动画有限公司 | 一种用于生成动画的数据传输方法及系统 |
| WO2018018957A1 (zh) * | 2016-07-29 | 2018-02-01 | 迈吉客科技（北京）有限公司 | 三维模型的实时控制方法和系统 |
| CN108055479A (zh) * | 2017-12-28 | 2018-05-18 | 暨南大学 | 一种动物行为视频的制作方法 |
| CN108109189A (zh) * | 2017-12-05 | 2018-06-01 | 北京像素软件科技股份有限公司 | 动作共享方法及装置 |
| CN108961867A (zh) * | 2018-08-06 | 2018-12-07 | 南京南奕亭文化传媒有限公司 | 一种基于幼儿教育的多媒体交互系统 |
| CN109729284A (zh) * | 2018-12-17 | 2019-05-07 | 惠州Tcl移动通信有限公司 | 智能终端的图像处理方法、智能终端及存储装置 |
| CN110941346A (zh) * | 2019-12-19 | 2020-03-31 | 武汉西山艺创文化有限公司 | 一种基于5g通信的虚拟偶像直播方法及系统 |
| CN111009022A (zh) * | 2019-12-27 | 2020-04-14 | 珠海金山网络游戏科技有限公司 | 一种模型动画生成的方法和装置 |
| WO2020077854A1 (zh) * | 2018-10-19 | 2020-04-23 | 北京微播视界科技有限公司 | 视频生成的方法、装置、电子设备及计算机存储介质 |
| CN111530088A (zh) * | 2020-04-17 | 2020-08-14 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的实时表情图片的方法和装置 |
| CN113505637A (zh) * | 2021-05-27 | 2021-10-15 | 成都威爱新经济技术研究院有限公司 | 一种用于直播流的实时虚拟主播动作捕捉方法及系统 |
| CN114339405A (zh) * | 2022-01-04 | 2022-04-12 | 广州博冠信息科技有限公司 | Ar视频数据流远程制作方法及装置、设备、存储介质 |
| CN114494542A (zh) * | 2022-01-24 | 2022-05-13 | 广州喳喳科技有限公司 | 一种基于卷积神经网络的人物驱动动画方法及系统 |
| CN115942067A (zh) * | 2022-12-14 | 2023-04-07 | 优玖科技(深圳)有限公司 | 一种视频软件制作方法 |
| WO2024139205A1 (zh) * | 2022-12-29 | 2024-07-04 | 上海哔哩哔哩科技有限公司 | 捕捉方法、系统、计算设备及计算机存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1920886A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
| US20110007142A1 (en) * | 2009-07-09 | 2011-01-13 | Microsoft Corporation | Visual representation expression based on player expression |
| US20110298827A1 (en) * | 2010-06-02 | 2011-12-08 | Microsoft Corporation | Limiting avatar gesture display |
| CN102306390A (zh) * | 2011-05-18 | 2012-01-04 | 清华大学 | 基于骨架和面片插值的运动捕捉方法及装置 |
| CN102448565A (zh) * | 2009-05-29 | 2012-05-09 | 微软公司 | 将骨架数据实时重新定标到游戏化身 |
| CN102822869A (zh) * | 2010-01-22 | 2012-12-12 | 索尼电脑娱乐美国公司 | 捕获在生成的场景内表演的演员的视图和运动 |
| CN103597518A (zh) * | 2011-06-06 | 2014-02-19 | 微软公司 | 生成反映玩家外观的化身 |
| CN104915978A (zh) * | 2015-06-18 | 2015-09-16 | 天津大学 | 基于体感相机Kinect的真实感动画生成方法 |
| CN105528805A (zh) * | 2015-12-25 | 2016-04-27 | 苏州丽多数字科技有限公司 | 一种虚拟人脸动画合成方法 |
-
2015
- 2015-10-28 CN CN201510713888.8A patent/CN105338369A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1920886A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
| CN102448565A (zh) * | 2009-05-29 | 2012-05-09 | 微软公司 | 将骨架数据实时重新定标到游戏化身 |
| US20110007142A1 (en) * | 2009-07-09 | 2011-01-13 | Microsoft Corporation | Visual representation expression based on player expression |
| CN102822869A (zh) * | 2010-01-22 | 2012-12-12 | 索尼电脑娱乐美国公司 | 捕获在生成的场景内表演的演员的视图和运动 |
| US20110298827A1 (en) * | 2010-06-02 | 2011-12-08 | Microsoft Corporation | Limiting avatar gesture display |
| CN102306390A (zh) * | 2011-05-18 | 2012-01-04 | 清华大学 | 基于骨架和面片插值的运动捕捉方法及装置 |
| CN103597518A (zh) * | 2011-06-06 | 2014-02-19 | 微软公司 | 生成反映玩家外观的化身 |
| CN104915978A (zh) * | 2015-06-18 | 2015-09-16 | 天津大学 | 基于体感相机Kinect的真实感动画生成方法 |
| CN105528805A (zh) * | 2015-12-25 | 2016-04-27 | 苏州丽多数字科技有限公司 | 一种虚拟人脸动画合成方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462257A (zh) * | 2016-07-07 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 实时互动动画的全息投影系统、方法及人工智能机器人 |
| US10930074B2 (en) | 2016-07-29 | 2021-02-23 | Appmagics Tech (Beijing) Limited | Method and system for real-time control of three-dimensional models |
| WO2018018957A1 (zh) * | 2016-07-29 | 2018-02-01 | 迈吉客科技（北京）有限公司 | 三维模型的实时控制方法和系统 |
| CN106060368A (zh) * | 2016-08-04 | 2016-10-26 | 深圳Tcl数字技术有限公司 | 拍摄方法及系统 |
| CN107302595B (zh) * | 2017-08-07 | 2020-01-14 | 东方联合动画有限公司 | 一种用于生成动画的数据传输方法及系统 |
| CN107302595A (zh) * | 2017-08-07 | 2017-10-27 | 东方联合动画有限公司 | 一种用于生成动画的数据传输方法及系统 |
| CN108109189A (zh) * | 2017-12-05 | 2018-06-01 | 北京像素软件科技股份有限公司 | 动作共享方法及装置 |
| CN108055479A (zh) * | 2017-12-28 | 2018-05-18 | 暨南大学 | 一种动物行为视频的制作方法 |
| CN108961867A (zh) * | 2018-08-06 | 2018-12-07 | 南京南奕亭文化传媒有限公司 | 一种基于幼儿教育的多媒体交互系统 |
| US11490033B2 (en) | 2018-10-19 | 2022-11-01 | Beijing Microlive Vision Technology Co., Ltd | Video generating method, apparatus, electronic device and computer storage medium |
| WO2020077854A1 (zh) * | 2018-10-19 | 2020-04-23 | 北京微播视界科技有限公司 | 视频生成的方法、装置、电子设备及计算机存储介质 |
| GB2593005A (en) * | 2018-10-19 | 2021-09-15 | Beijing Microlive Vision Tech Co Ltd | Video generation method and device, electronic device and computer storage medium |
| GB2593005B (en) * | 2018-10-19 | 2023-02-22 | Beijing Microlive Vision Tech Co Ltd | Video generating method, apparatus, electronic device and computer storage medium |
| CN109729284A (zh) * | 2018-12-17 | 2019-05-07 | 惠州Tcl移动通信有限公司 | 智能终端的图像处理方法、智能终端及存储装置 |
| CN110941346A (zh) * | 2019-12-19 | 2020-03-31 | 武汉西山艺创文化有限公司 | 一种基于5g通信的虚拟偶像直播方法及系统 |
| CN111009022A (zh) * | 2019-12-27 | 2020-04-14 | 珠海金山网络游戏科技有限公司 | 一种模型动画生成的方法和装置 |
| CN111530088A (zh) * | 2020-04-17 | 2020-08-14 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的实时表情图片的方法和装置 |
| CN111530088B (zh) * | 2020-04-17 | 2022-04-22 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的实时表情图片的方法和装置 |
| CN113505637A (zh) * | 2021-05-27 | 2021-10-15 | 成都威爱新经济技术研究院有限公司 | 一种用于直播流的实时虚拟主播动作捕捉方法及系统 |
| CN114339405A (zh) * | 2022-01-04 | 2022-04-12 | 广州博冠信息科技有限公司 | Ar视频数据流远程制作方法及装置、设备、存储介质 |
| CN114339405B (zh) * | 2022-01-04 | 2023-11-17 | 广州博冠信息科技有限公司 | Ar视频数据流远程制作方法及装置、设备、存储介质 |
| CN114494542A (zh) * | 2022-01-24 | 2022-05-13 | 广州喳喳科技有限公司 | 一种基于卷积神经网络的人物驱动动画方法及系统 |
| CN115942067A (zh) * | 2022-12-14 | 2023-04-07 | 优玖科技(深圳)有限公司 | 一种视频软件制作方法 |
| WO2024139205A1 (zh) * | 2022-12-29 | 2024-07-04 | 上海哔哩哔哩科技有限公司 | 捕捉方法、系统、计算设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105338369A (zh) | 一种在视频中实时合成动画的方法和装置 | |
| CN105704507A (zh) | 一种在视频中实时合成动画的方法和装置 | |
| CN105338370A (zh) | 一种在视频中实时合成动画的方法和装置 | |
| CN108986189B (zh) | 基于三维动画中实时多人动作捕捉并直播的方法和系统 | |
| KR101295471B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법 | |
| US6084979A (en) | Method for creating virtual reality | |
| CN110363133B (zh) | 一种视线检测和视频处理的方法、装置、设备和存储介质 | |
| WO2019041351A1 (zh) | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 | |
| CN109145788A (zh) | 基于视频的姿态数据捕捉方法和系统 | |
| CN109829976A (zh) | 一种基于全息技术实时表演方法及其系统 | |
| CN101872243B (zh) | 一种实现跟随现实空间方向的360°全景播放系统及其方法 | |
| JP2019101795A (ja) | 生成装置、生成方法及びプログラム | |
| JP2018074294A (ja) | 情報処理システムおよび情報処理方法 | |
| CN107995481B (zh) | 一种混合现实的显示方法及装置 | |
| CN206178657U (zh) | Ar互动展示系统和博物馆文物互动展示系统 | |
| CN107862718A (zh) | 4d全息视频捕捉方法 | |
| CN111179392A (zh) | 一种基于5g通信的虚拟偶像综艺直播的方法及系统 | |
| CN114125301A (zh) | 一种虚拟现实技术拍摄延迟处理方法及装置 | |
| CN113706720B (zh) | 图像显示方法和装置 | |
| CN113259544B (zh) | 一种远程互动全息演示系统及方法 | |
| Kanade et al. | Virtualized reality: perspectives on 4D digitization of dynamic events | |
| CN113470190A (zh) | 场景显示方法及装置、设备、车辆、计算机可读存储介质 | |
| CN102118576B (zh) | 一种虚拟体育系统中的色键合成方法及装置 | |
| CA2393803C (en) | Method and apparatus for real time insertion of images into video | |
| CN111064947A (zh) | 基于全景的视频融合方法、系统、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160217 |