CN110012264A - 一种视频实时处理合成系统及方法 - Google Patents

Abstract

本发明提供了一种视频实时处理合成系统及方法，包括视频采集装置、音频获取装置、视频采集调高装置、显示调节装置、视频抠像合成装置、实时输出装置，通过本发明的系统及方法，能够实现多个视角切换，多背景实时结合，且能够根据人像高度进行自动调节及校正，以及自动调节摄像机光轴与人眼光轴的统一，同时能够将处理后的视频实时提供给用户，并且所用设备简单方便，成本低廉，操作技术难度较低，能够满足普通大众的需求。

Description

一种视频实时处理合成系统及方法

技术领域

本发明涉及视频处理领域，具体涉及一种视频实时处理合成系统及方法。

背景技术

随着计算机与互联网的发展，现在的视频已经成为了生活中不可或缺的一部分，普通用户对于视频依赖越来越严重，视频拍摄的质量要求也越来越高，同时现在的网络视频节目也是处于井喷式的发展。

在传统的视频拍摄中，对于人像的采集无法根据人像高度进行准确聚焦，因此视频成片中的人像往往被调整的不和比例，比如身高较高的人，其腿部会被压缩，身高较低的人，其上身会被拉伸等，造成图像的畸变难于矫正，如视频显示人像比例失调等问题，给观看视频的用户造成了很大的视觉影响。

另外，传统的在垂直面采用多台摄像机切换实现高度匹配存在的缺陷是当切换到远离显示屏幕底部摄像机位时会造成被拍摄者的眼部光轴与摄像机光轴分离的情况(如看上方或下方屏幕的字幕演唱歌曲或朗读诗文等)，使得最终视频中的人物无法与观看者形成视觉交流，还会出现被拍摄者“翻白眼”等情况。

现有的抠像合成技术无法做到视频抠像与3D模型等多种背景实时结合，也无法做到拍摄时多角度切换，不支持多个视频、音频采集设备。

而且现有的视频拍摄技术基于绿幕或者蓝幕作为背景的视频拍摄，也是由于视频处理时的成本与技术门槛要求过高，而无法满足大众使用的要求，没有办法进入到大众的生活中。

发明内容

本发明提供了一种能够对人像高度进行自动调节，并实现多个视角切换，且人眼光轴与摄像机光轴统一，多背景实时结合的视频抠像合成系统，同时能够将处理后的视频提供给用户进行直播和点播，并且所用设备简单方便，成本低廉，操作技术难度较低。

一种视频实时处理合成系统，包括视频采集装置、音频获取装置、视频采集调高装置、显示调节装置、视频抠像合成装置、实时输出装置；视频采集调高装置连接视频采集装置及显示调节装置，视频抠像合成装置分别连接视频采集装置、视频采集调高装置、音频获取装置及实时输出装置；

其中，视频采集装置用于采集视频拍摄人物及背景信息；

显示调节装置用于与用户进行互动；

视频采集调高装置用于根据拍摄人物的高度以及视觉情况进行自动识别及调节；

音频获取装置用于采集和处理音频；

视频抠像合成装置用于将采集到的视频及音频信息合成符合预设要求的新视频并并实时传输反馈给用户；

实时输出装置用于将处理合成后的新视频进行实时显示；

进一步的，视频采集装置包括全景采集器、特写采集器、人物采集器及人物采集升降调节设备，其中全景采集器、特写采集器与视频抠像合成装置电连接，人物采集器设置在所述人物采集升降调节设备上，全景采集器、特写采集器、人物采集器分别与视频抠像合成装置连接，人物采集升降调节设备与视频采集调高装置连接；

进一步的，显示调节装置包括人机互动显示器、视觉采集器及显示器升降调节设备，其中，视觉采集器与人机互动显示器连接，设置在在人机互动显示器连接的屏幕下方，人机互动显示器设置在显示器升降调节设备上；

进一步的，视频采集调高装置包括测高单元、视觉捕捉单元、控制调节单元，其中控制调节单元分别连接视频采集装置及显示调节装置，通过测高单元及视觉捕捉单元的测量数据对视频采集装置及显示调节装置进行调节控制；

进一步的，视频抠像合成装置包括视频接收单元、音频接收单元、中央处理器、输出及传输单元、本地存储单元，其中，视频接收单元、音频接收单元、输出及传输单元、本地存储单元分别与中央处理器连接；视频接收单元分别与视频采集装置、视频采集调高装置连接；音频接收单元与音频获取装置连接；输出及传输单元与实时输出装置连接；

进一步的，音频获取装置包括音频采集装置和音频处理装置，音频采集装置用于采集环境音频信息，音频处理装置用于对接收音频采集装置采集到的音频信息进行处理并传输给视频抠像合成设备；

进一步的，还包括网络传输装置，与视频抠像合成装置连接，用于将处理合成后的视频传输至网络；

应用上述系统的视频实时处理合成方法，包括以下步骤：

步骤1：视频信息的采集：通过视频采集装置进行视频信息的采集，并传输至视频抠像合成装置；

步骤2：人物拍摄高度的调节：通过所述视频采集调高装置对视频采集装置进行调节，以获得最佳的适应人物身高的拍摄效果；

步骤3：人物视觉高度的调节：通过显示调节装置进行调节，以获得最佳人物眼部视觉高度的拍摄效果；

步骤4：音频信息的采集：通过音频获取装置采集环境音频信息，并进行混音处理，传输至所述视频抠像合成装置；

步骤5：新视频的合成：所述视频抠像合成设备接收采集到的视频信息，并通过中央处理器进行人物抠像处理，然后将处理后的人物视频与背景视频进行合成，再加入接收到的经过混音处理的音频信息，从而形成新的视频；

步骤6：新视频的实时显示：合成后的新视频由所述视频抠像合成装置输出至实时输出单元；

进一步的，步骤1中，通过视频采集装置中的全景采集器对视频的前景层信息进行采集，通过人物采集器对视频的中景层信息进行采集，通过特写采集器可对前景层及中景层的局部进行采集；

进一步的，步骤2中，通过视频采集调高装置中的测高单元对人物的高度进行测量及反馈，通过视频采集调高装置调节人物采集器的焦点值及其在人物采集升降调节设备上的高度，以达到最佳的适应人物身高的拍摄效果；

进一步的，步骤3中，通过显示调节装置中的视觉采集器对所拍摄人物的视觉高度进行采集，并传输给视频采集调高装置中视觉捕捉单元，视觉捕捉单元根据视觉采集器的数据反馈给显示器升降调节设备以调节人机互动显示器至人物视觉最佳高度；

进一步的，在步骤6后，还包括新视频的储存及传输步骤，将合成后的新视频保存在所述视频抠像合成装置中的本地存储单元中，并通过输出及传输单元将新视频传输给网络传输装置进行网络直播、点播以及云存储。

本发明成本较低，操作上手简单，能够自动适应不同身高的消费者，能够合成较为复杂的清晰视频，并且不会让观看者感觉到任何的图像畸变，能够实时输出高清视频且在互联网传播，不仅适用于专业影视拍摄，也适用于大众生活及娱乐。

附图说明

图1为本发明视频实时处理合成系统示意图；

图2为本发明人物采集升降调节设备结构示意图；

图3为本发明视频合成示意图；

图4为本发明实施例共享演播室的示意图；

图5为本发明视频实时处理合成的方法流程图；

图中：视频采集装置1，显示调节装置2，视频采集调高装置3，音频采集装置4，音频处理装置5，音频获取装置6，实时输出装置 7，视频抠像合成装置8，网络传输装置9、屏幕10、视觉采集器11、控制面板12、显示器升降滑轨13

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有视频合成技术的无法根据高度准确聚焦人像，仅支持单个背景结合，无法支持多个视频、音频采集等缺陷，提供一种操作简单、设备成本较低并能够进行较为复杂的视频实时处理合成系统及方法。

如图1所示，一种视频实时处理及合成系统，包括视频采集装置 1、音频获取装置6、视频采集调高装置3、显示调节装置2、视频抠像合成装置8、实时输出装置7、网络传输装置9；视频采集调高装置8连接视频采集装置1及显示调节装置2，视频抠像合成装置8分别连接视频采集装置1、视频采集调高装置3、音频获取装置6及实时输出装置7；

视频采集装置1用于采集视频拍摄人物及背景信息，包括全景采集器、特写采集器、人物采集器及人物采集升降调节设备，全景采集器用于拍摄广角全景，特写采集器用于拍摄中近景特写，将拍摄的视频信息直接传输给视频抠像合成装置8，人物采集器设置在所述人物采集升降调节设备上，并与视频采集调高装置连接，根据人像高度进行自主调节，全景采集器、特写采集器、人物采集器分别与视频抠像合成装置8连接；

显示调节装置2(如图2)能够与用户进行互动，包括人机互动显示器(包括屏幕10和控制面板12)、视觉采集器11及显示器升降调节设备，显示调节装置2通过显示器降调节设备设置在显示器升降滑轨12上，并与视频采集调高装置3连接，根据人物视觉高度进行自主调节；

视频采集调高装置3包括测高单元、视觉捕捉单元、控制调节单元，测高单元与人物采集器连接，视觉捕捉单元与显示调节装置2连接，通过控制调节单元来对人物采集器和显示调节装置2进行调节；通过视频采集调高装置3能够解决拍摄当中身高与采集设备不协调的问题、用户身高与显示系统观看角度不协调问题以及摄像机光轴和人眼光轴分离的问题等，能够实现自动调整高度、校正人像，并能够得到清晰且比例协调的人物画面。

音频获取装置6用于采集环境及处理音频信息并传输给视频抠像合成装置8，其包括音频采集装置4和音频处理装置5，音频处理装置5接收音频采集装置4采集到的音频信息，并根据用户需求加入素材声音及背景声音并与采集到的环境音频信息进行混音处理，再传输至视频抠像合成装置8的音频接收装置；

视频抠像合成装置8包括视频接收单元、音频接收单元、中央处理器、输出及传输单元、本地存储单元，其中，视频接收单元、音频接收单元、输出及传输单元、本地存储单元分别与中央处理器连接；视频接收单元分别与视频采集装置1、视频采集调高装置3连接；音频接收单元与音频获取装置6连接；输出及传输单元分别与实时输出装置7及网络传输装置9连接，视频抠像合成装置8能够将采集到的人像信息、背景信息及音频信息进行合成，形成全新的视频并通过实时输出装置7实时传输反馈给用户，另外还可以通过网络传输装置9传输至网络，可以让用户进行直播、点播或通过网络终端连接进行播放。

应用本发明系统的视频实时抠像和人景合成方法具体步骤为：

步骤1：视频信息的采集：通过所述视频采集装置1中的全景采集器和特写采集器对视频的前景层信息和中景层信息进行采集，并传输至视频抠像合成装置8的视频接收单元；

步骤2：人物拍摄高度的调节：通过视频采集调高装置3对视频采集装置1进行调节，首先是通过视频采集调高装置3中的测高单元对人物的高度进行测量及反馈，再通过视频采集调高装置3调节人物采集器的焦点值及其在人物采集升降调节设备上的高度，以获得最佳的适应人物身高的拍摄效果；

步骤3：人物视觉高度的调节：通过所述显示调节装置2进行调节，首先是通过所述显示调节装置2中的视觉采集器对所拍摄人物的视觉高度进行采集，传输给视频采集调高装置3中的视觉捕捉单元，视觉捕捉单元根据视觉采集器的数据反馈给显示器升降调节设备(图 2)以获得最佳人物眼部视觉高度的拍摄效果；

步骤4：音频信息的采集：通过音频获取装置4中的音频采集装置4对环境音频信息进行采集并传输给音频处理装置5，音频处理装置5接收采集到的环境音频信息，并根据用户需求加入素材声音及背景声音并与采集到的环境音频信息进行混音处理，再传输至所述视频抠像合成装置8的音频接收单元；

步骤5：新视频的合成：视频抠像合成装置8接收采集到的视频信息，并通过所述中央处理器进行人物抠像处理，然后将处理后的人物视频与背景视频进行合成，再加入接收到的经过混音处理的音频信息，从而形成新的视频；

步骤6：新视频的实时显示：合成后的新视频由视频抠像合成装置8的输出及传输单元输出至实时输出装置7，同时可保存在视频抠像合成装置8内的本地存储单元中，还能够通过输出及传输单元传输给网络传输装置9进行网络直播、点播以及云存储。

如图4所示，视频场景由前景层、中景层、背景层共同组成；前景层用于交互，例如：面部装饰、手部装饰、光影特效等；中景层为视频抠像层，该层用于显示视频采集并处理后呈现的信息(如整体的人物形象)；背景层用于视频背景展示，包括图片、视频、3D模型等，其中，图片、视频、3D模型这三种背景的区别在于：图片背景是一个静态的背景，将人物视频合成在图片之上；视频背景是一个动态的 2D背景，这里是将抠像出来的视频合成在视频之上，效果比图片更加酷炫；3D模型背景是比较复杂的一种背景，这种背景是将抠像出来的视频放置在3D的模型之中，这时的视频会包含一些在模型之中放置的角度、远近、高低等等空间的属性，还可以进行各种角度之间的切换与转变，达到一个比较逼真的效果。

以3D模型作为背景，可在其中加入视频和多种元素效果，可以模拟出例如舞台演唱等现实生活中存在的真实场景，实现个人演唱或者多人同台唱等效果，3D模型同时可以模拟多个机位，首先在3D 模型中记录几个点的坐标来描述摄像机的位置，然后在录制的过程中，通过不同机位之间的平滑移动，或者不同机位的切换，达到模拟真实摄像机的移动和切换的效果。

通过设置视频采集装置1(即全景采集器、特写采集器、人物采集器等多个视频采集设备)分别对各视频场景进行多角度采集，然后将采集到的视频场景内容传送至视频抠像合成装置8，多个视频采集到的视频被抠像后，会被用在同一个场景中，虽然一个时刻只能加载一个场景，但可以随时切换场景，多个视频采集可能分别对应多个人物或者是一个人物的全身视频、面部特写视频、侧脸视频等，最终这些镜头都会被用在同一个场景中。

对于音频的采集和处理，音频采集装置4包括多个拾音器，能够采集的一个或多个声音信息(如歌声、说话声等)，声音在采集过后，会先经过音频处理装置5将多个采集到的声音整合，形成一个立体音轨或单音音轨，音频处理装置5会再从音频获取装置6的素材声音库和背景声音库按照用户需求选取与该音轨所对应时刻的背景环境声音、素材声音一同合成到视频中若某一个声音不存在，合成时将会忽略这个声音，例如：素材声音并不存在，那么合成的视频中将只有采集及处理后的声音与背景环境声音。

本发明能够进行实时的抠像和人景合成，并将视频处理的结果实时的展示出来，可让使用者直观感受到最终效果。

通过将采集到的视频信息和采集处理后的音频信息输入到视频抠像合成装置8中，视频抠像合成装置8对视频和音频进行合成，得到某一时刻的合成视频。为了达到实时合成的效果，每隔很短的时间，就将合成好的音视频进行输出同时，将输出的内容追加到之前输出的内容后面，这时，一边将视频进行存储，一边将视频输出到实时输出装置7上，让使用者可以观看到这个合成的视频以及听到最终的音频效果。

对于视频合成的实时展示效果，在硬件采集与多媒体处理方面使用了MicrosoftDirectX SDK，以减少复杂性并提高可用性，本发明在处理数据时，会首先将背景元素加载到视频抠像合成装置8的中央处理器内存中，以提高视频流畅度和视频的合成速度，然后将抠像完成的视频、各种素材等与已经加载到内存中的背景元素进行合成，用这样的方式保证视频的实时合成与流畅程度。

由于视频抠像合成装置8的处理速度很快，每秒可以处理几十到几百次这样的流程(根据视频抠像合成装置8中设置的计算机性能和采集设备的速率不同，处理的快慢会有所不同)，人眼看到的就是一个流畅的、实时的音视频同步画面。

对于音频合成的实时展示效果，为了音视频合成的时候可以音视频同步的效果，需要根据采样频率，计算出音视频的播放时间，然后根据播放时间来计算每一帧音视频在合成时应该出现的先后次序。

每一帧播放间隔＝采样个数/采样频率

播放时间＝每一帧播放间隔x帧数

根据时间轴，在相应的播放时间插入相应的音视频，这样可以获取到一个将音视频合成成后的视频。

这样合成的视频，音频的帧数和视频的帧数在时间轴上不是完全一致的，但是由于采样频率很高，而人的耳朵无法分辨出之间的差异，因此听上去是一种音视频同步的感觉。

实施例：

共享演播室：当前使用“中国好声音”的3D模型舞台作为背景时，可以将当前演唱的歌曲的歌词显示在屏幕上，同时在舞台上添加一些烟雾等效果，配合上“导师转身素材”，实现个人演唱或者多人同台唱等效果，可以做出很逼真的舞台和MV的效果。

3D模型同时可以模拟多个机位，记录几个点的坐标来描述摄像机的位置，将3D模型中的多机位按照要求进行移动、切换，这样就可以做出一个很逼真的中国好声音演唱视频。

本发明具有云端海量场景支持的物联网设备，能够应用于多种情况，如可满足学生的求职介绍、毕业留念、才艺展示、课件制作、娱乐生活等需求，提高学生文艺素质、创作能力和社交分享能力等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种视频实时处理合成系统，其特征在于，包括视频采集装置、音频获取装置、视频采集调高装置、显示调节装置、视频抠像合成装置、实时输出装置；所述视频采集调高装置连接所述视频采集装置及所述显示调节装置，所述视频抠像合成装置分别连接所述视频采集装置、所述视频采集调高装置、所述音频获取装置及所述实时输出装置；

其中，所述视频采集装置用于采集视频拍摄人物及背景信息；

所述显示调节装置用于与用户进行互动；

所述视频采集调高装置用于根据拍摄人物的高度以及视觉情况进行自动识别及调节；

所述音频获取装置用于采集和处理音频；

所述视频抠像合成装置用于将采集到的视频及音频信息合成符合预设要求的新视频并实时传输反馈给用户；

所述实时输出装置用于将处理合成后的新视频进行实时显示。

2.根据权利要求1所述的视频实时处理合成系统，其特征在于，所述视频采集装置包括全景采集器、特写采集器、人物采集器及人物采集升降调节设备，其中所述全景采集器、特写采集器与所述视频抠像合成装置电连接，所述人物采集器设置在所述人物采集升降调节设备上，所述全景采集器、特写采集器、人物采集器分别与所述视频抠像合成装置连接，所述人物采集升降调节设备与所述视频采集调高装置连接。

3.根据权利要求1所述的视频实时处理合成系统，其特征在于，所述显示调节装置包括人机互动显示器、视觉采集器及显示器升降调节设备，其中，所述视觉采集器与所述人机互动显示器连接，设置在所述在人机互动显示器连接的屏幕下方，所述人机互动显示器设置在显示器升降调节设备上。

4.根据权利要求1所述的视频实时处理合成系统，其特征在于，所述视频采集调高装置包括测高单元、视觉捕捉单元、控制调节单元，其中所述控制调节单元分别连接所述视频采集装置及所述显示调节装置，通过所述测高单元及所述视觉捕捉单元的测量数据对所述视频采集装置及所述显示调节装置进行调节控制。

5.根据权利要求1所述的视频实时处理合成系统，其特征在于，所述视频抠像合成装置包括视频接收单元、音频接收单元、中央处理器、输出及传输单元、本地存储单元，其中，所述视频接收单元、音频接收单元、输出及传输单元、本地存储单元分别与所述中央处理器连接；所述视频接收单元分别与所述视频采集装置、视频采集调高装置连接；所述音频接收单元与所述音频获取装置连接；所述输出及传输单元与所述实时输出装置连接。

6.根据权利要求1所述的视频实时处理合成系统，其特征在于，所述音频获取装置包括音频采集装置和音频处理装置，所述音频采集装置用于采集环境音频信息，所述音频处理装置用于对接收音频采集装置采集到的音频信息进行处理并传输给所述视频抠像合成设备。

7.根据权利要求1所述的视频实时处理合成系统，其特征在于，还包括网络传输装置，与所述视频抠像合成装置连接，用于将处理合成后的视频传输至网络。

8.应用权利要求1‐7所述系统的视频实时处理合成方法，其特征在于：包括以下步骤：

步骤1：视频信息的采集：通过所述视频采集装置进行视频信息的采集，并传输至所述视频抠像合成装置；

步骤2：人物拍摄高度的调节：通过所述视频采集调高装置对所述视频采集装置进行调节，以获得最佳的适应人物身高的拍摄效果；

步骤3：人物视觉高度的调节：通过所述显示调节装置进行调节，以获得最佳人物眼部视觉高度的拍摄效果；

步骤4：音频信息的采集：通过音频获取装置采集环境音频信息，并进行混音处理，传输至所述视频抠像合成装置；

步骤5：新视频的合成：所述视频抠像合成设备接收采集到的视频信息，并通过所述中央处理器进行人物抠像处理，然后将处理后的人物视频与背景视频进行合成，再加入接收到的经过混音处理的音频信息，从而形成新的视频；

步骤6：新视频的实时显示：合成后的新视频由所述视频抠像合成装置输出至实时输出装置。

9.根据权利要求8所述的视频实时处理合成方法，其特征在于，所述步骤1中，通过所述视频采集装置中的全景采集器对视频的前景层信息进行采集，通过人物采集器对视频的中景层信息进行采集，通过特写采集器可对前景层及中景层的局部进行采集。

10.根据权利要求8所述的视频实时处理合成方法，其特征在于，所述步骤2中，通过所述视频采集调高装置中的测高单元对人物的高度进行测量及反馈，通过视频采集调高装置调节所述人物采集器的焦点值及其在人物采集升降调节设备上的高度，以达到最佳的适应人物身高的拍摄效果。

11.根据权利要求8所述的视频实时处理合成方法，其特征在于，所述步骤3中，通过所述显示调节装置中的视觉采集器对所拍摄人物的视觉高度进行采集，并传输给所述视频采集调高装置中视觉捕捉单元，所述视觉捕捉单元根据视觉采集器的数据反馈给显示器升降调节设备以调节人机互动显示器至人物视觉最佳高度。

12.根据权利要求8所述的视频实时处理合成方法，其特征在于，在所述步骤6后，还包括新视频的储存及传输步骤，将合成后的新视频保存在所述视频抠像合成装置中的本地存储单元中，并通过输出及传输单元将新视频传输给网络传输装置进行网络直播、点播以及云存储。