CN112087663A - 一种移动端生成明暗环境适配舞蹈视频的方法 - Google Patents

Abstract

本发明涉及一种移动端生成明暗环境适配舞蹈视频的方法，包括：根据纯色背景下的用户视频，确定用户视频光源的信息；根据用户选择的舞队模板，确定模板光源的配置信息；修改用户视频光源的信息或者模板光源的配置信息；以及将舞队模板和无背景用户舞蹈视频组合。本申请为了将多个无背景用户舞蹈视频与背景模板合成更加真实，通过在舞蹈视频中配置光源等，增加明暗模拟适配舞蹈视频的功能，增加视频的立体感。

Description

一种移动端生成明暗环境适配舞蹈视频的方法

技术领域

本发明涉及视频合成技术领域，特别地涉及一种移动端生成明暗环境适配舞蹈视频的方法。

背景技术

当前各种类型的小视频广受用户的喜欢，其中视频类型包括音乐、科技、舞蹈类等多种类型，受众人群广泛。随着小视频的快速发展，各种视频剪辑和处理功能越来越丰富。

随着移动端处理能力的提升，在移动端上进行视频合成推动了小视频的普及和发展。在舞蹈视频制作过程中，用户可以随意添加和修改一些自己喜欢的元素，比如挑选自己喜欢的背景类型。因为合成后的环境缺少光线等因素，使得舞蹈视频合成痕迹严重，呈现效果不真实。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种移动端生成明暗环境适配舞蹈视频的方法，包括：根据纯色背景下的用户视频，确定用户视频光源的信息；根据用户选择的舞队模板，确定模板光源的配置信息；修改用户视频光源的信息或者模板光源的配置信息；以及将舞队模板和无背景用户舞蹈视频组合。

如上所述的方法，进一步包括：采集纯色背景下用户视频中多个纯色背景的像素点；利用深度学习中的神经网络模型分析多个纯色背景的像素点确定多条光路；以及基于经确定的多条光路确定用户视频光源的信息。

如上所述的方法，其中，将模板光源的配置信息与用户视频光源的信息保持一致；其中所述配置信息包括：位置、颜色、亮度和动态效果中的一者或多者。

如上所述的方法，其中，响应于模板光源的位置变化修改无背景用户舞蹈视频中用户身体的明暗变化。

如上所述的方法，其中，基于舞蹈视频的伴奏修改模板光源的配置信息。

如上所述的方法，其中，基于移动端系统时间修改模板光源的配置信息。

如上所述的方法，进一步包括：利用模板光源的配置信息和无背景用户舞蹈视频的组合方式模拟多个无背景用户舞蹈视频中的用户阴影。

如上所述的方法，进一步包括：将多个无背景用户舞蹈视频中的用户阴影生成阴影图层；以及将阴影图层与多个无背景用户舞蹈视频和/或背景模板叠加合成。

如上所述的方法，其中叠加混合处理多个模板光源和/或多个无背景用户舞蹈视频生成的用户阴影产生叠加部分的颜色。

如上所述的方法，其中利用像素混合模式将模板光源发出光的颜色与光照射在无背景用户舞蹈视频部分的颜色进行混合渲染处理。

如上所述的方法，其中模板光源发出的光为方向光。

根据本发明的另一方面，提出一种移动端，包括：摄像模块，其经配置以获取纯色背景下的用户视频；交互模块，其经配置以响应于用户操作，选择舞队模板；视频处理模块，其经配置根据纯色背景下的用户视频，确定用户视频光源的信息；根据用户选择的舞队模板，确定模板光源的配置信息；修改用户视频光源的信息或者模板光源的配置信息；以及将舞队模板和无背景用户舞蹈视频组合。

如上所述的移动端，其中视频处理模块包括：模板提供单元，其经配置以提供多个背景模板和/或舞队模板；视频抠图单元，其经配置基于来自摄像模块的纯色背景下的用户视频获取无背景的用户舞蹈视频；以及视频合成单元，其经配置以利用背景模板、舞队模板与无背景的用户舞蹈视频获得合成舞蹈视频。

如上所述的移动端，视频处理模块经配置采集纯色背景下用户视频中多个纯色背景的像素点；利用深度学习中的神经网络模型分析多个纯色背景的像素点确定多条光路；以及基于经确定的多条光路确定用户视频光源的信息。

如上所述的移动端，其中，响应于模板光源的位置变化修改无背景用户舞蹈视频中用户身体的明暗变化。

如上所述的移动端，基于舞蹈视频的伴奏修改模板光源的配置信息。

如上所述的移动端，基于移动端系统时间修改模板光源的配置信息。

如上所述的移动端，视频处理模块经配置利用模板光源的配置信息和无背景用户舞蹈视频的组合方式模拟多个无背景用户舞蹈视频中的用户阴影。

如上所述的移动端，进一步包括：将多个无背景用户舞蹈视频中的用户阴影生成阴影图层；以及将阴影图层与多个无背景用户舞蹈视频和/或背景模板叠加合成。

如上所述的移动端，其中叠加混合处理多个模板光源和/或多个无背景用户舞蹈视频生成的用户阴影产生叠加部分的颜色。

本申请为了将多个无背景用户舞蹈视频与背景模板合成更加真实，通过在舞蹈视频中配置光源等，增加明暗模拟适配舞蹈视频的功能，增加视频的立体感。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1是根据本发明的一个实施例生成舞队组合舞蹈视频系统的结构示意图；

图2是根据本发明的一个实施例移动端的结构示意图；

图3是根据本发明的一个实施例服务器的结构示意图；

图4是根据本发明的一个实施例移动端获得定制背景实时舞蹈视频方法的流程图；

图5A-E是移动端生成舞队组合舞蹈视频的图形用户界面；

图6是根据本发明的一个实施例移动端生成舞队组合舞蹈视频方法的流程图；

图7是根据本发明的一个实施例舞队队形示意图；

图8是根据本发明的一个实施例合成舞蹈视频的场景示意图；以及

图9是根据本发明的一个实施例移动端生成明暗环境适配舞蹈视频的方法。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

图1是根据本发明的一个实施例生成舞队组合舞蹈视频系统的结构示意图。如图所示，系统包括一个和多个移动端10和服务器20，二者通过无线网络通信连接。其中，移动端10包括手机、平板电脑、个人娱乐设备或它们的组合，用于录制舞蹈视频，基于特定的应用，将视频的背景实时更换成背景模板。待录制完成后，用户可以利用无线网络将视频存储至服务器的个人账户上，也可以分享舞蹈视频，展示给更多的人观看。

图2是根据本发明的一个实施例移动端的结构示意图。如图所示，移动端10包括摄像模块101、视频处理模块102、通信模块103和交互模块104，其中，视频处理模块102分别与摄像模块101、通信模块103和交互模块104电连接，摄像模块101与交互模块104电连接。

摄像模块101为一个或多个摄像头，用于获取纯色背景下的用户视频。其中摄像头可以是移动端的前置摄像头，也可以是后置摄像头。摄像头包括自动对焦和手动调焦的功能，满足不同用户的需求。

视频处理模块102包括模板提供单元1021、视频抠图单元1022、属性编辑单元1023和视频合成单元1024，其中，模板提供单元1021分别与交互模块104和属性编辑模块1023电连接；视频抠图单元1022分别与摄像模块101和属性编辑单元1023电连接；属性编辑单元1023分别与交互模块104和视频合成单元1024电连接，视频合成单元1024与通信模块103电连接。

模板提供单元1021用于提供多个背景模板和/或舞队模板，其中背景模板可以是一段视频，也可以是一张图片。其中，背景模板类型包括但不限于美景、室内、舞台、节日、氛围和绿幕。其中绿幕类型的背景用于实时录制视频时定制的背景模板，其能够适应整个屏幕，与抠出的无背景用户舞蹈视频合成，完全看不到真实的录制环境。其中绿幕类型的背景模板中的可以增加动态元素，比如飞鸟、瀑布、划船等，丰富视频内容。

视频抠图单元1022从摄像模块101接收图像，利用纯色背景的色彩中位值获取无背景用户舞蹈视频。在一些实施例中，纯色背景颜色包括但不限于绿色、蓝色和红色，本领域的技术人员应当理解，只要能用于获取无背景用户舞蹈视频的纯色背景均可以应用在本申请的方案中。

属性编辑单元1023接收来自交互模块104的指令，以调整视频属性。比如调整无背景用户舞蹈视频和/或背景模板的色调、对比度和纵横比等参数。响应于用户在交互模块104上交互产生指令，对视频中的用户进行美颜或者调整显示身材或者调整视频色调等。

在一些实施例中，属性编辑单元1023还包括调整无背景用户舞蹈视频的大小、位置、远近和组合舞队等功能。用户在录制视频时，移动端与无背景用户舞蹈视频的角度和录制位置等并不能呈现最佳拍摄效果，因此，可以针对获取的无背景用户舞蹈视频在背景模板中的大小、位置和远近进行调整，使得与背景模板融合的更加自然。其中，大小即调整无背景用户舞蹈视频的大小；远近即模拟调整相机的远近距离效果；位置即调整无背景用户舞蹈视频在背景模板中的位置。组合舞队为在用户拍摄舞蹈视频时，将无背景用户舞蹈视频复制出多个图像，按照舞队的站位进行组合一个多人同时舞蹈的视频，舞蹈中的动作整齐划一，提高了舞蹈视频的可观性。其中，舞队变化模式包括1人舞队模式，2人舞队模式，平行3人舞队模式，三角形3人舞队模式等。

视频合成单元1024用于将背景模板、舞队模板和无背景用户舞蹈视频实时获得合成舞蹈视频。其中，视频合成单元1024与交互模块104电连接，其将合成后的视频发送至交互模块104，用户可以在交互模块104上实时观看合成后的视频。视频合成单元1024还可以将合成后的视频通过通信模块103发送至服务器20，分享发更多的人观看自己制作的视频。

通信模块103能够包括一个或多个有线或无线通信接口。例如，通信接口网络接口卡、无线调制解调器或有线调制解调器。在一种应用中，通信模块103能够是WiFi调制解调器。在另一些应用中，通信模块103能够是3G调制解调器、4G调制解调器、LTE调制解调器、蓝牙组件、射频接收器、天线或它们的组合。通信模块103能够与服务器20无线通信，移动设备10能够使用通信模块103进行传输信息或者接收包或消息。

交互模块104用于展示图形用户界面(GUI)与用户交互，还可以向用户展示功能内容，比如显示背景模板和编辑视频属性等功能按钮或者文本框或者链接等。用户可以在交互模块104上通过滑动、点击等手势，选择背景模板。交互模块104可以是液晶显示器(LCD)的触摸屏显示器，可以是有机发光二极管(OLED)的触摸屏显示器。

图3是根据本发明的一个实施例服务器的结构示意图。如图所示，服务器包括一个或多个处理模块301、通信模块302以及存储模块303。

处理模块301能够包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或它们的组合。处理模块301能够执行存储在存储模块303中的软件或计算机可读指令以执行本文描述的方法或操作。处理模块301能够以若干不同的方式来实施。例如，处理模块301能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。

通信模块302能够包括一个或多个有线或无线通信接口。例如，通信接口网络接口卡、无线调制解调器或有线调制解调器。在一种应用中，通信模块302能够是WiFi调制解调器。在另一些应用中，通信模块302能够是3G调制解调器、4G调制解调器、LTE调制解调器、蓝牙组件、射频接收器、天线或它们的组合。

存储模块303能够存储软件、数据、日志或它们的组合。存储模块303能够是内部存储器或者外部存储器。例如，存储器能够是易失性存储器或非易失性存储器,诸如非易失性随机存取存储器(NVRAM)、闪存、磁盘存储器的非易失性存储器，或者是诸如静态随机存取存储器(SRAM)的易失性存储器。

图4是根据本发明的一个实施例移动端获得定制背景实时舞蹈视频方法的流程图；图5A-E是移动端获得定制背景实时舞蹈视频的图形用户界面。在步骤410，获取纯色背景下的用户视频。参考图5A,响应于用户选择伴奏后，移动设备的摄像头获取纯色背景下的用户视频。在一些实施例中，用户可以根据交互装置104上显示的用户视频调整移动设备的位置和拍摄距离等。

在步骤420，响应于用户在交互模块上操作，选择背景模板。参考图5B，用户在交互模块选择“背景”按钮，出现背景模板列表。可以定制的背景模板在“绿幕”的类型里。并不是所有的背景模板都可以为定制的背景模板，其需要符合一定的要求，比如不能是透明的背景，且需要完全覆盖交互模块等要求。响应于在用户在“绿幕”背景模板列表里选择任意背景模板，选择的背景模板在交互模块上显示出来。

在步骤430，利用纯色背景的色彩中位值获取无背景用户舞蹈视频。在一些实施例中，获取无背景用户舞蹈视频的具体步骤为：

1、采样纯色背景多个位置的色彩值，获得多个位置色彩值的色彩中位值；

2、以色彩中位值为中心扩展色彩值范围；以及

3、将色彩值范围内的背景图像去掉。

在一些实施例中，采用HSV颜色模型定义色彩值。其中，色彩中位值可以是将多个位置的色彩值根据大小进行排序，根据排序取多个色彩值的中间值。在用户录制视频时，有时由于录制环境光线照射在纯色背景上不均匀，导致录制视频的纯色背景色彩值不一致，影响抠图效果。因此，获取不同纯色背景位置的多个色彩值，求取中位值并扩展一定范围，以此来提高无背景用户舞蹈视频质量。其中扩展的范围为HSV色彩空间内某颜色(绿色/蓝色/红色等)的数值经验范围。

在一些实施例中，对纯色背景图像进行九格卷积确定边界像素并根据卷积值调整边界像素的透明值，以此有效降低抠图的锯齿感。本申请利用卷积神经网络对视频像素进行边界判断，通过卷积值将不同的像素设定不同的透明值，使得获取的目标用户图像更加完整且更加自然。

在步骤440，响应于用户在交互模块上操作，编辑视频属性。参考图5B，移动端有时自动获取无背景用户舞蹈视频质量不高，依然存在部分绿色背景。此时，用户可以点击屏幕“绿幕”功能键，进入图5C，可以调整“色键”的滑块，随着滑块的移动，屏幕中的绿色部分会增多或减少，用户在绿色部分全部消失或者最少时停止滑动，此时呈现最好的无背景用户舞蹈视频。在一些实施例中，移动端向用户展示色彩中位值；以及响应于用户手动调整色彩值，实时调整去掉的背景颜色范围。若“色键”上的滑块停留在色彩中位值处，用户只需微调色彩值，即可呈现最佳的无背景用户舞蹈视频，减少用户调整范围。参考图5D，滑动不同功能的滑块，可以调整无背景用户舞蹈视频的大小、位置、裁剪宽度和远近中的一者或多者，从而与背景模板相适应。

在一些实施例中，编辑视频属性还包括对合成舞蹈视频中的用户进行美颜、瘦身和滤镜操作中的一者或多者。用户可以根据自己的喜好，对视频中的用户形象进行个性化调整，使得视频中的用户更加漂亮。

在步骤450，基于背景模板和无背景用户舞蹈视频实时获得合成舞蹈视频。待用户对视频属性编辑完毕后，响应于用户点击“拍摄”功能键，移动端开始录制视频，并实时将背景模板和无背景用户舞蹈视频合成视频，当用户点击“结束”后，将合成视频保存在移动端中。

在一些实施例中，在录制视频前，移动端可以自动或者用户手动调整对焦和曝光参数，使得摄像头达到一个最佳的拍摄效果；在录制视频时，移动端将对焦和曝光参数锁定，保证在录制过程中，获取一个质量较好的无背景用户舞蹈视频。若摄像头在录制过程中，打开自动对焦或者自动曝光功能，移动端获取的纯色背景色彩值可能发生变化，导致获取的无背景用户舞蹈视频包含纯色背景，造成抠图质量下降的问题。

参考图5E，响应于用户点击屏幕左侧“分屏”功能键，可以将合成舞蹈视频编辑为多人舞队。在一些实施例中，分屏功能中有多种舞队模板可供用户选择，其队形位置是固定的。在另一些实施例中，用户自定义无背景用户舞蹈视频位置，用户可以随意选择无背景用户舞蹈视频的数量和位置，设计舞队造型。其中在自定义舞队中，无背景用户舞蹈视频的数量最多8个。

传统的舞蹈视频为了解决合成舞蹈视频中，无背景用户舞蹈视频层叠不自然的问题,将不同层的无背景用户舞蹈视频利用像素混合模式进行计算，达到重叠真实的视觉效果。但是在处理过程中，需要将相邻层的每个像素进行计算渲染，从而产生了计算量大的问题。上述方法很难在计算量有限移动端普及，所以本申请设计一种方法，其能够在移动端上对不同层级的无背景用户舞蹈视频进行混合优化，具有计算量小，响应速度快等优点。

图6是根据本发明的一个实施例移动端生成舞队组合舞蹈视频方法的流程图。在步骤610，在纯色背景下获取无背景用户舞蹈视频。该处获取无背景用户舞蹈视频的方法与上述图4方法中获取无背景用户舞蹈的步骤一样，在此不再赘述。

在步骤620，根据用户选择的舞队模板，确定无背景用户舞蹈视频的组合方式。在开始录制视频前，用户可以在移动端的交互模块上进行操作，选择舞队模板。在一些实施例中，交互模块上展示舞队模板列表，用户选择舞队模板后，交互模块上会实时显示舞队队形；在另一些实施例中，用户点击交互模块上的功能按钮，交互模块上实时改变舞队队形。其中舞队模板包括多种舞队队形，不同的舞队队形，对应的层级也会不同。

其中，舞队队形即舞者的站位，不同的舞队队形，系统对应地将无背景用户舞蹈视频展示不同的组合方式。其中，舞队队形将可以将视频中的空间立体化，分为前后左右等方位。舞队队形可以组合成三角形、金字塔形等，提高视频的视觉效果。

图7是根据本发明的一个实施例舞队队形示意图。一般而言，舞队中跳舞人数越多，层级越多。参考图7，以前1后2三人舞队为例，前边1个舞者为0级，后平行的2个舞者为1级，其中，0级中大于1级的显示比例。凸出靠前的无背景用户舞蹈视频，观看视频的用户能够更加清楚欣赏舞蹈视频，提高观看满意度。其中，0级和1级中的舞者均是通过将去背景用户舞蹈视频复制出多个并分布在不同位置，所以，不同层级的舞者动作都完全一致。本领域的技术人员应当理解，舞队模板中的层级不局限于2个层级，也可以是3个甚至更多的层级。

在步骤630，确定无背景用户舞蹈视频组合后的一个或多个重叠部分。在一些实施例中，根据舞队模板中舞队队形，确定无背景用户舞蹈视频组成的各个图层的优先级，其中，优先绘制位置在后的无背景用户舞蹈视频的图层。将组合成舞队队形中，需要逐层将无背景用户舞蹈视频逐层绘制上去。在一些实施例中，可以根据从后向前的顺序依次绘制无背景用户舞蹈视频。无背景用户舞蹈视频的重叠部分为前后不同层级的无背景用户舞蹈视频重叠的部分，如图7中的重叠部分710和重叠部分720。进一步地，本申请可以确定一个或多个重叠部分边界，从而达到减少计算量的目的，提高渲染速度。

在一些实施例中，利用无背景用户舞蹈视频的像素坐标值确定一个或多个重叠部分的边界。举例而言，分别将0级和1级的层级像素相对于交互模块确定坐标值，在相同的坐标系下，相同的坐标表示在交互模块上相同的位置。因此，通过将多个无背景用户舞蹈视频中用户图像的坐标值进行对比，能够确定重叠部分的边界。

在另一些实施例中，利用无背景用户舞蹈视频间的像素色彩值确定一个或多个重叠部分的边界。参考图7,0级中的无背景用户舞蹈视频除了人像部分，其他部分的像素均是透明的。因此，通过获取与0级相邻层级的视频像素，能够快速获取无背景用户舞蹈视频重叠部分的边界。本领域的技术人员应当理解，只要可以确定舞蹈视频重叠部分的技术均可以应用在本申请的方案中。

在步骤640，对一个或多个重叠部分进行渲染过渡处理。其中，对一个或多个重叠部分进行渲染过渡处理的步骤包括：

确定基于一个或多个重叠部分的边界扩展范围；

所述边界扩展范围为从一个或多个重叠部分边界向内扩展2-8个像素；以及

利用像素混合模式对扩展范围内的像素进行渲染过渡处理。

其中，边界扩展范围的大小与无背景用户舞蹈视频显示比例相关。由上述可知，排布在前层级的无背景用户舞蹈视频显示比例大于在后的。因此，根据无背景用户舞蹈视频的显示比例确定边界扩展范围，能够细化渲染过渡处理范围，提高合成舞蹈视频的质量。

在一些实施例中，渲染过渡处理为颜色混合特效处理。举例而言，利用openGL ES对扩展范围内的像素进行渲染处理，进一步地，利用glBlendFunc(GL_ONE,GL_ONE_MINUS_SRC_ALPHA)函数对扩展范围内的像素进行处理。其中，将扩展范围内，不同层级的舞蹈视频中的颜色各自取出并乘以一个系数，然后混合得到一个新颜色，使得不同层级的舞蹈视频之间的层叠关系更加自然和真实。其中，glBlendFunc函数中的算法可以根据实际需求进行调整，在此不做限制。

在另一些实施例中，渲染过渡处理为高斯加权平均化处理。高斯加权平均化即利用像素邻域内多个像素的灰度值进行加权平均处理后代替原像素的灰度值，消除多个视频层叠部分的锯齿和不自然问题，使得层叠部分平滑、自然和真实。本领域的技术人员应当理解，利用上述的技术手段去处理多个视频的重叠部分只是本申请举例说明的方案，只要能够解决上述技术问题的技术方案均可以应用在本申请中，在此不做限制。

图8是根据本发明的一个实施例合成舞蹈视频的场景示意图。如图所示，舞蹈视频包括背景模板810和一个或多个无背景用户舞蹈视频820，其中背景模板810包括用户的跳舞区域811。背景模板810为户外风景模板，相应地将光源设置为太阳813，符合户外风景模板要求，并且增加白云812、河流814和树815等自然景物使得背景模板内容更加丰富。其中，背景模板分为多种类型，按照场景可以分为室内风景和室外风景；按照动静类型可以分为动态背景和静态背景，其中动态背景中的元素包括但不限于河流、飞鸟和瀑布；按照环境可以分为山水背景、花丛背景和人文景观背景等。另外，用户可以选择舞队模板，确定多个跳舞用户在跳舞区域的站位。本申请为了将多个无背景用户舞蹈视频与背景模板合成更加真实，增加明暗模拟适配舞蹈视频的功能，通过在舞蹈视频中配置光源等元素，增加视频的立体感。具体方法如下：

图9是根据本发明的一个实施例移动端生成明暗环境适配舞蹈视频的方法。在步骤910，根据纯色背景下的用户视频，确定用户视频光源的信息。其中具体步骤为：采集纯色背景下用户视频中多个纯色背景的像素点；利用深度学习中的神经网络模型分析多个纯色背景的像素点确定多条光路；基于经确定的多条光路确定用户视频光源的信息。其中模板光源信息包括：光源的亮度、位置、数量颜色和动态效果中的一者或多者。举例而言，用户站在绿幕背景下进行跳舞录制视频，用户左上方有一个灯泡，对用户录制视频提供照明；根据光沿着直线传播的原理，打在用户身上的光线应该是斜向下的，且光打在用户身上时，像素的颜色会发生颜色和亮度的变化，因此利用深度学习中的神经网络模型分析多个纯色背景的像素点确定多条光路的照射方向；根据多条光路的照射方向能够确定用户视频光源的位置。本领域的技术人员应当理解，本申请中只需要确定用户视频光源的大概信息，不需要特别精确的光源信息，只要能实现上述目的的技术方案均可以应用在本申请中，在此不做限制。

在步骤920，根据用户选择的舞队模板，确定模板光源的配置信息。其中不同的舞队模板，配置的模板光源不同。如上所述，在户外景色模板中，模板光源可以是太阳；在室内背景模板中，模板光源可以是灯泡等。并且根据不同的背景模板的特点，配置模板光源的颜色、亮灯等信息也会不同。

在步骤930，修改用户视频光源的信息或者模板光源的配置信息。在一些实施例中，将模板光源的配置信息与用户视频光源的信息保持一致。为了保证模板光源的配置信息与用户视频光源的信息保持一致，可以修改用户视频光源的信息，也可以修改模板光源的配置信息，其中响应于模板光源的位置变化修改无背景用户舞蹈视频中用户身体的明暗变化。优选地，修改计算量小的光源配置信息。本申请通过将模板光源与用户视频光源的位置、颜色和亮度等保持一致，使得合成后舞蹈视频更加协调、更加自然。

在一些实施例中，基于移动端系统时间修改模板光源的配置信息。其中，模板光源的类型包括自然光源和人造光源。举例而言，响应于用户在使用移动端录制舞蹈视频时，移动端的系统时间为中午12点，则将太阳设置在天空中间位置，且将亮度调至最高；当系统时间为晚上8点时，可以将太阳更换为路灯作为光源，并将光源色调调整为暖色调。在本申请的方案中，模板光源发出的光均是方向光，通过方向光发出的光线在合成舞蹈视频中营造出一种明暗的线条，突出场景的真实性。

在一些实施例中，基于舞蹈视频的伴奏修改模板光源的配置信息。音乐和灯光会增强舞蹈气氛和调动用户情绪。在用户录制舞蹈视频时，系统会根据伴奏音乐的播放时间，调整模板光源的亮度、位置、颜色和动态效果等信息。举例而言，用户在跳舞伴奏播放至高潮部分，模板光源会以一定频率闪烁和改变光源的颜色，提高视频趣味性。

在步骤940，将舞队模板和无背景用户舞蹈视频组合。响应于调整好用户视频光源的信息或者模板光源的配置信息，将舞队模板和无背景用户舞蹈视频组合，其中组合好的舞蹈视频中，根据模板光源的配置信息会有明暗的线条变化。其中，在多个模板光源和/或多个无背景用户舞蹈视频环境中，当方向光投射在用户身上时，用户身上被照射的部位亮度升高。当背景模板中有多个模板光源时，光线会在无背景用户舞蹈视频上进行叠加，因此，叠加部分的光亮度大于非叠加的部分。在一些实施例中，利用像素混合模式将模板光源发出光的颜色与光照射在无背景用户舞蹈视频部分的颜色进行混合渲染处理。

另外，光源根据光线阻挡的轮廓，在地面上产生相应形状的阴影。举例而言，光源发出方向光线照射在用户身上，观众会看到环境中有明亮部分和阴影部分，使得整个环境更加立体真实。其中，光源的数量增加一个，产生阴影会增加一倍；多个无背景用户舞蹈视频会产生多个阴影。

在一些实施例中，利用模板光源的配置信息和/或无背景用户舞蹈视频的组合方式模拟多个无背景用户舞蹈视频中的用户阴影；将多个无背景用户舞蹈视频中的用户阴影生成阴影图层；以及将阴影图层与多个无背景用户舞蹈视频和背景模板叠加合成。其中，叠加混合处理多个模板光源和/或多个无背景用户舞蹈视频生成的用户阴影产生叠加部分的颜色。本申请针对多个光线的叠加和多个阴影部分的叠加进行叠加混合处理，使得整个环境光线明暗明显，营造一个非常真实的舞蹈环境，提高用户的使用体验。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims (20)

1.一种移动端生成明暗环境适配舞蹈视频的方法，包括：

根据纯色背景下的用户视频，确定用户视频光源的信息；

根据用户选择的舞队模板，确定模板光源的配置信息；

修改用户视频光源的信息或者模板光源的配置信息；以及

将舞队模板和无背景用户舞蹈视频组合。

2.根据权利要求1所述的方法，进一步包括：

采集纯色背景下用户视频中多个纯色背景的像素点；

利用深度学习中的神经网络模型分析多个纯色背景的像素点确定多条光路；以及

基于经确定的多条光路确定用户视频光源的信息。

3.根据权利要求1所述的方法，其中，将模板光源的配置信息与用户视频光源的信息保持一致；其中所述配置信息包括：位置、颜色、亮度和动态效果中的一者或多者。

4.根据权利要求3所述的方法，其中，响应于模板光源的位置变化修改无背景用户舞蹈视频中用户身体的明暗变化。

5.根据权利要求1所述的方法，其中，基于舞蹈视频的伴奏修改模板光源的配置信息。

6.根据权利要求1所述的方法，其中，基于移动端系统时间修改模板光源的配置信息。

7.根据权利要求1所述的方法，进一步包括：利用模板光源的配置信息和无背景用户舞蹈视频的组合方式模拟多个无背景用户舞蹈视频中的用户阴影。

8.根据权利要求7所述的方法，进一步包括：将多个无背景用户舞蹈视频中的用户阴影生成阴影图层；以及将阴影图层与多个无背景用户舞蹈视频和/或背景模板叠加合成。

9.根据权利要求8所述的方法，其中叠加混合处理多个模板光源和/或多个无背景用户舞蹈视频生成的用户阴影产生叠加部分的颜色。

10.根据权利要求1所述的方法，其中利用像素混合模式将模板光源发出光的颜色与光照射在无背景用户舞蹈视频部分的颜色进行混合渲染处理。

11.根据权利要求1所述的方法，其中模板光源发出的光为方向光。

12.一种移动端，包括：

摄像模块，其经配置以获取纯色背景下的用户视频；

交互模块，其经配置以响应于用户操作，选择舞队模板；

视频处理模块，其经配置根据纯色背景下的用户视频，确定用户视频光源的信息；根据用户选择的舞队模板，确定模板光源的配置信息；修改用户视频光源的信息或者模板光源的配置信息；以及将舞队模板和无背景用户舞蹈视频组合。

13.根据权利要求12所述的移动端，其中视频处理模块包括：

模板提供单元，其经配置以提供多个背景模板和/或舞队模板；

视频抠图单元，其经配置基于来自摄像模块的纯色背景下的用户视频获取无背景的用户舞蹈视频；以及

视频合成单元，其经配置以利用背景模板、舞队模板与无背景的用户舞蹈视频获得合成舞蹈视频。

14.根据权利要求13所述的移动端，视频处理模块经配置采集纯色背景下用户视频中多个纯色背景的像素点；利用深度学习中的神经网络模型分析多个纯色背景的像素点确定多条光路；以及基于经确定的多条光路确定用户视频光源的信息。

15.根据权利要求14所述的移动端，其中，响应于模板光源的位置变化修改无背景用户舞蹈视频中用户身体的明暗变化。

16.根据权利要求12所述的移动端，基于舞蹈视频的伴奏修改模板光源的配置信息。

17.根据权利要求12所述的移动端，基于移动端系统时间修改模板光源的配置信息。

18.根据权利要求12所述的移动端，视频处理模块经配置利用模板光源的信息和无背景用户舞蹈视频的组合方式模拟多个无背景用户舞蹈视频中的用户阴影。

19.根据权利要求18所述的移动端，进一步包括：将多个无背景用户舞蹈视频中的用户阴影生成阴影图层；以及将阴影图层与多个无背景用户舞蹈视频和/或背景模板叠加合成。

20.根据权利要求19所述的移动端，其中叠加混合处理多个模板光源和/或多个无背景用户舞蹈视频生成的用户阴影产生叠加部分的颜色。

Images