CN115953543A - 一种逐像素含时序拟物一致性处理的方法及装置 - Google Patents

Abstract

本发明实施例提供一种逐像素含时序拟物一致性处理的方法及装置，该方法包括：获取原始视频图像中的特征数据；根据特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；根据特征数据获取原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；将第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；对第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图；对第三特征图进行三维空间光照变化的重建；根据像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像。该方法能够快速的合成准确的图像。

Description

一种逐像素含时序拟物一致性处理的方法及装置

技术领域

本发明涉及影视制作领域，具体地涉及一种逐像素含时序拟物一致性处理的方法及装置。

背景技术

传统的图像分割通常采用两个图层叠加的方式，例如将前景和后景分割，再将该前景与所需要的后景拼接起来。该方法主要通过吸取画面中的某一种颜色作为透明色，将它从画面中抠去，使背景透出来，最终叠加合成具有两个图层的画面。该方法合成的图像生硬，不能准确的处理图像。

发明内容

本发明实施例的目的是提供一种逐像素含时序拟物一致性处理的方法及装置，该方法能够快速的合成准确的图像。

为了实现上述目的，本发明实施例提供一种逐像素含时序拟物一致性处理的方法，该方法包括：获取原始视频图像中的特征数据；根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息；对所述第三特征图进行三维空间光照变化的重建；根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像。

可选的，所述特征数据为时间编码、源格式、像素中的至少一种。

可选的，所述对所述第三特征图进行三维空间光照变化的重建，包括：获取所述第三特征图的图像信息、空间结构信息；根据所述图像信息、空间结构信息对所述第三特征图进行三维空间光照变化的重建，使得三维空间光照下物体的背光面有明暗变化。

可选的，所述根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像，包括：通过AI渲染管道对所述像素特征分布图进行AI渲染和色彩修正，根据所述第三特征图像素的空间分布信息对所述第三特征图进行逐像素替换。

所述色彩修正为修正图像的亮度水平、对比度、饱和股、锐度、明度、色相中的至少一种。

另一方面，本发明提供一种逐像素含时序拟物一致性处理的装置，该装置包括：第一获取模块，用于获取原始视频图像中的特征数据；第二获取模块，用于根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；第三获取模块，用于根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；第一处理模块，用于将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；第二处理模块，用于对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息；第三处理模块，用于对所述第三特征图进行三维空间光照变化的重建；第四处理模块，用于根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像。

可选的，所述特征数据为时间编码、源格式、像素中的至少一种。

可选的，所述对所述第三特征图进行三维空间光照变化的重建，包括：获取所述第三特征图的图像信息、空间结构信息；根据所述图像信息、空间结构信息对所述第三特征图进行三维空间光照变化的重建，使得三维空间光照下物体的背光面有明暗变化。

可选的，所述根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像，包括：通过AI渲染管道对所述像素特征分布图进行AI渲染和色彩修正，根据所述第三特征图像素的空间分布数据信息对所述第三特征图进行逐像素替换。

可选的，所述色彩修正为修正图像的亮度水平、对比度、饱和股、锐度、明度、色相中的至少一种。

本发明的一种逐像素含时序拟物一致性处理的方法包括：获取原始视频图像中的特征数据；根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息；对所述第三特征图进行三维空间光照变化的重建；根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像。本发明通过对三个特征图层进行时序拟物分析及光照重建，快速准确的获取最终合成图像。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明的一种逐像素含时序拟物一致性处理的方法的流程示意图；

图2是本发明的一种逐像素含时序拟物一致性处理的方法的具体实施例示意图；

图3是本发明的一种蒙版画面的示意图；

图4是本发明的一种目标物体影子的蒙版画面的示意图；

图5是本发明的渲染通道逐像素渲染的示意图；

图6是本发明的感应互动变换前景和后景示意图；

图7是本发明的逐像素光照的示意图；

图8是本发明的时序拟物分析示意图；

图9是本发明的像素转变的示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1是本发明的一种逐像素含时序拟物一致性处理的方法的流程示意图，如图1所示，本发明的一种逐像素含时序拟物一致性处理的方法包括以下步骤：

步骤S101为获取原始视频图像中的特征数据。优选的，所述特征数据为时间编码、源格式、像素、类型、大小、占用空间、频道、帧速率、比特率、采样频率、帧宽度、帧高度、数据速率、总比特率等信息中的至少一种。所述时间编码是摄像机在记录图像信号的时候，针对每一幅图像记录的关于时间的编码，主要应用于流的数字信号。该数字信号为视频中的每个帧都分配一个数字，以表示小时、分钟、秒钟、帧数。本申请对所有图像输入源进行识别，识别出每一帧图像的时间编码，并且识别图像的所有数字信息。按照一种优选的实施方式，本发明采用自适应层识别输入源，具体的，摄像机在记录图像信号的时候，针对每一幅图像记录的时间编码获取一种流的数字信号（数字信号为视频中的每个帧都分配一个数字，以表示小时、分钟、秒钟、帧数）。本申请还对输入源中所有物体进行分类，以保证数据适合各种信道和存储介质上的传输。

步骤S102为根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图。所述目标物体可以是根据需求需要分离的目标物体（包括人或者物体）。目标物体包括同一物体的不同个体，个体可以有一个或者很多个。

蒙版是合成图像的重要工具，使用它可在不破坏原始图像基础上实现特殊的图层叠加效果。蒙版具有保护、隔离的功能，就是一种遮罩，将图像中不需要编辑的图像区域进行保护。输入源之前的图像统称为前景层，输入源之后的图像统称为后景层。

步骤S103为根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图。所述第二特征图类似于目标物体的影子区域，所述第二特征图即为影子的抠图。

步骤S104为将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图。所述需替换的后景图像为根据影片需求替换的后景图像。所述三维渲染引擎用于通过结构和像素之间的分布关系，映射出网格体和渲染效果，即将真实世界在虚拟世界中的三维关系的映射。

步骤S105为对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息。具体的，所述时序拟物分析通过算法来学习像素转变的过程，在目标物体移动的过程中，感应对目标物体的移动做出像素转换，每个像素必须经过的转变表达变化序列，感应识别像素表达转化的整体“轨迹”，得到将每个像素放置在轨迹中的适当位置的数据信息。

步骤S106为对所述第三特征图进行三维空间光照变化的重建。按照一种具体的实施方式，所述对所述第三特征图进行三维空间光照变化的重建，包括：获取所述第三特征图的图像信息、空间结构信息；根据所述图像信息、空间结构信息对所述第三特征图进行三维空间光照变化的重建，使得三维空间光照下物体的背光面有明暗变化。

步骤S107为根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像。按照一种具体的实施方式，所述根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像，包括：通过AI渲染管道对所述像素特征分布图进行AI渲染和色彩修正，根据所述第三特征图像素的空间分布信息对所述第三特征图进行逐像素替换。所述色彩修正为修正图像的亮度水平和对比度。所述亮度也称灰阶值、照度，是不同权重的R、G、B的组合值。亮度即辐射的能量，不同颜色的像素有不同的Y值，亮度信号可用来传送黑白图像。

图2是本发明的一种逐像素含时序拟物一致性处理的方法的具体实施例示意图，如图2所示，首先将目标输入源的图像数据信息（即原始视频图像中的特征数据）传输到自适应层。自适应层是指在整个系统的框架，包括视频编码层面和网络抽象层面。其中，所述视频编码层面负责有效表示视频数据的内容，所述网络抽象层面则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。

本申请还可以将自适应层的整个系统框架分为三个层面，包括视频编码层和网络抽象层以及过渡层。自适应层将会识别出每一帧图像的时间编码，识别输入源的所有数据信息。时间编码是摄像机在记录图像信号的时候，针对每一幅图像记录的时间编码，是一种应用于流的数字信号。该数字信号为视频中的每个帧都分配一个数字，以表示小时、分钟、秒钟、帧数。本申请对源层的所有图像进行识别，识别出每一帧图像的时间编码，没有时间编码时，AI模块会自动输入参考。自适应层也会识别出目标输入源的源格式，判别是否有辅助信息，若是没有则使用默认的设定。

所述AI模块通常采用基于梯度的算法，例如最小均方误差法算法和最小二乘方法及最大信噪比准则。本申请还通过AI模块进行性能跟踪，例如对信道时变统计特性的自适应能力(信道是指信息通道，是数据传输的通路，信道分为物理信道和逻辑信道，不同的信道功能不同）。

所述最小均方误差法为：

，

其中，MSE为最小均方误差，n为样本数量，

为真实值，

为预测值，

所述最小二乘法为：

，

其中，minf(x)为最小二乘法的最小值；

称为残差函数，

（i，2,3,...,k）；

最小值的参数，

（i，2,3,...,k）;

为真实值，

（i，2,3,...,k）；

为最优估值。

权值衰减与基于梯度的更新解耦：其中，权值θ的指数衰减为

，

为衰减指数；

是第t批的梯度；α为学习率；λ定义了每一步的权重衰减率。

所述AI模块接收自适应层和感应层的数据信息，通过AI模块的多种算法和实时计算的得到的数据信息，AI模块将数据信息传输到自适应层和感应层，自适应层和感应层会根据目标输入源的特征数据做出相应的调整。感应层框架会对第一特征图和第二特征图进行感应。（第一特征图是指主体框架，对主要目标物体的提取和处理的框架，第二特征图是指投影框架，是第一特征图中主体的投影。）感应层是指互动感应技术，识别目标物体的动作变化，目标物体在本文中是根据需求分离的物体，包括人或者目标物体。目标物体包括同一物体的不同个体，个体可以有一个或者很多个。

对前景和后景的变化进行互动感应(前景部分为需要分离出的部分图像区域，后景部分为除目标物体外的其他部分图像区域)。色彩感知是指通过一系列物理反应和化学反应，使观众得看到符合视觉系统的颜色。色彩感知过程几乎完全在人的大脑中，本文中的AI模块是模拟人脑视觉神经系统，包含对光做出反应的装置，以便于AI模块可以快速的处理，能够分辨分辨的颜色数量差异很大，能感知到百万种颜色的能力，自动调节感知范围。

预处理层（即预处理框架）的主要功能是对图像中的像素处理，对图像中的每个像素逐个进行处理。该处理至少包括白化。白化的目的是通过控制图像的平均亮度水平和对比度实现图像波动的恒定性，具体的，如图9所示，图像白化主要是为视频图像对于过渡曝光或者低曝光的视频图像进行处理，减少光线对数据的动态影响，以便于来实现每个像素进行转换。

预处理层进行动态分配，包括动态接收区、上采样恢复参数及下采样参数，得到两个处理模型Alpha。如图3和图4所示。Alpha是指一张图片的透明度和半透明度。本申请的Alpha通道中可以将任意区存储为蒙版、对编辑Alpha通道、添加或删除其中的颜色及设置蒙版颜色和不透明度，即制作透明效果。一般Alpha值取0~1之间。Alpha通道值设为0，在这个范围之外的像素作为前景，相应的Alpha通道值设为1。本申请设定一定的过渡颜色范围，使得前景物体上不包含所选的后景颜色，该颜色范围可以为0~1Z，即半透明。通常这种半透明部分出现前景物体边缘，半透明部分对合成的质量非常重要。因此添加一个过渡层，使得合成显得不再生硬。使得边缘融合的效果达到最佳，前景边缘的柔和度，柔和度值越高，前景边缘越柔和，使得前景与后景的融合之后融合的越完美。传统的剔除后景模式下获取的前景会产生不协调边缘，使得前景与融合后景融合时出现不协调边缘，显得融合画面不真实。本申请的边缘融合分为多层融合和景深融合，辅助多层融合，实现景深一致性。

根据虚拟现实需求，可以将任意区域存储为蒙版，如图3所示，选择目标物体，将选择区域与背景区域存储为蒙版画面，得到第一特征图B。第一特征图是在合成层产生的。合成层在本文中是指合成目标输入源和Alpha以及非渲染层主体。现有的合成是通过两个图层进行叠加，例如将目标输入源的图层与Alpha结合。而本申请采用多个图层叠加与感应层联合，使得实时对前景和后景的变换做出正确的分析判断，并且完成前后景的变换，使得多图层图像融合。

本申请的合成层是三维渲染引擎中的立体概念，不具备层的概念，属于在模拟真实的物理事件时，通过结构和像素之间的分布关系，映射出网格体和渲染效果，即真实世界在虚拟世界中的三维关系的映射。本申请中前景层和背景层是两个三维物体组成的坐标系世界，这两个坐标系世界有各自的网格体材质和图像组成。

图4是本发明的一种目标物体影子的蒙版画面的示意图，如图4所示，自适应层和感应层可以选择将图A中人物的影子作为新的目标物体进行选择区域，将选择区域转换为B0的第二特征图。

预处理层处理后的图像动态分配到处理模型Alpha和Alpha1，Alpha通道就是记录透明度信息的一种特殊图层。先有Alpha1通道，后加的蒙版，用来存储选区的；所以本申请的Alpha1通道和存储透明度本质是一样的。将得到的Alpha和Alpha1的数据信息传输到合成层，然后目标输入源与Alpha1和非主体渲染层合成。AI模块和感应层会实时自动识别图像，其中三个图层的顺序可以自由切换，实现图像的层次空间（模拟重建的三维空间）。

如图5所示，渲染pass（通道）包括将识别目标输入源得到的数据信息，在渲染pass通道和AI模块结合来渲染，渲染采用逐像素的方法来实现。如图5中的C图所示，预处理层对目标物体的头发丝做处理，利用AI模块计算和自适应层识别到的视频图像数据信息，采用最小二乘优化算法和自适应梯度算法等计算对目标物体的发丝做处理，得到第三特征合成图（第一特征图与第二特征图与需求背景进行自适应叠加处理），如图6所示。源又称为目标输入源，本申请中指外部输入源，序列帧动画，渲染视频、渲染目标等。

本申请中渲染pass（通道）具有输入和输出的渲染工作逻辑分组，包括接收输入数据，对其进行一系列计算等。计算可以包括自适应梯度算法、解耦权值衰减正则化算法、分布式SGD下的自适应梯度量化算法及阿尔法通道的图像中的任意一点的像素值的计算等。在三维管线中，每一个管线负责一个独立的渲染，每一个独立渲染又分成了多个通道，每一个通道被称为pass（通道）。

对图像中的每个像素逐个进行处理。在识别图像时和预处理改变图像时得到第三特征图的像素分布图，就会很快的对图像中每个像素进行逐像素处理。首先一幅图像最终成像会受环境照明强度、物体反射、拍摄相机等多因素的影响。为了能获得图像中包含的那些不受外界影响的恒定信息，需要对图像进行白化处理。白化处理在预处理层进行处理。白化的目的是去除输入数据的冗余信息。白化的目的是要为图像的平均亮度水平和对比度提供波动的恒定性。AI模块和预处理层对白化进行处理，实现对视频图像的逐像素变换，其中每个像素进行转换。

图7是本发明的逐像素光照的示意图，如图7所示，逐像素时序拟物实现包括预处理层的上采样，上采样相当于做了一个均值池化的反操作，只保留了低频信息，生成的图像比较平滑，包括模糊的纹理。然后通过下采样缩小图像，减少矩阵的采样点数，减少资源消耗。根据半透镜反射光处理的方法，反射光的光强与反射点的法向量和入射光角度有关。例如光照会产生漫反射，漫反射颜色在平面某点漫反射光的光强与该反射点的法向量和入射光角度的余弦值成正比。本申请采用光照渲染，逐像素时序拟物一致性处理。AI模块得到光照的内置变量（包括顶点着色器和各种视点光源着色器），采用逐光源点光照来改变像素。同理处理其他光反射。

所述AI模块会将自适应层识别到的视频图像数据信息，AI模块会将所有的光照计算都放在世界空间下，然后将世界空间转换为视频图像的格式。这样背光面也会有明暗变化。

漫反射公式：

，大多数情况下α，β都为0.5；

代表漫反射被物体表面随机散射到各个方向的光线；

代表光源颜色；α代表缩放的倍数；β代表大小的偏移；n代表世界坐标系下的法线；I代表世界坐标系下的光源方向，

表示材质的漫反射颜色。

通过以上的处理，渲染主体层会对Alpha1和Alpha和背景进行渲染，第二特征图和第三特征图进行渲染，及其表面处理，对表面模糊、稳定值、扩展、羽化进行处理。对第二特征图和第三特征图的色相、饱和度、g通道、b通道、r通道、明度、亮度等进行处理。现有的剔除后景过程中把整体图像上的一部分颜色剔除了，会出现图像模糊、清晰度降低的现象。所述色相是色彩的基础属性，它表示了颜色在色环上的角度。所述饱和度指色彩的鲜艳程度或纯洁程度，饱和度越高色彩越纯，饱和度低则逐渐变灰，所述饱和度的取值范围为0-100%。本申请通过AI模块将蒙版画面转化为灰度世界空间，其中调整饱和度为在渲染pass通道中进行逐像素光照和逐像素着色。

本申请中预处理层对图像进行修正、合成，使得整个画面和谐，侧重画面色调统一、换面冷暖分明。

本申请会修复模糊的图像，即在渲染主体层对图像的表面进行处理时，将整体图像模糊的部分的进行修正及渲染。阴影合成图是将第一特征图和第二特征图与源进行合成，称为第三特征合成图。将两个三维物体组成的坐标系世界空间，这两个坐标系世界空间有各自的网格体材质和图像组成。模拟真实的物理事件，通过结构和像素之间的分布关系，映射出网格体和渲染效果，即真实世界在虚拟世界中的三维关系的映射。

本申请还采用逐像素时序拟物的方法来对合成的图片进行渲染的到阴影合成图，再对合成图进行渲染得到最终合成图。

图8是本发明的时序拟物分析示意图，对单个像素进行排序能够轻松地进行排序和调整。如图8所示，对像素排序后在二维空间中的轨迹，横纵坐标分别为两个主成分，图中每个圆点代表一个像素，图中黑色的圈内的数字代表轨迹分析中确定不同像素状态的节点。图8的左图中不同颜色代表了不同像素，图8的右图中的颜色由深到浅为拟时间的顺序。通过构建像素间变化轨迹预测像素随时间的变化，模拟时间的像素序列的分析，时序中像素发生的变化，像素本身存在拟时序变化，像素存在变化的即可做拟时序分析。确定起始点获得特征转变重新计算或者编码来转变像素的轨迹，来预测像素变化的趋势。

如图8所示，一个视频是由无数幅图像组成，所述AI模块对一幅图像的目标物体的运动特征做出识别，感应目标物体将要发生的改变，目标物体就会产生一个轨迹。视频画面发生改变的本质是像素发生改变。时序拟物分析单元是在分析像素发生改变而生成的轨迹。时序拟物分析单元是通过给算法来学习像素转变的过程，在目标物体移动的过程中，感应层会对目标物体的移动做出像素转换，每个像素必须经过的转变表达变化序列，感应层识别像素表达转化的整体“轨迹”，时序拟物分析单元就可以得到将每个像素放置在轨迹中的适当位置的数据信息。

所述AI模块和时序拟物分析单元和数据库单元将进行交互使得识别和处理一幅图像实现对整段视频图像的处理。通过构建像素间变化轨迹预测像素随时间的变化，模拟时间的像素序列的分析，时序中像素发生的变化，像素本身存在拟时序变化，像素存在变化的即可做拟时序分析。通过确定起始点获得特征转变重新计算，及编码来转变像素的轨迹。通过像素的轨迹来预测像素变化的趋势，并将实际像素的轨迹特征训练出来，来实现对视频图像的合成和逐像素拟物处理。世界空间下的像素都转换到了世界空间，随着关照或者像素轨迹的改变，目标输入源的像素将会根据轨迹特征而发生改变，然后将世界空间转换为视频图像的格式，从而实现虚拟现实的视频合成交互。

本发明还提供一种逐像素含时序拟物一致性处理的装置，包括：第一获取模块，用于获取原始视频图像中的特征数据；第二获取模块，用于根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；第三获取模块，用于根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；第一处理模块，用于将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；第二处理模块，用于对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息；第三处理模块，用于对所述第三特征图进行三维空间光照变化的重建；第四处理模块，用于根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像。该装置精确的处理图像分割的过程中的对比度、亮度、饱和度、伽马、溢色强度、强度、中灰偏差、阴影细节等图像分割数据参数，在影视、图像重建、数字修复等领域有重大意义。而且AI模块可以快速感知百万种颜色，自动调节感知范围。

本发明的一种逐像素含时序拟物一致性处理的方法包括：获取原始视频图像中的特征数据；根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息；对所述第三特征图进行三维空间光照变化的重建；根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像。本发明通过对三个特征图层进行时序拟物分析及光照重建，快速准确的获取最终合成图像。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种逐像素含时序拟物一致性处理的方法，其特征在于，该方法包括：

获取原始视频图像中的特征数据；

根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；

根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；

将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；

对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息；

对所述第三特征图进行三维空间光照变化的重建；

根据所述像素特征分布图对重建后的所述第三特征图进行渲染得到最终效果图像。

2.根据权利要求1所述的方法，其特征在于，

所述特征数据为时间编码、源格式、像素中的至少一种。

3.根据权利要求1所述的方法，其特征在于，所述对所述第三特征图进行三维空间光照变化的重建，包括：

获取所述第三特征图的图像信息、空间结构信息；

根据所述图像信息、空间结构信息对所述第三特征图进行三维空间光照变化的重建，使得三维空间光照下物体的背光面有明暗变化。

4.根据权利要求1所述的方法，其特征在于，所述根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像，包括：

通过AI渲染管道对所述像素特征分布图进行AI渲染和色彩修正，

根据所述第三特征图像素的空间分布信息对所述第三特征图进行逐像素替换。

5.根据权利要求4所述的方法，其特征在于，

所述色彩修正为修正图像的亮度水平、对比度、饱和股、锐度、明度、色相中的至少一种。

6.一种逐像素含时序拟物一致性处理的装置，其特征在于，该装置包括：

第一获取模块，用于获取原始视频图像中的特征数据；

第二获取模块，用于根据所述特征数据获取所述原始视频图像中目标物体的前景部分的蒙版画面，得到第一特征图；

第三获取模块，用于根据所述特征数据获取所述原始视频图像中目标物体的后景部分的蒙版画面，得到第二特征图；

第一处理模块，用于将所述第一特征图、第二特征图和需替换的后景图像在三维渲染引擎中进行合成，得到第三特征图；

第二处理模块，用于对所述第三特征图进行时序拟物分析得到所述第三特征图的像素特征分布图，所述时序拟物分析为根据所述第三特征图中像素的变化轨迹得到所述第三特征图像素的空间分布信息；

第三处理模块，用于对所述第三特征图进行三维空间光照变化的重建；

第四处理模块，用于根据所述像素特征分布图对重建后的所述第三特征图进行渲染得到最终效果图像。

7.根据权利要求6所述的装置，其特征在于，

所述特征数据为时间编码、源格式、像素中的至少一种。

8.根据权利要求6所述的装置，其特征在于，所述对所述第三特征图进行三维空间光照变化的重建，包括：

获取所述第三特征图的图像信息、空间结构信息；

根据所述图像信息、空间结构信息对所述第三特征图进行三维空间光照变化的重建，使得三维空间光照下物体的背光面有明暗变化。

9.根据权利要求6所述的装置，其特征在于，所述根据所述像素特征分布图对所述重建后的第三特征图进行渲染得到最终效果图像，包括：

通过AI渲染管道对所述像素特征分布图进行AI渲染和色彩修正，

根据所述第三特征图像素的空间分布数据信息对所述第三特征图进行逐像素替换。

10.根据权利要求9所述的装置，其特征在于，

所述色彩修正为修正图像的亮度水平、对比度、饱和股、锐度、明度、色相中的至少一种。

Images