CN115578499B - 一种非对称色彩失调一致性的拟合重建的方法及装置 - Google Patents

Abstract

本发明实施例提供一种非对称色彩失调一致性的拟合重建的方法及装置，属于图像重构领域，所述方法包括：获取受损图像，受损图像为非对称色彩失调的图像；对受损图像进行模糊估计，确定受损图像中的受损区域；建立三维空间，三维空间中设置虚拟摄像机；将受损图像设于所述三维空间中，通过虚拟摄像机对受损图像进行多角度拍摄得到多个拍摄图像，拍摄图像至少延迟一帧；对拍摄图像进行实时双向渲染，得到最终图像源。该方法减少了图像的色彩偏差，实现了正常接收场景的物理反馈，实现了二维图像世界与三维图像世界的交互，及图像之间的融合互动。

Description

一种非对称色彩失调一致性的拟合重建的方法及装置

技术领域

本发明涉及图像重构领域，具体地涉及一种非对称色彩失调一致性的拟合重建的方法及装置。

背景技术

随着元宇宙概念的推出，虚拟世界和真实世界的交互变得格外重要，面向于虚实交互的技术成为视听领域的核心技术。在传统技术中，虚实交互依靠大量的后期制作。由于色彩空间上存在着多种类型，在实时渲染管线中，对二维物体附着在三维物体中显示出图像的处理方法并不友好，具体体现为对同一个图像源进行处理后出现的非对称色彩失调，如画质下降，亮部、暗部、中部色彩变色明显，伽玛失衡等。而且大量的渲染渲染管线主要是面向三维数字的渲染，对二维图像的处理通常会另辟一个渲染管道出来进行二维处理，这样会增加计算机的开销，从而降低实时性，尤其在是4k、8k普及的的今天，想要实时去处理多路图像，开辟渲染管道的方式会严重影响图像的实时性和工作效率。

现有技术还会通过对图像的二次反向处理，但由于在最新的3Dlut 中，图像的处理是非线性的，其只能进行点状拟合，对图像的还原并不精准。而且对于同一个图像在每一帧都反向计算会产生大量开销，所以该方式并不适用于高精度实时计算。现有技术大部是取用多层分离的处理方式，图像源是一个独立的管道，其他的分为另一支管道，属于多支管道并行，例如现在的虚拟演播室，虚拟直播间等。这样虽然减少了图像的色彩失调，但是却无法与虚拟场景本身发生自然互动，其通常所见互动均为提前预设或由人工干预。

发明内容

本发明实施例的目的是提供一种非对称色彩失调一致性的拟合重建的方法及装置，该方法减少了图像的色彩偏差，实现了正常接收场景的物理反馈，及图像之间的融合互动。

为了实现上述目的，本发明实施例提供一种非对称色彩失调一致性的拟合重建的方法，所述方法包括：获取受损图像，所述受损图像为非对称色彩失调的图像；对所述受损图像进行模糊估计，确定所述受损图像中的受损区域；建立三维空间，所述三维空间中设置虚拟摄像机；将所述受损图像设于所述三维空间中，通过所述虚拟摄像机对所述受损图像进行多角度拍摄得到多个拍摄图像，所述拍摄图像至少延迟一帧；对所述拍摄图像进行实时双向渲染，得到最终图像源，其中，所述双向渲染包括前向渲染和后向渲染；所述前向渲染为对所述拍摄图像进行拟合得到第一类图像；所述后向渲染为根据所述第一类图像对所述受损图像中的受损区域进行反向拟合得到最终图像源。

可选的，所述对所述受损图像进行模糊估计，确定所述受损图像中的受损区域，包括：利用AI分析识别受损图像中的物体，根据所述物体的形状和颜色确定所述物体的类别；根据所述物体的类别和AI分析来确定所述物体是否为受损区域。

可选的，所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，包括：根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线；根据所述运动特性曲线确定所述拍摄图像与参考图像的拟合参数；对满足要求的拟合参数进行感知融合得到所述第一类图像，所述感知融合通过AI辅助实现。

可选的，所述根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线，包括：渲染所述拍摄图像与参考图像中的各个序列帧，依次融合所述序列帧得到所述运动特性曲线。

可选的，所述根据所述第一类图像对所述受损图像中的受损区域进行反向拟合，用于改变受损图像的非对称色彩失调的部分；所述反向拟合包括对每一个光源以逐像素方式进行延迟着色。

另一方面，本发明提供一种非对称色彩失调一致性的拟合重建的装置，所述装置包括：获取模块，用于获取受损图像，所述受损图像为非对称色彩失调的图像；确认模块，用于通过对所述受损图像进行模糊估计，确定所述受损图像中的受损区域；拟合重建模块，用于建立三维空间，所述三维空间中设置虚拟摄像机；将所述受损图像设于所述三维空间中，通过所述虚拟摄像机对所述受损图像进行多角度拍摄，得到多个拍摄图像，所述拍摄图像至少延迟一帧；以及，对所述拍摄图像进行实时双向渲染，得到最终图像源，其中，所述双向渲染包括前向渲染和后向渲染，所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，所述后向渲染为根据所述第一类图像对所述受损图像中的受损区域进行反向拟合得到最终图像源。

可选的，所述通过对所述受损图像进行模糊估计，确定所述受损图像中的受损区域，包括：利用AI分析识别受损图像中的物体，根据所述物体的形状和颜色确定所述物体的类别；根据所述物体的类别和AI分析来确定所述物体是否为受损区域。

可选的，所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，包括：根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线；根据所述运动特性曲线确定所述拍摄图像与参考图像的拟合参数；对满足要求的拟合参数进行感知融合得到所述第一类图像，所述感知融合通过AI辅助实现。

可选的，所述根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线，包括：渲染所述拍摄图像与参考图像中的各个序列帧，依次融合所述序列帧得到所述运动特性曲线。

可选的，所述根据所述第一类图像对所述受损图像中的受损区域进行反向拟合，用于改变受损图像的非对称色彩失调的部分；所述反向拟合包括对每一个光源以逐像素方式进行延迟着色。

本发明的一种非对称色彩失调一致性的拟合重建的方法，所述方法包括：获取受损图像，所述受损图像为非对称色彩失调的图像；对所述受损图像进行模糊估计，确定所述受损图像中的受损区域；建立三维空间，所述三维空间中设置虚拟摄像机；将所述受损图像设于所述三维空间中，通过所述虚拟摄像机对所述受损图像进行多角度拍摄得到多个拍摄图像，所述拍摄图像至少延迟一帧；对所述拍摄图像进行实时双向渲染，得到最终图像源，其中，所述双向渲染包括前向渲染和后向渲染；所述前向渲染为对所述拍摄图像进行拟合得到第一类图像；所述后向渲染为根据所述第一类图像对所述受损图像中的受损区域进行反向拟合得到最终图像源。该方法将受损图像作为标记物体在三维空间中移动，通过采用模糊估计、一致性拟合重建及感知跳跃式虚拟渲染等技术实现反拟合重建，减少了图像的色彩偏差，实现了正常接收场景的物理反馈，三维图像世界与二维图像世界的交互及图像之间的融合互动。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1和图2是本发明的一种非对称色彩失调一致性的拟合重建的方法的流程示意图；

图3是现有的模糊估计和本发明的模糊估计的对比示意图；

图4是本发明的建立虚拟摄像机的示意图；

图5为本发明的神经网络模型确定图像立体模型的示意图；

图6是本发明的卷积局部连接示意图；

图7和图8是本发明的实时双向渲染流程的示意图；

图9是本发明的图像改变对应像素改变的示意图；

图10是本发明的对称色彩失调和非对称色彩失调的示意图；

图11是本发明的渲染管道着色的示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1和图2是本发明的一种非对称色彩失调一致性的拟合重建的方法的流程示意图，如图2所示，所述方法包括将受损的图像进行识别；模糊估计；AI模块分析出受损图像的受损区域像素发生改变的区域；将受损图像作为物体融合在三维世界中；虚拟摄像机在三维空间中各种视角进行拍摄；获得多幅新的拍摄图像，该图像作为物体在三维空间中的场景画面融合并在空间中移动；虚拟摄像机在拍摄过程中得到多个拍摄图像，所述拍摄图像至修复受损图像的受损区域至少延迟一帧；受损图像物体在场景中移动时，AI模块将会为受损图像的受损区域像素发生改变的部分自动匹配合适的lut（显示查找表Look-Up-Table）。

具体的，如图1所示，步骤S101为获取受损图像，所述受损图像为非对称色彩失调的图像，所述非对称色彩失调的图像为简单的套lut减lut无法还原的图像，具体的，所述受损图像为非对称色彩失调后的图像。图像是由像素组成，像素是图像的最小单位，图像由成千上万的像素组成一幅图像。一幅的图像加lut（显示查找表Look-Up-Table）的改变，不会改变图像的大小，图像的像素值是也是固定的。一幅图像的改变，是这幅图像像素的颜色发生改变。图像的排列位置也是固定的，像素点的排列位置是固定的，单独的像素点不能随意移动。如果移动像素点将会对整幅图像造成完全的破坏，像素的相对位置改变了，原始图像也被破坏了。对称色彩失调的图像就是图像中的像素改变是以线性函数的关系发生改变，能用简单的函数计算还原出图像源，而非对称色彩失调的图像像素是以非线性函数的关系发生改变。所以当受损图像的受损区域的像素呈非线性函数的运动变化轨迹变化时，这幅图像就被破坏了。所述图像源为图片、视频流等。

步骤S102为对所述受损图像进行模糊估计，确定受损图像中所有组织物体的类别，及确定所述受损图像中的受损区域。所述模糊估计为人工智能的图像识别和检测的范畴。具体的，所述对所述模块对受损图像进行模糊估计，确定所述受损图像中的受损区域，包括：利用AI分析识别受损图像中的物体，根据所述类别从数据库中对比分析，基于神经网络渲染管线查找权重参数对图像深度处理，获取相似度为百分百的参考图像。根据所述物体的形状和颜色确定所述物体的类别；根据所述类别从数据库中对比分析，基于神经网络渲染管线和多拟态多并行的方式查找权重参数对图像深度处理，获取相似度为百分之九十九以上的参考图像。根据所述受损图像中的物体的类别和AI辅助来确定所述物体是否为受损区域。

在传统的图像数学线性计算中，图像识别（模糊估计）是根据一个点采样，向周边进行扩散，根据一定的规则进行区域化处理，其最小的单位为像素，依托于像素的组合，再与数据库对比得出权重，用于确定指定范围内的物体是什么。现有技术方法造成了每个像素成千上的计算，造成了极大的资源消耗。

而在本发明的模糊估计属于图像识别的范畴，属于人工智能图像语义分割范畴。本发明的模糊估计通过多拟态交叉神经网络进行小模型，多次并行的估计方法，采用多对抗方式进行权重筛选，更好地在估计范畴符合人类的常识，实现类似人的理解方式去理解图像，从而对估计的结果更接近人工所呈现的效果。例如人工智能的“红色的苹果”，而不是红色的像素块组成了苹果的形状，属于定规则的数学型估计法。

图3是现有的模糊估计和本发明的模糊估计的对比示意图，如图3所示，现有的图像数学线性计算和图像识别（模糊估计）都是按点采样、向四周发散、按某种规则区域化，这时最小单元就是像素，依靠像素组合、然后和数据库比较、求出权重、判断出指定区域内有哪些对象。例如：根据图形与颜色检测出图像是一个沙发，这时就会在数据库中查找与这个图像相似度为多少的图片。这种估计会消耗大量的计算资源，尤其是在 4K、8K 图像的采样上，正确率在仅仅在80%左右。

本发明的模糊估计就是对图像进行识别，属于人工智能里图像识别和检测范畴。判断其颜色形状并经过一次又一次的运算恢复出图像中某些部分的蒙版部分形状颜色。图像语义分割网络模型都是采用的多拟态交叉神经网络进行小模型，多次并行的估计方法，采用多对抗方式进行权重筛选，更好地在估计范畴符合人类的常识，可以以类似人的理解方式去理解图像，从而对估计的结果更接近人工所呈现的效果。该方法更接近于模拟人脑视觉的功能，首先人脑是根据颜色和轮廓进行识别，所以人工智能识别第一步是抠图，保留识别物体轮廓颜色，第二步模型建立提取参考图像的图片渲染贴图，第三步还原，通过虚拟世界创建的虚拟摄像机获取到的摄像图像进行像素对比，获取像素发生改变的运动特性曲线，最后得出建模相似度，物体识别，分类检索。得到的参考图像的正确率在百分之九十九之上。

步骤S103为建立三维空间，所述三维空间中设置虚拟摄像机。在所述融合空间内设置一台与真实世界同功能的虚拟摄像机，所述虚拟摄像机可以实时移动调整位置，得到大量的拍摄图像。本虚拟摄像机的原理是根据中心圆球原理、圆形矩阵的双向图像渲染以及自由立体内容的拟合重构方法，提出了一种消除传统单相机虚拟视点绘制中存在的伪影问题。所述虚拟摄像机移动时遵循中心圆球原理：以当前点为中心，以规定长度（按物品需求）为半径形成圆形矩阵。

现有的还原图像源的方式，是将图像的每个像素经过无数次计算得到图像源。而本发明的方法将二维的受损图像置于渲染管线中的三维场景中，使得二维受损图像与三维世界交互，使得二维受损图像变为独立的三维空间模式，虚拟摄像机的拍摄图像各种视角都是清晰立体的，虚拟摄像机可以在这个三维场景空间中获得各个视角的拍摄图像。

按照一种具体的实施方式，将一幅图像作为物体放到三维世界中产生对应的仿真物理现象，图4是本发明的建立虚拟摄像机的示意图，如图4所示，在二维受损图像中建立一个三维点旋转，获取二维受损图像在三维渲染管线中的各种光影变化，得出受损图像的各种修复受损图像的受损区域效果后，进行当前姿态的融合，把二维受损图像作为对象，基于卷积神经网络的AI模块进行色彩分析。

本发明基于中心圆球原理、圆形矩阵的双向图像渲染以及基于自由立体内容的拟合重构方法，提出了一个新的解决方法来消除传统的修复非对称色彩失调图像的不精确问题。二维图像与虚拟三维世界的关系，是指将二维受损图像当作物体，放到虚拟三维世界中产生对应的仿真物理现象，如碰撞，反射，全局光等等。移动时遵循中心圆球原理即：以当前点为中心，以规定长度（按需求）为半径形成圆形矩阵。所述虚拟摄像机采用环绕操作视图模式，实时路径追踪，无需等待漫长的渲染结果。渲染及画面实时编辑，三维空间对齐参考面面；多功能变换控制器，随意定点控制旋转，快速吸附放置。快速的获取多幅拍摄图像。具体的，可以通过自主操作模块移动三维世界的虚拟摄像机可以获得更多的拍摄图像图像，环绕视图大场景下，能够智能识别环绕焦点物体，以选定物件为环绕中心。

AI模块通过在人类视野无法看到的虚拟三维空间内建立虚拟摄像机。所述虚拟摄像机与真实摄像机功能参数完全相同并置于三维空间内。利用虚拟摄像机拍摄受损图像与渲染管线虚拟的三维空间融合的三维场景画面的拍摄图像。其中二维图像与虚拟三维世界相融合就是把渲染管线中的虚拟三维世界与受损图像二维世界融合，使其二维受损图像中的图像内容以三维的世界形式呈现。把二维图像作为对象，置于虚拟的三维世界里生成相应的模拟物理现象，虚拟摄像机能够对受损图像的内容场景建立的三维空间进行角度拍摄并将获得多幅拍摄图像，再将获得的拍摄图像与参考图像做对比。AI模块计算得出受损图像的受损区域的像素变化轨迹，像素变化的轨迹被称作运动特性曲线，这个曲线是非线性的。

当重构图像时就需要根据所述运动特性曲线来使得拍摄图像无线接近参考图像。像素发生改变就需要AI模块为像素着色器提供了一个程序或片段着色器，它可以包含任何所需的计算。具体的，该方法利用了笛卡尔积和卷积，笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尔积，又称直积，表示为X×Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一个成员。

图5为本发明的神经网络模型确定受损图像立体模型的示意图，如图5所示，受损图像作为输入层，具体包括：构建受损图像的数据集；构造改进深度可分离卷积着色；神经网络训练改进深度可分离卷积着色神经网络；将着色灰度图输入至训练后的轻量级着色神经网络。基于神经网络对二维受损图像做深度处理，使得二维图像成为如图5所示的三维网格形式。

其中，卷积为卷积特性局部感知，图6是本发明的卷积局部连接示意图，如图6所示，所述卷积包括：聚焦在一个相对很小的局部，多层感知器隐层节点会全连接到一个图像的每个像素点上。卷积神经网络为每个隐层节点只连接到图像某个足够小局部的像素点上，从而大大减少需要训练的权值参数，例如：对于一个 100∗100的输入图像而言，如果下一个隐藏层的神经元数目为 16 个，采用全连接则有 100∗100∗16=160000个权值参数，如此数目巨大的参数几乎难以训练；而采用局部连接，隐藏层的每个神经元仅与图像中 10∗10的局部图像相连接，那么此时的权值参数数量为 10∗10∗16=1600，将直接减少多个数量级。全连接变成局部连接，按照人工神经网络的方法，把输入图像的像素一字排开之后，每一个像素值就是一个神经元输入，需要对隐层或者输出层做全连接，如上图左侧所示。卷积神经网络引入卷积概念后，卷积核通过原图像，然后卷积核对原图像上符合卷积核大小的像素进行加权求和，每一次只是对符合卷积核的图像像素做卷积，这就是局部感知的概念，使全连接变成局部连接。而本发明在模糊估计之后，识别出受损图像的受损区域，AI模块在建立受损图像的神经网络模型时会记录非受损区域与受损区域的数据。

步骤S104为将所述受损图像设于所述三维空间中，通过所述虚拟摄像机对所述受损图像进行多角度拍摄得到多个拍摄图像，所述拍摄图像至少延迟一帧。

具体的，该方法为动态三维重建算法：二维图像中建立一个三维世界，工作神经网络将二维世界转化为三维世界，使虚拟摄像机对由图像组成的（虚拟）三维世界进行多角度拍摄，得到多幅拍摄图像，然后把三维空间和二维图像合并成一幅图像，再通过AI模块对比分析参考图像和拍摄图像的数据，这时更好更准确的对受损图像进行还原和处理。

具体的，所述虚拟摄像机在三维空间中的各个视角对二维图像进行拍摄，获得多幅拍摄图像之后，会将二维图像作为标记物体。标记物体与所在的三维场景空间相融合，当标记物体移动的时候，随着标记物体的移动图像的lut是不一样的。这时的虚拟摄像机就会随着标记物体的移动轨迹再重新移动一遍，会导致渲染过程延迟1帧，但是我们在这里仅仅消耗1-2帧（60fps为基准）的算力。在此移动的过程中只会改变受损图像的受损区域的像素，非受损区域的像素不会发生改变。在移动的过程AI模块会会将像素发生变化的部分记录存储下来，AI模块会计算识别像素发生改变的路径，计算的出像素的运动特性曲线。在拟合重建的过程中只会对受损区域进行还原，保持非受损区域的部分。这个过程就是神经网络的局部连接方法，将受损区域每一个像素看作一个神经元。受损区域在多种曝光下合并成一个新的拍摄图像。像素替换，把受损区域需要还原的像素替换掉，得出新的拍摄图像。上述方法主要将受损图像的受损区域的像素替换，重新着色，无限拟合接近参考图像，从而还原图像源。

所述拟合重建包括：三维点云提取及曲面拟合；三维重建算法；基于一致性拟合重建算法的三维场景深度学习模型构建。通过数学计算和AI辅助得到画质受损图片的原始结构数据和利用线性函数对点位云数据进行拟合重构植入三维空间。将三维空间和二维空间共同作为图像，通过离散拟合计算曲线的参数，根据对比结果再将计算参数嵌入三维空间直至计算出最接近原始图像参数。通过使用lut逆向技术中的损坏修复技术，反复修复照片多次受损后画质较低的照片，加速照片尽可能恢复到原来照片。

步骤S105为对所述拍摄图像进行实时双向渲染，得到最终图像源，其中，所述双向渲染包括前向渲染和后向渲染；所述前向渲染为对所述拍摄图像进行拟合得到第一图像；所述后向渲染为根据所述第一图像对所述受损图像进行反向拟合得到最终图像源。所述前向渲染为对所述拍摄图像进行拟合得到第一图像，包括：根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线；根据所述运动特性曲线确定所述拍摄图像与参考图像的拟合参数，优选的，所述参考图像为AI模块和模糊估计二联动对比分析数据库找出与图像源相似度为百分之九十以上的图像，此类图像被称作参考图像；对满足要求的拟合参数进行感知融合得到所述第一类图像，所述感知融合通过AI辅助实现。所述根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线与参考图像像素的特征曲线是否一致，包括：渲染所述拍摄图像与参考图像中的各个序列帧，依次融合所述序列帧得到所述运动特性曲线。所述根据所述第一类图像对所述受损图像中的受损区域进行反向拟合，用于改变受损图像的非对称色彩失调部分；所述拟合重建包括对每一个受损区域的像素的替换。具体的，根据所述AI模块对受损图像进行对比分析确定所述受损图像的相同位置像素到所述拍摄图像的同等位置像素变化的运动轨迹；根据所述AI模块的神经网络渲染管线对比分析拍摄图像与参考图像的拟合参数，使得所述拍摄图像的拟合参数与参考图像无限接近，从而到达修复受损图像的效果。

所述感知融合是二维图像与虚拟三维世界的融合和二维图像与虚拟三维世界的关系。其中二维图像与虚拟三维世界的融合，是指将虚拟三维世界和二维世界共同作为图像，最终呈现出来的效果，其中包含大量的色彩图形学相关内容。二维图像与虚拟三维世界的关系指将二维图像当作物体，放到虚拟三维世界中产生对应的仿真物理现象，如碰撞，反射，全局光等。

所述根据所述第一类图像对所述受损图像中的受损区域进行反向拟合，用于改变受损图像的非对称色彩失调的部分；所述延迟着色是所述拍摄图像像素发生改变的过程能够清晰的看到对受损图像修复的效果。所述前向渲染是指如图8对参考图像A中像素替换变为受损图像D。AI模块记录其受损区域的像素的运动特性曲线。所述前向渲染指对图像中的每一个像素都要进行曝光和剪裁。所述前向渲染主要包括以下几个步骤：根据当前非受损图像帧创建多个新顶点；以及将所有这些顶点合并成单个像素点。在前向渲染过程中，每个几何体都需要经过渲染管线渲染后才能进入像素着色器序列中，然后再从图像缓冲区中提取颜色。当场景中存在多个几何体的时候，渲染管线是要把它们逐一渲染出来。但是当多次渲染套lut改变图像的像素之后，像素的运动轨迹呈现非线性的运动轨迹。

现有还原图像源渲染时增加一个序会消耗算力并且准确性低。而本发明首先进行管线并行分离，然后再进行拟合重建计算曝光。所述后向渲染是一种将像素拟合重建计算推迟至深度测试后进行渲染的方法，延迟着色适用于场景实时像素替换较多时，并且延迟着色可针对每一个像素逐像素方式进行，该方法可以消耗1-2帧（60fps 为基准）的算力。

本文以实时双向渲染为背景，采用非线性AI辅助法、模糊估计法、一致性拟合重建法、感知跳跃式虚拟渲染法来实现反拟合重建，其中每个部分可以独立存在，独立运行，必要时会自适应启动相应的校准模块。

本发明的实时双向渲染就是为了解决3Dlut的图像被计算出来后存在着颜色变化，即颜色损失等问题。具体的，实时双向渲染首先在渲染管道中对失真的图像进行评判，现有技术则是通过设立几个点，然后对比饱和度、色彩、亮度、伽马曲线、定曲线。本发明以AI辅助、感知融合、模糊估计的方法来实现拟合重建。通过对受损图像进行模糊估计，基于卷积神经网络下的AI模块对图像进识别，找到相似度近似百分百的参考图像。将受损图像置于渲染管线的三维空间中，在感知融合后的三维空间中设置虚拟摄像机，获取多幅拍摄图像。计算拍摄图像与参考图像的相似度提取受损区域图像的像素的运动特性曲线，计算拍摄图像的拟合参数与参考图像参数一致，最后将拟合参数都满足达到的运动特性曲线以AI辅助对比分析改变替换拍摄图像的像素值；然后经过非线性像素替换受损图像的受损区域重构出源图像，整体图像像素色域内变化运动的曲线及其特征，然后在渲染管道中进行后项渲染把受损图像反向拟合重建，就是将受损图像置于三维空间拟合还原的过程中，识别出拍摄图像与参考图像素对比像素发生改变的地方，将受损区域图像图像剪掉，得到的就是没有受损的图像，使图像在渲染管道中不会存在任何颜色偏差，并且此方法的算力是极小的。

所述色域指颜色所显示的区域色域越宽颜色显示就越丰富看到的图像，结果就越复杂。一般来讲色域主要是用在多个显示器之间，能够通过显示器看到尽可能一样的结果。本发明的色域不是为了同步多个显示器之间的色彩差异，而是在同一个显示器下所模拟色域转化，从而进行的不同色彩处理效果，使得渲染前和渲染后的图像在同一个显示器下，呈现出同样的效果，该方法不会出现图像质量损失和不协调的结果。

在常见的图像处理中，对色彩进行处理的一个关键技术，常见的分为1Dlut(1D的lut)和3Dlut(3D的lut)。该方法为损失函数组成的图像处理方式，当图像进行色彩转换后会出现图像损失，而这些损失是不可逆的。本发明的一致性拟合重建（即为反 lut）不仅针对于3D和1D，还针对与高动态显示范围HDR、SDR 等领域。所述反lut不仅限于线性数学和非线性离散拟合，还包含高动态范围的复杂性计算以及人工智能对抗性处理，属于对非对称色彩失调进行的多并行融合性处理方法。

图7和图8是本发明的实时双向渲染流程的示意图，如图7所示，实时双向渲染管道中实时双向渲染管道的处理过程。一幅图像进入渲染管道时，首先进入渲染管道内，然后经过图像处理将产生分层。具体的，将一lut套入一彩色图像中，此lut于此处包含一色域，该色域被划分为LDR、HDR、SDR、709R、P3、P5等渲染管道，对该图像执行图像处理，并且只需输入渲染管道中的所有图像。渲染管道有前向渲染与延迟渲染两种渲染管道，本发明的渲染管道以实时方式进行，属于实时双向渲染。图像被布置到管道上，把布置的序发称为渲染管道。每个管道具有序（序列帧），每个渲染管道中具有若干序列帧，依次渲染各个序列帧，各序列帧彼此独立，即序列帧，最终将所述序列帧融合在一起，得到一张图像的运动特性曲线。按照前面提到的方法恢复出原来的图像。上述处理就是渲染管道。前向渲染主要完成两个任务：一是对图像进行调整；二是进行拟合重建。在渲染管道中包括前项渲染和后项渲染。所述前向渲染需要绘制出原始图，然后再进行下一步处理，所述后向渲染是对前面的结果进行反向拟合重建（反lut）。实时双向渲染既能渲染出新的图像，又能将此图像在渲染管道中进行一致性拟合重建恢复原图像，使图像不会存在色彩偏差。所述实时双向渲染管道处理方法为恢复非对称色彩失调的图像的图像源。

所述延迟渲染是一种将光照拟合重建计算推迟至深度测试后进行渲染的方法，延迟着色适用于场景实时光照较多时，并且延迟着色可针对每一个光源以逐像素方式进行。本发明的延迟渲染仅消耗1-2帧（60fps为基准）的算力。

按照一种具体的实施方式，如图8所示，一幅图像进入渲染管道之后，渲染常规的染管道，把D里被污染了的结果拿出来进行一致性拟合重建，拟合模型取出D改变后的影像进行剪裁，通过n个拟合重构将被污染影像裁剪下来，并计算与原始影像拟合程度最近的影像。该方法通过对图像进行延迟渲染来实现一种简单高效神经网络拟态重建计算。该方法可以将图像中存在的各种颜色进行有效区分，并且还能同时完成图像的延迟着色和实时像素之间的转换工作，从而达到快速准确地实现图像的延迟着色与逐像素绘制的目的。另外，该算法可以在1-2帧时间内（60fps作为基准）完成整个过程，且不需要额外的硬件和软件支持，因此具有较高的效率和较低的成本，同时还能有效地提高系统的性能，降低对计算能力要求。在图像渲染中，输入图像和输出图像最终结果不一样，会在RGB（包含但不限于YUV）的各种颜色上损失，有些损失在指定色域是线性的，成为对称色彩失调；有些损失在指定色域是非线性，此时我们的实时双向渲染管道中通过模糊估计、AI辅助、线性计算还原图像源，已知的的是，该方法会在整体时序中，延迟1-2帧（60fps作为基准）的时间。

一幅图像的改变是通过像素替换使得图像发生改变，本质上是一幅图像的像素的颜色发生改变，这幅图像像素的大小和数量不改变。例如：一张4k图片的分辨率是4096*2160，就可提供8847360的像素。RGB色彩模式中色彩的强度值为0~255。如图9所示，当强度为35时，通过像素颜色发生改变后，使得加一个强度值再减一个强度值的方法来实现拟合重建。

如果一幅图像上的色彩是非对称的，单独的像素点不能随意移动。如果移动像素点将会对整幅图像造成完全的破坏，像素的相对位置改变了，原始图像也被破坏了。有些损失在指定色域是线性的，称为对称色彩失调；有些损失在指定色域是非线性，在传统数学计算中具备不可逆特性，它会受多个非线性函数的影响。如图10所述对称色彩，每一个y值对应一个x值，而非对称色彩失调的一个y值对应了4个x值或者无限个x值，通过y值还原x值就会消耗很大的算力，并且还原的结果是不准确的。而本发明使得非对称色彩失调的受损图像恢复为源图像，使得所述图像上的非对称位置上的像素可以准确的重构。

在图像渲染中，输入图像和输出图像最终结果不一样，会在RGB（包含但不限于YUV）的各种颜色上损失。有些损失在特定色域是线性的，成为对称色彩失调；有些损失在特定色域是非线性，在传统数学计算中具备不可逆特性，会受多个非线性函数的影响，属于非对称色彩失调。

如图10所示，实时双向渲染管道中提取已经受损的图像与图像源的差别，通过添加一个拟合模型和线性数学计算尽可能的来拟合一种新的色彩空间，对原始图像进行应用后，再次经过自然的渲染管道得出拟合重建的结果，实现对图像的无损坏处理。

图11是本发明的渲染管道着色的示意图，如图11所示，渲染管道的基本构建包括四个阶段：应用，几何处理，光栅化和像素处理。渲染管道的主要功能是在给定虚拟摄像机、三维对象及像素替换等的情况下生成或渲染二维图像。使用管道的过程，图像中对象的位置和形状取决于蒙版图像中它们的几何形状，环境的特征以及摄像机在该环境中的位置。对象的外观受材质属性，光源，纹理（应用于表面的图像）和着色方程式的影响。

现有的渲染管道是在CPU上执行的一些任务包括碰撞检测、全局加速算法、动画、物理模拟及其他功能，具体取决于应用程序的类型。然后进行几何处理，包括处理变换、投影以及其他类型的几何处理，这个阶段计算要绘制的内容，应如何绘制以及应在何处绘制。几何阶段通常是在包含许多可编程功能的图形处理单元（GPU）核心以及固定操作的硬件上执行。光栅化阶段通常需要输入三个顶点，形成一个三角形，并找到所有被视为该三角形内部的像素，然后将其转发到下一个阶段。最后是像素处理阶段，每个像素执行一个程序以确定其颜色，并可以执行深度测试看看它是否可见。它还可以执行每个像素的操作，例如将新计算的颜色与以前的颜色混合。光栅化和像素处理阶段也完全在GPU上处理。

而本发明的渲染管道可以对图像实时双向渲染，既能将一幅图像做n次像素替换后进行渲染，包括前向渲染，对受损图像的受损区域中的每一个像素都要进行曝光和剪裁。前向渲染主要包括以下几个步骤：根据当前帧到上一帧间距离确定目标点；创建一个新顶点；以及将所有这些顶点合并成单个像素点。在前向渲染过程中，每个几何体都需要经过渲染管线拟合后才能进入像素着色器序列中，然后再从图像缓冲区中提取颜色。当场景中存在多个几何体的时候，渲染管线是要把它们逐一渲染出来，而且渲染呈现线性关系和顺序结果，将做了n次像素替换后受损的图像还原回去。本发明首先进行管线并行分离，然后再进行拟合重建计算曝光。延迟渲染是将光照拟合重建计算推迟至深度测试后进行渲染，延迟着色适用于场景实时光照较多时，并且延迟着色可针对每一个像素值以逐像素方式进行，本发明在这里仅仅消耗1-2帧（60fps 为基准）的算力。

每个像素的信息存储在颜色缓冲区中，该缓冲区是一个矩形数组颜色（每种颜色分别是由红色，绿色和蓝色成分组成）。合并阶段的责任是合并像素着色阶段产生的片段颜色，当前存储在缓冲区中的颜色，这个阶段也称为ROP，用于光栅操作（管道）或渲染输出单位，具体取决于对图像的要求。

使用AI模块对比分析出与图像特征最相符的颜色和，AI模块将着色数据作为输入，在此执行每个像素的着色计算。最终结果是将一种或多种颜色传递到下一个阶段。像素着色阶段由可编程的程序GPU执行。为此，AI模块为像素着色器提供了一个程序或片段着色器，它可以包含任何所需的计算。这里可以采用多种技术，其中纹理化是最重要的技术之一。对对象进行纹理化处理意味着将一个或多个图像融合到该对象上，以实现多种选择目的。图片可以是一维，二维或三维，其中二维图像最多。常见的。最终产品是每个片段的颜色值，用于传递到下一个子阶段。

将受损图像中的每部分进行拟合重构后通过AI模块将这些全部融合到一起最终实现将受损的图像拟合重建至图像源。反lut是通过添加一个拟合模型和线性数学计算尽可能的来拟合一种新的色彩空间，对原始图像进行应用后，再次经过自然的渲染管道得出反lut的结果，属于图像的拟合重建。

本发明的一致性拟合重建（反lut）不仅适用于3D、1D，而且也适用于高动态（HDR、SDR）显示领域。本发明的反lut不局限于线性数学与非线性离散拟合计算。在渲染着色时，一个坐标点的变化会导致每一个坐标的颜色全部发生变。同时还包含高动态范围的复杂性计算以及人工智能对抗性处理；属于对非对称色彩失调进行的多并行融合性处理。AI模块其需要在单个lut上做大量分析以适应环境的每种情况，这幅画面需要经过AI辅助来进行各种改变调整后才能在实时双向渲染管道上提取图像，使得二维世界图像从三维世界各个角度抽取出多张拍摄图像，即模拟二维源网格体在三维世界里的光照光影反馈，把提取出来的图像里的lut像素做处理。

本发明的模糊估计就是对图像进行识别，属于人工智能里图像识别和检测范畴。判断其颜色形状并经过一次又一次的运算恢复出图像中某些部分的蒙版部分形状颜色。图像语义分割网络模型都是采用的多拟态交叉神经网络进行小模型，多次并行的估计方法，采用多对抗方式进行权重筛选，更好地在估计范畴符合人类的常识，可以以类似人的理解方式去理解图像，从而对估计的结果更接近人工所呈现的效果。该方法更接近于模拟人脑视觉的功能，首先人脑是根据颜色和轮廓进行识别，所以人工智能识别第一步是抠图，保留识别物体轮廓颜色，第二步模型建立提取参考图像的图片渲染贴图，第三步还原，通过虚拟世界创建的虚拟摄像机获取到的摄像图像进行像素对比，获取像素发生改变的运动特性曲线，最后得出建模相似度，物体识别，分类检索，得到的参考图像的正确率可以达到百分之九十九以上。

本发明通过模糊估计进行了预排除，根据所述模糊估计识别出受损图像的受损区域。再进行对图像进行延迟渲染来实现一种简单高效的像素拟合重建计算。实现双向渲染过程中，在进行反lut的时候会在受损的图像加一个拟合模型。拟合模型时创建三维空间，创建虚拟摄像机，使其拍摄获取多幅拍摄图像。通过模糊估计和AI辅助来评判与原图差多少。现有技术是通过几个点的饱和度、色彩、亮度、伽马曲线、定曲线。而本发明是通过多拟态神经网络来识别图像，类似于人类的感觉来识别图像和理解图像，然后进行拟合重建。在此过程中AI先进行模糊估计，将此受损图像检测出受损区域部分告诉AI模块，AI模块再进行多拟态神经网络拟合重建。AI模块会进行图像深度处理，神经元与像素成三维网状结构，不断地告知AI模块对于像素的运动特性曲线的哪一段进行调整，然后替换和剪裁受损图像，来还原图像源。

本发明还提出一种非对称色彩失调一致性的拟合重建的装置，所述装置包括：获取模块，用于获取受损图像，所述受损图像为非对称色彩失调的图像；确认模块，用于通过对所述受损图像进行模糊估计，确定所述受损图像中的受损区域；拟合重建模块，用于建立三维空间，所述三维空间中设置虚拟摄像机；将所述受损图像设于所述三维空间中，通过所述虚拟摄像机对所述受损图像进行多角度拍摄，得到多个拍摄图像，所述拍摄图像至少延迟一帧；以及，对所述拍摄图像进行实时双向渲染，得到最终图像源，其中，所述双向渲染包括前向渲染和后向渲染，所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，所述后向渲染为根据所述第一类图像对所述受损图像中的受损区域进行反向拟合得到最终图像源。所述通过对所述受损图像进行模糊估计，确定所述受损图像中的受损区域，包括：利用AI分析识别受损图像中的物体，根据所述物体的形状和颜色确定所述物体的类别；根据所述物体的类别和AI分析来确定所述物体是否为受损区域。所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，包括：根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线；根据所述运动特性曲线确定所述拍摄图像与参考图像的拟合参数；对满足要求的拟合参数进行感知融合得到所述第一类图像，所述感知融合通过AI辅助实现。

本发明实施例提供一种非对称色彩失调一致性的拟合重建的方法及装置，属于图像还原领域，所述方法包括：获取受损图像，受损图像为非对称色彩失调的图像；在修复图像源时预先对受损图像进行模糊估计处理，确定受损图像中的受损区域；建立三维空间，三维空间中设置虚拟摄像机；将受损图像设于三维空间中，通过虚拟摄像机对受损图像进行多角度拍摄，获取多个拍摄图像，拍摄图像至修复受损图像的受损区域至少延迟一帧；对拍摄图像进行实时双向渲染，对比分析得到最终的图像源，其中，双向渲染包括前向渲染和后向渲染；前向渲染为对拍摄图像进行拟合得到第一类图像；后向渲染为根据所述第一类图像对所述受损图像中的受损区域进行反向拟合并重建得到最终图像源。该方法减少了图像的色彩偏差，实现了正常接收场景的物理反馈，实现了二维图像世界与三维世界交互，及图像之间的融合互动。

在实时的渲染管线中，图像源作为可互动物体（包括不限于网格体或粒子）存在于场景中，互动不限于碰撞、反射、光照和遮挡等，所述互动是由渲染管线计算本身的得到的重力模拟、光学模拟和其他的物理模拟，全自动形成在任何一个环节，均无人为干扰（包括不限于提前做好预设，摆好位置，做好调度等）所述互动为自然互动、被动互动、感知互动、融合互动、感知融合互动。在渲染管道中，还有一种互动式渲染，也成为自然渲染、顺序渲染，同样代指在无人主动干扰的情况下，按照管道的原本渲染规则渲染。

所述管道又称渲染管道、渲染管线、多通道综合体、序体等，属于在渲染管线中最终显示图像的一个渲染流程。不同的管线所呈现的质量也不一样，如光线追踪三维渲染管线，光线追踪三维渲染管线等。其中，三维渲染管线主要的网格体，包含但不限于三维网格体及粒子特效进行处理。如果对二维图像进行处理，需要在额外的通道中进行渲染，否则渲染管线无法对二维的图像进行准确的色彩还原（尤其在接受光照信息和后处理的情况下）。

本发明以AI辅助、感知融合、模糊估计的方法来实现拟合重建。通过对受损图像进行模糊估计，基于卷积神经网络下的AI模块对图像进识别，找到相似度近似百分百的参考图像。将受损图像置于渲染管线的三维空间中，在感知融合后的三维空间中设置虚拟摄像机，获取多幅拍摄图像。计算拍摄图像与参考图像的相似度提取受损区域图像的像素的运动特性曲线，计算拍摄图像的拟合参数与参考图像参数一致，最后将拟合参数都满足达到的运动特性曲线以AI辅助对比分析改变替换拍摄图像的像素值；然后重构出源图像经过非线性像素替换成为受损图像，整体图像像素色域内变化运动的曲线及其特征，然后在渲染管道中进行后项渲染把受损图像反向拟合重建，就是将受损图像置于三维空间拟合还原的过程中，识别出拍摄图像与参考图像素对比像素发生改变的地方，将受损区域图像图像剪掉，得到的就是没有受损的图像，使图像在渲染管道中不会存在任何颜色偏差，并且此方法的算力是极小的。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种非对称色彩失调一致性的拟合重建的方法，其特征在于，所述方法包括：

获取受损图像，所述受损图像为非对称色彩失调的图像；

对所述受损图像进行模糊估计，确定所述受损图像中的受损区域；

建立三维空间，所述三维空间中设置虚拟摄像机；

将所述受损图像设于所述三维空间中，通过所述虚拟摄像机对所述受损图像进行多角度拍摄得到多个拍摄图像，所述拍摄图像至少延迟一帧；

对所述拍摄图像进行实时双向渲染，得到最终图像源，其中，

所述双向渲染包括前向渲染和后向渲染；

所述前向渲染为对所述拍摄图像进行拟合得到第一类图像；

所述后向渲染为根据所述第一类图像对所述受损图像中的受损区域进行反向拟合得到最终图像源；

所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，包括：

根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线；

根据所述运动特性曲线确定所述拍摄图像与参考图像的拟合参数；

对满足要求的拟合参数进行感知融合得到所述第一类图像；

所述根据所述第一类图像对所述受损图像中的受损区域进行反向拟合，用于改变受损图像的非对称色彩失调的部分；

所述反向拟合包括对每一个光源以逐像素方式进行延迟着色。

2.根据权利要求1所述的方法，其特征在于，所述对所述受损图像进行模糊估计，确定所述受损图像中的受损区域，包括：

利用AI分析识别受损图像中的物体，根据所述物体的形状和颜色确定所述物体的类别；

根据所述物体的类别和AI分析来确定所述物体是否为受损区域。

3.根据权利要求1所述的方法，其特征在于，

所述感知融合通过AI辅助实现。

4.根据权利要求1所述的方法，其特征在于，所述根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线，包括：

渲染所述拍摄图像与参考图像中的各个序列帧，依次融合所述序列帧得到所述运动特性曲线。

5.一种非对称色彩失调一致性的拟合重建的装置，其特征在于，所述装置包括：

获取模块，用于获取受损图像，所述受损图像为非对称色彩失调的图像；

确认模块，用于通过对所述受损图像进行模糊估计，确定所述受损图像中的受损区域；

拟合重建模块，用于建立三维空间，所述三维空间中设置虚拟摄像机；将所述受损图像设于所述三维空间中，通过所述虚拟摄像机对所述受损图像进行多角度拍摄，得到多个拍摄图像，所述拍摄图像至少延迟一帧；以及，对所述拍摄图像进行实时双向渲染，得到最终图像源，其中，

所述双向渲染包括前向渲染和后向渲染，所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，所述后向渲染为根据所述第一类图像对所述受损图像中的受损区域进行反向拟合得到最终图像源；

所述前向渲染为对所述拍摄图像进行拟合得到第一类图像，包括：

根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线；

根据所述运动特性曲线确定所述拍摄图像与参考图像的拟合参数；

对满足要求的拟合参数进行感知融合得到所述第一类图像；

所述根据所述第一类图像对所述受损图像中的受损区域进行反向拟合，用于改变受损图像的非对称色彩失调的部分；

所述反向拟合包括对每一个光源以逐像素方式进行延迟着色。

6.根据权利要求5所述的装置，其特征在于，所述通过对所述受损图像进行模糊估计，确定所述受损图像中的受损区域，包括：

利用AI分析识别受损图像中的物体，根据所述物体的形状和颜色确定所述物体的类别；

根据所述物体的类别和AI分析来确定所述物体是否为受损区域。

7.根据权利要求5所述的装置，其特征在于，

所述感知融合通过AI辅助实现。

8.根据权利要求5所述的装置，其特征在于，所述根据所述拍摄图像与参考图像的相似度提取拍摄图像像素的运动特性曲线，包括：

渲染所述拍摄图像与参考图像中的各个序列帧，依次融合所述序列帧得到所述运动特性曲线。

Images