CN115588070B - 一种三维图像风格化迁移方法及终端 - Google Patents

Abstract

本发明公开了一种三维图像风格化迁移方法及终端，获取三维图像中各场景的中心点坐标和第一UV贴图，并从第一UV贴图中提取第一风格迁移参数集，之后基于角色的位置和方向动态计算融合的风格迁移参数，以此方式，通过动态调整风格迁移参数为不同的角色位置提供不同的贴图，并且基于距离、夹角和第一风格迁移参数集进行融合，可以优化在不同风格场景间移动时的视觉效果，相较于现有技术能够动态灵活地进行风格迁移，保证风格迁移的连续性。

Description

一种三维图像风格化迁移方法及终端

技术领域

本发明涉及图像处理技术领域，特别涉及一种三维图像风格化迁移方法及终端。

背景技术

现有技术中的风格化迁移通常是基于角色位置进行贴图渲染，一种是根据角色位置更改天气贴图并渲染，根据目标天气贴图的贴图标签，从三维游戏场景中确定对应的目标位置，根据目标位置在二维图像中的即时坐标，将目标天气贴图渲染至对应目标位置。但是此方法的更改对象为预制对象，其风格固定不变，无法实现风格的动态变换。

另一种是根据角色位置确认角色所处游戏环境后，提取目标游戏环境对应的目标环境贴图，根据角色位置信息和目标环境贴图，获取当前游戏场景的场景渲染颜色，根据场景渲染颜色渲染当前游戏场景。但是此方式为贴图的简单叠加，无法针对类似纹理的元素进行叠加混合。

并且现有技术中的风格化迁移还会根据当前游戏场景中的环境元素从预先确定的特效模板中获得目标模板，同时基于环境元素获取目标特效数据，并对目标模板及特效数据进行特效生成和渲染，得到具有特效的游戏场景。但由于特效模板为离散数据，则其实现效果亦为“事件”类的离散效果。对于连续渐变型改变效果较差。

发明内容

本发明所要解决的技术问题是：提供一种三维图像风格化迁移方法及终端，能够动态灵活地进行风格迁移，保证风格迁移的连续性。

为了解决上述技术问题，本发明采用的技术方案为：

一种三维图像风格化迁移方法，包括步骤：

获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集；

获取角色的在所述三维图像中的第一位置与第一方向，计算所述第一位置与各场景的中心点坐标的距离，以及计算所述第一位置到各场景的中心点坐标的方向与所述第一方向的夹角，结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数；

基于所述第二风格迁移参数生成第二UV贴图，并将所述第二UV贴图渲染至各场景中。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种三维图像风格化迁移终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集；

获取角色的在所述三维图像中的第一位置与第一方向，计算所述第一位置与各场景的中心点坐标的距离，以及计算所述第一位置到各场景的中心点坐标的方向与所述第一方向的夹角，结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数；

基于所述第二风格迁移参数生成第二UV贴图，并将所述第二UV贴图渲染至各场景中。

本发明的有益效果在于：获取三维图像中各场景的中心点坐标和第一UV贴图，并从第一UV贴图中提取第一风格迁移参数集，之后基于角色的位置和方向动态计算融合的风格迁移参数，以此方式，通过动态调整风格迁移参数为不同的角色位置提供不同的贴图，并且基于距离、夹角和第一风格迁移参数集进行融合，可以优化在不同风格场景间移动时的视觉效果，相较于现有技术能够动态灵活地进行风格迁移，保证风格迁移的连续性。

附图说明

图1为本发明实施例的一种三维图像风格化迁移方法的流程图；

图2为本发明实施例的一种三维图像风格化迁移终端的示意图；

图3为本发明实施例的一种三维图像风格化迁移方法的具体步骤流程图；

标号说明：

1、一种三维图像风格化迁移终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种三维图像风格化迁移方法，包括步骤：

获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集；

获取角色的在所述三维图像中的第一位置与第一方向，计算所述第一位置与各场景的中心点坐标的距离，以及计算所述第一位置到各场景的中心点坐标的方向与所述第一方向的夹角，结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数；

基于所述第二风格迁移参数生成第二UV贴图，并将所述第二UV贴图渲染至各场景中。

从上述描述可知，本发明的有益效果在于：获取三维图像中各场景的中心点坐标和第一UV贴图，并从第一UV贴图中提取第一风格迁移参数集，之后基于角色的位置和方向动态计算融合的风格迁移参数，以此方式，通过动态调整风格迁移参数为不同的角色位置提供不同的贴图，并且基于距离、夹角和第一风格迁移参数集进行融合，可以优化在不同风格场景间移动时的视觉效果，相较于现有技术能够动态灵活地进行风格迁移，保证风格迁移的连续性。

进一步地，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之后，所述方法还包括：

读取所述三维图像所在设备的硬件配置、预设的图像质量以及运行时帧，结合所述硬件配置、预设的图像质量以及运行时帧确定贴图刷新频率。

由上述描述可知，基于硬件配置、预设的图像质量以及运行时帧确定贴图刷新频率，能够基于贴图刷新频率执行风格的融合运算。

进一步地，所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数包括：

计算融合后的第二风格迁移参数：

；

式中，n表示场景数量，sti表示第一风格迁移参数集中第i个场景的参数，ci表示第i个场景的中心点坐标，L表示第一位置，D表示第一方向，d(ci,L)表示所述第一位置与第i个场景的中心点坐标的距离，g(L,D,ci)表示所述第一位置到第i个场景的中心点坐标的方向与所述第一方向的弧度，单位为rad。

由上述描述可知，结合第一位置与第i个场景的中心点坐标的距离、第一位置到第i个场景的中心点坐标的方向与第一方向的夹角、第一风格迁移参数集得到融合后的第二风格迁移参数，能够对风格迁移参数进行加权平均，使其具有连续性，产生渐变式的风格迁移效果。

进一步地，所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数，还包括：

根据角色在所述三维图像中的第一位置与第一方向，确定所述三维图像中的可视场景数量m，若所述可视场景数量m小于所述场景数量n，则计算融合后的第二风格迁移参数S’(m,l,D)。

由上述描述可知，当n个场景中只有m个场景为可视场景时，在融合计算时舍弃不可视场景，以此方式，能够降低运算量和渲染工作量。

进一步地，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之前，所述方法还包括：

根据角色预设的移动速度设置水平方向移动距离比率和垂直方向移动距离比率；

基于所述水平方向移动距离比率和所述移动速度确定场景长度，基于所述垂直方向移动距离比率和所述移动速度确定场景宽度，根据所述场景宽度和所述场景长度对三维图像进行分割，得到三维图像的各场景。

由上述描述可知，通过角色预设的移动速度划分三维图像的场景，能够提高场景划分的可靠性。

请参照图2，本发明另一实施例提供了一种三维图像风格化迁移终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集；

获取角色的在所述三维图像中的第一位置与第一方向，计算所述第一位置与各场景的中心点坐标的距离，以及计算所述第一位置到各场景的中心点坐标的方向与所述第一方向的夹角，结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数；

基于所述第二风格迁移参数生成第二UV贴图，并将所述第二UV贴图渲染至各场景中。

从上述描述可知，本发明的有益效果在于：获取三维图像中各场景的中心点坐标和第一UV贴图，并从第一UV贴图中提取第一风格迁移参数集，之后基于角色的位置和方向动态计算融合的风格迁移参数，以此方式，通过动态调整风格迁移参数为不同的角色位置提供不同的贴图，并且基于距离、夹角和第一风格迁移参数集进行融合，可以优化在不同风格场景间移动时的视觉效果，相较于现有技术能够动态灵活地进行风格迁移，保证风格迁移的连续性。

进一步地，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之后，所述方法还包括：

读取所述三维图像所在设备的硬件配置、预设的图像质量以及运行时帧，结合所述硬件配置、预设的图像质量以及运行时帧确定贴图刷新频率。

由上述描述可知，基于硬件配置、预设的图像质量以及运行时帧确定贴图刷新频率，能够基于贴图刷新频率执行风格的融合运算。

进一步地，所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数包括：

计算融合后的第二风格迁移参数：

；

式中，n表示场景数量，sti表示第一风格迁移参数集中第i个场景的参数，ci表示第i个场景的中心点坐标，L表示第一位置，D表示第一方向，d(ci,L)表示所述第一位置与第i个场景的中心点坐标的距离，g(L,D,ci)表示所述第一位置到第i个场景的中心点坐标的方向与所述第一方向的弧度，单位为rad。

由上述描述可知，结合第一位置与第i个场景的中心点坐标的距离、第一位置到第i个场景的中心点坐标的方向与第一方向的夹角、第一风格迁移参数集得到融合后的第二风格迁移参数，能够对风格迁移参数进行加权平均，使其具有连续性，产生渐变式的风格迁移效果。

进一步地，所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数，还包括：

根据角色在所述三维图像中的第一位置与第一方向，确定所述三维图像中的可视场景数量m，若所述可视场景数量m小于所述场景数量n，则计算融合后的第二风格迁移参数S’(m,l,D)。

由上述描述可知，当n个场景中只有m个场景为可视场景时，在融合计算时舍弃不可视场景，以此方式，能够降低运算量和渲染工作量。

进一步地，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之前，所述方法还包括：

根据角色预设的移动速度设置水平方向移动距离比率和垂直方向移动距离比率；

基于所述水平方向移动距离比率和所述移动速度确定场景长度，基于所述垂直方向移动距离比率和所述移动速度确定场景宽度，根据所述场景宽度和所述场景长度对三维图像进行分割，得到三维图像的各场景。

由上述描述可知，通过角色预设的移动速度划分三维图像的场景，能够提高场景划分的可靠性。

本发明上述的一种三维图像风格化迁移方法及终端，适用于在元宇宙场景中，根据游戏等交互系统中虚拟角色的位置以及移动方向等各项实时属性对场景内模型贴图进行风格化迁移处理，能够动态灵活地进行风格迁移，保证风格迁移的连续性，以下通过具体的实施方式进行说明：

实施例一

请参照图1和图3，一种三维图像风格化迁移方法，包括步骤：

S0、确定三维图像的场景。

具体的，根据角色预设的移动速度设置水平方向移动距离比率和垂直方向移动距离比率；基于所述水平方向移动距离比率和所述移动速度确定场景长度，基于所述垂直方向移动距离比率和所述移动速度确定场景宽度，根据所述场景宽度和所述场景长度对三维图像进行分割，得到三维图像的各场景。

在本实施例中，根据角色移动速度将三维图像场景划分成块，对每一块的中心点坐标提前进行基本逻辑中的风格融合操作并将生成结果缓存。此时在执行阶段中，对角色位置判定可更改为对所处区块进行判定，判定完成后采取角色所处区块缓存结果替换模型当前链接的贴图并重新进行烘焙、渲染等操作。此方法可减小实时运算量，降低机器硬件要求并提高程序运行表现。

因此，需要根据初始角色可移动区域边界，计算得出最小外接矩形：

定义角色预设的移动速度为v，手动设定的比率参数a_l、a_w，分别对应矩形长短边。再根据设定的角色移动速度对矩形进行分割。分割方式为在沿宽方向每隔d_w单位距离作长，沿长方向每隔d_l单位距离作宽，将外接矩形分割成小矩形。其中：

。

针对每个分割后的小矩形，矩形的中心点坐标即为其对角线交点，可通过矩形定点坐标计算获得。

S1、获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集。

在本实施例中，获取元宇宙内三维图像中n个场景的原始UV贴图（s1,s2,…,sn），并标记各场景的中心点坐标（c1,c2,…,cn）。同时根据用户输入各场景对应的参考风格图片（p1,p2,…,pn），使用风格迁移模型预生成各原始UV贴图的风格迁移参数集（st1,st2,…,stn），本实施例中风格迁移模型可以为CycleGan模型。

之后，读取所述三维图像所在设备的硬件配置、预设的图像质量以及运行时帧，结合所述硬件配置、预设的图像质量以及运行时帧确定贴图刷新频率；

本实施例中，读取部署机器的硬件配置Conf、用户指定的画面质量选项Opt以及软件运行时帧率FPS计算得出场景贴图刷新频率(F，单位：帧/次)。定义Conf值越高代表机器算力越高，Opt值越高表示用户对画面更新质量要求越高，则有：

；

根据所述贴图刷新频率，每间隔F帧执行一次步骤S2。

其中，当用户硬件资源不足以支撑实时运算与烘焙等渲染预处理操作的计算需求，此时可通过设计多级画质方式，对该情况采用分辨率和更低的贴图以及面数更少的模型或减少烘焙等渲染预处理操作的频率来降低计算需求。且根据基本逻辑中对迁移计算频率的表述，此时F也会随之增加，即，两次运算与置换间将会留有更长时间作为缓冲。以此即可降低对于用户硬件算力的需求。

S2、获取角色的在所述三维图像中的第一位置与第一方向，计算所述第一位置与各场景的中心点坐标的距离，以及计算所述第一位置到各场景的中心点坐标的方向与所述第一方向的夹角，结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数。

其中，通过元宇宙引擎提供的API实时监测用户摄像机或用户角色在场景中的第一位置L及第一方向D。

具体的，计算融合后的第二风格迁移参数：

；

式中，n表示场景数量，sti表示第一风格迁移参数集中第i个场景的参数，ci表示第i个场景的中心点坐标，d(ci,L)表示所述第一位置与第i个场景的中心点坐标的距离，g(L,D,ci)表示所述第一位置到第i个场景的中心点坐标的方向与所述第一方向的弧度，单位为rad。

其中，在一些实施例中，根据角色在所述三维图像中的第一位置与第一方向，确定所述三维图像中的可视场景数量m，若所述可视场景数量m小于所述场景数量n，则计算融合后的第二风格迁移参数S’(m,l,D)。

在本实施例中，共有n个场景，其中仅有n1,n2,…,nm（m<n）个场景处于可视范围内，此时对于风格融合计算S’，其输入为S’(m,l,D)，即舍弃了场景st(m+1),…,stn场景的风格化参数，以此降低运算量和渲染工作量。

S3、基于所述第二风格迁移参数生成第二UV贴图，并将所述第二UV贴图渲染至各场景中。

具体的，根据获得的新参数S’替换风格迁移模型的原有第一风格迁移参数后，重新运行风格迁移模型生成全场景对应的第二UV贴图（uv_1,uv_2,…,uv_n），本实施例中风格迁移模型可以为CycleGan模型。在完成烘焙等处理后将重新渲染至场景中。

因此，通过本实施例，在风格迁移技术成熟的条件下可以显著降低元宇宙场景搭建中对于同场景不同风格贴图情况下的美术资源需求量。同时可以优化在不同风格场景间移动时的视觉效果，并且通过针对风格的连续渐变式处理方法，可以实现滤镜化的渐变艺术效果。

实施例二

请参照图2，一种三维图像风格化迁移终端1，包括存储器2、处理器3以及存储在所述存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一的一种三维图像风格化迁移方法的各个步骤。

综上所述，本发明提供的一种三维图像风格化迁移方法及终端，获取三维图像中各场景的中心点坐标和第一UV贴图，并从第一UV贴图中提取第一风格迁移参数集，之后基于角色的位置和方向动态计算融合的风格迁移参数，以此方式，通过动态调整风格迁移参数为不同的角色位置提供不同的贴图，并且基于距离、夹角和第一风格迁移参数集进行融合，可以优化在不同风格场景间移动时的视觉效果。因此，本发明在风格迁移技术成熟的条件下可以显著降低元宇宙场景搭建中对于同场景不同风格贴图情况下的美术资源需求量。同时可以优化在不同风格场景间移动时的视觉效果，并且通过针对风格的连续渐变式处理方法，可以实现滤镜化的渐变艺术效果。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种三维图像风格化迁移方法，其特征在于，包括步骤：

获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集；

获取角色的在所述三维图像中的第一位置与第一方向，计算所述第一位置与各场景的中心点坐标的距离，以及计算所述第一位置到各场景的中心点坐标的方向与所述第一方向的夹角，结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数；

所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数包括：

计算融合后的第二风格迁移参数：

；

式中，n表示场景数量，sti表示第一风格迁移参数集中第i个场景的参数，ci表示第i个场景的中心点坐标，L表示第一位置，D表示第一方向，d(ci,L)表示所述第一位置与第i个场景的中心点坐标的距离，g(L,D,ci)表示所述第一位置到第i个场景的中心点坐标的方向与所述第一方向的弧度，单位为rad；

基于所述第二风格迁移参数生成第二UV贴图，并将所述第二UV贴图渲染至各场景中。

2.根据权利要求1所述的一种三维图像风格化迁移方法，其特征在于，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之后，所述方法还包括：

读取所述三维图像所在设备的硬件配置、预设的图像质量以及运行时帧，结合所述硬件配置、预设的图像质量以及运行时帧确定贴图刷新频率。

3.根据权利要求1所述的一种三维图像风格化迁移方法，其特征在于，所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数，还包括：

根据角色在所述三维图像中的第一位置与第一方向，确定所述三维图像中的可视场景数量m，若所述可视场景数量m小于所述场景数量n，则计算融合后的第二风格迁移参数S’(m,L,D)。

4.根据权利要求1所述的一种三维图像风格化迁移方法，其特征在于，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之前，所述方法还包括：

根据角色预设的移动速度设置水平方向移动距离比率和垂直方向移动距离比率；

基于所述水平方向移动距离比率和所述移动速度确定场景长度，基于所述垂直方向移动距离比率和所述移动速度确定场景宽度，根据所述场景宽度和所述场景长度对三维图像进行分割，得到三维图像的各场景。

5.一种三维图像风格化迁移终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集；

获取角色的在所述三维图像中的第一位置与第一方向，计算所述第一位置与各场景的中心点坐标的距离，以及计算所述第一位置到各场景的中心点坐标的方向与所述第一方向的夹角，结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数；

所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数包括：

计算融合后的第二风格迁移参数：

；

式中，n表示场景数量，sti表示第一风格迁移参数集中第i个场景的参数，ci表示第i个场景的中心点坐标，L表示第一位置，D表示第一方向，d(ci,L)表示所述第一位置与第i个场景的中心点坐标的距离，g(L,D,ci)表示所述第一位置到第i个场景的中心点坐标的方向与所述第一方向的弧度，单位为rad；

基于所述第二风格迁移参数生成第二UV贴图，并将所述第二UV贴图渲染至各场景中。

6.根据权利要求5所述的一种三维图像风格化迁移终端，其特征在于，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之后，还包括：

读取所述三维图像所在设备的硬件配置、预设的图像质量以及运行时帧，结合所述硬件配置、预设的图像质量以及运行时帧确定贴图刷新频率。

7.根据权利要求5所述的一种三维图像风格化迁移终端，其特征在于，所述结合计算得到的距离、夹角和所述第一风格迁移参数集得到融合后的第二风格迁移参数，还包括：

根据角色在所述三维图像中的第一位置与第一方向，确定所述三维图像中的可视场景数量m，若所述可视场景数量m小于所述场景数量n，则计算融合后的第二风格迁移参数S’(m,L,D)。

8.根据权利要求5所述的一种三维图像风格化迁移终端，其特征在于，在所述获取三维图像中各场景的中心点坐标和第一UV贴图，从各场景的第一UV贴图中提取第一风格迁移参数集的步骤之前，还包括：

根据角色预设的移动速度设置水平方向移动距离比率和垂直方向移动距离比率；

基于所述水平方向移动距离比率和所述移动速度确定场景长度，基于所述垂直方向移动距离比率和所述移动速度确定场景宽度，根据所述场景宽度和所述场景长度对三维图像进行分割，得到三维图像的各场景。

Images