CN116029024B - 视角自动规划的生长动画生成方法、系统、装置及介质 - Google Patents

Abstract

本发明提供的视角自动规划的生长动画生成方法、系统、装置及介质，方法包括：获取全屋三维场景中封闭空间的空间信息以及初始镜头信息，构建模型包围盒并确定软硬装模型；调整初始镜头信息，得到最优镜头；根据入口镜头信息以及最优镜头，结合渲染路径进行补间插帧，得到镜头序列；根据镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序；根据生长顺序构建关键帧数据序列，根据关键帧数据序列通过深度学习得到全屋生长动画；方案可以有效地节约学习成本、人力成本和时间成本，实现视角变化动画、路线移动动画，提高动画质量，可广泛应用于数字媒体与家居设计技术领域。

Description

视角自动规划的生长动画生成方法、系统、装置及介质

技术领域

本发明涉及数字媒体与家居设计技术领域，尤其是视角自动规划的生长动画生成方法、系统、装置及介质。

背景技术

在家居3D设计行业中，企业传递信息的工具有很多，例如高渲染质量的图片、语言优美的文案等，三维场景生长动画视频也是信息传递的一种方式。所谓场景生长动画，就是运用3D虚拟技术展现物体从无到有、从少到多、从离到合的一种动态构建过程，通过一定的艺术加工从不同视觉角度，生动巧妙地赋予建筑场景以生命气息。在生长动画中，场景里的墙、顶面、地板、门窗、硬装、定制家居、软装等无生命的材料瞬时变得生机勃勃，开始展现它们活灵活现的一面。

目前，一条生长动画的制作需要进行以下操作：在三维动画软件中完成场景建模；规划场景元素的生长顺序，使用软件功能或软件所支持的第三方插件，逐一编辑各类元素的动画呈现；结合离线渲染器生成静帧图像序列；导入到非线性视频编辑软件中完成剪辑。这类生长动画技术有如下缺点：需要设计师掌握多款软件的使用，这些软件主要是大型商业软件，软件成本和学习成本高；需要设计师配备高于消费者市场主流配置的计算机，如专业的图形工作站，才能满足建模、渲染和视频生成的运行环境要求，硬件成本高；需要设计师在满足软硬件要求的单台计算机环境中编辑和存储，对单机环境极度依赖产生的迁移成本和风险成本高；需要设计师将大量精力投入从宏观的顺序规划到微观的具体动画效果细节实施，时间成本和人力成本高；动画模板是简单的平移、旋转、缩放、透明等动画效果，可操作性不高。

发明内容

有鉴于此，为至少部分解决上述技术问题或者缺陷之一，本发明实施例的目的在于提供一种视角自动规划的生长动画生成方法，旨在实现一键式生成动画，节约学习成本、人力成本和时间成本。极大地提高前端设计师的整体服务效率与服务质量；本申请技术方案同时还提供了方法对应的系统、装置以及介质。

一方面，本申请技术方案提供了视角自动规划的生长动画生成方法，包括以下步骤：

获取全屋三维场景中各个封闭空间的空间信息；

根据所述空间信息以及获取的初始镜头信息，构建所述封闭空间对应的模型包围盒，根据所述模型包围盒确定软硬装模型；

调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头；

根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列；

根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序；

根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画。

在本申请方案的一种可行的实施例中，所述空间信息包括空间拓扑关系、空间中心点坐标以及渲染路径；所述获取全屋三维场景中各个封闭空间的空间信息，包括：

根据门扇连通的空间，构建所述封闭空间与相邻空间之间的拓扑关系；

获取墙体的俯视信息，根据所述俯视信息确定平面中心点坐标，通过房屋的层高以及所述平面中心点坐标确定所述空间中心点坐标；

确定入户门点，计算所述入户门点与门扇之间的最小路径，根据所述最小路径确定所述渲染路径，所述最小路径与平面直角坐标系的坐标轴正交；

将所述拓扑关系、所述空间中心点坐标以及所述渲染路径整合至所述空间信息中。

在本申请方案的一种可行的实施例中，所述调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头，包括：

将采集镜头设置于所述空间中心点坐标，并根据所述拓扑关系的第一朝向设置所述采集镜头的镜头朝向；

旋转所述镜头朝向得到第二朝向，根据第二朝向沿所述最小路径对所述采集镜头的视场内的软硬装模型进行遍历；

根据遍历结果构建所述第二朝向与所述封闭空间的映射关系的哈希表，根据所述哈希表中所述软硬装模型在所述封闭空间中的数量与所述软硬装模型在所述视场内的数量的比值，确定所述最优镜头。

在本申请方案的一种可行的实施例中，所述旋转所述镜头朝向得到第二朝向，根据第二朝向沿所述最小路径对所述采集镜头的视场内的软硬装模型进行遍历，包括：

获取软硬装模型中目标点的世界坐标，所述采集镜头的投影矩阵以及所述采集镜头的观察矩阵；

根据所述世界坐标、所述投影矩阵以及所述观察矩阵计算得到所述目标点在所述视场内的模型坐标；

根据所述模型坐标对所述软硬装模型进行筛选。

在本申请方案的一种可行的实施例中，所述根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列，包括：

确定所述渲染路径的起始镜头位姿矩阵以及终点镜头位姿矩阵；

根据所述起始镜头位姿矩阵表征的第一坐标朝向和所述终点镜头位姿矩阵表征的第二坐标朝向计算得到旋转平移矩阵；

根据所述起始镜头位姿矩阵以及所述旋转平移矩阵计算得到补间镜头，根据所述补间镜头进行补间插帧，得到所述镜头序列。

在本申请方案的一种可行的实施例中，所述根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序，包括：

获取所述软硬装模型确定世界坐标系中所述模型包围盒的包围盒中心点；

根据所述包围盒中心点、采集镜头的观察矩阵、相机远平面以及相机近平面，计算得到像素点的深度信息；

根据所述深度信息将所述软硬装模型沿空间轴方向进行排序，得到所述生长顺序。

在本申请方案的一种可行的实施例中，所述根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画，包括：

根据关键帧数据序列获取相邻关键帧的深度图，以及补帧时间系数确定第一光流；

将所述第一光流与深度图信息进行结合，并将结合后的图像信息进行像素遮挡处理，得到深度感知光流投影层的中间光流；

根据所述中间光流、上下文特征提取网络的输出以及插值估计网络对相邻关键帧进行双线性插值变形，得到中间帧；

根据所述中间帧通过视频合成算法合成得到所述全屋生长动画。

另一方面，本申请技术方案还提供了视角自动规划的生长动画生成系统，该系统包括：

场景信息获取单元，用于获取全屋三维场景中各个封闭空间的空间信息；

软硬装饰建模单元，用于根据所述空间信息以及获取的初始镜头信息，构建所述封闭空间对应的模型包围盒，根据所述模型包围盒确定软硬装模型；

采集镜头调整单元，用于调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头；

镜头序列生成单元，用于根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列；

生长顺序控制单元，用于根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序；

生长动画合成单元，用于根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画。

另一方面，本申请技术方案还提供视角自动规划的生长动画生成装置，该装置包括至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如第一方面中所述的视角自动规划的生长动画生成方法。

另一方面，本申请技术方案还提供一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如第一方面中任一项所述的视角自动规划的生长动画生成方法。

本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：

本申请技术方案提供了一种可以完成自动合理变化视角、自动合理规划生长顺序、自动生成渲染帧合成视频的一键式全自动全屋生长动画快速生成的技术方案。方案能够实现视角变化动画、路线移动动画，提高动画质量；实现终端进行动画确认，在云端进行渲染，降低硬件成本；并且还能够实现一键式生成动画，节约学习成本、人力成本和时间成本。方案可以极大地提高前端设计师的整体服务效率与服务质量，赋能终端门店所见即所得，使得家居3D设计更简单，促进家居设计领域的发展。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请技术方案中提供的视角自动规划的生长动画生成方法的步骤流程图；

图2为本申请技术方案中所有墙体的俯视信息以及拓扑关系的示意图；

图3为本申请技术方案中基于深度学习的深度图光流估计插帧框架示意图；

图4为本申请技术方案中计算中间光流的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

针对背景技术方案所指出现有技术存在的不足，相关技术方案中虽然也有一些针对定制家具行业的平台软件，提供了一些改良的生长动画技术，但是这些平台软件的生长动画功能仍然需要设计师设置镜头变化、手动设置元素动画，还要在画面色调、构图、明暗、镜头设计组接、节奏把握等方面进行艺术的再创造。这对于众多设计师的技术要求无疑仍然很高，且一条生长动画的制作周期依然比较长。因此，在家居设计领域，亟需一种可以一键式的全自动全屋生长动画生成方法。

结合说明书附图1，对本申请技术方案的实施例中所提供的视角自动规划的生长动画生成方法，方法可以包括步骤S01-S05：

S01、获取全屋三维场景中各个封闭空间的空间信息。

具体在实施例中，需要预先获取整个全屋三维场景中，各个封闭空间的空间信息。在一些可选的实施方式中，空间信息的内容可以包括空间拓扑关系、空间中心点坐标以及渲染路径；进而，实施例中生长动画生成方法的步骤S01，可以包括步骤S011-S014：

S011、根据门扇连通的空间，构建所述封闭空间与相邻空间之间的拓扑关系；

S012、获取墙体的俯视信息，根据所述俯视信息确定平面中心点坐标，通过房屋的层高以及所述平面中心点坐标确定所述空间中心点坐标；

S013、确定入户门点，计算所述入户门点与门扇之间的最小路径，根据所述最小路径确定所述渲染路径，所述最小路径与平面直角坐标系的坐标轴正交；

S014、将所述拓扑关系、所述空间中心点坐标以及所述渲染路径整合至所述空间信息中。

具体在实施例中，根据空间门扇左右两边所属子空间的信息，建立各个封闭空间与相邻空间的拓扑关系{G}，如图2所示，实施例中拓扑关系的如下所示：

拓扑关系{G}->{

空间名称：客厅，

包围盒中心点：J，

朝向：(x0，y0)，

相邻空间：{

{空间名称：屋外空间，链接点：A，包围盒中心点：null，朝向：(x1，y1)}、

{空间名称：厨房，链接点：C，包围盒中心点：I，朝向：(x2，y2)}、

{空间名称：卫生间，链接点：B，包围盒中心点：H，朝向：(x3，y3)}、

{空间名称：主卧，链接点：D，包围盒中心点：K，朝向：(x4，y4)}、

{空间名称：次卧，链接点：E，包围盒中心点：M，朝向：(x5，y5)}

}

并且，实施例利用计算中心位置算法确定空间中心点坐标。示例性地，利用空间的所有墙体的俯视信息，根据凸多边形的求中心点原理，计算在俯视图(2维)下的中心点，从而得到中心点的x，y坐标，再根据当前户型的高，取其一半作为z轴坐标，从而得到空间中心点的坐标(x，y，z)。

另外，实施例以入户门点A作为全屋的入口，采用Dijkstra算法计算从点A到其他门扇点的最小路径，路径需要与XY轴正交，如图2中线段，并保存路径为LU1。

S02、根据所述空间信息以及获取的初始镜头信息，构建所述封闭空间对应的模型包围盒，根据所述模型包围盒确定软硬装模型。

具体在实施例中，(初始)镜头信息包括镜头坐标与镜头朝向。因此，先移动镜头到子空间中心点，然后获取封闭空间内的所有模型包围盒，并区分软硬装模型总数为W_{空间内软硬装元素个数}，并缓存供后续使用。

S03、调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头。

具体在实施例中，通过自动化调整镜头，求出最优镜头Q，最优镜头的定义为当前镜头视角下包含最多的软硬装模型。在一些可选的实施方式中，实施例方法中的步骤S03，可以进一步包括步骤S031-S033：

S031、将采集镜头设置于所述空间中心点坐标，并根据所述拓扑关系的第一朝向设置所述采集镜头的镜头朝向。

S032、旋转所述镜头朝向得到第二朝向，根据第二朝向沿所述最小路径对所述采集镜头的视场内的软硬装模型进行遍历。

S033、根据遍历结果构建所述第二朝向与所述封闭空间的映射关系的哈希表，根据所述哈希表中所述软硬装模型在所述封闭空间中的数量与所述软硬装模型在所述视场内的数量的比值，确定所述最优镜头。

具体在实施例中，过程可以细分为：

A、将采集镜头的朝向设置为某个封闭空间的拓扑关系{G}中的朝向。

B、移动镜头到子空间中心点，镜头朝向绕逆时针旋转(360/step1)角度，此时朝向为P(即第二朝向)。如果已经旋转360度，进入步骤H。

C、当旋转角度还未达到360度的过程中，判断当前镜头是否在渲染元素(即软硬装模型)包围盒内，如果在，沿着当前朝向，向后移动step2；重复步骤C直至镜头不在渲染元素包围盒内。

D、进一步判断当前镜头坐标是否在该空间内，如果不在，则重复步骤B，否则进入步骤E。

E、采用计算一个渲染元素是否在标准设备坐标内的方式判断该模型的包围盒是否都在在相机视场范围内。如果元素在相机视场内，则有：

W_{视场内软硬装元素个数}＝W_{视场内软硬装元素个数}+1

重复步骤E，直到遍历所有视场内软硬装元素，进入步骤F。

F、根据相机的视角范围计算当前空间内的软硬装模型在相机视场范围内的比率s，其中，比率s满足如下计算式：

s＝(W_{视场内软硬装元素个数}/W_{空间内软硬装元素个数})x 100％

并与视角朝向P的映射关系存储为哈希表L。

G、重复步骤B。

H、判断L中是否有元素，如果没有元素，则最优镜头Q默认为门扇前点，例如，图2中所示的A、B、C、D、E、F点，朝向为从外到里；如果有元素，则取比率s最大时所对应的镜头为最优镜头Q，并与子空间的映射关系存储为哈希表J。

I、重复步骤A，直到遍历所有封闭空间。

在一些可行的实施方式中，实施例方法中步骤S032可以包括步骤S0321-S0323：

S0321、获取软硬装模型中目标点的世界坐标，所述采集镜头的投影矩阵以及所述采集镜头的观察矩阵；

S0322、根据所述世界坐标、所述投影矩阵以及所述观察矩阵计算得到所述目标点在所述视场内的模型坐标；

S0323、根据所述模型坐标对所述软硬装模型进行筛选。

具体在实施例中，计算一个点是否在相机视场内的过程中：pt_world是该点的世界坐标，Mat_project为相机的投影矩阵，Mat_Look为相机的观察矩阵，Mat矩阵是一个4X4矩阵，其中元素分别为{m11，m12，m13，m14，m21，m22，m23，m24，m31，m32，m33，m34，m41，m42，m43，m44}；

令Mat_model＝Mat_Look*Mat_project

z_t＝pt_world.x*Mat_model.m14+pt_world.y*Mat_model.m24+pt_world.z*Mat_model.m34+Mat_model.m44

x＝(pt_world.x*Mat_model.m11+pt_world.y*Mat_model.m21+pt_world.z*Mat_model.m31+Mat_model.m41)/z_t

y＝(pt_world.x*Mat_model.m12+pt_world.y*Mat_model.m22+pt_world.z*Mat_model.m32+Mat_model.m42)/z_t

z＝(pt_world.x*Mat_model.m13+pt_world.y*Mat_model.m23+pt_world.z*Mat_model.m33+Mat_model.m43)/z_t

if(-1<x<1&&-1<y<1)则该点在相机视场内，同理计算所有包围盒的8个顶点。

S04、根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列。

具体在实施例中，根据上述镜头哈希表J中子空间入口的镜头信息与对应子空间的最优镜头信息Q，同时，根据渲染路径LU1，在拐点处新增渲染镜头信息，补充到镜头序列V中。首先需要计算出S_镜头总数

S_镜头总数＝ΣS_入口镜头+ΣS_最优镜头+ΣS_拐点镜头

设定任意镜头到入口镜头的时间间隔t为2秒，任意镜头到拐点镜头的时间间隔t为3秒，任意镜头到最优镜头的时间间隔t为5秒，则动画时长计算公式为:

T总＝(ΣS_入口镜头–1)x 2x 2s+ΣS_最优镜头x 5s+ΣS_拐点镜头x 3s

然后，根据现有镜头序列与不同镜头类型的时间间隔，对相邻镜头进行补间插帧，获取待渲染的镜头序列。

在一些可行的实施方式中，方法中步骤S04中，镜头补帧可以包括步骤S041-S043：

S041、确定所述渲染路径的起始镜头位姿矩阵以及终点镜头位姿矩阵；

S042、根据所述起始镜头位姿矩阵表征的第一坐标朝向和所述终点镜头位姿矩阵表征的第二坐标朝向计算得到旋转平移矩阵；

S043、根据所述起始镜头位姿矩阵以及所述旋转平移矩阵计算得到补间镜头，根据所述补间镜头进行补间插帧，得到所述镜头序列。

具体在实施例中，在两个镜头位姿中间插入t个位姿(t同上，为两个镜头的时间间隔)，Mat_pose1为起始镜头位姿矩阵，Mat_pose2为终点镜头位姿矩阵，根据起始镜头的坐标朝向与终点镜头的坐标朝向，计算旋转角度与平移距离，均分为t段，计算每段的旋转平移矩阵Mat_trans,则插入的镜头位姿Mat_pose1.1计算过程如下：

Mat_pose1.1＝Mat_pose1*Mat_trans

同理，求得所有补间镜头，并保存所有的镜头位姿矩阵，得到完整的镜头序列V_total。

S05、根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序。

具体在实施例中，根据获取得到的空间入口镜头序列，逐一遍历镜头，在任意镜头内进行求解。根据光栅化渲染原理，通过坐标变换将场景的几何模型面元一一映射到相机图像平面上，每个像素点存取距离相机最近的面元索引、深度信息。并且，实施例结合所获得的硬装和软装元素在空间的深度关系，以及预先设定的填充顺序逻辑，自动规划当前相机视角中各元素的填充顺序。示例性地，实施例中预先设定的填充顺序逻辑规则包括：1)预定义的业务模型类型优先级填充顺序规则，2)用户给定的期望填充顺序。

预定义的业务模型类型优先级填充顺序规则如下：

1)毛坯房户型模型；

2)墙顶面涂料、地面铺装地板；

3)门套，房门、窗框安装；

4)吊顶、台面、踢脚线等；

5)灯具、硬装、定制家具、柜体等；

6)软装、饰品等；

在上述预定义的填充顺序中，在5)、6)中对同类元素结合步骤4中获得的深度排序顺序进行生长，生长时间间隔为5s。

在一些可行的实施方式中，步骤S05中深度信息的具体获取过程，可以包括步骤S051-S053：

S051、获取所述软硬装模型确定世界坐标系中所述模型包围盒的包围盒中心点；

S052、根据所述包围盒中心点、采集镜头的观察矩阵、相机远平面以及相机近平面，计算得到像素点的深度信息；

S053、根据所述深度信息将所述软硬装模型沿空间轴方向进行排序，得到所述生长顺序。

具体在实施例中，获取的硬装、软装渲染元素世界坐标包围盒，计算当前视角下渲染元素沿既定的空间轴方向的深度Z_depth：

z_t＝pt_center.x*Mat_Look.m14+pt_center.y*Mat_Look.m24+pt_center.z*pt_center.m34+Mat_Look.m44

z＝(pt_center.x*Mat_Look.m13+pt_center.y*Mat_Look.m23+pt_center.z*Mat_Look.m33+Mat_Look.m43)/z_t

Z_depth＝(1/abs(z)-1/zNear)/(1/zFar-1/zNear)

其中，pt_center是上述硬装、软装渲染元素世界坐标包围盒的中心点，Mat_Look为相机的观察矩阵，zFar为相机远平面，zNear为相机近平面。

然后，并将当前渲染帧中所含有的硬装、软装渲染元素根据对应的深度距离Z_depth沿既定的空间轴方向进行排序，并将排序索引和渲染元素的映射关系存储为散列表，作用于后续生长排序。

S06、根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画。

具体在实施例中，基于获得的生长顺序，将渲染场景数据拆分成关键帧数据序列，结合云渲染农场生成关键帧图像，同时输出该关键帧对应的深度图。然后，通过基于深度学习算法，利用深度图的信息来检测遮挡，然后利用深度感知光流投影层来合成中间光流，预测中间关键帧，使预测的中间帧符合相邻两帧的平滑运动关系，从而得到帧率更高，画面更流畅的动画渲染帧。

在一些可行的实施方式中，步骤S06中基于深度学习的深度图光流估计插帧的过程，可以包括步骤S061-S064：

S061、根据关键帧数据序列获取相邻关键帧的深度图，以及补帧时间系数确定第一光流

S062、将所述第一光流与深度图信息进行结合，并将结合后的图像信息进行像素遮挡处理，得到深度感知光流投影层的中间光流；

S063、根据所述中间光流、上下文特征提取网络的输出以及插值估计网络对相邻关键帧进行双线性插值变形，得到中间帧；

S064、根据所述中间帧通过视频合成算法合成得到所述全屋生长动画。

具体在实施例中，给定两个相邻的关键帧L₀和L₁与对应的深度图D₀和D₁，以及补帧时间系数T＝t∈(0,1)，来估计光流l_t→0和l_t→1，其中，l_t→0和l_t→1分别表示从L_t到L₀的光流和L_t到L₁的光流。经过光流估计网络并结合深度图信息，处理像素遮挡，从而得到深度感知光流投影层的输出中间光流，然后，根据上下文特征提取网络的输出，结合插值估计网络，对前后帧进行双线性插值变形，从而生成中间帧L_t。同理，输出所有插帧，最后通过ffmpeg视频合成算法，将动画渲染帧合成视频，生成动画。

其中，深度感知光流投影层通过反转在时刻t经过x位置的光流f来估计给定的x位置的中间光流。如图3所示，x，y₁，y₂表示图像平面的2D空间坐标，此时有：

l_t→0(x)＝-t*l_0→1(y)

l_t→1(x)＝-(1-t)*l_1→0(y)

其中，Q(x)表示在t时刻经过x的像素集合，Z₀由深度图来定义：

另一方面，本申请技术方案还提供了视角自动规划的生长动画生成系统，该系统包括：

场景信息获取单元，用于获取全屋三维场景中各个封闭空间的空间信息；

软硬装饰建模单元，用于根据所述空间信息以及获取的初始镜头信息，构建所述封闭空间对应的模型包围盒，根据所述模型包围盒确定软硬装模型；

采集镜头调整单元，用于调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头；

镜头序列生成单元，用于根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列；

生长顺序控制单元，用于根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序；

生长动画合成单元，用于根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画。

另一方面，本申请技术方案还提供了视角自动规划的生长动画生成装置，该装置包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如第二方面所述的视角自动规划的生长动画生成方法。

本发明实施例还提供了一种存储介质，其存储有对应的执行程序，程序被处理器执行，实现第一方面中的视角自动规划的生长动画生成方法。

从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：

本申请技术方案可以使设计师无需任何操作，只需要点击一键生成全屋生长动。其预计算-规划模组会自动计算镜头移动路径与镜头关键帧信息，以及对应视角场景内元素的填充顺序，构建出从空场景到完整全屋场景的帧序列，不再需要任何人工干预，而现有方法需要设计师逐空间构思内容，人工添加删除场景内的视角移动，耗时在几十分钟到数小时不等；渲染-生成-合成模组根据帧序列能自动地生成每一帧图像；基于深度学习的视频插帧使整个动画视频更流程，全过程只需几十分钟，而传统方法需要设计师逐帧渲染出所有图像并生成动画视频，往往需要数天；能够以完全自动化方式完成现有技术需要人工干预的多个环节，显著节约学习成本、人力成本和时间成本。同时极大地提高前端设计师的整体服务效率与服务质量，赋能终端门店所见即所得，让家居3D设计更简单，促进家居设计领域的发展，使之更具应用价值。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.视角自动规划的生长动画生成方法，其特征在于，包括以下步骤：

获取全屋三维场景中各个封闭空间的空间信息；

根据所述空间信息以及获取的初始镜头信息，构建所述封闭空间对应的模型包围盒，根据所述模型包围盒确定软硬装模型；

调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头；

根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列；

根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序；

根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画；

所述空间信息包括空间拓扑关系、空间中心点坐标以及渲染路径；所述获取全屋三维场景中各个封闭空间的空间信息，包括：

根据门扇连通的空间，构建所述封闭空间与相邻空间之间的拓扑关系；

获取墙体的俯视信息，根据所述俯视信息确定平面中心点坐标，通过房屋的层高以及所述平面中心点坐标确定所述空间中心点坐标；

确定入户门点，计算所述入户门点与门扇之间的最小路径，根据所述最小路径确定所述渲染路径，所述最小路径与平面直角坐标系的坐标轴正交；

将所述拓扑关系、所述空间中心点坐标以及所述渲染路径整合至所述空间信息中；

所述调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头，包括：

将采集镜头设置于所述空间中心点坐标，并根据所述拓扑关系的第一朝向设置所述采集镜头的镜头朝向；

旋转所述镜头朝向得到第二朝向，根据第二朝向沿所述最小路径对所述采集镜头的视场内的软硬装模型进行遍历；

根据遍历结果构建所述第二朝向与所述封闭空间的映射关系的哈希表，根据所述哈希表中所述软硬装模型在所述封闭空间中的数量与所述软硬装模型在所述视场内的数量的比值，确定所述最优镜头；

所述根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序，包括：

获取所述软硬装模型确定世界坐标系中所述模型包围盒的包围盒中心点；

根据所述包围盒中心点、采集镜头的观察矩阵、相机远平面以及相机近平面，计算得到像素点的深度信息；

根据所述深度信息将所述软硬装模型沿空间轴方向进行排序，得到所述生长顺序；

所述根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画，包括：

根据关键帧数据序列获取相邻关键帧的深度图，以及补帧时间系数确定第一光流；

将所述第一光流与深度图信息进行结合，并将结合后的图像信息进行像素遮挡处理，得到深度感知光流投影层的中间光流；

根据所述中间光流、上下文特征提取网络的输出以及插值估计网络对相邻关键帧进行双线性插值变形，得到中间帧；

根据所述中间帧通过视频合成算法合成得到所述全屋生长动画。

2.根据权利要求1所述的视角自动规划的生长动画生成方法，其特征在于，所述旋转所述镜头朝向得到第二朝向，根据第二朝向沿所述最小路径对所述采集镜头的视场内的软硬装模型进行遍历，包括：

获取软硬装模型中目标点的世界坐标，所述采集镜头的投影矩阵以及所述采集镜头的观察矩阵；

根据所述世界坐标、所述投影矩阵以及所述观察矩阵计算得到所述目标点在所述视场内的模型坐标；

根据所述模型坐标对所述软硬装模型进行筛选。

3.根据权利要求1所述的视角自动规划的生长动画生成方法，其特征在于，所述根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列，包括：

确定所述渲染路径的起始镜头位姿矩阵以及终点镜头位姿矩阵；

根据所述起始镜头位姿矩阵表征的第一坐标朝向和所述终点镜头位姿矩阵表征的第二坐标朝向计算得到旋转平移矩阵；

根据所述起始镜头位姿矩阵以及所述旋转平移矩阵计算得到补间镜头，根据所述补间镜头进行补间插帧，得到所述镜头序列。

4.一种应用如权利要求1-3任一项所述的视角自动规划的生长动画生成方法的系统，其特征在于，包括：

场景信息获取单元，用于获取全屋三维场景中各个封闭空间的空间信息；

软硬装饰建模单元，用于根据所述空间信息以及获取的初始镜头信息，构建所述封闭空间对应的模型包围盒，根据所述模型包围盒确定软硬装模型；

采集镜头调整单元，用于调整所述初始镜头信息，得到最优镜头，所述最优镜头为当前镜头视角下包含最多所述软硬装模型的镜头；

镜头序列生成单元，用于根据所述封闭空间的入口镜头信息以及最优镜头对应的最优镜头信息，结合渲染路径进行补间插帧，得到镜头序列；

生长顺序控制单元，用于根据所述镜头序列以及所述软硬装模型确定渲染元素的深度信息，根据所述深度信息确定生长顺序；

生长动画合成单元，用于根据所述生长顺序构建关键帧数据序列，根据所述关键帧数据序列通过深度学习得到全屋生长动画。

5.视角自动规划的生长动画生成装置，其特征在于，所述装置包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如权利要求1-3任一项所述的视角自动规划的生长动画生成方法。

6.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于运行如权利要求1-3中任一项所述的视角自动规划的生长动画生成方法。