CN112950760B - 一种三维合成场景数据生成系统和方法 - Google Patents

Abstract

本发明公开了一种三维合成场景数据生成系统和方法，包括存储有三维室内场景模型的数据库，场景获取模块，用于接收上传的三维室内场景或基于筛选条件从数据库中筛选三维室内场景并可视化呈现；实体标签化模块，用于对三维室内场景进行实体划分和实体语义标签化；实体随机化模块，用于基于随机化指令对场景灯光、场景实体以及实体材质随机化，生成多种三维室内场景；渲染模块，用于基于自定义渲染相机属性实现对三维室内场景的渲染，获得渲染图；后处理模块，用于基于后处理指令对渲染图进行后处理，获得满足需求的数据集。在保护原始模型数据安全的基础上，快速生成各种类型的高质量数据，以满足各种需求。

Description

一种三维合成场景数据生成系统和方法

技术领域

本发明涉及数据生成技术领域，具体涉及一种三维合成场景数据生成系统和方法。

背景技术

随着深度学习在各领域的快速发展，数据在人工智能领域各工业界及学术界对高质量训练数据的需求越来越大，现有的训练数据集生成方法也很多，如申请公布号为CN112200158A公开的一种训练数据生成方法及系统，再如申请公布号为CN111859857A公开的一种基于标注文本的训练数据集生成方法。

在基于深度学习的场景认知领域中，更加强烈地需求高质量的训练数据。主流的训练数据如Matterport3D等数据集，其采集方法往往是使用硬件进行真实场景的三维场景重建、分割及标注。但是这类数据的采集成本高、标注困难，且不利于编辑。

事实上，在自动驾驶领域里，结合虚拟三维数据的仿真训练平台在领域发展过程中扮演着一个非常重要的角色，不断提升了训练的效率也避免了安全等问题。而在室内场景认知领域，业界也大量地基于计算机图形学来生成合成数据集，如SUNCG等数据集。

尽管合成数据集近年来备受关注，但其依然有诸多问题。首先，三维场景中各物体的摆放及材质灯光等设计往往不够真实，与真实场景存在一定偏差，从而不利于训练算法的提升；其次，目前主流的开源三维场景数据集在渲染结果上并不真实，且由于目前开放的三维数据集往往在数据量上非常有限，制约着合成数据集的数量；另外，数据资产在商业公司中往往是核心，特别是针对用户上传的数据资产，直接开源往往不太现实，经常伴随着数据版权问题的出现。

发明内容

鉴于上述，本发明的目的是提供一种三维合成场景数据生成系统和方法，在保护原始模型数据安全的基础上，快速生成各种类型的高质量数据，以满足各种需求。

为实现上述发明目的，本发明实施例提供了一种三维合成场景数据生成系统，包括存储有三维室内场景模型的数据库，还包括：

场景获取模块，用于接收上传的三维室内场景或基于筛选条件从数据库中筛选三维室内场景并可视化呈现；

实体标签化模块，用于对三维室内场景进行实体划分和实体语义标签化；

实体随机化模块，用于基于随机化指令对场景灯光、场景实体以及实体材质随机化，生成多种三维室内场景；

渲染模块，用于基于自定义渲染相机属性实现对三维室内场景的渲染，获得渲染图；

后处理模块，用于基于后处理指令对渲染图进行后处理，获得满足需求的数据集。

为实现上述发明目的，本发明实施例提供了一种三维合成场景数据生成方法，所述方法应用上述三维合成场景数据生成系统，包括以下步骤：

步骤1，利用场景获取模块获取三维室内场景并可视化呈现；

步骤2，利用实体标签化模块对获取的三维室内场景进行实体划分和实体语义标签化；

步骤3，利用实体随机化模块基于随机化指令对场景灯光、场景实体以及实体材质随机化，生成多种三维室内场景；

步骤4，利用渲染模块基于自定义渲染相机属性实现对三维室内场景的渲染，获得渲染图；

步骤5，利用后处理模块基于后处理指令对渲染图进行后处理，获得满足需求的数据集。

与现有技术相比，本发明具有的有益效果至少包括：

本发明实施例提供的一种三维合成场景数据生成系统和方法，通过对三维合成场景的实体标签化和自定义调整，得到各种各样的三维合成场景，然后基于对三维合成场景的渲染和后处理得到各种类型合成数据集，提升了数据集的生成速度和质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的三维合成场景数据生成系统的结构示意图；

图2是本发明实施例提供的三维合成场景数据生成方法的流程图；

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了解决目前人工智能领域室内场景认知算法中有效数据获取、标注等困难的问题，本发明实施例提供了一种能够自动生成指定要求的三维合成场景数据生成系统和方法。图1是本发明实施例提供的三维合成场景数据生成系统的结构示意图。如图1所示，实施例提供的三维合成场景数据生成系统100包括场景获取模块101、实体标签化模块102、实体随机化模块103、渲染模块104、后处理模块105以及数据库106。

其中，场景获取模块101用于接收上传的三维室内场景或基于筛选条件从数据库中筛选三维室内场景并可视化呈现，实体标签化模块102用于对三维室内场景进行实体划分和实体语义标签化；实体随机化模块103用于基于随机化指令对场景灯光、场景实体以及实体材质随机化，生成多种三维室内场景；渲染模块104用于基于自定义渲染相机属性实现对三维室内场景的渲染，获得渲染图；后处理模块105用于基于后处理指令对渲染图进行后处理，获得满足需求的数据集，数据库106存储有三维室内场景模型。

实施例提供的三维合成场景数据生成系统是基于在线家装平台产生并存储于数据库中的大量三维室内场景方案。为了解决用户对室内场景的不同需求能力，系统包含的场景获取模块101提供了场景自定义筛选功能，基于该筛选功能可以筛选获得符合要求的三维室内场景。

在一个实施方式中，所述场景获取模块101提供了场景筛选条件列表，所述筛选条件包括风格、面积、房间类型、地理位置、场景内产品类型等一切场景被暴露出的属性。例如，场景内产品可以为场景需要有厨房且厨房内包含冰箱。基于用户从场景筛选条件列表中选择的筛选条件显示对应的三维室内场景。具体地，场景获取模块提供的场景筛选条件列表包含的可量化的筛选条件以UI筛选器的形式呈现在实际产品中供用户交互选择。需要注意的是，实施例仅是示例性列出一些筛选条件用于解释本发明的筛选功能，但不限于上述记载的筛选条件，凡是与室内场景相关的属性要素均可以作为筛选条件。

在另外一个实施方式中，考虑到用户可能会有更复杂的筛选条件，因此，所述场景获取模块101还提供了基于DSL(Domain Specific Language，领域专用语言)的筛选指令编写接口，基于用户通过筛选指令编写接口自定义的筛选指令筛选对应的三维室内场景并显示。具体地，基于JavaScript的用户可以通过筛选指令编写接口自定义DSL来生成包含筛选条件的筛选指令，使得用户可以更加自由灵活地从数据库中筛选三维室内场景。

当然，用户也可以上传三维室内场景，场景获取模块101接收上传的三维室内场景，当完成三维室内场景筛选获取后，会得到一个室内场景列表，为满足用户对场景查看具体信息以判断三维室内场景是否满足需求，筛选得到三维室内场景可以被可视化呈现，具体包括场景元信息的可视化和三维室内场景的可视化。其中，场景元信息主要包含场景属性要素，如设计方案对应的面积、风格、功能等，场景对应户型的地址位置等；同时场景元信息也包含场景中家具数量、家具类型分布、各房间及家具关系等等，还包含了墙顶地相关信息。在显示时，这些场景元信息会形成简单的室内场景摘要描述信息。

为了用户多维度查看三维室内场景，所述三维室内场景以两种方式呈现，方式一，呈现三维室内场景的顶视图和各空间的全景图；方式二，呈现可交互的三维室内场景。方式一为轻量化的展现方式，以提供给用户三维室内整体的预览效果，方式二则为可交互的方式对三维室内场景进行呈现，以提供给用户更细节的视角。

场景获取模块101获得的大量三维室内场景是基于在线家装平台产生的大量家装设计方案。这些家装设计方案存在一个问题在于，在线家装平台更多的是针对室内设计及面向RGB效果图渲染，而针对AI训练数据，往往需要考虑到除RGB以外的其它维度信息，如几何信息(深度图、法向图)，语义标签，实例标签等。为了使得上游用户在操作场景进行训练数据输出更加便捷，因此，本系统还对三维室内场景进行数据脱敏处理，将无关的信息剔除掉，保留训练数据相关的信息。

在一个实施方式中，所述实体标签化模块102根据基于实体间位置关系和划分细粒度构建的树状语义标签体系对三维室内场景进行实体划分和实体语义标签的标注。

树状语义标签体系是根据场景内实体间的位置包含关系以及划分细粒度构建并存储的。其中，划分细粒度约束了实体的划分等级，在本发明中，将具有完整家居功能的实体作为最小的划分等级，例如橱柜，虽然橱柜由门板、门头、把手等组件组成，但是橱柜作为一个具有存储家居功能的实体，门板、门头以及把手不具有存储家居功能，因此，橱柜作为最小的划分等级。实施例中，将房间内的顶、地以及墙作为最高划分等级。在树状语义标签体系中，依据实体间的位置包含关系由高等级向低等级组织管理，精确描述各实体的语义信息，例如，吊顶作为高等级顶的低等级，踢脚线则属于高等级地的低等级。每个划分等级都对应相应的实体标签。在对实体标准化时，按照树状语义标签体系进行室内场景的实体划分，然后再赋予相应的语义标签。需要注意的是，上述实体的划分等级是可以根据实际应用需求进行调整，约定更多标准化的标签。

在对场景实体划分时，可以采用打标工具对三维室内场景模型进行分割及语义化，得到每个实体，当然也可以采用一些基于形状分析的方法进行辅助分割。

为了增强训练数据的多样性以提高训练算法的有效性，实施例还提供了实体随机化功能，通过对室内场景中实体的随机扰动，提供对场景多样变化的能力。其中，实体随机化功能包括场景灯光随机化、实体随机化以及实体材质随机化。

在一个实施方式中，针对场景灯光随机化功能，所述实体随机化模块103提供了随机化场景灯光参数，包括灯光角度、场景光强、场景色温以及灯光类型，基于随机化指令包含的场景灯光参数，得到符合场景灯光参数的新三维室内场景。

为了模拟出同一室内场景在不同光照下的结果，提供了对场景灯光随机的能力，主要针对灯光角度、场景光强、场景色温等多个角度来进行随机。同时在用户视角，也提供了一种按灯光类别的随机方案，如针对自然光随机、黄灯光随机等，本质上都是对灯光参数进行调整。具体地，具有对场景灯光角度进行一定范围内的随机旋转功能，模拟出不同角度的场景灯光，从而在最终渲染图中达到不同光影效果。具有对场景光强进行一定范围内的随机调整功能，具体光强调整范围由设计师推荐出来的经验值作为引导设置，以避免过于随机带来的不合理。具有对场景色温进行一定范围内的随机调整功能，用户角度的色温即是灯光颜色，考虑到色温从暖到冷的变化范围为3000K到7000K以上进行变化，实体随机化模块103内置了一些常见光照对应的色温，使得用户在色温随机化时可以做到更友好。

在一个实施方式中，针对实体随机化功能，所述实体随机化模块103基于包含目标实体和随机内容为实体位置的随机化指令，以目标实体新位置不与其他实体碰撞为条件随机化实体位置，得到新三维室内场景。

室内场景多样化的一个重要表现在于提供物体位置的多样化，举例而言，扫地机器人往往会碰到移动的目标，因此其训练数据更期望场景中某些物体具有不同位置的变化。因此，实体随机化模块103提供了对场景中实体位置进行随机扰动的能力，支持自动对任意场景实体扰动及用户指定随机扰动的目标实体，具体地，针对自动扰动时就随机选择目标实体，针对自定义扰动时则选择目标实体，然后，依据对目标实体进行实体位置及方向在合理范围内的随机地调整，并通过碰撞检测判断实体的摆放结果是否会与其它实体碰撞，测试其是否可以放置，从而达到对实体位置的随机扰动能力。

选择的目标实体可以是放置在地面的椅子，也可以是放置在桌面上的餐具，这些实体均具有与实体类型对应的放置状态，例如椅子只能放置在地面，餐具只能放置在桌面上，为了保证防止移动过程中出现新放置位置与目标实体放置状态不符合的情况，所述实体随机化模块在进行目标实体位置随机化时，保证目标实体的新位置满足目标实体类型对应的放置状态约束。

在另一个实施方式中，针对实体随机化功能，所述实体随机化模块103基于包含目标实体和随机内容为实体本身的随机化指令，在目标实体位置处利用替换实体替换目标实体，所述替换实体包括目标实体的变形实体、相同类型实体和不同类型实体，得到新三维室内场景。

另外，由于同类实体之间或者不同类实体之间均会存在多种不同形状，为了提升室内场景的多样性，实体随机化模块103还提供了一种实体本身进行随机替换的功能。

由于实施例提供的三维合成场景数据生成系统包含了三维室内场景模型和实体模型的数据库，基于此数据库可以进行相似结构的实体替换，即在一个实施方式中，所述实体随机化模块实现目标实体的相同类型实体替换时，为目标实体生成相似模型后并提供目标实体的相似模型列表，基于从相似模型列表中选择的相似模型来替换目标实体，得到新三维室内场景。在实际应用时，在用户指定实体类别的情况下，可以将对场景中满足要求的实体生成其相似模型，并在每次随机时，选择相似模型列表中的一个相似模型，从而达到对实体的随机能力。

除了同类实体的替换，也考虑到部分应用场景下，需要对实体或一组实体的不同形态进行认知，例如针对桌面的机械臂抓手，在对桌面实体进行认知和摆放训练时，就需要考虑到一个桌面下的实体呈现不同的摆放形态。因此，为了模拟同一个实体的各种形变，例如毛巾的形变，桌子摆件的变化。在一个实施方式中，所述实体随机化模块103实现目标实体的变形实体替换时，为目标实体基于物理仿真方式生成各种变形实体模型后并提供目标实体的变形实体模型列表，基于从变形实体模型列表中选择的变形实体模型来替换目标实体，得到新三维室内场景。

实施例中，为了让同一个实体的各种变化状态能够自动化，实体随机化模块103采用了一种基于物理仿真的方法来进行自动化对实体进行几何变化的方法。具体地，针对毛巾这类布料，可以采用Bullet/PhysX作为仿真引擎，通过随机设置不同的作用力及初始姿态，生成其落地后的结果；而针对桌面摆件这类组合式的模型，可以基于仿真引擎，将桌面设置为静态物体，而摆件设置为动态物体，根据不同摆件设置其不同的物理属性，在一定合理范围内随机地设置各摆件的初始离桌面高度，同时也对其朝向进行随机旋转，通过重力模拟，生成其最终的摆放结果。从而基于以上的方法，达到了对物体几何变化的目的。

针对场景中实体内容的多样性变化，数据生成系统提供了对物体的随机材质变化能力。即所述实体随机化模块提供了实例类型对应的材质列表，基于包含目标实体和材质类型的随机化指令，将目标实体替换为随机化指令包含的材质类型对应的材质，得到新三维室内场景。

实施例中，提供了操作界面对物体类别及材质类别映射关系的指定。当用户设置某类物体(如桌子)对应的材质类别可以为几类不同的材质(如大理石、木质、金属等)，利益于本系统基于的家装设计平台积累的大量素材，本系统根据类别映射关系自动从系统中匹配合理的某类材质，同时随机地从所有该类材质进行采样(主要表现在高光、颜色、贴图等)，从而达到满足不同材质随机变化的能力。

通过实体随机化模块103对获得各种各类的满足训练要求的三维室内场景时，即可以进行数据生成过程。在一个实时方式中，渲染模块104提供渲染相机属性列表，包括相机类型、相机位姿以及相机参数，基于通过渲染相机属性列表自定义的渲染相机属性生成渲染请求，对三维室内场景进行渲染，得到渲染图。

其中，相机类型包括透视相机、正交相机及全景相机等，通过选择不同相机类型实现渲染相机的自定义，以实现不同的图像渲染。

实施例还提供了相机位姿的控制能力，具体包括：(1)本系统提供了用户完全控制相机的能力，即用户可以在提供的SDK里自由地设置相应相机的位置及朝向；(2)本系统内置的SDK中也提供了一种相机随机视角自动生成的能力，包括面向场景的随机视角生成，面向模型的随机视角生成，即可以通过SDK随机生成相机视角；(3)除了对单帧渲染图的控制，本系统也提供了设置相机的轨迹，从而具备生成一段序列帧的能力，本系统内置的SDK中提供了相机随机轨迹生成的能力，方便用户调用生成序列帧。

相机参数包括相机分辨率、DOV、相机曝光参数、DoF、Motion Blur等，通过设置相机参数来实现对行渲染相机的定义，以实现不同的图像渲染。

当渲染相机设定好之后，即发起渲染请求，将设置的渲染相机数属性数据随渲染请求一起发送至实现渲染功能的服务器，服务器执行用户操作生成渲染相机数据，并调用服务集群发起相应的场景渲染。

由于渲染模块104输出的一般都为渲染图，但是渲染图并不能满足训练数据的需求，因此还需要对渲染图进行后处理。即采用后处理模块105基于后处理指令对渲染图进行后处理，获得满足需求的合成数据集。

实施例中，后处理模块105最终输出数据主要包括渲染图以及用户自定义结构化数据。考虑到用户对渲染图的支持存在特殊需求，实施例提供了一系列后处理操作算子Operator，提供给用户进行自定义的后处理。例如，当用户需要模拟如Kinect的深度图作为标准输出时，可以增加一定的噪声算子，从而得到用户需要的输出图；另一种常见需求是用户需要输出实例分割图，用户需要对实例分割结果进行自定义的标识，这种情况下其可以通过在服务器渲染引擎输出的实例分割基础上，增加后处理算子。

由于从用户筛选场景得到的是一系列满足条件的场景集合，因此当用户进行自定义随机化处理及相机设置时，这些操作会对所有满足条件的场景生效。从而后处理模块105输出的数据将会形成一个数据集，作为整个任务的输出结果，最终以可下载数据的形式提供给用户下载。

实施例还提供了一种应用上述三维合成场景数据生成系统的三维合成场景数据生成方法，如图2所示，包括以下步骤：

步骤1，利用场景获取模块获取三维室内场景并可视化呈现；

步骤2，利用实体标签化模块对获取的三维室内场景进行实体划分和实体语义标签化；

步骤3，利用实体随机化模块基于随机化指令对场景灯光、场景实体以及实体材质随机化，生成多种三维室内场景；

步骤4，利用渲染模块基于自定义渲染相机属性实现对三维室内场景的渲染，获得渲染图；

步骤5，利用后处理模块基于后处理指令对渲染图进行后处理，获得满足需求的数据集。

上述提供的三维合成场景数据生成系统和方法生成的数据集可以用于稠密三维重建网络模型的诊断，还可以用于深度估计网络模型的构建，还可以用于语义分割网络模型的构建。在构建深度估计网络模型时，生成的数据集为深度图，当构建语义分割网络模型时，生成的数据集为包含语义标签的图像。在用于稠密三维重建网络模型的诊断时，算法虽然需要的也是RGB颜色图像以及深度图像，但是在该任务中需要连续的图像帧序列以分析三维结构关系。

上述提供的三维合成场景数据生成系统和方法中，基于在线家装设计平台积累的大量真实设计师设计方案，也就是存储在数据库中的三维室内场景实现的数据生成。由于整个平台积累大量素材，而且本身也是一个在线的平台，所以沉淀了千万数量级的素材，基于这些素材在如web端的终端利用场景获取模块、实体标签化模块以及实体随机化模块生成多样化的三维室内场景，然后利用设置在云端的渲染模块基于渲染集群使用光线跟踪渲染器生成真实感图片；最后利用设置在终端的后处理模块对数据后处理生成数据集，提升了数据的生成速度和质量。由于在终端最终产出图片，不会涉及原始三维模型等核心资产的改动，也很大程度上保护了核心数据资产的安全。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种三维合成场景数据生成系统，包括存储有三维室内场景模型的数据库，其特征在于，还包括：

场景获取模块，用于接收上传的三维室内场景或基于筛选条件从数据库中筛选三维室内场景并可视化呈现；

其中，场景获取模块提供了场景筛选条件列表，所述筛选条件包括风格、面积、房间类型、地理位置、功能，基于用户从场景筛选条件列表中选择的筛选条件显示对应的三维室内场景；所述场景获取模块还提供了基于DSL的筛选指令编写接口，基于用户通过筛选指令编写接口自定义的筛选指令筛选对应的三维室内场景并显示；所述三维室内场景以两种方式呈现，方式一，呈现三维室内场景的顶视图和各空间的全景图；方式二，呈现可交互的三维室内场景；

实体标签化模块，用于对三维室内场景进行实体划分和实体语义标签化，包括：根据基于实体间位置关系和划分细粒度构建的树状语义标签体系对三维室内场景进行实体划分和实体语义标签的标注；

实体随机化模块，用于基于随机化指令对场景灯光、场景实体以及实体材质随机化，生成多种三维室内场景；

其中，所述实体随机化模块提供了随机化场景灯光参数，包括灯光角度、场景光强、场景色温以及灯光类型，基于随机化指令包含的场景灯光参数，得到符合场景灯光参数的新三维室内场景；

所述实体随机化模块基于包含目标实体和随机内容为实体位置的随机化指令，以目标实体新位置不与其他实体碰撞为条件随机化实体位置，且保证目标实体的新位置满足目标实体类型对应的放置状态约束，得到新三维室内场景；

所述实体随机化模块基于包含目标实体和随机内容为实体本身的随机化指令，在目标实体位置处利用替换实体替换目标实体，所述替换实体包括目标实体的变形实体、相同类型实体和不同类型实体，得到新三维室内场景，包括：

实现目标实体的变形实体替换时，为目标实体基于物理仿真方式生成各种变形实体模型后并提供目标实体的变形实体模型列表，基于从变形实体模型列表中选择的变形实体模型来替换目标实体，得到新三维室内场景；实现目标实体的相同类型实体替换时，为目标实体生成相似模型后并提供目标实体的相似模型列表，基于从相似模型列表中选择的相似模型来替换目标实体，得到新三维室内场景；

所述实体随机化模块提供了实例类型对应的材质列表，基于包含目标实体和材质类型的随机化指令，将目标实体替换为随机化指令包含的材质类型对应的材质，得到新三维室内场景；

渲染模块，用于基于自定义渲染相机属性实现对三维室内场景的渲染，获得渲染图；

其中，所述渲染模块提供渲染相机属性列表，包括相机类型、相机位姿以及相机参数，基于通过渲染相机属性列表自定义的渲染相机属性生成渲染请求，对三维室内场景进行渲染，得到渲染图；

后处理模块，用于基于后处理指令对渲染图进行后处理，获得满足需求的数据集。

2.一种三维合成场景数据生成方法，其特征在于，所述方法应用权利要求1任一项所述的三维合成场景数据生成系统，包括以下步骤：

步骤1，利用场景获取模块获取三维室内场景并可视化呈现；

步骤2，利用实体标签化模块对获取的三维室内场景进行实体划分和实体语义标签化；

步骤3，利用实体随机化模块基于随机化指令对场景灯光、场景实体以及实体材质随机化，生成多种三维室内场景；

步骤4，利用渲染模块基于自定义渲染相机属性实现对三维室内场景的渲染，获得渲染图；

步骤5，利用后处理模块基于后处理指令对渲染图进行后处理，获得满足需求的数据集。