CN113870097A - 一种家具图像的打标方法、模型训练方法及设备 - Google Patents

Abstract

本申请实施例提供一种家具图像的打标方法、模型训练方法及设备。在本申请实施例中，可基于点云数据，确定出3D家具模型中各个空间点所属的部件标签；将3D家具模型转换为2D家具图像，并将3D家具模型中已标注出的部件标签，也映射到2D家具图像中对应的像素点上，并可基于为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图。据此，可利用3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本来训练家具部件分割模型，以使家具部件分割模型学习到在2D家具图像中进行部件分割的知识，从而，可利用训练后的家具部件分割模型实现对海量的二维家具图像进行部件级别的自动标注。

Description

一种家具图像的打标方法、模型训练方法及设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种家具图像的打标方法、模型训练方法及设备。

背景技术

对于家具类电商或者室内设计等场景来说，提供家具产品的筛选项是必要的。目前，通常依赖人工来填写家具产品的部件属性，作为筛选项的依据。

但是，由于人工成本的限制，填写效率通常比较低，而且这造成大量家具产品缺乏这些部件属性的信息，导致筛选项下的筛选结果不足，影响商家和用户的体验。

发明内容

本申请的多个方面提供一种家具图像的打标方法、模型训练方法及设备，用以实现对2D的家具图像进行部件级别的自动打标。

本申请实施例提供一种家具部件分割模型的训练方法，包括：

获取3D家具模型对应的点云数据；

基于所述点云数据，分别确定所述3D家具模型包含的各个空间点所属的部件标签；

将所述3D家具模型转换为2D家具图像；

在所述2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色，以产生所述3D家具模型对应的部件分割图；

以所述3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本，训练家具部件分割模型。

本申请实施例还提供一种家具图像的打标方法，包括：

获取目标家具对应的二维家具图像；

将所述二维家具图像输入家具部件分割模型中，所述家具部件分割模型为以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本进行训练而获得的，而所述部件分割图则为基于2D家具图像中像素点与3D家具模型空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色而获得的；

在所述家具部件分割模型中，对所述二维家具图像进行图像分割，以产生所述二维家具图像对应的部件分割图；

其中，所述部件分割图中的各分割区域分别标注有部件标签。

本申请实施例还提供一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

获取3D家具模型对应的点云数据；

基于所述点云数据，分别确定所述3D家具模型包含的各个空间点所属的部件标签；

将所述3D家具模型转换为2D家具图像；

在所述2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色，以产生所述3D家具模型对应的部件分割图；

以所述3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本，训练家具部件分割模型。

本申请实施例还提供一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

获取目标家具对应的二维家具图像；

将所述二维家具图像输入家具部件分割模型中，所述家具部件分割模型为以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本进行训练而获得的，而所述部件分割图则为基于2D家具图像中像素点与3D家具模型空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色而获得的；

在所述家具部件分割模型中，对所述二维家具图像进行图像分割，以产生所述二维家具图像对应的部件分割图；

其中，所述部件分割图中的各分割区域分别标注有部件标签。

在本申请实施例中，可从3D家具模型出发，基于点云数据，确定出3D家具模型中各个空间点所属的部件标签；在此基础上，可将3D家具模型转换为2D家具图像，并将3D家具模型中已标注出的部件标签，也映射到2D家具图像中对应的像素点上，并可基于为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图。这样，可将在3D家具模型下确定出的部件标签，以色彩的形式呈现到2D家具图像中。据此，针对同一3D家具模型，可获得2D家具图像和部件分割图及部件标签，以此作为训练样本输入家具部件分割模型后，可使家具部件分割模型学习到在2D家具图像中进行部件分割的知识，从而，可利用训练后的家具部件分割模型对任意二维家具图像标注部件标签，进而可实现对海量的家具图像进行部件级别的自动打标，节省大量的人力物力，克服家具场景中的标注难题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的一种家具部件分割模型的训练方法的流程示意图；

图2为本申请一示例性实施例提供的一种家具部件分割模型的训练方案的逻辑示意图；

图3为本申请另一示例性实施例提供的一种家具图像的打标方法的流程示意图；

图4为本申请另一示例性实施例提供的一种打标前后的对照图；

图5为本申请又一示例性实施例提供的一种计算设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，在家具相关的场景中，通常需要依赖人工来进行部件属性的填写，填写效率和完整度均不佳。为此，本申请的一些实施例中：可从3D家具模型出发，基于点云数据，确定出3D家具模型中各个空间点所属的部件标签；在此基础上，可将3D家具模型转换为2D家具图像，并将3D家具模型中已标注出的部件标签，也映射到2D家具图像中对应的像素点上，并可基于为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图。这样，可将在3D家具模型下确定出的部件标签，以色彩的形式呈现到2D家具图像中。据此，针对同一3D家具模型，可获得2D家具图像和部件分割图及部件标签，以此作为训练样本输入家具部件分割模型后，可使家具部件分割模型学习到在2D家具图像中进行部件分割的知识，从而，可利用训练后的家具部件分割模型对任意二维家具图像标注部件标签，进而可实现对海量的家具图像进行部件级别的自动打标，节省大量的人力物力，克服家具场景中的标注难题。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的一种家具部件分割模型的训练方法的流程示意图。图2为本申请一示例性实施例提供的一种家具部件分割模型的训练方案的逻辑示意图。该方法可由数据处理装置执行，该数据处理装置可实现为软件和/或硬件的结合，该数据处理装置可集成在计算设备中。如图1所示，该方法可包括：

步骤100、获取3D家具模型对应的点云数据；

步骤101、基于点云数据，分别确定3D家具模型包含的各个空间点所属的部件标签；

步骤102、将3D家具模型转换为2D家具图像；

步骤103、在2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图；

步骤104、以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本，训练家具部件分割模型。

本实施例提供的家具部件分割模型的训练方案可应用于各种需要对家具进行部件分割的场景中，例如、家装设计、家具电商等，本实施例对应用场景不做限定。

以下先对本实施例中提及的部分技术名词进行简单解释。

部件：可以是指家具的主要功能性部件，例如，对于椅子来说，其部件可包括腿部、靠背、扶手、承载面等；对于床来说，其部件可包括：睡眠区域、床头、床架等。

部件标签：可以是用于描述部件级属性的标签，本实施例中，部件标签可包括但不限于部件名称标签、部件纹理标签、部件形状标签或部件材质标签等，部件标签可根据实际需要进行自定义。

点云数据：可以是指3D家具模型在世界坐标系下的空间点的数据集。在一种可选方案中，可获取3D家具模型的三角网格数据(triangle mesh data)和纹理数据(texturedata)及点云(point cloud)、顶点(verts)及三角网格索引(face index)等元数据，并基于这些元数据来构建点云数据。可知，点云数据中包含用于描述3D家具模型在世界坐标系下空间点的多维数据。

2D家具图像：可以是指包含家具在某个视角下视图的二维图像。例如，以白色或者纯色为底色，以家具自身为主体的家具白底图等。

在此基础上，参考图1，为便于描述，本实施例中，将从一个3D家具模型的角度，对家具部件分割模型的训练方案进行说明，应当理解的是，实际应用中，可对海量的3D家具模型进行处理后获得海量的训练样本，从而不断优化家具部件分割模型。

参考图1，在步骤100中，可获取3D家具模型对应的点云数据。其中，本实施例中的3D家具模型可来源与业界开源的大规模3D家具模型库。例如，学业界公开的数据集ModelNet40、ShapeNet、3D-FRONT等，本实施例对此不做限定。在这些模型库中，至少包含了前文提及的3D家具模型的元数据，本实施例中，可基于这些元数据，构建出3D家具模型的点云数据，当然，在一些模型库中，已经预先配置有点云数据，本实施例中，则可直接使用这类模型库提供的点云数据。

在步骤101中，可基于点云数据，分别确定3D家具模型包含的各个空间点所述的部件标签。其中，正如前文提及的，部件标签可按需进行自定义，而且，点云数据中包含用于描述3D家具模型在世界坐标系下空间点的多维数据，因此，点云数据可反映3D家具模型包含的各个空间点的部件属性状态，这样，可通过对点云数据的分析以及各个部件标签所要求的属性特点，来确定3D家具模型包含的各个空间点所属的部件标签。

在步骤102中，还可按照点云数据，将3D家具模型转换为2D家具图像。在此过程中，可按照点云数据，对3D家具模型进行栅格化处理，以将3D家具模型包含的世界坐标系下的空间点映射为视角坐标系下的像素点，以获得二维图像；根据3D家具模型包含的空间点所处三角网格的纹理数据，对二维图像中相应的像素点进行渲染，以产生3D家具模型对应的2D家具图像。其中，栅格化处理过程中，可通过栅格化器(rasterizer)控制相机cameras通过一系列的仿射变换、投影变换等，将3D家具模型包含的世界坐标系下的空间点映射为视角坐标系下的像素点，这里的视角坐标系可以是正交视角坐标系、透视视角坐标系或者其它自定义视角坐标系，不同的视角坐标系可将3D家具模型转换为不同视角下的2D家具图像。在步骤102中，可通过栅格化处理操作，可在3D家具模型包含的三角网格中，分别确定出与二维图像中的每个像素点相交的三角网格，而三角网格又是基于空间点进行绘制的，因此，可进一步产生二维图像中的像素点与3D家具模型中空间点之间的映射关系。值得说明的是，在3D物体中，几何变换，几何检测，动画，渲染着色等操作通常都是基于三角网格进行的，为此，本实施例中，在对栅格化处理后获得的二维图像进行渲染的过程中，实际可根据二维图像中每个像素点相交的三角网格的纹理数据，来计算像素点的像素值，从而实现渲染。可知，本实施例中，渲染出的2D家具图像可认为是家具的真实二维图像，例如，家具白底图等。

据此，本实施例中，可基于3D家具模型对应的点云数据、三角网格数据及纹理数据等渲染出2D家具图像，另外，还可在渲染过程中，还可支持配置光照、视角等渲染条件，以更真实地还原出3D家具模型对应的2D家具图像。本实施例中，将留存3D家具模型对应的2D家具图像，以备用。

在步骤103中，还可在2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图。一种示例性的部件分割图可参考图2所示。其中，像素点和空间点之间的映射关系可在前述步骤102中产生，涉及到的空间点所属的部件标签可在步骤101中产生。除此之外，本实施例中，还可为各个部件标签配置着色参数，可选地，可为不同部件标签配置不同的着色参数，已更好地区分不同的部件标签，当然，本实施例对此不做限定，也可采用其它配色方案以区分部件标签，例如，可以相邻部件不同色为目标来配置部件标签的着色参数等。

以2D家具图像中的第一像素点为例，在重新着色的过程中：可基于像素点与空间点之间的映射关系，确定与2D家具图像下的第一像素点关联的目标空间点；根据目标空间点所属的部件标签，确定为第一像素点对应的目标部件标签；根据为目标部件标签配置的着色参数，计算第一像素点的像素值；按照第一像素点的像素值，对第一像素点进行重新着色；其中，第一像素点为2D家具图像中的任意像素点。这样，可将第一像素点关联的目标空间点涉及到的部件标签，以色彩的形式呈现在2D家具图像中的相应位置；而从2D家具图像的维度来看，可在不同的部件上以色彩的形式呈现部件标签。

至此，可获得3D家具模型对应的2D家具图像和部件分割图。3D家具模型对应的2D家具图像和部件分割图之间的视觉效果对比可参考图2所示。另外，通过上述的处理过程，可为海量的3D家具模型生成2D家具图像和部件分割图，从而可为家具部件分割模型提供海量的训练样本。

在此基础上，在步骤104中，可以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本，训练家具部件分割模型。本实施例中，家具部件分割模型的输入可配置为2D家具图像，输出则可配置为部件分割图及部件标签，这样，在将3D家具模型对应的2D家具图像和部件分割图作为训练样本输入家具部件分割模型后，家具部件分割模型可通过对2D家具图像进行特征提取，并以对应的部件分割图作为监督及部件标签，优化家具部件分割模型的模型参数，从而学习到对2D家具图像进行部件分割的知识。其中，家具部件分割模型可采用HRnet等图像分割网络，当然，本实施例并不限于此，还可采用CNN、RNN等。以HRnet为例，可通过并行连接高层语义特征与低层语义特征、重复融合高层到低层产生的特征表示来获取到更有竞争力的高层语义特征，克服了训练过程出现的特征信息丢失问题，多尺度多维度地分割产生出部件标签；并且通过合理设计上采样过程，可获得良好的精度并降低计算复杂度。

正如前文说明的，本实施例中，可对海量的3D家具模型进行处理后获得海量的训练样本，从而不断优化家具部件分割模型。对此，在家具部件分割网络的训练过程中，还可将训练样本划分为两类：训练类样本和验证类样本。例如，可将所有训练样本中80％的样本作为训练类样本，将剩余的20％的样本作为验证类样本。这样，可利用训练类样本对家具部件分割模型进行训练，而使用验证类样本对家具部件分割模型进行测试，在测试获得的准确率大于预设准确率或者准确率在一定时间内收敛的情况下，可结束训练，否则，使用更多的训练样本继续进行模型训练。

另外，本实施例中，还可对训练样本进行数据增强，以增加训练样本的数量级。其中，数据增强方式可包括但不限于归一化、随机翻转、随机裁剪、随机缩放、亮度增加、边缘增强等操作方式，应当理解的是，针对某一2D家具图像进行数据增强后获得的其它家具图像，具有与该2D家具图像一致的部件标签，只不过同一部件标签在不同图像中的呈现位置、区域尺寸等存在差异而已。据此，可通过增强数据分布的多样性，来抑制训练过程碰到的过拟合现象，进而提高家具部件分割模型的准确性和泛化性。

据此，本实施例中，可从3D家具模型出发，基于点云数据，确定出3D家具模型中各个空间点所属的部件标签；在此基础上，可将3D家具模型转换为2D家具图像，并将3D家具模型中已标注出的部件标签，也映射到2D家具图像中对应的像素点上，并可基于为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图。这样，可将在3D家具模型下确定出的部件标签，以色彩的形式呈现到2D家具图像中。据此，针对同一3D家具模型，可获得2D家具图像和部件分割图及部件标签，以此作为训练样本输入家具部件分割模型后，可使家具部件分割模型学习到在2D家具图像中进行部件分割的知识，从而，可利用训练后的家具部件分割模型对任意二维家具图像标注部件标签，从而可实现对海量的家具图像进行部件级别的自动打标，节省大量的人力物力，克服家具场景中的标注难题。

在上述或下述实施例中，可将3D家具模型对应的点云数据输入点云分割模型中，并利用点云分割模型来分别确定3D家具模型包含的各个空间点所属的部件标签。

本实施例中，在点云分割模型中，可对3D家具模型包含的各个空间点进行聚类，以获得至少一个空间点集合；根据点云数据，在至少一个空间点集合下进行属性特征提取，以获得至少一个空间点集合对应的属性特征；基于属性特征与部件标签之间的映射关系以及至少一个空间点集合对应的属性特征，输出至少一个空间点集合所属的部件标签。

其中，在对3D家具模型包含的各个空间点进行聚类的过程中，可按照空间点的坐标及纹理数据进行聚类，这样，可将距离近且纹理相似的空间点聚集到同一空间点集合中，而这与部件划分要求不谋而合。因此，通过聚类操作，可将3D家具模型包含的各个空间点聚集为与部件相适配的空间点集合，也即是，不同的空间点集合对应不同的部件，从而可克服点云数据的无序性问题。

之后，可以空间点集合为单位，进行部件标签的标注。点云分割模型中预先学习了空间点集合的属性特征与部件标签之间的映射关系，因此，本实施例中，点云分割模型可首先对至少一个空间点集合进行属性特征提取。其中，属性特征提取的过程中，可采用CNN等深度学习网络将空间点集合对应的点云数据映射至高层特征空间内，以通过属性特征来表征空间点集合的属性，并可采用用于解决分类问题的神经网络来基于属性特征对空间点集合进行分类，已经空间点集合分类至某一部件标签下。相应地，本实施例中，点云分割模型的输入可配置为点云数据，输出则可配置为多个预置的部件标签，这样，在将3D家具模型对应的点云数据输入点云分割模型后，点云分割模型可输出至少一个空间点集合各自分类到的部件标签，从而可获得3D家具模型包含的各个空间点各自所述的部件标签，其中，同一空间点集合中的各空间点所述的部件标签一致。

以下，对点云分割网络的训练过程进行说明：

本实施例中，可获取若干已打标3D家具样本，3D家具样本中包含点云数据和3D模型中各个空间点所属的部件标签；将若干已打标3D家具样本输入点云分割模型；在点云分割模型中，对3D模型中的空间点进行聚类及属性特征提取；根据提取到的属性特征以及各个空间点所属的部件标签，学习属性特征与部件标签之间的映射关系。

目前，已打标的3D家具样本可来源于人工打标，也可来源于现有的模型库。应当理解的是，已打标3D家具样本的数量通常比较少，本实施例中，可基于少量的已打标3D家具样本训练出点云分割网络，以利用点云分割网络对海量的3D家具模型进行部件标签标注，从而支持产生前述的用于训练家具部件分割模型的海量训练样本。

在该训练过程中，采用有监督的训练方式，以标注的3D模型中各个空间点所属的部件标签作为监督，对点云分割网络进行训练。在点云分割网络的训练过程中，还可将已打标3D家具样本划分为两类：训练类样本和验证类样本。例如，可将所有已打标3D家具样本中80％的样本作为训练类样本，将剩余的20％的样本作为验证类样本。这样，可利用训练类样本对点云分割模型进行训练，而使用验证类样本对点云分割模型进行测试，在测试获得的准确率大于预设准确率或者准确率在一定时间内收敛的情况下，可结束训练，否则，使用更多的已打标3D家具样本继续进行模型训练。

另外，本实施例中，还可对已打标3D家具样本进行数据增强，以增加已打标3D家具样本的数量级。其中，数据增强方式可包括但不限于归一化操作、随机翻转、随机拉伸等操作方式，应当理解的是，针对某一3D模型的点云数据进行数据增强后获得的其它3D模型，具有与该3D模型一致的部件标签，只不过同一部件标签在不同3D模型中的呈现位置、空间尺寸等存在差异而已。据此，可通过增强数据分布的多样性，来抑制训练过程碰到的过拟合现象，进而提高点云分割模型的准确性和泛化性。

据此，本实施例中，可基于少量的已打标3D家具样本训练点云分割网络，在此基础上，仅需将3D家具模型对应的点云数据输入点云分割网络，即可获得3D家具模型包含的各个空间点各自所属的部件标签。从而，可基于点云分割网络，实现对海量的3D家具模型进行部件标签的自动标注，进而为家具部件分割模型的训练样本提供数据基础。

图3为本申请另一示例性实施例提供的一种家具图像的打标方法的流程示意图，该方法可由数据处理装置执行，该数据处理装置可实现为软件和/或硬件的结合，该数据处理装置可集成在计算设备中。参考图3，该方法可包括：

步骤300、获取目标家具对应的二维家具图像；

步骤302、将二维家具图像输入家具部件分割模型中，家具部件分割模型为以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本进行训练而获得的，而部件分割图则为基于2D家具图像中像素点与3D家具模型空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对2D家具图像进行重新着色而获得的；

步骤303、在家具部件分割模型中，对二维家具图像进行图像分割，以产生二维家具图像对应的部件分割图；

其中，部件分割图中的各分割区域分别标注有部件标签。

本实施例提供的家具图像的打标方法，可应用于对二维的家具图像进行部件级别打标的场景中，例如，家具电商、室内涉及等，本实施例对应用场景不做限定。

以家具电商场景为例，可基于本实施例提供的家具图像的打标方案，对海量的家具图像进行部件级别的自动打标，并将打标后的家具图像上传至电商平台作为商品的展示图，这样，电商平台中的海量家具图像均可关联有完善的部件标签，这些部件标签可作为商品推送、商品搜索等阶段中的筛选信息，从而更好地支持电商平台对家具商品的处理。

其中，关于家具部件分割模型的训练过程，可参考前述家具部件分割模型的训练方法相关的各实施例中的描述，在此不再详述。

本实施例中，可将目标家具对应的二维家具图像输入家具部件分割模型中。而在家具部件分割模型中，可基于学习到的图像分割知识，对二维家具图像进行图像分割并重新着色，以输出部件分割图，而部件分割图中的各个部件可分别关联有部件标签。图4为本申请另一示例性实施例提供的一种打标前后的对照图。参考图4，目标家具对应的二维家具图像可以是白底图等真实呈现目标家具样貌的二维图像，而部件分割图中则在各分割区域进行了重新着色，且不同的分割区域分别标注有对应的部件标签。这样，通过部件分割图可清楚地展示目标家具包含的各个部件，并标注对应的部件标签。

本实施例中，基于目标家具的部件分割图和部件标签，可进行多样的实际应用。在一种示例性的应用方案中，可在完成海量的家具图像的标注后，接收家具筛选请求，筛选请求中可包含目标部件标签，例如，欧式扶手等；这样，可从海量的家具图像中，选择具有目标部件标签的目标家具图像，作为筛选结果进行输出。在另一种示例性的应用方案中，还可在完成海量的家具图像的标注后，接收针对目标家具图像的家具设计请求，家具设计请求中包含需要进行修改的部件标签，例如，扶手；这样，可根据目标家具图像对应的部件分割图，按照家具设计请求中所要求的设计动作，对目标家具图像中的扶手进行剪切、替换/移动等设计操作。当然，这些应用方案进行示例性的，本实施例并不限于此。

据此，本实施例中，可从3D家具模型出发，基于点云数据，确定出3D家具模型中各个空间点所属的部件标签；在此基础上，可将3D家具模型转换为2D家具图像，并将3D家具模型中已标注出的部件标签，也映射到2D家具图像中对应的像素点上，并可基于为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图。这样，可将在3D家具模型下确定出的部件标签，以色彩的形式呈现到2D家具图像中。据此，针对同一3D家具模型，可获得2D家具图像和部件分割图及部件标签，以此作为训练样本输入家具部件分割模型后，可使家具部件分割模型学习到在2D家具图像中进行部件分割的知识，从而，可利用训练后的家具部件分割模型对任意二维家具图像标注部件标签，从而可实现对海量的家具图像进行部件级别的自动打标，节省大量的人力物力，克服家具场景中的标注难题。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤100至步骤104的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如801、802等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

图5为本申请又一示例性实施例提供的一种计算设备的结构示意图。如图5所示，该计算设备包括：存储器50和处理器51。

处理器51，与存储器50耦合，用于执行存储器50中的计算机程序，以用于：

获取3D家具模型对应的点云数据；

基于点云数据，分别确定3D家具模型包含的各个空间点所属的部件标签；

将3D家具模型转换为2D家具图像；

在2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对2D家具图像进行重新着色，以产生3D家具模型对应的部件分割图；

以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本，训练家具部件分割模型。

在一可选实施例中，处理器51在分别确定3D家具模型包含的各个空间点所属的部件标签时，可用于：

将点云数据输入点云分割模型；

在点云分割模型中，对3D家具模型包含的各个空间点进行聚类，以获得至少一个空间点集合；

根据点云数据，在至少一个空间点集合下进行属性特征提取，以获得至少一个空间点集合对应的属性特征；

基于属性特征与部件标签之间的映射关系以及至少一个空间点集合对应的属性特征，输出至少一个空间点集合所属的部件标签。

在一可选实施例中，处理器51在对点云分割模型进行训练的过程中，可用于：

获取若干已打标3D家具样本，3D家具样本中包含点云数据和3D模型中各个空间点所属的部件标签；

将若干已打标3D家具样本输入点云分割模型；

在点云分割模型中，对3D模型中的空间点进行聚类及属性特征提取；

根据提取到的属性特征以及各个空间点所属的部件标签，学习属性特征与部件标签之间的映射关系。

在一可选实施例中，处理器51在对3D家具模型包含的各个空间点进行聚类时，可用于：

按照空间点的坐标和/或纹理数据，对3D家具模型包含的各个空间点进行聚类。

在一可选实施例中，处理器51在按照点云数据，将3D家具模型转换为2D家具图像时，用于：

按照点云数据，对3D家具模型进行栅格化处理，以将3D家具模型包含的世界坐标系下的空间点映射为视角坐标系下的像素点，以获得二维图像；

根据3D家具模型包含的空间点所处三角网格的纹理数据，对二维图像中相应的像素点进行渲染，以产生3D家具模型对应的2D家具图像。

在一可选实施例中，处理器51在2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对2D家具图像进行重新着色时，用于：

基于像素点与空间点之间的映射关系，确定与2D家具图像下的第一像素点关联的目标空间点；

根据目标空间点所属的部件标签，确定为第一像素点对应的目标部件标签；

根据为目标部件标签配置的着色参数，计算第一像素点的像素值；

按照第一像素点的像素值，对第一像素点进行重新着色；

其中，第一像素点为2D家具图像中的任意像素点。

在一可选实施例中，不同部件标签配置有不同的着色参数。

在一可选实施例中，部件标签包括部件名称标签、部件纹理标签、部件形状标签或部件材质标签中的一种或多种。

值得说明的是，上述关于计算设备各实施例中的技术细节，可参考前述的家具部件分割模型的训练方案各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。

基于图5所示的计算设备的结构，本申请的又一示例性实施例中，还可提供另一种计算设备。

在该实施例中，计算设备中的处理器51可用于：

获取目标家具对应的二维家具图像；

将二维家具图像输入家具部件分割模型中，家具部件分割模型为以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本进行训练而获得的，而部件分割图则为基于2D家具图像中像素点与3D家具模型空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对2D家具图像进行重新着色而获得的；

在家具部件分割模型中，对二维家具图像进行图像分割，以产生二维家具图像对应的部件分割图；

其中，部件分割图中的各分割区域分别标注有部件标签。

值得说明的是，上述关于计算设备各实施例中的技术细节，可参考前述的家具图像的打标方案各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。

进一步，如图5所示，该计算设备还包括：通信组件52、电源组件53等其它组件。图5中仅示意性给出部分组件，并不意味着计算设备只包括图5所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。

上述图5中的存储器，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

上述图5中的通信组件，被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图5中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种家具部件分割模型的训练方法，包括：

获取3D家具模型对应的点云数据；

基于所述点云数据，分别确定所述3D家具模型包含的各个空间点所属的部件标签；

将所述3D家具模型转换为2D家具图像；

在所述2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色，以产生所述3D家具模型对应的部件分割图；

以所述3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本，训练家具部件分割模型。

2.根据权利要求1所述的方法，所述基于所述点云数据，分别确定所述3D家具模型包含的各个空间点所属的部件标签，包括：

将所述点云数据输入点云分割模型；

在所述点云分割模型中，对所述3D家具模型包含的各个空间点进行聚类，以获得至少一个空间点集合；

根据所述点云数据，在所述至少一个空间点集合下进行属性特征提取，以获得所述至少一个空间点集合对应的属性特征；

基于属性特征与部件标签之间的映射关系以及所述至少一个空间点集合对应的属性特征，输出所述至少一个空间点集合所属的部件标签。

3.根据权利要求2所述的方法，所述点云分割模型的训练过程，包括：

获取若干已打标3D家具样本，所述3D家具样本中包含点云数据和3D模型中各个空间点所属的部件标签；

将所述若干已打标3D家具样本输入所述点云分割模型；

在所述点云分割模型中，对所述3D模型中的空间点进行聚类及属性特征提取；

根据提取到的属性特征以及各个空间点所属的部件标签，学习所述属性特征与部件标签之间的映射关系。

4.根据权利要求2所述的方法，所述对所述3D家具模型包含的各个空间点进行聚类，包括：

按照空间点的坐标和/或纹理数据，对所述3D家具模型包含的各个空间点进行聚类。

5.根据权利要求1所述的方法，所述将所述3D家具模型转换为2D家具图像，包括：

按照所述点云数据，对所述3D家具模型进行栅格化处理，以将所述3D家具模型包含的世界坐标系下的空间点映射为视角坐标系下的像素点，以获得二维图像；

根据所述3D家具模型包含的空间点所处三角网格的纹理数据，对所述二维图像中相应的像素点进行渲染，以产生所述3D家具模型对应的2D家具图像。

6.根据权利要求1所述的方法，所述在所述2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色，包括：

基于像素点与空间点之间的映射关系，确定与所述2D家具图像下的第一像素点关联的目标空间点；

根据所述目标空间点所属的部件标签，确定为所述第一像素点对应的目标部件标签；

根据为所述目标部件标签配置的着色参数，计算所述第一像素点的像素值；

按照所述第一像素点的像素值，对所述第一像素点进行重新着色；

其中，所述第一像素点为所述2D家具图像中的任意像素点。

7.根据权利要求1或6所述的方法，不同部件标签配置有不同的着色参数。

8.根据权利要求1所述的方法，所述部件标签包括部件名称标签、部件纹理标签、部件形状标签或部件材质标签中的一种或多种。

9.一种家具图像的打标方法，包括：

获取目标家具对应的二维家具图像；

将所述二维家具图像输入家具部件分割模型中，所述家具部件分割模型为以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本进行训练而获得的，而所述部件分割图则为基于2D家具图像中像素点与3D家具模型空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色而获得的；

在所述家具部件分割模型中，对所述二维家具图像进行图像分割，以产生所述二维家具图像对应的部件分割图；

其中，所述部件分割图中的各分割区域分别标注有部件标签。

10.一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

获取3D家具模型对应的点云数据；

基于所述点云数据，分别确定所述3D家具模型包含的各个空间点所属的部件标签；

将所述3D家具模型转换为2D家具图像；

在所述2D家具图像下，基于像素点与空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色，以产生所述3D家具模型对应的部件分割图；

以所述3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本，训练家具部件分割模型。

11.一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

获取目标家具对应的二维家具图像；

将所述二维家具图像输入家具部件分割模型中，所述家具部件分割模型为以3D家具模型对应的2D家具图像和部件分割图及部件标签作为训练样本进行训练而获得的，而所述部件分割图则为基于2D家具图像中像素点与3D家具模型空间点之间的映射关系、空间点所属的部件标签以及为不同部件标签配置的着色参数，对所述2D家具图像进行重新着色而获得的；

在所述家具部件分割模型中，对所述二维家具图像进行图像分割，以产生所述二维家具图像对应的部件分割图；

其中，所述部件分割图中的各分割区域分别标注有部件标签。

Images