CN116052137A - 一种基于深度学习的古典家具文化属性识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的古典家具文化属性识别方法及其应用，利用古典家具风格识别模型、品类识别模型对输入图片中包含的古典家具的风格、品类进行快速准确识别，然后利用各自品类的部件分割模型对其部件进行精准分割，基于部件分割结果对其品类进行进一步细化，并利用集成的古典家具文化属性识别模块对分割后的各个部件中包含的文化属性如工艺、纹饰等进行多维度、高准确率的识别，根据识别结果在相关联的古典家具知识图谱中查找信息，对其文化属性进行解读与输出。本方法能够自动、快速、准确的对古典家具中蕴含的文化属性进行识别与解读，为用户提供极大便利。

Description

一种基于深度学习的古典家具文化属性识别方法及系统

技术领域

本发明涉及人工智能领域，尤其涉及一种基于深度学习的古典家具文化属性识别方法及其系统应用。

背景技术

故宫博物院继陶瓷馆、书画馆等专馆之后，又单独开设故宫家具馆，供游客参观游览。作为一种兼具实用性与艺术性的历史载体，中国古典家具，尤以明清两代为甚，蕴含着丰富的文化属性，深受人们的喜爱。如今，家居市场上新中式家具也多从明清古典家具中汲取灵感并加以改造，颇受消费者青睐。

无论是作为游客参观古家具展，还是作为消费者选购中式家具，对其中蕴含的文化属性进行解读都是十分必要的，但要详细了解其中蕴含的艺术、民风、民俗光彩，需要较高的知识储备与鉴别能力，对游客和消费者提出了很高的要求。

阿里云视觉智能平台的家居属性识别功能能够对包括轻奢、北欧、复古怀旧等16种家居模型图进行识别，但只能对家居整体风格进行粗略识别，识别准确率低且无法进行古典家具文化属性解读；专利申请号为202111020955.X的中国发明公开了一种基于点云数据出发的家具部件分割模型训练方法，该方法虽然实现了对二维家具图像的部件级自动标注，但是是通过家具的3D点云数据映射到二维平面来对其部件进行标注从而进行训练的，针对古典家具的分割效果有待验证，同时该方法同样无法对古典家具中的文化属性进行识别与解读。

因此，如何找到一种能够帮助人们快速识别并解读古典家具中蕴含的文化属性的方法是目前亟待解决的问题。

发明内容

基于上述背景，本发明提供一种基于深度学习的古典家具文化属性识别方法及其应用，能够快速识别古典家具中蕴含的文化属性并进行解读。

为实现上述目的，第一方面，本发明提供一种古典家具文化属性识别方法，包括：

步骤S1：输入古典家具图片预处理；

步骤S2：利用古典家具风格识别模块对输入图片中包含的古典家具风格进行识别并获得相应的风格标签；

进一步的，所述古典家具风格识别模块可将输入图片中包含的古典家具分为明风格古典家具与清风格古典家具；

步骤S3：利用古典家具品类识别模块对输入图片中包含的古典家具品类进行识别并获得相应的品类标签；

进一步的，所述古典家具品类识别模块可将输入图片中包含的古典家具分为桌案、椅凳、床、箱、柜五类古典家具品类；

步骤S4：根据上述获得的古典家具品类标签，选择相应品类的部件分割模型，获得古典家具部件分割结果；

进一步的，对应的古典家具部件分割模型包括桌案、椅凳、床、箱、柜五类部件分割模型；

进一步的，根据古典家具部件分割结果对桌与案、椅和凳进行进一步区分；

步骤S5：根据古典家具部件分割结果，利用集成的古典家具文化属性识别模块对古典家具中包含的文化属性进行识别，综合上述步骤得到输入图片中包含的古典家具的全部文化属性标签；

进一步的，集成的古典家具文化属性识别模块包含材质识别器、纹饰识别器、工艺识别器与造型识别器；

进一步的，全部文化属性标签包含风格、材质、工艺、纹饰、造型、品类；

步骤S6：根据上述步骤获得的全部文化属性标签，在古典家具文化知识图谱中查询相关信息，并与输入图片中包含的古典家具进行关联，对其中蕴含的文化属性进行解读。

步骤S7：古典家具文化属性识别与解读的结果输出。

第二方面，本发明还提供一种古典家具文化属性识别系统，包括：

数据输入模块：用于将古典家具图片进行预处理并输入所述的古典家具文化属性识别模块；

古典家具文化属性识别模块：用于根据所述的古典家具文化属性识别方法对古典家具中蕴含的文化属性进行识别，并得到其文化属性标签；

古典家具文化属性解读模块：根据得到的文化属性标签在相关联的古典家具知识图谱查询相关信息，对其文化属性进行解读；

古典家具文化属性输出模块：对输入图片中包含的古典家具文化属性的识别与解读结果以文字、图片、语音、视频形式输出。

与现有技术和方法相比，本发明具有以下有益效果：

本发明提供的一种基于深度学习的古典家具文化属性识别方法能够快速对古典家具的风格与品类进行准确识别，并自动选择相应品类的部件分割模型进行准确分割，省去了人工选择品类再进行分割的繁琐步骤；利用集成的古典家具文化属性识别模块对分割后的各个部件中包含的文化属性进行工艺、纹饰等多维度、细粒度、高准确率的识别；结合古典家具知识图谱为游客或消费者快速提供古典家具文化深层次解读服务，显著提升游客游览质量，以及为消费者带来全新的家具购物体验。

附图说明

图1是本发明一种基于深度学习的古典家具文化属性识别方法流程图；

图2是本发明提供的古典家具文化属性识别系统。

具体实施方式

本发明通过基于深度学习的方法对古典家具部件进行分割并对其中的文化属性进行自动识别，获得古典家具的多文化属性标签，通过查询古典家具知识图谱并在输入图片与古典家具知识图谱间建立关联，获得对古典家具中蕴含的文化属性的解读，下面将结合附图对本发明提出的方法和应用作进一步详细说明。

如图1所示，是本发明一种基于深度学习的古典家具文化属性识别方法的流程图，根据不同的需求，该流程中步骤可自由组合且顺序可以进行调整。

参考图1，一种基于深度学习的古典家具文化属性识别方法包括如下步骤：

步骤S1，输入古典家具图片预处理。

所述输入古典家具图片可以为用户实时拍摄上传获得，也可以由用户本地保存上传获得。

预处理指的是通过批量抠图技术，将输入古典家具图片的背景替换为纯色，消除杂乱的图片背景对古典家具文化属性识别的干扰。

步骤S2，古典家具风格识别。

利用古典家具风格分类模型将输入图片中的古典家具分为明风格古典家具与清风格古典家具。

古典家具风格分类模型的训练过程具体如下：

A1、从网络和书籍中收集大量明清风格古典家具图片，两种风格的图片数量不应差别过大；

A2、为每张古典家具图片标注其风格；

A3、按照80％与20％的比例随机划分训练集与测试集，并选用神经网络进行训练，当风格分类模型在测试集上准确率大于或等于95％时停止训练，否则考虑调整模型参数或增加训练集样本数继续进行训练。

其中风格分类模型为卷积神经网络模型，清风格家具华贵而明风格家具文雅，二者在外形上差异大，卷积神经网络中的卷积和池化操作，能够学习明清古典家具各自的特征并进行准确分类。

步骤S3，古典家具品类识别。

利用古典家具品类分类模型将输入图片中的古典家具分为桌案、椅凳、床、箱、柜五种品类，具体训练过程与风格分类模型相同，同样采取卷积神经网络进行训练。

步骤S4，古典家具各品类部件分割。

按照输入图片中的古典家具品类，选择相应品类的部件分割模型，对古典家具部件进行分割。

相应品类的分割结果如表1所示：

表1：相应品类古典家具部件分割结果

品类	部件
		桌案	桌腿、桌面
椅凳	扶手、靠背、椅腿、椅面
		床	床身、床面、床围、床腿
箱	箱盖、箱面、提手、底座
		柜	柜门、抽屉、柜足

不同品类的部件分割模型(以椅凳为例)的训练过程具体如下：

B1、利用标注工具labelme，对从互联网和书籍中收集的大量椅凳品类的古典家具图片进行像素级别标注，标注出椅凳的扶手、靠背、椅腿与椅面，制作训练家具部件分割模型的数据集。其中，为了保证部件分割模型的精确性，利用多边形框而不是矩形框进行标注；

B2、按照80％与20％的比例划分标注后的数据集为训练集与测试集，为了保证分割结果的可信度，划分过程随机完成。

B3、利用所述标注好的训练集训练所述古典家具部件分割模型，并在标注好的测试集合上对训练好的部件分割模型性能进行检测。

B4、当在测试集上评价指标IoU大于或等于0.8时训练结束，若小于0.8则调整部件分割模型参数进行重新训练，或扩大标注训练集数量继续进行训练。

IoU(Intersection over Union)为物体实际区域与推测区域重合的面积除以两个区域整体所占的面积的值，也就是部件分割模型预测出相应部件所在区域与实际标注区域重合的面积除以二者整体所占面积的值，因此其数值范围最大为1，最小为0，越接近于1说明家具部件分割模型的性能越好。

所述部件分割模型为全卷积网络模型，该模型可以接受任意尺寸的输入图像，通过采用反卷积层对最后一个卷积层的特征图进行上采样，将其恢复到与输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留了最初输入图像中的空间信息，最后在上采样的特征图上进行逐像素的分类。

输入图片通过相应品类的部件分割模型后，可获得各个部件在图片中的像素坐标，按照以下描述对输入图片中的古典家具品类进行进一步细化：

(1)针对桌案品类古典家具，判断部件分割后的桌腿造型以及其在图片中与桌面之间的相对像素位置，桌腿直且位于桌面四角的判断为桌，其余为案；

(2)针对椅凳品类古典家具，其部件分割结果中既不包含扶手也不包含靠背的判断为凳，包含靠背或扶手其中之一的判断为椅；

步骤S5，古典家具文化属性识别。

根据分割后的家具部件，利用集成的古典家具文化属性识别模块对其中的文化属性进行自动识别，得到输入图片中古典家具的多文化属性标签。

多文化属性标签格式为(风格、材质、工艺、纹饰、造型、品类)，各标签具体内容如表2所示：

表2：古典文化属性标签与其具体内容

所述文化属性识别模块集成了材质识别器、工艺识别器、纹饰识别器与造型识别器，具体按如下所述实现。

材质识别是这样实现的：利用预训练好的材质识别器对古典家具进行材质分类，明清古典家具材质的特点是：各种木料互不掺用，有的甚至使用同一根木料进行制作，因此可以使用神经网络模型对其材质进行识别。

材质识别器具体的训练过程如下：

C1、收集黄花梨木、红木、紫檀、黑漆四种材质古典家具图片，四种风格的图片数量应相近，并为每张图片标注其材质；

C2、按照80％与20％的比例随机划分训练集与测试集，并选用神经网络进行训练，当材质分类模型在测试集上准确率大于或等于95％时停止训练，否则考虑调整模型参数或增加训练集样本数继续进行训练，其中材质分类模型为全连接神经网络模型。

工艺识别器按照下列描述对古典家具中使用的工艺进行识别：

(1)根据分割后的古典家具部件图像中的纹饰色彩像素值来确定所使用的工艺，检测到该纹饰中包含有蓝色、黄色等嵌工艺的标志性色彩，则可确定使用了嵌工艺；

(2)纹饰中存在与进行预处理前的背景相同的色彩，则可确定使用了透雕工艺；(3)其余为浮雕工艺。

纹饰识别是这样实现的：利用预训练好的纹饰识别器对古典家具部件分割后的各个部件包含的纹饰进行识别，纹饰识别器具体的训练过程如下：

D1、从互联网数据库和古典家具相关书籍中收集纹饰图片，并标注纹饰名称，构建纹饰图片集；

D2、利用包括翻转(水平翻转、垂直翻转)、旋转、移位、裁剪、缩放的数据增强手段对纹饰图片集进行扩增形成标注数据集；

D3、按照80％与20％的比例随机划分训练集与测试集，并选用神经网络进行训练，当纹饰识别器在测试集上准确率大于或等于95％时停止训练，否则考虑调整模型参数或增加训练集样本数继续进行训练，其中纹饰识别模型为卷积神经网络模型。

D4、利用纹饰识别器对分割后的古典家具各部件包含的纹饰进行识别并保存。

造型识别器：利用轮廓检测模型对古典家具的各部件分割结果进行轮廓识别并对其识别结果进行保存，如对桌面的轮廓进行检测，得到“方”、“圆”、“长”等造型，可以根据古典家具的造型对轮廓检测模型进行自定义，得到丰富的造型识别结果。

古典家具的多文化属性标签中的造型标签选取该品类家具主要部件的造型识别结果，举个例子，桌案的造型通常以桌面的几何形状为准，如方桌、圆桌、翘头案、长案。

步骤S6，古典家具文化属性解读。

根据上述所得到的全文化属性标签，在相关联的古典家具知识图谱中进行信息查询。

知识图谱是结构化的语义知识库，用于迅速描述物理世界中的概念及其相互关系。所述古家具知识图谱采取适用于专业知识图谱构建的自顶向下方式进行构建，输入所识别到的古典家具文化属性标签，便可在知识图谱中与相关信息进行关联并对其作出解读。

举例说明，对识别到的“蝠纹”的解读为：“因‘蝠’与‘福’读音相同，故我国传统文化中将蝙蝠视作‘福’的象征，蝙蝠飞临的寓意是‘进福’，表示人们希望福运从天而降。常见的纹饰中包含两只蝙蝠组成的‘双福纹’，蝙蝠与天上的云纹组合形成‘洪福齐天’，蝙蝠、寿桃或寿字、如意组合的‘福寿如意’，五只蝙蝠环绕‘寿’字飞舞的‘五福捧寿’，盒中飞出五只蝙蝠的‘五福和合’以及蝙蝠和磬、双鱼组成的‘福庆有余’等”。

步骤S7，古典家具文化属性识别与解读的结果输出。

输出内容包括部件级别的文化属性标签，以及相关联的古典家具知识图谱对输入图片中的古典家具蕴含的文化属性的解读，输出识别到的纹饰包含的美好寓意、该材质的特性、拥有相似造型的家具的信息等丰富内容，形式包括文字、语音、图片及视频。

本发明还提供一种基于深度学习的古典家具文化属性识别系统。

参见图2所示，所述基于深度学习的古典家具文化属性识别系统包括数据输入模块、古典家具文化属性识别模块、古典家具文化属性解读模块、古典家具文化属性输出模块。

所述数据输入模块，通过批量抠图技术将输入图案中的背景进行替换，将替换背景后的古典家具图片输入古典家具文化属性识别模块。

所述古典家具文化属性识别模块，通过基于深度学习的方法和判断规则对输入图片中的古典家具所蕴含的文化属性进行识别，得到其部件级的文化属性标签，包含风格、材质、工艺、纹饰、造型和品类。

所述古典家具文化属性解读模块，根据古典家具文化属性识别模块得到的古典家具部件级文化属性标签，在古典家具知识图谱中查询信息，并与相关信息进行关联、作出解读。

所述古典家具文化属性输出模块，以文字、语音、图片、视频的形式输出获得的部件级别的文化属性标签，以及相关联的古典家具知识图谱对输入图片中的古典家具蕴含的文化属性的解读。

其它技术特征参见在前基于深度学习的古典家具文化属性识别方法的描述，所述系统的各个模块可以分为几个子模块进行配置组合以进行在前方法中描述的古典家具文化属性识别过程，在此不再赘述。

Claims (7)

1.一种基于深度学习的古典家具文化属性识别方法，其特征在于，该方法包括：

步骤S1：输入古典家具图片预处理；

步骤S2：利用古典家具风格识别模块对输入图片中包含的古典家具风格进行识别并获得相应的风格标签；

步骤S3：利用古典家具品类识别模块对输入图片中包含的古典家具品类进行识别并获得相应的品类标签；

步骤S4：根据上述获得的古典家具品类标签，选择相应品类的部件分割模型，获得古典家具部件分割结果；

步骤S5：根据古典家具部件分割结果，利用集成的古典家具文化属性识别模块对古典家具中包含的文化属性进行识别，综合上述步骤得到输入图片中包含的古典家具的全部文化属性标签；

步骤S6：根据上述步骤获得的全部文化属性标签，在古典家具文化知识图谱中查询相关信息，并与输入图片中包含的古典家具进行关联，对其中蕴含的文化属性进行解读；

步骤S7：古典家具文化属性识别与解读的结果输出。

2.根据权利要求1所述的一种基于深度学习的古典家具文化属性识别方法，其特征在于，所述古典家具风格识别模块可将输入图片中包含的古典家具分为明风格古典家具与清风格古典家具。

3.根据权利要求1所述的一种基于深度学习的古典家具文化属性识别方法，其特征在于，所述古典家具品类识别模块将输入图片中包含的古典家具分为桌案、椅凳、床、箱、柜五类古典家具品类；对应的古典家具部件分割模型包括桌案、椅凳、床、箱、柜五类部件分割模型。

4.根据权利要求1所述的一种基于深度学习的古典家具文化属性识别方法，其特征在于，根据古典家具部件分割结果对桌与案、椅和凳进行区分。

5.根据权利要求1所述的一种基于深度学习的古典家具文化属性识别方法，其特征在于，集成的古典家具文化属性识别模块包含材质识别器、纹饰识别器、工艺识别器与造型识别器。

6.根据权利要求1所述的一种基于深度学习的古典家具文化属性识别方法，其特征在于，全部文化属性标签包含风格、材质、工艺、纹饰、造型、品类。

7.一种实现如权利要求1-6任一所述方法的基于深度学习的古典家具文化属性识别系统，其特征在于，包括：

数据输入模块：用于将古典家具图片进行预处理并输入所述的古典家具文化属性识别模块；

古典家具文化属性识别模块：用于根据所述的古典家具文化属性识别方法对古典家具中蕴含的文化属性进行识别，并得到其文化属性标签；

古典家具文化属性解读模块：根据得到的文化属性标签在相关联的古典家具知识图谱查询相关信息，对其文化属性进行解读；

古典家具文化属性输出模块：对输入图片中包含的古典家具文化属性的识别与解读结果以文字、图片、语音、视频形式输出。

Images