CN109284760A - 一种基于深度卷积神经网络的家具检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的家具检测方法，包括以下步骤：构建家具检测网络，所述家具检测网络包括由FPN与ResNet101组成的特征提取器、由SSD模型构成的目标检测器；对所述家具检测网络进行训练以确定所述家具检测网络参数，获得家具检测模型；利用所述家具检测模型对待检测家具场景图依次进行特征提取和目标检测后，获得家具及家具类别。还公开了一种基于深度卷积神经网络的家具检测。该家具检测方法和装置能够既快速又准确地检测获得尺寸差距较大的不同类型家具。

Description

一种基于深度卷积神经网络的家具检测方法及装置

技术领域

本发明属于建筑室内设计技术领域，具体涉及一种基于深度卷积神经网络的家具检测方法及装置。

背景技术

随着家装特别是软装市场的火爆，“所见即所得”成了每个设计师和客户日益增长的需求。在家装市场中，设计师往往会提供给客户一张家装场景的渲染图，来向客户展示家装设计的细节。但是从渲染图到落地这一步，客户往往只能听从设计公司的安排。这种“垄断”的模式严重的限制了客户的选择权，也限制了独立设计师将场景落地的能力。

目标检测是计算机视觉的传统任务之一，得益于从手工提取的特征到深度学习的特征，最近几年目标检测得到了质的飞跃，特别是Faster RCNN，SSD以及YOLO使用了深度学习的方法，给目标检测带来了一次变革。但是针对家装这个特殊的运用场景，目前的目标检测算法存在以下不足：

(1)学术界上，目标检测是运用在一个由人力精心挑选的标准数据集上，即将标准数据集分成训练集和测试集，利用训练集训练目标检测模型，并利用检测好的目标检测模型对测试集进行测试，以检验目标检测模型的好坏。但是在实际应用场景中，获得类似的标准数据集成本过高，且低质量数据直接影响现有目标检测模型的检测精度。

(2)对于目标检测，学术界上更在意的是MAP(Mean Average Precision)指标。而对于工业界的实际应用，比起学术界目标检测的准确度，更在意的是能否正确地框出所需要的物品，即更注重识别不同尺度物体。

(3)现有目标检测模型的效率和准确率往往是不可兼得，比如双模型检测是Faster RCNN有着很高的准确性，同时也带来了巨大的计算量；单模型检测器YOLO有着几乎30fps的计算速度，但是准确率不如人意。

深度残差网络ResNet作为深度卷积神经网络的一种，主要解决层次较深时网络无法训练的问题。这种借鉴了Highway Network思想的网络ResNet相当于旁边专门开个通道使得输入可以直达输出，而优化的目标由原来的拟合输出H(x)变成输出和输入的差H(x)-x，其中H(X)是某一层原始的的期望映射输出，x是输入。ResNet101表示卷积层和全连接层共计101层的ResNet网络，主要用于检测、分割以及识别等领域。

特征金字塔网路(Feature Pyramid Networks，FPN)是主要特点是将提取的低层特征和高层特征进行累加，这样获得的累加特征包含了低层特征具有的更加准确的位置信息，能够弥补由于多次上下采样造成的高层特征中存在定位信息误差，提高输出特征(该输出特征即为累加特征)的语义信息，进而提高检测性能。

SSD(single shot multibox detector)算法是一种直接预测bounding box的坐标和类别的object detection算法。SSD算法的主网络结构是VGG16，将两个全连接层改成卷积层再增加4个卷积层构造网络结构。

发明内容

本发明的目的是提供一种基于深度卷积神经网络的家具检测方法及装置，该家具检测方法和装置能够既快速又准确地检测获得尺寸差距较大的不同类型家具。

为实现上述发明目的，本发明提供以下技术方案：

一方面，本发明提供了一种基于深度卷积神经网络的家具检测方法，包括以下步骤：

构建家具检测网络，所述家具检测网络包括由FPN与ResNet101组成的特征提取器、由SSD模型构成的目标检测器；

对所述家具检测网络进行训练以确定所述家具检测网络参数，获得家具检测模型；

利用所述家具检测模型对待检测家具场景图依次进行特征提取和目标检测后，获得家具及家具类别。

另一方面，本发明提供了一种基于深度卷积神经网络的家具检测装置，包括：

一个或多个处理器，存储器以及存储在所述存储器中并可在所述一个或多个处理器上执行的一个或多个计算机程序，所述一个或多个处理器在执行所述一个或多个计算机程序时，实现上述方法的步骤。

为解决传统目标检测算法不能从一张家具场景图中检测出尺寸大小不等的各种家具的问题，本发明提供的家具检测方法和家具检测装置创新性地将FPN结合到ResNet101中，使提取的特征结合了不同尺寸的家具特征，同时采用由SSD算法构建的SSD模型对提取的特征进行检测，能够既快速又准确地检测获得尺寸差距较大的不同类型家具。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是一实施例提供的基于深度卷积神经网络的家具检测方法的流程图；

图2是实施例提供的具检测网络的训练过程示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

在家装领域中，设计师给出的家装场景图中会出现沙发、衣柜等尺寸较大的大家具，还会出现茶具、小装饰品等尺寸较小的小家具，大家具和小家具之间较大的尺寸差距会大大降低家具识别的准确性。再者，家装场景图中抱枕等家具出现的频率较大，洗手池、坐便器等家具出现的频率较小，在随机抽取的十万张家装场景图中，抱枕出现了二十多万次，洗手池仅出现几千次，这种家具出现频率的差距直接会降低检测网络的检测效率和准确率。因此，为提供对家具场景图中家具检测的准确率和效率，以下实施例提供一种基于深度卷积神经网络的家具检测方法和家具检测装置。

图1为一实施例提供的基于深度卷积神经网络的家具检测方法的流程图。如图1所示，实施例提供的基于深度卷积神经网络的家具检测方法包括以下步骤：

S101，构建家具检测网络，所述家具检测网络包括由FPN与ResNet101组成的特征提取器、由SSD模型构成的目标检测器。

本实施例包括的家具检测网络包括特征提取器和目标检测器。其中，针对特征提取器，选取标准的ResNet101作为基础网络，该ResNet101是一种深度卷积网路，能够快速实现特征提取。为实现对不同尺寸的家具特征提取，将FPN结合到ResNet101中，通过联合高低层特征，来提高特征提取的全面性和准确性，为后续进行目标检测提供稳定可靠的基础。

按照传统方式，图片应该是直接通过ResNet101来提取特征，然后将特征送入目标检测器。为了解决对小目标识别差的问题，本发明通过FPN的构架来将底层特征直接叠加到顶层，这样使得对小物体比较敏感的底层特征可以直接影响到目标检测器。

S102，对所述家具检测网络进行训练以确定所述家具检测网络参数，获得家具检测模型。

S101中建立的家具检测网络是一个网络框架，网络内部参数均不确定的。为了确定网络内部参数以使家具检测网络能够准确快速预测家具场景图中家具，需要对利用训练样本对家具检测网络进行训练。

如图2所示，具体地，所述对所述家具检测网络进行训练以确定所述家具检测网络参数包括：

利用非最大值抑制算法对所述家具检测网络的输出结果进行择优筛选，以确定预测概率最大的候选框对应的家具；

以Focal Loss和L1Loss作为所述家具检测网络的损失函数，根据家具的最大预测概率与真值计算家具检测网络的损失函数值，并根据损失函数值采用反向传播算法更新家具检测网络参数。

针对每个家具，目标检测器会输出多个候选框，每个候选框对应一个预测概率值。由于一个家具只需要给出一个最优的候选框作为最终的识别结果，因此，本实施例中采用非最大值抑制算法对家具检测网络的输出的多个候选框进行择优筛选，以确定预测概率最大的候选框。

本实施例中，以大量的家具场景图作为训练样本，在这些家具场景图中，不同家具之间的尺寸相差很大，相同家具由于摆放位置不同导致尺寸也相差甚远，且不同家具出现的频率同样相差很大，因此，这些训练样本为低质量数据。为解决低质量数据造成的学习不均衡，利用Focal Loss和L1Loss作为家具检测网络的损失函数，以计算家具检测网络的分类损失和位置损失。

L1Loss是指衡量预测值与真实值的偏差程度的L1范数。Focal Loss是一种新损失函数，思路是希望那些hard examples对损失的贡献变大，使网络更倾向于从hardexamples上学习。

在训练初期，由于以低质量数据作为训练样本，在学习过程中梯度变化的幅度较大，会造成家具检测网络梯度爆炸。因此，在更新家具检测网络参数过程中，引入梯度裁剪方法限制家具检测网络的梯度爆炸。

经过训练，针对每种家具类型的网络权重参数均已经确定，构建的家具检测网络以及确定的网络权重参数组成家具检测模型。

S103，利用所述家具检测模型对待检测家具场景图依次进行特征提取和目标检测后，获得家具及家具类别。

当家具检测模型确定后，将待检测家具场景图输入到家具检测模型中，利用确定的网络权重参数对待检测家具场景图进行特征提取和家具预测，输出识别获得的家具及家具类别。

由于家具场景图尺寸不一致，格式也多样化，为提高训练速度和检测效率，家具场景图输入家具检测网络前，需要对家具场景图进行尺寸调整、压缩以及格式统一化处理。例如可以将家具场景图缩放到最长边为1024像素，压缩后统一转换成JPEG格式。

本实施例提供的家具检测方法创新性地将FPN结合到ResNet101中，使提取的特征结合了不同尺寸的家具特征，同时采用由SSD算法构建的SSD模型对提取的特征进行检测，能够既快速又准确地检测获得尺寸差距较大的不同类型家具。

为了满足用户搜索家具场景中主体家具的需求，如图1所示，所述家具检测方法还包括：

S104，当需要检测获得主体家具时，根据家具对应的候选框在待检测家具场景图中的位置关系和候选框对应的概率，在所述家具检测模型输出的所有家具中进行筛选，以确定主体家具。

具体地，所述确定主体家具的具体步骤为：

首先，根据所述家具检测模型输出的家具及家具类型，计算家具对应的每个候选框的中心到待检测家具场景图中心的距离l_i、家具对应的每个候选框在待检测家具场景图中的面积占比k_i，其中i表示候选框的序号；

然后，根据距离l_i、面积占比k_i以及候选框对应的概率p_i计算候选框的总得分Q_i：

Q_i＝l_i×k_i×p_i

最后，以最大总得分Q_i对应的候选框框选的家具最为主体家具。

通过S104能够实时计算出整个家具场景中的核心家具，以满足用户快速搜索场景图中主体家具的需求。

具体地，如图1所示，所述家具检测方法还包括：

S105，当需要检测获得所有家具及类别时，利用非最大值抑制算法对所述家具检测网络的输出结果进行择优筛选，以确定预测概率最大的候选框，该候选框框选的内容即为识别的家具，对应的概率即为家具的类别。

针对每个家具，家具检测模型输出多个候选框，为获得更精确地识别结果，采用非最大值抑制算法对个候选框进行择优筛选，以最大概率对应的候选框作为最终的识别结果。

另外一个实施例提供了一种基于深度卷积神经网络的家具检测装置，包括：

一个或多个处理器，存储器以及存储在所述存储器中并可在所述一个或多个处理器上执行的一个或多个计算机程序，所述一个或多个处理器在执行所述一个或多个计算机程序时，实现如前所述实施例提供的家具检测方法的任意步骤，此处不再赘述。

所述的处理器和存储器可以是现有的任意的处理器和存储器，此处不限制。

经试验验证，将上述家具检测方法在单张GTX980显卡上执行时，可以达到高达13fps(frames per second)的识别效率，在两张GTX980显卡的生产环境下能承受高达25QPS(Query Per Second)的压力。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度卷积神经网络的家具检测方法，包括以下步骤：

构建家具检测网络，所述家具检测网络包括由FPN与ResNet101组成的特征提取器、由SSD模型构成的目标检测器；

对所述家具检测网络进行训练以确定所述家具检测网络参数，获得家具检测模型；

利用所述家具检测模型对待检测家具场景图依次进行特征提取和目标检测后，获得家具及家具类别。

2.如权利要求1所述的基于深度卷积神经网络的家具检测方法，其特征在于，所述对所述家具检测网络进行训练以确定所述家具检测网络参数包括：

利用非最大值抑制算法对所述家具检测网络的输出结果进行择优筛选，以确定预测概率最大的候选框对应的家具；

以Focal Loss和L1 Loss作为所述家具检测网络的损失函数，根据家具的最大预测概率与真值计算家具检测网络的损失函数值，并根据损失函数值采用反向传播算法更新家具检测网络参数。

3.如权利要求2所述的基于深度卷积神经网络的家具检测方法，其特征在于，在更新家具检测网络参数过程中，引入梯度裁剪方法限制家具检测网络的梯度爆炸。

4.如权利要求1所述的基于深度卷积神经网络的家具检测方法，其特征在于，所述家具检测方法还包括：

当需要检测获得主体家具时，根据家具对应的候选框在待检测家具场景图中的位置关系和候选框对应的概率，在所述家具检测模型输出的所有家具中进行筛选，以确定主体家具。

5.如权利要求1或4所述的基于深度卷积神经网络的家具检测方法，其特征在于，所述确定主体家具的具体步骤为：

首先，根据所述家具检测模型输出的家具及家具类型，计算家具对应的每个候选框的中心到待检测家具场景图中心的距离l_i、家具对应的每个候选框在待检测家具场景图中的面积占比k_i，其中i表示候选框的序号；

然后，根据距离l_i、面积占比k_i以及候选框对应的概率p_i计算候选框的总得分Q_i：

Q_i＝l_i×k_i×p_i

最后，以最大总得分Q_i对应的候选框框选的家具最为主体家具。

6.如权利要求1所述的基于深度卷积神经网络的家具检测方法，其特征在于，所述家具检测方法还包括：

当需要检测获得所有家具及类别时，利用非最大值抑制算法对所述家具检测网络的输出结果进行择优筛选，以确定预测概率最大的候选框，该候选框框选的内容即为识别的家具，对应的概率即为家具的类别。

7.如权利要求1～6任一项所述的基于深度卷积神经网络的家具检测方法，其特征在于，家具场景图输入家具检测网络前，需要对家具场景图进行尺寸调整、压缩以及格式统一化处理。

8.一种基于深度卷积神经网络的家具检测装置，包括：一个或多个处理器，存储器以及存储在所述存储器中并可在所述一个或多个处理器上执行的一个或多个计算机程序，其特征在于，

所述一个或多个处理器在执行所述一个或多个计算机程序时，实现如权利要求1～7任一所述方法的步骤。