CN112396037A - 一种基于深度学习的室内装饰识别与定位方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的室内装饰识别与定位方法，其包括训练方法和识别方法，所述识别方法为：S1、对双目相机进行相机标定；S2、使用双目相机拍摄需要监理的工程；S3、对拍摄的图片进行预处理；S4、使用训练后的特征提取模型对图片进行特征提取；S5、使用训练后的图像识别模型对提取到的特征进行图像识别；S6、根据图像识别结果进行定位。借助于计算机和摄像头，可以自动完成监理工作，后期工作几乎不需要人工参与，而且不容易出现遗漏和错误。本方案适用于室内装饰监理工作。

Description

一种基于深度学习的室内装饰识别与定位方法

技术领域

本发明涉及图像识别处理领域，尤其是涉及一种基于深度学习的室内装饰识别与定位方法。

背景技术

随着近些年我国经济的大发展和人们生活水平的提高，越来越多的人更加重视自己的居住环境的条件，而作为人们最重要的生活环境之一的住房，其室内美化装饰工程也呈现逐年增长的态势。同时，我国的房地产业已经逐渐度过野蛮生长期，进入稳定增长期，房地产企业之间的竞争已经日趋激烈，如何在行业中独树一帜已经被越来越多房企所重视，进行室内装饰则可以凸显其与众不同的差异性，因此越来越被房企所重视。在两种因素的推动下，室内装饰需求越来越旺盛。

随着室内装饰工程量的增加，对其进行监理的工作量也在逐渐加大，需要监理的各种项目日渐增多，花样也不断推陈出新，而且在整个项目施工过程中，需要进行全程有效监理，及时找出问题。近些年来，随着计算机计算能力的普遍增长和深度学习理论的日益完善，神经网络的结构和理论日益丰富，图像采集与处理技术的日益增强，将深度学习理论和神经网络架构应用到室内装饰工程的监理过程，代替部分人工工作成为可能。

在实际的室内装饰工程监理过程中，除了部分装饰项目需要精细准确的位置和尺寸信息外，大部分装饰项目主要关注装饰物品的大体位置和其外观，颜色是否与装饰方案相同。目前，大量的室内装饰项目监理需要大量项目监理人员，而且传统监理工作简单但是繁重，人工进行易造成监理遗漏和错误，而且所需时间较长，效率比较低下。

发明内容

本发明主要针对现有的室内装饰监理工作中人工需求大、效率低下、易造成遗漏和错误的问题，提供一种基于深度学习的室内装饰识别与定位方法。本发明针对室内装饰工程监理工作中的装饰物品的大体位置和其外观，颜色与装饰方案的对比工作，利用摄像头、智能终端等设备，进行自动识别与定位。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：

一种基于深度学习的室内装饰识别与定位方法，包括识别方法，所述识别方法为：

S1、对双目相机进行相机标定；

S2、使用双目相机拍摄需要监理的工程；

S3、对拍摄的图片进行预处理；

S4、使用训练后的特征提取模型对图片进行特征提取；

S5、使用训练后的图像识别模型对提取到的特征进行图像识别；

S6、根据图像识别结果进行定位。

借助于计算机和摄像头，可以自动完成监理工作，后期工作几乎不需要人工参与，而且不容易出现遗漏和错误。

作为优选，本申请的一种基于深度学习的室内装饰识别与定位方法还包括训练方法，所述训练方法包括以下步骤：

A1、采集装饰图片并制作数据集：在施工监理现场尽量采集80张以上包含室内装饰的清晰图片，对其进行分类和标注；其中，分类是指根据装饰的种类将图片中的装饰内容标签化，标注是指在图片中使用最小外接矩形标出装饰在图片中的位置；

图片命名按照VOC2007标准格式，如“000001.jpg”形式。训练集中所有的图片重命名后放在同一指定路径下。利用labelImg工具对图片自定义绘制包围框，并生成与图片对应的xml文件，如000001.xml。生成的所有的xml文件放在另一指定路径下。然后利用xml文件划分数据集，生成trainval.txt、train.txt、test.txt和val.txt文件。将生成的四个txt文件放在另一路径下。

A2、使用数据集训练VGG16网络和MaskRCNN网络：对VGG16网络预训练的权重采用官方提供的预训练的权重，然后对经典VGG16网络进行改造，使用model.features直接只调用特征提取部分，抛弃掉分类部分；

首先将之前做好的数据集导入模型中，同时将需要识别的装饰类别数目加一作为模型的识别类别，然后在每次训练数据之前清除缓存，同时设定模型文件中的迭代次数，如果各个数据集的识别正确率均达到95%以上，训练过程完成。

作为优选，所述步骤S1中，对双目相机进行相机标定具体为：

S101、准备标定图片，标定图片为正方形黑白格相间图案，将双目相机位置固定；

S102、对两个相机分别进行标定：首先从不同角度同时拍摄若干图片，然后对同一个相机的每一张标定图片，提取角点信息，进一步提取亚像素角点信息，在棋盘标定图上绘制找到的内角点，然后进行标定，最后对标定结果进行矫正和评价,最后分别得到每个相机的内参和外参；内参包括焦距等表征了相机的内部结构参数，外参是相机的旋转矩阵和平移向量；

S103、进行双目相机标定：将同时拍摄的两张图片两两成组，首先消除图像畸变，使用Harris 角点检测算法找到适量的角点（具体为通过调整Harris算法的各项参数，在避免找到错误的角点的基础上，找到所有正方形黑白格的所有角点），然后使用surf算法找到两幅图片中同一角点在两幅图像中的位置，并使之建立连接关系，然后进行平移，直至将一组图片中同一行方格放在同一高度，接着采用Block Matching算法进行立体匹配，求出视差矩阵，最后将视差矩阵转换成实际的物理坐标矩阵。

使用双目相机拍摄需要监理的工程，具体包括如下过程：

双目相机的位置应保持不变，保证拍摄时光线充足，拍摄的照片应尽量清晰，拍摄的物体应与之前采集数据集时拍摄的角度较为一致。拍摄后的图片应先压缩，以免后续传输，储存不便以及计算量过大。

其中，对于需要监理的工程应事先明确监理的内容，即装饰类别及其位置，装饰内容应该是之前已经作为训练集的一部分参与了MaskRCNN神经网络的训练。

作为优选，所述步骤S3中，对拍摄的图片进行预处理，具体包括如下过程：

S301、使用直方图均衡化方法增加图像的对比度，减轻光照条件对图像的干扰，具体过程为：

使用高斯低通滤波器先对图像进行滤波处理，把图像的高低频分量分开，经过高斯低通滤波器滤波后，图像中的低频分量会通过，利用原图像减去得到的低频分量就可得到高频分量，将得到的低频分量使用传统的直方图均衡化方法增强对比度，最后再将传统直方图均衡化的低频分量与高频分量线性加和，即可得到对比度增强处理后的图像。

S302、对图像使用边缘保留滤波，在除去噪点的同时尽量保留图像的信息。使用边缘保留滤波采用高斯双边滤波，在滤波时，该滤波方法同时考虑空间临近信息与颜色相似信息，在滤除噪声、平滑图像的同时，又做到边缘保存。双边滤波采用了两个高斯滤波的结合。一个负责计算空间邻近度的权值，也就是常用的高斯滤波器原理。而另一个负责计算像素值相似度的权值。在两个高斯滤波的同时作用下，得到双边滤波图像。

作为优选，所述步骤S4中，使用训练后的特征提取模型对图片进行特征提取，具体包括如下过程：

S401、将图像输入到训练后的VGG16网络；

S402、从VGG16网络的最后一个conv层提取特征；

S403、对提取到的特征进行降维处理：首先计算特征平均值构建特征数据的协方差矩阵，再通过SVD分解求解该协方差矩阵的特征值以及特征向量；求出来的特征值依次从大到小的排列，选出主成分的特征值；主成分的特征值所对应的特征向量构成降维后的子空间。

作为优选，所述步骤S5中，使用训练后的图像识别模型对提取到的特征进行图像识别，具体包括如下过程：

S501、将监理照片提取的图像特征输入之前训练好的MaskCNN网络，得到识别的室内装饰目标；

S502、对每一个目标，找到对应的类别以及其最小外接矩形标注框的四角坐标，并对其进行像素级目标分割，即在每个目标中，需要在像素层面区分前景和背景。

作为优选，所述步骤S6中，根据图像识别结果进行定位，具体包括如下过程：

根据四角坐标与像素级目标分割结果，由双目相机拍摄结果计算出的图像深度图，综合判断装饰物体位置与姿态，得到装饰的坐标，并计算与预定坐标的距离；当偏差距离大于偏差阈值时，判定监理结果与项目内容不符，否则判定监理结果符合项目内容。偏差阈值由人为设定。装饰的预定坐标由设计图得到或手工输入。

作为优选，所述步骤S6以后还包括以下步骤：

S7、将识别结果与定位结果整合，具体包括如下过程：

将监理时间、地点、监理人员、监理项目名称以及识别的每个装饰的预期类别、实际类别、预期位置、实际位置、监理是否成功列成表格，生成监理报告。

本发明带来的实质性效果是，可以自动识别和定位室内装饰，获得对比结果，完成监理工作，减少人力消耗，提高效率，精确度高，成本低，不易出错。

附图说明

图1是本发明的一种识别方法流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于深度学习的室内装饰识别与定位方法，包括训练方法和识别方法，如图1所示，识别方法为：

S1、对双目相机进行相机标定；

S2、使用双目相机拍摄需要监理的工程；

S3、对拍摄的图片进行预处理；

S4、使用训练后的特征提取模型对图片进行特征提取；

S5、使用训练后的图像识别模型对提取到的特征进行图像识别；

S6、根据图像识别结果进行定位；

S7、将识别结果与定位结果整合。

借助于计算机和摄像头，可以自动完成监理工作，后期工作几乎不需要人工参与，而且不容易出现遗漏和错误。

训练方法包括以下步骤：

A1、采集装饰图片并制作数据集：在施工监理现场尽量采集尽可能多（80张以上，一般建议100张左右）的包含室内装饰的尽量清晰的图片，对其进行分类和标注；其中，分类是指根据装饰的种类将图片中的装饰内容标签化，标注是指在图片中使用最小外接矩形标出装饰在图片中的位置；

图片命名按照VOC2007标准格式，如“000001.jpg”形式。训练集中所有的图片重命名后放在同一指定路径下。利用labelImg工具对图片自定义绘制包围框，并生成与图片对应的xml文件，如000001.xml。生成的所有的xml文件放在另一指定路径下。然后利用xml文件划分数据集，生成trainval.txt、train.txt、test.txt和val.txt文件。将生成的四个txt文件放在另一路径下。

A2、使用数据集训练VGG16网络和MaskRCN网络：对VGG16网络预训练的权重采用官方提供的预训练的权重，然后对经典VGG16网络进行改造，使用model.features直接只调用特征提取部分，抛弃掉分类部分；

使用基于VGG16模型的近似联合训练方法训练和测试MaskRCNN：根据训练集类别更改模型文件，首先将之前做好的数据集，即四个txt文件和与之对应的xml文件导入模型中，同时将需要识别的装饰类别数目加一作为模型的识别类别（需要加上一项背景类别值），然后在每次训练数据之前清除缓存，同时修改模型文件中的迭代次数，为了提高数据利用率可以现将其修改为100次左右，如果训练后测试错误率和训练错误率相差较小，可认为当前迭代次数合适；当测试错误率先变小后变大时则说明迭代次数过大，需要减小迭代次数，否则容易出现过拟合。训练时需要使用使用Python执行模型文件中的python训练脚本文件以训练网络。训练过程中调整模型各项参数，如果各个数据集的识别正确率均达到95%以上，训练过程完成。

步骤S1中，对双目相机进行相机标定具体为：

S101、准备标定图片，标定图片为正方形黑白格相间图案，将双目相机位置固定；

S102、对两个相机分别进行标定：首先从不同角度同时拍摄若干图片，然后对同一个相机的每一张标定图片，提取角点信息，进一步提取亚像素角点信息，在棋盘标定图上绘制找到的内角点，然后进行标定，最后对标定结果进行矫正和评价,最后分别得到每个相机的内参和外参；内参包括焦距等表征了相机的内部结构参数，外参是相机的旋转矩阵和平移向量；

S103、进行双目相机标定：将同时拍摄的两张图片两两成组，首先消除图像畸变，使用Harris 角点检测算法找到适量的角点（具体为通过调整Harris算法的各项参数，在避免找到错误的角点的基础上，找到所有正方形黑白格的所有角点），然后使用surf算法找到两幅图片中同一角点在两幅图像中的位置，并使之建立连接关系，然后进行平移，直至将一组图片中同一行方格放在同一高度，接着采用Block Matching算法进行立体匹配，求出视差矩阵，最后将视差矩阵转换成实际的物理坐标矩阵。

使用双目相机拍摄需要监理的工程，具体包括如下过程：

双目相机的位置应保持不变，保证拍摄时光线充足，拍摄的照片应尽量清晰，拍摄的物体应与之前采集数据集时拍摄的角度较为一致。拍摄后的图片应先压缩，以免后续传输，储存不便以及计算量过大。

其中，对于需要监理的工程应事先明确监理的内容，即装饰类别及其位置，装饰内容应该是之前已经作为训练集的一部分参与了MaskRCNN神经网络的训练。

步骤S3中，对拍摄的图片进行预处理，具体包括如下过程：

S301、使用直方图均衡化方法增加图像的对比度，减轻光照条件对图像的干扰，具体过程为：

使用高斯低通滤波器先对图像进行滤波处理，把图像的高低频分量分开，经过高斯低通滤波器滤波后，图像中的低频分量会通过，利用原图像减去得到的低频分量就可得到高频分量，将得到的低频分量使用传统的直方图均衡化方法增强对比度，最后再将传统直方图均衡化的低频分量与高频分量线性加和，即可得到对比度增强处理后的图像。

S302、对图像使用边缘保留滤波，在除去噪点的同时尽量保留图像的信息。使用边缘保留滤波采用高斯双边滤波，在滤波时，该滤波方法同时考虑空间临近信息与颜色相似信息，在滤除噪声、平滑图像的同时，又做到边缘保存。双边滤波采用了两个高斯滤波的结合。一个负责计算空间邻近度的权值，也就是常用的高斯滤波器原理。而另一个负责计算像素值相似度的权值。在两个高斯滤波的同时作用下，得到双边滤波图像。

步骤S4中，使用训练后的特征提取模型对图片进行特征提取，具体包括如下过程：

S401、将图像输入到训练后的VGG16网络；

S402、从VGG16网络的最后一个conv层提取特征；

S403、对提取到的特征进行降维处理：首先计算特征平均值构建特征数据的协方差矩阵，再通过SVD分解求解该协方差矩阵的特征值以及特征向量；求出来的特征值依次从大到小的排列，从大到小选取20个特征值作为主成分的特征值；主成分的特征值所对应的特征向量构成降维后的子空间。

步骤S5中，使用训练后的图像识别模型对提取到的特征进行图像识别，具体包括如下过程：

S501、将监理照片提取的图像特征输入之前训练好的MaskCNN网络，得到识别的室内装饰目标；

S502、对每一个目标，找到对应的类别以及其最小外接矩形标注框的四角坐标，并对其进行像素级目标分割，即在每个目标中，需要在像素层面区分前景和背景。

步骤S6中，根据图像识别结果进行定位，具体包括如下过程：

根据四角坐标与像素级目标分割结果，由双目相机拍摄结果计算出的图像深度图，综合判断装饰物体位置与姿态，得到装饰的坐标，并计算与预定坐标的距离；当偏差距离大于偏差阈值时，判定监理结果与项目内容不符，否则判定监理结果符合项目内容。偏差阈值由人为设定。装饰的预定坐标由设计图得到或手工输入。

步骤S7具体包括如下过程：

将监理时间、地点、监理人员、监理项目名称以及识别的每个装饰的预期类别、实际类别、预期位置、实际位置、监理是否成功列成表格，生成监理报告。

用户可以从监理报告中直接了解装修的状态和结果。

本文中所描述的具体实施例仅仅是对本发明创造精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的原理或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了VGG16网络、标定、训练等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明创造精神相违背的。

Claims (8)

1.一种基于深度学习的室内装饰识别与定位方法，其特征在于，包括识别方法，所述识别方法为：

S1、对双目相机进行相机标定；

S2、使用双目相机拍摄需要监理的工程；

S3、对拍摄的图片进行预处理；

S4、使用训练后的特征提取模型对图片进行特征提取；

S5、使用训练后的图像识别模型对提取到的特征进行图像识别；

S6、根据图像识别结果进行定位。

2.根据权利要求1所述的一种基于深度学习的室内装饰识别与定位方法，其特征在于，还包括训练方法，所述训练方法包括以下步骤：

A1、采集装饰图片并制作数据集：在施工监理现场尽量采集80张以上包含室内装饰的清晰图片，对其进行分类和标注；其中，分类是指根据装饰的种类将图片中的装饰内容标签化，标注是指在图片中使用最小外接矩形标出装饰在图片中的位置；

A2、使用数据集训练VGG16网络和MaskRCNN网络：

对VGG16网络预训练的权重采用官方提供的预训练的权重，然后对经典VGG16网络进行改造，使用model.features直接只调用特征提取部分，抛弃掉分类部分；

首先将之前做好的数据集导入模型中，同时将需要识别的装饰类别数目加一作为模型的识别类别，然后在每次训练数据之前清除缓存，同时设定模型文件中的迭代次数，如果各个数据集的识别正确率均达到95%以上，训练过程完成。

3.根据权利要求1或2所述的一种基于深度学习的室内装饰识别与定位方法，其特征在于，所述步骤S1中，对双目相机进行相机标定具体为：

S101、准备标定图片，标定图片为正方形黑白格相间图案，将双目相机位置固定；

S102、对两个相机分别进行标定：首先从不同角度同时拍摄若干图片，然后对同一个相机的每一张标定图片，提取角点信息，进一步提取亚像素角点信息，在棋盘标定图上绘制找到的内角点，然后进行标定，最后对标定结果进行矫正和评价,最后分别得到每个相机的内参和外参；

S103、进行双目相机标定：将同时拍摄的两张图片两两成组，首先消除图像畸变，使用Harris 角点检测算法找到适量的角点，然后使用surf算法找到两幅图片中同一角点在两幅图像中的位置，并使之建立连接关系，然后进行平移，直至将一组图片中同一行方格放在同一高度，接着采用Block Matching算法进行立体匹配，求出视差矩阵，最后将视差矩阵转换成实际的物理坐标矩阵。

4.根据权利要求1或2所述的一种基于深度学习的室内装饰识别与定位方法，其特征在于，所述步骤S3中，对拍摄的图片进行预处理，具体包括如下过程：

S301、使用直方图均衡化方法增加图像的对比度，S302、对图像使用边缘保留滤波。

5.根据权利要求3所述的一种基于深度学习的室内装饰识别与定位方法，其特征在于，所述步骤S4中，使用训练后的特征提取模型对图片进行特征提取，具体包括如下过程：

S401、将图像输入到训练后的VGG16网络；

S402、从VGG16网络的最后一个conv层提取特征；

S403、对提取到的特征进行降维处理：首先计算特征平均值构建特征数据的协方差矩阵，再通过SVD分解求解该协方差矩阵的特征值以及特征向量；求出来的特征值依次从大到小的排列，从大到小选取15至25个特征值作为主成分的特征值；主成分的特征值所对应的特征向量构成降维后的子空间。

6.根据权利要求5所述的一种基于深度学习的室内装饰识别与定位方法，其特征在于，所述步骤S5中，使用训练后的图像识别模型对提取到的特征进行图像识别，具体包括如下过程：

S501、将监理照片提取的图像特征输入之前训练好的MaskRCNN网络，得到识别的室内装饰目标；

S502、对每一个目标，找到对应的类别以及其最小外接矩形标注框的四角坐标，并对其进行像素级目标分割，即在每个目标中，需要在像素层面区分前景和背景。

7.根据权利要求1或2所述的一种基于深度学习的室内装饰识别与定位方法，其特征在于，所述步骤S6中，根据图像识别结果进行定位，具体包括如下过程：

根据四角坐标与像素级目标分割结果，由双目相机拍摄结果计算出的图像深度图，综合判断装饰物体位置与姿态，得到装饰的坐标，并计算与预定坐标的距离；当偏差距离大于偏差阈值时，判定监理结果与项目内容不符，否则判定监理结果符合项目内容。

8.根据权利要求1所述的一种基于深度学习的室内装饰识别与定位方法，其特征在于，所述步骤S6以后还包括以下步骤：

S7、将识别结果与定位结果整合，具体包括如下过程：

将监理时间、地点、监理人员、监理项目名称以及识别的每个装饰的预期类别、实际类别、预期位置、实际位置、监理是否成功列成表格，生成监理报告。

Images