CN111310755A - 基于目标检测的户型图识别方法、装置、计算机设备 - Google Patents

Abstract

本发明公开了一种基于目标检测的户型图识别方法、装置、计算机设备和存储介质，通过获取携带标签数据的训练户型图，在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型，将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型，将待识别户型图输入检测模型，输出检测结果，识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征，以准确确定待识别户型图的各部分特征，提高户型图的识别效率。

Description

基于目标检测的户型图识别方法、装置、计算机设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于目标检测的户型图识别方法、装置、计算机设备和存储介质。

背景技术

在3维家装设计中，户型图识别是家装设计的第一步。设计时，需要将用户提供的2维临摹图重建为3维户型图。所以需要先进行户型图识别，然后用DR(虚拟现实)软件基于识别的信息重建为3维形态，最后设计师在3维空间中进行家装设计。传统方式是通过人工按照临摹图画出来，这种形式耗时耗力，或者基于一些人工设计的规则来识别，准确率很低，需要人工来调整。可见，传统的户型图识别过程存在效率低的问题。

发明内容

针对以上问题，本发明提出一种基于客户退单预警的订单数据处理方法、计算机设备和存储介质。

为实现本发明的目的，提供一种基于客户退单预警的订单数据处理方法，包括如下步骤：

S10，获取携带标签数据的训练户型图；

S20，在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型；

S30，将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型；

S40，将待识别户型图输入检测模型，输出检测结果；

S50，识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征。

在一个实施例中，所述标签数据包括类别、目标矩形框的坐标、Mask和Centerness值。

在一个实施例中，所述将训练户型图输入初始模型中进行训练的过程包括：

将训练户型图输入YOLOV3里的DarkNet53网络提取出三个特征图，分别将三个特征图依次输入检测分支和Mask分支进行处理，使三个特征图分别经过对应的Head网络，输出矩形框类别、矩形框坐标和各点对应的Centerness值。

作为一个实施例，所述Head网络包括Regression支路和Classification支路；所述Classification支路中包括分类支路与Centerness支路；

三个特征图中的一个特征图经过对应的Head网络包括：

每个支路都经过4层卷积核为3*3的卷积操作，Regression支路经过最后一个3*3卷积输出W*H*4的特征图，分类支路经过卷积核为3*3的卷积后，输出为W*H*C，即每个点有C个值，这C个值经过softmax层，以算出每个点对应C个类别中每个类别的概率；选取概率最大的就是这个点的类别和分类得分，得到这个点对应Regression支路预测的矩形框的类别；Centerness支路经过卷积核为3*3的卷积后，输出为W*H*1，输出每个点预测的Centerness值；Centerness值乘以分类得分，就是最终矩形框的得分；其中，W为户型图的宽，H为户型图的高，C为类别数。

作为一个实施例，所述将一个特征图依次输入检测分支和Mask分支进行处理包括：

在Mask分支中，对特征图经过4层卷积核为3*3的卷积操作，再经过一个卷积输出为W*H*C；其中，W为户型图的宽，H为户型图的高，C为类别数；

在检测分支中，将特征图分为两路，一路经过卷积直接输出，一路进行向上取样，将特征图的大小扩大1倍，再与相应尺度的特征图融合。

在一个实施例中，若矩形标注框表征墙体，针对平行且重叠墙体，合并表征相同特征的矩形标注框的过程包括：

步骤A1，遍历所有墙体判断墙体是x轴方向长还是y轴方向长，若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体，执行步骤B1；否则不是平行墙体，继续执行遍历所有墙体判断墙体是x轴方向长还是y轴方向长；其中，x轴为墙体所在坐标系的第一维坐标轴，y轴为墙体所在坐标系的第二维坐标轴；

步骤B1，若||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤0且||y₁₁-y₀₀||-||y₀₁-y₀₀||-||y₁₁-y₁₀||≤0，则说明两个墙体重叠，执行步骤C1，否则不重叠，返回执行步骤A1；其中，A₀(x₀₀，y₀₀，x₀₁，y₀₁)表示第一个墙体的坐标，A₁(x₁₀，y₁₀，x₁₁，y₁₁)表示第二个墙体的坐标；

步骤C1，将平行且重叠的两个墙体合并，若是x轴方向长，合并后的墙体的坐标为：(min(x₀₀，x₁₀)，y₀₀，max(x₀₁，x₁₁)，y₀₁)；若是y轴方向长，合并后的墙体的坐标为：(x₀₀，min(y₀₀，y)，x₀₁，max(y₀₁，y₁₁))。

在一个实施例中，若矩形标注框表征墙体，再垂直墙体没有连接在一起时，合并表征相同特征的矩形标注框的过程包括：

步骤A2，遍历所有墙体，判断墙体是x轴方向长还是y轴方向长，若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体继续遍历，否则是垂直墙体，执行步骤B2；其中，x轴为墙体所在坐标系的第一维坐标轴，y轴为墙体所在坐标系的第二维坐标轴；

步骤B2，判断两个垂直墙体的距离，若距离小于等于设定阈值，即||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤设定阈值且||y₁₁-y₀₀||-||y₀₁-y₀₀||-||y₁₁-y₁₀||≤设定阈值，判定两个墙体需要连接在一起，执行步骤C2，否则返回执行步骤A2；

步骤C2，若A₀为x轴方向长的矩形框且x₀₀-x₁₀≤0，则向右扩展，扩展后的坐标为：(x₀₀，y₀₀，x₁₁，y₀₁)；若A₀为x轴方向长的矩形框且x₀₀-x₁₀≥0，则向左扩展，扩展后的坐标为：(x₁₀，y₀₀，x₀₁，y₀₁)；若A₀为y轴方向长的矩形框且y₀₁-y₁₁≤0，则向下扩展，扩展后的坐标为：(x₀₀，y₀₀，x₀₁，y₁₁)；若A₀为x轴方向长的矩形框且y₀₁-y₁₁≥0，则向上扩展，扩展后的坐标为：(x₀₀，y₁₀，x₀₁，y₀₁)。其中，A₀(x₀₀，y₀₀，x₀₁，y₀₁)表示第一个墙体的坐标，A₁(x₁₀，y₁₀，x₁₁，y₁₁)表示第二个墙体的坐标。

一种基于目标检测的户型图识别装置，包括：

获取模块，用于获取携带标签数据的训练户型图；

加入模块，用于在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型；

训练模块，用于将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型；

输出模块，用于将待识别户型图输入检测模型，输出检测结果；

识别模块，用于识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例的基于目标检测的户型图识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例的基于目标检测的户型图识别方法的步骤。

上述基于目标检测的户型图识别方法、装置、计算机设备和存储介质，通过获取携带标签数据的训练户型图，在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型，将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型，将待识别户型图输入检测模型，输出检测结果，识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征，以准确确定待识别户型图的各部分特征，提高户型图的识别效率。

附图说明

图1是一个实施例的基于目标检测的户型图识别方法流程图；

图2是一个实施例的初始模型的模型结构；

图3是一个实施例中直接基于YOLOV3的方法识别户型图的mAP示意图；

图4是一个实施例中采用本发明提供的方法识别户型图的mAP示意图；

图5是一个实施例的基于目标检测的户型图识别装置结构示意图；

图6是一个实施例的计算机设备示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在一个实施例中，如图1所示，提供了一种基于目标检测的户型图识别方法，包括以下步骤：

S10，获取携带标签数据的训练户型图。

在一个示例中，所述标签数据包括类别、目标矩形框的坐标、Mask和Centerness值。

本示例可以准备数据。输入数据为基本的户型图(训练户型图)。这里户型图可以是开发商提供给用户的户型图片，或者房地产、家装行业网站上的户型图片。标签数据包括类别、目标矩形框的坐标、Mask和Centerness值等内容。具体地，标签数据的各项内容可以进行如下理解。

类别是矩形框框出来的物体所属类别。

目标矩形框坐标为相应矩形框的左上角和右下角坐标：(x₀，y₀，x₁，y₁)。

Mask是由C(类别数)个2维矩阵构成的3维矩阵，C个2维矩阵按顺序与类别一一对应，即第0个矩阵对应类别为0的Mask，以此类推，每个类别都有一个Mask对应。每个2维矩阵中的数值与户型图中的每个像素点一一对应，若对应户型图中有该类别的物体，则矩阵中该点值为1，否则为0。

Centerness数据是一个2维矩阵。它的思想就是：不仅仅是物体的中心点负责检测整个物体，物体所占最小矩形框框内的所有点都负责检测这个物体。假设矩形框内的某个点P坐标为(x,y)，矩形框的坐标为(x₀，y₀，x₁，y₁)，则P点与矩形框的四条边的距离为：l＝x-x₀，r＝y-y₀，t＝x₁-x，d＝y₁-y，

所以P点的Centerness值为：

引入Centerness，是因为，模型最后输出一个W*H*4的矩阵，W和H为户型图的宽和高，即户型图的每个像素点会预测出一个矩形框。而从中筛选出正确框的难度很大，且目标矩形框内的点对结果干扰最大。加入Centerness后，离目标矩形框中心位置越远的点，Centerness值会越小，从而使最终得分很低。通过非极大值抑制(NMS)操作后就可以过滤掉得分低的预测框，从而抑制了目标家具框中心附近的点对最终预测结果的干扰。

S20，在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型。

上述步骤可以构建一个初始的检测模型(初始模型)。初始模型可以基于目标检测算法YOLOV3模型上修改。修改的部分是在DarkNet53网络后面加入Mask分支和Head网络中加入Centerness分支，目的是为了进行初步的筛选，减少预测的正负样本的数量，提升模型效果。

S30，将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型。

具体地，初始模型的分支包括：Regression分支、Classification分支、Mask分支、和Centerness分支。模型损失计算中Regression分支采用GIou损失，Classification分支采用FocalLoss，Mask分支采用cross entropy损失函数，Centerness分支采用binarycross entropy损失函数。训练过程与一般模型训练过程一致。

S40，将待识别户型图输入检测模型，输出检测结果。

上述步骤采用训练好的检测模型进行预测，输出预测结果(检测结果)。

S50，识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征。

上述步骤对检测模型输出的检测结果进行后处理。具体地，检测模型预测的墙体会有很多平行且重叠的矩形框，或者房间拐角处，预测的垂直墙体没有连接到一起。本实施可以将对上述平行且重叠的矩形框(矩形标注框)进行合并等处理后，再进行相应户型图的识别，以提高识别准确性。

上述基于目标检测的户型图识别方法，通过获取携带标签数据的训练户型图，在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型，将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型，将待识别户型图输入检测模型，输出检测结果，识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征，以准确确定待识别户型图的各部分特征，提高户型图的识别效率。

在一个实施例，所述将训练户型图输入初始模型中进行训练的过程包括：

将训练户型图输入YOLOV3里的DarkNet53网络提取出三个特征图，分别将三个特征图依次输入检测分支和Mask分支进行处理，使三个特征图分别经过对应的Head网络，输出矩形框类别、矩形框坐标和各点对应的Centerness值。

作为一个实施例，所述Head网络包括Regression支路和Classification支路；所述Classification支路中包括分类支路与Centerness支路；

三个特征图中的一个特征图经过对应的Head网络包括：

每个支路都经过4层卷积核为3*3的卷积操作，Regression支路经过最后一个3*3卷积输出W*H*4的特征图，分类支路经过卷积核为3*3的卷积后，输出为W*H*C，即每个点有C个值，这C个值经过softmax层，以算出每个点对应C个类别中每个类别的概率；选取概率最大的就是这个点的类别和分类得分，得到这个点对应Regression支路预测的矩形框的类别；Centerness支路经过卷积核为3*3的卷积后，输出为W*H*1，输出每个点预测的Centerness值；Centerness值乘以分类得分，就是最终矩形框的得分；其中，W为户型图的宽，H为户型图的高，C为类别数。

作为一个实施例，所述将一个特征图依次输入检测分支和Mask分支进行处理包括：

在Mask分支中，对特征图经过4层卷积核为3*3的卷积操作，再经过一个卷积输出为W*H*C；其中，W为户型图的宽，H为户型图的高，C为类别数；

在检测分支中，将特征图分为两路，一路经过卷积直接输出，一路进行向上取样，将特征图的大小扩大1倍，再与相应尺度的特征图融合。

在一个示例中，初始模型的模型结构如图2所示。将训练户型图输入初始模型中进行训练的过程具体可以包括：

(1)输入图像为2维户型图。

(2)输入图片先经过YOLOV3里的DarkNet53网络提取出三个不同尺度的特征图。然后传入检测和Mask两个分支分别进行处理。

a、在Mask分支中，对不同尺度的特征分别进行处理，且处理过程、方式都一样。都是先经过4层卷积核为3*3的卷积操作，再经过一个卷积输出为W*H*C，其中C为类别数。

b、在检测分支中，小尺度特征图分为两路，一路经过卷积直接输出。一路进行向上取样，将特征图的大小扩大1倍，再与相同尺度的特征图融合。不断重复此过程，从而构成一个FPN网络，提取出三个不同尺度大小的特征图。最后三个尺度的特征图分布经过对应的Head网络，输出矩形框类别、矩形框坐标(x₀，y₀，x₁，y₁)和各点对应的Centerness值。在Head网络中又分为两个支路(Regression支路和Classification支路)，每个支路都经过4层卷积核为3*3的卷积操作，这里的卷积不改变特征图的大小。随后，Regression支路经过最后一个3*3卷积输出W*H*4的特征图，W和H为户型图的宽和高，即户型图每个像素点会预测出一个矩形框(x₀，y₀，x₁，y₁)。在Classification支路中又分为分类支路与Centerness支路。分类支路经过卷积核为3*3的卷积后，输出为W*H*C，C为类别数。即每个点有C个值，这C个值经过softmax层，就可以算出每个点对应C个类别中每个类别的概率。选取概率最大的就是这个点的类别和分类得分，也就是这个点对应Regression支路预测的矩形框的类别。Centerness支路经过卷积核为3*3的卷积后，输出为W*H*1，输出每个点预测的Centerness值。Centerness值乘以分类得分，就是最终矩形框的得分。

(3)模型训练时输出为：目标矩形框(x₀，y₀，x₁，y₁)、框所属类别、框内各个点对应的Centerness值和Mask。测试时输出为物体矩形框和框所对应的类别。

在一个实施例，若矩形标注框表征墙体，针对平行且重叠墙体，合并表征相同特征的矩形标注框的过程包括：

步骤A1，遍历所有墙体判断墙体是x轴方向长还是y轴方向长，若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体，执行步骤B1；否则不是平行墙体，继续执行遍历所有墙体判断墙体是x轴方向长还是y轴方向长；其中，x轴为墙体所在坐标系的第一维坐标轴(如宽方向)，y轴为墙体所在坐标系的第二维坐标轴(如高方向)；

步骤B1，若||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤0且||y₁₁-y₀₀||-||y₀₁-y₀₀||-||y₁₁-y₁₀||≤0，则说明两个墙体重叠(两个墙体表征同一个墙体)，执行步骤C1，否则不重叠，返回执行步骤A1；其中，A₀(x₀₀，y₀₀，x₀₁，y₀₁)表示第一个墙体的坐标，A₁(x₁₀，y₁₀，x₁₁，y₁₁)表示第二个墙体的坐标；

步骤C1，将平行且重叠的两个墙体合并，若是x轴方向长，合并后的墙体的坐标为：(min(x₀₀，x₁₀)，y₀₀，max(x₀₁，x₁₁)，y₀₁)；若是y轴方向长，合并后的墙体的坐标为：(x₀₀，min(y₀₀，y₁₀)，x₀₁，max(y₀₁，y₁₁))。

在一个实施例，若矩形标注框表征墙体，再垂直墙体没有连接在一起时，合并表征相同特征的矩形标注框的过程包括：

步骤A2，遍历所有墙体，判断墙体是x轴方向长还是y轴方向长，若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体继续遍历，否则是垂直墙体，执行步骤B2；其中，x轴为墙体所在坐标系的第一维坐标轴，y轴为墙体所在坐标系的第二维坐标轴；

步骤B2，判断两个垂直墙体的距离，若距离小于等于设定阈值即||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤设定阈值且||y₁₁-y₀₀||-||y₀₁-y₀₀||-||y₁₁-y₁₀||≤设定阈值，判定两个墙体需要连接在一起，执行步骤C2，否则返回执行步骤A2；

步骤C2，若A₀为x轴方向长的矩形框且x₀₀-x₁₀≤0，则向右扩展，扩展后的坐标为：(x₀₀，y₀₀，x₁₁，y₀₁)；若A₀为x轴方向长的矩形框且x₀₀-x₁₀≥0，则向左扩展，扩展后的坐标为：(x₁₀，y₀₀，x₀₁，y₀₁)；若A₀为y轴方向长的矩形框且y₀₁-y₁₁≤0，则向下扩展，扩展后的坐标为：(x₀₀，y₀₀，x₀₁，y₁₁)；若A₀为x轴方向长的矩形框且y₀₁-y₁₁≥0，则向上扩展，扩展后的坐标为：(x₀₀，y₁₀，x₀₁，y₀₁)。其中，A₀(x₀₀，y₀₀，x₀₁，y₀₁)表示第一个墙体的坐标，A₁(x₁₀，y₁₀，x₁₁，y₁₁)表示第二个墙体的坐标。

具体地，若矩形标注框表征墙体，模型预测的墙体会有很多平行且重叠的矩形框，或者房间拐角处，预测的垂直墙体没有连接到一起。假设两个墙体矩形坐标：A₀(x₀₀，y₀₀，x₀₁，y₀₁)和A₁(x₁₀，y₁₀，x₁₁，y₁₁)。

处理平行且重叠墙体的过程包括(假设图片宽方向为x轴，高方向为y轴，左上方开始点为原点)：

(1)遍历所有墙体判断墙体矩形框是x轴方向长还是y轴方向长。若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体，进入第(2)步操作。否则不是平行墙体，继续遍历。

(2)判断两个平行墙体的距离。距离计算方法为：若||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤0或者||y₁₁-y₀₀||-||y₀₁-y₀₀||-||y₁₁-y₁₀||≤0，则说明两个墙体重叠，进入第(3)步处理，否则就是不重叠，返回第(1)步。

(3)将平行且重叠的两块墙体合并，合并后墙体坐标，若是x轴方向长：(min(x₀₀，x₁₀)，y₀₀，max(x₀₁，x₁₁)，y₀₁)；若是y轴方向长：(x₀₀，min(y₀₀，y)，x₀₁，max(y₀₁，xy₁₁))。

处理垂直墙体的过程包括：

(1)遍历所有墙体判断墙体矩形框是x轴方向长还是y轴方向长。若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体继续遍历。否则是垂直墙体，进入步骤(2)处理。

(2)判断两个垂直墙体的距离，若距离小于等于阈值，这里阈值可以设置为墙体的宽度(所有墙体矩形的最短边的均值)的2倍。则说明两个墙体需要连接在一起，进入第(3)步操作。否则返回第(1)步进行遍历。

(3)若是||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤阈值，则需要将x轴方向长的那条边进行扩展。扩展时要判断向哪边扩展，若A₀为x轴方向长的矩形框且x₀₀-x₁₀≤0，则向右扩展，扩展后的坐标为：(x₀₀，y₀₀，x₁₁，y₀₁)。若A₀为x轴方向长的矩形框且x₀₀-x₁₀≥0，则向左扩展，扩展后的坐标为：(x₁₀，y₀₀，x₀₁，y₀₁)。y轴方向类似处理。

本实施例能够很好的用矩形框将规则的门、窗和墙框出来，经过后处理后，为后面的家装布局、3D展示提供基础信息。

在一个示例中，对直接基于YOLOV3的户型图识别方法和本实施例提供的基于目标检测的户型图识别方法进行对比分析，参考图3所示，图3中，横坐标表示AP值，纵坐标表示类别，图3表明直接基于YOLOV3的方法进行检测mAP＝57.93％，参考图4所示，图4中，横坐标表示AP值，纵坐标表示类别，图4表明，本实施例提供的基于目标检测的户型图识别方法中，检测mAP＝63.38％。

在一个实施例中，参考图5所示，提供一种基于目标检测的户型图识别装置，包括：

获取模块10，用于获取携带标签数据的训练户型图；

加入模块20，用于在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型；

训练模块30，用于将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型；

输出模块40，用于将待识别户型图输入检测模型，输出检测结果；

识别模块50，用于识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征。

关于基于目标检测的户型图识别装置的具体限定可以参见上文中对于基于目标检测的户型图识别方法的限定，在此不再赘述。上述基于目标检测的户型图识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于目标检测的户型图识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

基于如上所述的示例，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如上述各实施例中的任意一种基于目标检测的户型图识别方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述基于目标检测的户型图识别方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

据此，在一个实施例中还提供一种计算机存储介质计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述各实施例中的任意一种基于目标检测的户型图识别方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于目标检测的户型图识别方法，其特征在于，包括如下步骤：

S10，获取携带标签数据的训练户型图；

S20，在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型；

S30，将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型；

S40，将待识别户型图输入检测模型，输出检测结果；

S50，识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征。

2.根据权利要求1所述的基于目标检测的户型图识别方法，其特征在于，在一个实施方式中，所述标签数据包括类别、目标矩形框的坐标、Mask和Centerness值。

3.根据权利要求1所述的基于目标检测的户型图识别方法，其特征在于，在一个实施方式中，所述将训练户型图输入初始模型中进行训练的过程包括：

将训练户型图输入YOLOV3里的DarkNet53网络提取出三个特征图，分别将三个特征图依次输入检测分支和Mask分支进行处理，使三个特征图分别经过对应的Head网络，输出矩形框类别、矩形框坐标和各点对应的Centerness值。

4.根据权利要求3所述的基于目标检测的户型图识别方法，其特征在于，在一个实施方式中，所述Head网络包括Regression支路和Classification支路；所述Classification支路中包括分类支路与Centerness支路；

三个特征图中的一个特征图经过对应的Head网络包括：

每个支路都经过4层卷积核为3*3的卷积操作，Regression支路经过最后一个3*3卷积输出W*H*4的特征图，分类支路经过卷积核为3*3的卷积后，输出为W*H*C，即每个点有C个值，这C个值经过softmax层，以算出每个点对应C个类别中每个类别的概率；选取概率最大的就是这个点的类别和分类得分，得到这个点对应Regression支路预测的矩形框的类别；Centerness支路经过卷积核为3*3的卷积后，输出为W*H*1，输出每个点预测的Centerness值；Centerness值乘以分类得分，就是最终矩形框的得分；其中，W为户型图的宽，H为户型图的高，C为类别数。

5.根据权利要求3所述的基于目标检测的户型图识别方法，其特征在于，在一个实施方式中，所述将一个特征图依次输入检测分支和Mask分支进行处理包括：

在Mask分支中，对特征图经过4层卷积核为3*3的卷积操作，再经过一个卷积输出为W*H*C；其中，W为户型图的宽，H为户型图的高，C为类别数；

在检测分支中，将特征图分为两路，一路经过卷积直接输出，一路进行向上取样，将特征图的大小扩大1倍，再与相应尺度的特征图融合。

6.根据权利要求1所述的基于目标检测的户型图识别方法，其特征在于，在一个实施方式中，若矩形标注框表征墙体，针对平行且重叠墙体，合并表征相同特征的矩形标注框的过程包括：

步骤A1，遍历所有墙体判断墙体是x轴方向长还是y轴方向长，若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体，执行步骤B1；否则不是平行墙体，继续执行遍历所有墙体判断墙体是x轴方向长还是y轴方向长；其中，x轴为墙体所在坐标系的第一维坐标轴，y轴为墙体所在坐标系的第二维坐标轴；

步骤B1，若||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤0且||y₁₁-y₀₀||-||y₀₁-y₀₀||-||y₁₁-y₁₀||≤0，则说明两个墙体重叠，执行步骤C1，否则不重叠，返回执行步骤A1；其中，A₀(x₀₀，y₀₀，x₀₁，y₀₁)表示第一个墙体的坐标，A₁(x₁₀，y₁₀，x₁₁，y₁₁)表示第二个墙体的坐标；

步骤C1，将平行且重叠的两个墙体合并，若是x轴方向长，合并后的墙体的坐标为：(min(x₀₀，x₁₀)，y₀₀，max(x₀₁，x₁₁)，y₀₁)；若是y轴方向长，合并后的墙体的坐标为：(x₀₀，min(y₀₀，y₁₀)，x₀₁，max(y₀₁，y₁₁))。

7.根据权利要求1所述的基于目标检测的户型图识别方法，其特征在于，在一个实施方式中，若矩形标注框表征墙体，再垂直墙体没有连接在一起时，合并表征相同特征的矩形标注框的过程包括：

步骤A2，遍历所有墙体，判断墙体是x轴方向长还是y轴方向长，若两个墙体都是x轴方向长或者y轴方向长，则是平行墙体继续遍历，否则是垂直墙体，执行步骤B2；其中，x轴为墙体所在坐标系的第一维坐标轴，y轴为墙体所在坐标系的第二维坐标轴；

步骤B2，判断两个垂直墙体的距离，若距离小于等于设定阈值，即||x₁₁-x₀₀||-||x₀₁-x₀₀||-||x₁₁-x₁₀||≤设定阈值且||y₁₁-y₀₀||-||y₀₁-y₀₀||-||y₁₁-y₁₀||≤设定阈值，判定两个墙体需要连接在一起，执行步骤C2，否则返回执行步骤A2；

步骤C2，若A₀为x轴方向长的矩形框且x₀₀-x₁₀≤0，则向右扩展，扩展后的坐标为：(x₀₀，y₀₀，x₁₁，y₀₁)；若A₀为x轴方向长的矩形框且x₀₀-x₁₀≥0，则向左扩展，扩展后的坐标为：(x₁₀，y₀₀，x₀₁，y₀₁)；若A₀为y轴方向长的矩形框且y₀₁-y₁₁≤0，则向下扩展，扩展后的坐标为：(x₀₀，y₀₀，x₀₁，y₁₁)；若A₀为x轴方向长的矩形框且y₀₁-y₁₁≥0，则向上扩展，扩展后的坐标为：(x₀₀，y₁₀，x₀₁，y₀₁)。其中，A₀(x₀₀，y₀₀，x₀₁，y₀₁)表示第一个墙体的坐标，A₁(x₁₀，y₁₀，x₁₁，y₁₁)表示第二个墙体的坐标。

8.一种基于目标检测的户型图识别装置，其特征在于，包括：

获取模块，用于获取携带标签数据的训练户型图；

加入模块，用于在YOLOV3模型的DarkNet53网络后面加入Mask分支，并Head网络中加入Centerness分支，得到初始模型；

训练模块，用于将训练户型图输入初始模型中进行训练，读取各个分支的损失函数，在各个分支的损失函数均取到最小值时，根据初始模型当前的模型参数确定检测模型；

输出模块，用于将待识别户型图输入检测模型，输出检测结果；

识别模块，用于识别检测结果中的矩形标注框，合并表征相同特征的矩形标注框，依据最终的矩形标注框确定待识别户型图的各部分特征。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于目标检测的户型图识别方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的基于目标检测的户型图识别方法的步骤。

Images