CN111291799A - 房间窗户分类模型构建方法、房间窗户分类方法及系统 - Google Patents
房间窗户分类模型构建方法、房间窗户分类方法及系统 Download PDFInfo
- Publication number
- CN111291799A CN111291799A CN202010071116.XA CN202010071116A CN111291799A CN 111291799 A CN111291799 A CN 111291799A CN 202010071116 A CN202010071116 A CN 202010071116A CN 111291799 A CN111291799 A CN 111291799A
- Authority
- CN
- China
- Prior art keywords
- window
- classification
- image
- room
- room window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000010276 construction Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000012795 verification Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/24765—Rule-based classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种房间窗户分类模型构建方法、房间窗户分类方法及系统，其中，房间窗户分类模型构建方法包括：获取数据集图像，并将数据集图像划分为训练集图像和测试集图像；按照预设迭代次数将训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型；将测试集图像分别输入多个初始分类模型中进行验证，得到多个初始分类模型的准确率；从多个初始分类模型的准确率中查找准确率的最大值，将最大值所对应的初始分类模型作为房间窗户分类模型。该方法将目标检测网络与细粒度分类网络相结合得到房间窗户分类模型，该模型能够准确识别房间窗户的细微差别性，提高了房间窗户分类的准确度。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及到一种房间窗户分类模型构建方法、房间窗户分类方法及系统。
背景技术
目前，对于深度学习目标检测业内来说，不同类别的物体检测及分类已经非常成熟，例如：猫、狗等不同类别的动物检测分类，或桌子、椅子等不同类别的物体检测分类。但对于同一类别下只具有细微差别的物体检测分类，仍是业内较难解决的技术难题。例如：不同品种猫的检测分类、不同品种花的检测分类等。
在房屋地产领域，房间窗户主要分为普通窗户、飘窗、阳台，阳台与另外两类差别较大，比较容易区分；但普通窗户和飘窗之间只具有细微的差异性，较难区分，因此，对于房间内窗户的检测分类也存在分类不准确的问题。
发明内容
有鉴于此，本发明实施例提供了一种房间窗户分类模型构建方法及系统、房间窗户分类方法及系统，以解决现有技术中房间窗户分类准确度低的问题。
为此，本发明实施例提供了如下技术方案：
根据第一方面，本发明实施例提供了一种房间窗户分类模型构建方法，包括：获取数据集图像，并将所述数据集图像划分为训练集图像和测试集图像；按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型；将所述测试集图像分别输入多个所述初始分类模型中进行验证，得到多个所述初始分类模型的准确率；从多个所述初始分类模型的准确率中查找准确率的最大值，将所述最大值所对应的初始分类模型作为房间窗户分类模型。
可选地，按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练的步骤之前，还包括：对所述数据集图像中的每一张图像分别进行窗户位置标注，得到每一张图像所对应的标注文件。
可选地，按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练的步骤之前，还包括：对所述数据集图像进行增强处理，得到增强后的数据集图像。
可选地，所述增强处理包括随机旋转、随机镜像反转、轻微畸变、随机添加噪声中的至少之一。
可选地，将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，包括：将所述训练集图像输入至目标检测网络进行训练，识别出所述训练集图像中的每一张图像中的窗体；根据识别出的每一张图像中的窗体对每一张图像进行剪裁，得到剪裁后的窗体图像；将所述剪裁后的窗体图像输入至细粒度分类网络中进行训练。
根据第二方面，本发明实施例提供了一种房间窗户分类方法，包括：获取待预测房间窗户图像；将所述待预测房间窗户图像输入至房间窗户分类模型中得到窗户分类结果，所述房间窗户分类模型是通过本发明第一方面中任一项所述的房间窗户分类模型构建方法生成的；根据所述窗户分类结果确定所述待预测房间窗户的窗户类型，所述窗户类型包括普通窗户、飘窗、阳台。
根据第三方面，本发明实施例提供了一种房间窗户分类模型构建系统，包括：第一获取模块，用于获取数据集图像，并将所述数据集图像划分为训练集图像和测试集图像；第一处理模块，用于按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型；第二处理模块，用于将所述测试集图像分别输入多个所述初始分类模型中进行验证，得到多个所述初始分类模型的准确率；第三处理模块，用于从多个所述初始分类模型的准确率中查找准确率的最大值，将所述最大值所对应的初始分类模型作为房间窗户分类模型。
可选地，还包括：第六处理模块，用于对所述数据集图像中的每一张图像分别进行窗户位置标注，得到每一张图像所对应的标注文件。
可选地，还包括：第七处理模块，用于对所述数据集图像进行增强处理，得到增强后的数据集图像。
可选地，所述增强处理包括随机旋转、随机镜像反转、轻微畸变、随机添加噪声中的至少之一。
可选地，所述第一处理模块包括：第一处理单元，用于将所述训练集图像输入至目标检测网络进行训练，识别出所述训练集图像中的每一张图像中的窗体；第二处理单元，用于根据识别出的每一张图像中的窗体对每一张图像进行剪裁，得到剪裁后的窗体图像；第三处理单元，用于将所述剪裁后的窗体图像输入至细粒度分类网络中进行训练。
根据第四方面，本发明实施例提供了一种房间窗户分类系统，包括：第二获取模块，用于获取待预测房间窗户图像；第四处理模块，用于将所述待预测房间窗户图像输入至房间窗户分类模型中得到窗户分类结果，所述房间窗户分类模型是通过本发明第一方面中任一项所述的房间窗户分类模型构建方法生成的；第五处理模块，用于根据所述窗户分类结果确定所述待预测房间窗户的窗户类型，所述窗户类型包括普通窗户、飘窗、阳台。
根据第五方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行上述第一方面任意一项所述的房间窗户分类模型构建方法或者执行上述第二方面任意一项所述的房间窗户分类方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述第一方面任意一项所述的房间窗户分类模型构建方法或者执行上述第二方面任意一项所述的房间窗户分类方法。
本发明实施例技术方案，具有如下优点：
本发明实施例提供了一种房间窗户分类模型构建方法及系统、房间窗户分类方法及系统，其中，房间窗户分类模型构建方法包括：获取数据集图像，并将所述数据集图像划分为训练集图像和测试集图像；按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型；将所述测试集图像分别输入多个所述初始分类模型中进行验证，得到多个所述初始分类模型的准确率；从多个所述初始分类模型的准确率中查找准确率的最大值，将所述最大值所对应的初始分类模型作为房间窗户分类模型。该方法将目标检测网络与细粒度分类网络相结合得到房间窗户分类模型，该模型能够准确识别房间窗户的细微差别性，很好地对房间窗户进行分类，提高了房间窗户分类的准确度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的房间窗户分类模型构建方法的一个具体示例的流程图；
图2为本发明实施例的房间窗户分类模型构建方法的另一个具体示例的流程图；
图3为本发明实施例的房间窗户分类模型构建方法的另一个具体示例的流程图；
图4为本发明实施例的房间窗户分类模型构建方法的另一个具体示例的流程图；
图5为本发明实施例的房间窗户分类方法的一个具体示例的流程图；
图6为本发明实施例的数据集图像的一个具体示例的示意图；
图7为本发明实施例的数据集图像标注后生成的标注文件的一个具体示例的示意图；
图8为本发明实施例的目标检测网络的一个具体示例的示意图；
图9为本发明实施例未经过剪裁的原始图像的一个具体示例的示意图；
图10为本发明实施例剪裁后的窗体图像的一个具体示例的示意图；
图11为本发明实施例的细粒度分类网络的一个具体示例的示意图；
图12为本发明实施例的房间窗户分类方法的另一个具体示例的流程图；
图13为本发明实施例的房间窗户分类模型构建系统的一个具体示例的框图；
图14为本发明实施例的房间窗户分类系统的一个具体示例的框图；
图15为本发明实施例的电子设备的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的目标检测一般使用VGG网络(VGGNet，Visual Geometry Group Network)、Resnet(Residual Network，残差网络)、Inception网络作为基础网络进行特征提取，对于只有细微差异性的情况难以提取到有效特征进行区分，导致后面进行检测分类无法达到理想效果。对于普通窗户和飘窗的检测分类，如果只用传统的目标检测进行处理，区分度不明显，难以达到要求。故本实施例提供了一种能够准确区分房间窗户类型的房间窗户分类模型构建方法及系统、房间窗户分类方法及系统。
基于此，本发明实施例提供了一种房间窗户分类模型构建方法，如图1所示，该方法可以包括步骤S1-S4。
步骤S1：获取数据集图像，并将数据集图像划分为训练集图像和测试集图像。
作为示例性的实施例，数据集图像可以是多张包括普通窗户、飘窗、阳台的图片，具体可从图像数据库中得到多张包含房间窗户的图像。按照预设比例将数据集图像进行划分，划分为训练集图像和测试集图像，训练集图像用于输入到网络中进行训练，测试集负责验证训练效果。预设比例可以是预先设置好的比例，可根据经验进行设置，本实施例中，预设比例为8:2，即训练集图像占数据集图像的80％，测试集图像占数据集图像的20％，仅以此为例，不以此为限，在其它示例性的实施例中预设比例也可以是其它数值，如7:3等，根据需要合理设置即可。
步骤S2：按照预设迭代次数将训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型。
作为示例性的实施例，预设迭代次数可以是预先根据经验值设置的，例如，预设迭代次数可以是100次；当然，在其它示例性的实施例中，预设迭代次数也可以设置为其它数值，如50次或者200次等，根据需要合理设置即可。将训练集图像输入至目标检测网络和细粒度分类网络，之后，重复上述步骤，将训练集图像再次输入至目标检测网络和细粒度分类网络进行迭代，直至迭代次数达到预设迭代次数为止。
作为示例性的实施例，预设间隔可以是预先根据经验值设置好的，例如，预设间隔可以是每隔10000次迭代，当然，在其它示例性的实施例中，预设间隔也可以设置为其它数值，根据需要合理设置即可。训练集图像中的一张图像输入至网络中记为模型迭代一次，在训练集图像多次迭代的过程中，每间隔10000次模型迭代后保存一个模型文件，故在整个训练过程中会保存多个模型文件，一个模型文件便是一个初始分类模型，因此，在迭代过程中得到多个初始分类模型。例如，训练集图像中包含1000张图像，训练集图像每迭代1次，模型迭代1000次，训练集图像每迭代10次，模型迭代10000次，故训练集图像每迭代10次便保存一个模型文件，训练集图像迭代100次则得到10个模型文件，也就是10个初始分类模型。
作为示例性的实施例，经过训练后产生模型文件可以是.pth格式的文件，主要负责存储网络架构及训练中学习到的权重参数，以便最终提供预测并上线生产使用。
步骤S3：将测试集图像分别输入多个初始分类模型中进行验证，得到多个初始分类模型的准确率。
作为示例性的实施例，用验证集图像对初始分类模型进行效果验证，验证后便可得到模型准确率，将验证集图像分别输入多个初始分类模型中进行验证，每一个初始分类模型经过验证后便得到与之对应的模型准确率。
作为示例性的实施例，对每一个初始分类模型输入测试集图像，具体地，通过模型文件后预测出单个测试图像的结果，然后计算出一批测试集图像的预测准确率，用来验证模型的好坏。
步骤S4：从多个初始分类模型的准确率中查找准确率的最大值，将最大值所对应的初始分类模型作为房间窗户分类模型。
作为示例性的实施例，多个初始分类模型经过验证集图像验证后得到与初始分类模型一一对应的准确率，模型的准确率越高，说明模型越好，分类越准确。在多个初始分类模型的准确率中查找准确率的最大值，根据准确率确定最优模型，将准确率最高的初始分类模型作为最优模型，并将上述最优模型作为房间窗户分类模型，也就是将最大值所对应的初始分类模型作为房间窗户分类模型。
先通过目标检测网络识别出房间中的窗户，再通过细粒度分类网络对窗户进行分类；该模型能够很好地识别同一类之间相似度较高的物体，对同一大类物体下的不同子类进行分类，故能够很好地对房间窗户进行分类，提高了房间窗户分类的准确度。
通过上述步骤，将目标检测网络与细粒度分类网络相结合得到房间窗户分类模型，该模型能够准确识别房间窗户的细微差别性，很好地对房间窗户进行分类，提高了房间窗户分类的准确度。
作为示例性的实施例，步骤S2按照预设迭代次数将训练集图像依次输入至目标检测网络和细粒度分类网络进行训练的步骤之前，如图2所示，还包括步骤S5。
步骤S5：对数据集图像中的每一张图像分别进行窗户位置标注，得到每一张图像所对应的标注文件。
作为示例性的实施例，数据集图像的每一张图像中均包含有房间窗户信息，房间窗户具体可以是普通窗户、飘窗、阳台，通过图像标注工具labelimg对数据进行标注，形成一对一的标注数据，标注文件与图像同名且一一对应，标注文件的具体格式可以为.xml格式。例如，图像为abc.jpg，对该图像进行标注后形成的标注文件为abc.xml。之后，通过数据集图像和标注文件进行模型的训练和验证。
具体地，数据集图像可以如图6所示，对数据集图像进行标注后生成的标注文件如图7所示。
通过上述步骤对数据集图像进行标注，能够更好地实现图像特征的学习，便于后续保存和查找。
作为示例性的实施例，步骤S2按照预设迭代次数将训练集图像依次输入至目标检测网络和细粒度分类网络进行训练的步骤之前，如图3所示，还包括步骤S6。
步骤S6：对数据集图像进行增强处理，得到增强后的数据集图像。
作为示例性的实施例，增强处理包括随机旋转、随机镜像反转、轻微畸变、随机添加噪声中的至少之一。本实施例中，增强处理包括随机旋转、随机镜像反转、轻微畸变和随机添加噪声，在其它示例性的实施例中，增强处理也可以包括上述描述中的部分处理，还可以包括除上述描述以外的其它处理，具体可根据需要合理设置。之后，采用增强后的数据集图像中的训练集图像进行模型训练，采用增强后的数据集图像中的测试集图像进行模型验证。
通过上述步骤，对数据集图像进行增强处理得到增强后的数据集图像，增加数据集图像中的干扰，得到更多的图像，，采用增强后的数据集图像进行训练，使得训练后得到的模型更加准确，提高了模型的准确性。
作为示例性的实施例，步骤S2将训练集图像依次输入至目标检测网络和细粒度分类网络进行训练的步骤中，如图4所示，包括步骤S21-S23。
步骤S21：将训练集图像输入至目标检测网络进行训练，识别出训练集图像中的每一张图像中的窗体。
作为示例性的实施例，训练集图像先进入到目标检测网络，通过目标检测网络进行训练预测出窗体目标，识别出训练集图像中的每一张图像中的窗体。
具体地，可通过深度学习目标检测工具箱mmdetection框架实现上述步骤，如图8所示，目标检测网络细节如下：1、Cascade-RCNN(Cascade Region Convolutional NeuralNetworks，区域卷积神经网络)，通过级联方式实现的目标检测框架网络，主要负责窗体的检测；2、Resnet50，作为cascade-RCNN的主干架构(backbone)网络，主要负责提取图像的特征形成特征图，再送到网络中进行训练。3、FPN(Feature Pyramid Network)，也就是特征金字塔网络，将预设个数(如5个)不同大小的特征图进行输出，分别送到网络中进行训练，主要实现了对于原始特征图的放大及缩小，增加了多个尺度的特征图，使得后续检测会更加准确且多样。
步骤S22：根据识别出的每一张图像中的窗体对每一张图像进行剪裁，得到剪裁后的窗体图像。
作为示例性的实施例，图像中通常包含有除房间窗户之外的其它数据，根据识别出的窗体对图像进行剪裁，保留窗体图像，去除窗体之外的无关图像，使得输入细粒度分类网络中的图像更加干净，减少噪声干扰。具体地，未剪裁的原始图像如图9所示，剪裁后得到的窗体图像如图10所示。
步骤S23：将剪裁后的窗体图像输入至细粒度分类网络中进行训练。
作为示例性的实施例，将剪裁后的窗体图像输入至细粒度分类网络进行细微差异性的识别。具体地，细粒度主要实现为senet(Squeeze and Excitation Networks)模块，本实施例中将senet模块集成到resnext101中进行实现。
具体细节如下：1、Attention：注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。主要作用是让网络学习、观察局部有用的区域。2、Senet：是借鉴attention机制进行实现的解决细粒度问题的模块。如图11所示，具体实现如下：Squeeze操作，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野。其次是Excitation操作，它是一个类似于循环神经网络中门的机制，通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性。最后是一个Reweight的操作，将Excitation的输出的权重看做是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。Senet可以很方便的集成到各个基础网络中，具体例如：resnet、resnext、inception。在本实施例中，将Senet集成到resnext101中进行窗户的分类。3、Resnext101：作为细粒度分类器的基础网络，主要负责提取图像的特征形成特征图，再送到网络中进行训练。
通过上述步骤，先采用目标检测网络识别出训练集图像中的每一张图像中的窗体；之后，对图像中的窗体进行剪裁，保留窗体图像，去除窗体之外的无关图像，得到剪裁后的窗体图像；然后，再将剪裁后的窗体图像输入细粒度分类网络进行训练，使得训练结果更加准确，提高了房间窗户分类的准确性。
本发明实施例还提供了一种房间窗户分类方法，如图5所示，该方法可以包括步骤S7-S9。
步骤S7：获取待预测房间窗户图像。
作为示例性的实施例，获取需要进行预测的待预测房间窗户图像，上述图像可以是一张也可以是多张。
步骤S8：将待预测房间窗户图像输入至房间窗户分类模型中得到窗户分类结果，房间窗户分类模型是通过上述实施例中任意所描述的房间窗户分类模型构建方法生成的。
作为示例性的实施例，将待预测房间窗户图像输入到房间窗户分类模型中进行分类，得到待预测房间窗户的窗户分类结果，以便后续准确确定窗户的类型。具体地，需要进行预测的窗户图像经过模型之后输出的预测结果，结果为输出类别，输出类别包括普通窗户、飘窗或阳台，具体输出结果可以是：数字1、2、3，这三个数字分别代表一种类型，如1是普通窗户，2是飘窗，3是阳台。
步骤S9：根据窗户分类结果确定待预测房间窗户的窗户类型，窗户类型包括普通窗户、飘窗、阳台。
作为示例性的实施例，根据分类模型确定的窗户分类结果得到窗户的窗户类型，如待预测房间的窗户图像经过房间窗户分类模型输出的分类结果为飘窗，则待预测房间窗户的窗户类型为飘窗。
通过上述步骤对待预测房间的窗户进行类别区分，最终确定待预测房间窗户的窗户类型，提高了窗户分类的准确性。
下面以一个具体示例进行详细说明，如图12所示。先准备好数据集图像，通过labelimg进行数据标注，单张图像如图9所示，单张图像的标注文件如下：
之后，配置好mmdetection网络对数据集进行训练，此处使用cascade_rcnn_dconv_c3-c5_r50_fpn_1x网络，resnet50作为cascade-rcnn的基础网络，通过cascade-rcnn结合可变形卷积和特征金字塔构建训练网络。然后，训练识别出的窗户经过裁剪后进入到细粒度分类网络中再进行分类训练，此处细粒度网络使用se_resnext101，裁剪后的训练集图像中的单张图像如图10所示。训练后产生模型文件，提供预测及生产阶段使用。最后，在预测阶段中，获取待预测房间的窗户图像，输入一张或多张图像经过网络后输出.json结果，具体结果如下：
[{"image_id":"public-20190906-FvPEmPiZk1Hj0OlGnL81FIvoEYNz",
"name":"bay_window",
"type_status":1,
"error":[]}]
image_id：表示图像的唯一id号
name：表示输出的普通窗户(window)、飘窗(bay_window)、屋顶(balcony)
type_status：1表示通过验证，2表示存疑项，3表示驳回项。
error：输出错误信息。
本实施例中提供的基于目标检测结合图像细粒度分类技术完成房间窗户分类，可以很好地解决同类之间相似度较高的物体分类，可以很好地对同一大类物体下的不同子类进行分类，对于房间内部的物体分类产生了极大的价值，实现了窗户、飘窗、阳台的分类；此外，还可以减少90％人工分类，分类准确率达到了99.85％，能够满足多种条件下的应用。
在本实施例中还提供了一种房间窗户分类模型构建系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例还提供一种房间窗户分类模型构建系统，如图13所示，包括：第一获取模块131、第一处理模块132、第二处理模块133和第三处理模块134。
第一获取模块131，用于获取数据集图像，并将所述数据集图像划分为训练集图像和测试集图像；详细内容参考步骤S1所述。
第一处理模块132，用于按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型；详细内容参考步骤S2所述。
第二处理模块133，用于将所述测试集图像分别输入多个所述初始分类模型中进行验证，得到多个所述初始分类模型的准确率；详细内容参考步骤S3所述。
第三处理模块134，用于从多个所述初始分类模型的准确率中查找准确率的最大值，将所述最大值所对应的初始分类模型作为房间窗户分类模型；详细内容参考步骤S4所述。
作为示例性的实施例，房间窗户分类模型构建系统还包括：第六处理模块，用于对所述数据集图像中的每一张图像分别进行窗户位置标注，得到每一张图像所对应的标注文件；详细内容参考步骤S5所述。
作为示例性的实施例，房间窗户分类模型构建系统还包括：第七处理模块，用于对所述数据集图像进行增强处理，得到增强后的数据集图像；详细内容参考步骤S6所述。
作为示例性的实施例，所述增强处理包括随机旋转、随机镜像反转、轻微畸变、随机添加噪声中的至少之一。
作为示例性的实施例，所述第一处理模块包括：第一处理单元，用于将所述训练集图像输入至目标检测网络进行训练，识别出所述训练集图像中的每一张图像中的窗体，详细内容参考步骤S21所述；第二处理单元，用于根据识别出的每一张图像中的窗体对每一张图像进行剪裁，得到剪裁后的窗体图像，详细内容参考步骤S22所述；第三处理单元，用于将所述剪裁后的窗体图像输入至细粒度分类网络中进行训练，详细内容参考步骤S23所述。
本实施例中的房间窗户分类模型构建系统是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
在本实施例中还提供了一种房间窗户分类系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例还提供一种房间窗户分类系统，如图14所示，包括：第二获取模块141、第四处理模块142和第五处理模块143。
第二获取模块141，用于获取待预测房间窗户图像；详细内容参考步骤S7所述。
第四处理模块，用于将所述待预测房间窗户图像输入至房间窗户分类模型中得到窗户分类结果，所述房间窗户分类模型是通过上述实施例中任意所描述的房间窗户分类模型构建方法生成的；详细内容参考步骤S8所述。
第五处理模块，用于根据所述窗户分类结果确定所述待预测房间窗户的窗户类型，所述窗户类型包括普通窗户、飘窗、阳台；详细内容参考步骤S9所述。
本实施例中的房间窗户分类系统是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供了一种电子设备，如图15所示，该电子设备包括一个或多个处理器151以及存储器152，图15中以一个处理器151为例。
该控制器还可以包括：输入装置153和输出装置154。
处理器151、存储器152、输入装置153和输出装置154可以通过总线或者其他方式连接，图15中以通过总线连接为例。
处理器151可以为中央处理器(Central Processing Unit，CPU)。处理器151还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者是任何常规的处理器等。
存储器152作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的房间窗户分类模型构建方法或者房间窗户分类方法对应的程序指令/模块。处理器151通过运行存储在存储器152中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的房间窗户分类模型构建方法或者房间窗户分类方法。
存储器152可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器152可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器152可选包括相对于处理器151远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置153可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置154可包括显示屏等显示设备。
一个或者多个模块存储在存储器152中，当被一个或者多个处理器151执行时，执行如图1-4所示的方法，或者执行如图5和图12所示的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，被执行的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述房间窗户分类模型构建方法或者房间窗户分类方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种房间窗户分类模型构建方法，其特征在于，包括：
获取数据集图像，并将所述数据集图像划分为训练集图像和测试集图像；
按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型；
将所述测试集图像分别输入多个所述初始分类模型中进行验证，得到多个所述初始分类模型的准确率；
从多个所述初始分类模型的准确率中查找准确率的最大值，将所述最大值所对应的初始分类模型作为房间窗户分类模型。
2.如权利要求1所述的房间窗户分类模型构建方法，其特征在于，按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练的步骤之前，还包括：
对所述数据集图像中的每一张图像分别进行窗户位置标注，得到每一张图像所对应的标注文件。
3.如权利要求1所述的房间窗户分类模型构建方法，其特征在于，按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练的步骤之前，还包括：
对所述数据集图像进行增强处理，得到增强后的数据集图像。
4.如权利要求3所述的房间窗户分类模型构建方法，其特征在于，
所述增强处理包括随机旋转、随机镜像反转、轻微畸变、随机添加噪声中的至少之一。
5.如权利要求1-4中任一所述的房间窗户分类模型构建方法，其特征在于，将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，包括：
将所述训练集图像输入至目标检测网络进行训练，识别出所述训练集图像中的每一张图像中的窗体；
根据识别出的每一张图像中的窗体对每一张图像进行剪裁，得到剪裁后的窗体图像；
将所述剪裁后的窗体图像输入至细粒度分类网络中进行训练。
6.一种房间窗户分类方法，其特征在于，包括：
获取待预测房间窗户图像；
将所述待预测房间窗户图像输入至房间窗户分类模型中得到窗户分类结果，所述房间窗户分类模型是通过权利要求1-5中任一项所述的房间窗户分类模型构建方法生成的；
根据所述窗户分类结果确定所述待预测房间窗户的窗户类型，所述窗户类型包括普通窗户、飘窗、阳台。
7.一种房间窗户分类模型构建系统，其特征在于，包括：
第一获取模块，用于获取数据集图像，并将所述数据集图像划分为训练集图像和测试集图像；
第一处理模块，用于按照预设迭代次数将所述训练集图像依次输入至目标检测网络和细粒度分类网络进行训练，并按照预设间隔保存模型文件，得到多个初始分类模型；
第二处理模块，用于将所述测试集图像分别输入多个所述初始分类模型中进行验证，得到多个所述初始分类模型的准确率；
第三处理模块，用于从多个所述初始分类模型的准确率中查找准确率的最大值，将所述最大值所对应的初始分类模型作为房间窗户分类模型。
8.一种房间窗户分类系统，其特征在于，包括：
第二获取模块，用于获取待预测房间窗户图像；
第四处理模块，用于将所述待预测房间窗户图像输入至房间窗户分类模型中得到窗户分类结果，所述房间窗户分类模型是通过权利要求1-5中任一项所述的房间窗户分类模型构建方法生成的；
第五处理模块，用于根据所述窗户分类结果确定所述待预测房间窗户的窗户类型，所述窗户类型包括普通窗户、飘窗、阳台。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-5任意一项所述的房间窗户分类模型构建方法或者执行权利要求6所述的房间窗户分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5任意一项所述的房间窗户分类模型构建方法或者执行权利要求6所述的房间窗户分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010071116.XA CN111291799A (zh) | 2020-01-21 | 2020-01-21 | 房间窗户分类模型构建方法、房间窗户分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010071116.XA CN111291799A (zh) | 2020-01-21 | 2020-01-21 | 房间窗户分类模型构建方法、房间窗户分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111291799A true CN111291799A (zh) | 2020-06-16 |
Family
ID=71030718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010071116.XA Pending CN111291799A (zh) | 2020-01-21 | 2020-01-21 | 房间窗户分类模型构建方法、房间窗户分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291799A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968114A (zh) * | 2020-09-09 | 2020-11-20 | 山东大学第二医院 | 基于级联深度学习方法的骨科耗材检测方法及系统 |
| CN112115880A (zh) * | 2020-09-21 | 2020-12-22 | 成都数之联科技有限公司 | 基于多标签学习的船舶污染监测方法及系统及装置及介质 |
| CN112183301A (zh) * | 2020-09-23 | 2021-01-05 | 武汉大势智慧科技有限公司 | 一种建筑物楼层智能识别方法及装置 |
| CN112241679A (zh) * | 2020-09-14 | 2021-01-19 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| CN112288098A (zh) * | 2020-11-02 | 2021-01-29 | 平安数字信息科技(深圳)有限公司 | 预训练模型的获取方法、装置以及计算机设备 |
| CN112507444A (zh) * | 2021-02-03 | 2021-03-16 | 四川见山科技有限责任公司 | 一种基于ai构建的数字城市建筑夜景生成方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063740A (zh) * | 2018-07-05 | 2018-12-21 | 高镜尧 | 超声影像关键目标的检测模型构建及检测方法、装置 |
| CN109272060A (zh) * | 2018-09-06 | 2019-01-25 | 湖北工业大学 | 一种基于改进的darknet神经网络进行目标检测的方法和系统 |
| CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
-
2020
- 2020-01-21 CN CN202010071116.XA patent/CN111291799A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063740A (zh) * | 2018-07-05 | 2018-12-21 | 高镜尧 | 超声影像关键目标的检测模型构建及检测方法、装置 |
| CN109272060A (zh) * | 2018-09-06 | 2019-01-25 | 湖北工业大学 | 一种基于改进的darknet神经网络进行目标检测的方法和系统 |
| CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968114A (zh) * | 2020-09-09 | 2020-11-20 | 山东大学第二医院 | 基于级联深度学习方法的骨科耗材检测方法及系统 |
| CN112241679A (zh) * | 2020-09-14 | 2021-01-19 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| CN112241679B (zh) * | 2020-09-14 | 2024-02-20 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| CN112115880A (zh) * | 2020-09-21 | 2020-12-22 | 成都数之联科技有限公司 | 基于多标签学习的船舶污染监测方法及系统及装置及介质 |
| CN112183301A (zh) * | 2020-09-23 | 2021-01-05 | 武汉大势智慧科技有限公司 | 一种建筑物楼层智能识别方法及装置 |
| CN112288098A (zh) * | 2020-11-02 | 2021-01-29 | 平安数字信息科技(深圳)有限公司 | 预训练模型的获取方法、装置以及计算机设备 |
| CN112507444A (zh) * | 2021-02-03 | 2021-03-16 | 四川见山科技有限责任公司 | 一种基于ai构建的数字城市建筑夜景生成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291799A (zh) | 房间窗户分类模型构建方法、房间窗户分类方法及系统 | |
| WO2021203505A1 (zh) | 害虫检测模型构建方法 | |
| CN112232476B (zh) | 更新测试样本集的方法及装置 | |
| CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN107784288B (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
| US20150170005A1 (en) | Semantic object selection | |
| CN109614989B (zh) | 快速模型的训练方法、装置、计算机设备及存储介质 | |
| US20150170006A1 (en) | Semantic object proposal generation and validation | |
| CN108960269B (zh) | 数据集的特征获取方法、装置及计算设备 | |
| CN108416314B (zh) | 图片重要人脸检测方法 | |
| CN105654066A (zh) | 一种车辆识别方法及装置 | |
| CN112419202B (zh) | 基于大数据及深度学习的野生动物图像自动识别系统 | |
| CN110264407B (zh) | 图像超分辨模型训练及重建方法、装置、设备及存储介质 | |
| CN107392251B (zh) | 一种使用分类图片提升目标检测网络性能的方法 | |
| CN112528058B (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
| CN106445977A (zh) | 图片推送方法及装置 | |
| US20110225172A1 (en) | System, method, and computer-readable medium for seeking representative images in image set | |
| CN111401343B (zh) | 识别图像中人的属性的方法、识别模型的训练方法和装置 | |
| CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
| CN111091147A (zh) | 一种图像分类方法、装置及设备 | |
| CN114782997A (zh) | 基于多损失注意力自适应网络的行人重识别方法及系统 | |
| CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| CN108388645B (zh) | 基于tan树形朴素贝叶斯算法网页可点击识别方法及装置 | |
| CN116246161A (zh) | 领域知识引导下的遥感图像目标精细类型识别方法及装置 | |
| CN111400534B (zh) | 图像数据的封面确定方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200616 |