CN114782797B - 房屋场景分类方法、装置、设备及可读存储介质 - Google Patents

房屋场景分类方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114782797B
CN114782797B CN202210705344.7A CN202210705344A CN114782797B CN 114782797 B CN114782797 B CN 114782797B CN 202210705344 A CN202210705344 A CN 202210705344A CN 114782797 B CN114782797 B CN 114782797B
Authority
CN
China
Prior art keywords
features
article
scene
classified
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210705344.7A
Other languages
English (en)
Other versions
CN114782797A (zh
Inventor
周长源
韦程琳
袁戟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanwuyun Technology Co ltd
Original Assignee
Shenzhen Wanwuyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wanwuyun Technology Co ltd filed Critical Shenzhen Wanwuyun Technology Co ltd
Priority to CN202210705344.7A priority Critical patent/CN114782797B/zh
Publication of CN114782797A publication Critical patent/CN114782797A/zh
Application granted granted Critical
Publication of CN114782797B publication Critical patent/CN114782797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了房屋场景分类方法、装置、设备及可读存储介质。该方法包括利用SENet网络对分类图像进行特征提取，得到分类图像的全局特征；对分类图像进行目标检测，得到所有分类图像所出现物品的物品信息；根据物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据物品信息计算每个物品之间的共现相关性和空间相关性，得到分类图像中不同物品类别之间的相关性矩阵；将相关性矩阵输入GCN网络进行非线性变换，得到分类图像的局部特征；对全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。该方法提高房屋场景图像分类的精确性。

Description

房屋场景分类方法、装置、设备及可读存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种房屋场景分类方法、装置、设备及可读存储介质。
背景技术
互联网、大数据和多媒体技术的快速发展，使得物业领域对于海量房屋图片的识别分类、数据管理成为一个重要问题。图源的多样化、场景的复杂化以及拍摄角度、灯光等差异提高了房屋图片识别的难度。另外，存量图片数量巨大，如果采用人工标定的方式进行分类，将耗费大量时间。
将单一的深度学习模型应用于房屋图片类别的识别分类中，存在识别准确率不高、缺乏可解释性以及模型泛化能力弱的问题。
发明内容
本发明实施例提供了一种房屋场景分类方法、装置、设备及可读存储介质，旨在解决现有技术中通过神经网络进行房屋场景分类准确率较低的问题。
第一方面，本发明实施例提供了一种房屋场景分类方法，其包括：
获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；
利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；
对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；
根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；
将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；
对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。
第二方面，本发明实施例提供了一种房屋场景分类装置，包括客户端和服务端：
获取模块，用于获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；
全局特征提取模块，用于利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；
目标检测模块，用于对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；
计算模块，用于根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；
变换模块，用于将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；
分类模块，用于对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的房屋场景分类方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的房屋场景分类方法。
本发明实施例提供了房屋场景分类方法、装置、设备及可读存储介质。该方法包括获取分类图像和预训练的分类模型，分类模型包括SENet网络和GCN网络；利用SENet网络对分类图像进行特征提取，得到分类图像的全局特征；对分类图像进行目标检测，得到所有分类图像所出现物品的物品信息；根据物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据物品信息计算每个物品之间的共现相关性和空间相关性，得到分类图像中不同物品类别之间的相关性矩阵；将相关性矩阵输入GCN网络进行非线性变换，得到分类图像的局部特征；对全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。该方法以SENet网络提取分类图像的全局特征，接着通过构建分类图像中各类物品之间的相关性矩阵，再通过GCN网络对相关性矩阵进行非线性变换，得到分类图像各类物品的局部特征，然后将全局特征和局部特征融合得到融合特征，最后通过softmax函数计算融合特征的所属场景类型的概率，以确定分类图像的场景类型，本申请在全局特征的基础上融合图像中各类物品的细节特征，因此在房间场景较为相似的情况下，分类的精确性较高。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的房屋场景分类方法的流程示意图；
图2为图1中步骤S120的的子流程示意图；
图3为图1中步骤S160的的子流程示意图；
图4为本发明实施例提供的房屋场景分类装置的示意性框图；
图5为本发明实施例提供的房屋场景分类方法中分类模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1所示，图1为本发明实施例提供的房屋场景分类方法的流程示意图，该方法包括步骤S110~S160。
步骤S110、获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；
本实施例中，获取需要进行房屋场景分类的分类图像，以及预训练的分类模型。其中，房屋的场景类别至少包括客厅、餐厅、阳台、厨房、卫生间、书房、外立面、卧室等8类。分类模型由SENet（卷积神经）网络和GCN（图卷积）网络组成。
步骤S120、利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；
本实施例中，利用SENet网络依次对分类图像进行挤压、激励和重标定，以得到分类图像内房屋场景的全局特征。SENet网络的核心思想是通过挤压操作，将分类图像的空间信息（通道）压缩为一个标量，算出不同通道的权值，然后与特征图逐通道相乘，得到全局特征。
如图2所示，在一实施例中，步骤S120包括：
步骤S210、按预设空间维度对所述分类图像进行特征压缩，得到压缩特征；
步骤S220、采用ReLU激活函数对所述压缩特征进行激活，得到激活特征；
步骤S230、对所述激活特征进行重标定，得到所述全局特征。
本实施例中，分类模型输入SENet网络进行特征提取，具体包括：按预设空间维度 对分类图像进行特征压缩，得到压缩特征；采用ReLU激活函数对压缩特征进行激活，得到激 活特征；对激活特征进行重标定，得到全局特征。具体的，按预设空间维度对分类图像进行 特征压缩，将每个二维的特征通道变成一个实数，即标量
Figure 721630DEST_PATH_IMAGE001
，例如z的第c个通道计算 公式如下：
Figure 169929DEST_PATH_IMAGE002
，
式中，
Figure 215246DEST_PATH_IMAGE003
表示挤压操作,H表示特征图的高，W表示特征图的宽，
Figure 407192DEST_PATH_IMAGE004
表示经过卷 积处理的第c个通道的特征图，
Figure 752723DEST_PATH_IMAGE005
表示特征图的第
Figure 109274DEST_PATH_IMAGE005
行，
Figure 641886DEST_PATH_IMAGE006
表示特征图的第
Figure 371945DEST_PATH_IMAGE006
列。挤压操 作将一个通道上整个空间特征编码为一个全局特征，表征的是在特征通道上响应的全局分 布。激励操作，目的是为了充分捕获通道间的依赖关系。选择采用简单sigmoid激活函数的 门机制，公式如下：
Figure 306403DEST_PATH_IMAGE007
，
式中，
Figure 830925DEST_PATH_IMAGE008
表示激励操作，
Figure 850834DEST_PATH_IMAGE009
等同于
Figure 119004DEST_PATH_IMAGE010
，
Figure 907968DEST_PATH_IMAGE011
表示sigmoid激活 函数，
Figure 868971DEST_PATH_IMAGE012
表示ReLU激活函数，
Figure 376176DEST_PATH_IMAGE013
，
Figure 916879DEST_PATH_IMAGE014
，C表示通道数，
Figure 91508DEST_PATH_IMAGE015
表示降维比例。激 励操作基于特征通道间的相关性，每个特征通道生成一个权重，激励操作的输出权重可看 做是每个特征通道的重要性。乘法逐通道加权至先前的特征，即在通道维度上完成对原始 特征的重标定，其公式如下：
Figure 692254DEST_PATH_IMAGE016
，
式中，
Figure 952334DEST_PATH_IMAGE017
表示重标定操作，
Figure 296727DEST_PATH_IMAGE018
表示激励操作后第c特征通道生成的权重，
Figure 325863DEST_PATH_IMAGE019
表示第c通道的特征图。
进一步的，分类图像经由SENet网络输出的特征图能够学习到其对应场景类型的重要空间特征，进一步将其作为最大池化层的输入，最大池化层使得模型更关注是否存在某些特征而不是特征具体的位置，即具有特征不变性。池化操作具有降采样作用，相当于在空间范围内做了维度约减，从而使得模型可以抽取更广范围的特征同时减小下一层输入大小，进而减小模型计算量和模型参数个数。
步骤S130、对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；
步骤S140、根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；
本实施例中，为了获取分类图像中出现物品的物品信息，对分类图像进行目标检测。获取预训练的Sparse R-CNN图像目标检测网络，对分类图像进行目标检测，得到分类图像中的生活常见物品的物品信息，常见物品包括桌子、沙发、床和水杯等。需要注意的是，为了排除冗余的类别标签对模型的影响，去除GCN（图卷积）网络输入数据噪声，通过计算物品类别的出现频率，根据物品类别的出现频率从中提取出现频率高的若干类物品，剔除频率低的剩下类别的物品信息。其中，物品信息包括物品的类别标签和对应类别的置信度。假设分类图中总共有N个目标物品，则有：
Figure 894248DEST_PATH_IMAGE020
，
其中，
Figure 641624DEST_PATH_IMAGE021
表示分类图片中第
Figure 685033DEST_PATH_IMAGE022
个目标矩形框在图像中的中心点归一化后的坐 标，
Figure 568676DEST_PATH_IMAGE023
分别表示分类图片中第
Figure 42382DEST_PATH_IMAGE022
个目标矩形框的宽度和高度，
Figure 11475DEST_PATH_IMAGE024
表示第
Figure 963251DEST_PATH_IMAGE022
个目标矩形 框的最大概率类别，
Figure 966979DEST_PATH_IMAGE025
表示第
Figure 611587DEST_PATH_IMAGE022
个目标矩形框属于类别
Figure 599135DEST_PATH_IMAGE026
的置信度。
进一步的，由于出现频率高的两个物品的相关性较高，位置越接近的两个物品相关性也越高，因此提取出现频率高的若干类物品，根据物品信息计算每个物品之间的共现相关性和空间相关性，得到分类图像中不同物品类别之间的相关性矩阵。其中，定义每个物品之间的共现相关性C和空间相关性S，可得相关性矩阵M：
Figure 885759DEST_PATH_IMAGE027
，式中，
Figure 478415DEST_PATH_IMAGE028
表示哈达玛积。
若用
Figure 293924DEST_PATH_IMAGE029
表示第p类物品出现的情形下其他第1类至第k类物品出 现的次数，则归一化后共现矩阵C可表示为：
Figure 237609DEST_PATH_IMAGE030
，
接着，用空间相关性S表征不同类物品之间的距离，在图像上以像素的欧氏距离表征空间距离，则p类物品与q类物品的距离为：
Figure 796767DEST_PATH_IMAGE031
，
分类图片中往往存在多类物品，设总计有k类物品，若用距离向量
Figure 509508DEST_PATH_IMAGE032
表示第p类物品与第1类至第k类物品的像素距离；
Figure 498848DEST_PATH_IMAGE033
表示第p类物品与第1类至第k类物品的最小像素距离，则归一化 后的空间相关性S为：
Figure 195408DEST_PATH_IMAGE035
，
其中，
Figure 558257DEST_PATH_IMAGE036
表示第2类物品与第1类物品的像素距离，
Figure 391083DEST_PATH_IMAGE037
表示第2类物品与第1类至 第k类物品的最小像素距离，
Figure 548395DEST_PATH_IMAGE038
表示第1类物品与第2类物品的像素距离，
Figure 466673DEST_PATH_IMAGE039
表示第1类 物品与第k类物品的像素距离，
Figure 102053DEST_PATH_IMAGE040
表示第1类物品与其他他第2类至第k类物品的最小像素 距离。
步骤S150、将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；
本实施例中，在得到相关性矩阵之后，将相关性矩阵输入GCN网络，相关性矩阵先经过三层非线性变换，最后经过全连接层输出，最终将相关性矩阵转换为场景类别对应的局部特征，GCN网络可表达为：
Figure 523807DEST_PATH_IMAGE041
，
其中，
Figure 852021DEST_PATH_IMAGE042
表示节点特征，
Figure 726436DEST_PATH_IMAGE043
表示转移矩阵，
Figure 431087DEST_PATH_IMAGE044
，
Figure 707347DEST_PATH_IMAGE045
，
Figure 940882DEST_PATH_IMAGE046
，
Figure 568173DEST_PATH_IMAGE047
，其中
Figure 545356DEST_PATH_IMAGE048
分别为特征长度1024、1024和512，
Figure 676123DEST_PATH_IMAGE049
表 示非线性变换。
进一步的，分类模型的模型损失包括交叉熵损失和跨模型一致性损失，分类模型的损失函数如下：
Figure 346139DEST_PATH_IMAGE050
，
式中，
Figure 192216DEST_PATH_IMAGE051
表示模型损失，
Figure 973091DEST_PATH_IMAGE052
表示交叉熵损失，
Figure 223943DEST_PATH_IMAGE053
表示跨模型一致性损失，
Figure 64860DEST_PATH_IMAGE054
分别表示交叉熵损失和跨模型一致性损失的权重。
其中，交叉熵损失的函数如下：
Figure 666743DEST_PATH_IMAGE055
，
式中，
Figure 313625DEST_PATH_IMAGE056
表示第
Figure 481301DEST_PATH_IMAGE057
个样本对应第k类场景类型的真实标签，
Figure 493120DEST_PATH_IMAGE058
表示第
Figure 316719DEST_PATH_IMAGE059
个样本 对应第k类场景类型的预测概率，
Figure 704975DEST_PATH_IMAGE060
表示样本数，
Figure 930420DEST_PATH_IMAGE061
表示8钟场景类型；
跨模型一致性损失的函数如下：
Figure 113140DEST_PATH_IMAGE062
，
式中，
Figure 689615DEST_PATH_IMAGE063
表示SENet网络输出的全局特征，
Figure 884491DEST_PATH_IMAGE064
表示GCN网络输出的局部特征，
Figure 964443DEST_PATH_IMAGE065
表示向量的长度。
步骤S160、对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。
本实施例中，对全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。
如图3所示，在一实施例中，步骤S160包括：
步骤S310、通过最大池化处理对所述全局特征和局部特征进行特征融合得到所述融合特征，所述全局特征和局部特征分别从两个等长的全连接层输出；
步骤S320、将所述融合特征输入设有softmax函数的输出层进行场景类型的概率计算，得到所述融合特征所属场景类型的概率，以概率最高的场景类型作为所述分类结果。
本实施例中，采用最大池化处理的方式对全局特征和局部特征进行特征融合，通过最大池化处理保留全局特征的主要特征同时减少冗余信息，得到融合特征。其中，全局特征和局部特征分别从两个等长的全连接层输出。接着将融合特征输入设有softmax函数的输出层进行场景类型的概率计算，得到融合特征所属场景类型的概率，以概率最高的场景类型作为分类图像的所属场景类型。其中，分类模型的优化算法为梯度下降（SGD）优化器，初始学习率设置为0.05，使用指数衰减，即每50个epoch学习率衰减0.1倍，模型训练的epoch为150。一个epoch 表示：所有的数据送入网络中，完成了一次前向计算和反向传播的过程。
进一步的，将准确率和F1值作为衡量模型效果的评价指标，指标数值越大表示其模型效果越好。准确率是对于给定的测试数据集，分类模型正确分类的样本数与总样本数之比，公式如下所示：
Figure 849222DEST_PATH_IMAGE066
,
式中，TP表真实样本，N表示样本总数。
此外，F1值是用来衡量分类模型精确度的指标之一，公式如下所示：
Figure 912993DEST_PATH_IMAGE067
式中，precision表示准确率，recall表示召回率。
分类模型训练完成后，依据以上两个指标挑选出最优的模型权重文件。云端加载分类模型并载入权重后，将上传的分类图片输入模型，对分类图像进行与训练时相同的预处理，输出张量最大值的索引，即推理出分类图片所属房屋场景类型的结果，实现对房屋场景的分类。
如图5所示为本申请的分类网络结构示意图，该方法先将分类图像输入SENet网络进行特征图像的提取，接着特征图像经过最大池化处理得到全局特征；此外，对分类图像进行目标检测，以得到分类图像中的物品信息，根据物品信息构建分类图像各类物品的局部特征，然后将全局特征和局部特征融合得到融合特征，最后通过softmax函数计算融合特征的所属场景类型的概率，以确定分类图像的场景类型，本申请在全局特征的基础上融合图像中各类物品的细节特征，因此在房间场景较为相似的情况下，分类的精确性较高。
本发明实施例还提供一种房屋场景分类装置，该房屋场景分类装置用于执行前述房屋场景分类方法的任一实施例。具体地，请参阅图4，图4是本发明实施例提供的房屋场景分类装置的示意性框图。该房屋场景分类装置100可以配置于服务端节点中。
如图4所示，房屋场景分类装置100包括获取模块110、全局特征提取模块120、目标检测模块130、计算模块140、变换模块150、分类模块160。
获取模块110，用于获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；
全局特征提取模块120，用于利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；
目标检测模块130，用于对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；
计算模块140，用于根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；
变换模块150，用于将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；
分类模块160，用于对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。
在一实施例中，所述全局特征提取模块120包括：
压缩单元，用于按预设空间维度对所述分类图像进行特征压缩，得到压缩特征；
激活单元，用于采用ReLU激活函数对所述压缩特征进行激活，得到激活特征；
重标定单元，用于对所述激活特征进行重标定，得到所述全局特征。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务端节点，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种房屋场景分类方法，其特征在于，包括：
获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；
利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；
对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；
根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；
将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；
对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果；
所述根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵，包括：
按如下公式计算每个物品之间的共现相关性C和空间相关性S：
Figure 37213DEST_PATH_IMAGE001
，
其中，
Figure 751091DEST_PATH_IMAGE002
表示第p类物品出现的情形下第1类至第k类物品出现的次 数；
Figure 265249DEST_PATH_IMAGE003
，
其中，
Figure 660458DEST_PATH_IMAGE004
表示第p类物品与第1类至第k类物品的像素距离，
Figure 146934DEST_PATH_IMAGE005
表示第p类物品与第1类至第k类物品的最小像素距离；
按如下公式计算分类图像中不同物品类别之间的相关性矩阵：
Figure 969396DEST_PATH_IMAGE006
，
式中，M表示相关性矩阵，
Figure 970851DEST_PATH_IMAGE007
表示哈达玛积。
2.根据权利要求1所述的房屋场景分类方法，其特征在于，所述利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征，包括：
按预设空间维度对所述分类图像进行特征压缩，得到压缩特征；
采用ReLU激活函数对所述压缩特征进行激活，得到激活特征；
对所述激活特征进行重标定，得到所述全局特征。
3.根据权利要求1所述的房屋场景分类方法，其特征在于，所述将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征，包括：
按如下公式将相关性矩阵转换为局部特征：
Figure 700909DEST_PATH_IMAGE008
，
其中，
Figure 369788DEST_PATH_IMAGE009
表示节点特征，
Figure 35256DEST_PATH_IMAGE010
表示转移矩阵，
Figure 789585DEST_PATH_IMAGE011
，
Figure 261018DEST_PATH_IMAGE012
，
Figure 784403DEST_PATH_IMAGE013
，
Figure 10985DEST_PATH_IMAGE014
，其中
Figure 252610DEST_PATH_IMAGE015
分别为特征长度1024、1024和512，
Figure 262155DEST_PATH_IMAGE016
表 示非线性变换。
4.根据权利要求1所述的房屋场景分类方法，其特征在于，所述分类模型的损失包括交叉熵损失和跨模型一致性损失，所述分类模型的损失函数如下：
Figure 905626DEST_PATH_IMAGE017
，
式中，
Figure 411431DEST_PATH_IMAGE018
表示模型损失，
Figure 874773DEST_PATH_IMAGE019
表示交叉熵损失，
Figure 953588DEST_PATH_IMAGE020
表示跨模型一致性损失，
Figure 248303DEST_PATH_IMAGE021
分 别表示交叉熵损失和跨模型一致性损失的权重。
5.根据权利要求4所述的房屋场景分类方法，其特征在于，所述交叉熵损失的函数如下：
Figure 19950DEST_PATH_IMAGE022
，
式中，
Figure 705009DEST_PATH_IMAGE023
表示第
Figure 587514DEST_PATH_IMAGE024
个样本对应第k类场景类型的真实标签，
Figure 612102DEST_PATH_IMAGE025
表示第
Figure 554650DEST_PATH_IMAGE024
个样本 对应第k类场景类型的预测概率，
Figure 727006DEST_PATH_IMAGE024
表示样本数，k表示场景类型数；
所述跨模型一致性损失的函数如下：
Figure 147623DEST_PATH_IMAGE026
，
式中，
Figure 416930DEST_PATH_IMAGE027
表示所述SENet网络输出的全局特征，
Figure 530380DEST_PATH_IMAGE028
表示所述GCN网络输出的局部特征，
Figure 190031DEST_PATH_IMAGE029
表示向量的长度。
6.根据权利要求1所述的房屋场景分类方法，其特征在于，所述对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果，包括：
通过最大池化处理对所述全局特征和局部特征进行特征融合得到所述融合特征，所述全局特征和局部特征分别从两个等长的全连接层输出；
将所述融合特征输入设有softmax函数的输出层进行场景类型的概率计算，得到所述融合特征所属场景类型的概率，以概率最高的场景类型作为所述分类结果。
7.一种房屋场景分类装置，其特征在于，包括：
获取模块，用于获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；
全局特征提取模块，用于利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；
目标检测模块，用于对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；
计算模块，用于根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；
变换模块，用于将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；
分类模块，用于对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果；
所述计算模块具体用于：
按如下公式计算每个物品之间的共现相关性C和空间相关性S：
Figure 414339DEST_PATH_IMAGE030
，
其中，
Figure 147940DEST_PATH_IMAGE031
表示第p类物品出现的情形下第1类至第k类物品出现的次 数；
Figure 432291DEST_PATH_IMAGE032
，
其中，
Figure 579238DEST_PATH_IMAGE033
表示第p类物品与第1类至第k类物品的像素距离，
Figure 607237DEST_PATH_IMAGE034
表示第p类物品与第1类至第k类物品的最小像素距离；
按如下公式计算分类图像中不同物品类别之间的相关性矩阵：
Figure 585557DEST_PATH_IMAGE035
，
式中，M表示相关性矩阵，
Figure 509651DEST_PATH_IMAGE036
表示哈达玛积。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的房屋场景分类方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的房屋场景分类方法。
CN202210705344.7A 2022-06-21 2022-06-21 房屋场景分类方法、装置、设备及可读存储介质 Active CN114782797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210705344.7A CN114782797B (zh) 2022-06-21 2022-06-21 房屋场景分类方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210705344.7A CN114782797B (zh) 2022-06-21 2022-06-21 房屋场景分类方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114782797A CN114782797A (zh) 2022-07-22
CN114782797B true CN114782797B (zh) 2022-09-20

Family

ID=82421340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210705344.7A Active CN114782797B (zh) 2022-06-21 2022-06-21 房屋场景分类方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114782797B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116009560A (zh) * 2023-03-24 2023-04-25 科大讯飞股份有限公司 机器人及其寻桩方法、装置及存储介质
CN116958795A (zh) * 2023-06-30 2023-10-27 北京房多多信息技术有限公司 翻拍图像的识别方法、装置、电子设备及存储介质
CN116774195B (zh) * 2023-08-22 2023-12-08 国网天津市电力公司滨海供电分公司 多传感器联合标定的激励判断与参数自调节方法及系统
CN117636080B (zh) * 2024-01-26 2024-04-09 深圳市万物云科技有限公司 一种场景分类方法、装置、计算机设备及可读存储介质
CN117975059A (zh) * 2024-02-28 2024-05-03 途家网网络技术(北京)有限公司 相似房屋确定方法、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544496A (zh) * 2012-07-12 2014-01-29 同济大学 基于空间与时间信息融合的机器人场景识别方法
CN107451148A (zh) * 2016-05-31 2017-12-08 北京金山安全软件有限公司 一种视频分类方法、装置及电子设备
CN109872364A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 图像区域定位方法、装置、存储介质和医学影像处理设备
CN111881849A (zh) * 2020-07-30 2020-11-03 Oppo广东移动通信有限公司 图像场景检测方法、装置、电子设备及存储介质
CN112348057A (zh) * 2020-10-20 2021-02-09 歌尔股份有限公司 一种基于yolo网络的目标识别方法与装置
WO2021082743A1 (zh) * 2019-10-31 2021-05-06 北京金山云网络技术有限公司 视频分类方法、装置及电子设备
CN112966629A (zh) * 2021-03-18 2021-06-15 东华理工大学 基于图像变换和BoF模型的遥感图像场景分类方法
CN113269224A (zh) * 2021-03-24 2021-08-17 华南理工大学 一种场景图像分类方法、系统及存储介质
CN114495211A (zh) * 2022-01-07 2022-05-13 上海交通大学重庆研究院 基于图卷积网路的微表情识别方法、系统及计算机介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3182373B1 (en) * 2015-12-17 2019-06-19 STMicroelectronics S.A. Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
CN108268875B (zh) * 2016-12-30 2020-12-08 广东精点数据科技股份有限公司 一种基于数据平滑的图像语义自动标注方法及装置
CN109635141B (zh) * 2019-01-29 2021-04-27 京东方科技集团股份有限公司 用于检索图像的方法、电子设备和计算机可读存储介质
CN111104898B (zh) * 2019-12-18 2022-03-25 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置
CN112966697B (zh) * 2021-03-17 2022-03-11 西安电子科技大学广州研究院 基于场景语义的目标检测方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544496A (zh) * 2012-07-12 2014-01-29 同济大学 基于空间与时间信息融合的机器人场景识别方法
CN107451148A (zh) * 2016-05-31 2017-12-08 北京金山安全软件有限公司 一种视频分类方法、装置及电子设备
CN109872364A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 图像区域定位方法、装置、存储介质和医学影像处理设备
WO2021082743A1 (zh) * 2019-10-31 2021-05-06 北京金山云网络技术有限公司 视频分类方法、装置及电子设备
CN111881849A (zh) * 2020-07-30 2020-11-03 Oppo广东移动通信有限公司 图像场景检测方法、装置、电子设备及存储介质
CN112348057A (zh) * 2020-10-20 2021-02-09 歌尔股份有限公司 一种基于yolo网络的目标识别方法与装置
CN112966629A (zh) * 2021-03-18 2021-06-15 东华理工大学 基于图像变换和BoF模型的遥感图像场景分类方法
CN113269224A (zh) * 2021-03-24 2021-08-17 华南理工大学 一种场景图像分类方法、系统及存储介质
CN114495211A (zh) * 2022-01-07 2022-05-13 上海交通大学重庆研究院 基于图卷积网路的微表情识别方法、系统及计算机介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Scene Classification using Generalized Local Correlation;Hideki Nakayama 等;《MVA2009 IAPR Conference on Machine Vision Applications》;20090522;195-198 *
Scene classification using local and global features with collaborative representation fusion;Jinyi Zou 等;《SLSEVIER》;20160213;209-226 *
基于改进全局—局部注意网络的室内场景识别方法;徐江浪;《计算机应用研究》;20220131;第39卷(第1期);316-320 *
基于镜头及场景上下文的短视频标注方法研究;彭太乐;《中国博士学位论文全文数据库信息科技辑》;20170215(第(2017)02期);I138-118 *
复杂场景下的行人搜索与识别算法研究;卢增;《中国优秀硕士学位论文全文数据库信息科技辑》;20220331(第(2022)03期);I138-1132 *

Also Published As

Publication number Publication date
CN114782797A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114782797B (zh) 房屋场景分类方法、装置、设备及可读存储介质
CN109857844B (zh) 基于点餐对话文本的意图识别方法、装置、电子设备
CA3066029A1 (en) Image feature acquisition
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
CN102165442A (zh) 对用于市场份额预测的选择预测系统进行定标
CN116109195A (zh) 一种基于图卷积神经网络的绩效评估方法及系统
CN116089708A (zh) 农业知识推荐方法及装置
CN116403046A (zh) 一种高光谱影像分类装置及方法
CN110598841A (zh) 一种基于多输入卷积神经网络的花卉疾病分析方法
CN113409157B (zh) 一种跨社交网络用户对齐方法以及装置
Liu et al. Filter pruning by quantifying feature similarity and entropy of feature maps
CN112925994B (zh) 基于局部和全局信息融合的群组推荐方法、系统及设备
CN111506813A (zh) 一种基于用户画像的遥感信息精准推荐方法
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN115565079A (zh) 一种基于双边融合的遥感图像语义分割方法
CN113888238B (zh) 一种广告点击率预测方法、装置及计算机设备
CN114882409A (zh) 一种基于多模态特征融合的智能暴力行为检测方法及装置
Hu et al. Perceptual quality assessment of SAR image compression
CN117058555B (zh) 一种遥感卫星图像分级管理的方法及装置
CN109145132A (zh) 从图像中提取哈希码的方法、装置及图像检索方法、装置
CN118506112B (zh) 一种基于高阶交互卷积网络的高光谱图像分类方法
CN114782078B (zh) 一种针对高维数据的商业信息评估方法及系统
CN115879513B (zh) 一种数据的层次化标准化方法、装置和电子设备
CN118535805B (zh) 一种基于深度神经网络个性化推荐的方法、系统和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant