CN113591929A - 一种结合方向感知核集群的户型图识别方法 - Google Patents

一种结合方向感知核集群的户型图识别方法 Download PDF

Info

Publication number
CN113591929A
CN113591929A CN202110757275.XA CN202110757275A CN113591929A CN 113591929 A CN113591929 A CN 113591929A CN 202110757275 A CN202110757275 A CN 202110757275A CN 113591929 A CN113591929 A CN 113591929A
Authority
CN
China
Prior art keywords
house type
type graph
feature
house
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110757275.XA
Other languages
English (en)
Other versions
CN113591929B (zh
Inventor
余松森
祝澳
杨欢
稂子轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110757275.XA priority Critical patent/CN113591929B/zh
Publication of CN113591929A publication Critical patent/CN113591929A/zh
Application granted granted Critical
Publication of CN113591929B publication Critical patent/CN113591929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种结合方向感知核集群的户型图识别方法。本发明所述的一种结合方向感知核集群的户型图识别方法包括：构建户型图识别模型，所述户型图识别模型包括编码层、解码层和输出层；所述解码层包括边界特征解码分支、区域特征解码分支和方向感知核集群；所述方向感知核集群包括若干方向感知核；将待识别的户型图输入至训练好的所述户型图识别模型，经过编码层的特征提取、解码层的特征整合和输出层的处理，得到所述待识别的户型图的像素级别识别结果。本发明所述的一种结合方向感知核集群的户型图识别方法通过提高学习和识别墙体特征的能力，能够解决目前领域内的多任务模型墙体识别存在不足的问题，同时整体提高各类户型元素的识别精度。

Description

一种结合方向感知核集群的户型图识别方法
技术领域
本发明涉及人工智能识别技术领域，特别是涉及一种结合方向感知核集群的户型图识别方法。
背景技术
在房地产、家装行业的门店销售展示中，以虚拟现实为基础的三维户型展示技术正在逐渐替代传统的二维户型图，二维户型图，侧重于表示建筑的空间位置、尺寸比例及布局信息，在家装和房地产行业的户型展示中应用极其广泛。然而随着B2C、O2O等营销模式在家装和房地产行业中的兴起，这类分销模式对于三维户型的构建产生了极大的需求。传统的三维建模主要依靠建模人员，通过阅读二维平面图的方式进行，人力成本高且效率低下。为克服这一问题，户型布局元素的自动识别成为了一项关键技术。
传统上进行户型布局元素识别主要是依据低级图像处理，这种方法采用手动提取户型元素特征的方式，虽然对于某种特定户型图具备效用，但是泛化能力不强。因此，基于深度学习来进行户型布局元素自动识别的研究逐渐发展起来。例如目前最新的一种深度模型DFP按照层次结构来处理户型图元素，把平面图中的像素分为内部和外部两部分，内部元素进一步分为墙体、门窗和各类功能区类型。基于这种层次结构，该模型设计了一个预测房屋边界和预测房屋类型的多任务模型，来实现户型布局自动识别的功能。但该多任务模型在识别墙体元素上仍存在很大不足，并且在实际工业化过程中效果不佳。
发明内容
基于此，本发明的目的在于，提供一种结合方向感知核集群的户型图识别方法，在户型图识别模型中加入了感知核集群，最大化模型学习墙体特征的能力，能够解决目前领域内的多任务模型墙体识别存在不足的问题，同时整体提高各类户型元素的识别精度，具有识别结果更为精确和高效的优点。
一种结合方向感知核集群的户型图识别方法，包括以下步骤：
构建户型图识别模型，所述户型图识别模型包括编码层、解码层和输出层；所述解码层包括边界特征解码分支、区域特征解码分支和方向感知核集群；所述方向感知核集群包括若干方向感知核；
将待识别的户型图输入至训练好的所述户型图识别模型，使得所述编码层对所述待识别的户型图进行特征提取，得到所述待识别的户型图的特征向量；
所述边界特征解码分支对所述特征向量进行边界特征提取，并将所述边界特征进行卷积操作，得到所述边界特征的注意力权重；
所述区域特征解码分支对所述特征向量进行区域特征提取，并将所述区域特征与所述边界特征的注意力权重相乘，得到相乘过的特征F；
所述方向感知核集群中的每个方向感知核对所述特征F进行处理，得到与每个方向感知核对应的特征量，并将所述若干个特征量进行特征整合，得到整合特征量；
所述输出层对所述整合特征量进行处理，得到所述待识别的户型图的像素级别识别结果。
本发明所述的一种结合方向感知核集群的户型图识别方法，在户型图识别模型中加入了感知核集群，最大化模型学习墙体特征的能力，识别结果更为精确和高效。
进一步地，所述若干方向感知核，分别用于处理垂直中线、水平中线、斜墙线、反斜墙线、左上转点、右上转点、左下转点、右下转点、上边线、右边线、左边线和下边线所对应的形状的墙体中的至少一种。
进一步地，所述方向感知核集群中的每个方向感知核对所述特征F进行处理，得到与每个方向感知核对应的特征量，包括：
针对集群内12个不同的方向感知核，分别利用如下公式，计算每个感知核的上下文特征：
垂直中线感知核的上下文特征Verticalm，n的公式表达为：
Figure BDA0003147600770000021
水平中线感知核的上下文特征Horizontalm，n的公式表达为：
Figure BDA0003147600770000022
斜墙线感知核的上下文特征Obliquem，n的公式表达为：
Figure BDA0003147600770000023
反斜墙线感知核的上下文特征Backslopem，n的公式表达为：
Figure BDA0003147600770000024
左上转点感知核的上下文特征ULTurningm，n的公式表达为：
Figure BDA0003147600770000025
右上转点感知核的上下文特征URTurningm，n的公式表达为：
Figure BDA0003147600770000031
左下转点感知核的上下文特征LLTurningm，n的公式表达为：
Figure BDA0003147600770000032
右下转点感知核的上下文特征LRTurningm，n的公式表达为：
Figure BDA0003147600770000033
上边线感知核的上下文特征Upperm，n的公式表达为：
Figure BDA0003147600770000034
右边线感知核的上下文特征Rightm，n的公式表达为：
Figure BDA0003147600770000035
左边线感知核的上下文特征Leftm，n的公式表达为：
Figure BDA0003147600770000036
下边缘线感知核的上下文特征Lowm，n的公式表达为：
Figure BDA0003147600770000037
其中，
Figure BDA0003147600770000039
为感知核m，n位置的值，该位置也是感知核的中心点位置，Fm，n为在特征F中m，n位置的值；k为1。
进一步地，所述边界特征解码分支和所述区域特征解码分支中均包括不确定性损失函数；
所述户型图识别模型的总损失函数内包含缩放因子σ1和缩放因子σ2，缩放因子σ1对应所述边界特征解码分支的损失函数L1(W)，缩放因子σ2对应所述区域特征解码分支的损失函数L2(W)；
所述户型图识别模型的总损失函数L(W，σ1，σ2)为：
Figure BDA0003147600770000038
其中，W为损失函数的权重。
进一步地，所述方向感知核的数量为12，感知核集群内12种不同的方向感知核的权重值均为1，卷积核卷积层的激活单元均采用ReLu函数。
进一步地，将所述若干个特征量进行特征整合，得到整合特征量，包括：
将12种不同的特征量相加，得到整合特征量。
进一步地，所述编码层为VGG encoder，包括13个卷积层和5个池化层。
进一步地，所述户型图识别模型的训练过程包括以下步骤：
获取经过预处理的户型图数据集；
对数据集中的户型图进行像素级别的标注，得到户型图数据；
将数据集内的户型图数据分为训练集和测试集；
针对构建好的户型图识别模型，设置训练参数；其中在训练过程中多任务模型使用Adam优化器来更新模型的参数，并将模型的学习率固定在e-4，训练迭代数设置为60K；
将训练集中的户型图数据输入至所述户型图识别模型，以训练所述户型图识别模型；
将测试集中的户型图数据输入至训练好的所述户型图识别模型，以对所述户型图识别模型进行评估验证及参数优化。
进一步地，所述对数据集中的户型图进行像素级别的标注，得到户型图数据，包括：
标注类别包括门、窗、墙体以及卧室、阳台、客厅、卫生间、壁橱、厨房中的至少一种；
所述户型图数据包括每一张户型图经过标注后得到的六张标签图，标签图保存为png格式。
进一步地，所述像素级别识别结果包括门、窗、墙体、卧室、阳台、厨房、客厅、卫生间、壁橱中的至少一种。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明所提供的一种结合方向感知核集群的户型图识别方法的流程示意图；
图2为本发明所提供的一种结合方向感知核集群的户型图识别方法中收集整理的12种不同的墙体像素形状分布图；
图3为本发明所提供的一种结合方向感知核集群的户型图识别方法使用的户型图识别模型结构示意图；
图4为一个实施例中，一张户型图与经过预处理后保存的六张标签图；
图5为一个实施例中，本发明提供的一种由房屋边界特征引导的注意力机制的上下文模块的工作流程和原理示意图；
图6为本发明提供的一种结合方向感知核集群的户型图识别方法在一个实施例中所使用的一张待识别的户型图；
图7为基线多任务模型对图6所示的户型图的识别结果；
图8为本发明提供的一种结合方向感知核集群的户型图识别方法对图6所示的户型图的识别结果。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在一个具体的实施例中，如图1所示，本发明提供一种结合方向感知核集群的户型图识别方法，包括以下步骤：
S1：构建户型图识别模型，所述户型图识别模型包括编码层、解码层和输出层；所述解码层包括边界特征解码分支、区域特征解码分支和方向感知核集群；所述方向感知核集群包括若干方向感知核。
优选的，所述边界特征解码分支和所述区域特征解码分支中均包括不确定性损失函数；
所述户型图识别模型的总损失函数内包含缩放因子σ1和缩放因子σ2，缩放因子σ1对应所述边界特征解码分支的损失函数L1(W)，缩放因子σ2对应所述区域特征解码分支的损失函数L2(W)；
所述户型图识别模型的总损失函数L(W,σ1,σ2)为：
Figure BDA0003147600770000061
其中，W为损失函数权重。
优选的，所述方向感知核的数量为12，感知核集群内12种不同的方向感知核的权重值均为1，卷积核卷积层的激活单元均采用ReLu函数。
优选的，在本发明所使用的户型图识别模型中构建方向感知核集群的步骤包括：
S101：针对于现实中规则墙体的几何特征，统一收集整理为12种不同的像素形状分布，如图2所示，分别为：垂直中线、水平中线、斜墙线、反斜墙线、左上转点、右上转点、左下转点、右下转点、上边线、右边线、左边线和下边线。
S102：依据这12种不同的墙体形状分布，设计12种不同的方向感知核，分别处理对应不同形状的墙体。优选的，感知核集群内12种不同的方向感知核的权重值都是1，卷积核卷积层的激活单元均采用ReLu函数。
S103：将不同的方向感知核整合为感知核集群，将集群融入模型中。
最终构建完成的户型图识别模型如图3所示，包括编码层、解码层和输出层；所述解码层包括边界特征解码分支、区域特征解码分支和方向感知核集群；所述方向感知核集群包括若干方向感知核。
在一个优选的实施例中，所述户型图识别模型的训练过程包括以下步骤：
S001：获取经过预处理的户型图数据集。
优选的，获取方式为：收集整理大量的二维户型图，在收集过程中删除掉标记不明确以及户型区域不规则的户型图，保留标准的户型图。
S002：对数据集中的户型图进行像素级别的标注，得到户型图数据。
优选的，标注工具可以是photoshop或者labelme等软件，其中标注类别有门窗、墙体以及卧室、阳台、客厅、卫生间、壁橱、厨房。其中每一张户型图对应六张标签图，如图3所示，图4显示的是一组户型图与其对应的六张标签图，标签图保存为png格式。
S003：将数据集内的户型图数据分为训练集和测试集。
优选的，训练集与测试集的比例按照8:2的系数划分。
S004：针对构建好的户型图识别模型，设置训练参数；其中在训练过程中多任务模型使用Adam优化器来更新模型的参数，并将模型的学习率固定在e-4，训练迭代数设置为60K。
S005：将训练集中的户型图数据输入至所述户型图识别模型，以训练所述户型图识别模型。
S006：将测试集中的户型图数据输入至训练好的所述户型图识别模型，以对所述户型图识别模型进行评估验证及参数优化。
保存迭代训练完毕后的模型，即可用于识别新的户型图。
S2：将待识别的户型图输入至训练好的所述户型图识别模型，使得所述编码层对所述待识别的户型图进行特征提取，得到所述待识别的户型图的特征向量。
优选的，所述编码层为VGG encoder，包括13个卷积层和5个池化层。VGG encoder部分主要取自VGG16，舍弃了VGG16尾部的全连接层与softmax层，保留其卷积层与池化层。
通过encoder提取出的特征被网络decoder部分的两个分支任务所共享，上分支任务是预测房屋边界像素，下分支任务是预测房屋区域像素，为了更好地利用户型元素之间的空间联系，模型还设计了由房屋边界特征引导的注意力机制的上下文模块，如图5所示，把上分支任务提取到的房屋边界特征经过卷积之后，生成一个2D的注意力权重，该注意力权重两次作用于下分支特征，去帮助预测房屋区域像素。
S3：所述边界特征解码分支对所述特征向量进行边界特征提取，并将所述边界特征进行卷积操作，得到所述边界特征的注意力权重。
在识别户型图元素的多任务模型上，采用概率建模的思想来学习多任务之间的最优权重，也就是利用多任务之间的同态不确定性，去自适应的学习各分支任务的权重。
S4：所述区域特征解码分支对所述特征向量进行区域特征提取，并将所述区域特征与所述边界特征的注意力权重相乘，得到相乘过的特征F。
S5：所述方向感知核集群中的每个方向感知核对所述特征F进行处理，得到与每个方向感知核对应的特征量，并将所述若干个特征量进行特征整合，得到整合特征量。
针对集群内12个不同的方向感知核，分别利用如下公式，计算每个感知核的上下文特征：
垂直中线感知核的上下文特征Verticalm，n的公式表达为：
Figure BDA0003147600770000071
水平中线感知核的上下文特征Horizontalm，n的公式表达为：
Figure BDA0003147600770000072
斜墙线感知核的上下文特征Obliquem，n的公式表达为：
Figure BDA0003147600770000081
反斜墙线感知核的上下文特征Backslopem，n的公式表达为：
Figure BDA0003147600770000082
左上转点感知核的上下文特征ULTurningm，n的公式表达为：
Figure BDA0003147600770000083
右上转点感知核的上下文特征URTurningm，n的公式表达为：
左下转点感知核的上下文特征LLTurningm，n的公式表达为：
Figure BDA0003147600770000084
Figure BDA0003147600770000085
右下转点感知核的上下文特征LRTurningm，n的公式表达为：
Figure BDA0003147600770000086
上边线感知核的上下文特征Upperm，n的公式表达为：
Figure BDA0003147600770000087
右边线感知核的上下文特征Rightm，n的公式表达为：
Figure BDA0003147600770000088
左边线感知核的上下文特征Leftm，n的公式表达为：
Figure BDA0003147600770000089
下边缘线感知核的上下文特征Lowm，n的公式表达为：
Figure BDA00031476007700000810
其中，
Figure BDA00031476007700000811
为感知核m，n位置的值，该位置也是感知核的中心点位置，Fm，n为在特征F中m，n位置的值；k为1。
随后模型将12种不同的处理后的特征量相加，进行特征整合，得到整合特征量。
S7：所述输出层对所述整合特征量进行处理，得到所述待识别的户型图的像素级别识别结果。
其中，所述像素级别识别结果包括门、窗、墙体、卧室、阳台、厨房、客厅、卫生间、壁橱中的至少一种。优选的，识别结果包括以上9种类型，并分别用不同的颜色或其他标识做出区分。
对属于计算机视觉语义分割领域内的多任务模型，对于网络的输出采用softmax函数进行处理，由此得到单分支任务的似然函数；
将一个可以学习的噪声参数σ作为一个缩放因子加入到似然函数中；
最大化似然函数估计时，取似然函数的对数作为求最大值的函数。
如图6-图8所示，图6为一份待识别户型图，图7为使用基线多任务模型对该户型图的识别结果，图8为使用本发明所提供的一种结合方向感知核集群的户型图识别方法对该户型图的识别结果。通过图7和图8二者对比可发现，本发明所用的结合方向感知核集群和不确定损失函数的多任务模型的识别结果更为准确。
本发明所提供的一种结合方向感知核集群的户型图识别方法，依据规则墙体的形状特征，设计包含12种不同方向感知核的感知核集群，最大化模型学习墙体特征的能力；在多任务模型中根据多任务之间的同态不确定性，加入不确定性损失函数，自适应的在训练过程中调整模型中多任务之间的权重；将方向感知核集群和不确定性损失函数结合在多任务模型中；在数据集上迭代训练多任务模型，生成预训练模型；用户输入户型图，即可得到识别结果。本发明利用结合方向感知核集群与不确定性损失函数的多任务模型，在数据集上训练后产生预训练模型，即可实现自动高效的户型图识别，能够解决目前领域内的多任务模型墙体识别存在不足的问题，同时整体提高各类户型元素的识别精度。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种结合方向感知核集群的户型图识别方法，其特征在于，包括以下步骤：
构建户型图识别模型，所述户型图识别模型包括编码层、解码层和输出层；所述解码层包括边界特征解码分支、区域特征解码分支和方向感知核集群；所述方向感知核集群包括若干方向感知核；
将待识别的户型图输入至训练好的所述户型图识别模型，使得所述编码层对所述待识别的户型图进行特征提取，得到所述待识别的户型图的特征向量；
所述边界特征解码分支对所述特征向量进行边界特征提取，并将所述边界特征进行卷积操作，得到所述边界特征的注意力权重；
所述区域特征解码分支对所述特征向量进行区域特征提取，并将所述区域特征与所述边界特征的注意力权重相乘，得到相乘过的特征F；
所述方向感知核集群中的每个方向感知核对所述特征F进行处理，得到与每个方向感知核对应的特征量，并将所述若干个特征量进行特征整合，得到整合特征量；
所述输出层对所述整合特征量进行处理，得到所述待识别的户型图的像素级别识别结果。
2.根据权利要求1所述的一种结合方向感知核集群的户型图识别方法，其特征在于：
所述集群内若干方向感知核，分别用于处理垂直中线、水平中线、斜墙线、反斜墙线、左上转点、右上转点、左下转点、右下转点、上边线、右边线、左边线和下边线所对应的形状的墙体中的一种。
3.根据权利要求1所述的一种结合方向感知核集群的户型图识别方法，其特征在于，所述方向感知核集群中的每个方向感知核对所述特征F进行处理，得到与每个方向感知核对应的特征量，包括：
针对集群内12个不同的方向感知核，分别利用如下公式，计算每个感知核的上下文特征：
垂直中线感知核的上下文特征Verticalm，n的公式表达为：
Figure FDA0003147600760000011
水平中线感知核的上下文特征Horizontalm,n的公式表达为：
Figure FDA0003147600760000012
斜墙线感知核的上下文特征Obliquem,n的公式表达为：
Figure FDA0003147600760000013
反斜墙线感知核的上下文特征Backslopem，n的公式表达为：
Figure FDA0003147600760000021
左上转点感知核的上下文特征ULTurningm，n的公式表达为：
Figure FDA0003147600760000022
右上转点感知核的上下文特征URTurningm，n的公式表达为：
Figure FDA0003147600760000023
左下转点感知核的上下文特征LLTurningm，n的公式表达为：
Figure FDA0003147600760000024
右下转点感知核的上下文特征LRTurningm，n的公式表达为：
Figure FDA0003147600760000025
上边线感知核的上下文特征Upperm,n的公式表达为：
Figure FDA0003147600760000026
右边线感知核的上下文特征Rightm,n的公式表达为：
Figure FDA0003147600760000027
左边线感知核的上下文特征Leftm,n的公式表达为：
Figure FDA0003147600760000028
下边缘线感知核的上下文特征Lowm,n的公式表达为：
Figure FDA0003147600760000029
其中，
Figure FDA00031476007600000210
为感知核m,n位置的值，该位置也是感知核的中心点位置，Fm,n为在特征F中m,n位置的值；k为1。
4.根据权利要求1所述的一种结合方向感知核集群的户型图识别方法，其特征在于：
所述边界特征解码分支和所述区域特征解码分支中均包括不确定性损失函数；
所述户型图识别模型的总损失函数内包含缩放因子σ1和缩放因子σ2，缩放因子σ1对应所述边界特征解码分支的损失函数L1(W)，缩放因子σ2对应所述区域特征解码分支的损失函数L2(W)；
所述户型图识别模型的总损失函数L(W,σ1,σ2)为：
Figure FDA0003147600760000031
其中，W为损失函数权重。
5.根据权利要求2所述的一种结合方向感知核集群的户型图识别方法，其特征在于：
所述方向感知核的数量为12，感知核集群内12种不同的方向感知核的权重值均为1，卷积核卷积层的激活单元均采用ReLu函数。
6.根据权利要求5所述的一种结合方向感知核集群的户型图识别方法，其特征在于，将所述若干个特征量进行特征整合，得到整合特征量，包括：
将12种不同的特征量相加，得到所述整合特征量。
7.根据权利要求1所述的一种结合方向感知核集群的户型图识别方法，其特征在于：
所述编码层为VGG encoder，包括13个卷积层和5个池化层。
8.根据权利要求1所述的一种结合方向感知核集群的户型图识别方法，其特征在于，所述户型图识别模型的训练过程包括以下步骤：
获取经过预处理的户型图数据集；
对数据集中的户型图进行像素级别的标注，得到户型图数据；
将数据集内的户型图数据分为训练集和测试集；
针对构建好的户型图识别模型，设置训练参数；其中在训练过程中多任务模型使用Adam优化器来更新模型的参数，并将模型的学习率固定在e-4，训练迭代数设置为60K；
将训练集中的户型图数据输入至所述户型图识别模型，以训练所述户型图识别模型；
将测试集中的户型图数据输入至训练好的所述户型图识别模型，以对所述户型图识别模型进行评估验证及参数优化。
9.根据权利要求8所述的一种结合方向感知核集群的户型图识别方法，其特征在于，所述对数据集中的户型图进行像素级别的标注，得到户型图数据，包括：
标注类别包括门、窗、墙体以及卧室、阳台、客厅、卫生间、壁橱、厨房中的至少一种；
所述户型图数据包括每一张户型图经过标注后得到的六张标签图，标签图保存为png格式。
10.根据权利要求1所述的一种结合方向感知核集群的户型图识别方法，其特征在于：
所述像素级别识别结果包括门、窗、墙体、卧室、阳台、厨房、客厅、卫生间、壁橱中的至少一种。
CN202110757275.XA 2021-07-05 2021-07-05 一种结合方向感知核集群的户型图识别方法 Active CN113591929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110757275.XA CN113591929B (zh) 2021-07-05 2021-07-05 一种结合方向感知核集群的户型图识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110757275.XA CN113591929B (zh) 2021-07-05 2021-07-05 一种结合方向感知核集群的户型图识别方法

Publications (2)

Publication Number Publication Date
CN113591929A true CN113591929A (zh) 2021-11-02
CN113591929B CN113591929B (zh) 2023-07-25

Family

ID=78245950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110757275.XA Active CN113591929B (zh) 2021-07-05 2021-07-05 一种结合方向感知核集群的户型图识别方法

Country Status (1)

Country Link
CN (1) CN113591929B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059750A (zh) * 2019-04-17 2019-07-26 广东三维家信息科技有限公司 户型形状识别方法、装置和设备
CN110096949A (zh) * 2019-03-16 2019-08-06 平安城市建设科技(深圳)有限公司 户型图智能识别方法、装置、设备及计算机可读存储介质
CN111008654A (zh) * 2019-11-26 2020-04-14 江苏艾佳家居用品有限公司 一种户型图中房间的识别方法及系统
CN111144243A (zh) * 2019-12-13 2020-05-12 江苏艾佳家居用品有限公司 基于对抗学习的户型图识别方法和装置
CN111310755A (zh) * 2020-01-13 2020-06-19 江苏艾佳家居用品有限公司 基于目标检测的户型图识别方法、装置、计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096949A (zh) * 2019-03-16 2019-08-06 平安城市建设科技(深圳)有限公司 户型图智能识别方法、装置、设备及计算机可读存储介质
CN110059750A (zh) * 2019-04-17 2019-07-26 广东三维家信息科技有限公司 户型形状识别方法、装置和设备
CN111008654A (zh) * 2019-11-26 2020-04-14 江苏艾佳家居用品有限公司 一种户型图中房间的识别方法及系统
CN111144243A (zh) * 2019-12-13 2020-05-12 江苏艾佳家居用品有限公司 基于对抗学习的户型图识别方法和装置
CN111310755A (zh) * 2020-01-13 2020-06-19 江苏艾佳家居用品有限公司 基于目标检测的户型图识别方法、装置、计算机设备

Also Published As

Publication number Publication date
CN113591929B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
JP6763925B2 (ja) 建築物レンダリング及びビルディングインフォメーションモデリングデータの機械学習システム
CN108763606B (zh) 一种基于机器视觉的户型图元素自动提取方法与系统
TWI784973B (zh) 資訊處理裝置、資訊處理方法、及資訊處理程式
CN112883798B (zh) 基于深度学习建筑专业住宅平面图空间内构件的识别方法
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN111401599B (zh) 一种基于相似性搜索和lstm神经网络的水位预测方法
CN101710418B (zh) 基于测地距离的交互方式图象分割方法
CN102542302A (zh) 基于分等级对象语义图的复杂目标自动识别方法
CN111753207B (zh) 一种基于评论的神经图协同过滤方法
CN114331031B (zh) 一种建筑传统特征识别评价方法和系统
CN112417539A (zh) 基于语言描述的户型设计方法和装置以及系统
CN110147851B (zh) 图像筛选方法、装置、计算机设备及存储介质
Huang et al. Research on urban modern architectural art based on artificial intelligence and GIS image recognition system
CN114842180A (zh) 一种点云补全方法、装置、设备及介质
CN107392229B (zh) 一种基于最面向社会关系抽取的网络表示方法
CN115424050A (zh) 一种瓷砖表面缺陷检测及定位方法、系统及存储介质
CN112131629A (zh) 一种基于人工智能的家居场景布局方法
CN113538452B (zh) 家具布局及三维可视化方法、装置和设备
CN112488117B (zh) 一种基于方向诱导卷积的点云分析方法
WO2024069268A1 (en) Intelligent platform for designing and drawing construction plans based on data mining and artificial intelligence
CN113591929A (zh) 一种结合方向感知核集群的户型图识别方法
CN116578915B (zh) 一种基于图神经网络的结构化户型解析方法和系统
CN117115212A (zh) 一种自动化检测模型位姿异常及配准方法
CN117197451A (zh) 基于域自适应的遥感图像语义分割方法及装置
CN116958698A (zh) 一种基于街景图像多模态信息的建筑物分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant