CN117523036A - 平面户型图结构化重建方法、装置、设备与介质 - Google Patents
平面户型图结构化重建方法、装置、设备与介质 Download PDFInfo
- Publication number
- CN117523036A CN117523036A CN202410016731.9A CN202410016731A CN117523036A CN 117523036 A CN117523036 A CN 117523036A CN 202410016731 A CN202410016731 A CN 202410016731A CN 117523036 A CN117523036 A CN 117523036A
- Authority
- CN
- China
- Prior art keywords
- sample
- building element
- contour
- point set
- contour point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004590 computer program Methods 0.000 claims abstract description 27
- 238000000638 solvent extraction Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
Abstract
本申请涉及一种平面户型图结构化重建方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：对平面户型图进行分块，得到多个图像块；平面户型图中包括多个建筑元素；确定图像块中各建筑元素的包围盒，并根据建筑元素的包围盒生成建筑元素的第一轮廓点集合；针对每个建筑元素，在建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成建筑元素的第二轮廓点集合；根据建筑元素的语义类别确定建筑元素的下采样方式，并采用建筑元素的下采样方式对建筑元素的第二轮廓点集合进行下采样，得到建筑元素的第三轮廓点集合；根据各建筑元素的第三轮廓点集合进行重建，得到目标户型图。采用本方法能够提高平面户型图结构化重建的准确性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种平面户型图处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着图像矢量化技术的发展，可以通过训练数据集对平面户型图进行矢量化处理。
传统方法中，平面户型图矢量化技术通常根据语义分割方法或者图元检测方法进行平面图识别，以语义分割方法为例，该方法通过预测房间类别和门窗拐点等信息，还原平面户型图。
然而，语义分割方法的预测过程降低了平面户型图结构化重建的准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高平面户型图结构化重建的准确性的平面户型图结构化重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种平面户型图结构化重建方法。所述方法包括：对平面户型图进行分块，得到多个图像块；平面户型图中包括多个建筑元素；确定图像块中各建筑元素的包围盒，并根据建筑元素的包围盒生成建筑元素的第一轮廓点集合；第一轮廓点集合包括多个轮廓点；针对每个建筑元素，在建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成建筑元素的第二轮廓点集合；针对每个建筑元素，根据建筑元素的语义类别确定建筑元素的下采样方式，并采用建筑元素的下采样方式对建筑元素的第二轮廓点集合进行下采样，得到建筑元素的第三轮廓点集合；根据各建筑元素的第三轮廓点集合进行重建，得到目标户型图。
第二方面，本申请还提供了一种平面户型图结构化重建装置。包括：分块模块，用于对平面户型图进行分块，得到多个图像块；平面户型图中包括多个建筑元素；第一集合生成模块，用于确定图像块中各建筑元素的包围盒，并根据建筑元素的包围盒生成建筑元素的第一轮廓点集合；第一轮廓点集合包括多个轮廓点；第二集合生成模块，用于针对每个建筑元素，在建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成建筑元素的第二轮廓点集合；第三集合生成模块，用于针对每个建筑元素，根据建筑元素的语义类别确定建筑元素的下采样方式，并采用建筑元素的下采样方式对建筑元素的第二轮廓点集合进行下采样，得到建筑元素的第三轮廓点集合；重建模块，用于根据各建筑元素的第三轮廓点集合进行重建，得到目标户型图。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述平面户型图结构化重建方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述平面户型图结构化重建方法中的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述平面户型图结构化重建方法中的步骤。
上述平面户型图结构化重建方法、装置、计算机设备、存储介质和计算机程序产品，将平面户型图分为多个图像块，确定每个图像块中包含的多个建筑元素以及各建筑元素的包围盒，从而生成各建筑元素的第一轮廓点集合。然后对各建筑元素的第一轮廓点集合中的相邻轮廓点之间添加轮廓点，以得到各建筑元素的第二轮廓点集合。再对各建筑元素的第二轮廓点集合进行下采样，得到各建筑元素的第三轮廓点集合，从而可以根据建筑元素的第三轮廓点集合，重建平面户型图，得到目标户型图。本方案通过对平面户型图中的多个图像块进行轮廓点的扩充与删减，可以使得各图像块中的各建筑元素的形状更接近真实形状，从而提高平面户型图结构化重建的准确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中平面户型图结构化重建方法的应用环境图；
图2为一个实施例中平面户型图结构化重建方法的流程示意图；
图3为一个实施例中平面户型图结构化重建方法的网络框架图；
图4为一个实施例中生成掩模图像的流程示意图；
图5为一个实施例中平面户型图结构化重建方法的流程图；
图6为一个实施例中不同几何方法对平面户型图的处理结果对比图；
图7为一个实施例中平面户型图结构化重建装置的结构框图；
图8为一个实施例中计算机设备的内部结构图；
图9为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的平面户型图结构化重建方法，可以应用于如图1所示的应用环境中。其中，数据存储系统可以存储计算机设备102需要处理的数据。数据存储系统可以集成在计算机设备102上，也可以放在云上或其他网络服务器上。
具体地，计算机设备102对平面户型图进行分块，得到多个图像块；平面户型图中包括多个建筑元素。计算机设备102确定图像块中各建筑元素的包围盒，并根据建筑元素的包围盒生成建筑元素的第一轮廓点集合。计算机设备102针对每个建筑元素，在建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成建筑元素的第二轮廓点集合。计算机设备102针对每个建筑元素，根据建筑元素的语义类别确定建筑元素的下采样方式，并采用建筑元素的下采样方式对建筑元素的第二轮廓点集合进行下采样，得到建筑元素的第三轮廓点集合。计算机设备102根据各建筑元素的第三轮廓点集合进行重建，得到目标户型图。
其中，计算机设备102可以是终端，也可以是服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中，如图2所示，提供了一种平面户型图结构化重建方法，以该方法应用于图1中的计算机设备102为例进行说明，包括以下步骤202至步骤210。其中：
步骤202，对平面户型图进行分块，得到多个图像块；平面户型图中包括多个建筑元素。
其中，平面户型图是指房屋或建筑物在水平平面上的布局图。通常包括房间的尺寸或者墙壁等结构的位置和大小，以及其他相关的建筑细节。平面户型图可以是一间房屋的布局图，也可以是一个建筑中多间房屋的布局图。图像块是平面户型图被分割后的一部分图像。建筑元素包括但不限于建筑物中的房间、墙体、门或者窗户等元素。
具体地，计算机设备获取建筑的平面户型图，并将平面户型图裁剪成图像块进行网络训练。例如，计算机设备可以采用固定尺寸的滑动窗口从平面户型图中裁剪出多个图像块。滑动窗口的滑动方式可以是：计算机设备将滑动窗口置于平面户型图的最上排，从平面户型图的最左侧平行滑动到平面户型图的最右侧，然后滑动窗口再根据从上排到下排的顺序，依次从平面户型图的最左侧平行滑动到平面户型图的最右侧。由于平面户型图中包括多个建筑元素，因此基于平面户型图裁剪得到的部分图像块中也包含有建筑元素。
在一些实施例中，当前位置的滑动窗口和下一位置的滑动窗口存在重叠区域，滑动窗口的下一位置是计算机设备依据滑动方式确定的。
步骤204，确定图像块中各建筑元素的包围盒，并根据建筑元素的包围盒生成建筑元素的第一轮廓点集合；第一轮廓点集合包括多个轮廓点。
其中，建筑元素的包围盒是包围建筑元素的最小的矩形框，该矩形框可以完全包围物体或结构。轮廓点是构成建筑元素轮廓的点，第一轮廓点集合中包括多个轮廓点。
具体地，计算机设备针对每个图像块中的每个建筑元素，生成多个候选包围盒，这些包围盒的尺寸可以是相同的，也可以是不同的。然后，计算机设备从多个候选包围盒中，选取一个候选包围盒作为该建筑元素的包围盒。例如，计算机设备可以采用RPN（RegionProposal Network，区域提议网络）进行对每个图像块中的各建筑元素进行检测，从而为每个图像块内不同的建筑元素分别生成多个候选包围盒。同时，计算机设备采用RPN还可以生成各候选包围盒分别对应的置信度得分，根据各候选包围盒分别对应的置信度得分，选取置信度得分最高的候选包围盒作为该建筑元素的包围盒。候选包围盒对应的置信度得分是指该候选包围盒对该候选包围盒对应的建筑元素的包围程度，包围程度越高，候选包围盒对应的置信度得分越高。
在一些实施例中，计算机设备针对每个建筑元素，可以根据该建筑元素的包围盒的形状，在该建筑元素的矩形包围盒中生成椭圆框，并在该对应的形状上均匀采集多个点作为该建筑元素的轮廓点，这些轮廓点构成了该建筑元素的第一轮廓点集合。例如，计算机设备可以生成该建筑元素的矩形包围盒对应的正切椭圆框，在该正切椭圆框上均匀采样，得到第一数量个顶点，则该第一数量个顶点即为该建筑元素的轮廓点，该建筑元素的第一轮廓点集合中包含有第一数量个轮廓点。其中，第一数量可以为8，10或者12。
步骤206，针对每个建筑元素，在建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成建筑元素的第二轮廓点集合。
其中，第二轮廓点集合中包括多个轮廓点，多个轮廓点包括第一轮廓点集合中的所有轮廓点以及第一轮廓点集合中相邻的轮廓点之间添加的所有轮廓点。
具体地，计算机设备针对每个建筑元素，可以先对该建筑元素的第一轮廓点集合中的每个轮廓点进行位移，以使得位移完成后的轮廓点更加接近该建筑元素的真实形状上的点。计算机设备将完成位移后的所有轮廓点构成第一位移轮廓点集合。然后，计算机设备针对每个建筑元素，在该建筑元素的第一位移轮廓点集合中选取任意两个相邻的轮廓点，并在选取的任意两个相邻的轮廓点之间添加一个点作为该建筑元素的新增轮廓点。直至计算机设备为该建筑元素的第一位移轮廓点集合中所有相邻的轮廓点之间均添加新增轮廓点，计算机设备停止新增轮廓点，此时所有新增轮廓点和第一位移轮廓点集合中的所有轮廓点共同构成该建筑元素的第二轮廓点集合。例如，计算机设备针对某个建筑元素，可以在选取该建筑元素的第一位移轮廓点集合中任意两个相邻的轮廓点的情况下，计算得到选取的两个相邻的轮廓点的中点，并将计算得到的中点作为该建筑元素的新增轮廓点。
在一些实施例中，计算机设备针对各建筑元素，先对该建筑元素的第一轮廓点集合中的每个轮廓点进行位移，得到第一位移轮廓点集合，再在该建筑元素的第一位移轮廓点集合中任意相邻的轮廓点之间均添加一个点作为该建筑元素的新增轮廓点，此时可以得到该建筑元素的第一新增轮廓点集合，第一新增轮廓点集合中包含有此次所有新增轮廓点和第一轮廓点集合中的所有轮廓点。然后，计算机设备可以对该建筑元素的第一新增轮廓点集合中的每个轮廓点进行位移，得到第二位移轮廓点集合，再将该建筑元素的第二位移轮廓点集合中任意相邻的轮廓点之间均添加的点作为该建筑元素的新增轮廓点，此时可以得到该建筑元素的第二新增轮廓点集合，第二新增轮廓点集合中包含有此次所有新增轮廓点和第一新增轮廓点集合中的所有轮廓点。计算机设备重复上述过程，直至第n新增轮廓点集合中不再添加新的轮廓点，则将第n新增轮廓点集合作为该建筑元素的第二轮廓点集合，其中，n大于或者等于2。
步骤208，针对每个建筑元素，根据建筑元素的语义类别确定建筑元素的下采样方式，并采用建筑元素的下采样方式对建筑元素的第二轮廓点集合进行下采样，得到建筑元素的第三轮廓点集合。
其中，语义类别是建筑元素所属的类别，例如语义类别可以是房间、墙体或者门等类别。在建筑元素属于房间类别的情况下，语义类别还可以是客厅、卧室或者书房等类别。下采样方式是指对建筑元素的第二轮廓点集合中的轮廓点进行删减的方式。第三轮廓点集合包括多个轮廓点，多个轮廓点是建筑元素的第二轮廓点集合中的部分或者全部轮廓点。
具体地，计算机设备针对每个建筑元素，判断该建筑元素所属的语义类别，并根据该建筑元素的语义类别确定该建筑元素的下采样方法。例如，在该建筑元素所属的语义类别为门的情况下，若该建筑元素的第二轮廓点集合中包含有128个轮廓点，计算机设备可以判断出该建筑元素所属的语义类别仅用16个轮廓点就能够表示，那么，计算机设备去除该建筑元素的第二轮廓点集合中不改变该建筑元素轮廓的点，剩余16个可以表征该建筑元素轮廓的轮廓点。计算机设备将这16个轮廓点的集合作为该建筑元素的第三轮廓点集合。
在一些实施例中，第三轮廓点集合是通过已训练的轮廓检测模型得到的。计算机设备首先确定待训练的轮廓检测模型，该待训练的轮廓检测模型中包括图像块特征提取网络、轮廓生成网络、上采样网络和下采样网络。图像块特征提取网络是识别样本图像块中各样本建筑元素各自的语义类别和样本图像块中各样本建筑元素的包围盒的网络，轮廓生成网络是生成样本建筑元素的第一样本轮廓点集合的网络，上采样网络是对样本建筑元素的第一样本轮廓点集合进行扩充的网络，下采样网络是对样本建筑元素的第二样本轮廓点集合进行简化的网络。样本平面户型图是任意的平面户型图。样本图像块是样本平面户型图裁剪得到的图像块。样本建筑元素是样本平面户型图中包含的建筑元素。计算机设备获取样本平面户型图，并对样本平面户型图进行分块，得到多个样本图像块。计算机设备再将每个样本图像块输入至图像块特征提取网络中进行识别，识别结果为该样本图像块中包含的各样本建筑元素各自的语义类别，以及该样本图像块中各样本建筑元素的包围盒。计算机设备针对每个样本建筑元素，可以将该样本建筑元素的包围盒输入到轮廓生成网络中，生成该样本建筑元素的第一样本轮廓点集合。然后，计算机设备针对每个样本建筑元素，将样本建筑元素的第一样本轮廓点集合输入到上采样网络中，以使得上采样网络为第一样本轮廓点集合中各轮廓点生成对应的位移信息，根据各轮廓点分别对应的位移信息对各轮廓点进行移动，得到移动后的样本轮廓点集合，并在移动后的样本轮廓点集合中相邻的轮廓点之间添加轮廓点，从而生成样本建筑元素的第二样本轮廓点集合。计算机设备针对各样本建筑元素，将该样本建筑元素的第二样本轮廓点集合输入到下采样网络中，以使得所述下采样网络根据样本建筑元素的语义类别确定该样本建筑元素的下采样方式，并采用该样本建筑元素的下采样方式对该样本建筑元素的第二样本轮廓点集合进行下采样，得到该样本建筑元素的第三样本轮廓点集合。计算机设备根据各样本建筑元素的第三样本轮廓点集合，生成目标模型损失值，从而基于该目标模型损失值对待训练的轮廓检测模型进行训练，更新待训练的轮廓检测模型中对应的参数，得到已训练的轮廓检测模型。
在一些实施例中，如图3所示，其中图像块特征提取器包括第一特征提取网络和第二特征提取网络，第一特征提取网络例如可以采用Swin Transformer实现，第二特征提取网络例如可以采用FPN实现。分类回归网络例如可以是ROI（Region of interest）Head，F表示每个图像块对应的多个特征图。假设共存在K个样本建筑元素，表示第i个样本建筑元素对应的真实掩模，/>表示第i个样本建筑元素对应的真实掩模的包围盒，/>表示图像块特征提取网络对第i个样本建筑元素识别得到的第i个样本建筑元素的包围盒。上采样网络中存在5个网络块，下采样网络中存在3个网络块，则/>表示第i个样本建筑元素由上采样网络中的第l个网络块对应生成的掩模，/>表示第i个样本建筑元素由下采样网络中的第j个网络块对应生成的掩模。则目标模型损失值可以表示为：
其中，表示目标模型损失值，/>损失函数是一种绝对值损失函数，用于评估图像块特征提取网络识别出的第i个样本建筑元素的包围盒与第i个样本建筑元素对应的真实掩模的包围盒之间的相似程度，/>损失函数的取值范围从0到1，/>损失函数的取值越大，表示图像块特征提取网络识别出的第i个样本建筑元素的包围盒与第i个样本建筑元素对应的真实掩模的包围盒之间的相似程度越高。/>函数是一种相似度度量函数，对于集合X和集合Y来说，集合X和集合Y的相似度用/>函数可以表示为：
其中，表示集合X中包含的轮廓点的数量，/>表示集合Y中包含的轮廓点的数量，表示集合X和集合Y的交集，/>表示集合X和集合Y的交集中包含的轮廓点的数量。
在一些实施例中，如图4所示，第i个样本建筑元素的样本轮廓点集合可以转化为第i个样本建筑元素由上采样网络中的第l个网络块对应生成的掩模/>，转化过程中，需要先判断第i个样本建筑元素所属的图像块中的各个像素点是否属于第i个样本建筑元素的样本轮廓点集合代表的多边形内部，若用/>表示图像块中的像素点是否属于样本轮廓点集合代表的多边形内部，则当/>的取值为1时，表示图像块中的像素点属于样本轮廓点集合代表的多边形内部，当/>的取值为-1时，表示图像块中的像素点不属于样本轮廓点集合代表的多边形内部。x和y为像素的坐标，V表示上采样网络识别出的样本轮廓点集合代表的多边形。计算机设备将每个像素点投影到样本轮廓点集合代表的多边形的最近一条边上，并将投影的距离记录为 D，σ为光栅渲染函数，τ为渲染清晰度因子。则第i个样本建筑元素由上采样网络中的第l个网络块对应生成的掩模可以表示为：
步骤210，根据各建筑元素的第三轮廓点集合进行重建，得到目标户型图。
其中，目标户型图是平面户型图结构化重建之后的户型图。
具体地，计算机设备针对每个建筑元素，确定该建筑元素的第三轮廓点集合代表的多边形，从而得到该建筑元素对应的多边形。然后计算机设备获取每个建筑元素对应的多边形的面积。由于处于当前位置下的滑动窗口与处于下一位置下的滑动窗口具有重叠区域，因此多个图像块中相邻的图像块也存在重叠区域，而图像块中包含有建筑元素，各建筑元素分别对应有多边形，故相邻的图像块中的多边形会存在相交的情况。计算机设备在任意相交的两个多边形分别对应的建筑元素所属的语义类别相同的情况下，针对该任意相交的两个多边形，确定两个多边形相交部分的面积，得到相交面积。计算机设备再根据相交面积和两个多边形各自的面积，计算得到这两个相交的多边形的合并面积。合并面积为两个多边形各自的面积之和与相交面积的差值。当相交面积与合并面积的比值达到阈值时，计算机设备将两个多边形分别对应的第三轮廓点集合进行合并，得到总轮廓点集合。阈值可以是人为设置的数值，例如阈值可以是0.5。从而计算机设备可以基于总轮廓点集合，对平面户型图进行重建，得到目标户型图。
在一些实施例中，如图5所示，计算机设备对输入的平面户型图进行裁剪，得到多个包含掩模与多边形轮廓的图像块，计算机设备对这些图像块进行简化，得到平面户型图的语义掩模分割结果以及平面户型图结构化重建结果。
上述平面户型图结构化重建方法中，将平面户型图分为多个图像块，确定每个图像块中包含的多个建筑元素以及各建筑元素的包围盒，从而生成各建筑元素的第一轮廓点集合。然后对各建筑元素的第一轮廓点集合中的相邻轮廓点之间添加轮廓点，以得到各建筑元素的第二轮廓点集合。再对各建筑元素的第二轮廓点集合进行下采样，得到各建筑元素的第三轮廓点集合，从而可以根据建筑元素的第三轮廓点集合，重建平面户型图，得到目标户型图。本方案通过对平面户型图中的多个图像块进行轮廓点的扩充与删减，可以使得各图像块中的各建筑元素的形状更接近真实形状，从而提高平面户型图结构化重建的准确性。
在一个示例性的实施例中，对平面户型图进行分块，得到多个图像块，包括：确定具有预设尺寸的滑动窗口在平面户型图中的当前位置；在滑动窗口处于当前位置的情况下，从平面户型图中确定处于滑动窗口中的图像区域，得到图像块；根据当前位置和预设滑动方式确定滑动窗口在平面户型图中的下一位置；处于当前位置下的滑动窗口与处于下一位置下的滑动窗口具有重叠区域；将当前位置更新为下一位置，返回执行在滑动窗口处于当前位置的情况下，从平面户型图中确定处于滑动窗口中的图像区域，得到图像块，直到遍历平面户型图为止，得到多个图像块。
其中，预设尺寸可以是人工设置的滑动窗口的大小，例如可以是2048×2048，表示该滑动窗口在水平方向和垂直方向均存在2048个像素。当前位置是滑动窗口当前时刻在平面户型图中所处的位置。图像区域是平面户型图中的一部分图像。预设滑动方式是预设的滑动窗口的滑动方式，例如可以是将滑动窗口从当前位置按照从左到右以及从上到下的方式平行滑动。下一位置是滑动窗口基于预设滑动方式在下个时刻会移动到的位置。重叠区域是处于当前位置下的滑动窗口与处于下一位置下的滑动窗口重叠的区域。
具体地，计算机设备获取具有预设尺寸的滑动窗口，并确定该滑动窗口在平面户型图中的当前位置，从而计算机设备可以从平面户型图中确定处于当前位置下的滑动窗口中的图像区域，得到一个图像块。计算机设备再根据预设滑动方式，将该滑动窗口从当前位置移动到下一位置，并获取处于下一位置下的滑动窗口中的图像区域，得到下一个图像块。然后，计算机设备将滑动窗口所在的下一位置作为新的当前位置，继续执行从平面户型图中确定处于当前位置下的滑动窗口中的图像区域的步骤，直至该滑动窗口遍历平面户型图为止，计算机设备得到该平面户型图的多个图像块。
本实施例中，通过对平面户型图进行分块，得到多个图像块，能够降低需要处理的图形的分辨率，提高平面户型图结构化重建效率。
在一些实施例中，根据各建筑元素的第三轮廓点集合进行重建，得到目标户型图，包括：确定每个建筑元素的第三轮廓点集合分别代表的多边形，得到每个建筑元素对应的多边形；确定每个建筑元素对应的多边形的面积；针对各建筑元素分别对应的多边形中任意相交的两个多边形，在任意相交的两个多边形分别对应的建筑元素所属的语义类别相同的情况下，确定两个多边形相交部分的面积，得到相交面积；在根据相交面积和两个多边形各自的面积确定两个多边形满足合并条件的情况下，将两个多边形分别对应的第三轮廓点集合进行合并，得到总轮廓点集合；基于总轮廓点集合得到目标户型图。
其中，合并条件是指预设的任意两个相交的多边形可以合并所要满足的条件。总轮廓点集合中包含有多个轮廓点，多个轮廓点分别来自任意两个满足合并条件的相交的多边形分别对应的第三轮廓点集合。
具体地，计算机设备针对每个建筑元素，可以确定该建筑元素的第三轮廓点集合代表的多边形，得到该建筑元素对应的多边形。然后计算机设备获取每个建筑元素对应的多边形的面积。计算机设备在任意相交的两个多边形分别对应的建筑元素所属的语义类别相同的情况下，针对该任意相交的两个多边形，确定两个多边形相交部分的面积，得到相交面积。计算机设备再根据相交面积和两个多边形各自的面积，计算得到这两个相交的多边形的合并面积。合并面积为两个多边形各自的面积之和与相交面积的差值。当相交面积与合并面积的比值达到阈值时，计算机设备将两个多边形分别对应的第三轮廓点集合进行合并，得到总轮廓点集合。阈值可以是人为设置的数值，例如阈值可以是0.5。从而计算机设备可以基于总轮廓点集合，对平面户型图进行重建，得到目标户型图。
本实施例中，通过判断各建筑元素分别对应的多边形中任意两个相交的多边形是否满足合并条件，可以对满足合并条件的多边形对应的建筑元素各自的第三轮廓点集合进行合并，得到平面户型图对应的总轮廓点集合，从而得到目标户型图，提高了平面户型图结构化重建的准确性。
在一些实施例中，基于总轮廓点集合得到目标户型图，包括：确定总轮廓点集合中各个点各自的冗余值；将总轮廓点集合中冗余值小于预设冗余值的点作为冗余点；从总轮廓点集合中去除各冗余点，得到去冗余后的总轮廓点集合；基于去冗余后的总轮廓点集合重建平面户型图，得到目标户型图。
其中，冗余值表征了轮廓点的冗余程度，冗余值越大，该冗余值对应的轮廓点的冗余程度越高。预设冗余值是预设的冗余数值。例如，针对总轮廓点集合中的任意两个点a与点b，假设点a的冗余值为30度，点b的冗余值为70度，预设冗余值为60度，那么点a的冗余值30度小于预设冗余值60度，点b的冗余值70度大于预设冗余值60度，则点a为冗余点，点b不是冗余点。
具体地，计算机设备确定总轮廓点集合中各个点各自的冗余值。例如可以采用贪心算法对总轮廓点集合中各个点各自的冗余值进行计算，假设总轮廓点集合中存在一个轮廓点vi，与该轮廓点vi相邻的两个轮廓点分别为vi-1和vi+1，预设冗余值为θ。由此可以得到向量vi-1vi和向量vivi+1，从而计算机设备计算向量vi-1vi和向量vivi+1之间的角度差，并将得到的角度差与预设冗余值θ进行对比。在角度差小于预设冗余值θ的情况下，表示该轮廓点vi为冗余点，计算机设备从总轮廓点集合中去除该冗余点vi。计算机设备重复上述步骤，直至总轮廓点集合中不存在冗余点为止，此时的总轮廓点集合为去冗余后的总轮廓点集合。计算机设备根据去冗余后的总轮廓点集合对平面户型图进行重建，得到目标户型图。
本实施例中，通过去除总轮廓点集合中的所有冗余点，可以在确保各建筑元素对应的多边形的形状不发生改变的情况下，提高平面户型图结构化重建的效率。
在一些实施例中，针对每个图像块，确定图像块中各建筑元素各自的语义类别和各建筑元素各自的置信度；各建筑元素中包含有多个像素点；针对各建筑元素中的每个像素点，将建筑元素的第三轮廓点集合代表的多边形作为像素点所属的多边形；针对建筑元素中的各像素点，确定像素点与像素点所属多边形之间的位置关系，并获取像素点到像素点所属多边形的边界的投影距离；根据位置关系和投影距离，确定像素点的掩模信息；基于图像块中各像素点的掩模信息，生成图像块对应的掩模图像；基于图像块中各建筑元素的置信度，将各图像块分别对应的掩模图像进行合并，生成平面户型图对应的户型掩模图像。
其中，像素点是图像块中的最小单元。每个建筑元素中包含有多个像素点。建筑元素的置信度是指建筑元素属于对应的语义类别的可能性。例如，建筑元素属于对应的语义类别的置信度可以是60%。掩模信息包括像素点与该像素点所属多边形之间的位置关系，以及像素点到该像素点所属多边形的边界的投影距离。掩模图像是每个图像块分别基于各自包含的像素点的掩模信息对应的掩模图像。户型掩模图像是平面户型图对应的掩模图像。
具体地，计算机设备针对每个图像块，确定该图像块中各建筑元素各自的语义类别和各建筑元素各自的置信度。计算机设备针对该图像块中各建筑元素的每个像素点，将该建筑元素的第三轮廓点集合代表的多边形作为该像素点所属的多边形。计算机设备获取该像素点与该像素点所属多边形之间的位置关系，并获取该像素点到该像素点所属多边形的边界的投影距离。计算机设备根据每个像素点与该像素点所属多边形之间对应的位置关系和投影距离，生成该像素点的掩模信息。计算机设备针对各图像块，基于该图像块中所有像素点的掩模信息，得到该图像块对应的掩模图像。计算机设备基于各图像块中各建筑元素的置信度，合并所有图像块分别对应的掩模图像，得到平面户型图对应的户型掩模图像。
本实施例中，通过合并各图像块分别对应的掩模图像，可以得到平面户型图对应的户型掩模图像，提高了平面户型图结构化重建的准确性。
在一些实施例中，第三轮廓点集合是通过已训练的轮廓检测模型得到的，方法还包括：确定待训练的轮廓检测模型；待训练的轮廓检测模型包括图像块特征提取网络、轮廓生成网络、上采样网络和下采样网络；对样本平面户型图进行分块，得到多个样本图像块；样本平面户型图中包括多个样本建筑元素；针对多个样本图像块中的每个样本图像块，将样本图像块输入图像块特征提取网络中进行识别，确定样本图像块中各样本建筑元素各自的语义类别和样本图像块中各样本建筑元素的包围盒；针对每个样本建筑元素，将样本建筑元素的包围盒输入轮廓生成网络中，生成样本建筑元素的第一样本轮廓点集合；第一样本轮廓点集合包括多个轮廓点；针对每个样本建筑元素，将样本建筑元素的第一样本轮廓点集合输入到上采样网络，以使得上采样网络在样本建筑元素的第一样本轮廓点集合中相邻的轮廓点之间添加轮廓点，生成样本建筑元素的第二样本轮廓点集合；针对每个样本建筑元素，将样本建筑元素的第二样本轮廓点集合输入到下采样网络中，以使得下采样网络根据样本建筑元素的语义类别确定样本建筑元素的下采样方式，并采用样本建筑元素的下采样方式对样本建筑元素的第二样本轮廓点集合进行下采样，得到样本建筑元素的第三样本轮廓点集合；根据各样本建筑元素的第三样本轮廓点集合，生成目标模型损失值；基于目标模型损失值对待训练的轮廓检测模型进行训练，得到已训练的轮廓检测模型。
具体地，计算机设备首先确定待训练的轮廓检测模型，该待训练的轮廓检测模型中包括图像块特征提取网络、轮廓生成网络、上采样网络和下采样网络。图像块特征提取网络是识别样本图像块中各样本建筑元素各自的语义类别和样本图像块中各样本建筑元素的包围盒的网络，轮廓生成网络是生成样本建筑元素的第一样本轮廓点集合的网络，上采样网络是对样本建筑元素的第一样本轮廓点集合进行扩充的网络，下采样网络是对样本建筑元素的第二样本轮廓点集合进行简化的网络。样本平面户型图是任意的平面户型图。样本图像块是样本平面户型图裁剪得到的图像块。样本建筑元素是样本平面户型图中包含的建筑元素。计算机设备获取样本平面户型图，并对样本平面户型图进行分块，得到多个样本图像块。计算机设备再将每个样本图像块输入至图像块特征提取网络中进行识别，识别结果为该样本图像块中包含的各样本建筑元素各自的语义类别，以及该样本图像块中各样本建筑元素的包围盒。计算机设备针对每个样本建筑元素，可以将该样本建筑元素的包围盒输入到轮廓生成网络中，生成该样本建筑元素的第一样本轮廓点集合。然后，计算机设备针对每个样本建筑元素，将样本建筑元素的第一样本轮廓点集合输入到上采样网络中，以使得上采样网络为第一样本轮廓点集合中各轮廓点生成对应的位移信息，根据各轮廓点分别对应的位移信息对各轮廓点进行移动，得到移动后的样本轮廓点集合，并在移动后的样本轮廓点集合中相邻的轮廓点之间添加轮廓点，从而生成样本建筑元素的第二样本轮廓点集合。计算机设备针对各样本建筑元素，将该样本建筑元素的第二样本轮廓点集合输入到下采样网络中，以使得所述下采样网络根据样本建筑元素的语义类别确定该样本建筑元素的下采样方式，并采用该样本建筑元素的下采样方式对该样本建筑元素的第二样本轮廓点集合进行下采样，得到该样本建筑元素的第三样本轮廓点集合。计算机设备根据各样本建筑元素的第三样本轮廓点集合，生成目标模型损失值，从而基于该目标模型损失值对待训练的轮廓检测模型进行训练，更新待训练的轮廓检测模型中对应的参数，得到已训练的轮廓检测模型。
本实施例中，通过训练轮廓检测模型，可以得到各建筑元素的第三轮廓点集合，提高了平面户型图结构化重建的准确性。
在一些实施例中，待训练的轮廓检测模型还包括掩模生成网络；根据各样本建筑元素的第三样本轮廓点集合，生成目标模型损失值，包括：针对每个样本建筑元素，将样本建筑元素所属的图像块和样本建筑元素的第三样本轮廓点集合输入到掩模生成网络中，以使得掩模生成网络根据样本建筑元素中各像素点与样本建筑元素的第三样本轮廓点集合代表的多边形之间的位置关系，以及各像素点到样本建筑元素的第三样本轮廓点集合代表的多边形的边界的投影距离，确定样本建筑元素所属的图像块中各像素点的掩模信息，得到样本建筑元素对应的掩模图像；根据各样本建筑元素分别对应的掩模图像，生成目标模型损失值。
其中，掩模生成网络是生成各建筑元素对应的掩模图像的网络。
具体地，计算机设备针对每个样本建筑元素，获取该样本建筑元素所属的图像块和该样本建筑元素的第三样本轮廓点集合，并将获取的该样本建筑元素所属的图像块和该样本建筑元素的第三样本轮廓点集合输入至掩模生成网络中。掩模生成网络可以根据样本建筑元素中各像素点与样本建筑元素的第三样本轮廓点集合代表的多边形之间的位置关系，以及各像素点到样本建筑元素的第三样本轮廓点集合代表的多边形的边界的投影距离，得到样本建筑元素所属的图像块中各像素点的掩模信息，从而生成该样本建筑元素对应的掩模图像。计算机设备基于每个样本建筑元素对应的掩模图像，计算得到轮廓检测模型的目标模型损失值。
本实施例中，通过待训练的轮廓检测模型中的掩模生成网络，可以生成各样本建筑元素对应的掩模图像，计算目标模型损失值，提高了轮廓检测模型的准确性，从而提高了平面户型图结构化重建的准确性。
在一些实施例中，如图6所示，展示了在Structured3D数据集上的几何方法评价结果。基于几何的方法HEAT输出结果存在明显残缺，基于几何的方法Roomformer的输出表现出明显的不规则切割和畸变，而本方案的输出结果与平面户型图的真实图像更加相似。
在一些实施例中，如表1所示，展示了在R2V数据集上不同方法对平面户型图的定量评估结果，其中IoU（Intersection over Union）表示重叠度，Acc（Accuracy）表示准确率，“-” 符号代表的数值为0，“/” 符号表示该方法不检测墙体。
表 1
在一些实施例中，如表2所示，展示了在Cubicasa5K数据集上不同方法对平面户型图的定量评估结果。语义分割方法Deep Floorplan将门和窗视为同一类别，因此门和窗的指标被合并。
表 2
在一些实施例中，如表3所示，展示了在CAD数据集上不同方法对平面户型图的定量评估结果。
表 3
在一些实施例中，如表4所示，展示了不同方法对平面户型图的几何重建分数的比较，其中，AP（Average Precision）表示平均精度，AP50表示计算AP时，使用0.5作为loU的阈值，AP75表示计算AP时，使用0.75作为loU的阈值，AR（Average Recall）表示平均召回率。Prec.（Precision）表示精度，Recall表示召回率，F1综合考虑了精确率和召回率，是二者的调和平均值。
表 4
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的平面户型图结构化重建方法的平面户型图结构化重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个平面户型图结构化重建装置实施例中的具体限定可以参见上文中对于平面户型图结构化重建方法的限定，在此不再赘述。
在一个示例性的实施例中，如图7所示，提供了一种平面户型图结构化重建装置，包括：分块模块702、第一集合生成模块704、第二集合生成模块706、第三集合生成模块708和重建模块710，其中：
分块模块702，用于对平面户型图进行分块，得到多个图像块；平面户型图中包括多个建筑元素；
第一集合生成模块704，用于确定图像块中各建筑元素的包围盒，并根据建筑元素的包围盒生成建筑元素的第一轮廓点集合；第一轮廓点集合包括多个轮廓点；
第二集合生成模块706，用于针对每个建筑元素，在建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成建筑元素的第二轮廓点集合；
第三集合生成模块708，用于针对每个建筑元素，根据建筑元素的语义类别确定建筑元素的下采样方式，并采用建筑元素的下采样方式对建筑元素的第二轮廓点集合进行下采样，得到建筑元素的第三轮廓点集合；
重建模块710，用于根据各建筑元素的第三轮廓点集合进行重建，得到目标户型图。
在一些实施例中，分块模块，还用于确定具有预设尺寸的滑动窗口在平面户型图中的当前位置；在滑动窗口处于当前位置的情况下，从平面户型图中确定处于滑动窗口中的图像区域，得到图像块；根据当前位置和预设滑动方式确定滑动窗口在平面户型图中的下一位置；处于当前位置下的滑动窗口与处于下一位置下的滑动窗口具有重叠区域；将当前位置更新为下一位置，返回执行在滑动窗口处于当前位置的情况下，从平面户型图中确定处于滑动窗口中的图像区域，得到图像块，直到遍历平面户型图为止，得到多个图像块。
在一些实施例中，重建模块，还用于确定每个建筑元素的第三轮廓点集合分别代表的多边形，得到每个建筑元素对应的多边形；确定每个建筑元素对应的多边形的面积；针对各建筑元素分别对应的多边形中任意相交的两个多边形，在任意相交的两个多边形分别对应的建筑元素所属的语义类别相同的情况下，确定两个多边形相交部分的面积，得到相交面积；在根据相交面积和两个多边形各自的面积确定两个多边形满足合并条件的情况下，将两个多边形分别对应的第三轮廓点集合进行合并，得到总轮廓点集合；基于总轮廓点集合得到目标户型图。
在一些实施例中，重建模块，还用于确定总轮廓点集合中各个点各自的冗余值；将总轮廓点集合中冗余值小于预设冗余值的点作为冗余点；从总轮廓点集合中去除各冗余点，得到去冗余后的总轮廓点集合；基于去冗余后的总轮廓点集合重建平面户型图，得到目标户型图。
在一些实施例中，装置还包括掩模图像生成模块，用于针对每个图像块，确定图像块中各建筑元素各自的语义类别和各建筑元素各自的置信度；各建筑元素中包含有多个像素点；针对各建筑元素中的每个像素点，将建筑元素的第三轮廓点集合代表的多边形作为像素点所属的多边形；针对建筑元素中的各像素点，确定像素点与像素点所属多边形之间的位置关系，并获取像素点到像素点所属多边形的边界的投影距离；根据位置关系和投影距离，确定像素点的掩模信息；基于图像块中各像素点的掩模信息，生成图像块对应的掩模图像；基于图像块中各建筑元素的置信度，将各图像块分别对应的掩模图像进行合并，生成平面户型图对应的户型掩模图像。
在一些实施例中，装置还包括模型训练模块，用于确定待训练的轮廓检测模型；待训练的轮廓检测模型包括图像块特征提取网络、轮廓生成网络、上采样网络和下采样网络；对样本平面户型图进行分块，得到多个样本图像块；样本平面户型图中包括多个样本建筑元素；针对多个样本图像块中的每个样本图像块，将样本图像块输入图像块特征提取网络中进行识别，确定样本图像块中各样本建筑元素各自的语义类别和样本图像块中各样本建筑元素的包围盒；针对每个样本建筑元素，将样本建筑元素的包围盒输入轮廓生成网络中，生成样本建筑元素的第一样本轮廓点集合；第一样本轮廓点集合包括多个轮廓点；针对每个样本建筑元素，将样本建筑元素的第一样本轮廓点集合输入到上采样网络，以使得上采样网络在样本建筑元素的第一样本轮廓点集合中相邻的轮廓点之间添加轮廓点，生成样本建筑元素的第二样本轮廓点集合；针对每个样本建筑元素，将样本建筑元素的第二样本轮廓点集合输入到下采样网络中，以使得下采样网络根据样本建筑元素的语义类别确定样本建筑元素的下采样方式，并采用样本建筑元素的下采样方式对样本建筑元素的第二样本轮廓点集合进行下采样，得到样本建筑元素的第三样本轮廓点集合；根据各样本建筑元素的第三样本轮廓点集合，生成目标模型损失值；基于目标模型损失值对待训练的轮廓检测模型进行训练，得到已训练的轮廓检测模型。
在一些实施例中，模型训练模块，还用于针对每个样本建筑元素，将样本建筑元素所属的图像块和样本建筑元素的第三样本轮廓点集合输入到掩模生成网络中，以使得掩模生成网络根据样本建筑元素中各像素点与样本建筑元素的第三样本轮廓点集合代表的多边形之间的位置关系，以及各像素点到样本建筑元素的第三样本轮廓点集合代表的多边形的边界的投影距离，确定样本建筑元素所属的图像块中各像素点的掩模信息，得到样本建筑元素对应的掩模图像；根据各样本建筑元素分别对应的掩模图像，生成目标模型损失值。
上述平面户型图结构化重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储会话数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种平面户型图结构化重建方法。
在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种平面户型图结构化重建方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8和图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个示例性的实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个示例性的实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种平面户型图结构化重建方法，其特征在于，所述方法包括：
对平面户型图进行分块，得到多个图像块；所述平面户型图中包括多个建筑元素；
确定所述图像块中各建筑元素的包围盒，并根据所述建筑元素的包围盒生成所述建筑元素的第一轮廓点集合；所述第一轮廓点集合包括多个轮廓点；
针对每个所述建筑元素，在所述建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成所述建筑元素的第二轮廓点集合；
针对每个所述建筑元素，根据所述建筑元素的语义类别确定所述建筑元素的下采样方式，并采用所述建筑元素的下采样方式对所述建筑元素的第二轮廓点集合进行下采样，得到所述建筑元素的第三轮廓点集合；
根据各所述建筑元素的第三轮廓点集合进行重建，得到目标户型图。
2.根据权利要求1所述的方法，其特征在于，所述对平面户型图进行分块，得到多个图像块，包括：
确定具有预设尺寸的滑动窗口在所述平面户型图中的当前位置；
在所述滑动窗口处于所述当前位置的情况下，从所述平面户型图中确定处于所述滑动窗口中的图像区域，得到图像块；
根据当前位置和预设滑动方式确定所述滑动窗口在所述平面户型图中的下一位置；处于当前位置下的所述滑动窗口与处于所述下一位置下的所述滑动窗口具有重叠区域；
将当前位置更新为所述下一位置，返回执行在所述滑动窗口处于所述当前位置的情况下，从所述平面户型图中确定处于所述滑动窗口中的图像区域，得到图像块，直到遍历所述平面户型图为止，得到多个图像块。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述建筑元素的第三轮廓点集合进行重建，得到目标户型图，包括：
确定每个所述建筑元素的第三轮廓点集合分别代表的多边形，得到每个所述建筑元素对应的多边形；
确定每个所述建筑元素对应的多边形的面积；
针对各所述建筑元素分别对应的多边形中任意相交的两个多边形，在所述任意相交的两个多边形分别对应的建筑元素所属的语义类别相同的情况下，确定所述两个多边形相交部分的面积，得到相交面积；
在根据所述相交面积和所述两个多边形各自的面积确定所述两个多边形满足合并条件的情况下，将所述两个多边形分别对应的第三轮廓点集合进行合并，得到总轮廓点集合；
基于所述总轮廓点集合得到目标户型图。
4.根据权利要求3所述的方法，其特征在于，所述基于所述总轮廓点集合得到目标户型图，包括：
确定所述总轮廓点集合中各个点各自的冗余值；
将所述总轮廓点集合中冗余值小于预设冗余值的点作为冗余点；
从总轮廓点集合中去除各所述冗余点，得到去冗余后的总轮廓点集合；
基于所述去冗余后的总轮廓点集合重建所述平面户型图，得到目标户型图。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对每个图像块，确定所述图像块中各建筑元素各自的语义类别和所述各建筑元素各自的置信度；所述各建筑元素中包含有多个像素点；
针对所述各建筑元素中的每个像素点，将所述建筑元素的第三轮廓点集合代表的多边形作为所述像素点所属的多边形；
针对所述建筑元素中的各所述像素点，确定所述像素点与所述像素点所属多边形之间的位置关系，并获取所述像素点到所述像素点所属多边形的边界的投影距离；
根据所述位置关系和所述投影距离，确定所述像素点的掩模信息；
基于所述图像块中各像素点的掩模信息，生成所述图像块对应的掩模图像；
基于所述图像块中各建筑元素的置信度，将各所述图像块分别对应的掩模图像进行合并，生成所述平面户型图对应的户型掩模图像。
6.根据权利要求1所述的方法，其特征在于，所述第三轮廓点集合是通过已训练的轮廓检测模型得到的，所述方法还包括：
确定待训练的轮廓检测模型；所述待训练的轮廓检测模型包括图像块特征提取网络、轮廓生成网络、上采样网络和下采样网络；
对样本平面户型图进行分块，得到多个样本图像块；所述样本平面户型图中包括多个样本建筑元素；
针对所述多个样本图像块中的每个样本图像块，将所述样本图像块输入所述图像块特征提取网络中进行识别，确定所述样本图像块中各样本建筑元素各自的语义类别和所述样本图像块中各样本建筑元素的包围盒；
针对每个所述样本建筑元素，将所述样本建筑元素的包围盒输入所述轮廓生成网络中，生成所述样本建筑元素的第一样本轮廓点集合；所述第一样本轮廓点集合包括多个轮廓点；
针对每个所述样本建筑元素，将所述样本建筑元素的第一样本轮廓点集合输入到所述上采样网络，以使得所述上采样网络在所述样本建筑元素的第一样本轮廓点集合中相邻的轮廓点之间添加轮廓点，生成所述样本建筑元素的第二样本轮廓点集合；
针对每个所述样本建筑元素，将所述样本建筑元素的第二样本轮廓点集合输入到所述下采样网络中，以使得所述下采样网络根据所述样本建筑元素的语义类别确定所述样本建筑元素的下采样方式，并采用所述样本建筑元素的下采样方式对所述样本建筑元素的第二样本轮廓点集合进行下采样，得到所述样本建筑元素的第三样本轮廓点集合；
根据各所述样本建筑元素的第三样本轮廓点集合，生成目标模型损失值；
基于所述目标模型损失值对待训练的轮廓检测模型进行训练，得到已训练的轮廓检测模型。
7.根据权利要求6所述的方法，其特征在于，所述待训练的轮廓检测模型还包括掩模生成网络；
所述根据各所述样本建筑元素的第三样本轮廓点集合，生成目标模型损失值，包括：
针对每个所述样本建筑元素，将所述样本建筑元素所属的图像块和所述样本建筑元素的第三样本轮廓点集合输入到所述掩模生成网络中，以使得所述掩模生成网络根据所述样本建筑元素中各像素点与所述样本建筑元素的第三样本轮廓点集合代表的多边形之间的位置关系，以及所述各像素点到所述样本建筑元素的第三样本轮廓点集合代表的多边形的边界的投影距离，确定所述样本建筑元素所属的图像块中各像素点的掩模信息，得到所述样本建筑元素对应的掩模图像；
根据各所述样本建筑元素分别对应的掩模图像，生成目标模型损失值。
8.一种平面户型图结构化重建装置，其特征在于，所述装置包括：
分块模块，用于对平面户型图进行分块，得到多个图像块；所述平面户型图中包括多个建筑元素；
第一集合生成模块，用于确定所述图像块中各建筑元素的包围盒，并根据所述建筑元素的包围盒生成所述建筑元素的第一轮廓点集合；所述第一轮廓点集合包括多个轮廓点；
第二集合生成模块，用于针对每个所述建筑元素，在所述建筑元素的第一轮廓点集合中相邻的轮廓点之间添加轮廓点，生成所述建筑元素的第二轮廓点集合；
第三集合生成模块，用于针对每个所述建筑元素，根据所述建筑元素的语义类别确定所述建筑元素的下采样方式，并采用所述建筑元素的下采样方式对所述建筑元素的第二轮廓点集合进行下采样，得到所述建筑元素的第三轮廓点集合；
重建模块，用于根据各所述建筑元素的第三轮廓点集合进行重建，得到目标户型图。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410016731.9A CN117523036A (zh) | 2024-01-05 | 2024-01-05 | 平面户型图结构化重建方法、装置、设备与介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410016731.9A CN117523036A (zh) | 2024-01-05 | 2024-01-05 | 平面户型图结构化重建方法、装置、设备与介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117523036A true CN117523036A (zh) | 2024-02-06 |
Family
ID=89742341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410016731.9A Pending CN117523036A (zh) | 2024-01-05 | 2024-01-05 | 平面户型图结构化重建方法、装置、设备与介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523036A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043950A (zh) * | 2010-12-30 | 2011-05-04 | 南京信息工程大学 | 基于canny算子和边缘点统计的车辆轮廓识别方法 |
| KR101349376B1 (ko) * | 2013-02-01 | 2014-01-13 | 주식회사 한국에스지티 | 타겟을 이용한 수치지도 제작용 건물평면의 자동도화방법 |
| US8705893B1 (en) * | 2013-03-14 | 2014-04-22 | Palo Alto Research Center Incorporated | Apparatus and method for creating floor plans |
| CN108846175A (zh) * | 2018-05-30 | 2018-11-20 | 链家网（北京）科技有限公司 | 一种矢量户型图生成方法及装置 |
| CN114092491A (zh) * | 2021-11-17 | 2022-02-25 | 华南师范大学 | 一种建筑户型语义分割图矢量化方法及装置 |
| CN114092642A (zh) * | 2021-11-18 | 2022-02-25 | 北京字节跳动网络技术有限公司 | 一种三维户型模型生成方法、装置及设备 |
| CN115423693A (zh) * | 2022-07-07 | 2022-12-02 | 众趣（北京）科技有限公司 | 一种三维模型轮廓缺失的自动补全方法 |
| CN115984467A (zh) * | 2022-12-28 | 2023-04-18 | 杭电(丽水)研究院有限公司 | 一种基于无监督学习的多房间室内户型图重建方法 |
| CN116128996A (zh) * | 2023-01-11 | 2023-05-16 | 北京有竹居网络技术有限公司 | 户型图处理方法、装置、电子设备和存储介质 |
| CN116503262A (zh) * | 2022-01-19 | 2023-07-28 | 北京字跳网络技术有限公司 | 户型图的矢量化处理方法、装置和电子设备 |
| CN117313797A (zh) * | 2023-10-07 | 2023-12-29 | 四川大学 | 一种用于检测心血管OCT病灶的G-Swin Transformer模型 |
-
2024
- 2024-01-05 CN CN202410016731.9A patent/CN117523036A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043950A (zh) * | 2010-12-30 | 2011-05-04 | 南京信息工程大学 | 基于canny算子和边缘点统计的车辆轮廓识别方法 |
| KR101349376B1 (ko) * | 2013-02-01 | 2014-01-13 | 주식회사 한국에스지티 | 타겟을 이용한 수치지도 제작용 건물평면의 자동도화방법 |
| US8705893B1 (en) * | 2013-03-14 | 2014-04-22 | Palo Alto Research Center Incorporated | Apparatus and method for creating floor plans |
| CN108846175A (zh) * | 2018-05-30 | 2018-11-20 | 链家网（北京）科技有限公司 | 一种矢量户型图生成方法及装置 |
| CN114092491A (zh) * | 2021-11-17 | 2022-02-25 | 华南师范大学 | 一种建筑户型语义分割图矢量化方法及装置 |
| CN114092642A (zh) * | 2021-11-18 | 2022-02-25 | 北京字节跳动网络技术有限公司 | 一种三维户型模型生成方法、装置及设备 |
| CN116503262A (zh) * | 2022-01-19 | 2023-07-28 | 北京字跳网络技术有限公司 | 户型图的矢量化处理方法、装置和电子设备 |
| CN115423693A (zh) * | 2022-07-07 | 2022-12-02 | 众趣（北京）科技有限公司 | 一种三维模型轮廓缺失的自动补全方法 |
| CN115984467A (zh) * | 2022-12-28 | 2023-04-18 | 杭电(丽水)研究院有限公司 | 一种基于无监督学习的多房间室内户型图重建方法 |
| CN116128996A (zh) * | 2023-01-11 | 2023-05-16 | 北京有竹居网络技术有限公司 | 户型图处理方法、装置、电子设备和存储介质 |
| CN117313797A (zh) * | 2023-10-07 | 2023-12-29 | 四川大学 | 一种用于检测心血管OCT病灶的G-Swin Transformer模型 |
Non-Patent Citations (1)
| Title |
|---|
| 江州: "基于形状与边缘特征的户型图识别研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 February 2018 (2018-02-15), pages 138 - 1783 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10268917B2 (en) | Pre-segment point cloud data to run real-time shape extraction faster | |
| Liqiang et al. | A spatial cognition-based urban building clustering approach and its applications | |
| CN107798725B (zh) | 基于Android的二维住房户型识别和三维呈现方法 | |
| US10147242B2 (en) | Distance field coupled fitted deformation lattices for shape modification | |
| CN113724401B (zh) | 一种三维模型切割方法、装置、计算机设备和存储介质 | |
| WO2023103600A1 (zh) | 表情生成方法、装置、设备、介质和计算机程序产品 | |
| Yung et al. | Efficient feature-based image registration by mapping sparsified surfaces | |
| CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
| CN110428504B (zh) | 文本图像合成方法、装置、计算机设备和存储介质 | |
| CN113111885B (zh) | 一种动态分辨率实例分割方法及计算机可读存储介质 | |
| Ozdemir et al. | A novel algorithm for regularization of building footprints using raw LiDAR point clouds | |
| CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
| GB2597238A (en) | A computer implemented method of generating a parametric structural design model | |
| CN116258840A (zh) | 层级细节表示树的生成方法、装置、设备及存储介质 | |
| CN117523036A (zh) | 平面户型图结构化重建方法、装置、设备与介质 | |
| CN113947524A (zh) | 基于全卷积图神经网络的全景图片显著性预测方法及设备 | |
| Koca et al. | A hybrid representation for modeling, interactive editing, and real-time visualization of terrains with volumetric features | |
| Zhang et al. | Building façade element extraction based on multidimensional virtual semantic feature map ensemble learning and hierarchical clustering | |
| CN111145081A (zh) | 基于空间体积特征的三维模型视图投影方法及系统 | |
| Ramos et al. | A partition approach to interpolate polygon sets for animation | |
| CN116310226B (zh) | 三维对象层级模型生成方法、装置、设备和存储介质 | |
| CN116402967B (zh) | 场景建筑快速单体化方法、装置、计算机设备和存储介质 | |
| CN114821013B (zh) | 基于点云数据的基元检测方法、装置和计算机设备 | |
| CN115861520B (zh) | 高光检测方法、装置、计算机设备和存储介质 | |
| CN116612474B (zh) | 对象检测方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Hui Inventor after: Wang Jing Inventor after: Yu Qizhi Inventor after: Chen Xin Inventor before: Huang Hui Inventor before: Wang Jingyi Inventor before: Yu Qizhi Inventor before: Chen Xin |