CN117274406A - 一种室内地图矢量化方法、装置和电子设备 - Google Patents

一种室内地图矢量化方法、装置和电子设备 Download PDF

Info

Publication number
CN117274406A
CN117274406A CN202210685042.8A CN202210685042A CN117274406A CN 117274406 A CN117274406 A CN 117274406A CN 202210685042 A CN202210685042 A CN 202210685042A CN 117274406 A CN117274406 A CN 117274406A
Authority
CN
China
Prior art keywords
target
network model
image
indoor
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210685042.8A
Other languages
English (en)
Inventor
杨斓
李晓静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210685042.8A priority Critical patent/CN117274406A/zh
Publication of CN117274406A publication Critical patent/CN117274406A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种室内地图矢量化方法、装置和电子设备，属于计算机技术领域，其中，方法包括：将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图；根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点；根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。本发明实施例能够基于深度学习的图像处理网络模型，对室内地图进行文字图标抹除、轮廓和关键点提取，并对关键点进行修正，并根据提取出的轮廓信息得到室内地图的矢量信息，从而提升了室内地图矢量化的效率。

Description

一种室内地图矢量化方法、装置和电子设备
技术领域
本发明属于计算机技术领域，具体涉及一种室内地图矢量化方法、装置和电子设备。
背景技术
在相关技术中，室内地图生成方法包括：半自动化的室内地图数据矢量生成方法、基于图形学处理的室内地图的生成方法和基于平面图图像的室内自动制图与建模方法。
其中，半自动化的室内地图数据矢量生成方法，可以自动地对采集的室内区域进行规划化与模板化的后处理，但是室内区域的采集依旧需要人工参与，无法做到全自动的地图生产；基于图形学处理的室内地图的生成方法较多地依赖于传统的图像处理方法，需要有专业知识及复杂的调参过程，且无法处理较为复杂的图像，无法去除文字图标遮挡，无法解决遮挡带来的轮廓缺失等问题，泛化能力及鲁棒性较差；基于平面图图像的室内自动制图与建模方法采用蒙版递归卷积神经网络(Mask Recursive-Convolutional NeuralNetworks，Mask R-CNN)模型直接对室内区域进行定位与分割，但需要采用定义较为复杂的规则如其中所述的共边检测处理房间之间的共边，以保证相邻房间之间的边对齐。
由上可知，相关技术中的室内地图生成方法，存在自动化程度低或模型复杂的问题，降低了矢量化室内地图的效率。
发明内容
本发明的目的是提供一种室内地图矢量化方法、装置和电子设备。能够基于深度学习的图像处理网络模型，对室内地图进行文字图标抹除、轮廓和关键点提取，并对关键点进行修正，并根据提取出的轮廓信息得到室内地图的矢量信息，从而提升了室内地图矢量化的效率。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明提供了一种室内地图矢量化方法，包括：
将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图；
根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点；
根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。
第二方面，本发明还提供了一种室内地图矢量化装置，包括：
第一处理模块，用于将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图；
修正模块，用于根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点；
第一确定模块，用于根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。
第三方面，本发明还提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
在本发明实施例中，将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图；根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点；根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。这样，可以利用网络模型训练得到的关键点热力图来反映目标室内图像中的轮廓关键点的分布概率，从而据此对目标室内图像的轮廓关键点进行修正，使得到的目标关键点更加准确，进而使得基于目标室内图像的第一轮廓和所述目标关键点所反映的目标室内图像的矢量信息更加准确。
附图说明
图1是本发明提供的一种室内地图矢量化方法的流程图；
图2是第一网络模型的工作流程示意图；
图3是对关键点热力图进行非极大值抑制处理的示意图；
图4是室内区域矢量结果示意图；
图5是第二网络模型的工作流程示意图；
图6是差分卷积的示意图；
图7是初始轮廓图、第一轮廓和轮廓关键点的示意图；
图8是第三网络模型的工作流程示意图；
图9是基于注意力机制的特征聚合模块的逻辑结构示意图；
图10是相关技术中的non-local模块的逻辑结构示意图；
图11是第四网络模型的工作流程示意图；
图12是本发明提供的一种室内地图矢量化装置的结构示意图；
图13是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
随着社会的发展和城市建设进程的推进，对室内区域地图绘制的需要大大增加，需要通过高效的室内地图矢量化方法来提高室内区域标注的效率。相关技术中的室内地图生成方法如下：
1、人工绘制方法，绘制员对根据图像划分判定室内区域，手动绘制室内区域矢量。其缺点是：手工绘制的方法虽然可以得到高精度的地图矢量化结果，但是纯手工绘制效率低下且人工成本巨大，无法短时间内处理大量的图像。
2、半自动化室内地图数据的矢量化采集方法。主要流程为：建立局部平面直角坐标系；楼层位图的纠正与配准；室内地图要素图层采集；室内地图要素拓扑处理。其缺点是：半自动化的室内地图数据矢量生成方法，可以自动地对采集的室内区域进行规划化与模板化的后处理，但是室内区域的采集依旧需要人工参与，无法做到全自动的地图生产。
3、基于图形学处理的室内地图的生成方法。主要流程为：获取到的室内电子地图中提取室内路线区域图像；对所述室内路线区域图像进行数学形态学的膨胀和腐蚀，得到所述室内路线区域图像对应的骨骼位图；将所述骨骼位图矢量化，得到室内地图。其缺点是：基于图形学处理的室内地图的生成方法较多地依赖于传统的图像处理方法，需要有专业知识及复杂的调参过程，且无法处理较为复杂的图像，泛化能力及鲁棒性较差。
4、一种基于平面图图像的室内自动制图与建模方法。主要流程为：以平面图图像作为数据源，采用对平面图图像进行实例分割，提取墙体、门窗等各类室内建筑要素的语义类型和几何轮廓，并通过拓扑优化修复等后处理步骤，生成拓扑一致的二维室内地图与三维简易模型。其缺点是：基于平面图图像的室内自动制图与建模方法采用Mask R-CNN模型直接对室内区域进行定位与分割，但需要采用定义较为复杂的规则如其中所述的共边检测处理房间之间的共边，以保证相邻房间之间的边对齐的，即模型构建和规则定义过程较为复杂。
而本发明实施例中，在获取室内地图的轮廓检测结果后，并提取室内区域轮廓及轮廓关键点之后，能够结合深度学习关键点检测模型，对角点/交叉点位置进行修正，进而得到更加准确的室内地图矢量化结果。
请参阅图1，本发明实施例提供的一种室内地图矢量化方法，可以包括以下步骤：
步骤101、将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图。
其中，上述第一网络模型可以是深度神经网络模型，当然，其也可以是其他类型的网络模型(如：机器学习网络模型等)，在此不作具体限定，为了便于说明，本发明实施例中以第一网络模型是深度神经网络模型为例进行举例说明，且该第一网络模型可以采用现有的网络模型训练方法训练得到，在此不再赘述。
在实施中，该第一网络模型用于对目标室内图像进行图像分析，从而获取其中的每一个像素作为关键点的概率，该关键点可以是用于描绘室内区域的轮廓的关键点，例如：关键点可以包括室内图像中每一个室内区域的轮廓上的角点和交叉点。这样，通过关键点热力图可以得知哪些像素极有可能是目标室内图像的轮廓关键点。假设第一网络模型为深度神经网络模型，如图2所示，图2中的具有数字的矩形框可以表示特征图，矩形中的数字为特征图相比原尺寸下的采样倍数，虚线边框的矩形为网络骨干部分，其特征图尺寸将逐渐减小，实线边框的矩形为特征处理部分，其特征图尺寸将逐渐增大。该第一网络模型的输入包括目标室内图像为输入，其输出包括关键点热力图。
在实施中，第一网络模型的损失函数采用像素级逻辑回归的焦点损失(focalloss)，其损失函数如下：
其中，Lk表示损失函数，Y为真值，为预测结果，下标x，y为空间分辨率，c为输出维度(可以设置为1)。α和β是focal loss的超参数，实验中可以将α设置为2，将β设置为4，N是目标室内图像中的关键点个数。
需要说明的是，在实际应用中，根据应用场景的变化，上述第一网络模型的损失函数的公式可以进行相应的改变，例如：增加常数等，在此并不具体限定第一网络模型的损失函数的公式。
步骤102、根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点。
在实施中，上述目标室内图像的轮廓关键点可以是提前采用轮廓检测网络模型对目标室内图像的轮廓进行检测后，得到的第一轮廓上的关键点，该第一轮廓可以包括目标室内图像内的每一个室内区域的轮廓。这样，可以分别采用关键点热力图对每一个室内区域的轮廓进行修正。
作为一种可选的实施方式，在所述根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点之前，所述方法还包括：
将所述目标室内图像输入第二网络模型，并获取所述第二网络模型输出的初始轮廓图，所述初始轮廓图中的轮廓线的宽度为第一像素数量；
对所述初始轮廓图进行骨架化处理，得到宽度为第二像素数量的第一轮廓，其中，所述第一像素数量大于所述第二像素数量；
根据所述第一轮廓，确定所述轮廓关键点。
其中，第二网络模型为轮廓检测网络模型，该网络模型通过对目标室内图像中的相似进行识别，以确定哪一些像素是室内区域的轮廓上的像素，从而将除了室内区域的轮廓之外的像素进行删除或覆盖处理，得到上述初始轮廓图。上述第二网络模型可以是深度神经网络模型(例如：基于编码器-解码器结构的深度神经网络)，当然，其也可以是其他类型的网络模型(如：机器学习网络模型等)，在此不作具体限定，为了便于说明，本发明实施例中以第二网络模型是深度神经网络模型为例进行举例说明，且该第二网络模型可以采用现有的网络模型训练方法训练得到，在此不再赘述。
如图5所示，假设第二网络模型为基于编码器-解码器结构的深度神经网络，该基于编码器-解码器结构的深度神经网络的输入信息包括目标室内地图，输出信息包括该目标室内地图内的室内区域的轮廓图(即初始轮廓图)。
在实施中，室内房间的轮廓体现为图像中边缘区域的像素差异，本发明实施例中，可以将第二网络模型的编码器和解码器中的卷积操作设置为差分卷积，该差分卷积的原理如图6所示。其中x1～x9为普通卷积核参数，对卷积核中心(x5)与其他位置进行差分操作得到差分卷积核(w1～w9为差分卷积核参数)。相比于普通卷积，差分卷积对图像边缘更加敏感，网络可以更有效得提取图像边缘的特征，最终检测到的房间轮廓也更加清晰与准确。
可选的，训练第二网络模型的损失函数可以采用二值交叉熵损失。
此外，上述对初始轮廓图进行骨架化处理的过程，与相关技术中的骨架化处理方法相同，在此不再赘述。
上述根据所述第一轮廓，确定所述轮廓关键点，可以是根据所述第一轮廓确定目标室内图像中的每一个闭合区域，且确定每一个闭合区域的面积，并从中剔除面积小于某一阈值的较小区域，并对剩余的室内区域进行轮廓关键点提取。
值得注意的是，轮廓检测网络模型对目标室内图像的轮廓进行检测后得到初始轮廓图，该初始轮廓图中的轮廓线宽度往往大于1个像素(即第一像素数量大于1)。此后，可以通过对该初始轮廓图进行骨架化处理，并对骨架化处理后的轮廓线所形成的闭合区域进行面积计算，剔除较小区域(如：面积小于1m2的区域)的轮廓线，从而得到第一轮廓，并从该第一轮廓中提取轮廓关键点，该第一轮廓的线宽可以为1个像素(即第二像素数量可以等于1)。此时，初始轮廓图与第一轮廓以及轮廓关键点的位置关系可以如图7所示，其中第一线条71为初始轮廓图或轮廓真值，第二线条72为骨架化结果，点73为根据骨架化结果选取的轮廓关键点，由图7可知，在转折点和交汇点处的轮廓关键点会存在一定的偏差，使得区域转角位置容易出现弧线或者斜线。
本步骤中，采用关键点热力图对所述目标室内图像的轮廓关键点进行修正，以提升修正后的轮廓关键点的准确程度，从而降低因轮廓关键点不准确所造成的使得区域转角位置容易出现弧线或者斜线的概率。
在一种可能的实现方式中，根据关键点热力图对所述目标室内图像的轮廓关键点进行修正，可以是根据关键点热力图中每一个像素作为关键点的概率，获取每一个轮廓关键点的置信度，从而在该关键点的置信度较低(如：低于某一阈值)时，对该关键点进行修正。
在一种可能的实现方式中，根据关键点热力图对所述目标室内图像的轮廓关键点进行修正，可以是获取关键点热力图中的极大值关键点，并根据距离每一个轮廓关键点最近的极大值关键点来更新所述每一个轮廓关键点。
在一种可能的实现方式中，所述根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点，包括：
对所述关键点热力图进行非极大值抑制处理，得到所述关键点热力图中的每一个极大值关键点；
在存在与目标轮廓关键点的距离小于预设像素数量的目标极大值关键点的情况下，将所述目标轮廓关键点更新为所述目标极大值关键点，其中，所述关键点热力图中的极大值关键点包括所述目标极大值关键点，所述目标轮廓关键点为所述轮廓关键点中的每一个关键点；
将更新后的全部轮廓关键点确定为目标关键点。
其中，如图3所示，关键点热力图中包括第一网络模型检测到的目标室内图像中的每一个像素可能作为关键点的概率，这样，关键点热力图中会存在大量置信度不同的像素聚集在一一起的情况，通过极大值抑制处理可以从聚集在一起的多个像素中选取最优可能作为关键点的像素。
本实施方式中，分别对各个室内区域的轮廓上的轮廓关键点进行遍历，若存在与某一轮廓关键点距离很近(如距离小于或等于5个像素)的极大值关键点，则将该轮廓关键点删除，并添加极大值关键点作为更新后的轮廓关键点，这样，能够有效提升基于骨架化处理得到的轮廓关键点的准确度。
需要说明的是，上述目标室内图像的轮廓关键点可以是精确度较低的第一轮廓上的关键点，在此不对获取第一轮廓的方式作具体限定。
本步骤中，能够根据目标室内图像中每一个像素作为关键点的概率来修正轮廓关键点，从而使得修正后的目标关键点更加准确。
步骤103、根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。
在实施中，上述矢量信息可以用于绘制目标室内图像对应的室内矢量地图，例如：生成矢量地图的过程可以包括如下步骤：
1)新建一个空白的矢量图；
2)对从骨架化处理后的第一轮廓中提取的每一个室内区域的轮廓，进行以下处理：
2.1)选择与轮廓上的点最小距离小于一定阈值(如5个像素)的关键点，作为该区域的轮廓关键点；
2.2)对轮廓关键点进行进一步筛选，剔除大致处于同一直线上的关键点，以实现区域边缘平滑和规则化。
2.3)将剩余的轮廓关键点添加到矢量图层中并依次相互连接，最后一个点与第一个点相连，形成闭合多边形，然后保存为矢量面图形文件。
3)直到所有区域的轮廓遍历完毕，生成全部区域的矢量图形，合并所有矢量图形到一个图层，保存并输出最终的矢量图。
在实施中，初始的室内图像中可能还包括文字和图标，此时，可以先对该初始室内图像中的文字和图标进行删除，并恢复室内区域的拓扑结构，以得到本申请实施例中的目标室内图像，并通过本申请实施例提供的室内地图矢量化方法，可以全自动化的得到与该初始室内图像对应的室内矢量地图。
例如：如图4所示，左侧为带有文字和图标的初始室内图像，右侧为通过本申请实施例提供的室内地图矢量化方法对该初始室内图像进行处理后得到的室内矢量地图。
可选地，在绘制室内矢量地图后，还可以生成各个区域的预定义属性。例如：根据提取的各个轮廓对应的区域在初始室内图像中的所在位置，识别初始室内图像中该区域对应的商铺名称，并将该商铺名称添加到对应区域的属性中。这样，可以自动对各个室内区域赋予对应的预定义属性，减少人工标注的时间。
作为一种可选的实施方式，在所述将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图之前，所述方法还包括：
获取初始室内图像，其中，所述初始室内图像包括第一内容，所述第一内容为文字和/或图标；
去除所述初始室内图像内的所述第一内容，得到中间图像；
对所述中间图像进行图像修复处理，得到所述目标室内图像。
如图4中左侧的初始室内图像所示，该图像中的文字和图标遮挡了室内地图的部分区域，从而造成初始室内图像的拓扑结构不够清晰完整。
本实施方式中，可以对初始室内图像内的文字和/或图标的位置进行识别，并将识别得到的文字和/或图标的像素进行覆盖或删除，以得到没有文字和/或图标中间图像，但是，由图4可知，有得文字或图标正好覆盖在室内区域的轮廓线上，在覆盖或删除文字和/或图标的像素之后，会使得中间图像所反映的室内地图的拓扑结构不够完整。本实施方式中，还对该中间图像的拓扑结构进行修复助力，得到具有完整拓扑结构的目标室内图像。
可选地，所述去除所述初始室内图像内的所述第一内容，得到中间图像，包括：
将所述初始室内图像输入第三网络模型，并获取所述第三网络模型输出的与第一内容的位置对应的二值化掩膜，其中，所述第三网络模型为编码器-解码器结构的卷积神经网络模型；
基于所述二值化掩膜，覆盖所述初始室内图像内的所述第一内容，得到所述中间图像。
其中，上述第三网络模型可以是基于深度神经网络的文字图标检测模型，基于该文字图标检测模型，可以实现对初始室内图像中第一内容所在区域的自动识别及抹除，从而得到无第一内容的中间图像。
在实施中，如图8所示，上述第三网络模型为编码器-解码器结构的卷积神经网络模型，该卷积神经网络模型中的编码器用于提取初始室内图像中第一内容所在区域，该卷积神经网络模型中的解码器用于输出与第一内容所在区域相对应的二值化掩膜。
进一步地，所述第三网络模型的解码器包括基于注意力机制的特征聚合模块，所述将所述初始室内图像输入第三网络模型，并获取所述第三网络模型输出的与第一内容的位置对应的二值化掩膜，包括：
采用所述第三网络模型的编码器，获取所述第一内容在所述初始室内图像内的A个初始区域，A为正整数；
采用所述基于注意力机制的特征聚合模块，根据所述初始室内图像和所述A个初始区域，确定前景和背景的聚合特征表达，其中，所述前景表示所述第一内容，所述背景表示所述初始室内图像中除了所述第一内容之外的其他内容；
采用所述基于注意力机制的特征聚合模块，对所述前景和背景的聚合特征表达和所述初始室内图像的特征进行相关性处理，得到前景区域和背景区域分别与所述初始室内图像中的像素之间的关联关系，其中，所述前景区域为所述前景在所述初始室内图像中的区域，所述背景区域为所述背景在所述初始室内图像中的区域；
采用所述基于注意力机制的特征聚合模块，对所述关联关系进行归一化处理，得到目标关联关系；
采用所述基于注意力机制的特征聚合模块，根据所述目标关联关系和所述前景和背景的聚合特征表达，进行相关性处理，得到与所述第一内容的位置对应的二值化掩膜。
在实施中，上述第一内容可以包括初始室内图像中的文字、图标等任意与室内地图拓扑结构无关的内容，为了便于说明，本申请实施例中，以第一内容包括文字和图标为例，进行举例说明。
基于初始室内图像中的图标往往具有一定的相似性(如颜色、外形、尺寸等)，文字的字体也基本相同，为了增加文字和图标所在区域的检测结果的准确性和一致性，本实施方式中在第三网络模型的解码器的倒数第二层设计了一个基于注意力机制的特征聚合模块(att)，其结构如图9所示：图9中，K设定为2，对应前景/背景(前景为文字和图标所在的像素区域，背景为除了文字和图标以外的像素区域)，H、W和C分别为特征图的三个维度，该特征图可以由第三网络模型的便码器对初始室内图像进行特征提取得到。att的输入信息包括文字图标粗分类区域和初始室内图像的特征信息(其也称之为输入特征或特征图)，att的输出为结果为与文字图标区域对应的二值化掩膜。其中，文字图标粗分类区域可以由一个辅助输出层得到。
具体的，att的工作原理如下：
1、首先通过对输入特征和文字图标粗分类区域的相关性操作，可以得到前景和背景的聚合特征表达。
2、其次对前景和背景的聚合特征表达和图像特征再进行相关操作，可以得到前景和背景区域和每个像素之间的关联关系；
3、最后基于归一化指数函数(softmax)对关联关系进行归一化处理后，再与前景和背景的聚合特征表达进行相关操作得到输出特征。
本实施方式中，att模块可以有效地建立位于图像不同位置的文字图标区域之间的联系，通过相关操作进行特征整合，从而增加文字图标区域检测结果的一致性。
值得提出的是，相关技术中可以采用非本地(non-local)模块作为基于注意力机制的特征聚合模块，该non-local模块的结构如图10所示。如图10所示，non-local模块直接建立的特征空间维度上两点的联系，所采用的相关操作是HW*HW维(H和W为128)，需要消耗较大的计算资源。
而本发明实施例提供的att模块中，先对前景和背景区域进行特征聚合，再建立前景和背景区域和每个像素之间联系，相关操作为HW*K维(H和W为128，K为2)，所消耗的内存资源明显减小。在实施中，训练第三网络模型的损失函数可以采用二值交叉熵损失。
可选地，所述对所述中间图像进行图像修复处理，得到所述目标室内图像，可以是：
将所述中间图像输入至第四网络模型，获取所述第四网络模型输出的所述目标室内图像，其中，所述第四网络模型用于修复所述中间图像的拓扑结构，且所述第四网络模型基于像素重构损失和拓扑损失训练得到。
在实施中，上述第四网络模型可以是基于生成式对抗网络(GenerativeAdversarial Networks，GAN)的深度神经网络模型，其输入信息包括中间图像和二值化掩膜，输出信息包括对文字图标区域的拓扑结构的修复结果。
在实施中，首先可以将室内地图图像的文字图标区域进行白色填充，形成文字图标区域遮挡后的室内地图图像(即中间图像)。如图11所示，该第四网络模型的结构可以分为左右两个部分。左边的部分负责提取中间图像中非文字图标区域的特征，右边的部分负责根据非文字图标区域的特征生成被文字图标区域遮挡区域的房间轮廓。
在相关技术中，第四网络模型中最常用的损失函数为像素重构损失(L1)。相较于相关技术中的像素重构损失是局部的损失，并不能考虑非常复杂的拓扑结构，小的局部像素错误可能会导致较大的拓扑变化，本发明实施例中的第四网络模型的损失函数还包括像素重构损失，基于室内房间轮廓为类拓扑结构，房间轮廓内的点、线之间，房间轮廓与房间轮廓之间的相连关系在图像修复前后都是一定的，通过增加拓扑损失，可以提升被遮挡区域中的拓扑结构被修复后的准确性。
其中，图像的拓扑结构可以采用卷积神经网络(如：VGG-19)模型生成的特征图来表达，其中，图像网络(ImageNet)数据集预先训练的网络包含的真实图像的高级结构特征描述，其中包含拓扑信息。拓扑损失的具体定义如下：
其中，Ltop(x,y,w)表示拓扑损失，y为真值，x为网络输入，w为网络参数，f(x,w)为VGG-19网络的输出，l表示特征图，M和N分别为网络层数和特征图通道数，W和H为特征图的维度。
需要说明的是，在实际应用中，根据应用场景的变化，上述拓扑损失函数的公式可以进行相应的改变，例如：增加常数或者进一步进行归一化处理等，在此并不具体限定拓扑损失函数的公式。
在训练第四网络模型的过程中，可以正向转播计算像素重构损失和拓扑损失的和作为第四网络模型的总损失，然后根据第四网络模型总损失计算各网络参数梯度并反向传播，更新网络参数。增加拓扑损失后，第四网络模型将倾向于生成和实际轮廓拓扑关系一致的修复结果，得到具有完整拓扑结构的目标室内图像。
以将具有文字和图标的初始室内图像转化为室内矢量地图的过程为例，对本发明提供的室内地图矢量化方法进行以下举例说明，该室内地图矢量化方法可以包括以下步骤：
步骤一，采用基于编码器-解码器结构的卷积神经网络(即第三网络模型)进行文字图标检测，该基于编码器-解码器结构的卷积神经网络以初始室内图像为输入，输出文字图标检测结果对应的二值化掩膜。
本步骤中，可以在解码器的倒数第二层设计了一个基于注意力机制的特征聚合模块(att)，该att模块首先通过对输入特征和文字图标粗分类区域的相关操作可以得到前景和背景的聚合特征表达；其次对前景和背景的聚合特征表达和图像特征再进行相关操作可以得到前景和背景区域和每个像素之间的关联关系；最后对关联关系进行softmax处理归一化后，再与前景和背景的聚合特征表达进行相关操作得到输出特征。att模块可以有效地建立位于图像不同位置的图标文字区域之间的联系，通过相关操作进行特征整合，从而增加文字图标区域检测结果的准确性和一致性。
步骤二，采用基于GAN网络的深度神经网络模型(即第四网络模型)对被二值化掩膜覆盖文字图标区域后的中间图像进行图像修复，其可以以初始室内图像和文字图标掩膜(即二值化掩膜)为输入，输出文字图标区域的拓扑结构的修复结果。
本步骤中，图像的拓扑结构可以采用VGG-19网络生成的特征图来表达，在网络训练过程中，正向转播计算像素重构损失和拓扑损失的和作为网络的总损失，然后根据网络总损失计算各网络参数梯度并反向传播，更新网络参数。增加拓扑损失后，网络将倾向于生成和实际轮廓拓扑关系一致的修复结果。
步骤三，采用卷积神经网络(即第一网络模型)得到关键点热力图，通过非极大抑制方法，得到检测角点/交叉点位置的关键点，遍历并修正原先识别的关键点。
在实施中，室内地图的矢量化处理可以包含五个步骤，分别为：轮廓骨架化、区域轮廓提取、关键点提取、闭合区域矢量生成以及区域属性生成。
其中，关键点可以根据轮廓骨架化检测结果得到，但是转折点和交汇点会存在一定的偏差，区域转角位置容易出现弧线或者斜线。
为解决此问题，本发明实施例中采用了根据第一网络模型检测到的关键点热力图中的极大值关键点位置对轮廓骨架化检测得到的轮廓关键点进行修正，具体修正方式如下：首先遍历所有轮廓关键点，将距离极大值关键点小于一定阈值的轮廓关键点删除，然后将余下的轮廓关键点和该极大值关键点合并作为修正后的轮廓关键点。这样，修正后的轮廓关键点的位置将更加准确，更加贴合原始图像的转折或交互位置。
本申请实施例提供的室内地图矢量化方法，使用基于深度学习的图像处理模型，对室内地图进行文字图标抹除、轮廓和关键点提取，并根据提取出的轮廓信息绘制矢量化图形。首先，采用基于改进的深度神经网络的文字图标检测模型和图像修复模型得到无文字图标的室内地图图像。然后，通过基于深度神经网络的轮廓检测模型提取室内地图轮廓和轮廓关键点。最后，运用神经网络提取到的室内轮廓关键点对骨架化方法识别的角点或交叉点进行遍历修正，解决现有图像轮廓矢量化方法中，关键点位置识别不准确，进而影响矢量化结果与原始图像无法准确贴合的问题。此外，本发明无需定义复杂规则，可提高室内地图自动化绘制的效率，提升室内地图自动矢量化结果的精度。
请参阅图12，是本发明实施例提供的一种室内地图矢量化装置的结构图，如图12所示，该室内地图矢量化装置1200，包括：
第一处理模块1201，用于将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图；
修正模块1202，用于根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点；
第一确定模块1203，用于根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。
可选的，室内地图矢量化装置1200还包括：
第二处理模块，用于将所述目标室内图像输入第二网络模型，并获取所述第二网络模型输出的初始轮廓图，所述初始轮廓图中的轮廓线的宽度为第一像素数量；
第三处理模块，用于对所述初始轮廓图进行骨架化处理，得到宽度为第二像素数量的第一轮廓，其中，所述第一像素数量大于所述第二像素数量；
第二确定模块，用于根据所述第一轮廓，确定所述轮廓关键点。
可选的，修正模块1202，包括：
第一处理单元，用于对所述关键点热力图进行非极大值抑制处理，得到所述关键点热力图中的每一个极大值关键点；
更新单元，用于在存在与目标轮廓关键点的距离小于预设像素数量的目标极大值关键点的情况下，将所述目标轮廓关键点更新为所述目标极大值关键点，其中，所述关键点热力图中的极大值关键点包括所述目标极大值关键点，所述目标轮廓关键点为所述轮廓关键点中的每一个关键点；
确定单元，用于将更新后的全部轮廓关键点确定为目标关键点。
可选的，室内地图矢量化装置1200还包括：
获取模块，用于获取初始室内图像，其中，所述初始室内图像包括第一内容，所述第一内容为文字和/或图标；
第四处理模块，用于去除所述初始室内图像内的所述第一内容，得到中间图像；
修复模块，用于对所述中间图像进行图像修复处理，得到所述目标室内图像。
可选的，所述第四处理模块包括：
第二处理单元，用于将所述初始室内图像输入第三网络模型，并获取所述第三网络模型输出的与第一内容的位置对应的二值化掩膜，其中，所述第三网络模型为编码器-解码器结构的卷积神经网络模型；
覆盖单元，用于基于所述二值化掩膜，覆盖所述初始室内图像内的所述第一内容，得到所述中间图像。
可选的，所述第三网络模型的解码器包括基于注意力机制的特征聚合模块，所述第二处理单元，包括：
获取子单元，用于采用所述第三网络模型的编码器，获取所述第一内容在所述初始室内图像内的A个初始区域，A为正整数；
确定子单元，用于采用所述基于注意力机制的特征聚合模块，根据所述初始室内图像和所述A个初始区域，确定前景和背景的聚合特征表达，其中，所述前景表示所述第一内容，所述背景表示所述初始室内图像中除了所述第一内容之外的其他内容；
第一处理子单元，用于采用所述基于注意力机制的特征聚合模块，对所述前景和背景的聚合特征表达和所述初始室内图像的特征进行相关性处理，得到前景区域和背景区域分别与所述初始室内图像中的像素之间的关联关系，其中，所述前景区域为所述前景在所述初始室内图像中的区域，所述背景区域为所述背景在所述初始室内图像中的区域；
第二处理子单元，用于采用所述基于注意力机制的特征聚合模块，对所述关联关系进行归一化处理，得到目标关联关系；
第三处理子单元，用于采用所述基于注意力机制的特征聚合模块，根据所述目标关联关系和所述前景和背景的聚合特征表达，进行相关性处理，得到与所述第一内容的位置对应的二值化掩膜。
可选的，所述修复模块具体用于：
将所述中间图像输入至第四网络模型，获取所述第四网络模型输出的所述目标室内图像，其中，所述第四网络模型用于修复所述中间图像的拓扑结构，且所述第四网络模型基于像素重构损失和拓扑损失训练得到。
本发明实施例提供的室内地图矢量化装置1200能够实现图1所示的方法实施例实现的各个过程，且能够取得相同的有益效果，为避免重复，这里不再赘述。
可选的，如图13所示，本发明实施例还提供一种电子设备1300，包括处理器1301，存储器1302，存储在存储器1302上并可在所述处理器1301上运行的程序或指令，该程序或指令被处理器1301执行时实现如图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现如图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本发明实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种室内地图矢量化方法，其特征在于，包括：
将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图；
根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点；
根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点之前，所述方法还包括：
将所述目标室内图像输入第二网络模型，并获取所述第二网络模型输出的初始轮廓图，所述初始轮廓图中的轮廓线的宽度为第一像素数量；
对所述初始轮廓图进行骨架化处理，得到宽度为第二像素数量的第一轮廓，其中，所述第一像素数量大于所述第二像素数量；
根据所述第一轮廓，确定所述轮廓关键点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点，包括：
对所述关键点热力图进行非极大值抑制处理，得到所述关键点热力图中的每一个极大值关键点；
在存在与目标轮廓关键点的距离小于预设像素数量的目标极大值关键点的情况下，将所述目标轮廓关键点更新为所述目标极大值关键点，其中，所述关键点热力图中的极大值关键点包括所述目标极大值关键点，所述目标轮廓关键点为所述轮廓关键点中的每一个关键点；
将更新后的全部轮廓关键点确定为目标关键点。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图之前，所述方法还包括：
获取初始室内图像，其中，所述初始室内图像包括第一内容，所述第一内容为文字和/或图标；
去除所述初始室内图像内的所述第一内容，得到中间图像；
对所述中间图像进行图像修复处理，得到所述目标室内图像。
5.根据权利要求4所述的方法，其特征在于，所述去除所述初始室内图像内的所述第一内容，得到中间图像，包括：
将所述初始室内图像输入第三网络模型，并获取所述第三网络模型输出的与第一内容的位置对应的二值化掩膜，其中，所述第三网络模型为编码器-解码器结构的卷积神经网络模型；
基于所述二值化掩膜，覆盖所述初始室内图像内的所述第一内容，得到所述中间图像。
6.根据权利要求5所述的方法，其特征在于，所述第三网络模型的解码器包括基于注意力机制的特征聚合模块，所述将所述初始室内图像输入第三网络模型，并获取所述第三网络模型输出的与第一内容的位置对应的二值化掩膜，包括：
采用所述第三网络模型的编码器，获取所述第一内容在所述初始室内图像内的A个初始区域，A为正整数；
采用所述基于注意力机制的特征聚合模块，根据所述初始室内图像和所述A个初始区域，确定前景和背景的聚合特征表达，其中，所述前景表示所述第一内容，所述背景表示所述初始室内图像中除了所述第一内容之外的其他内容；
采用所述基于注意力机制的特征聚合模块，对所述前景和背景的聚合特征表达和所述初始室内图像的特征进行相关性处理，得到前景区域和背景区域分别与所述初始室内图像中的像素之间的关联关系，其中，所述前景区域为所述前景在所述初始室内图像中的区域，所述背景区域为所述背景在所述初始室内图像中的区域；
采用所述基于注意力机制的特征聚合模块，对所述关联关系进行归一化处理，得到目标关联关系；
采用所述基于注意力机制的特征聚合模块，根据所述目标关联关系和所述前景和背景的聚合特征表达，进行相关性处理，得到与所述第一内容的位置对应的二值化掩膜。
7.根据权利要求4所述的方法，其特征在于，所述对所述中间图像进行图像修复处理，得到所述目标室内图像，包括：
将所述中间图像输入至第四网络模型，获取所述第四网络模型输出的所述目标室内图像，其中，所述第四网络模型用于修复所述中间图像的拓扑结构，且所述第四网络模型基于像素重构损失和拓扑损失训练得到。
8.一种室内地图矢量化装置，其特征在于，包括：
第一处理模块，用于将目标室内图像输入第一网络模型，获取所述第一网络模型输出的关键点热力图；
修正模块，用于根据所述关键点热力图对所述目标室内图像的轮廓关键点进行修正，得到目标关键点；
第一确定模块，用于根据所述目标室内图像的第一轮廓和所述目标关键点，确定所述目标室内图像的矢量信息。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的室内地图矢量化方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的室内地图矢量化方法中的步骤。
CN202210685042.8A 2022-06-14 2022-06-14 一种室内地图矢量化方法、装置和电子设备 Pending CN117274406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210685042.8A CN117274406A (zh) 2022-06-14 2022-06-14 一种室内地图矢量化方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210685042.8A CN117274406A (zh) 2022-06-14 2022-06-14 一种室内地图矢量化方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN117274406A true CN117274406A (zh) 2023-12-22

Family

ID=89211082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210685042.8A Pending CN117274406A (zh) 2022-06-14 2022-06-14 一种室内地图矢量化方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN117274406A (zh)

Similar Documents

Publication Publication Date Title
CN105528614B (zh) 一种漫画图像版面的识别方法和自动识别系统
CN113435240B (zh) 一种端到端的表格检测和结构识别方法及系统
CN108230376B (zh) 遥感图像处理方法、装置和电子设备
Hensel et al. Facade reconstruction for textured LoD2 CityGML models based on deep learning and mixed integer linear programming
Dal Poz et al. Automated extraction of road network from medium-and high-resolution images
CN111259878A (zh) 一种检测文本的方法和设备
CN113673338A (zh) 自然场景文本图像字符像素弱监督自动标注方法、系统及介质
CN112990183B (zh) 离线手写汉字同名笔画提取方法、系统、装置
CN112949455B (zh) 一种增值税发票识别系统及方法
CN111681300B (zh) 轮廓素描线组成的目标区域获取方法
CN110992384B (zh) 半自动化图像数据标注方法、电子装置及存储介质
CN110415280B (zh) 多任务cnn模型下的遥感影像与建筑物矢量配准方法及系统
CN112767424B (zh) 一种基于室内三维点云空间自动剖分方法
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN115546809A (zh) 基于单元格约束的表格结构识别方法及其应用
CN110874170A (zh) 一种图像区域修正方法、图像分割方法及装置
CN113077477B (zh) 图像矢量化方法、装置及终端设备
CN113658195A (zh) 图像分割方法、装置及电子设备
CN106558057B (zh) 一种医学图像分割方法
CN117612195A (zh) 一种基于主接线图识别技术的图模生成方法和装置
CN117593420A (zh) 基于图像处理的平面图纸标注方法、装置、介质及设备
CN117541546A (zh) 图像裁剪效果的确定方法和装置、存储介质及电子设备
CN112435274A (zh) 一种基于面向对象分割的遥感影像面状地物提取方法
Zhang et al. Guided pluralistic building contour completion
CN117274406A (zh) 一种室内地图矢量化方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination