CN111145314B - 一种结合地名标注的扫描电子地图地名符号的提取方法 - Google Patents

Abstract

本发明公开了一种结合地名标注的扫描电子地图地名符号的提取方法，具体包括以下步骤：S1制作训练数据和测试数据集：训练数据包括图像数据和标签数据；测试数据集为真实历史扫描电子地图；S2训练数据增强：将以地名文本的水平和垂直中线为参考对所述符号进行镜面操作，获得对地名文本和地名符号之间位置关系的数据增强的训练数据集；S3训练模型：基于CTPN的模型框架训练模型，从所述栅格地图中定位检测地名符号；S4模型验证：对比检测出的目标包络框与真实包络框之间关系，验证目标包络框是否正确，并评价模型的检测效果。

Description

一种结合地名标注的扫描电子地图地名符号的提取方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种结合地名标注的扫描电子地图地名符号的提取方法。

背景技术

电子地图处理即借助计算机，自动或半自动提取和识别包含在地图（多数为扫描地图）内的地理要素。随着新技术的发展，近年来学者们对此领域的兴趣不断提高。如今，大多数电子地图处理研究的重点是纸质历史地图，或者原材料不存在和难以获得的地图，对这些扫描地图的数字化处理对永久保存原地图的意义重大。除了历史地图，从各种来源的图像格式（栅格）地图中获取地理信息并分析处理，挖掘有价值的知识，可以服务于生活生产的各个方面。其中，自动检测和识别扫描电子地图中的地名符号对于电子地图处理和地名相关的应用场景非常重要。

模板匹配是该领域常被使用的传统方法，这种方法通过对比可疑地名符号和模板的相似度识别地名符号。这个类型的方法大多数并不高效并且对噪声敏感。基于距离变换的方法提取扫描地图中的点状的符号。这个方法利用符号间的拓扑关系和符号的形态，能够考虑到符号的变形和缺失。基于广义霍夫变换（GHT）框架的剪切线段GHT方法，此方法结合了能够计算小线段坡度的LS-GHT方法和增加形状特征的剪切变换方法。最终被检测出的符号能够根据参考点进行标签化处理。在最新的研究中，提出了一个深度转移学习框架。框架基于一个在MNIST数据集上训练的AlexNet预训练模型学习符号特征。符号首先需要预处理减少颜色和噪声的干扰，再根据区域属性进行筛选。之后点符号和非点符号通过外接矩形和大小的度量差异进行区分。但是此方法需要设定一个大小阈值区分点符号和非点符号，对于多种多样几何和规模的地名符号检测不适用。以上方法适用的检测对象通常是相对固定和规则的，大多数符号由简单的几何形状构成，符号的种类也相对有限。并且，多数的检测过程都需要一个预处理流程进行地图的简化处理。

不同于一般的目标检测任务，地名的符号大多数与地图整体相比非常小，大多数符号的几何特征非常简单，比如实心或者空心的圆。但是又存在少数具有非常复杂图案结构的符号。而且，从不同风格的扫描地图中收集所有的地名符号并逐一提取特征是不可能的。

因此，本发明针对以上问题，研发一种结合地名标注的，基于深度学习方法的扫描电子地图地名符号的提取方法，对简单和复杂的地名符号都有较好的检测效果，对特征的泛化性能好，且不需要额外的预处理流程辅助检测，能显著提高最终的检测效果。

发明内容

本发明要解决的技术问题是提供一种结合地名标注的扫描电子地图地名符号的提取方法，对简单和复杂的地名符号都有较好的检测效果，对特征的泛化性能好，且不需要额外的预处理流程辅助检测，能显著提高最终的检测效果。

为了解决上述技术问题，本发明采用的技术方案是：该结合地名标注的扫描电子地图地名符号的提取方法，具体包括以下步骤：

S1制作训练数据和测试数据集：所述训练数据包括图像数据和标签数据；所述图像数据是基于矢量数据参考真实历史扫描电子地图风格渲染生成的栅格地图切片；所述标签数据是使用标签引擎对矢量地图的地名文本和地名符号进行标注和布局，获得与所述栅格地图切片中地名符号相对应的标签数据；所述测试数据集为真实历史扫描电子地图；

S2训练数据增强：基于位置关系分析，将以所述地名文本的水平和垂直中线为参考对所述符号进行镜面操作，获得对所述地名文本和地名符号之间位置关系的数据增强的训练数据集；

S3训练模型：基于流行的文本检测模型——连接文本提案网络（CTPN）的模型框架训练模型，从所述栅格地图中定位检测地名符号；

S4模型验证：分析检测出的目标包络框与真实包络框之间关系，验证所述目标包络框是否正确，并评价模型的检测效果。

采用上述技术方案，在实施过程中避免人工标注成本和时间，实现自动化标注的流程。该技术方案基于矢量数据制作地名地图的方法，既可以手动控制地图渲染风格，又可以方便之后的地名文本和地名符号坐标的提取，同时制作带地名文本和不带地名文本两种数据集对比验证效果；验证了此模型在对地名符号的检测中，充分利用了标注的上下文信息，使得地名符号的特征更加明显，能显著提高最终的检测效果。其中为了获得更多的训练数据扩大训练集规模以及平衡各类符号的样本数量，采用了基于地名文本水平和垂直中轴线对符号进行镜面操作的方法，通过这种方法能够增加3倍的数据集规模，而且可以实现对各类符号的样本数量的均衡处理；使用地名标注引导地名符号检测的思想是利用CTPN文字检测模型（该模型采用论文Tian, Zhi, et al. "Detecting text in natural imagewith connectionist text proposal network." European conference on computer vision. Springer, Cham, 2016中所提及的模型）对图像中上下文信息的强大探索能力，将地名符号作为一种另类的文本要素，并在周围的地名文本信息的引导下，实现地名符号的定位检测；通过模型对带地名文本和不带地名文本的数据集训练中的特征图对比，验证了地名文本在符号检测中作为上下文信息的指引作用；为了显示出该方案对扫描地图的地名符号检测的优越效果，我们使用最接近地名符号检测场景的小目标检测模型（FPN）（该FPN模型采用论文Lin, Tsung-Yi, et al. "Feature pyramid networks for objectdetection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017中提及的模型）的检测结果进行对比，该基于CTPN的结合地名标注的扫描电子地图地名符号的提取方法的地名符号检测F1值达到0.808，而FPN在同样的测试数据集中的结果仅为0.484。模型的泛化性能非常高，不仅能检测出训练样本中没有的简单几何图形的符号，对复杂的符号，如几何和文字结合的符号、不规则图案符号以及其他复杂结构的符号也有较好的检测效果。

作为本发明优选技术方案，所述步骤S1首先使用Maplex标签引擎对所述矢量地图的地名文本和地名符号进行布局和标注，获得标签数据；再根据所述真实历史扫描电子地图的风格渲染矢量地图，再使用ArcGIS Server发布数据，设定所述栅格地图的切片等级，从而得到固定大小的栅格地图切片。使用Maplex标签引擎对地图的地名文本和地名符号进行合理化的布局和标注，能够避免密集的地名符号和标注之间的位置冲突；由于是在矢量地图基础上生成的地名标注和符号栅格切片，能够通过地理坐标和像素坐标之间的转换获得这些标注框和符号的坐标信息；为了展示结合地名标注能够对符号的检测提供语义信息的指导作用，我们还制作了不带地名文本的对比训练数据集。

作为本发明优选技术方案，所述标签数据是基于矢量数据中提取的地名符号包络框地理坐标，根据切片等级计算出的地名符号的包络框在栅格地图切片中的像素位置坐标，将所述栅格地图切片的名称和其包含的地名符号的位置坐标保存为xml格式的文件；最后将所述图像数据和标签数据整理成模型训练需要的pascal voc数据组织形式。在提取地名符号的包络框时还能提出地名文本的包络框，将地名文本的包络框提取出来的作用，是在增强数据的时候根据文本框和符号框位置关系作数据增强时用的，但地名文本包络框不是标签数据的一部分。

作为本发明优选技术方案，所述训练数据的栅格地图切片的大小为256*256；所述步骤S1中将所述真实历史扫描电子地图划分为1000*1000的地图图像切片作为测试数据。

作为本发明优选技术方案，所述步骤S3中训练模型的参数设置包括，训练样本大小为8949，设置迭代次数为200000次，初始训练学习率learning rate设置为0.001，批训练样本大小batch size为128 ；训练模型中使用VGG16作基础网络提取图像特征，再使用固定宽度的锚检测目标区域，再使用双向SLTM提取锚的序列特征，最后通过预测输出各个提案区域的坐标值和分类结果的概率值；再在后处理阶段合并相邻的候选框从而得到目标包络框区域。

作为本发明优选技术方案，所述步骤S3具体包括：

S31输入N张栅格地图切片，使用基于ImageNet图像训练后的VGG16预训练模型（该VGG16预训练模型为现有技术，采用该论文中的Simonyan, Karen, and AndrewZisserman. "Very deep convolutional networks for large-scale imagerecognition." arXiv preprint arXiv:1409.1556 (2014)模型）提取特征；获得VGG第5个卷积区块的第三个卷积层输出的特征图，且在conv5特征图上卷积完成之后使用3*3的滑动窗口分割特征图，获得3*3*N的特征向量，后输出为N*9C*H*W特征图，在此基础上变形为（NH）*W*9C特征图；

S32将所述（NH）*W*9C特征图输入双向LSTM网络，通过两个方向对目标内容进行编码，学习每一行的序列特征，再输出(NH)*W*256特征图后再恢复成为N*256*H*W特征图；

S33经过全连接层变为N*512*H*W特征图，最后经过区域提案网络RPN获得目标的提案区域；RPN使用的垂直锚机制能同时预测位置和评价每个固定提案宽度内存在目标的概率；提案网络中锚的宽度设定为16个像素，垂直高度范围设定在7到139之间，一共有10种不同的高度；计算每个提案区域存在目标的概率，当检测的概率达到0.7时，判定其为正样本区域；

S34文本构造：根据规则组合相近的候选框作为目标包络框。

作为本发明优选技术方案，所述步骤S34中组合所述小提案区域的规则包括：所述提案区域的间距离最近、两个所述提案区域之间水平距离小于50个像素和两个所述提案区域的垂直重叠度大于0.7。

作为本发明优选技术方案，所述步骤S4中对比检测出的所述目标包络框与所述真实包络框之间关系的公式为：

其中，IoU值是一个定义正确检测的重要指标，通常设定IoU值大于等于50%，则所述目标包络框是正确的样本；

为检测包络框的面积，

为真实包络框的面积。

作为本发明优选技术方案，所述IoU值设有8个阈值，8个所述阈值为1/8、1/4、3/8、1/2、5/8、3/4、7/8和1，计算8个所述阈值对应的检测准确率和地名符号检测F1值，并对检测效果进行评价；

其中：

其中真正例表示预测正确的正例样本数量；假正例表示预测错误的正例样本数量；假负例表示预测错误的负例样本的数量；准确率表示预测正确的正例样本数量占预测为正例样本的总数量的比例；召回率表示预测正确的正例样本的数据占实际为正例样本的总数量的比例。

与现有技术相比，本发明具有的有益效果是：通过结合地名标注的扫描电子地图地名符号的提取方法可以对简单和复杂的地名符号都有较好的检测效果，对特征的泛化性能好，且不需要额外的预处理流程辅助检测，能显著提高最终的检测效果。

附图说明

图1是本发明的结合地名标注的扫描电子地图地名符号的提取方法的流程图；

图2是本发明的结合地名标注的扫描电子地图地名符号的提取方法的所有训练数据集中的地名符号和数量统计；

图3是本发明的结合地名标注的扫描电子地图地名符号的提取方法的地名标注和符号的位置关系；

图4是本发明的结合地名标注的扫描电子地图地名符号的提取方法的CTPN模型结构图；

图5是本发明的结合地名标注的扫描电子地图地名符号的提取方法的模型泛化效果展示图；

图6是本发明的结合地名标注的扫描电子地图地名符号的提取方法中结合地名标注和无地名标注时模型提取地名符号特征的效果对比图；

图7是本发明的结合地名标注的扫描电子地图地名符号的提取方法的模型在测试数据上的检测效果图；

图8 是本发明的结合地名标注的扫描电子地图地名符号的提取方法基于不同IoU值的模型评价结果。

具体实施方式

下面将结合本发明的实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

实施例：如图1所示，该结合地名标注的扫描电子地图地名符号的提取方法，具体包括以下步骤：

S1制作训练数据和测试数据集：所述训练数据是基于矢量数据渲染生成的两种风格的栅格地图；使用标签引擎对所述矢量地图的地名文本和地名符号进行标注和布局，获得训练数据；所述测试数据集为真实历史扫描电子地图；所述步骤S1首先使用Maplex标签引擎对所述矢量地图的地名文本和地名符号进行布局和标注，获得标签数据；再根据所述真实历史扫描电子地图的风格渲染矢量地图，再使用ArcGIS Server发布数据，设定所述栅格地图的切片等级，从而得到固定大小的栅格地图切片；所述栅格地图图像切片的大小为256*256；所述标签数据是基于矢量数据中提取的地名符号包络框地理坐标，根据切片等级计算出的地名符号的包络框在栅格地图切片中的像素位置坐标，将所述栅格地图切片的名称和其包含的地名符号的位置坐标保存为xml格式的文件；最后将所述图像数据和标签数据整理成模型训练需要的pascal voc数据组织形式；所述步骤S1中将所述真实历史扫描电子地图划分为1000*1000的地图图像切片作为测试数据；使用Maplex标签引擎对地图的地名文本和地名符号进行合理化的布局和标注，能够避免地名之间的位置冲突；由于是在矢量地图基础上生成的地名标注和符号栅格切片，能够通过地理坐标和像素坐标之间的转换获得这些标注框和符号的坐标信息；为了展示结合地名标注能够对符号的检测提供语义信息的指导作用，我们还制作了不带地名文本的对比训练数据集；所有训练数据集中的地名符号和数量统计，如图2所示；

S2训练数据增强：基于位置关系分析，将以所述地名文本的水平和垂直中线为参考对所述符号进行镜面操作，获得对所述地名文本和地名符号之间位置关系的数据增强的训练数据集；将地名标注和符号的位置关系分为8类，如图3所示；基于位置关系分析，将以地名文本的水平和垂直中线为参考对符号进行镜面操作，由此可得到关于一个标注的三种符号位置关系的数据集，即数据集规模扩大了3倍；

S3训练模型：基于CTPN的模型框架训练模型，此模型结合了CNN算法与LSTM算法从所述栅格地图中定位检测地图符号；

如图4所示，所述步骤S3具体包括：

S31输入N张栅格地图图像切片，使用基于ImageNet图像训练后的VGG16预训练模型（该VGG16预训练模型为现有技术，采用该论文中的Simonyan, Karen, and AndrewZisserman. "Very deep convolutional networks for large-scale imagerecognition." arXiv preprint arXiv:1409.1556 (2014)模型）提取特征；获得VGG第5个卷积区块的第三个卷积层输出的的特征图，且在conv5特征图上卷积完成之后使用3*3的滑动窗口分割特征图，获得3*3*N的特征向量，后输出为N*9C*H*W特征图，在此基础上变形为（NH）*W*9C特征图；

S32将所述（NH）*W*9C特征图输入双向LSTM网络，通过两个方向对目标内容进行编码，学习每一行的序列特征，再输出(NH)*W*256特征图后再恢复成为N*256*H*W特征图；

S33经过全连接层变为N*512*H*W特征图，最后经过区域提案网络RPN获得目标的提案区域；RPN使用的垂直锚机制能同时预测位置和评价每个固定提案宽度内存在目标的概率；提案网络中锚的宽度设定为16个像素，垂直高度范围设定在7到139之间，一共有10种不同的高度；计算每个提案区域存在目标的概率，当检测的概率达到0.7时，判定其为正样本区域；

S34文本构造：根据规则组合相近的候选框作为目标包络框；组合所述候选框的规则包括：选择距离最近的一对候选框组合、两个所述候选框之间水平距离小于50个像素和两个所述候选框的垂直重叠度大于0.7；

S4模型验证：对比检测出的目标包络框与真实包络框之间关系，验证所述目标包络框是否正确；

所述步骤S4中，检测出的所述目标包络框与所述真实包络框之间的交并比（IoU）公式为：

其中，IoU值是一个定义正确检测的重要指标，通常设定IoU值大于等于50%，则所述目标包络框是正确的样本；

为检测包络框的面积，

为真实包络框的面积；本发明对IoU值设8个阈值，分别为1/8、1/4、3/8、1/2、5/8、3/4、7/8和1，计算8个阈值对应的检测准确率和地名符号检测F1值，评价模型的检测效果，如附图8所示；

其中：

其中真正例表示预测正确的正例样本数量；假正例表示预测错误的正例样本数量；假负例表示预测错误的负例样本的数量；准确率表示预测正确的正例样本数量占预测为正例样本的总数量的比例；召回率表示预测正确的正例样本的数据占实际为正例样本的总数量的比例。

为了显示出对扫描地图的地名符号检测的优越效果，我们使用最适用于地名符号检测的小目标检测模型的检测结果进行对比，表1为不同模型检测地名符号的检测F1值的效果对比图；该结合地名标注的扫描电子地图地名符号的提取方法的地名符号检测F1值达到0.808，而FPN在同样的训练和测试数据集中的结果仅为0.484。

采用该结合地名标注的扫描电子地图地名符号的提取方法得到的模型的泛化性能非常高，不仅能检测出训练样本中没有的简单几何图形的符号，对复杂的符号，如几何和文字结合的符号、不规则图案符号以及其他复杂结构的符号也有较好的检测效果，如图5所示。

表1 模型的检测效果对比

	F1
		FPN	0.484
CTPN	0.808

此外，通过图6中展示的结合地名标注和不结合地名标注的地名符号训练数据集在训练中生成的特征图，验证了此模型在对地名符号的检测中，充分利用了标注的上下文信息，使得地名符号的特征更加明显，能显著提高最终的检测效果。该图6里面的字是不用看清的，只需要看出来是地名和地名符号就可以。

图7为模型在历史扫描电子地图上的地名符号检测效果图，图中的方框为模型对地名符号的检测结果。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种结合地名标注的扫描电子地图地名符号的提取方法，其特征在于，具体包括以下步骤：

S1制作训练数据和测试数据集：所述训练数据包括图像数据和标签数据；所述图像数据是基于矢量数据参考真实历史扫描电子地图风格渲染生成的栅格地图切片；所述标签数据是使用标签引擎对矢量地图的地名文本和地名符号进行标注和布局，获得与所述栅格地图切片中地名符号相对应的标签数据；所述测试数据集为真实历史扫描电子地图；

S2训练数据增强：基于位置关系分析，将以所述地名文本的水平和垂直中线为参考对所述符号进行镜面操作，获得对所述地名文本和地名符号之间位置关系的数据增强的训练数据集；

S3训练模型：基于流行的文本检测模型——连接文本提案网络的模型框架训练模型，从所述栅格地图切片中定位检测地名符号；

S4模型验证：分析检测出的目标包络框与真实包络框之间关系，验证判断目标包络框是否正确，并评价模型的检测效果；

所述步骤S1首先使用Maplex标签引擎对所述矢量地图的地名文本和地名符号进行布局和标注，获得标签数据；再根据所述真实历史扫描电子地图的风格渲染矢量地图，再使用ArcGIS Server发布数据，设定所述栅格地图的切片等级，从而得到固定大小的栅格地图切片；

所述标签数据是基于矢量数据中提取的地名符号包络框地理坐标，根据切片等级计算出的地名符号的包络框在栅格地图切片中的像素位置坐标，将所述栅格地图切片的名称和其包含的地名符号的位置坐标保存为xml格式的文件；最后将所述图像数据和标签数据整理成模型训练需要的pascal voc数据组织形式；所述训练数据的栅格地图切片的大小为256*256；所述步骤S1中将所述真实历史扫描电子地图划分为1000*1000的地图图像切片作为所述测试数据；所述步骤S3中训练模型的参数设置包括，训练样本大小为8949，设置迭代次数为200000次，初始训练学习率learning rate设置为0.001，批训练样本大小batchsize为128；训练模型中使用VGG16作基础网络提取图像特征，再使用固定宽度的锚检测目标区域，再使用双向SLTM提取锚的序列特征，最后通过预测输出各个提案区域的坐标值和分类结果的概率值；再在后处理阶段合并相邻的候选框从而得到目标包络框区域。

2.根据权利要求1所述的结合地名标注的扫描电子地图地名符号的提取方法，其特征在于，所述检测包络框和真实包络框的交并比IoU值设有8个阈值，8个所述阈值为1/8、1/4、3/8、1/2、5/8、3/4、7/8和1，计算8个所述阈值对应的检测准确率和地名符号检测F1值，并对检测效果进行评价；

其中：

其中真正例表示预测正确的正例样本数量；假正例表示预测错误的正例样本数量；假负例表示预测错误的负例样本的数量；准确率表示预测正确的正例样本数量占预测为正例样本的总数量的比例；召回率表示预测正确的正例样本的数据占实际为正例样本的总数量的比例。

Images