CN117555979A - 一种高效的自底向上的地图位置缺失识别方法 - Google Patents

Abstract

本发明公开了一种高效的自底向上的地图位置缺失识别方法，包括以下步骤：S1、数据准备；S2、地图关键点检测模型的训练：将数据预处理后组合；进行高分辨率的特征提取；将高分辨率特征转换为热图，并预测每一个关键点的嵌入向量；得到预测结果，与真实标注进行均方差损失计算来反向传播进行模型优化；直至模型优化至达到输出标准，完成训练；S3、模型量化；S4、地图关键点检测模型推理，输出地图位置缺失识别结果。本发明在保证精度的同时提高从海量数据中检测出问题地图的效率，可以直接在输入的图片上定位地图关键点，有着较高的效率；同时需要的计算和存储资源也相对有限，可以满足海量数据的处理以及服务实际部署的需求。

Description

一种高效的自底向上的地图位置缺失识别方法

技术领域

本发明涉及一种地图位置缺失识别方法，尤其涉及一种高效的自底向上的地图位置缺失识别方法。

背景技术

近年来，“问题地图”现象越来越严重，主要问题之一在于位置缺失和颜色不一致，针对上述问题，目前已有的解决方案包括使用目标检测以及基于关键点的两阶段方法。但基于目标检测技术来进行地图关键位置的缺失检测方法容易受到很多因素的干扰，从而并不能很好的解决地图位置缺失检测的问题。虽然基于先检测地图边框再进行地图关键点检测的方法可以较好地判别地图关键位置是否缺失，但是互联网等各种媒介包含着海量的数据，在处理地图缺失检测问题时不仅要考虑精度，同时也要考虑效率。两阶段式方法虽然有着较高的精度，但是需要较大的计算量和参数量，推理速度较慢且需要耗费的硬件资源较多，花费了较高的成本。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种高效的自底向上的地图位置缺失识别方法。

为了解决以上技术问题，本发明采用的技术方案是：一种高效的自底向上的地图位置缺失识别方法，包括以下步骤：

S1、数据准备，包括训练数据的收集、获取以及标注；

S2、地图关键点检测模型的训练，训练过程为：

S21、数据处理：将数据预处理后组合为用于训练的mini-batch；

S22、特征层提取：数据送入地图关键点检测模型进行高分辨率的特征提取；

S23、多头预测：在得到提取的特征后，网络预测层将高分辨率特征转换为热图，同时预测每一个关键点的嵌入向量；

S24、损失计算：模型前向传播得到预测结果，与对应的真实标注进行均方差损失和分组损失计算来反向传播进行模型优化；

S25、模型输出：直至模型优化至达到输出标准，结束模型训练，最终将模型文件输出；

S3、对S25输出的地图关键点检测模型进行量化；

S4、地图关键点检测模型推理，输出地图位置缺失识别结果。

作为优选地，基于互联网真实图像数据，通过训练好的CNN分类模型来获取输入数据的类别，将类别为地图的数据进行收集整理。

作为优选地，借助标注工具对地图数据进行地图关键点的标注；地图关键点的标注信息包含每个关键位置的坐标信息，当一张图片中同时包含多个地图样本时，标注信息还包括关键点的分组信息，即指示哪些关键点属于同一个地图样本。

作为优选地，关键点检测模型的训练数据集构建过程为：在标注了至少4000条地图关键点数据后进行地图关键点检测模型的训练，然后使用训练好的关键点检测模型在未标注数据上进行推理，之后人工对模型预测的关键点结果进行微调修正；最终将这两部分标注数据汇总作为模型的训练数据集。

作为优选地，S21中，数据预处理方式包括但不限于图片的颜色变换、尺寸缩放、像素归一化；

预处理过的图片组合得到用于训练的mini-batch，每一个mini-batch包含32张图像。

作为优选地，S22中，特征提取使用高分辨率网络结构，首先生成一个高分辨率的特征，然后进行反卷积操作，生成一个分辨率是前者两倍的特征；在训练时，在这两个尺度的特征上同时进行监督。

作为优选地，S23中，属于同一组的关键点的嵌入向量差值小于1，根据此可以将所有关键点进行分组；根据分组结果，取出每一组中每一个通道的热图，执行3×3最大池化操作来获取该地图的所有预设关键位置的关键点坐标和得分。

作为优选地，S24中，预测结果包括所有地图样本的各个关键点的坐标、得分以及嵌入向量，关键点热图的损失使用均方差损失函数：

其中，分别为真实标签和预测的标签，N为总的目标数量；对于每一个地图样本来说，N为17。

在得到关键点预测坐标后，与对应的真实标注的关键点坐标进行均方差损失的计算，之后将所有关键点的损失相加取平均，作为该地图样本的关键点的损失。

嵌入向量的损失使用分组损失函数：

其中，为第n个地图样本的第k个关键点的真实标注（该点的位置坐标），/>为预测的第k个关键点的热图，/>为像素位置x的标记tag的值（即嵌入向量的值），/>为权重参数，/>第n个地图样本的参考嵌入向量，/>则为除第n个地图样本外的另一地图样本的参考嵌入向量。

总的损失为热图损失和嵌入向量损失的加权和，具体如下：

其中，为嵌入向量使用的分组损失，/>为热图使用的均方差损失。

作为优选地，模型的量化流程为：将模型转换为中间形式，使用ONNX形式；在得到ONNX模型后需要进行简化，最后基于简化后的ONNX模型进行TensorRT模型量化，最终输出量化后的模型权重。

作为优选地，模型推理过程为：

S41、对于获取到的待检测地图图像进行预处理；

S42、将预处理后的图像送入地图关键点检测模型中进行关键点的检测，得到的预测值主要包含地图的关键位置的关键点坐标、对应的得分以及对应于每个关键点的嵌入向量；

S43、基于嵌入向量将所有关键点进行分组，得到每一个地图样本的所有关键点检测结果；

S44、依次取出每一个地图样本的每一个关键点的得分进行位置缺失的判断；循环此步骤直至所有关键点都判别完成；

S45、汇总判别结果进行输出。

本发明公开了一种高效的自底向上的地图位置缺失识别方法，在保证精度的同时提高从海量数据中检测出问题地图的效率，先检测地图关键点，得益于关键点热图的中间表示形式，由底层向上层推理，使得本方法有着较高的精度和速度，能够处理地图图像数据的各种复杂情况。更重要的是，本方法可以直接在输入的图片上定位地图关键点，有着较高的效率。同时需要的计算和存储资源也相对有限，可以满足海量数据的处理以及服务实际部署的需求。

附图说明

图1为本发明训练数据的收集、获取和标注流程。

图2为本发明地图关键点检测模型的训练流程图。

图3为本发明特征提取使用的网络结构示意图。

图4为本发明地图关键点检测模型量化流程图。

图5为本发明地图关键点检测模型的推理流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明公开了一种高效的自底向上的地图位置缺失识别方法，主要思路为模型的数据准备、模型训练以及模型推理；

（1）数据准备包括数据收集、数据标注两方面。首先，找到一个预先训练好的卷积神经网络（CNN，如残差网络ResNet）分类模型，该模型可以识别地图类别。使用该模型在未标注的海量数据上进行分类预测，之后根据类别筛选并收集地图数据。下一步则进行地图关键点的标注工作，标注完成至少4000条数据后进行地图关键点检测模型的训练，之后将训练好的模型在剩余未标注图像上进行推理，然后在推理结果上进行人工调整，可以在获取大量标注数据的同时减少人力成本。

（2）模型训练指的是地图关键点检测模型的训练。首先，对输入数据进行预处理，包括颜色变换、尺寸缩放、归一化等。之后将预处理过的图片组合以得到用于训练的mini-batch，每一个mini-batch包含32张图像。然后将数据送入关键点检测模型用于提取特征。提取的特征之后经过卷积池化全连接等操作处理得到热图、以及每一个关键点的嵌入向量。进一步地得到关键点坐标和相对应的置信度得分。之后基于嵌入向量对关键点进行分组得到最终的关键点预测结果。接着，预测值与真实标注进行损失的计算来反向传播进行模型的优化。重复此步骤，直至模型优化完成，结束模型训练，最终将模型文件输出。

（3）模型推理过程是利用输出的最终模型对待测地图图片的关键点判别，输出判别结果的过程。

在进行模型推理之前，为进一步加快模型推理速度，提高计算效率，需要先对模型进行量化。在完成模型量化后进行模型推理。首先，对于获取到的待检测地图图像进行预处理，之后将预处理后的图像送入地图关键点检测模型中进行关键点的检测，得到的预测值主要包含地图的关键位置的关键点坐标、对应的得分以及对应于每个关键点的嵌入向量。然后基于嵌入向量将所有关键点进行分组，得到每一个地图样本的所有关键点检测结果。最后依次取出每一个地图样本的每一个关键点的得分进行位置缺失的判断。循环此步骤直至所有关键点都判别完成。最终汇总判别结果进行输出。

下面结合附图对本发明高效的自底向上的地图位置缺失识别方法的具体实施方式做进一步说明。

S1、训练数据的收集、获取以及标注

数据集选择收集互联网真实数据进行标注使用，训练数据的收集、获取和标注具体流程如图1所示：

首先，在收集到海量互联网图像数据后，输入预先训练好的CNN分类模型来获取输入数据的类别，将类别为地图的数据进行收集整理。之后借助标注工具对地图数据进行地图关键点的标注。地图关键点的标注信息包含每个关键位置的坐标信息，当一张图片中同时包含多个地图样本时，标注信息还包括关键点的分组信息，即指示哪些关键点属于同一个地图样本。

在标注了至少4000条地图关键点数据后开始训练关键点检测模型，然后使用训练好的关键点检测模型在未标注数据上进行推理，之后人工对模型预测的关键点结果进行微调。最终将这两部分标注数据汇总作为模型的训练数据，以便于进一步训练和优化模型。

S2、地图关键点检测模型的训练

在完成关键点检测训练数据集的构建后则可以开始进行关键点检测模型的训练，关键点检测模型基于HigherHRNet模型构建，其训练过程如图2所示，包括以下步骤：

S21、数据处理：首先，对输入图像进行预处理，主要包括像素值归一化、缩放到统一尺寸（512×512）等，之后组合多个图像得到用于训练的mini-batch，每一个mini-batch包含32张图像。

S22、特征提取层：然后，将数据送入特征提取层进行高分辨率特征的提取（尺寸为128×128×通道数，通道数即关键点类别数量，每个通道对应于一类关键点的结果，默认设置为17）。特征提取网络使用高分辨率网络结构，如图3所示，其首先生成一个高分辨率的特征（128×128），然后进行反卷积操作，生成一个更高分辨率的特征（256×256）。更高分辨率的特征有助于更加精确地定位小尺寸的地图样本的关键点。在训练时，使用多尺寸监督，即对原图1/4和1/2大小的两个预测特征同时进行监督，这样做使训练出的网络模型对样本的尺度变化的处理更具有鲁棒性。

S23、多头预测：在得到提取的特征后，网络预测层将高分辨率特征转换为热图的形式，另一方面基于提取的特征同时预测每一个关键点的嵌入向量。属于同一组的关键点的嵌入向量的差值小于1，根据此可以将所有关键点进行分组。根据分组结果，取出每一组中每一个通道（即每一个关键位置）的热图，执行3×3最大池化操作来获取该地图的所有预设关键位置的关键点坐标和得分。

S24、损失计算：在模型前向传播得到预测结果后，即得到所有地图样本的各个关键点的坐标、得分以及嵌入向量，和真实标注进行损失函数计算。关键点热图的损失使用均方差损失函数：

其中，分别为真实标签和预测的标签，N为总的目标数量；对于每一个地图样本来说，N为17。

在得到关键点预测坐标后，与对应的真实标注的关键点坐标进行均方差损失的计算，之后将所有关键点的损失相加取平均，作为该地图样本的关键点的损失。若存在多个地图样本，则对多个地图样本的损失取平均，作为这张图像的均方差损失。

嵌入向量的损失使用分组损失函数：

其中，为第n个地图样本的第k个关键点的真实标注（该点的位置坐标），/>为预测的第k个关键点的热图，/>为像素位置x的标记tag的值（即嵌入向量的值），/>为权重参数，/>第n个地图样本的参考嵌入向量，/>则为除第n个地图样本外的另一地图样本的参考嵌入向量。

嵌入向量的损失计算主要包含两个部分，前半部分为单个地图样本的损失，后半部分是两个不同地图样本之间的损失。前者的作用为拉近属于同一组（即同一地图样本）的所有关键点之间的距离，即缩小嵌入向量的差值；后者的作用则是使得不属于同一组（即不同的两个地图样本）的关键点之间的距离拉大，即嵌入向量的差值拉大。两部分综合作用就可以达到分组关键点的目的。

总的损失为热图损失和嵌入向量损失的加权和，具体如下：

其中，为嵌入向量使用的分组损失，/>为热图使用的均方差损失。

S25、模型优化：在完成当前训练样本的所有损失的计算后，则进行反向传播更新网络模型的梯度。随着训练的进行，模型预测的关键点坐标与真实标注的关键点坐标的差值会越来越小，属于同一组的关键点的嵌入向量的值也越来越接近，不属于同一组的关键点的嵌入向量的值则相差越来越大，最终获得训练优化后效果较好的模型。

S3、地图关键点检测模型的量化

在地图关键点检测模型训练完成后则首先要进行模型的量化。对模型进行量化可以进一步加快模型的推理速度，具体流程如图4所示：

首先构建地图关键点检测的网络模型结构，之后将训练好的模型权重导入到网络模型中。在进行模型量化之前需要先将模型转换为中间形式，一般使用ONNX形式。在得到ONNX模型后需要进行简化，将一些常量折叠，将一些算子简化，以简化模型结构便于推理。最后基于简化后的ONNX模型进行TensorRT模型量化，最终输出量化后的模型权重。

S4、量化后的地图关键点检测模型的推理，输出地图位置缺失识别结果

在地图关键点检测模型量化完成后则可以进行模型的推理，具体流程如图5所示：

首先，一方面获取待检测地图图像进行预处理，主要包含缩放到到统一尺寸（512×512）、像素值归一化等。另一方面，需要进行模型推理的准备工作，主要包括推理环境初始化、加载量化后的模型权重等。

之后将预处理后的图像数据送入到构建的地图关键点检测量化模型中进行关键点的检测，得到的预测值主要为地图上所有预设的关键位置的关键点坐标、得分以及对应的嵌入向量的值。

一般来说，属于同一地图样本的关键点之间的嵌入向量距离较近，也就是同一组中的不同关键点之间的嵌入向量的差值小于1。因此，基于关键点的嵌入向量的预测值计算关键点彼此之间的嵌入向量的差值，将差值小于1的关键点分为一组以得到分组结果。

之后取出每一个地图样本的所有关键点的预测得分，根据得分来判别该关键位置是否缺失。假如该关键位置的得分小于其预设的阈值则表明该关键位置并不存在，即判断为缺失；否则该关键位置则被认为是没有缺失。对一组关键点判断完成后汇总该地图样本的结果暂存。当所有地图样本的关键位置缺失判别都完成后，汇总结果。若某地图样本存在缺失则输出地图缺失的标签并输出是哪个位置缺失；若没有地图样本存在缺失则输出地图不缺失的标签。

Claims (10)

1.一种高效的自底向上的地图位置缺失识别方法，其特征在于：包括以下步骤：

S1、数据准备，包括训练数据的收集、获取以及标注；

S2、地图关键点检测模型的训练，训练过程为：

S21、数据处理：将数据预处理后组合为用于训练的mini-batch；

S22、特征层提取：数据送入地图关键点检测模型进行高分辨率的特征提取；

S23、多头预测：在得到提取的特征后，网络预测层将高分辨率特征转换为热图，同时预测每一个关键点的嵌入向量；

S24、损失计算：模型前向传播得到预测结果，与对应的真实标注进行均方差损失和分组损失的计算来反向传播进行模型优化；

S25、模型输出：直至模型优化至达到输出标准，结束模型训练，最终将模型文件输出；

S3、对S25输出的地图关键点检测模型进行量化；

S4、地图关键点检测模型推理，输出地图位置缺失识别结果。

2.根据权利要求1所述的高效的自底向上的地图位置缺失识别方法，其特征在于：基于互联网真实图像数据，通过训练好的CNN分类模型来获取输入数据的类别，将类别为地图的数据进行收集整理。

3.根据权利要求2所述的高效的自底向上的地图位置缺失识别方法，其特征在于：借助标注工具对地图数据进行地图关键点的标注；地图关键点的标注信息包含每个关键位置的坐标信息，当一张图片中同时包含多个地图样本时，标注信息还包括关键点的分组信息，即指示哪些关键点属于同一个地图样本。

4.根据权利要求1所述的高效的自底向上的地图位置缺失识别方法，其特征在于：关键点检测模型的训练数据集构建过程为：在标注了至少4000条的地图关键点数据后进行地图关键点检测模型的训练，然后使用训练好的关键点检测模型在未标注数据上进行推理，之后人工对模型预测的关键点结果进行微调；最终将这两部分标注数据汇总作为模型的训练数据集。

5.根据权利要求1所述的高效的自底向上的地图位置缺失识别方法，其特征在于：S21中，数据预处理方式包括但不限于图片的颜色变换、尺寸缩放、像素归一化；

预处理过的图片组合得到用于训练的mini-batch，每一个mini-batch包含32张图像。

6.根据权利要求5所述的高效的自底向上的地图位置缺失识别方法，其特征在于：S22中，特征提取使用高分辨率网络结构，首先生成一个高分辨率的特征，然后进行反卷积操作，生成一个分辨率是前者两倍的特征；在训练时，在这两个尺度特征上同时进行监督。

7.根据权利要求6所述的高效的自底向上的地图位置缺失识别方法，其特征在于：S23中，属于同一组的关键点的嵌入向量差值小于1，根据此可以将所有关键点进行分组；根据分组结果，取出每一组中每一个通道的热图，执行3×3最大池化操作来获取该地图的所有预设关键位置的关键点坐标和得分。

8.根据权利要求7所述的高效的自底向上的地图位置缺失识别方法，其特征在于：S24中，预测结果包括所有地图样本的各个关键点的坐标、得分以及嵌入向量。关键点热图的损失使用均方差损失函数：

其中，分别为真实标签和预测的标签，N为总的目标数量；对于每一个地图样本来说，N为17。

在得到关键点预测坐标后，与对应的真实标注的关键点坐标进行均方差损失的计算，之后将所有关键点的损失相加取平均，作为该地图样本的关键点的损失。

嵌入向量的损失使用分组损失函数：

其中，为第n个地图样本的第k个关键点的真实标注（该点的位置坐标），/>为预测的第k个关键点的热图，/>为像素位置x的标记tag的值（即嵌入向量的值），/>为权重参数，第n个地图样本的参考嵌入向量，/>则为除第n个地图样本外的另一地图样本的参考嵌入向量。

总的损失为热图损失和嵌入向量损失的加权和，具体如下：

其中，为嵌入向量使用的分组损失，/>为热图使用的均方差损失。

9.根据权利要求1所述的高效的自底向上的地图位置缺失识别方法，其特征在于：模型的量化流程为：将模型转换为中间形式，使用ONNX形式；在得到ONNX模型后需要进行简化，最后基于简化后的ONNX模型进行TensorRT模型量化，最终输出量化后的模型权重。

10.根据权利要求8所述的高效的自底向上的地图位置缺失识别方法，其特征在于：模型推理过程为：

S41、对于获取到的待检测地图图像进行预处理；

S42、将预处理后的图像送入地图关键点检测模型中进行关键点的检测，得到的预测值主要包含地图的关键位置的关键点坐标、对应的得分以及对应于每个关键点的嵌入向量；

S43、基于嵌入向量将所有关键点进行分组，得到每一个地图样本的所有关键点检测结果；

S44、依次取出每一个地图样本的每一个关键点的得分进行位置缺失的判断；循环此步骤直至所有关键点都判别完成；

S45、汇总判别结果进行输出。