CN112150804B - 一种基于MaskRCNN算法的城市多类型交叉口识别方法 - Google Patents

Abstract

本发明涉及了一种基于MaskRCNN算法的城市多类型交叉口识别方法，包括轨迹数据的处理、特征提取、训练深度学习模型以及利用所述深度学习模型识别交叉口的类型。本发明能够提高从轨迹数据中提取交叉口的准确率，并对识别出来的交叉口准确分类，本发明相对于传统方法从轨迹数据中识别交叉口来说是一种新的思路。

Description

一种基于MaskRCNN算法的城市多类型交叉口识别方法

技术领域

本发明涉及地理信息系统与智能交通研究领域，尤其是涉及一种基于MaskRCNN算法的城市多类型交叉口识别方法。

背景技术

交叉口是城市交通体系的重要组成部分。按照交叉口的形状，可以将城市交叉口分为几种常见的类型：十字形交叉口、T形状交叉口、环形交叉口、Y形交叉口、X形交叉口、五岔交叉口。目前，获取城市道路信息的数据源包括：高分辨率遥感影像、时空轨迹数据等。遥感影像由于受到光照、树木遮挡、高楼的阴影等的影响，对交叉口的识别有比较大的影响，而随着GPS装置的不断普及，时空轨迹数据成为获取城市道路信息的重要数据源。相较于高精度遥感影像数据，记录移动目标随时间变化的空间位置及其他运动属性的时空轨迹大数据(大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合)来源广、成本低蕴含大量城市道路静态、动态信息。国内对于基于轨迹数据的道路交叉口的提取，大多运用聚类，统计等传统方法，采用深度学习的方法识别交叉口一般基于遥感影像数据。国内学者唐炉亮、杨雪等人(2017)采用基于距离和角度的生长聚类方法进行转向点对的空间聚类，并采用基于局部点连通性的聚类方法识别交叉口。国外学者Vedat Tümen和Burhan Ergen(2020)将相机和激光测距仪获得的图像作为输入，使用基于卷积神经网络的新模型来识别道路上的交叉路口。然而，对于利用深度学习的方法使用轨迹数据来识别交叉口的研究相对较少。

发明内容

有鉴于此，本发明提供一种基于MaskRCNN算法的城市多类型交叉口识别方法。

一种基于MaskRCNN算法的城市交叉口识别方法，包括以下步骤：

步骤1：轨迹数据清洗，将城市的轨迹数据进行预处理；

步骤2：轨迹数据分割，在步骤1对轨迹数据进行处理之后，利用坐标按照nkm*nkm的区域对处理后的原始数据进行分割，每个区域轨迹点数据保存为一个文本文档；

步骤3：对步骤2分割的每个nkm*nkm区域的轨迹点数据进行可视化的绘制，生成RGB三通道图片，在可视化轨迹点的同时找出转弯点对，通过对转弯点进行颜色区分，使MaskRCNN模型在训练中更容易得到交叉口的特征；

步骤4：样本标记和训练；在步骤3可视化之后，将生成的图片数据按比例分为训练集、验证集和测试集三部分，之后利用标注工具via对训练集数据的交叉口的边缘进行分类标记得到json文件，该文件会最终和图片数据一起作为MaskRCNN模型的输入；在预训练中，使用迁移学习的方法提高训练效率，用在COCO数据集上训练的模型初始化ResNet网络，并对最后的输出层做随机初始化，得到MaskRCNN模型初始化参数值，并利用得到的MaskRCNN模型对训练集进行训练，然后根据正向传播和反向传播对ResNet网络的参数进行更新，通过对验证集的验证效果进行超参数的调整；直到模型收敛，得到训练好的MaskRCNN模型参数文件；

步骤5：测试，用步骤4训练好的MaskRCNN模型对测试集进行测试，将测试后的图片拼接查看整体效果，然后对测试结果包括实际的交叉口数量、识别出的交叉口类别及对应的数量进行量化统计，计算准确率、精确率以及召回率，最后根据模型的训练日志对模型进行分析，绘制训练loss曲线，根据曲线是否平滑及收敛判断该模型是否可以有效地进行目标识别，如果曲线不平滑，频繁出现大幅度的波动的变化以及曲线的loss下降一点后不再下降到理想水平，说明超参数设置有问题，此时需要重新对超参数进行调整。

进一步地，步骤1中预处理包括将轨迹数据中的日期字段转化为时间戳，计算前后轨迹点的时间差值，大于30秒将轨迹点去除，循环执行将所有时间间隔大的轨迹点去除；以及采用基于Delaunay三角网的密度聚类方式,剔除多余漂移点。

进一步地，步骤2中采用栅格化处理，将城市轨迹数据分割成一个个大小为1km*1km的区域。

进一步地，步骤3中找出转弯点对的目的是为了更加突出交叉口的特征，在大量轨迹点的条件下，车辆轨迹在交叉口处就会出现转弯的情况，转弯点对是根据速度和角度两个属性进行判别，角度的计算是每次取同一辆车相邻时刻的三个轨迹点按向量的方式计算出夹角，此夹角的范围为0°至180°，在本发明中将转弯点对的角度判别阈值设定为k，k＝45°；当夹角大于45°，三个轨迹点的R通道值取255，否则取0，对于速度，当轨迹点的速度≤30km/h时，B通道值为255，否则为0，对于G通道值取固定常量0；因此有以下四种情况：

a)角度大于45°，速度小于等于30km/h，低速转弯R＝1，B＝1，G＝0，紫色；

b)角度大于45°，速度大于30km/h，高速转弯R＝1，B＝0，G＝0，红色；

c)角度小于45°，速度小于等于30km/h，低速直行R＝0，B＝1，G＝0，蓝色；

d)角度小于45°，速度大于30km/h，高速直行R＝0，B＝0，G＝0，黑色。

进一步地，角度的计算步骤如下：假设三个相邻轨迹点分别为第一点坐标(x₁，y₁)、第二点坐标(x₂，y₂)、第三点坐标(x₃，y₃)，第一和第二个点构成向量

第二和第三个点构成向量

记X₁＝x₂-x₁，Y₁＝y₂-y₁，X₂＝x₃-x₂，Y₂＝y₃-y₂，两个向量的夹角θ计算公式如下：

进一步地，步骤4中训练集、验证集和测试集的比例为：训练集∶验证集∶测试集＝6∶2∶2。

本发明提供的技术方案带来的有益效果是：降低了获取城市交叉口结构的成本，且识别方法简单、容易实现。

附图说明

图1是本发明一种基于MaskRCNN算法的城市多类型交叉口识别方法流程图；

图2是本发明一种基于MaskRCNN算法的城市多类型交叉口识别方法相邻三个轨迹点的角度计算过程图；

图3是本发明一种基于MaskRCNN算法的城市多类型交叉口识别方法轨迹点样例图；

图4是本发明一种基于MaskRCNN算法的城市多类型交叉口识别方法可视化轨迹点图片标注图；

图5是本发明一种基于MaskRCNN算法的城市多类型交叉口识别方法使用的MaskR-CNN模型结构图；

图6是本发明一种基于MaskRCNN算法的城市多类型交叉口识别方法测试结果部分拼接图；

图7是本发明一种基于MaskRCNN算法的城市多类型交叉口识别方法训练模型的loss曲线图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，本发明实施例提供的一种基于MaskRCNN算法的城市多类型交叉口识别的方法，包括如下步骤：

步骤1：将城市的轨迹数据进行预处理，由于使用的低频轨迹数据，需要将前后时间间隔大于30秒的轨迹点去除，原始数据会存在漂移点以及低密度点，利用Delaunay三角剖分算法对数据进行预处理，去除冗余信息，具体实施如下：

已有的车辆GPS轨迹点数据，将数据中的日期字段转化为时间戳，计算前后轨迹点的时间差值，大于30秒将点去除，循环执行将所有时间间隔大的点去除，去除漂移点和低密度点，使用Delaunay三角网算法，按照基于Delaunay密度聚类方法对漂移点进行去除。

步骤2：在步骤1对轨迹数据进行处理之后，利用坐标按照1km*1km的区域对轨迹点数据进行分割，每个区域轨迹点数据保存为一个文本文档；具体操作实施如下：

将轨迹点的经纬度转化为大地坐标(x，y)，为了方便将轨迹点区域分割成1km*1km的区域，需要知道轨迹点的分布，即需要计算轨迹数据的x坐标和y坐标的最大最小值，大地坐标系的特点是左上角的x值最小y值最大，右下角的x值最大y值最小，计算轨迹点数据中的最小x和最小y的值以及最大x和最大y值，然后按照1km*1km的坐标范围将数据分割并将每个区域的轨迹数据分别保存为一个文本文档。

步骤3：对每个1km*1km区域的轨迹点数据进行可视化的绘制，生成RGB三通道图片，在可视化轨迹点的同时找出转弯点对；找出转弯点对的目的是为了更加突出交叉口的特征，因为在大量轨迹点的条件下，车辆轨迹在交叉口处就会出现转弯的情况。

转弯点对是根据速度和角度两个属性进行判别，角度的计算是每次取同一辆车相邻时刻的三个轨迹点按向量的方式计算出夹角，此夹角的范围为0°至180°。由于普通车辆定位装置测得的航向角度精度在15°左右，而且根据我国道路建设标准，交叉口转弯角度最小为60°。因此，在本发明中将转弯点对的角度判别阈值设定为45°。当夹角大于45°，三个点的R通道值取255，否则取0。对于速度，当轨迹点的速度小于或等于30km/h(30km/h根据相关研究以及对数据集的统计得出)，B通道值为255，否则为0，对于G通道值取固定常量0。根据以上步骤会有以下四种情况：

e)角度大于45°，速度小于等于30km/h，低速转弯R＝1，B＝1，G＝0，紫色；

f)角度大于45°，速度大于30km/h，高速转弯R＝1，B＝0，G＝0，红色；

g)角度小于45°，速度小于等于30km/h，低速直行R＝0，B＝1，G＝0，蓝色；

h)角度小于45°，速度大于30km/h，高速直行R＝0，B＝0，G＝0，黑色；

具体实施如下：

由于交叉口处会发生转向，所以首先找出转弯点对，提取转弯点对是根据速度和角度两种属性判断的。对于速度，部分数据包含速度字段，可以直接用，另有部分数据不含速度字段，此时需要根据前后两点的距离和时间，计算其平均速度当作轨迹点的速度属性。

对于角度，采用向量的方法计算，每次取三个相邻的轨迹点构成两个向量，利用向量的公式计算角度，假设三个相邻轨迹点分别为第一坐标点(x₁，y₁)、第二坐标点(x₂，y₂)和第三坐标点(x₃，y₃)，第一和第二个点构成向量

第二和第三个点构成向量

记X₁＝x₂-x₁，Y₁＝y₂-y₁，X₂＝x₃-x₂，Y₂＝y₃-y₂，两个向量的夹角θ计算如图图2所示，计算公式如下：

按照两点间距离和时间计算速度属性以及利用公式(5)计算角度属性，根据速度和角度属性按之前的四种情况进行图片生成，每一个1km*1km的区域生成一张轨迹图，生成的轨迹如图3所示。

步骤4，样本标记和训练，在步骤3可视化之后，将生成的图片数据按训练集∶验证集∶测试集＝6∶2∶2的比例分为三部分，之后利用标注工具via对训练集数据的交叉口的边缘进行分类标记并导出为json文件，该文件会最终和图片数据一起作为MaskRCNN模型的输入；在预训练中，使用迁移学习的方法提高训练效率，迁移学习是指在训练模型之前采用别人公开的预训练模型作为自己模型的初始化，。当我们使用预训练模型后，我们就可以在自己有限的计算资源对自己的数据进行训练，对预训练模型的权重进行小范围的调整，最后达到自己的要求。用在COCO数据集上训练的模型初始化网络，并对最后的输出层做随机初始化，COCO数据库是微软发布的一个大型图像数据集，专为对象检测、分割、语义分割等。利用实例分割模型MaskRCNN对训练集进行训练，然后根据正向传播和反向传播对网络的参数进行更新，直到模型收敛，保存训练好的模型；具体操作实施如下：

首先将需要标注的数据导入到标注工具via中，然后创建多边形标注，将交叉口用多边形标注出来，标注的时候尽可能的将交叉口形状轮廓详细标注，如图4所示。标记完数据之后，选择一个具有分割图像能力的深度卷积神经网络，在本实施例中，选择的是MaskRCNN模型，其结构如图5所示，该模型流程是首先为图片数据的输入，通过FPN得到五种不同大小的特征图，特征图在RPN层的作用下得到区域建议和区域得分，经过RoI Align层在预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图，最后在剩余的建议框中对实例生成掩膜覆盖，同时通过全连接层对边框进行调整及框内物体进行分类。将图片和标签送入模型，设置训练参数，设置的参数有训练轮次，每轮训练步数，每次读取数据的个数，学习率等，通过对验证集的验证效果进行超参数的调整。

步骤5，应用步骤4训练好的MaskRCNN模型对测试集进行测试，将测试后的图片拼接查看整体效果，拼接后的部分效果图如图6所示，图中的虚线框是对交叉口进行目标检测，带有颜色的掩膜是对交叉口进行实例分割，虚线框内的字母表示交叉口的代号；A：十字交叉口，B：T形交叉口，C：环形交叉口，D：Y形交叉口，E：X形交叉口，F：五岔路口，数字表示交叉口被识别成对应类型的概率，概率范围为0至1。接着对测试结果进行量化统计，计算准确率、精确率以及召回率。最后根据模型的训练日志对模型进行分析，绘制训练loss曲线，根据曲线是否平滑及收敛判断该模型是否可以有效地进行目标识别，如果曲线不平滑，频繁出现大幅度的波动的变化以及曲线的loss下降一点后不再下降到理想水平，说明参数设置有问题，例如学习率的设置和梯度的计算等等，此时需要重新对超参数进行调整。具体操作实施如下：

计算准确率、精确率以及召回率需要以下四个值：

TP：将正类预测为正类数，即存在交叉口被正确识别成对应类型的交叉口的个数；

TN：将负类预测为负类数，即非交叉口的部分识别成非交叉口部分，由于本发明只是识别交叉口，所以该值为0；

FP：将负类预测为正类数，即非交叉口的部分被识别成交叉口的个数；

FN：将正类预测为负类数，即交叉口的部分没有被识别出来的个数；

利用tensorboard对训练的日志绘制loss曲线，绘制时横坐标是训练轮次，纵坐标是损失值，训练模型的loss曲线如图7所示，曲线的走势是在降低并且无限接近一个较低的损失值，说明损失在不断降低并接近损失的最低值在图中显示500轮训练过后的loss值为0.04365，模型收敛，并且曲线没有出现比较大的上下波动，说明参数设置的比较合理。测试区域为武汉市一个长32km宽12km的矩形区域，通过对测试集结果的统计，实际交叉口个数为387个，其中十字形交叉口105个，T形交叉口174个，环形交叉口1个，Y形交叉口104个，X形交叉口3个，五岔口0个，识别出来的交叉口为353个，其中十字形交叉口103个，T形交叉口155个，环形交叉口0个，Y形交叉口92个，X形交叉口3个，五岔口0个。计算准确率为90.2％，精确率98.8％为以及召回率为91.1％。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于MaskRCNN算法的城市多类型交叉口识别方法，其特征在于，包括以下步骤：

步骤1：轨迹数据清洗，将城市的轨迹数据进行预处理；

步骤2：轨迹数据分割，在步骤1对轨迹数据进行处理之后，利用坐标按照nkm*nkm的区域对处理后的原始数据进行分割，每个区域轨迹点数据保存为一个文本文档；

步骤3：对步骤2分割的每个nkm*nkm区域的轨迹点数据进行可视化的绘制，生成RGB三通道图片，在可视化轨迹点的同时找出转弯点对，通过对转弯点进行颜色区分，使MaskRCNN模型在训练中更容易得到交叉口的特征；

步骤4：样本标记和训练；在步骤3可视化之后，将生成的图片数据按比例分为训练集、验证集和测试集三部分，之后利用标注工具via对训练集数据的交叉口的边缘进行分类标记得到json文件，该文件会最终和图片数据一起作为MaskRCNN模型的输入；在预训练中，使用迁移学习的方法提高训练效率，用在COCO数据集上训练的模型初始化ResNet网络，并对最后的输出层做随机初始化，得到MaskRCNN模型初始化参数值，并利用得到的MaskRCNN模型对训练集进行训练，然后根据正向传播和反向传播对ResNet网络的参数进行更新，通过对验证集的验证效果进行超参数的调整；直到模型收敛，得到训练好的MaskRCNN模型参数文件；

步骤5：测试，用步骤4训练好的MaskRCNN模型对测试集进行测试，将测试后的图片拼接查看整体效果，然后对测试结果包括实际的交叉口数量、识别出的交叉口类别及对应的数量进行量化统计，计算准确率、精确率以及召回率，最后根据模型的训练日志对模型进行分析，绘制训练loss曲线，根据曲线是否平滑及收敛判断该模型是否可以有效地进行目标识别，如果曲线不平滑，频繁出现大幅度的波动的变化以及曲线的loss下降一点后不再下降到理想水平，说明超参数设置有问题，此时需要重新对超参数进行调整。

2.根据权利要求1所述的基于MaskRCNN算法的城市多类型交叉口识别方法，其特征在于，步骤1中预处理包括将轨迹数据中的日期字段转化为时间戳，计算前后轨迹点的时间差值，大于30秒将轨迹点去除，循环执行将所有时间间隔大的轨迹点去除；以及采用基于Delaunay三角网的密度聚类方式，剔除多余漂移点。

3.根据权利要求1所述的基于MaskRCNN算法的城市多类型交叉口识别方法，其特征在于，步骤2中采用栅格化处理，将城市轨迹数据分割成一个个大小为1km*1km的区域。

4.根据权利要求1所述的基于MaskRCNN算法的城市多类型交叉口识别方法，其特征在于，步骤3中找出转弯点对的目的是为了更加突出交叉口的特征，在大量轨迹点的条件下，车辆轨迹在交叉口处就会出现转弯的情况，转弯点对是根据速度和角度两个属性进行判别，角度的计算是每次取同一辆车相邻时刻的三个轨迹点按向量的方式计算出夹角，此夹角的范围为0°至180°，在本发明中将转弯点对的角度判别阈值设定为k，k＝45°；当夹角大于45°，三个轨迹点的R通道值取255，否则取0，对于速度，当轨迹点的速度≤30km/h时，B通道值为255，否则为0，对于G通道值取固定常量0；因此有以下四种情况：

a)角度大于45°，速度小于等于30km/h，低速转弯R＝1，B＝1，G＝0，紫色；

b)角度大于45°，速度大于30km/h，高速转弯R＝1，B＝0，G＝0，红色；

c)角度小于45°，速度小于等于30km/h，低速直行R＝0，B＝1，G＝0，蓝色；

d)角度小于45°，速度大于30km/h，高速直行R＝0，B＝0，G＝0，黑色。

5.根据权利要求4所述的基于MaskRCNN算法的城市多类型交叉口识别方法，其特征在于，角度的计算步骤如下：假设三个相邻轨迹点分别为第一点坐标(x₁，y₁)、第二点坐标(x₂，y₂)、第三点坐标(x₃，y₃)，第一和第二个点构成向量

第二和第三个点构成向量

记X₁＝x₂-x₁，Y₁＝y₂-y₁，x₂＝x₃-x₂，Y₂＝y₃-y₂，两个向量的夹角θ计算公式如下：

6.根据权利要求1所述的基于MaskRCNN算法的城市多类型交叉口识别方法，其特征在于，步骤4中训练集、验证集和测试集的比例为：训练集∶验证集∶测试集＝6∶2∶2。

Images