CN116797435A - 一种利用公交车辆进行道路交通标志牌巡检的处理系统 - Google Patents

Abstract

本发明实施例涉及一种利用公交车辆进行道路交通标志牌巡检的处理系统，所述系统包括：多个第一公交车辆和第一巡检平台；每个第一公交车辆上加载一个对应的第一巡检设备，并由该第一巡检设备与第一巡检平台连接；第一巡检平台包括第一服务器、第一标志牌数据库和第一巡检报告数据库，该第一服务器与第一巡检设备、第一标志牌数据库和第一巡检报告数据库分别连接、通过本发明系统可以提高对道路交通标志牌的巡检频次、巡检反馈实时性和巡检路网覆盖率；还可以降低巡检的人工成本。

Description

一种利用公交车辆进行道路交通标志牌巡检的处理系统

技术领域

本发明涉及数据处理领域，特别涉及一种利用公交车辆进行道路交通标志牌巡检的处理系统。

背景技术

交通道路两侧的道路交通标志牌在使用一段时间之后，受环境影响可能会出现诸如褪色、弯折、破损和被遮挡等情况，一旦发生这些情况就应对道路交通标志牌进行及时维护。目前道路管理机构对道路交通标志牌的常规维护手段大多还采用人工巡检方式进行处理，即由路检人员定期对各路段道路两侧的道路交通标志牌进行状态观测并将出现异常的标志牌信息向管理机构汇总。这种常规处理方式存在一些问题：1）受人工数量的限制，人工巡检范围很难做到大面积路网覆盖；2）受人员工作时限的限制，人工巡检很难做到全天候、高频次巡检，因此人工巡检的实时性也很差。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种利用公交车辆进行道路交通标志牌巡检的处理系统，该系统包括：多个第一公交车辆和第一巡检平台；每个第一公交车辆上加载一个对应的第一巡检设备，并由该第一巡检设备与第一巡检平台连接；第一巡检平台包括第一服务器、第一标志牌数据库和第一巡检报告数据库，该第一服务器与第一巡检设备、第一标志牌数据库和第一巡检报告数据库分别连接；系统中的第一巡检设备用于在车辆行驶过程中对沿途各个道路交通标志牌进行数据采集和状态分析生成实时的标志牌巡检数据向第一巡检平台反馈；第一巡检平台则根据实时接收的标志牌巡检数据对第一标志牌数据库进行实时更新，并定期根据第一标志牌数据库对第一巡检报告数据库进行巡检报告添加。通过本发明系统一方面可以基于巡检设备实现对道路交通标志牌的全天候、高频次自动巡检，可以利用巡检设备与远程巡检平台的实时通讯提高巡检反馈的实时性；另一方面还可以利用公交路网提高自动巡检的路网覆盖率；再一方面还可以有效降低巡检的人工成本。

为实现上述目的，本发明实施例提供了一种利用公交车辆进行道路交通标志牌巡检的处理系统，所述系统包括：多个第一公交车辆和第一巡检平台；

所述第一公交车辆上加载一个对应的第一巡检设备；所述第一巡检设备与所述第一巡检平台连接；所述第一巡检设备用于在行驶过程中按预设的采样频率对自车定位坐标进行数据采集；并对自车行驶道路进行实时视频拍摄，并按所述采样频率对实时视频进行视频帧图像采样生成对应的第一图像；并将所述第一图像对应的视频时间作为对应的第一图像时间戳；并为所述第一图像分配一个唯一的图像标识记为对应的第一图像标识；并将与所述第一图像时间戳对齐的自车定位坐标作为对应的第一自车定位坐标；并由各组对应的所述第一图像标识、所述第一图像时间戳、所述第一自车定位坐标和所述第一图像组成一个对应的第一图像数据组向预设的第一缓存队列中添加；并根据所述第一缓存队列进行标志牌目标时序状态跟踪处理得到多个第一目标跟踪序列；并根据各个所述第一目标跟踪序列进行标志牌巡检数据提取处理生成对应的第一标志牌巡检数据向所述第一巡检平台发送；

所述第一巡检平台包括第一服务器、第一标志牌数据库和第一巡检报告数据库；所述第一服务器与各个所述第一巡检设备分别连接，还分别与所述第一标志牌数据库和所述第一巡检报告数据库连接；所述第一服务器用于根据所述第一标志牌巡检数据对所述第一标志牌数据库进行标志牌状态更新处理；所述第一服务器还用于定期根据所述第一标志牌数据库对所述第一巡检报告数据库进行巡检报告添加处理。

优选的，所述第一缓存队列包括多个所述第一图像数据组，并按时间先后顺序添加所述第一图像数据组；所述第一图像数据组包括所述第一图像标识、所述第一图像时间戳、所述第一自车定位坐标和所述第一图像；

各个所述第一目标跟踪序列对应一个第一目标标识；所述第一目标跟踪序列包括多个第一目标数据组，并按时间先后顺序添加所述第一目标数据组；所述第一目标数据组包括第一目标图像标识、第一目标时间戳、第一目标识别框和第一目标标志牌状态；所述第一目标识别框包括第一中心点坐标、第一识别框宽度、第一识别框高度和第一目标类型；所述第一中心点坐标为所述第一目标识别框的中心点在所述第一目标图像标识对应的所述第一图像上的像素坐标；所述第一识别框宽度和所述第一识别框高度分别为所述第一目标识别框在所述第一目标图像标识对应的所述第一图像上的识别框图像宽度和高度；所述第一目标类型包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；所述第一目标标志牌状态由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

所述第一标志牌巡检数据包括第一巡检标志牌坐标、第一巡检标志牌图像、第一巡检标志牌类型和第一巡检标志牌状态；所述第一巡检标志牌类型包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；所述第一巡检标志牌状态由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

所述第一标志牌数据库包括多个第一标志牌记录；所述第一标志牌记录包括第一标志牌标识字段、第一标志牌坐标字段、第一标志牌安装图像字段、第一标志牌类型字段和第一标志牌状态字段；所述第一标志牌类型字段包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；所述第一标志牌状态字段由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

所述第一巡检报告数据库包括多个第一巡检报告记录；所述第一巡检报告记录包括第一报告时间字段和第一报告数据字段。

优选的，所述第一巡检设备具体用于在所述根据所述第一缓存队列进行标志牌目标时序状态跟踪处理得到多个第一目标跟踪序列时，将所述第一缓存队列中最新添加的所述第一图像数据组作为对应的当前图像数据组，并将所述当前图像数据组的所述第一图像标识、所述第一图像时间戳、所述第一自车定位坐标和所述第一图像作为对应的当前图像标识、当前图像时间戳、当前自车定位坐标和当前图像；

并基于预设的目标识别与分类模型，对所述当前图像进行道路交通标志牌目标识别和分类处理得到对应的第一目标识别框集合并保存；所述第一目标识别框集合不为空时由一个或多个所述第一目标识别框组成；所述目标识别与分类模型基于YOLO模型结构实现；

并在所述第一目标识别框集合不为空时，将所述当前图像上各个所述第一目标识别框覆盖的图像区域提取出来作为对应的第一标志牌图像；并对各个所述第一标志牌图像进行褪色、弯折、破损和被遮挡识别生成对应的所述第一目标标志牌状态；

并对所述当前图像数据组是否为所述第一缓存队列中的第一个所述第一图像数据组进行确认；

若确认所述当前图像数据组为所述第一缓存队列中的第一个所述第一图像数据组，则为每个所述第一目标识别框分配一个对应的唯一目标标识作为对应的所述第一目标标识；并为各个所述第一目标标识初始化一个空序列作为对应的所述第一目标跟踪序列；并由每个所述第一目标标识对应的一组所述当前图像标识、所述当前图像时间戳、所述第一目标识别框和所述第一目标标志牌状态构成一个对应的所述第一目标数据组；并将各个所述第一目标数据组向各自对应的所述第一目标跟踪序列中添加；

若确认所述当前图像数据组不为所述第一缓存队列中的第一个所述第一图像数据组，则将所述第一缓存队列中所述当前图像数据组的前一个所述第一图像数据组作为对应的前一图像数据组；并将所述当前图像数据组对应的各个所述第一目标识别框记为对应的第二目标识别框，将所述前一图像数据组对应的各个所述第一目标识别框记为对应的第三目标识别框；并对所述第三目标识别框的数量是否不为0进行识别，若所述第三目标识别框的数量不为0则基于目标关联算法对与各个所述第二目标识别框关联匹配的所述第三目标识别框对应的目标标识进行识别得到对应的第二目标标识，若所述第三目标识别框的数量为0则将所有所述第二目标识别框对应的所述第二目标标识都设为空标识；并对所有所述第二目标标识进行遍历；并在遍历时，将当前遍历的所述第二目标标识作为对应的当前目标标识，并将所述当前目标标识对应的所述第二目标识别框作为对应的当前目标识别框，并将所述当前目标识别框对应的所述第一目标标志牌状态作为对应的当前目标标志牌状态；并对所述当前目标标识是否为空标识进行识别；若所述当前目标标识不为空标识，则将所述当前目标标识对应的所述第一目标跟踪序列作为对应的当前目标跟踪序列，并由所述当前图像标识、所述当前图像时间戳、所述当前目标识别框和所述当前目标标志牌状态组成一个对应的所述第一目标数据组向所述当前目标跟踪序列中添加；若所述当前目标标识为空标识，则为所述当前目标识别框分配一个对应的唯一目标标识作为新的所述当前目标标识，并为所述当前目标标识初始化一个空的所述第一目标跟踪序列作为对应的所述当前目标跟踪序列，并由所述当前图像标识、所述当前图像时间戳、所述当前目标识别框和所述当前目标标志牌状态组成一个对应的所述第一目标数据组向所述当前目标跟踪序列中添加。

进一步的，所述第一巡检设备具体用于在所述对各个所述第一标志牌图像进行褪色、弯折、破损和被遮挡识别生成对应的所述第一目标标志牌状态时，将所述第一标志牌图像对应的所述第一目标识别框的所述第一目标类型作为对应的第一标志牌类型；并根据所述第一标志牌类型对所述第一标志牌图像进行褪色状态识别生成对应的第一识别状态；并根据所述第一标志牌类型对所述第一标志牌图像进行弯折状态识别生成对应的第二识别状态；并对所述第一标志牌图像进行破损状态识别生成对应的第三识别状态；并对所述第一标志牌图像进行被遮挡状态识别生成对应的第四识别状态；并对所述第一、第二、第三和第四识别状态是否全为正常状态进行识别，若是则将对应的所述第一目标标志牌状态设为正常状态，若否则由所述第一、第二、第三和第四识别状态中不为正常状态的一个或多个状态组成对应的所述第一目标标志牌状态；所述第一识别状态包括正常状态和褪色状态，所述第二识别状态包括正常状态和弯折状态，所述第三识别状态包括正常状态和破损状态，所述第四识别状态包括正常状态和被遮挡状态。

进一步优选的，所述第一巡检设备具体用于在所述根据所述第一标志牌类型对所述第一标志牌图像进行褪色状态识别生成对应的第一识别状态时，从本地预置的多类标志牌背景颜色像素值中选出与所述第一标志牌类型匹配的标志牌背景颜色像素值作为对应的第一背景像素值；并对所述第一标志牌图像中所有标志牌背景像素点的像素值进行均值计算生成对应的第二背景像素值；并将所述第一背景像素值减去所述第二背景像素值的差作为对应的第一背景像素差；并对所述第一背景像素差是否超过预设的像素差阈值进行识别；若未超过则设置对应的所述第一识别状态为正常状态，若已超过则设置对应的所述第一识别状态为褪色状态；

所述第一巡检设备具体用于在所述根据所述第一标志牌类型对所述第一标志牌图像进行弯折状态识别生成对应的第二识别状态时，从本地预置的多类标志牌形状中选出与所述第一标志牌类型匹配的标志牌形状作为对应的第一标志牌形状；并对所述第一标志牌图像进行边缘形状检测生成对应的第二标志牌形状；并对所述第一、第二标志牌形状是否匹配进行识别；若匹配则设置对应的所述第二识别状态为正常状态，若不匹配则设置对应的所述第二识别状态为弯折状态；

所述第一巡检设备具体用于在所述对所述第一标志牌图像进行破损状态识别生成对应的第三识别状态时，基于预设的破损识别与分类模型，对所述第一标志牌图像进行破损目标识别和分类处理得到对应的第一破损目标识别框集合；并对所述第一破损目标识别框集合中第一破损目标识别框的总数进行统计生成对应的第一统计总数；并对所述第一统计总数是否超过预设的破损数量阈值进行识别；若未超过则设置对应的所述第三识别状态为正常状态，若已超过则设置对应的所述第三识别状态为破损状态；所述第一破损目标识别框集合不为空时由一个或多个所述第一破损目标识别框组成；各个所述第一破损目标识别框包括一个第一破损目标类型，所述第一破损目标类型包括孔洞、涂改、刮痕、锈斑和标志信息脱落；所述破损识别与分类模型基于YOLO模型结构实现；

所述第一巡检设备具体用于在所述对所述第一标志牌图像进行被遮挡状态识别生成对应的第四识别状态时，基于预设的遮挡预测模型，对所述第一标志牌图像的三类遮挡状态的概率进行识别生成对应的三类遮挡状态概率；并对所述三类遮挡状态概率中的未遮挡状态概率是否超过预设的未遮挡概率阈值进行识别；若已超过则设置对应的所述第四识别状态为正常状态，若未超过则设置对应的所述第四识别状态为被遮挡状态；所述三类遮挡状态概率包括未遮挡状态概率、全遮挡状态概率和部分遮挡状态概率；所述遮挡预测模型基于由卷积神经网络和全连接网络组成的分类预测模型实现。

进一步的，所述第一巡检设备具体用于在所述基于目标关联算法对与各个所述第二目标识别框关联匹配的所述第三目标识别框对应的目标标识进行识别得到对应的第二目标标识时，将各个所述第二、第三目标识别框对应的所述第一自车定位坐标记为对应的第二、第三自车定位坐标；

并根据预设的摄像头内外参和对应的所述第二自车定位坐标对各个所述第二目标识别框的所述第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第一中心点世界坐标；并根据所述摄像头内外参和对应的所述第三自车定位坐标对各个所述第三目标识别框的所述第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第二中心点世界坐标；

并对各个所述第二目标识别框与每个所述第三目标识别框的直线距离进行计算生成对应的第一识别框间距a_i,j；i为所述第二目标识别框的索引，j为所述第三目标识别框的索引，1≤i≤N，1≤j≤M，N为所述第二目标识别框的数量，M为所述第三目标识别框的数量；所述第一识别框间距a_i,j为第i个所述第二目标识别框对应的所述第一中心点世界坐标到第j个所述第三目标识别框对应的所述第二中心点世界坐标之间的直线距离；

并由得到的所有所述第一识别框间距a_i,j组成一个矩阵形状为N×M的第一关联特征矩阵A{a_i,j}；

并基于目标关联算法对所述第一关联特征矩阵A{a_i,j}进行关联权重矩阵计算生成一个矩阵形状为N×M的第一关联权重矩阵W{w_i,j}；所述目标关联算法包括匈牙利算法和KM算法；所述第一关联权重矩阵W{w_i,j}包括N×M个所述第一关联权重w_i,j；

并对所述第一关联权重矩阵W{w_i,j}的所有所述第一关联权重w_i,j进行遍历；并在遍历时，将当前遍历的所述第一关联权重w_i,j作为对应的当前关联权重；并对所述当前关联权重对应的一对所述第二、第三目标识别框的所述第一目标类型是否匹配进行识别，若不匹配则将所述当前关联权重设为0；

并将所述第一关联权重矩阵W{w_i,j}中索引i相同的M个第一关联权重w_i,j聚为一组作为对应的第一关联权重组G_i；所述第一关联权重组G_i包括M个索引i相同的所述第一关联权重w_i,j；

并对所有所述第一关联权重组G_i进行遍历；并在遍历时，将当前遍历的所述第一关联权重组G_i作为对应的当前关联权重组，并将所述当前关联权重组对应的所述第二目标识别框作为对应的当前目标识别框，并将所述当前关联权重组中权重最大的所述第一关联权重w_i,j作为对应的当前最大权重；并对所述当前最大权重是否低于预设的权重阈值进行识别；若所述当前最大权重不低于所述权重阈值，则将所述当前最大权重对应的所述第三目标识别框对应的所述第一目标标识作为所述当前目标识别框对应的所述第二目标标识；若所述当前最大权重低于所述权重阈值，则将所述当前目标识别框对应的所述第二目标标识设为空标识。

优选的，所述第一巡检设备具体用于在所述根据各个所述第一目标跟踪序列进行标志牌巡检数据提取处理生成对应的第一标志牌巡检数据向所述第一巡检平台发送时，对所述第一目标跟踪序列中最近的所述第一目标时间戳与当前时间的时间间隔进行计算生成对应的第一时间间隔；

并在所述第一时间间隔超过预设的时间间隔阈值时，将所述第一缓存队列中与所述第一目标跟踪序列的各个所述第一目标数据组的所述第一目标图像标识对应的所述第一图像数据组的所述第一自车定位坐标提取出来按时间先后排序组成对应的第一自车定位坐标序列；

并对所述第一自车定位坐标序列的所有所述第一自车定位坐标进行遍历；并在遍历时，将当前遍历的所述第一自车定位坐标作为对应的当前自车定位坐标，并将所述当前自车定位坐标对应的所述第一图像数据组对应的所述第一目标数据组的所述第一目标识别框作为对应的当前目标识别框；并根据预设的摄像头内外参和所述当前自车定位坐标对所述当前目标识别框的所述第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第三中心点世界坐标；并在遍历结束时，将所有所述第三中心点世界坐标的平均坐标作为对应的所述第一巡检标志牌坐标；

并由所述第一目标跟踪序列的各个所述第一目标数据组的所述第一目标识别框对应的所述第一标志牌图像组成对应的第一图像集合；并基于图像清晰度评价算法对所述第一图像集合中各个所述第一标志牌图像的清晰度进行评价生成对应的第一评价分数，并将其中所述第一评价分数为最大分数的所述第一标志牌图像作为对应的所述第一巡检标志牌图像；所述图像清晰度评价算法包括Brenner梯度算法、Tenegrad梯度算法、Laplace梯度算法、方差算法和能量梯度算法；

并将所述第一目标跟踪序列中所述第一巡检标志牌图像对应的所述第一目标数据组的所述第一目标类型和所述第一目标标志牌状态作为对应的所述第一巡检标志牌类型和所述第一巡检标志牌状态；

并由得到的所述第一巡检标志牌坐标、所述第一巡检标志牌图像、所述第一巡检标志牌类型和所述第一巡检标志牌状态组成对应的所述第一标志牌巡检数据向所述第一巡检平台发送。

优选的，所述第一服务器具体用于在所述根据所述第一标志牌巡检数据对所述第一标志牌数据库进行标志牌状态更新处理时，将所述第一标志牌数据库中所述第一标志牌坐标字段与所述第一标志牌巡检数据的所述第一巡检标志牌坐标匹配且所述第一标志牌类型字段与所述第一标志牌巡检数据的所述第一巡检标志牌类型匹配的所述第一标志牌记录作为对应的匹配记录；并对所述匹配记录的所述第一标志牌状态字段是否与所述第一标志牌巡检数据的所述第一巡检标志牌状态匹配进行识别，若不匹配则使用所述第一巡检标志牌状态对所述第一标志牌状态字段进行重置。

优选的，所述第一服务器具体用于在所述定期根据所述第一标志牌数据库对所述第一巡检报告数据库进行巡检报告添加处理时，定期将所述第一标志牌数据库中所述第一标志牌状态字段不为正常状态的所述第一标志牌记录提取出来组成对应的第一报告数据；并将当前时间作为对应的第一报告时间；并在所述第一巡检报告数据库中新增一个所述第一巡检报告记录作为对应的新增记录；并将所述新增记录的所述第一报告时间字段和所述第一报告数据字段设为对应的所述第一报告时间和所述第一报告数据。

本发明实施例提供了一种利用公交车辆进行道路交通标志牌巡检的处理系统，该系统包括：多个第一公交车辆和第一巡检平台；每个第一公交车辆上加载一个对应的第一巡检设备，并由该第一巡检设备与第一巡检平台连接；第一巡检平台包括第一服务器、第一标志牌数据库和第一巡检报告数据库，该第一服务器与第一巡检设备、第一标志牌数据库和第一巡检报告数据库分别连接；系统中的第一巡检设备用于在车辆行驶过程中对沿途各个道路交通标志牌进行数据采集和状态分析生成实时的标志牌巡检数据向第一巡检平台反馈；第一巡检平台则根据实时接收的标志牌巡检数据对第一标志牌数据库进行实时更新，并定期根据第一标志牌数据库对第一巡检报告数据库进行巡检报告添加。通过本发明系统一方面基于巡检设备实现了对道路交通标志牌的全天候、高频次自动巡检，利用巡检设备与远程巡检平台的实时通讯提高了巡检反馈的实时性；另一方面还利用公交路网提高了自动巡检的路网覆盖率；再一方面还有效降低了巡检的人工成本。

附图说明

图1为本发明实施例提供的一种利用公交车辆进行道路交通标志牌巡检的处理系统的模块示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种利用公交车辆进行道路交通标志牌巡检的处理系统的模块示意图，如图1所示，本系统包括：多个第一公交车辆1和第一巡检平台2。

（一）第一公交车辆1

第一公交车辆1上加载一个对应的第一巡检设备11；第一巡检设备11与第一巡检平台2连接。

这里，本发明实施例的第一巡检设备11为一个带有定位模块、摄像头和通讯模块的装置、设备或服务器，对于普通公交车辆而言直接将该第一巡检设备11作为一个独立设备加装在车辆上即可，对于具备智能处理能力、带有行车电脑的智能公交车辆而言既可以直接将该第一巡检设备11作为一个独立设备加装在车辆上、也可以将第一巡检设备11的部分或全部功能融合到智能公交车辆的内部处理流程中。

第一巡检设备11用于在行驶过程中按预设的采样频率对自车定位坐标进行数据采集；并对自车行驶道路进行实时视频拍摄，并按采样频率对实时视频进行视频帧图像采样生成对应的第一图像；并将第一图像对应的视频时间作为对应的第一图像时间戳；并为第一图像分配一个唯一的图像标识记为对应的第一图像标识；并将与第一图像时间戳对齐的自车定位坐标作为对应的第一自车定位坐标；并由各组对应的第一图像标识、第一图像时间戳、第一自车定位坐标和第一图像组成一个对应的第一图像数据组向预设的第一缓存队列中添加；并根据第一缓存队列进行标志牌目标时序状态跟踪处理得到多个第一目标跟踪序列；并根据各个第一目标跟踪序列进行标志牌巡检数据提取处理生成对应的第一标志牌巡检数据向第一巡检平台2发送；

其中，第一缓存队列包括多个第一图像数据组，并按时间先后顺序添加第一图像数据组；第一图像数据组包括第一图像标识、第一图像时间戳、第一自车定位坐标和第一图像；

各个第一目标跟踪序列对应一个第一目标标识；第一目标跟踪序列包括多个第一目标数据组，并按时间先后顺序添加第一目标数据组；第一目标数据组包括第一目标图像标识、第一目标时间戳、第一目标识别框和第一目标标志牌状态；第一目标识别框包括第一中心点坐标、第一识别框宽度、第一识别框高度和第一目标类型；第一中心点坐标为第一目标识别框的中心点在第一目标图像标识对应的第一图像上的像素坐标；第一识别框宽度和第一识别框高度分别为第一目标识别框在第一目标图像标识对应的第一图像上的识别框图像宽度和高度；第一目标类型包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；第一目标标志牌状态由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

第一标志牌巡检数据包括第一巡检标志牌坐标、第一巡检标志牌图像、第一巡检标志牌类型和第一巡检标志牌状态；第一巡检标志牌类型包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；第一巡检标志牌状态由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成。

在本发明实施例的一个具体实现方式中，第一巡检设备11具体用于在根据第一缓存队列进行标志牌目标时序状态跟踪处理得到多个第一目标跟踪序列时：

步骤A1，将第一缓存队列中最新添加的第一图像数据组作为对应的当前图像数据组，并将当前图像数据组的第一图像标识、第一图像时间戳、第一自车定位坐标和第一图像作为对应的当前图像标识、当前图像时间戳、当前自车定位坐标和当前图像；

步骤A2，并基于预设的目标识别与分类模型，对当前图像进行道路交通标志牌目标识别和分类处理得到对应的第一目标识别框集合并保存；

其中，第一目标识别框集合不为空时由一个或多个第一目标识别框组成；目标识别与分类模型基于YOLO模型结构实现；

这里，第一目标识别框包括第一中心点坐标、第一识别框宽度、第一识别框高度和第一目标类型；第一中心点坐标为第一目标识别框的中心点在第一目标图像标识对应的第一图像上的像素坐标；第一识别框宽度和第一识别框高度分别为第一目标识别框在第一目标图像标识对应的第一图像上的识别框图像宽度和高度；第一目标类型包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；

步骤A3，并在第一目标识别框集合不为空时，将当前图像上各个第一目标识别框覆盖的图像区域提取出来作为对应的第一标志牌图像；并对各个第一标志牌图像进行褪色、弯折、破损和被遮挡识别生成对应的第一目标标志牌状态；

这里，在本发明实施例的又一个具体实现方式中第一巡检设备11具体用于在对各个第一标志牌图像进行褪色、弯折、破损和被遮挡识别生成对应的第一目标标志牌状态时，将第一标志牌图像对应的第一目标识别框的第一目标类型作为对应的第一标志牌类型；并根据第一标志牌类型对第一标志牌图像进行褪色状态识别生成对应的第一识别状态；并根据第一标志牌类型对第一标志牌图像进行弯折状态识别生成对应的第二识别状态；并对第一标志牌图像进行破损状态识别生成对应的第三识别状态；并对第一标志牌图像进行被遮挡状态识别生成对应的第四识别状态；并对第一、第二、第三和第四识别状态是否全为正常状态进行识别，若是则将对应的第一目标标志牌状态设为正常状态，若否则由第一、第二、第三和第四识别状态中不为正常状态的一个或多个状态组成对应的第一目标标志牌状态；其中，第一识别状态包括正常状态和褪色状态，第二识别状态包括正常状态和弯折状态，第三识别状态包括正常状态和破损状态，第四识别状态包括正常状态和被遮挡状态；

进一步的，在本发明实施例的又一个具体实现方式中第一巡检设备11具体用于在根据第一标志牌类型对第一标志牌图像进行褪色状态识别生成对应的第一识别状态时，从本地预置的多类标志牌背景颜色像素值中选出与第一标志牌类型匹配的标志牌背景颜色像素值作为对应的第一背景像素值；并对第一标志牌图像中所有标志牌背景像素点的像素值进行均值计算生成对应的第二背景像素值；并将第一背景像素值减去第二背景像素值的差作为对应的第一背景像素差；并对第一背景像素差是否超过预设的像素差阈值进行识别；若未超过则设置对应的第一识别状态为正常状态，若已超过则设置对应的第一识别状态为褪色状态；

进一步的，在本发明实施例的又一个具体实现方式中第一巡检设备11具体用于在根据第一标志牌类型对第一标志牌图像进行弯折状态识别生成对应的第二识别状态时，从本地预置的多类标志牌形状中选出与第一标志牌类型匹配的标志牌形状作为对应的第一标志牌形状；并对第一标志牌图像进行边缘形状检测生成对应的第二标志牌形状；并对第一、第二标志牌形状是否匹配进行识别；若匹配则设置对应的第二识别状态为正常状态，若不匹配则设置对应的第二识别状态为弯折状态；

进一步的，在本发明实施例的又一个具体实现方式中第一巡检设备11具体用于在对第一标志牌图像进行破损状态识别生成对应的第三识别状态时，基于预设的破损识别与分类模型，对第一标志牌图像进行破损目标识别和分类处理得到对应的第一破损目标识别框集合；并对第一破损目标识别框集合中第一破损目标识别框的总数进行统计生成对应的第一统计总数；并对第一统计总数是否超过预设的破损数量阈值进行识别；若未超过则设置对应的第三识别状态为正常状态，若已超过则设置对应的第三识别状态为破损状态；其中，第一破损目标识别框集合不为空时由一个或多个第一破损目标识别框组成；各个第一破损目标识别框包括一个第一破损目标类型，第一破损目标类型包括孔洞、涂改、刮痕、锈斑和标志信息脱落；破损识别与分类模型基于YOLO模型结构实现；

进一步的，在本发明实施例的又一个具体实现方式中第一巡检设备11具体用于在对第一标志牌图像进行被遮挡状态识别生成对应的第四识别状态时，基于预设的遮挡预测模型，对第一标志牌图像的三类遮挡状态的概率进行识别生成对应的三类遮挡状态概率；并对三类遮挡状态概率中的未遮挡状态概率是否超过预设的未遮挡概率阈值进行识别；若已超过则设置对应的第四识别状态为正常状态，若未超过则设置对应的第四识别状态为被遮挡状态；其中，三类遮挡状态概率包括未遮挡状态概率、全遮挡状态概率和部分遮挡状态概率；遮挡预测模型基于由常规的卷积神经网络+全连接网络组成的分类预测模型实现；

步骤A4，并对当前图像数据组是否为第一缓存队列中的第一个第一图像数据组进行确认；

步骤A5，若确认当前图像数据组为第一缓存队列中的第一个第一图像数据组，则为每个第一目标识别框分配一个对应的唯一目标标识作为对应的第一目标标识；并为各个第一目标标识初始化一个空序列作为对应的第一目标跟踪序列；并由每个第一目标标识对应的一组当前图像标识、当前图像时间戳、第一目标识别框和第一目标标志牌状态构成一个对应的第一目标数据组；并将各个第一目标数据组向各自对应的第一目标跟踪序列中添加；

这里，本发明实施例的第一目标跟踪序列与第一目标标识一一对应；其中，第一目标跟踪序列包括多个第一目标数据组，并按时间先后顺序添加第一目标数据组；第一目标数据组包括第一目标图像标识、第一目标时间戳、第一目标识别框和第一目标标志牌状态；

步骤A6，若确认当前图像数据组不为第一缓存队列中的第一个第一图像数据组，则将第一缓存队列中当前图像数据组的前一个第一图像数据组作为对应的前一图像数据组；

并将当前图像数据组对应的各个第一目标识别框记为对应的第二目标识别框，将前一图像数据组对应的各个第一目标识别框记为对应的第三目标识别框；

并对第三目标识别框的数量是否不为0进行识别，若第三目标识别框的数量不为0则基于目标关联算法对与各个第二目标识别框关联匹配的第三目标识别框对应的目标标识进行识别得到对应的第二目标标识，若第三目标识别框的数量为0则将所有第二目标识别框对应的第二目标标识都设为空标识；

并对所有第二目标标识进行遍历；并在遍历时，将当前遍历的第二目标标识作为对应的当前目标标识，并将当前目标标识对应的第二目标识别框作为对应的当前目标识别框，并将当前目标识别框对应的第一目标标志牌状态作为对应的当前目标标志牌状态；并对当前目标标识是否为空标识进行识别；1）若当前目标标识不为空标识，则将当前目标标识对应的第一目标跟踪序列作为对应的当前目标跟踪序列，并由当前图像标识、当前图像时间戳、当前目标识别框和当前目标标志牌状态组成一个对应的第一目标数据组向当前目标跟踪序列中添加；2）若当前目标标识为空标识，则为当前目标识别框分配一个对应的唯一目标标识作为新的当前目标标识，并为当前目标标识初始化一个空的第一目标跟踪序列作为对应的当前目标跟踪序列，并由当前图像标识、当前图像时间戳、当前目标识别框和当前目标标志牌状态组成一个对应的第一目标数据组向当前目标跟踪序列中添加。

这里，在本发明实施例的又一个具体实现方式中第一巡检设备11具体用于在基于目标关联算法对与各个第二目标识别框关联匹配的第三目标识别框对应的目标标识进行识别得到对应的第二目标标识时：

步骤B1，将各个第二、第三目标识别框对应的第一自车定位坐标记为对应的第二、第三自车定位坐标；

步骤B2，并根据预设的摄像头内外参和对应的第二自车定位坐标对各个第二目标识别框的第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第一中心点世界坐标；并根据摄像头内外参和对应的第三自车定位坐标对各个第三目标识别框的第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第二中心点世界坐标；

步骤B3，并对各个第二目标识别框与每个第三目标识别框的直线距离进行计算生成对应的第一识别框间距a_i,j；

其中，i为第二目标识别框的索引，j为第三目标识别框的索引，1≤i≤N，1≤j≤M，N为第二目标识别框的数量，M为第三目标识别框的数量；第一识别框间距a_i,j为第i个第二目标识别框对应的第一中心点世界坐标到第j个第三目标识别框对应的第二中心点世界坐标之间的直线距离；

步骤B4，并由得到的所有第一识别框间距a_i,j组成一个矩阵形状为N×M的第一关联特征矩阵A{a_i,j}；

步骤B5，并基于目标关联算法对第一关联特征矩阵A{a_i,j}进行关联权重矩阵计算生成一个矩阵形状为N×M的第一关联权重矩阵W{w_i,j}；

其中，目标关联算法包括匈牙利算法和KM算法；第一关联权重矩阵W{w_i,j}包括N×M个第一关联权重w_i,j；

步骤B6，并对第一关联权重矩阵W{w_i,j}的所有第一关联权重w_i,j进行遍历；并在遍历时，将当前遍历的第一关联权重w_i,j作为对应的当前关联权重；并对当前关联权重对应的一对第二、第三目标识别框的第一目标类型是否匹配进行识别，若不匹配则将当前关联权重设为0；

步骤B7，并将第一关联权重矩阵W{w_i,j}中索引i相同的M个第一关联权重w_i,j聚为一组作为对应的第一关联权重组G_i；

其中，第一关联权重组G_i包括M个索引i相同的第一关联权重w_i,j；

步骤B8，并对所有第一关联权重组G_i进行遍历；并在遍历时，将当前遍历的第一关联权重组G_i作为对应的当前关联权重组，并将当前关联权重组对应的第二目标识别框作为对应的当前目标识别框，并将当前关联权重组中权重最大的第一关联权重w_i,j作为对应的当前最大权重；并对当前最大权重是否低于预设的权重阈值进行识别；若当前最大权重不低于权重阈值，则将当前最大权重对应的第三目标识别框对应的第一目标标识作为当前目标识别框对应的第二目标标识；若当前最大权重低于权重阈值，则将当前目标识别框对应的第二目标标识设为空标识。

在本发明实施例的又一个具体实现方式中，第一巡检设备11具体用于在根据各个第一目标跟踪序列进行标志牌巡检数据提取处理生成对应的第一标志牌巡检数据向第一巡检平台2发送时：

步骤C1，对第一目标跟踪序列中最近的第一目标时间戳与当前时间的时间间隔进行计算生成对应的第一时间间隔；

这里，本发明实施例规定若任何一个第一目标跟踪序列在一个规定时间长度内没有更新即第一时间间隔超过预设的时间间隔阈值，就意味着该第一目标跟踪序列对应的道路交通标志牌目标已经从第一巡检设备11的视觉感知范围内消失了，此时就可以停止对该第一目标跟踪序列的更新并基于该第一目标跟踪序列进行标志牌巡检数据提取；

步骤C2，并在第一时间间隔超过预设的时间间隔阈值时，将第一缓存队列中与第一目标跟踪序列的各个第一目标数据组的第一目标图像标识对应的第一图像数据组的第一自车定位坐标提取出来按时间先后排序组成对应的第一自车定位坐标序列；

步骤C2，并对第一自车定位坐标序列的所有第一自车定位坐标进行遍历；并在遍历时，将当前遍历的第一自车定位坐标作为对应的当前自车定位坐标，并将当前自车定位坐标对应的第一图像数据组对应的第一目标数据组的第一目标识别框作为对应的当前目标识别框；并根据预设的摄像头内外参和当前自车定位坐标对当前目标识别框的第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第三中心点世界坐标；并在遍历结束时，将所有第三中心点世界坐标的平均坐标作为对应的第一巡检标志牌坐标；

步骤C3，并由第一目标跟踪序列的各个第一目标数据组的第一目标识别框对应的第一标志牌图像组成对应的第一图像集合；并基于图像清晰度评价算法对第一图像集合中各个第一标志牌图像的清晰度进行评价生成对应的第一评价分数，并将其中第一评价分数为最大分数的第一标志牌图像作为对应的第一巡检标志牌图像；

其中，图像清晰度评价算法包括Brenner梯度算法、Tenegrad梯度算法、Laplace梯度算法、方差算法和能量梯度算法；

步骤C4，并将第一目标跟踪序列中第一巡检标志牌图像对应的第一目标数据组的第一目标类型和第一目标标志牌状态作为对应的第一巡检标志牌类型和第一巡检标志牌状态；

步骤C5，并由得到的第一巡检标志牌坐标、第一巡检标志牌图像、第一巡检标志牌类型和第一巡检标志牌状态组成对应的第一标志牌巡检数据向第一巡检平台2发送。

这里，本发明实施例的第一巡检设备11在将第一标志牌巡检数据向第一巡检平台2发送时，可通过常规的无线通讯网络，也可通过定制的专网进行传输。

（二）第一巡检平台2

第一巡检平台2包括第一服务器21、第一标志牌数据库22和第一巡检报告数据库23；第一服务器21与各个第一巡检设备11分别连接，还分别与第一标志牌数据库22和第一巡检报告数据库23连接；

其中，第一标志牌数据库22包括多个第一标志牌记录；第一标志牌记录包括第一标志牌标识字段、第一标志牌坐标字段、第一标志牌安装图像字段、第一标志牌类型字段和第一标志牌状态字段；第一标志牌类型字段包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；第一标志牌状态字段由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

这里，每个第一标志牌记录对应一个道路交通标志牌；第一标志牌标识字段为对应标志牌的唯一标识；第一标志牌坐标字段为对应标志牌的安装坐标；第一标志牌安装图像字段为对应标志牌在安装完成时拍摄的照片；第一标志牌类型字段为对应标志牌的标志牌类型说明；第一标志牌状态字段则为对应标志牌最新的状态，一旦在巡检过程中发现了对应标志牌状态异常则该字段就会被及时更新为对应的异常状态（褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态）；

第一巡检报告数据库23包括多个第一巡检报告记录；第一巡检报告记录包括第一报告时间字段和第一报告数据字段。

第一服务器21用于根据第一标志牌巡检数据对第一标志牌数据库22进行标志牌状态更新处理。

在本发明实施例的又一个具体实现方式中，第一服务器21具体用于在根据第一标志牌巡检数据对第一标志牌数据库22进行标志牌状态更新处理时，将第一标志牌数据库22中第一标志牌坐标字段与第一标志牌巡检数据的第一巡检标志牌坐标匹配且第一标志牌类型字段与第一标志牌巡检数据的第一巡检标志牌类型匹配的第一标志牌记录作为对应的匹配记录；并对匹配记录的第一标志牌状态字段是否与第一标志牌巡检数据的第一巡检标志牌状态匹配进行识别，若不匹配则使用第一巡检标志牌状态对第一标志牌状态字段进行重置。

这里，本发明实施例在识别第一标志牌坐标字段与第一巡检标志牌坐标的匹配关系时，先将二者转换为地面投影坐标得到对应的第一、第二地面投影坐标，再对第一、第二地面投影坐标之间的距离间距进行计算，再基于一个预设的最小间隔距离阈值来对计算出的距离间距进行比对，即计算出的距离间距小于该最小间隔距离阈值则视第一标志牌坐标字段与第一巡检标志牌坐标匹配。

第一服务器21还用于定期根据第一标志牌数据库22对第一巡检报告数据库23进行巡检报告添加处理。

在本发明实施例的又一个具体实现方式中，第一巡检平台2具体用于在定期根据第一标志牌数据库22对第一巡检报告数据库23进行巡检报告添加处理时，定期将第一标志牌数据库22中第一标志牌状态字段不为正常状态的第一标志牌记录提取出来组成对应的第一报告数据；并将当前时间作为对应的第一报告时间；并在第一巡检报告数据库23中新增一个第一巡检报告记录作为对应的新增记录；并将新增记录的第一报告时间字段和第一报告数据字段设为对应的第一报告时间和第一报告数据。

这里，本发明实施例定期生成报告的频率可调，例如将该频率设为每小时一次、每天一次、每周一次、每月一次等。道路管理机构通过该第一巡检报告数据库23能够得到最新的全路网异常状态道路交通标志牌报告从而就能及时全面的分派对应的道路交通标志牌养护任务。

第一服务器21还可用于根据预设的dinov2大模型对第一标志牌巡检数据的第一巡检标志牌图像进行巡检标志牌状态复检生成对应的第一复检状态；并在第一复检状态与第一标志牌巡检数据的第一巡检标志牌状态不匹配时，将第一标志牌巡检数据的第一巡检标志牌状态设置为对应的第一复检状态；第一复检状态由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成。

这里提及的dinov2大模型是一种基于图像分割原理进行像素级分类的视觉图像模型，第一服务器21可使用该模型对前端第一巡检设备11上传的第一标志牌巡检数据进行复检。

本发明实施例提供了一种利用公交车辆进行道路交通标志牌巡检的处理系统，该系统包括：多个第一公交车辆和第一巡检平台；每个第一公交车辆上加载一个对应的第一巡检设备，并由该第一巡检设备与第一巡检平台连接；第一巡检平台包括第一服务器、第一标志牌数据库和第一巡检报告数据库，该第一服务器与第一巡检设备、第一标志牌数据库和第一巡检报告数据库分别连接；系统中的第一巡检设备用于在车辆行驶过程中对沿途各个道路交通标志牌进行数据采集和状态分析生成实时的标志牌巡检数据向第一巡检平台反馈；第一巡检平台则根据实时接收的标志牌巡检数据对第一标志牌数据库进行实时更新，并定期根据第一标志牌数据库对第一巡检报告数据库进行巡检报告添加。通过本发明系统一方面基于巡检设备实现了对道路交通标志牌的全天候、高频次自动巡检，利用巡检设备与远程巡检平台的实时通讯提高了巡检反馈的实时性；另一方面还利用公交路网提高了自动巡检的路网覆盖率；再一方面还有效降低了巡检的人工成本。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的系统、模块、单元及算法的步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的系统、模块、单元或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，所述系统包括：多个第一公交车辆和第一巡检平台；

所述第一公交车辆上加载一个对应的第一巡检设备；所述第一巡检设备与所述第一巡检平台连接；所述第一巡检设备用于在行驶过程中按预设的采样频率对自车定位坐标进行数据采集；并对自车行驶道路进行实时视频拍摄，并按所述采样频率对实时视频进行视频帧图像采样生成对应的第一图像；并将所述第一图像对应的视频时间作为对应的第一图像时间戳；并为所述第一图像分配一个唯一的图像标识记为对应的第一图像标识；并将与所述第一图像时间戳对齐的自车定位坐标作为对应的第一自车定位坐标；并由各组对应的所述第一图像标识、所述第一图像时间戳、所述第一自车定位坐标和所述第一图像组成一个对应的第一图像数据组向预设的第一缓存队列中添加；并根据所述第一缓存队列进行标志牌目标时序状态跟踪处理得到多个第一目标跟踪序列；并根据各个所述第一目标跟踪序列进行标志牌巡检数据提取处理生成对应的第一标志牌巡检数据向所述第一巡检平台发送；

所述第一巡检平台包括第一服务器、第一标志牌数据库和第一巡检报告数据库；所述第一服务器与各个所述第一巡检设备分别连接，还分别与所述第一标志牌数据库和所述第一巡检报告数据库连接；所述第一服务器用于根据所述第一标志牌巡检数据对所述第一标志牌数据库进行标志牌状态更新处理；所述第一服务器还用于定期根据所述第一标志牌数据库对所述第一巡检报告数据库进行巡检报告添加处理。

2.根据权利要求1所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一缓存队列包括多个所述第一图像数据组，并按时间先后顺序添加所述第一图像数据组；所述第一图像数据组包括所述第一图像标识、所述第一图像时间戳、所述第一自车定位坐标和所述第一图像；

各个所述第一目标跟踪序列对应一个第一目标标识；所述第一目标跟踪序列包括多个第一目标数据组，并按时间先后顺序添加所述第一目标数据组；所述第一目标数据组包括第一目标图像标识、第一目标时间戳、第一目标识别框和第一目标标志牌状态；所述第一目标识别框包括第一中心点坐标、第一识别框宽度、第一识别框高度和第一目标类型；所述第一中心点坐标为所述第一目标识别框的中心点在所述第一目标图像标识对应的所述第一图像上的像素坐标；所述第一识别框宽度和所述第一识别框高度分别为所述第一目标识别框在所述第一目标图像标识对应的所述第一图像上的识别框图像宽度和高度；所述第一目标类型包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；所述第一目标标志牌状态由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

所述第一标志牌巡检数据包括第一巡检标志牌坐标、第一巡检标志牌图像、第一巡检标志牌类型和第一巡检标志牌状态；所述第一巡检标志牌类型包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；所述第一巡检标志牌状态由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

所述第一标志牌数据库包括多个第一标志牌记录；所述第一标志牌记录包括第一标志牌标识字段、第一标志牌坐标字段、第一标志牌安装图像字段、第一标志牌类型字段和第一标志牌状态字段；所述第一标志牌类型字段包括警告标志牌类型、禁令标志牌类型、指示标志牌类型、施工标志牌类型和停车标志牌类型；所述第一标志牌状态字段由正常状态、褪色状态、弯折状态、破损状态和被遮挡状态中一种或多种状态构成；

所述第一巡检报告数据库包括多个第一巡检报告记录；所述第一巡检报告记录包括第一报告时间字段和第一报告数据字段。

3.根据权利要求2所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一巡检设备具体用于在所述根据所述第一缓存队列进行标志牌目标时序状态跟踪处理得到多个第一目标跟踪序列时，将所述第一缓存队列中最新添加的所述第一图像数据组作为对应的当前图像数据组，并将所述当前图像数据组的所述第一图像标识、所述第一图像时间戳、所述第一自车定位坐标和所述第一图像作为对应的当前图像标识、当前图像时间戳、当前自车定位坐标和当前图像；

并基于预设的目标识别与分类模型，对所述当前图像进行道路交通标志牌目标识别和分类处理得到对应的第一目标识别框集合并保存；所述第一目标识别框集合不为空时由一个或多个所述第一目标识别框组成；所述目标识别与分类模型基于YOLO模型结构实现；

并在所述第一目标识别框集合不为空时，将所述当前图像上各个所述第一目标识别框覆盖的图像区域提取出来作为对应的第一标志牌图像；并对各个所述第一标志牌图像进行褪色、弯折、破损和被遮挡识别生成对应的所述第一目标标志牌状态；

并对所述当前图像数据组是否为所述第一缓存队列中的第一个所述第一图像数据组进行确认；

若确认所述当前图像数据组为所述第一缓存队列中的第一个所述第一图像数据组，则为每个所述第一目标识别框分配一个对应的唯一目标标识作为对应的所述第一目标标识；并为各个所述第一目标标识初始化一个空序列作为对应的所述第一目标跟踪序列；并由每个所述第一目标标识对应的一组所述当前图像标识、所述当前图像时间戳、所述第一目标识别框和所述第一目标标志牌状态构成一个对应的所述第一目标数据组；并将各个所述第一目标数据组向各自对应的所述第一目标跟踪序列中添加；

若确认所述当前图像数据组不为所述第一缓存队列中的第一个所述第一图像数据组，则将所述第一缓存队列中所述当前图像数据组的前一个所述第一图像数据组作为对应的前一图像数据组；并将所述当前图像数据组对应的各个所述第一目标识别框记为对应的第二目标识别框，将所述前一图像数据组对应的各个所述第一目标识别框记为对应的第三目标识别框；并对所述第三目标识别框的数量是否不为0进行识别，若所述第三目标识别框的数量不为0则基于目标关联算法对与各个所述第二目标识别框关联匹配的所述第三目标识别框对应的目标标识进行识别得到对应的第二目标标识，若所述第三目标识别框的数量为0则将所有所述第二目标识别框对应的所述第二目标标识都设为空标识；并对所有所述第二目标标识进行遍历；并在遍历时，将当前遍历的所述第二目标标识作为对应的当前目标标识，并将所述当前目标标识对应的所述第二目标识别框作为对应的当前目标识别框，并将所述当前目标识别框对应的所述第一目标标志牌状态作为对应的当前目标标志牌状态；并对所述当前目标标识是否为空标识进行识别；若所述当前目标标识不为空标识，则将所述当前目标标识对应的所述第一目标跟踪序列作为对应的当前目标跟踪序列，并由所述当前图像标识、所述当前图像时间戳、所述当前目标识别框和所述当前目标标志牌状态组成一个对应的所述第一目标数据组向所述当前目标跟踪序列中添加；若所述当前目标标识为空标识，则为所述当前目标识别框分配一个对应的唯一目标标识作为新的所述当前目标标识，并为所述当前目标标识初始化一个空的所述第一目标跟踪序列作为对应的所述当前目标跟踪序列，并由所述当前图像标识、所述当前图像时间戳、所述当前目标识别框和所述当前目标标志牌状态组成一个对应的所述第一目标数据组向所述当前目标跟踪序列中添加。

4.根据权利要求3所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一巡检设备具体用于在所述对各个所述第一标志牌图像进行褪色、弯折、破损和被遮挡识别生成对应的所述第一目标标志牌状态时，将所述第一标志牌图像对应的所述第一目标识别框的所述第一目标类型作为对应的第一标志牌类型；并根据所述第一标志牌类型对所述第一标志牌图像进行褪色状态识别生成对应的第一识别状态；并根据所述第一标志牌类型对所述第一标志牌图像进行弯折状态识别生成对应的第二识别状态；并对所述第一标志牌图像进行破损状态识别生成对应的第三识别状态；并对所述第一标志牌图像进行被遮挡状态识别生成对应的第四识别状态；并对所述第一、第二、第三和第四识别状态是否全为正常状态进行识别，若是则将对应的所述第一目标标志牌状态设为正常状态，若否则由所述第一、第二、第三和第四识别状态中不为正常状态的一个或多个状态组成对应的所述第一目标标志牌状态；所述第一识别状态包括正常状态和褪色状态，所述第二识别状态包括正常状态和弯折状态，所述第三识别状态包括正常状态和破损状态，所述第四识别状态包括正常状态和被遮挡状态。

5.根据权利要求4所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一巡检设备具体用于在所述根据所述第一标志牌类型对所述第一标志牌图像进行褪色状态识别生成对应的第一识别状态时，从本地预置的多类标志牌背景颜色像素值中选出与所述第一标志牌类型匹配的标志牌背景颜色像素值作为对应的第一背景像素值；并对所述第一标志牌图像中所有标志牌背景像素点的像素值进行均值计算生成对应的第二背景像素值；并将所述第一背景像素值减去所述第二背景像素值的差作为对应的第一背景像素差；并对所述第一背景像素差是否超过预设的像素差阈值进行识别；若未超过则设置对应的所述第一识别状态为正常状态，若已超过则设置对应的所述第一识别状态为褪色状态；

所述第一巡检设备具体用于在所述根据所述第一标志牌类型对所述第一标志牌图像进行弯折状态识别生成对应的第二识别状态时，从本地预置的多类标志牌形状中选出与所述第一标志牌类型匹配的标志牌形状作为对应的第一标志牌形状；并对所述第一标志牌图像进行边缘形状检测生成对应的第二标志牌形状；并对所述第一、第二标志牌形状是否匹配进行识别；若匹配则设置对应的所述第二识别状态为正常状态，若不匹配则设置对应的所述第二识别状态为弯折状态；

所述第一巡检设备具体用于在所述对所述第一标志牌图像进行破损状态识别生成对应的第三识别状态时，基于预设的破损识别与分类模型，对所述第一标志牌图像进行破损目标识别和分类处理得到对应的第一破损目标识别框集合；并对所述第一破损目标识别框集合中第一破损目标识别框的总数进行统计生成对应的第一统计总数；并对所述第一统计总数是否超过预设的破损数量阈值进行识别；若未超过则设置对应的所述第三识别状态为正常状态，若已超过则设置对应的所述第三识别状态为破损状态；所述第一破损目标识别框集合不为空时由一个或多个所述第一破损目标识别框组成；各个所述第一破损目标识别框包括一个第一破损目标类型，所述第一破损目标类型包括孔洞、涂改、刮痕、锈斑和标志信息脱落；所述破损识别与分类模型基于YOLO模型结构实现；

所述第一巡检设备具体用于在所述对所述第一标志牌图像进行被遮挡状态识别生成对应的第四识别状态时，基于预设的遮挡预测模型，对所述第一标志牌图像的三类遮挡状态的概率进行识别生成对应的三类遮挡状态概率；并对所述三类遮挡状态概率中的未遮挡状态概率是否超过预设的未遮挡概率阈值进行识别；若已超过则设置对应的所述第四识别状态为正常状态，若未超过则设置对应的所述第四识别状态为被遮挡状态；所述三类遮挡状态概率包括未遮挡状态概率、全遮挡状态概率和部分遮挡状态概率；所述遮挡预测模型基于由卷积神经网络和全连接网络组成的分类预测模型实现。

6.根据权利要求3所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一巡检设备具体用于在所述基于目标关联算法对与各个所述第二目标识别框关联匹配的所述第三目标识别框对应的目标标识进行识别得到对应的第二目标标识时，将各个所述第二、第三目标识别框对应的所述第一自车定位坐标记为对应的第二、第三自车定位坐标；

并根据预设的摄像头内外参和对应的所述第二自车定位坐标对各个所述第二目标识别框的所述第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第一中心点世界坐标；并根据所述摄像头内外参和对应的所述第三自车定位坐标对各个所述第三目标识别框的所述第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第二中心点世界坐标；

并对各个所述第二目标识别框与每个所述第三目标识别框的直线距离进行计算生成对应的第一识别框间距a_i,j；i为所述第二目标识别框的索引，j为所述第三目标识别框的索引，1≤i≤N，1≤j≤M，N为所述第二目标识别框的数量，M为所述第三目标识别框的数量；所述第一识别框间距a_i,j为第i个所述第二目标识别框对应的所述第一中心点世界坐标到第j个所述第三目标识别框对应的所述第二中心点世界坐标之间的直线距离；

并由得到的所有所述第一识别框间距a_i,j组成一个矩阵形状为N×M的第一关联特征矩阵A{a_i,j}；

并基于目标关联算法对所述第一关联特征矩阵A{a_i,j}进行关联权重矩阵计算生成一个矩阵形状为N×M的第一关联权重矩阵W{w_i,j}；所述目标关联算法包括匈牙利算法和KM算法；所述第一关联权重矩阵W{w_i,j}包括N×M个所述第一关联权重w_i,j；

并对所述第一关联权重矩阵W{w_i,j}的所有所述第一关联权重w_i,j进行遍历；并在遍历时，将当前遍历的所述第一关联权重w_i,j作为对应的当前关联权重；并对所述当前关联权重对应的一对所述第二、第三目标识别框的所述第一目标类型是否匹配进行识别，若不匹配则将所述当前关联权重设为0；

并将所述第一关联权重矩阵W{w_i,j}中索引i相同的M个第一关联权重w_i,j聚为一组作为对应的第一关联权重组G_i；所述第一关联权重组G_i包括M个索引i相同的所述第一关联权重w_i,j；

并对所有所述第一关联权重组G_i进行遍历；并在遍历时，将当前遍历的所述第一关联权重组G_i作为对应的当前关联权重组，并将所述当前关联权重组对应的所述第二目标识别框作为对应的当前目标识别框，并将所述当前关联权重组中权重最大的所述第一关联权重w_i,j作为对应的当前最大权重；并对所述当前最大权重是否低于预设的权重阈值进行识别；若所述当前最大权重不低于所述权重阈值，则将所述当前最大权重对应的所述第三目标识别框对应的所述第一目标标识作为所述当前目标识别框对应的所述第二目标标识；若所述当前最大权重低于所述权重阈值，则将所述当前目标识别框对应的所述第二目标标识设为空标识。

7.根据权利要求3所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一巡检设备具体用于在所述根据各个所述第一目标跟踪序列进行标志牌巡检数据提取处理生成对应的第一标志牌巡检数据向所述第一巡检平台发送时，对所述第一目标跟踪序列中最近的所述第一目标时间戳与当前时间的时间间隔进行计算生成对应的第一时间间隔；

并在所述第一时间间隔超过预设的时间间隔阈值时，将所述第一缓存队列中与所述第一目标跟踪序列的各个所述第一目标数据组的所述第一目标图像标识对应的所述第一图像数据组的所述第一自车定位坐标提取出来按时间先后排序组成对应的第一自车定位坐标序列；

并对所述第一自车定位坐标序列的所有所述第一自车定位坐标进行遍历；并在遍历时，将当前遍历的所述第一自车定位坐标作为对应的当前自车定位坐标，并将所述当前自车定位坐标对应的所述第一图像数据组对应的所述第一目标数据组的所述第一目标识别框作为对应的当前目标识别框；并根据预设的摄像头内外参和所述当前自车定位坐标对所述当前目标识别框的所述第一中心点坐标进行从像素坐标系到自车坐标系再到世界坐标系的坐标转换处理生成对应的第三中心点世界坐标；并在遍历结束时，将所有所述第三中心点世界坐标的平均坐标作为对应的所述第一巡检标志牌坐标；

并由所述第一目标跟踪序列的各个所述第一目标数据组的所述第一目标识别框对应的所述第一标志牌图像组成对应的第一图像集合；并基于图像清晰度评价算法对所述第一图像集合中各个所述第一标志牌图像的清晰度进行评价生成对应的第一评价分数，并将其中所述第一评价分数为最大分数的所述第一标志牌图像作为对应的所述第一巡检标志牌图像；所述图像清晰度评价算法包括Brenner梯度算法、Tenegrad梯度算法、Laplace梯度算法、方差算法和能量梯度算法；

并将所述第一目标跟踪序列中所述第一巡检标志牌图像对应的所述第一目标数据组的所述第一目标类型和所述第一目标标志牌状态作为对应的所述第一巡检标志牌类型和所述第一巡检标志牌状态；

并由得到的所述第一巡检标志牌坐标、所述第一巡检标志牌图像、所述第一巡检标志牌类型和所述第一巡检标志牌状态组成对应的所述第一标志牌巡检数据向所述第一巡检平台发送。

8.根据权利要求2所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一服务器具体用于在所述根据所述第一标志牌巡检数据对所述第一标志牌数据库进行标志牌状态更新处理时，将所述第一标志牌数据库中所述第一标志牌坐标字段与所述第一标志牌巡检数据的所述第一巡检标志牌坐标匹配且所述第一标志牌类型字段与所述第一标志牌巡检数据的所述第一巡检标志牌类型匹配的所述第一标志牌记录作为对应的匹配记录；并对所述匹配记录的所述第一标志牌状态字段是否与所述第一标志牌巡检数据的所述第一巡检标志牌状态匹配进行识别，若不匹配则使用所述第一巡检标志牌状态对所述第一标志牌状态字段进行重置。

9.根据权利要求2所述的利用公交车辆进行道路交通标志牌巡检的处理系统，其特征在于，

所述第一服务器具体用于在所述定期根据所述第一标志牌数据库对所述第一巡检报告数据库进行巡检报告添加处理时，定期将所述第一标志牌数据库中所述第一标志牌状态字段不为正常状态的所述第一标志牌记录提取出来组成对应的第一报告数据；并将当前时间作为对应的第一报告时间；并在所述第一巡检报告数据库中新增一个所述第一巡检报告记录作为对应的新增记录；并将所述新增记录的所述第一报告时间字段和所述第一报告数据字段设为对应的所述第一报告时间和所述第一报告数据。