CN114333340B - 一种基于etc数据来实现车辆ar标注信息的系统和方法 - Google Patents

Abstract

本发明属于图像识别技术领域，具体涉及一种基于ETC数据来实现车辆AR标注信息的系统和方法，利用ETC短程通信技术快速获取车辆的信息，并与高点摄像头采集的回传信息中的车辆进行关联，从而精确而高效的为视频中的车辆生成高度匹配的AR标注信息，降低信息获取成本。同时通过对高点视频的相邻帧进行比对，确定同一物体的移动轨迹，以此实现车辆AR标注信息的动态跟随。其它车辆信息也可通过此方式获得。

Description

一种基于ETC数据来实现车辆AR标注信息的系统和方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于ETC数据来实现车辆AR标注信息的系统和方法。

背景技术

高点摄像头远距离变焦定位需要花费较长的时间，一般只能识别车辆图像、尺寸、颜色等粗粒度信息，无法同时精准识别多个车辆的车牌。而车牌作为车辆的有效身份标识之一，是系统进而获取关联业务数据的重要途径；而且高点摄像头需要获取车辆的位置信息，才能实现车辆AR标注信息与视频中车辆的匹配和跟踪。目前高点摄像头一般需要通过在车辆上安装智能设备来主动上传车辆信息，以生成适应于业务应用的车辆AR标注信息。

高点摄像头如需为视频中车辆匹配对应的AR标注信息，一般需要在车上安装车载智能设备，通过车载智能设备上传车辆的位置、车牌及其他详细信息。但多数车载智能设备安装成本较高，给车主带来的附加值不确定，且无统一的上传接口方式，推广尤其困难，导致高点摄像头无法高效的为视频中的车辆生成对应的AR标注信息。

而目前90％的车辆都安装了ETC车载单元(OBU)，且高速公路上也安装了大量的ETC路侧单元(RSU)设备。利用ETC短程通信技术可以快速获取车辆的信息，并与高点摄像头采集的回传信息进行关联，从而精确而高效的为视频中的车辆生成高度匹配的AR标注信息。

发明内容

针对上述不足，本发明提供一种基于ETC数据来实现车辆AR标注信息的系统和方法。充分利用ETC路侧单元(RSU)、门架摄像头等路侧设备获取的车辆身份信息及特征信息，与高点摄像头获取的信息进行关联匹配，提高车辆AR标注信息与车辆关联匹配的准确率和标签覆盖比例，降低技术实现成本，减少推广成本。

本发明通过以下技术方案实现：

一种基于ETC数据来实现车辆AR标注信息的系统，包括ETC路侧单元(RSU)、 ETC车载单元(OBU)、ETC后台系统、高点AR摄像头、AR后台系统以及门架摄像头，其中

所述的ETC车载单元(OBU)，用于存储车辆的身份信息；

所述的ETC路侧单元(RSU)，用于从其有效覆盖范围内通行的、载有ETC车载单元(OBU)的车辆获取车辆的身份信息，并将所述身份信息上传到所述ETC后台系统；

所述ETC后台系统，根据收到的所述身份信息关联获取车辆的扣费信息、过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息、车牌信息以及第一车辆特征信息，并发送给所述AR后台系统。

所述AR后台系统，结合过车时间、车道信息、门架信息对高点AR摄像头视野范围内过车车辆进行分割，并按照第一车辆特征信息进行结构化，形成一系列AR高点视频过车车辆结构化数据流；根据从ETC后台系统收到的信息，生成与业务相关的车辆AR标注信息；并根据车辆的过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息匹配对应的AR高点视频过车车辆结构化数据流；再根据第一车辆特征信息和/或第二车辆特征信息对AR高点视频过车车辆结构化数据流中的车辆进行进一步的匹配关联，精确获取高点视频画面中车辆与AR标注信息的对应关系；

所述的高点AR摄像头，用于获取高点视频画面，并将AR后台系统生成的车辆 AR标注信息与视频画面进行融合；

所述的门架摄像头，用于获取第二车辆特征信息，并发送给AR后台系统。

优选的，所述的ETC车载单元(OBU)与ETC路侧单元(RSU)之间的传输方式采用短程通信。

优选的，所述的ETC后台系统与ETC路侧单元(RSU)之间的传输方式采用光纤或者无线通讯。

优选的，还包括相邻门架上架设的ETC路侧单元(RSU)和摄像头，用于获取车辆信息，并发送给AR后台系统，在AR后台系统生成与业务相关的第二AR标注信息，并将第二AR标注信息与高点视频画面中的车辆进行匹配，对其他门架实现的匹配结果进行二次校正。

优选的，所述的第一车辆特征信息包括车辆类型、车辆颜色以及车辆照片；所述的第二车辆特征信息包括车辆类型、车辆颜色、车辆车牌以及车辆照片。

一种基于ETC数据来实现车辆AR标注信息的方法，包括步骤：

S1：通过ETC路侧单元(RSU)获取车辆身份信息及通过门架摄像头获取第二车辆特征信息；

S2：基于所述身份信息关联获取车辆的扣费信息、过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息、车牌信息以及第一车辆特征信息；

S3：通过高点AR摄像头获取视频画面，结合上述过车时间、车道信息、门架信息对高点AR摄像头视野范围内过车车辆进行分割，并按照第一车辆特征信息进行结构化，形成一系列AR高点视频过车车辆结构化数据流；

S4：根据步骤S2中获取的所有信息，生成与业务相关的车辆AR标注信息；

S5：根据步骤S2中的过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息匹配对应的AR高点视频过车车辆结构化数据流；

S6：根据第一车辆特征信息和/或第二车辆特征信息对AR高点视频过车车辆结构化数据流中的车辆进行进一步的匹配关联；

S7：将AR后台系统生成的车辆AR标注信息与视频画面中的车辆进行融合。

进一步地，所述的第一车辆特征信息包括车辆类型、车辆颜色以及车辆照片。

进一步地，所述的第二车辆特征信息包括车辆类型、车辆颜色、车辆车牌以及车辆照片。

进一步地，还包括从相邻门架上架设的ETC路侧单元(RSU)和摄像头获取车辆信息，并生成与业务相关的第二AR标注信息，并将第二AR标注信息与视频画面中的车辆进行匹配，对其他门架实现的匹配结果进行二次校正。

还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于ETC数据来实现车辆AR标注信息的方法的步骤。

本发明提出的一种基于ETC数据来实现车辆AR标注信息的系统和方法，与现有技术相比，具有下述的优点：充分利用已广泛普及的ETC路侧单元(RSU)设备和ETC 车载单元(OBU)，通过ETC车辆身份自动识别、高精度AR增强现实、时间同步、图像识别等新兴技术，低成本的获取丰富的车辆信息，形成车辆AR标注信息，并实现车辆AR标注信息与高点AR视频中的车辆像素矩阵间的绑定，使得高点视频低成本的获得了全局车辆的AR标注信息并能动态跟随。其它车辆信息也可通过此方式获得。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过安装在ETC门架上的ETC路侧单元(RSU)与ETC车载单元(OBU) 进行通信以获取车辆身份信息，并通过ETC后台系统关联获取车辆的扣费信息、过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息、车牌信息、车辆特征信息(如：车辆类型、车辆颜色、车辆照片等)，然后ETC后台系统再将这些信息发送给AR后台系统。

本发明通过AR后台系统结合过车时间、车道编号、门架编号对高点摄像头视野范围内过车车辆进行分割，并按照车辆类型、颜色进行结构化，形成一系列AR高点视频过车车辆结构化数据流。AR后台系统根据从ETC后台系统收到的信息，生成与业务相关的车辆AR标注信息；并根据车辆过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息匹配对应的AR高点视频过车车辆数据流；再根据车辆类型、车辆颜色、车辆照片对AR高点视频过车车辆数据流中的车辆进行进一步的匹配关联，精确获取高点视频中车辆与AR标注信息的对应关系。

进一步的，本发明还可通过与ETC路侧单元(RSU)同门架上架设的摄像头获取车辆类型、车辆颜色、车辆车牌、抓拍车辆照片等信息，并发送给AR后台系统。在AR后台系统生成与业务相关的车辆AR标注信息，并将AR标注信息与高点视频中的车辆进行匹配。一方面可以对基于ETC数据实现的匹配关联结果进行二次校验和完善补充，提升车辆关联匹配的准确率和标签覆盖比例；另一方面可以筛选出ETC 路侧单元(RSU)漏识别的车辆/未安装ETC车载单元(OBU)的车辆以及车辆信息不符的车辆。

进一步的，本发明还可通过相邻门架上架设的ETC路侧单元(RSU)和摄像头获取车辆信息，并发送给AR后台系统。在AR后台系统生成与业务相关的车辆AR 标注信息，并将AR标注信息与高点视频中的车辆进行匹配，对其他门架实现的匹配结果进行二次校正。

在一个实施例中，所需设备包括：ETC路侧单元(RSU)、ETC车载单元(OBU)、 ETC后台系统、高点AR摄像头、AR后台系统、门架摄像头。

ETC车载单元(OBU)：存有车辆的身份识别信息，通常安装在车辆前面的挡风玻璃上，可与ETC路侧单元(RSU)进行短程通信。

ETC路侧单元(RSU)：通过短程通信技术，从其有效覆盖范围内通行的、载有 ETC车载单元(OBU)的车辆获取车辆身份信息，并将车辆身份信息通过光纤或者无线通讯模块上传到ETC后台系统。

ETC后台系统：根据收到的车辆身份信息关联获取车辆的扣费信息、过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息、车牌信息、车辆特征信息(如：车辆类型、车辆颜色、车辆照片等)，并发送给AR后台系统。

AR后台系统：结合过车时间、车道编号、门架编号对高点摄像头视野范围内过车车辆进行分割，并按照车辆类型、颜色进行结构化，形成一系列AR高点视频过车车辆结构化数据流。AR后台系统根据从ETC后台系统收到的信息，生成与业务相关的车辆AR标注信息；并根据车辆过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息匹配对应的AR高点视频过车车辆数据流；再根据车辆类型、车辆颜色、车辆照片对AR高点视频过车车辆数据流中的车辆进行进一步的匹配关联，精确获取高点视频中车辆与AR标注信息的对应关系。为实现高效且精确的匹配，AR 后台系统对从ETC后台系统获取的过车数据，也按照车辆类型、颜色提取结构化信息，并按照时间戳进行排序，形成源自ETC系统的车辆结构化数据序列。再将源自 ETC系统的车辆结构化数据序列与对应的AR高点视频过车车辆数据流进行匹配，当源自ETC系统的车辆结构化数据序列与根据高点视频画面解析出来的中的某一段过车车辆结构化数据流数据相匹配时，即可将高点视频中的车辆像素矩阵与源自 ETC系统的车辆信息进行一一绑定，并匹配对应的车辆AR标注信息。

高点AR摄像头：获取高点的视频画面，并将后台系统生成的车辆AR标注信息与视频画面进行融合。

门架摄像头：获取车辆类型、车辆颜色、车辆车牌、抓拍车辆照片等信息，并发送给AR后台系统。在AR后台系统生成与业务相关的车辆AR标注信息，并将 AR标注信息与高点视频中的车辆进行匹配。一方面可以对基于ETC数据进行的匹配关联结果进行二次校验和完善补充，提升车辆关联匹配的准确率和标签覆盖比例；另一方面可以筛选出ETC路侧单元(RSU)漏识别的车辆/未安装ETC车载单元(OBU) 的车辆以及车辆信息不符的车辆。

相邻门架上架设的ETC路侧单元(RSU)和摄像头：获取车辆信息，并发送给 AR后台系统。在AR后台系统生成与业务相关的车辆AR标注信息，并将AR标注信息与高点视频中的车辆进行匹配，对其他门架实现的匹配结果进行二次校正。

工作原理：目前90％的车辆都安装了ETC车载单元(OBU)，且高速公路上也安装了大量的ETC路侧单元(RSU)设备。利用ETC短程通信技术可以快速获取车辆的信息，并与高点摄像头采集的回传信息进行关联，从而精确而高效的为视频中的车辆生成高度匹配的AR标注信息。同时可以结合与ETC路侧单元(RSU)同门架上架设的摄像头获取车辆类型、车辆颜色、车辆车牌、抓拍车辆照片等信息，对基于ETC数据实现的匹配关联结果进行二次校验和完善补充，提升车辆关联匹配的准确率和标签覆盖比例。还可通过相邻门架上架设的ETC路侧单元(RSU)和摄像头获取车辆信息，对其他门架实现的匹配结果进行二次校正。

ETC路侧单元(RSU)与ETC车载单元(OBU)进行通信以获取车辆身份信息，并通过ETC后台系统关联获取车辆的扣费信息、过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息、车牌信息、车辆特征信息(如：车辆类型、车辆颜色、车辆照片等)，然后ETC后台系统再将这些信息发送给AR后台系统。

AR后台系统结合过车时间、车道编号、门架编号对高点摄像头视野范围内过车车辆进行分割，并按照车辆类型、颜色进行结构化，形成一系列AR高点视频过车车辆结构化数据流。AR后台系统根据从ETC后台系统收到的信息，生成与业务相关的车辆AR标注信息；并根据车辆过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息匹配对应的AR高点视频过车车辆数据流；再根据车辆类型、车辆颜色、车辆照片对AR高点视频过车车辆数据流中的车辆进行进一步的匹配关联，精确获取高点视频中车辆与AR标注信息的对应关系。为实现高效且精确的匹配，AR后台系统对从ETC后台系统获取的过车数据，也按照车辆类型、颜色提取结构化信息，并按照时间戳进行排序，形成源自ETC系统的车辆结构化数据序列。再将源自ETC 系统的车辆结构化数据序列与对应的AR高点视频过车车辆数据流进行匹配，当源自 ETC系统的车辆结构化数据序列与根据高点视频画面解析出来的中的某一段过车车辆结构化数据流数据相匹配时，即可将高点视频中的车辆像素矩阵与源自ETC系统的车辆信息进行一一绑定，并匹配对应的车辆AR标注信息。

例如：某过车时间区间内，某车道+门架对应的AR高点视频过车车辆数据流中依次出现了一辆蓝色大型车，两辆白色小型车，一辆绿色中型车，三辆黑色小型车。在时间区间、车道、门架限定的条件下，车辆车型+颜色的时序组合发生重复的概率极小，可以与源自ETC系统的车辆结构化数据序列进行高效而精确的匹配。极端情况下，如果出现了重复的片段，可以适度扩大用于匹配的序列长度进行二次匹配。如果出现了无法完全匹配的片段，可以先通过最大似然算法计算出最优可能的匹配关系，然后适度缩短用于匹配的序列长度，进行二次优化。

高点视频持续的对每帧图像进行智能识别，获得每辆车辆的像素矩阵，并将前后两帧的车辆像素矩阵进行相减，当值为一定范围内则判断两个像素矩阵为同一车辆，使用同一AR车辆标签，以此实现车辆AR标注信息的动态跟随。

本发明利用ETC短程通信技术快速获取车辆的信息，并与高点摄像头采集的回传信息中的车辆进行关联，从而精确而高效的为视频中的车辆生成高度匹配的AR标注信息，降低信息获取成本。同时通过对高点视频的相邻帧进行比对，确定同一物体的移动轨迹，以此实现车辆AR标注信息的动态跟随。其它车辆信息也可通过此方式获得。

在另一个实施例中，涉及计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于ETC 数据来实现车辆AR标注信息的方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (7)

1.一种基于ETC数据来实现车辆AR标注信息的系统，其特征在于，包括ETC路侧单元(RSU)、ETC车载单元(OBU)、ETC后台系统、高点AR摄像头、AR后台系统以及门架摄像头，其中

所述的ETC车载单元(OBU)，用于存储车辆的身份信息；

所述的ETC路侧单元(RSU)，用于从其有效覆盖范围内通行的、载有ETC车载单元(OBU)的车辆获取车辆的身份信息，并将所述身份信息上传到所述ETC后台系统；

所述ETC后台系统，根据收到的所述身份信息关联获取车辆的扣费信息、过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息、车牌信息以及第一车辆特征信息，并发送给所述AR后台系统；

所述AR后台系统，结合过车时间、车道信息、门架信息对高点AR摄像头视野范围内过车车辆进行分割，并按照第一车辆特征信息进行结构化，形成一系列AR高点视频过车车辆结构化数据流；根据从ETC后台系统收到的信息，生成与业务相关的车辆AR标注信息；并根据车辆的过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息匹配对应的AR高点视频过车车辆结构化数据流；再根据第一车辆特征信息和/或第二车辆特征信息对AR高点视频过车车辆结构化数据流中的车辆进行进一步的匹配关联，精确获取高点视频画面中车辆与AR标注信息的对应关系；

所述的高点AR摄像头，用于获取高点视频画面，并将AR后台系统生成的车辆AR标注信息与视频画面进行融合；

所述的门架摄像头，用于获取第二车辆特征信息，并发送给AR后台系统；

所述的第一车辆特征信息包括车辆类型、车辆颜色以及车辆照片；所述的第二车辆特征信息包括车辆类型、车辆颜色、车辆车牌以及车辆照片。

2.根据权利要求1所述的基于ETC数据来实现车辆AR标注信息的系统，其特征在于，所述的ETC车载单元(OBU)与ETC路侧单元(RSU)之间的传输方式采用短程通信。

3.根据权利要求1所述的基于ETC数据来实现车辆AR标注信息的系统，其特征在于，所述的ETC后台系统与ETC路侧单元(RSU)之间的传输方式采用光纤或者无线通讯。

4.根据权利要求1所述的基于ETC数据来实现车辆AR标注信息的系统，其特征在于，还包括相邻门架上架设的ETC路侧单元(RSU)和摄像头，用于获取车辆信息，并发送给AR后台系统，在AR后台系统生成与业务相关的第二AR标注信息，并将第二AR标注信息与高点视频画面中的车辆进行匹配，对其他门架实现的匹配结果进行二次校正。

5.一种基于ETC数据来实现车辆AR标注信息的方法，其特征在于，包括步骤：

S1：通过ETC路侧单元(RSU)获取车辆身份信息及通过门架摄像头获取第二车辆特征信息；

S2：基于所述身份信息关联获取车辆的扣费信息、过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息、车牌信息以及第一车辆特征信息；

S3：通过高点AR摄像头获取视频画面，结合上述过车时间、车道信息、门架信息对高点AR摄像头视野范围内过车车辆进行分割，并按照第一车辆特征信息进行结构化，形成一系列AR高点视频过车车辆结构化数据流；

S4：根据步骤S2中获取的所有信息，生成与业务相关的车辆AR标注信息；

S5：根据步骤S2中的过车时间戳、过车时间关联的门架信息、过车时间关联的车道信息匹配对应的AR高点视频过车车辆结构化数据流；

S6：根据第一车辆特征信息和/或第二车辆特征信息对AR高点视频过车车辆结构化数据流中的车辆进行进一步的匹配关联；

S7：将AR后台系统生成的车辆AR标注信息与视频画面中的车辆进行融合；

所述的第一车辆特征信息包括车辆类型、车辆颜色以及车辆照片；所述的第二车辆特征信息包括车辆类型、车辆颜色、车辆车牌以及车辆照片。

6.根据权利要求5所述的基于ETC数据来实现车辆AR标注信息的方法，其特征在于，还包括从相邻门架上架设的ETC路侧单元(RSU)和摄像头获取车辆信息，并生成与业务相关的第二AR标注信息，并将第二AR标注信息与视频画面中的车辆进行匹配，对其他门架实现的匹配结果进行二次校正。

7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现权利要求5-6任一所述的基于ETC数据来实现车辆AR标注信息的方法的步骤。