CN116846893A - 一种面向车路协同自动驾驶交通大数据校验方法及装置 - Google Patents
一种面向车路协同自动驾驶交通大数据校验方法及装置 Download PDFInfo
- Publication number
- CN116846893A CN116846893A CN202311116789.2A CN202311116789A CN116846893A CN 116846893 A CN116846893 A CN 116846893A CN 202311116789 A CN202311116789 A CN 202311116789A CN 116846893 A CN116846893 A CN 116846893A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- automatic driving
- road
- key value
- driving traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013524 data verification Methods 0.000 title claims abstract description 39
- 238000012795 verification Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000004258 portal system Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种面向车路协同自动驾驶交通大数据校验方法及装置，该校验方法包括获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对；将键值对插入服务器对中，并基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性。本发明通过服务器集群进行交通大数据校验，将数据运算尽可能分散到集群环境中的不同节点上。通过将待校验交通大数据的发生时间扩展到多个临近时间，能够有效过滤掉时间接近的近似数据，校验准确性高、精度高，且通用性好，能够应用于各种具有时间连续性特点的交通大数据应用场景中。
Description
技术领域
本发明涉及交通大数据处理技术领域，尤其涉及一种面向车路协同自动驾驶交通大数据校验方法及装置，属于IPC分类号G06F。
背景技术
目前大数据处理技术在各个领域得到了广泛应用。在一些大数据应用场景中数据存在一定的时间连续性，如在交通大数据中车辆经过卡口的阅读器时阅读器将车辆的过车记录上传给大数据平台，交通卡口过车记录就存在一定的时间连续性，如果车辆在卡口处缓行或静止，则阅读器会在短时间内多次上传该车辆的过车记录，造成大数据平台存储很多同类或近似的数据。另外，当车辆在卡口处缓行或静止时，系统产生的近似数据不仅仅是车辆数据，还包括车与车、车与路以及车、路与周围环境之间的若干类型数据，因此短时间内产生的数据是海量的。鉴于此，车路协同自动驾驶交通大数据平台需要对收到的数据进行校验处理。
CN114936107A公开一种车辆整车数据校验方法，包括获取待校验整车数据；根据预设的数值校验规则对待校验整车数据进行数值校验，得到数值校验结果；根据预设的项目统计规则对待校验整车数据进行项目统计，得到项目统计结果；输出数值校验结果和项目统计结果。
CN113160571A公开一种基于车路协同的多数据源的数据融合处理方法，包括：接收来自多数据源采集到的车辆数据；其中，每个数据源采集到的车辆数据中包含车辆的位置数据；提取各车辆数据中的位置数据，并将提取到的多个置数据划分为多个初始位置数据集合；针对任一初始位置数据集合，获取与该初始位置数据集合中各位置数据对应的车辆特征信息；比较车辆特征信息，并根据比较结果将相同车辆特征信息对应的位置数据进行融合，得到目标位置数据集合。
当前，相关技术中提供了一种数据校验方法，即在一个校验周期内每收到一个数据，从该数据中确定预设数目个关键字，判断该校验周期内收到的其他每个数据中是否存在包含这些关键字的数据，如果是，则将该数据删除。如果否，则存储该数据。然而该相关技术中简单的关键字校验并不能消除同类或近似数据，校验的准确性很差，校验之后仍然存在大量的数据冗余，浪费大量的存储空间，还会形成信息污染，掩盖真正有价值的信息。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足，本发明提供了一种面向车路协同自动驾驶交通大数据校验方法及装置，旨在解决现有技术中存在的至少一个或多个技术问题。
为实现上述目的，本发明提供了一种面向车路协同自动驾驶交通大数据校验方法，包括：
获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；
基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对；
将键值对插入服务器对中，并基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性。
在本发明中，通过服务器集群进行车路协同自动驾驶交通大数据校验，将数据运算尽可能分散到集群环境中的不同节点上。通过将待校验的数据的发生时间扩展到多个临近时间节点，能够有效过滤掉时间接近的近似数据，校验准确性高、精度高，且通用性好，能够应用于各种数据具有时间连续性特点的面向车路协同自动驾驶交通大数据应用场景中。另外，本发明在数据校验时优选采用可高并发访问的键值对数据库PolarDB，能够从空间和时间角度确保海量交通数据校验运算尽可能少地占用系统计算资源。
优选地，基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对包括：
基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键；
基于发生时间生成键对应的键值；
将键及其对应的键值组成待校验车路协同自动驾驶交通数据集对应的键值对。
优选地，基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键之步骤包括：
基于发生时间及设定周期长度计算待校验车路协同自动驾驶交通数据集对应的周期标识；
基于周期标识和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键。
优选地，基于发生时间生成键对应的键值之步骤包括：
将发生时间扩展为设定数目个临近时间；
将设定数目个临近时间确定为键对应的键值。
优选地，基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性之步骤包括：
基于服务器对针对键值对的返回结果与键值对包含的键值的数目的对应性确定待校验车路协同自动驾驶交通数据集的可用性。
优选地，基于服务器对针对键值对的返回结果与键值对包含的键值的数目的对应性确定待校验车路协同自动驾驶交通数据集的可用性之步骤包括：
若服务器对针对键值对的返回结果等于键值对包含的键值的数目，则待校验车路协同自动驾驶交通数据集为可用数据；
若服务器对针对键值对的返回结果不等于键值对包含的键值的数目，则待校验车路协同自动驾驶交通数据集为不可用数据。
优选地，在将键值对插入服务器对中之前还包括：
基于发生时间和设定周期长度计算第一边界系数和第二边界系数；
若第一边界系数小于或等于第一设定阈值，则生成键值对对应的第一边界键值对，并将第一边界键值对插入服务器对中；
若第二边界系数小于或等于第二设定阈值，则生成键值对对应的第二边界键值对，并将第二边界键值对插入服务器对中。
优选地，本发明中，若待校验车路协同自动驾驶交通数据集为不可用数据，将不可用数据删除或丢弃。
优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验装置，该装置包括：
接收模块，配置为获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；
生成模块，配置为基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对；
确定模块，配置为将键值对插入服务器对中，并基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性。
优选地，生成模块包括生成单元和组成单元，其中，
生成单元用于基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键，和/或基于发生时间生成键对应的键值；
组成单元用于将键及其对应的键值组成待校验车路协同自动驾驶交通数据集对应的键值对。
优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验的电子设备，该设备包括一个或多个处理器；存储有一个或多个计算机程序的储存器；一个或多个计算机程序被一个或多个处理器执行，使得一个或多个计算机程序实现如本发明所述的面向车路协同自动驾驶交通大数据校验方法。
优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验的计算机可读存储介质，其上存储有计算机可执行程序/指令，所述计算机可执行程序/指令被处理器时实现如本发明所述的面向车路协同自动驾驶交通大数据校验方法。
优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验的服务器集群，包括多个工作节点和至少一个负载均衡节点，其中，工作节点用于通过本发明所述的数据校验或可用性检测方法获得集群可用性数据，负载均衡节点用于根据每个工作节点上传的集群可用性数据更新负载均衡列表。
附图说明
图1是本发明提供的一种优选实施方式的车路协同自动驾驶交通大数据校验方法的流程示意图；
图2是本发明提供的一种优选实施方式的服务器集群的架构图；
图3是本发明提供的一种优选实施方式的车路协同自动驾驶交通大数据校验方法中工作节点的操作流程示意图；
图4是本发明提供的一种优选实施方式的车路协同自动驾驶交通大数据校验方法中负载均衡节点的操作流程示意图；
图5是本发明提供的一种优选实施方式的数据可用性检测方法的流程示意图；
图6是本发明提供的一种优选实施方式的数据可用性检测装置的结构示意图之一；
图7是本发明提供的一种优选实施方式的数据可用性检测装置的结构示意图之二。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。虽然附图中显示了本发明的示例性实施方式，然而应当理解的是，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
实施例1
本发明提供了一种面向车路协同自动驾驶交通大数据校验方法或者一种用于验证面向车路协同自动驾驶交通数据集可用性的检测方法，参见图1，该方法可以包括如下步骤：
获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；
基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对；
将键值对插入服务器对中，并基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性。
车路协同：智能车路协同系统（Intelligent Vehicle InfrastructureCooperative Systems），是一种采用先进的无线通信和新一代互联网等技术，全方位实施车与车、车与路、车与人之间动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成安全、高效和环保的道路交通系统。
服务器对：主备服务器，即具有心跳机制的服务器。
根据一种优选实施方式，待校验车路协同自动驾驶交通数据集可以由后端服务器获取。具体地，获取途径可以是通过路侧智能终端（Roadside Unit，RSU）向车载智能终端（Onboard Unit，OBU）发送指令，由车载智能终端（Onboard Unit，OBU）向服务器发送。特别地，车载智能终端（Onboard Unit，OBU）是提供源数据，路侧智能终端（Roadside Unit，RSU）可以是仅具备车路通信（PC5-Uu）功能的终端，类似移动基站。
根据一种优选实施方式，待校验车路协同自动驾驶交通数据集可以包含多个字段或数据单元。不同字段或数据单元可以对应不同的车辆信息，如车牌识别字符、车辆进站/出站时间等。针对车路协同自动驾驶交通数据集的校验是对其中包含的若干车辆信息进行分析统计以用于确定所述车路协同自动驾驶交通数据集是否正常有效或是否重复的过程，用于从交通大数据中剔除重复或异常的数据。该校验过程可以包括数据校验、数据统计等。具体地，本发明中，针对车路协同自动驾驶交通数据集的数据校验可以是对预设周期长度内设定键值对与服务器针对该键值对的输出结果是否对应的校验过程。
根据一种优选实施方式，在获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集之后，可以根据预设提取规则将所述待校验车路协同自动驾驶交通数据集提取或划分为多个字段或数据单元。每个字段或数据单元可以对应不同类型的数据。每种数据包含不同的发生时间及对应的数据字符串。预设提取规则可根据实际情况来设定，本发明对此不加以限定。
根据一种优选实施方式，本发明中，基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对之步骤可包括：
基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键；
基于发生时间生成键对应的键值；
将键及其对应的键值组成待校验车路协同自动驾驶交通数据集对应的键值对。
根据一种优选实施方式，发生时间可以是产生所述车路协同自动驾驶交通数据集中任意一个待校验的字段或数据单元的时间。数据字符串为待校验的任意一个字段或数据单元对应的车辆信息。
具体地，本发明中，基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键之步骤可包括：
基于发生时间及设定周期长度计算待校验车路协同自动驾驶交通数据集对应的周期标识；
基于周期标识和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键。
根据一种优选实施方式，本发明中，设定周期长度可以在系统初始化时采用经验自行设定。具体而言，待系统运行一段时间后，可根据系统车路协同自动驾驶交通数据集的参数来确定或进一步优化。
根据一种优选实施方式，本发明中，周期标识是为更好地实现车路协同自动驾驶交通数据集完整性和可用性而设置的一种标识。采用周期标识，可以将采集的海量数据进行分类或分阶段存储，以便校验车路协同自动驾驶交通大数据时，系统能够按照设定的周期标识分类或分阶段地来执行。例如，可以基于高速公路门架系统对途径车辆按照每辆车进入门架视频范围的时间节点作为周期标识的开始时间，将相应车辆离开门架视频范围的时间节点作为周期标识的结束时间，在这段时间内采集的数据将作为待校验数据。或者，可以按照特定时间来确定周期标识，例如上午10点为周期标识的开始时间，上午12点为周期标识的结束时间，这期间的数据可作为待校验数据。特别地，具体周期标识的设定通常需要根据实际的应用场景来确定，上述示例方式仅是作为非限制性示例的说明，不应视为对本发明的具体限制。
根据一种优选实施方式，例如针对高速公路门架系统上的视频摄像头采集的数据，由于摄像头视野范围内采集的数据均为待校验的数据，因此若不设定与时间相关的周期标识，则数据库中涉及的海量数据的分布情况将十分复杂。因此，将特定时间或每辆车途径监测区域时的时间作为周期标识，并与视频摄像头采集的数据组合成一个待校验数据的键，可有效地提升对视频数据的校验应用。
根据一种优选实施方式，本发明中，基于发生时间生成键对应的键值之步骤可包括：
将发生时间扩展为设定数目个临近时间；
将设定数目个临近时间确定为键对应的键值。
根据一种优选实施方式，临近时间可以理解为接近特定时间或发生时间前的某段时间。本发明设定临近时间是为了能在有限时间内确定多个待校验数据的选项。通常地，可以将周期标识和传感器设备（例如视频采集设备）采集的数据作为待校验数据，在整个交通大数据中，这类数据就如同一个键。在一段待校验数据之前的临近时间确定为键值，即是按照时间的方式划分了待校验数据的组成。例如，视频摄像头中每辆车在通过摄像头视线范围之前，按照特定规则多确定几个临近时间作为键值，以供后续校验算法进行比对使用。
根据一种优选实施方式，本发明中，基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性之步骤可包括：基于服务器对针对键值对的返回结果与键值对包含的键值的数目的对应性确定待校验车路协同自动驾驶交通数据集的可用性。具体而言，若服务器对针对键值对的返回结果等于键值对包含的键值的数目，则确定待校验车路协同自动驾驶交通数据集为可用数据（或正常数据）。若服务器对针对键值对的返回结果不等于键值对包含的键值的数目，则确定待校验车路协同自动驾驶交通数据集为不可用数据（或非正常数据）。
根据一种优选实施方式，针对待校验车路协同自动驾驶交通数据集可用性的校验结果可以是该数据是否可用的判断结果，或者也可以是通过或不通过数据校验的具体数据结果，如字符串结果。
根据一种优选实施方式，本发明中，在将所述键值对插入服务器对中之前还包括：
基于发生时间和设定周期长度计算第一边界系数和第二边界系数；
若第一边界系数小于或等于第一设定阈值，则生成键值对对应的第一边界键值对，并将第一边界键值对插入服务器对中；
若第二边界系数小于或等于第二设定阈值，则生成键值对对应的第二边界键值对，并将第二边界键值对插入服务器对中。
根据一种优选实施方式，第一边界系数和第二边界系数可以理解为待校验数据的开始和结尾。如前文所述，周期标识、临近时间等均是按照特定规则形成的键类标识。而边界系数则是系统针对特定对象的一个权重，某种程度上边界系数体现的是接近真实数据的程度。
根据一种优选实施方式，本发明中服务器采用可高并发访问的键值对数据库PolarDB，PolarDB数据库能够从空间和时间角度确保海量交通数据校验运算尽可能少地占用系统计算资源。然而应当理解的是，本领域技术人员也可以选用本发明未示出的其他数据库，采用PolarDB数据库并不应视为对本发明的具体限制。
本领域技术人员应理解，只要能够实现本发明的目的，在上述各步骤前后或步骤之间还可包含其他步骤或操作，例如进一步优化和/或改善本发明所述的方法。此外，本发明所述的方法虽被显示和描述为按顺序执行的一系列动作，但是应当理解为该方法不受顺序的限制。例如，一些动作可以以与本文描述的顺序不同的顺序发生。或者，一个动作可以与另一个动作同时发生。
实施例2
本发明还提供一种面向车路协同自动驾驶交通大数据校验装置，该装置可用于执行实施例1所述的面向车路协同自动驾驶交通大数据校验方法。具体地，本实施例所述的面向车路协同自动驾驶交通大数据校验装置可以包括以下部件之一：
接收模块，被配置为获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；
生成模块，被配置为基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对；
确定模块，被配置为将键值对插入服务器对中，并基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性。
根据一种优选实施方式，生成模块被配置为基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键以及基于发生时间生成该键对应的键值，并将键及其对应的键值组合为键值对。具体地，本发明中，生成模块可以包括生成单元和组成单元。生成单元用于基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键，和/或基于发生时间生成键对应的键值。组成单元用于将键及其对应的键值组成待校验车路协同自动驾驶交通数据集对应的键值对。
根据一种优选实施方式，生成单元还被配置为基于发生时间及设定周期长度计算待校验车路协同自动驾驶交通数据集对应的周期标识，并基于周期标识和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键。
根据一种优选实施方式，生成单元还被配置为将发生时间扩展为设定数目个临近时间，并将设定数目个临近时间确定为键对应的键值。
根据一种优选实施方式，确定模块被配置为基于服务器对针对键值对的返回结果与键值对包含的键值的数目的对应性确定待校验车路协同自动驾驶交通数据集的可用性，其中，若服务器对针对键值对的返回结果等于键值对包含的键值的数目，则待校验车路协同自动驾驶交通数据集为可用数据；若服务器对针对键值对的返回结果不等于键值对包含的键值的数目，则待校验车路协同自动驾驶交通数据集为不可用数据。
根据一种优选实施方式，确定模块还被配置为基于发生时间和设定周期长度计算第一边界系数和第二边界系数，其中，若第一边界系数小于或等于相应设定阈值，则生成键值对对应的第一边界键值对，并将第一边界键值对插入服务器对中；若第二边界系数小于或等于相应设定阈值，则生成键值对对应的第二边界键值对，并将第二边界键值对插入服务器对中。
根据一种优选实施方式，本发明提供的面向车路协同自动驾驶交通大数据校验装置，采用实施例1所述的面向车路协同自动驾驶交通大数据校验方法，解决了现有技术中数据校验准确性差，存在大量数据冗余以及易形成信息污染的技术问题。本发明实施例提供的面向车路协同自动驾驶交通大数据校验装置的有益效果与上述实施例提供的面向车路协同自动驾驶交通大数据校验方法的有益效果相同，且该面向车路协同自动驾驶交通大数据校验装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
实施例3
本实施例提供了一种优选实施方式下的面向车路协同自动驾驶交通大数据校验的服务器集群，图2示出了该服务器集群的架构图。具体地，该服务器集群包括数据库/云服务器以及与该数据库/云服务器连接的多个数据处理节点。作为非限制性实例的说明，其中的数据库/云服务器优选关系型数据库（PolarDB），PolarDB是一种关系数据库管理系统，它将数据保存在不同的表中，而不是将所有数据集中在一个库内，这样可以增加数据访问速度并提高灵活性。
根据一种优选实施方式，每个数据处理节点可以是包括硬体、软体或内嵌逻辑元件或者两个或多个此类元件的组合的电子装置，并能够执行由数据处理节点实施或支援的合适的功能。例如，数据处理节点可以是一种具有无线收发功能的设备，包括室内或室外、手持、穿戴或车载设备等。更具体地，数据处理节点可以是手机、平板电脑、带无线收发功能的电脑、虚拟现实（AR）终端设备或增强现实（AR）终端设备等等。优选地，本发明所述的数据处理节点可以是智能交通系统（Intelligent Transportation System，ITS）中的终端设备。
根据一种优选实施方式，本发明中，数据处理节点可以包括多个工作节点和至少一个负载均衡节点。工作节点和负载均衡节点之间可以通过有线或无线网络发送或接收信号，或者可以在诸如存储器中将信号处理或存储为物理存储状态。
根据一种优选实施方式，如图3所示，服务器集群中的每个工作节点被配置为：
工作节点周期性地发送连接请求给服务器集群中的其他工作节点；
该工作节点根据与其他每个工作节点之间的连接结果，获得集群可用性数据；
该工作节点发送集群可用性数据给负载均衡节点。
根据一种优选实施方式，每个工作节点获得集群可用性数据的过程可以是利用如实施例1所述的数据校验方法，即基于服务器对针对键值对的返回结果与该键值对包含的键值的数目的对应性确定待校验数据集是否为可用数据或正常数据。被确定为正常的可用性数据可以被保存在各工作节点的本地离线数据库之中。
根据一种优选实施方式，如图4所示，服务器集群中的每个负载均衡节点被配置为：
负载均衡节点获取服务器集群中每个工作节点上传的集群可用性数据；
负载均衡节点根据每个工作节点上传的集群可用性数据更新负载均衡列表。
根据一种优选实施方式，负载均衡节点可以通过有线或无线网络方式接收由各个工作节点校验并统计整合的可用性数据。进一步地，基于每个工作节点上传的集群可用性数据，负载均衡节点更新负载均衡列表，包括不限于删除、修改异常数据或插入新的增量数据等。
特别地，图5示出了另一种优选实施方式下数据可用性检测方法中负载均衡节点的操作流程示意图。具体地，在该实施方式中，负载均衡节点接收其中一个工作节点上传的集群可用性数据。进一步地，负载均衡节点从本地存储中获取服务器集群中除该工作节点之外其他每个工作节点过去上传的集群可用性数据。由此，负载均衡节点可以根据其中一个工作节点上传的集群可用性数据和本地存储中除该工作节点外的其他每个工作节点上传的历史集群可用性数据来更新负载均衡列表。
鉴于此，本发明提供的面向车路协同自动驾驶交通大数据校验的服务器集群可以包括数据库和与该数据库连接的若干数据处理节点，其中，所述数据处理节点包括：
多个工作节点，被配置为获取待校验车路协同自动驾驶交通数据集中的可用性数据；
至少一个负载均衡节点，被配置为根据每个工作节点获取的可用性数据更新负载均衡列表。
图6示出了一种优选实施方式下的面向车路协同自动驾驶交通大数据的节点数据可用性检测装置，该可用性检测装置可部署在服务器集群中的至少一个工作节点处。具体地，该可用性检测装置可以包括：
第一发送模块，被配置为周期性地发送连接请求给服务器集群中的其他工作节点；
获得模块，被配置为根据与其他每个工作节点之间的连接结果，获得集群可用性数据；
第二发送模块，被配置为发送集群可用性数据给负载均衡节点。
图7示出了一种优选实施方式下的面向车路协同自动驾驶交通大数据的节点数据可用性检测装置，该可用性检测装置可部署在服务器集群中的至少一个负载均衡节点处。具体地，该可用性检测装置可以包括：
获取模块，被配置为获取服务器集群中每个工作节点上传的集群可用性数据；
更新模块，被配置为根据每个工作节点上传的集群可用性数据更新负载均衡列表。
可选地，获取模块配置为接收服务器集群中其中一个工作节点上传的第一集群可用性数据，以及从本地存储中获取服务器集群中除该工作节点之外其他每个工作节点过去上传的第二集群可用性数据。进一步地，获取模块将第一集群可用性数据和第二集群可用性数据统计整合发送至更新模块以用于更新负载均衡列表。
实施例4
根据一种优选实施方式，本发明还提供一种面向车路协同自动驾驶交通大数据校验的电子设备。该电子设备可以包括一个或多个处理器、存储器以及至少用于连接处理器和存储器的通信总线。
根据一种优选实施方式，存储器被配置为存储计算机系统可读介质，计算机系统可读介质具备本发明实施例中的各项功能。
根据一种优选实施方式，处理器被配置为执行存储在存储器中的计算机系统可读介质以用于实现各项功能应用以及数据处理，特别是本发明所述的面向车路协同自动驾驶交通大数据校验方法。
根据一种优选实施方式，处理器包括但不限于CPU（Central Processing Unit）、MPU（Micro Processor Unit）、MCU（Micro Control Unit）以及SOC（System on Chip）等。
根据一种优选实施方式，存储器包括但不限于易失性存储器（例如DRAM或SRAM）和非易失性存储器（例如FLASH、光盘、软盘及机械硬盘等）。
根据一种优选实施方式，通信总线包括但不限于工业标准体系结构总线、微通道体系结构总线、增强型ISA总线、视频电子标准协会局域总线以及外围组件互连总线等。
根据一种优选实施方式，电子设备还可包括至少一个通信接口。电子设备可以通过通信接口与至少一个外部设备通信连接。此外，电子设备也可以通过网络适配器与至少一个外部网络通信连接。网络适配器与通信总线通信连接。
实施例5
根据一种优选实施方式，本发明还提供一种面向车路协同自动驾驶交通大数据校验的计算机可存储介质，该计算机可存储介质中存储有可执行程序。所述可执行程序在由计算机处理器执行时用于本发明所述的面向车路协同自动驾驶交通大数据校验方法。
根据一种优选实施方式，本实施例所述的计算机可存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可存储介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质包括但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。
根据一种优选实施方式，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
根据一种优选实施方式，可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN）连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。
Claims (10)
1.一种面向车路协同自动驾驶交通大数据校验方法，其特征在于，包括：
获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；
基于所述发生时间和数据字符串生成所述待校验车路协同自动驾驶交通数据集对应的键值对；
将所述键值对插入服务器对中，并基于所述服务器对针对所述键值对的返回结果确定所述待校验车路协同自动驾驶交通数据集的可用性。
2.根据权利要求1所述的面向车路协同自动驾驶交通大数据校验方法，其特征在于，所述基于所述发生时间和数据字符串生成所述待校验车路协同自动驾驶交通数据集对应的键值对包括：
基于所述发生时间和数据字符串生成所述待校验车路协同自动驾驶交通数据集对应的键；
基于所述发生时间生成所述键对应的键值；
将所述键及其对应的所述键值组成所述待校验车路协同自动驾驶交通数据集对应的键值对。
3.根据权利要求2所述的面向车路协同自动驾驶交通大数据校验方法，其特征在于，所述基于所述发生时间和数据字符串生成所述待校验车路协同自动驾驶交通数据集对应的键包括：
基于所述发生时间及设定周期长度计算所述待校验车路协同自动驾驶交通数据集对应的周期标识；
基于所述周期标识和所述数据字符串生成所述待校验车路协同自动驾驶交通数据集对应的键。
4.根据权利要求2所述的面向车路协同自动驾驶交通大数据校验方法，其特征在于，所述基于所述发生时间生成所述键对应的键值包括：
将所述发生时间扩展为设定数目个临近时间；
将所述设定数目个临近时间确定为所述键对应的键值。
5.根据权利要求1所述的面向车路协同自动驾驶交通大数据校验方法，其特征在于，所述基于所述服务器对针对所述键值对的返回结果确定所述待校验车路协同自动驾驶交通数据集的可用性包括：
基于所述服务器对针对所述键值对的返回结果与所述键值对包含的键值的数目的对应性确定所述待校验车路协同自动驾驶交通数据集的可用性。
6.根据权利要求5所述的面向车路协同自动驾驶交通大数据校验方法，其特征在于，所述基于所述服务器对针对所述键值对的返回结果与所述键值对包含的键值的数目的对应性确定所述待校验车路协同自动驾驶交通数据集的可用性包括：
若所述服务器对针对所述键值对的返回结果等于所述键值对包含的键值的数目，则所述待校验车路协同自动驾驶交通数据集为可用数据；
若所述服务器对针对所述键值对的返回结果不等于所述键值对包含的键值的数目，则所述待校验车路协同自动驾驶交通数据集为不可用数据。
7.根据权利要求1所述的面向车路协同自动驾驶交通大数据校验方法，其特征在于，所述将所述键值对插入服务器对中之前还包括：
基于所述发生时间和设定周期长度计算第一边界系数和第二边界系数；
若所述第一边界系数小于或等于第一设定阈值，则生成所述键值对对应的第一边界键值对，并将所述第一边界键值对插入所述服务器对中；
若所述第二边界系数小于或等于第二设定阈值，则生成所述键值对对应的第二边界键值对，并将所述第二边界键值对插入所述服务器对中。
8.根据权利要求6所述的面向车路协同自动驾驶交通大数据校验方法，其特征在于，若所述待校验车路协同自动驾驶交通数据集为不可用数据，将所述不可用数据删除或丢弃。
9.一种面向车路协同自动驾驶交通大数据校验装置，其特征在于，包括：
接收模块，配置为获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；
生成模块，配置为基于所述发生时间和数据字符串生成所述待校验车路协同自动驾驶交通数据集对应的键值对；
确定模块，配置为将所述键值对插入服务器对中，并基于所述服务器对针对所述键值对的返回结果确定所述待校验车路协同自动驾驶交通数据集的可用性。
10.根据权利要求9所述的面向车路协同自动驾驶交通大数据校验装置，其特征在于，所述生成模块包括：
生成单元，配置为基于所述发生时间和数据字符串生成所述待校验车路协同自动驾驶交通数据集对应的键，和/或基于所述发生时间生成所述键对应的键值；
组成单元，配置为将所述键及其对应的所述键值组成所述待校验车路协同自动驾驶交通数据集对应的键值对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311116789.2A CN116846893A (zh) | 2023-09-01 | 2023-09-01 | 一种面向车路协同自动驾驶交通大数据校验方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311116789.2A CN116846893A (zh) | 2023-09-01 | 2023-09-01 | 一种面向车路协同自动驾驶交通大数据校验方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116846893A true CN116846893A (zh) | 2023-10-03 |
Family
ID=88160214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311116789.2A Pending CN116846893A (zh) | 2023-09-01 | 2023-09-01 | 一种面向车路协同自动驾驶交通大数据校验方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116846893A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147322A (zh) * | 2018-08-27 | 2019-01-04 | 浙江工业大学 | 一种城市交通大数据处理中多源数据自适应融合方法 |
| CN109522305A (zh) * | 2018-12-06 | 2019-03-26 | 北京千方科技股份有限公司 | 一种大数据去重方法及装置 |
| CN109634821A (zh) * | 2018-11-13 | 2019-04-16 | 中科院微电子研究所昆山分所 | 一种节点可用性检测方法及装置 |
| CN110222139A (zh) * | 2019-06-14 | 2019-09-10 | 北京百度网讯科技有限公司 | 道路实体数据去重方法、装置、计算设备和介质 |
| CN114936107A (zh) * | 2022-05-20 | 2022-08-23 | 上汽通用五菱汽车股份有限公司 | 车辆整车数据校验方法、装置、电子设备及存储介质 |
-
2023
- 2023-09-01 CN CN202311116789.2A patent/CN116846893A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147322A (zh) * | 2018-08-27 | 2019-01-04 | 浙江工业大学 | 一种城市交通大数据处理中多源数据自适应融合方法 |
| CN109634821A (zh) * | 2018-11-13 | 2019-04-16 | 中科院微电子研究所昆山分所 | 一种节点可用性检测方法及装置 |
| CN109522305A (zh) * | 2018-12-06 | 2019-03-26 | 北京千方科技股份有限公司 | 一种大数据去重方法及装置 |
| CN110222139A (zh) * | 2019-06-14 | 2019-09-10 | 北京百度网讯科技有限公司 | 道路实体数据去重方法、装置、计算设备和介质 |
| CN114936107A (zh) * | 2022-05-20 | 2022-08-23 | 上汽通用五菱汽车股份有限公司 | 车辆整车数据校验方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111176867B (zh) | 数据共享交换及开放应用平台 | |
| US20220224603A1 (en) | Method and apparatus for determining device information, and system | |
| CN114579657B (zh) | 一种基于车路协同的v2x边缘云控方法及系统 | |
| CN112416369B (zh) | 一种面向异构混合环境的智能化部署方法 | |
| CN112256682B (zh) | 一种多维异构数据的数据质量检测方法及装置 | |
| CN116508019A (zh) | 用于数据库管理系统的基于学习的工作负载资源优化 | |
| CN110895534A (zh) | 一种数据拼接方法、装置、介质及电子设备 | |
| CN113778864A (zh) | 一种测试用例的生成方法和装置、电子设备和存储介质 | |
| CN114157829A (zh) | 模型训练优化方法、装置、计算机设备及存储介质 | |
| WO2022174838A1 (zh) | 一种驾驶场景识别方法及其系统 | |
| CN111586695A (zh) | 短信识别方法及相关设备 | |
| CN112347201A (zh) | 信息处理方法、信息处理装置及终端设备 | |
| CN111932076A (zh) | 一种规则配置和发布方法、装置及计算设备 | |
| CN116846893A (zh) | 一种面向车路协同自动驾驶交通大数据校验方法及装置 | |
| CN115756448A (zh) | 一种车辆云端数据采集系统架构的获取方法、装置、设备及介质 | |
| CN115438719A (zh) | 数据处理方法、装置、服务器及存储介质 | |
| CN111159213A (zh) | 一种数据查询方法、装置、系统和存储介质 | |
| CN115576990A (zh) | 视觉真值数据与感知数据的评测方法、装置、设备及介质 | |
| CN111737371B (zh) | 可动态预测的数据流量检测分类方法及装置 | |
| CN112288133A (zh) | 一种算法服务处理方法和装置 | |
| CN111429110A (zh) | 门店标准化审核方法、装置、设备及存储介质 | |
| CN116719584B (zh) | 数据处理方法、装置、计算机、存储介质及程序产品 | |
| KR20210103128A (ko) | 데이터 분석 서비스 방법 및 이를 이용한 데이터 분석 시스템 | |
| CN110781430A (zh) | 互联网新型虚拟数据中心系统及其构造方法 | |
| CN111061814A (zh) | 一种建模分析方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |