CN116614841B - 一种路侧数据质量评估方法和电子设备 - Google Patents
一种路侧数据质量评估方法和电子设备 Download PDFInfo
- Publication number
- CN116614841B CN116614841B CN202310868354.7A CN202310868354A CN116614841B CN 116614841 B CN116614841 B CN 116614841B CN 202310868354 A CN202310868354 A CN 202310868354A CN 116614841 B CN116614841 B CN 116614841B
- Authority
- CN
- China
- Prior art keywords
- data
- road side
- current multi
- quality evaluation
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 37
- 238000013441 quality evaluation Methods 0.000 claims abstract description 157
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims description 55
- 230000008447 perception Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000005577 local transmission Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000005065 mining Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 35
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及交通信息采集与分析技术领域，公开了一种路侧数据质量评估方法和电子设备。该方法包括：获取当前多源路侧数据；对所述当前多源路侧数据进行在线数据质量评估；若所述当前多源路侧数据符合在线数据质量评估标准，则基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据；基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常。本申请技术方案能够既保障平台路侧数据线上质量检测效率，及时预警；又可支撑线下关键数据可信度、数据真实度的深度挖掘，对路侧数据进行清晰透视。
Description
技术领域
本发明涉及交通信息采集与分析技术领域，尤其涉及一种路侧数据质量评估方法和电子设备。
背景技术
在车联网应用场景推广的过程中，车联网平台收集了大量的路侧感知数据和通信数据。路侧数据质量直接决定了自动驾驶决策算法的运行效果和交通管控措施的优化程度。
车联网行业数据质量评估方法目前分为两大类：现场试验和平台工具，其中，现场试验主要针对目标物感知数据和定位数据。利用车载GPS、真值系统采集数据作为数据真值/标准，与采集数据进行对比，实现感知数据质量评价。由于数据真值与采集数据时空同步较高，单套测试工具费用较高、对测试人员数据处理及数据分析能力要求较高，评估过程费时费力等原因，无法对采集的海量数据进行系统、全面评估，只能进行局部范围抽样测试。平台工具类面向通用数据，目前基于数据挖掘手段开发完成的系统或者工具为标准化通用型的工具，缺乏针对车联网业务的规则检测方法及算法模型检测方法。
有鉴于此，特提出本发明。
发明内容
为了解决上述技术问题，本发明提供了一种路侧数据质量评估方法和电子设备，既保障了平台路侧数据线上质量检测效率，及时预警；又可支撑线下关键数据可信度、数据真实度的深度挖掘，对路侧数据进行清晰透视。
本申请实施例提供了一种路侧数据质量评估方法，包括：
获取当前多源路侧数据；
对所述当前多源路侧数据进行在线数据质量评估；
若所述当前多源路侧数据符合在线数据质量评估标准，则基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据；
基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；
基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常。
本申请实施例提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上实施例所述的路侧数据质量评估方法。
本申请实施例具有以下技术效果：
通过获取当前多源路侧数据；对所述当前多源路侧数据进行在线数据质量评估；若所述当前多源路侧数据符合在线数据质量评估标准，则基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据；基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常，既保障了平台路侧数据线上质量检测效率，及时预警；又可支撑线下关键数据可信度、数据真实度的深度挖掘，对路侧数据进行清晰透视。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种路侧数据质量评估方法的流程示意图；
图2是本申请实施例提供的一种路侧数据质量评估装置的结构示意图；
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
图1是本申请实施例提供的一种路侧数据质量评估方法的流程示意图。参见图1，该路侧数据质量评估方法具体包括：
S110、获取当前多源路侧数据。
其中，当前多源路侧数据为当前时刻接收到的预设采集时间段内的路侧数据，当前多源路侧数据优选可以基于车联网数据平台获取。可选地，多源路侧数据可以包括路侧感知数据、路网数据、路侧安全消息、地图消息、信号灯相位与配时消息以及路侧消息中的至少两个，由于信号灯相位与配时消息为随时间规律性变化数据以及路侧消息具有随机性，在路侧数据质量评估过程中的影响程度较小，为了减少路侧数据质量评估的数据量，多源路侧数据优选可以包括路侧感知数据、路网数据、路侧安全消息和地图消息。其中，路侧安全消息、地图消息、信号灯相位与配时消息以及路侧即时交通信息均由路侧单元（RSU，Road Side Unit）发出。具体的，路侧感知数据为由路侧设置的激光雷达、毫米波雷达以及摄像机等感知设备感知到的道路目标物消息。路网数据为道路网络基础数据，包含道路描述、车道描述、交通标牌、路面表示以及路口信息等高精度地图消息。路侧安全消息（RSM，Roadside Safety Message）主要由路侧单元通过自身传感器进行感知并将感知到的交通参与者信息编成RSM消息发送出来的，内容包括消息来源、目标物类型以及目标物运行状态等。地图消息（MAP）为路侧单元发出的局部地图消息，涵盖局部区域的路口信息、路段信息、车道信息以及道路之间的连接关系等。信号灯相位与配时消息（SPAT，Signal Phase andTiming Message）为路侧单元发出的红绿灯变化信息。路侧消息（RSI，RoadsideInformation）为路侧单元发出的交通事件和交通标志等信息。
S120、对所述当前多源路侧数据进行在线数据质量评估。
本实施例中，优选可以基于车联网数据平台对当前多源路侧数据进行在线数据质量评估。可选地，可以利用完整性、时效性、准确度以及合理性中的一个或多个评价指标，对当前多源路侧数据进行在线数据质量评估。由于合理性评价指标在实际使用时，需要较为复杂的评价算法以及深度的数据挖掘，耗时较长，因此，为了节省数据评估时间，优选可以利用完整性、时效性和准确度中的至少一个评价指标，对当前多源路侧数据进行在线数据质量评估。可选地，若所述当前多源路侧数据符合在线数据质量评估标准，则将当前多源路侧数据保存至业务数据库，若所述当前多源路侧数据不符合在线数据质量评估标准，则可以确定当前多源路侧数据异常，可以触发异常数据预警处理机制。
优选的，在对所述当前多源路侧数据进行在线数据质量评估之后，还包括：
若所述当前多源路侧数据不符合在线数据质量评估标准，则对所述当前多源路侧数据进行异常标签标记，并触发异常数据预警处理机制，此外，还可以停止后续针对所述当前多源路侧数据所进行的数据质量评估操作（包括后续线上和线下数据质量评估操作）。其中，对所述当前多源路侧数据进行异常标签标记可以包括对当前多源路侧数据进行数据质量缺失标签标记、对当前多源路侧数据进行时间戳异常标签标记以及对当前多源路侧数据进行数据突破阈值约束标签标记等。异常数据预警处理可以包括异常报警以及将当前多源路侧数据输出至数据治理环节等，其中，数据治理可以包括数据插值处理或数据下采样处理等。
S130、若所述当前多源路侧数据符合在线数据质量评估标准，则基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据。
优选的，可以将当前多源路侧数据进行数据对齐融合处理，并基于融合处理后的当前多源路侧数据，进行目标物分类提取及目标物轨迹拼接整合等操作，最终得到目标物及目标物轨迹相关数据。其中，目标物优选可以是车辆，目标物轨迹相关数据可以包括目标物轨迹，目标物运行数据及对齐后的路网数据等，示例性的，目标物运行数据可以包括如经纬度数据、速度数据、目标物类型数据以及方向角等数据、对齐后的路网数据可以包括道路ID、起始车道、目标车道、道路中心线以及道路宽度等数据。
S140、基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估。
本实施例基于当前多源路侧数据获取目标物及目标物轨迹相关数据，并对目标物及目标物轨迹相关数据进行线下数据质量评估，上述对多源路侧数据进行深度挖掘，基于多源路侧数据的应用结果对其数据质量进行评价，能够更加可靠且直观的反映出路侧数据的数据质量。
优选的，本实施例中的目标物和目标物轨迹相关数据均有其对应的线下数据质量评估策略，其中，每个线下数据质量评估策略可以配置有一种数据质量评估算法，也可以配置有多种数据质量评估算法，在实际应用中，可以根据需求选择合适的线下数据质量评估策略，此处不作特殊限定。
S150、基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常。
优选的，基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常，包括：若线下数据质量评估结果正常，则确定所述当前多源路侧数据正常，当前多源路侧数据线下质量评估操作结束；若线下数据质量评估结果存在异常，则确定所述当前多源路侧数据异常，并反馈与线下数据质量评估结果异常相对应的字段数据，将异常字段数据存入异常数据库，当前多源路侧数据线下质量评估操作结束。其中，所述字段数据为所述目标物轨迹相关数据中的字段，示例性的，字段数据可以是实时车速字段数据，经纬度字段数据等。可以理解的是，在反馈所述当前多源路侧数据是否异常之后，当前多源路侧数据的数据质量评估即完成，可以利用以上步骤继续执行后续多源路侧数据质量评估操作。
本实施例具有以下技术效果：通过获取当前多源路侧数据；对所述当前多源路侧数据进行在线数据质量评估；若所述当前多源路侧数据符合在线数据质量评估标准，则基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据；基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常，既保障了平台路侧数据线上质量检测效率，及时预警；又可支撑线下关键数据可信度、数据真实度的深度挖掘，对路侧数据进行清晰透视。
在上述各实施例的基础上，进一步的，对所述当前多源路侧数据进行在线数据质量评估，包括：
基于预设评价指标以及每个预设评价指标优先级，对所述当前多源路侧数据进行在线数据质量评估，其中，所述预设评价指标包括完整性、时效性和准确度中的至少一个；
相应的，若所述当前多源路侧数据符合在线数据质量评估标准，包括：若所述当前多源路侧数据符合每个预设评价指标对应的预设评价指标在线数据质量评估标准，则确定所述当前多源路侧数据符合在线数据质量评估标准。
其中，基于完整性对当前多源路侧数据进行在线数据质量评估，优选可以是基于当前多源路侧数据的数据覆盖率对当前多源路侧数据进行在线数据质量评估。基于时效性对当前多源路侧数据进行在线数据质量评估，优选可以是基于时间戳确定数据延迟时间，基于数据延迟时间对当前多源路侧数据进行在线数据质量评估。基于准确度对当前多源路侧数据进行在线数据质量评估，优选可以是基于各个字段数据对应的数值范围对当前多源路侧数据进行在线数据质量评估。上述基于完整性、时效性和准确度中的至少一个预设评价指标对当前多源路侧数据进行在线数据质量评估，能够快速准确地实现数据的在线质量检测，在线输出数据质量初筛指标。
本实施例中，若基于多个预设评价指标对当前多源路侧数据进行在线数据质量评估，则需要当前多源路侧数据符合每个预设评价指标对应的预设评价指标在线数据质量评估标准时，可以确定当前多源路侧数据符合在线数据质量评估标准，若存在一个预设评价指标，当前多源路侧数据不符合该预设评价指标对应的预设评价指标在线数据质量评估标准，则可以确定当前多源路侧数据不符合在线数据质量评估标准。
在上述各实施例的基础上，进一步的，所述预设评价指标包括完整性、时效性和准确度，完整性评价指标对应的预设评价指标优先级为一级，时效性对应的预设评价指标优先级为二级，准确度对应的预设评价指标优先级为三级，所述基于预设评价指标以及每个预设评价指标优先级，对所述当前多源路侧数据进行在线数据质量评估，包括：
确定所述当前多源路侧数据的数据覆盖率；
若所述数据覆盖率小于预设覆盖率阈值，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作；
若所述数据覆盖率大于等于预设覆盖率阈值，则确定所述当前多源路侧数据符合完整性评估标准，并根据所述当前多源路侧数据的数据发送时刻和数据接收时刻，确定所述当前多源路侧数据的数据延迟时间；
若所述数据延迟时间大于等于预设时延阈值，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作，其中，预设时延阈值包括异地传输预设时延阈值或本地传输预设时延阈值；
若所述数据延迟时间小于预设时延阈值，则确定所述当前多源路侧数据符合时效性评估标准，并确定所述当前多源路侧数据中不同字段数据所对应的数值范围是否在相应字段数据所对应的预设数值范围内；
若存在至少一个字段数据所对应的数值范围超出相应字段数据所对应的预设数值范围，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作；
若所有字段数据对应的数值范围均在相应字段数据对应的预设数值范围内，则确定所述当前多源路侧数据符合准确性评估标准。
示例性的，预设覆盖率阈值可以是85%。异地传输预设时延阈值可以是10s，本地传输预设时延阈值可以是100ms。上述举例均为示例性说明，均可以根据实际情况进行调整，不应作为限定。
车联网路侧数据一般在阈值范围内波动，而现有的标准协议给出的各个字段数据的数值范围比较宽泛，很难直接利用其检测数据的真值性以及可信度，基于此，本实施例技术方案在标准协议的基础上，对不同字段数据所对应的预设数值范围进行了范围缩小聚焦，以检测数据的真值性和可信度。示例性的，本实施例中的各个字段数据可以包括经度字段数据、纬度字段数据、经纬度数据所代表的位置、实时车速字段数据以及实时方向角字段数据等。
在上述各实施例的基础上，进一步的，所述当前多源路侧数据中不同字段数据包括经纬度数据所代表的位置和实时车速数据，相应字段数据所对应的预设数值范围，包括：经纬度数据所代表的位置对应的预设数值范围为相应预设数值范围内的每个位置数据与道路中心线最临近点的欧式距离小于等于道路宽度的一半，实时车速数据对应的预设数值范围为[0，avt]，其中，a的范围是[1.3，1.5]，vt为道路限速。
在上述各实施例的基础上，进一步的，所述当前多源路侧数据包括路侧感知数据、路网数据、路侧安全消息以及地图消息，所述基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据，包括：
将所述路侧感知数据、所述路网数据、所述路侧安全消息以及所述地图消息进行时间对齐和空间对齐，得到当前对齐多源路侧数据；
基于所述当前对齐多源路侧数据，进行跨区域目标物识别及跨区域目标物身份标识融合，得到目标物及目标物轨迹相关数据，其中，目标物轨迹相关数据包括目标物轨迹、目标物运行数据及对齐路网数据，其中对齐路网数据为进行时间对齐和空间对齐后的路网数据。
本实施例中的多源路侧数据属于多源异构数据，其中，路侧感知数据为结构化动态数据，采集频率为10HZ；路网数据为非结构化静态数据；路侧安全消息以及地图消息解析后为结构化数据，以消息体规定的数据字段包装成JSON文件，采集频率为10HZ。多源异构数据在匹配融合的过程中需要进行时间对齐和空间对齐。当前对齐多源路侧数据进行数据融合，提炼出车辆运行数据及对齐路网数据，并进行跨区域目标物识别及跨区域目标物身份标识融合。其中，车辆运行数据可以包括经纬度数据、速度数据、目标物类型数据以及方向角等数据，对齐路网数据可以包括道路ID、起始车道、目标车道、道路中心线以及道路宽度等数据。本实施例中，不同区域内的同一目标物对应的身份标识可能不一致，因此需要进行跨区域目标物身份标识融合处理，之后可以对多个路段的采集数据进行拼接，最终形成覆盖预设长度的车辆运行轨迹数据，其中，预设长度可以是400m。
在上述各实施例的基础上，进一步的，基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估，包括：
基于预先配置的单算法线下数据质量评估策略或组合算法线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；
在基于预先配置的组合算法线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估之后，还包括：利用平均策略输出线下数据质量评估结果。
其中，单算法和组合算法均可以利用历史数据训练得到。单算法可以是系统自主推荐的最适合当前字段数据质量评估的算法，示例性的，若对实时车速进行线下数据质量评估，则优选可以推荐方差滤波算法，若对车辆轨迹进行合理性评估，则优选可以推荐滑动窗口法等。组合算法即多个算法的组合，利用组合算法线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估，包括分别利用组合算法内的多个算法，对所述目标物和目标物轨迹相关数据进行线下数据质量评估。利用平均策略输出线下数据质量评估结果即取多个算法的线下数据质量评估结果的平均值作为最终线下数据质量评估结果。可选地，还可以利用权重策略输出线下数据质量评估结果，即根据多个算法的线下数据质量评估结果对应的不同权重计算最终线下数据质量评估结果。本实施例可以根据需要自由选择不同算法进行线下数据质量评估，提高了数据质量评估的灵活性，此外利用组合算法评估策略，可以提高数据质量评估的准确性和可信度。可以理解的是，为了进一步提高数据质量评估的准确性和可信度，优选可以在得到线下数据质量评估结果之后，进一步对线下数据质量评估结果进行合理性评估，以检验线下数据质量评估结果的可信度。
在上述各实施例的基础上，进一步的，本申请实施例的技术方案还可以包括：基于预先配置的单算法线下数据质量评估策略或组合算法线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估，包括：
基于分布策略、距离策略、密度策略、聚类策略、降维策略和分类策略中的至少一种，对所述目标物进行线下数据质量评估；
基于车辆轨迹数据检测算法，对所述目标物轨迹进行线下数据质量评估，其中，车辆轨迹数据检测算法包括滑动窗口法、轨迹相似度算法、轨迹波动方差、孤立森林算法和主成分分析法中的至少一种。
以及，基于自适应推荐算法，对所述目标物轨迹相关数据中的目标关键字段进行线下数据质量评估。其中，自适应推荐算法为系统根据待评估目标关键字段，自主选择的算法。目标关键字段可以是经度字段、纬度字段、实时车速字段以及实时角速度字段等。
图2为本申请实施例中的一种路侧数据质量评估装置的结构示意图。如图2所示：该装置包括：
当前多源路侧数据获取模块210，用于获取当前多源路侧数据；
在线数据质量评估模块220，用于对所述当前多源路侧数据进行在线数据质量评估；
目标物及轨迹数据获取模块230，用于若所述当前多源路侧数据符合在线数据质量评估标准，则基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据；
线下数据质量评估模块240，用于基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；
质量评估结果反馈模块250，用于基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常。
本实施例具有以下技术效果：通过利用当前多源路侧数据获取模块获取当前多源路侧数据；利用在线数据质量评估模块对所述当前多源路侧数据进行在线数据质量评估；若所述当前多源路侧数据符合在线数据质量评估标准，则利用目标物及轨迹数据获取模块基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据；利用线下数据质量评估模块基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；利用质量评估结果反馈模块基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常，既保障了平台路侧数据线上质量检测效率，及时预警；又可支撑线下关键数据可信度、数据真实度的深度挖掘，对路侧数据进行清晰透视。
在上述各技术方案的基础上，进一步的，在线数据质量评估模块220具体可以包括在线数据质量评估单元，用于：
基于预设评价指标以及每个预设评价指标优先级，对所述当前多源路侧数据进行在线数据质量评估，其中，所述预设评价指标包括完整性、时效性和准确度中的至少一个；
相应的，目标物及轨迹数据获取模块230用于若所述当前多源路侧数据符合在线数据质量评估标准，包括：若所述当前多源路侧数据符合每个预设评价指标对应的预设评价指标在线数据质量评估标准，则确定所述当前多源路侧数据符合在线数据质量评估标准。
在上述各技术方案的基础上，进一步的，所述预设评价指标包括完整性、时效性和准确度，完整性评价指标对应的预设评价指标优先级为一级，时效性对应的预设评价指标优先级为二级，准确度对应的预设评价指标优先级为三级，在线数据质量评估单元具体可以用于：
确定所述当前多源路侧数据的数据覆盖率；
若所述数据覆盖率小于预设覆盖率阈值，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作；
若所述数据覆盖率大于等于预设覆盖率阈值，则确定所述当前多源路侧数据符合完整性评估标准，并根据所述当前多源路侧数据的数据发送时刻和数据接收时刻，确定所述当前多源路侧数据的数据延迟时间；
若所述数据延迟时间大于等于预设时延阈值，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作，其中，预设时延阈值包括异地传输预设时延阈值或本地传输预设时延阈值；
若所述数据延迟时间小于预设时延阈值，则确定所述当前多源路侧数据符合时效性评估标准，并确定所述当前多源路侧数据中不同字段数据所对应的数值范围是否在相应字段数据所对应的预设数值范围内；
若存在至少一个字段数据所对应的数值范围超出相应字段数据所对应的预设数值范围，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作；
若所有字段数据对应的数值范围均在相应字段数据对应的预设数值范围内，则确定所述当前多源路侧数据符合准确性评估标准。
在上述各技术方案的基础上，进一步的，所述当前多源路侧数据中不同字段数据包括经纬度数据所代表的位置和实时车速数据，相应字段数据所对应的预设数值范围，包括：经纬度数据所代表的位置对应的预设数值范围为相应预设数值范围内的每个位置数据与道路中心线最临近点的欧式距离小于等于道路宽度的一半，实时车速数据对应的预设数值范围为[0，avt]，其中，a的范围是[1.3，1.5]，vt为道路限速。
在上述各技术方案的基础上，进一步的，所述当前多源路侧数据包括路侧感知数据、路网数据、路侧安全消息以及地图消息，目标物及轨迹数据获取模块230具体可以用于：
将所述路侧感知数据、所述路网数据、所述路侧安全消息以及所述地图消息进行时间对齐和空间对齐，得到当前对齐多源路侧数据；
基于所述当前对齐多源路侧数据，进行跨区域目标物识别及跨区域目标物身份标识融合，得到目标物及目标物轨迹相关数据，其中，目标物轨迹相关数据包括目标物轨迹、目标物运行数据及对齐路网数据，其中对齐路网数据为进行时间对齐和空间对齐后的路网数据。
在上述各技术方案的基础上，进一步的，线下数据质量评估模块240具体可以包括：
线下数据质量评估单元，用于基于预先配置的单算法线下数据质量评估策略或组合算法线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；
平均策略评估结果输出单元，用于在基于预先配置的组合算法线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估之后，利用平均策略输出线下数据质量评估结果。
在上述各技术方案的基础上，进一步的，线下数据质量评估单元具体可以用于：
基于分布策略、距离策略、密度策略、聚类策略、降维策略和分类策略中的至少一种，对所述目标物进行线下数据质量评估；
基于车辆轨迹数据检测算法，对所述目标物轨迹进行线下数据质量评估，其中，车辆轨迹数据检测算法包括滑动窗口法、轨迹相似度算法、轨迹波动方差、孤立森林算法和主成分分析法中的至少一种；
以及，基于自适应推荐算法，对所述目标物轨迹相关数据中的目标关键字段进行线下数据质量评估。
在上述各技术方案的基础上，进一步的，路侧数据质量评估装置还可以包括在线评估异常处理模块，用于在对所述当前多源路侧数据进行在线数据质量评估之后，若所述当前多源路侧数据不符合在线数据质量评估标准，则对所述当前多源路侧数据进行异常标签标记，并触发异常数据预警处理机制。
在上述各技术方案的基础上，进一步的，质量评估结果反馈模块250具体可以用于：
若线下数据质量评估结果正常，则确定所述当前多源路侧数据正常；
若线下数据质量评估结果存在异常，则确定所述当前多源路侧数据异常，并反馈与线下数据质量评估结果异常相对应的字段数据，其中，所述字段数据为所述目标物轨迹相关数据中的字段。
本申请实施例提供的路侧数据质量评估装置，可执行本申请方法实施例所提供的路侧数据质量评估方法中的步骤，具备执行步骤和有益效果此处不再赘述。
图3为本申请实施例提供的一种电子设备的结构示意图。如图3所示，电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所说明的本申请任意实施例的路侧数据质量评估方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息，包括预警提示信息、完整度覆盖度信息、时延信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图3中仅示出了该电子设备400中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本申请任意实施例所提供的路侧数据质量评估方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本申请任意实施例所提供的路侧数据质量评估方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本申请范围。如本发明说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。
Claims (4)
1.一种路侧数据质量评估方法，其特征在于，包括：
获取当前多源路侧数据，所述当前多源路侧数据为多源异构数据；
对所述当前多源路侧数据进行在线数据质量评估；
若所述当前多源路侧数据符合在线数据质量评估标准，则基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据；
基于预先配置的线下数据质量评估策略，对所述目标物和目标物轨迹相关数据进行线下数据质量评估；
基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常；
对所述当前多源路侧数据进行在线数据质量评估，包括：
基于预设评价指标以及每个预设评价指标优先级，对所述当前多源路侧数据进行在线数据质量评估，其中，所述预设评价指标包括完整性、时效性和准确度中的至少一个；
相应的，若所述当前多源路侧数据符合在线数据质量评估标准，包括：若所述当前多源路侧数据符合每个预设评价指标对应的预设评价指标在线数据质量评估标准，则确定所述当前多源路侧数据符合在线数据质量评估标准；
所述预设评价指标包括完整性、时效性和准确度，完整性评价指标对应的预设评价指标优先级为一级，时效性对应的预设评价指标优先级为二级，准确度对应的预设评价指标优先级为三级，所述基于预设评价指标以及每个预设评价指标优先级，对所述当前多源路侧数据进行在线数据质量评估，包括：
确定所述当前多源路侧数据的数据覆盖率；
若所述数据覆盖率小于预设覆盖率阈值，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作；
若所述数据覆盖率大于等于预设覆盖率阈值，则确定所述当前多源路侧数据符合完整性评估标准，并根据所述当前多源路侧数据的数据发送时刻和数据接收时刻，确定所述当前多源路侧数据的数据延迟时间；
若所述数据延迟时间大于等于预设时延阈值，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作，其中，预设时延阈值包括异地传输预设时延阈值或本地传输预设时延阈值；
若所述数据延迟时间小于预设时延阈值，则确定所述当前多源路侧数据符合时效性评估标准，并确定所述当前多源路侧数据中不同字段数据所对应的数值范围是否在相应字段数据所对应的预设数值范围内；
若存在至少一个字段数据所对应的数值范围超出相应字段数据所对应的预设数值范围，则确定所述当前多源路侧数据不符合在线数据质量评估标准，并停止后续针对所述当前多源路侧数据所进行的数据质量评估操作；
若所有字段数据对应的数值范围均在相应字段数据对应的预设数值范围内，则确定所述当前多源路侧数据符合准确性评估标准；
所述当前多源路侧数据包括路侧感知数据、路网数据、路侧安全消息以及地图消息，所述基于所述当前多源路侧数据，获取目标物及目标物轨迹相关数据，包括：
将所述路侧感知数据、所述路网数据、所述路侧安全消息以及所述地图消息进行时间对齐和空间对齐，得到当前对齐多源路侧数据；
基于所述当前对齐多源路侧数据，进行跨区域目标物识别及跨区域目标物身份标识融合，得到目标物及目标物轨迹相关数据，其中，目标物轨迹相关数据包括目标物轨迹、目标物运行数据及对齐路网数据，其中对齐路网数据为进行时间对齐和空间对齐后的路网数据；
所述当前多源路侧数据中不同字段数据包括经纬度数据所代表的位置和实时车速数据，相应字段数据所对应的预设数值范围，包括：经纬度数据所代表的位置对应的预设数值范围为相应预设数值范围内的每个位置数据与道路中心线最临近点的欧式距离小于等于道路宽度的一半，实时车速数据对应的预设数值范围为[0，avt]，其中，a的范围是[1.3，1.5]，vt为道路限速。
2.根据权利要求1所述的方法，其特征在于，在对所述当前多源路侧数据进行在线数据质量评估之后，还包括：
若所述当前多源路侧数据不符合在线数据质量评估标准，则对所述当前多源路侧数据进行异常标签标记，并触发异常数据预警处理机制。
3.根据权利要求1所述的方法，其特征在于，基于线下数据质量评估结果，反馈所述当前多源路侧数据是否异常，包括：
若线下数据质量评估结果正常，则确定所述当前多源路侧数据正常；
若线下数据质量评估结果存在异常，则确定所述当前多源路侧数据异常，并反馈与线下数据质量评估结果异常相对应的字段数据，其中，所述字段数据为所述目标物轨迹相关数据中的字段。
4.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的路侧数据质量评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310868354.7A CN116614841B (zh) | 2023-07-17 | 2023-07-17 | 一种路侧数据质量评估方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310868354.7A CN116614841B (zh) | 2023-07-17 | 2023-07-17 | 一种路侧数据质量评估方法和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116614841A CN116614841A (zh) | 2023-08-18 |
| CN116614841B true CN116614841B (zh) | 2023-10-27 |
Family
ID=87680335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310868354.7A Active CN116614841B (zh) | 2023-07-17 | 2023-07-17 | 一种路侧数据质量评估方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116614841B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117113943B (zh) * | 2023-10-25 | 2024-02-02 | 湖北君邦环境技术有限责任公司 | 一种环评报告辅助编写方法及其系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019025872A2 (en) * | 2018-11-26 | 2019-02-07 | Wasfi Alshdaifat | MEANS OF AUTONOMOUS URBAN TRANSPORT WITH ARTIFICIAL TELEPATHY |
| CN113596102A (zh) * | 2021-07-05 | 2021-11-02 | 哈尔滨工业大学（深圳） | 车路协同式交通系统、路侧系统和数据处理方法 |
| CN114550450A (zh) * | 2022-02-15 | 2022-05-27 | 云控智行科技有限公司 | 一种验证路侧感知设备感知精度的方法、装置及电子设备 |
| CN114648231A (zh) * | 2022-03-29 | 2022-06-21 | 北京清研宏达信息科技有限公司 | 一种车路协同路侧数据质量评价方法 |
| CN114967705A (zh) * | 2022-06-17 | 2022-08-30 | 北京航空航天大学 | 一种基于路侧导引的路车融合控制方法 |
| CN115188187A (zh) * | 2022-07-05 | 2022-10-14 | 浙江嘉兴数字城市实验室有限公司 | 一种基于车路协同的路侧感知数据质量监测系统及方法 |
| CN115484721A (zh) * | 2022-09-27 | 2022-12-16 | 上汽通用五菱汽车股份有限公司 | 基于路侧感知系统的路灯控制方法、装置、设备及介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9694282B2 (en) * | 2011-04-08 | 2017-07-04 | Disney Enterprises, Inc. | Importing audio to affect gameplay experience |
| CN106910494B (zh) * | 2016-06-28 | 2020-11-13 | 创新先进技术有限公司 | 一种音频识别方法和装置 |
| US10102423B2 (en) * | 2016-06-30 | 2018-10-16 | Snap Inc. | Object modeling and replacement in a video stream |
| WO2019220319A1 (en) * | 2018-05-14 | 2019-11-21 | 3M Innovative Properties Company | System and method for autonomous vehicle sensor measurement and policy determination |
| CN109331465B (zh) * | 2018-09-28 | 2022-11-22 | 南昌努比亚技术有限公司 | 游戏对象控制方法、移动终端及计算机可读存储介质 |
-
2023
- 2023-07-17 CN CN202310868354.7A patent/CN116614841B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019025872A2 (en) * | 2018-11-26 | 2019-02-07 | Wasfi Alshdaifat | MEANS OF AUTONOMOUS URBAN TRANSPORT WITH ARTIFICIAL TELEPATHY |
| CN113596102A (zh) * | 2021-07-05 | 2021-11-02 | 哈尔滨工业大学（深圳） | 车路协同式交通系统、路侧系统和数据处理方法 |
| CN114550450A (zh) * | 2022-02-15 | 2022-05-27 | 云控智行科技有限公司 | 一种验证路侧感知设备感知精度的方法、装置及电子设备 |
| CN114648231A (zh) * | 2022-03-29 | 2022-06-21 | 北京清研宏达信息科技有限公司 | 一种车路协同路侧数据质量评价方法 |
| CN114967705A (zh) * | 2022-06-17 | 2022-08-30 | 北京航空航天大学 | 一种基于路侧导引的路车融合控制方法 |
| CN115188187A (zh) * | 2022-07-05 | 2022-10-14 | 浙江嘉兴数字城市实验室有限公司 | 一种基于车路协同的路侧感知数据质量监测系统及方法 |
| CN115484721A (zh) * | 2022-09-27 | 2022-12-16 | 上汽通用五菱汽车股份有限公司 | 基于路侧感知系统的路灯控制方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116614841A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240909B (zh) | 车辆监测方法、设备、云控平台和车路协同系统 | |
| KR102387240B1 (ko) | 자율 주행 능력들을 갖는 차량들에 대한 위험 처리 | |
| EP3300047A1 (en) | Dynamic traffic guide based on v2v sensor sharing method | |
| CN109345829B (zh) | 无人车的监控方法、装置、设备及存储介质 | |
| CN111178454A (zh) | 自动驾驶数据的标注方法、云端控制平台及存储介质 | |
| McDermid et al. | Towards a framework for safety assurance of autonomous systems | |
| CN116614841B (zh) | 一种路侧数据质量评估方法和电子设备 | |
| Lu et al. | Performance evaluation of surrogate measures of safety with naturalistic driving data | |
| Lyu et al. | Safety margins–a novel approach from risk homeostasis theory for evaluating the impact of advanced driver assistance systems on driving behavior in near-crash events | |
| Nakamura et al. | Defining reasonably foreseeable parameter ranges using real-world traffic data for scenario-based safety assessment of automated vehicles | |
| Peng et al. | Evaluation of emergency driving behaviour and vehicle collision risk in connected vehicle environment: A deep learning approach | |
| Chang et al. | Driving safety monitoring and warning for connected and automated vehicles via edge computing | |
| Formosa et al. | A new modeling approach for predicting vehicle-based safety threats | |
| Bhattarai et al. | Proactive safety analysis using roadside LiDAR based vehicle trajectory data: a study of rear-end crashes | |
| Khattak et al. | Big Data Generated by Connected and Automated Vehicles for Safety Monitoring, Assessment and Improvement, Final Report (Year 3) | |
| Shangguan et al. | Quantification of cut-in risk and analysis of its influencing factors: a study using random parameters ordered probit model | |
| CN111709665A (zh) | 车辆安全性的评估方法和装置 | |
| Tomar et al. | Lane change trajectory prediction using artificial neural network | |
| CN113868875B (zh) | 测试场景自动生成方法、装置、设备和存储介质 | |
| Al Haddad et al. | A data–information–knowledge cycle for modeling driving behavior | |
| Chang et al. | CAV driving safety monitoring and warning via V2X-based edge computing system | |
| Wang | Evaluation of traffic speed control devices and its applications | |
| JP2005234846A (ja) | 管理装置及び管理システム及び管理方法 | |
| CN114596706A (zh) | 路侧感知系统的检测方法及装置、电子设备和路侧设备 | |
| Wang et al. | Towards safe autonomy in hybrid traffic: Detecting unpredictable abnormal behaviors of human drivers via information sharing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |