CN113221602A - 道路路面状况确定方法、装置、设备和介质 - Google Patents

道路路面状况确定方法、装置、设备和介质 Download PDF

Info

Publication number
CN113221602A
CN113221602A CN202010072423.XA CN202010072423A CN113221602A CN 113221602 A CN113221602 A CN 113221602A CN 202010072423 A CN202010072423 A CN 202010072423A CN 113221602 A CN113221602 A CN 113221602A
Authority
CN
China
Prior art keywords
road
target
road surface
surface condition
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010072423.XA
Other languages
English (en)
Other versions
CN113221602B (zh
Inventor
夏德国
李敬刚
白红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010072423.XA priority Critical patent/CN113221602B/zh
Publication of CN113221602A publication Critical patent/CN113221602A/zh
Application granted granted Critical
Publication of CN113221602B publication Critical patent/CN113221602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits

Abstract

本申请实施例公开了一种道路路面状况确定方法、装置、设备和介质，涉及计算机技术领域中的导航技术。其中方法包括：根据目标区域中目标道路关联的车辆轨迹数据，确定目标道路的第一路面状况；根据第一路面状况对目标区域中目标道路进行筛选，以得到剩余的目标道路；对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况。本申请实施例实现基于车辆轨迹数据筛选出路面状况可能发生变化的道路，并根据筛选出的道路所关联的道路图像，对道路路面状况进行精准识别，从而提供了一种兼具效率和准确度的道路路面状况识别方案，为确定道路状况提供了有利条件。

Description

道路路面状况确定方法、装置、设备和介质
技术领域
本申请实施例涉及计算机技术，尤其涉及导航技术，具体涉及一种道路路面状况确定方法、装置、设备和介质。
背景技术
路面状况可以分为两部分：一种是短周期的路面状况，比如路面积雨，路面积雪，另一种是长周期的路面状况，比如路面经过长期行车，轻度损坏，积累一定时间没有修缮导致的中度，甚至重度损坏。
路面状况是影响电子地图的导航驾驶需求的重要因素，因此如何确定道路的路面状况十分关键。
发明内容
本申请实施例公开一种道路路面状况确定方法、装置、设备和介质，能够高效且准确的确定道路的路面状况。
第一方面，本申请实施例公开了一种道路路面状况确定方法，该方法包括：
根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况；
根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路；
对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况。
本申请实施例通过根据目标区域中目标道路关联的车辆轨迹数据，确定目标道路的第一路面状态，并根据第一路面状况对目标区域中目标道路进行筛选，以得到剩余的目标道路，然后对剩余的目标道路所关联的道路图像进行识别，得到剩余的目标道路的第二路面状况。由此，实现基于车辆轨迹数据筛选出路面状况可能发生变化的道路，并根据筛选出的道路所关联的道路图像，对道路路面状况进行精准识别，从而提供了一种兼具效率和准确度的道路路面状况识别方案，为确定道路状况提供了有利条件。
另外，根据本申请上述实施例的道路路面状况确定方法，还可以具有如下附加的技术特征：
可选的，根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况，包括：
根据目标区域中目标道路关联的历史车辆轨迹数据，确定所述目标道路的历史轨迹特征；
获取所述目标道路的相邻道路，并根据所述相邻道路关联的当前车辆轨迹数据，确定所述目标道路的相邻轨迹特征；
根据所述目标道路关联的当前车辆轨迹数据，确定所述目标道路的当前轨迹特征；
根据所述历史轨迹特征和/或所述相邻轨迹特征，以及所述当前轨迹特征，确定所述目标道路的第一路面状况。
上述申请中的一个实施例具有如下优点或有益效果：通过结合历史轨迹特征和/或相邻轨迹特征，以及当前轨迹特征，确定目标道路的第一路面状况，能够快速确定出哪些道路的路面状况可能发生变化，具有较强的时效性，且计算成本低。
可选的，所述车辆轨迹数据包括轨迹点位置、轨迹时间、轨迹速度和轨迹道路标识；
相应地，所述轨迹特征包括轨迹的速度分布和/或加速度分布；
所述速度分布包括如下至少一项：速度的平均值、标准差和中位数；
所述加速度分布包括如下至少一项：加速度的平均值、标准差和中位数。
可选的，根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路，包括：
滤除所述第一路面状况正常的目标道路。
上述申请中的一个实施例具有如下优点或有益效果：对路面状况正常的目标道路进行滤除，以得到路面状态可能发生变化的目标道路，从而为路面状况可能发生变化的目标道路的路面状况进行进一步确定奠定基础。
可选的，对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况，包括：
针对剩余的每一目标道路，确定该目标道路关联的道路图像序列；
对所述道路图像序列中的道路图像进行识别，得到路面状况序列；
将所述路面状况序列中正常的路面状况滤除，且将剩余的路面状况均作为该目标道路的第二路面状况。
上述申请中的一个实施例具有如下优点或有益效果：通过对剩余的目标道路的道路图像进行识别，确定剩余的目标道路的路面状况，以提高对道路的路面状况识别准确度。
可选的，所述第二路面状况包括如下至少一项：轻度损坏、中度损坏、重度损坏、积雨和积雪。
第二方面，本申请实施例还公开了一种道路路面状况确定装置，该装置包括：
确定模块，用于根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况；
筛选模块，用于根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路；
识别模块，用于对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况。
第三方面，本申请实施例还公开了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一实施例所述的道路路面状况确定方法。
第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行任一实施例所述的道路路面状况确定方法。
本申请上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例一公开的一种道路路面状况确定方法的流程示意图；
图2是本申请实施例二公开的另一种道路路面状况确定方法的流程示意图；
图3是本申请实施例三公开的一种道路路面状况确定装置的结构示意图；
图4是本申请实施例四公开的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例针对相关技术中，如何确定道路的路面状态问题，提出了一种道路路面状况确定方法。
本申请实施例，通过根据目标区域中目标道路关联的车辆轨迹数据，确定目标道路的第一路面状况，以根据第一路面状况对目标区域中目标道路进行筛选，以得到剩余的目标道路，然后对剩余的目标道路所关联的道路图像进行识别，得到剩余的目标道路的第二路面状态。由此，实现基于车辆轨迹数据筛选出路面状况可能发生变化的道路，并根据筛选出的道路所关联的道路图像，对道路路面状况进行精准识别，从而提供了一种兼具效率和准确度的道路路面状况识别方案，为确定道路状况提供了有利条件。
下面参考附图对本申请实施例的道路路面状况确定方法、装置、设备和介质进行详细说明。
实施例一
图1是本申请实施例一公开的一种道路路面状况确定方法的流程示意图，本申请实施例可适用于确定道路路面状况的场景，该方法可由道路路面状况确定装置来执行，该装置可以由软件和/或硬件实现，可集成于电子设备的内部。该方法具体包括如下步骤：
S101，根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况。
本申请实施例中，目标区域是指具有至少两条道路的任意区域，例如基于用户输入的起终点确定的具有至少两条道路的区域等。其中，目标区域中的至少两条道路即为本申请实施例中的目标道路。
第一路面状况可包括：正常和可能发生变化。
在执行S101之前，本申请实施例首先获取目标区域中的所有目标道路，以及每个目标道路关联的车辆轨迹数据。
具体的，可基于目标区域标识，在交通地理信息系统中获取目标区域中的所有目标道路，以及基于获取的所有目标道路的道路标识，从存储有车辆轨迹数据的服务端获取每个目标道路关联的车辆轨迹数据。
其中，本申请实施例所有目标道路可通过道路集合L表示。例如，L＝{<l1，speed_limit1，level1>，<li，speed_limiti，leveli>，…}。其中li为第i个目标道路的道路标识，speed_limiti为第i个目标道路的限速信息，leveli为第i个目标道路的等级信息。目标道路的等级信息包括：快速路、主干路、次干路及支路。
进而，根据获取的车辆轨迹数据，确定目标区域中每条目标道路的第一路面状况。
具体实现时，可通过以下方式实现：
作为一种可选的实现方式，可通过对获取的车辆轨迹数据进行分析，确定通过每条目标道路的车辆行驶速度或加速度等特征，然后根据上述特征确定每条目标道路的第一路面状况。
例如，若目标道路为以起点位置“大名县”，终点位置“东小留村石家庄市”的道路，那么当确定经过该道路的车辆行驶速度比相邻同方向道路上的车辆行驶速度明显降低，则说明该目标道路的路面状况可能发生变化。
作为另一种可选的实现方式，根据目标区域中目标道路关联的历史车辆轨迹数据，确定目标道路的历史轨迹特征；获取目标道路的相邻道路，并根据相邻道路关联的当前车辆轨迹数据，确定目标道路的相邻轨迹特征；根据目标道路关联的当前车辆轨迹数据，确定目标道路的当前轨迹特征；根据历史轨迹特征和/或相邻轨迹特征，以及当前轨迹特征，确定目标道路的第一路面状况。即，将目标道路的当前轨迹特征，与历史轨迹特征和/或相邻轨迹特征进行比较，以确定目标道路的第一路面状况。
其中，车辆轨迹数据包括：轨迹点位置、轨迹时间、轨迹速度和轨迹道路标识；相应地，所述轨迹特征包括轨迹的速度分布和/或加速度分布；
所述速度分布包括如下至少一项：速度的平均值、标准差和中位数；
所述加速度分布包括如下至少一项：加速度的平均值、标准差和中位数。
其中，轨迹点位置即为车辆的经纬度位置。
本申请实施例中，根据历史轨迹特征和/或相邻轨迹特征，以及当前轨迹特征，确定目标道路的第一路面状况时，可根据每条目标道路的当前速度分布，相邻道路的速度分布和/或目标道路的历史速度分布，确定每条目标道路的第一路面状况；和/或，根据每条目标道路的当前加速度分布，相邻道路的加速度分布和/或目标道路的历史加速度分布，确定每条目标道路的第一路面状况。
具体的，当任意目标道路的当前速度分布，低于相邻道路的速度分布和/或目标道路的历史速度分布时，确定该目标道路的第一路面状况可能发生变化，否则正常；和/或，当任意目标道路的当前加速度分布，低于相邻道路的加速度分布和/或目标道路的历史加速度分布式，确定该目标道路的第一路面状况可能发生变化，否则正常。
可以理解的是，历史轨迹特征和/或相邻轨迹特征，以及当前轨迹特征，可以是历史轨迹特征以及当前轨迹特征；或者，也可以是相邻轨迹特征以及当前轨迹特征；又或者，还可以是历史轨迹特征和当前轨迹特征，以及当前轨迹特征；
同样的，轨迹的速度分布和/或加速度分布，可以是轨迹的速度分布；或者，也可以是轨迹的加速度分布；又或者，还可以是轨迹的速度分布和轨迹的加速度分布。
需要说明的是，本申请实施例中，历史车辆轨迹数据、相邻道路关联的当前车辆轨迹数据以及目标道路关联的当前车辆轨迹数据，可通过车辆轨迹数据集合表示。下面以集合T表示历史车辆轨迹数据为例进行说明。例如，T＝{T1，……，Ti}，其中Ti＝{<p1，t1，s1，l1>，……，<pi，ti，si，li>}，其中pi为第i个历史车辆轨迹数据的轨迹点位置，ti为第i个历史车辆轨迹数据的轨迹时间、si为第i个历史车辆轨迹数据的轨迹速度，li为第i个历史车辆轨迹数据的轨迹道路标识。
相应的，相邻道路关联的当前车辆轨迹数据以及目标道路关联的当前车辆轨迹数据也可通过集合表示，具体采用与上述相同方式实现，此处对此不做过多赘述。
S102，根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路。
可选的，可按照预设分类方式，对目标道路的第一路面状况进行分类，以将第一路面状况正常的目标道路剔除，保留第一路面状况可能发生变化的目标道路。其中，预设分类方式可以是分类算法或者分类模型，此处对其不做具体限定。
即，根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路，包括：
滤除所述第一路面状况正常的目标道路。
作为一种可选的实现方式，本申请实施例可通过如下公式(1)，对第一路面状况进行分类，得到分类结果。
Figure BDA0002377635480000081
其中，L为目标道路集合，i为第i个目标道路，
Figure BDA0002377635480000082
为第i个目标道路的分类结果，其中
Figure BDA0002377635480000083
1为路面状况可能发生变化，0为路面状况正常；T为车辆轨迹数据，Fi t为第i个目标道路的历史轨迹特征，Fi s为第i个目标道路的相邻轨迹特征，Fi a为第i个目标道路的当前轨迹特征，f()为分类函数。
在本申请实施例中，f()通过有监督的训练方式，对初始模型进行训练，得到分类模型。其中，分类模型可以是但不限于：深度神经网络(Deep Neural Networks，简称：DNN)模型、逻辑回归(Logistic Regression，简称：LR)模型或支持向量机(Support VectorMachine，简称：SVM)模型等。
进一步的，基于上述公式(1)，对目标区域中每条目标道路的第一路面状况进行分类，若输出结果大于阈值，则分类结果为1；否则分类结果为0。从而可将分类结果为0的第一路面状况所对应的目标道路剔除，保留分类结果为1的目标道路。其中，保留的目标道路可通过集合LC＝{l1 C，lj C，…}表示。其中，j小于或者等于i。
也就是说，当分类结果为1时，说明该分类结果所对应目标道路的路面状况可能发生变化，从而通过对上述分类结果为1的目标道路的路面状况进行进一步确定，以确定出该目标道路的实际路面状况。
S103，对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况。
所述第二路面状况包括如下至少一项：轻度损坏、中度损坏、重度损坏、积雨和积雪。
可选的，剔除目标区域中分类结果为0的目标道路之后，将目标道路剩余分类结果为1的目标道路作为剩余的目标道路。然后，可获取剩余的目标道路所关联的道路图像，并对获取的道路图像进行识别，以得到剩余的目标道路的第二路面状况。本实施例中，可从剩余目标道路上设置的采集设备端，获取剩余目标道路所关联的道路图像。其中，采集设备可为摄像机等具有拍摄功能设备，此处对其不做具体限定。
具体实现时，可获取与剩余的目标道路中每一目标道路所关联的道路图像序列，然后对每一道路图像序列进行识别，确定剩余目标道路的第二路面状况。
在本申请实施例中，对道路图像序列进行识别，可基于卷积神经网络(Convolutional Neural Networks，简称CNN)模型训练生成的图像识别模型或其他图像识别模型实现。其中，卷积神经网络模型可以是VGG(Visual Geometry Group Network)模型、深度残差网络(Deep residual network，简称：ResNet)模型或者Inception系列模型等。本申请实施例中，卷积神经网络模型优选ResNet模型。
需要说明的是，本申请实施例中图像识别模型，可基于大量标注有路面状况的样本图像，对初始模型进行训练，以得到图像识别模型。其中，样本图像的路面状况可包括：正常、轻度损坏、中度损坏、重度损坏、积雨和积雪等。具体的，对初始模型进行训练的过程参见现有训练方式，此处对其不做过多赘述。
本申请实施例公开的道路路面状况确定方法，通过根据目标区域中目标道路关联的车辆轨迹数据，确定目标道路的第一路面状态，并根据第一路面状况对目标区域中目标道路进行筛选，以得到剩余的目标道路，然后对剩余的目标道路所关联的道路图像进行识别，得到剩余的目标道路的第二路面状况。由此，实现基于车辆轨迹数据筛选出路面状况可能发生变化的道路，并根据筛选出的道路所关联的道路图像，对道路路面状况进行精准识别，从而提供了一种兼具效率和准确度的道路路面状况识别方案，为确定道路状况提供了有利条件。
实施例二
图2是本申请实施例二公开的另一种道路路面状况确定方法的流程示意图，本实施例在实施例一的基础上进行进一步地优化，主要增加了对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况的相关操作。如图2所示，所述方法包括：
S201，根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况。
S202，根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路。
S203，针对剩余的每一目标道路，确定该目标道路关联的道路图像序列。
本申请实施例中，可基于剩余的每一目标道路的道路标识，查询每一目标道路关联的采集设备，并向采集设备发送道路图像序列获取请求，以获取采集设备反馈的每一目标道路关联的道路图像序列。其中，目标道路关联的采集设备数量为至少一个。
例如，若剩余的目标道路集合为LC＝{l1 C，lj C，…}，则该集合LC中每一目标道路关联的道路图像序列可为道路图像序列集合IC。其中，IC＝{<l1 C，I1 C>，<li C，Ii C>，……}，I1 C为目标道路l1 C关联的道路图像序列，Ii C为目标道路li C关联的道路图像序列。
S204，对所述道路图像序列中的道路图像进行识别，得到路面状况序列。
示例性的，可将剩余的每一目标道路关联的道路图像序列作为输入值，依次输入图像识别模型中，以使图像识别模型对每一目标道路关联的道路图像序列进行识别操作，得到道路图像序列中每个道路图像的识别结果(路面状况)。然后将属于同一目标道路的至少两个道路图像的路面状况，构成该目标道路的路面状况序列。
本申请实施例中，图像识别模型可有至少两个路面状况。其中，至少两个路面状况可根据实际应用需要进行设置，此处对其不做具体限定。例如正常、轻度损坏、中度损坏、重度损坏、积雨和积雪等。
也就是说，将每一目标道路关联的道路图像序列输入至图像识别模型中之后，图像识别模型对道路图像序列中的每个道路图像进行计算，以确定将每个道路图像分类至哪一路面状况类别中。然后，统计道路图像序列中每个道路图像的路面状况，得到每一目标道路的路面状况序列。
例如，若剩余的目标道路l2 C所关联的道路图像序列I2 C包括5张道路图像，其中第一张道路图像识别结果为正常，第二张道路图像识别结果为重度损坏，第三张道路图像识别结果为积雨，第四张道路图像识别结果为正常以及第五张道路图像识别结果为正常，那么l2 C关联的道路图像序列的路面状况序列为{正常，重度损坏，积雨，正常，正常}。
又如，若剩余的目标道路lj C所关联的道路图像序列Ij C包括5张道路图像，其中五张道路图像识别结果均为正常，那么lj C关联的道路图像序列的路面状况序列为{正常}。
S205，将所述路面状况序列中正常的路面状况滤除，且将剩余的路面状况均作为该目标道路的第二路面状况。
所述第二路面状况包括如下至少一项：轻度损坏、中度损坏、重度损坏、积雨和积雪。
继续以上述示例进行说明，若l2 C关联的道路图像序列的路面状况序列为{正常，重度损坏，积雨，正常，正常}，那么将路面状况序列中正常的路面状况滤除之后，得到目标道路l2 C的第二路面状况为：{重度损坏，积雨}。
本申请实施例公开的道路路面状况确定方法，根据目标道路的第一路面状况对目标道路进行筛选，得到剩余的目标道路之后，通过确定剩余的目标道路中每一目标道路关联的道路图像序列，并对每一目标道路关联的道路图像序列中的每个道路图像进行识别，以得到路面状况序列，然后对路面状况序列中正常的路面状况滤除，得到每一目标道路的第二路面状况。从而不仅快速且准确的确定出道路路面状况，且还能降低采集设备采集的道路图像数量，进而减少识别道路图像时的资源消耗。
实施例三
为了实现上述目的，本申请实施例三提出了一种道路路面状况确定装置。图3是本申请实施例三公开的一种道路路面状况确定装置的结构示意图。
如图3所示，本申请实施例公开的道路路面状况确定装置包括：确定模块31、筛选模块32及识别模块33。
其中，确定模块31，用于根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况；
筛选模块32，用于根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路；
识别模块33，用于对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况。
作为本申请实施例的一种可选的实现方式，所述确定模块31，包括：第一确定单元、第二确定单元、第三确定单元和第四确定单元：
其中，第一确定单元，用于根据目标区域中目标道路关联的历史车辆轨迹数据，确定所述目标道路的历史轨迹特征；
第二确定单元，用于获取所述目标道路的相邻道路，并根据所述相邻道路关联的当前车辆轨迹数据，确定所述目标道路的相邻轨迹特征；
第三确定单元，用于根据所述目标道路关联的当前车辆轨迹数据，确定所述目标道路的当前轨迹特征；
第四确定单元，用于根据所述历史轨迹特征和/或所述相邻轨迹特征，以及所述当前轨迹特征，确定所述目标道路的第一路面状况。
作为本申请实施例的一种可选的实现方式，所述车辆轨迹数据包括轨迹点位置、轨迹时间、轨迹速度和轨迹道路标识；
相应地，所述轨迹特征包括轨迹的速度分布和/或加速度分布；
所述速度分布包括如下至少一项：速度的平均值、标准差和中位数；
所述加速度分布包括如下至少一项：加速度的平均值、标准差和中位数。
作为本申请实施例的一种可选的实现方式，筛选模块32，具体用于：
滤除所述第一路面状况正常的目标道路。
作为本申请实施例的一种可选的实现方式，识别模块33，包括：第五确定单元、识别子单元及处理单元：
其中，第五确定单元，用于针对剩余的每一目标道路，确定该目标道路关联的道路图像序列；
识别子单元，用于对所述道路图像序列中的道路图像进行识别，得到路面状况序列；
处理单元，用于将所述路面状况序列中正常的路面状况滤除，且将剩余的路面状况均作为该目标道路的第二路面状况。
作为本申请实施例的一种可选的实现方式，所述第二路面状况包括如下至少一项：轻度损坏、中度损坏、重度损坏、积雨和积雪。
需要说明的是，前述对道路路面状况确定方法实施例的解释说明也适用于该实施例的道路路面状况确定装置，其实现原理类似，此处不再赘述。
本申请实施例公开的道路路面状况确定装置，通过根据目标区域中目标道路关联的车辆轨迹数据，确定目标道路的第一路面状态，并根据第一路面状况对目标区域中目标道路进行筛选，以得到剩余的目标道路，然后对剩余的目标道路所关联的道路图像进行识别，得到剩余的目标道路的第二路面状况。由此，实现基于车辆轨迹数据筛选出路面状况可能发生变化的道路，并根据筛选出的道路所关联的道路图像，对道路路面状况进行精准识别，从而提供了一种兼具效率和准确度的道路路面状况识别方案，为确定道路状况提供了有利条件。
实施例四
根据本申请的实施例，本申请还公开了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的道路路面状况确定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器410、存储器420，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器410为例。
存储器420即为本申请所公开的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所公开的道路路面状况确定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所公开的道路路面状况确定方法。
存储器420作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的道路路面状况确定方法对应的程序指令/模块(例如，附图3所示的确定模块31、筛选模块32及识别模块33)。处理器410通过运行存储在存储器420中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的道路路面状况确定方法。
存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据道路路面状况确定方法的电子设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器420可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至道路路面状况确定方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
道路路面状况确定方法的电子设备还可以包括：输入装置430和输出装置440。处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置430可接收输入的数字或字符信息，以及产生与道路路面状况确定方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置440可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过根据目标区域中目标道路关联的车辆轨迹数据，确定目标道路的第一路面状态，并根据第一路面状况对目标区域中目标道路进行筛选，以得到剩余的目标道路，然后对剩余的目标道路所关联的道路图像进行识别，得到剩余的目标道路的第二路面状况。由此，实现基于车辆轨迹数据筛选出路面状况可能发生变化的道路，并根据筛选出的道路所关联的道路图像，对道路路面状况进行精准识别，从而提供了一种兼具效率和准确度的道路路面状况识别方案，为确定道路状况提供了有利条件。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种道路路面状况确定方法，其特征在于，包括：
根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况；
根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路；
对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况。
2.根据权利要求1所述的方法，其特征在于，根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况，包括：
根据目标区域中目标道路关联的历史车辆轨迹数据，确定所述目标道路的历史轨迹特征；
获取所述目标道路的相邻道路，并根据所述相邻道路关联的当前车辆轨迹数据，确定所述目标道路的相邻轨迹特征；
根据所述目标道路关联的当前车辆轨迹数据，确定所述目标道路的当前轨迹特征；
根据所述历史轨迹特征和/或所述相邻轨迹特征，以及所述当前轨迹特征，确定所述目标道路的第一路面状况。
3.根据权利要求2所述的方法，其特征在于，所述车辆轨迹数据包括轨迹点位置、轨迹时间、轨迹速度和轨迹道路标识；
相应地，所述轨迹特征包括轨迹的速度分布和/或加速度分布；
所述速度分布包括如下至少一项：速度的平均值、标准差和中位数；
所述加速度分布包括如下至少一项：加速度的平均值、标准差和中位数。
4.根据权利要求2所述的方法，其特征在于，根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路，包括：
滤除所述第一路面状况正常的目标道路。
5.根据权利要求1所述的方法，其特征在于，对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况，包括：
针对剩余的每一目标道路，确定该目标道路关联的道路图像序列；
对所述道路图像序列中的道路图像进行识别，得到路面状况序列；
将所述路面状况序列中正常的路面状况滤除，且将剩余的路面状况均作为该目标道路的第二路面状况。
6.根据权利要求5所述的方法，其特征在于，所述第二路面状况包括如下至少一项：轻度损坏、中度损坏、重度损坏、积雨和积雪。
7.一种道路路面状况确定装置，其特征在于，包括：
确定模块，用于根据目标区域中目标道路关联的车辆轨迹数据，确定所述目标道路的第一路面状况；
筛选模块，用于根据所述第一路面状况对所述目标区域中目标道路进行筛选，以得到剩余的目标道路；
识别模块，用于对剩余的目标道路所关联的道路图像进行识别，以得到剩余的目标道路的第二路面状况。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，包括：
第一确定单元，用于根据目标区域中目标道路关联的历史车辆轨迹数据，确定所述目标道路的历史轨迹特征；
第二确定单元，用于获取所述目标道路的相邻道路，并根据所述相邻道路关联的当前车辆轨迹数据，确定所述目标道路的相邻轨迹特征；
第三确定单元，用于根据所述目标道路关联的当前车辆轨迹数据，确定所述目标道路的当前轨迹特征；
第四确定单元，用于根据所述历史轨迹特征和/或所述相邻轨迹特征，以及所述当前轨迹特征，确定所述目标道路的第一路面状况。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的道路路面状况确定方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的道路路面状况确定方法。
CN202010072423.XA 2020-01-21 2020-01-21 道路路面状况确定方法、装置、设备和介质 Active CN113221602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010072423.XA CN113221602B (zh) 2020-01-21 2020-01-21 道路路面状况确定方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010072423.XA CN113221602B (zh) 2020-01-21 2020-01-21 道路路面状况确定方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113221602A true CN113221602A (zh) 2021-08-06
CN113221602B CN113221602B (zh) 2023-09-29

Family

ID=77085322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010072423.XA Active CN113221602B (zh) 2020-01-21 2020-01-21 道路路面状况确定方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113221602B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807221A (zh) * 2021-09-07 2021-12-17 丰图科技(深圳)有限公司 轨迹质量识别方法、装置、电子设备及可读存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710624A (zh) * 2005-06-02 2005-12-21 上海交通大学 城市路网交通流区间平均速度的获取方法
CN101295436A (zh) * 2007-04-26 2008-10-29 爱信艾达株式会社 交通状况判定系统
CN104123833A (zh) * 2013-04-25 2014-10-29 北京搜狗信息服务有限公司 一种道路状况的规划方法和装置
CN105526941A (zh) * 2014-10-15 2016-04-27 哈曼国际工业有限公司 在不熟悉的道路上为驾驶者提供替代道路导航指令
CN106289296A (zh) * 2016-09-05 2017-01-04 广州极飞科技有限公司 一种道路导航的方法和装置
CN106652445A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种公路交通事故判别方法及装置
CN107316006A (zh) * 2017-06-07 2017-11-03 北京京东尚科信息技术有限公司 一种道路障碍物检测的方法和系统
CN108036794A (zh) * 2017-11-24 2018-05-15 华域汽车系统股份有限公司 一种高精度地图生成系统及生成方法
CN109615862A (zh) * 2018-12-29 2019-04-12 南京市城市与交通规划设计研究院股份有限公司 道路车辆交通运动状态参数动态获取方法及装置
US20190138024A1 (en) * 2017-11-07 2019-05-09 Uber Technologies, Inc. Map Automation - Lane Classification
CN109828999A (zh) * 2019-01-24 2019-05-31 厦门大学 基于多源跨域城市大数据的灾后道路故障检测识别方法
CN109993969A (zh) * 2019-03-08 2019-07-09 腾讯大地通途（北京）科技有限公司 一种路况判定信息获取方法、装置及设备
US20190212165A1 (en) * 2016-11-09 2019-07-11 Tencent Technology (Shenzhen) Company Limited Method, terminal, and computer storage medium for identifying information during navigation
CN110081894A (zh) * 2019-04-25 2019-08-02 同济大学 一种基于道路结构权值融合的无人车轨迹实时规划方法
US20190272389A1 (en) * 2018-03-05 2019-09-05 Mobileye Vision Technologies Ltd. Systems and methods for anonymizing navigation information
CN110648529A (zh) * 2019-09-16 2020-01-03 腾讯大地通途（北京）科技有限公司 一种车辆行驶轨迹的渲染方法、装置、设备及存储介质
US20200017083A1 (en) * 2016-09-22 2020-01-16 Omniklima Ab Method and arrangement for determining a condition of a road surface

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710624A (zh) * 2005-06-02 2005-12-21 上海交通大学 城市路网交通流区间平均速度的获取方法
CN101295436A (zh) * 2007-04-26 2008-10-29 爱信艾达株式会社 交通状况判定系统
CN104123833A (zh) * 2013-04-25 2014-10-29 北京搜狗信息服务有限公司 一种道路状况的规划方法和装置
CN105526941A (zh) * 2014-10-15 2016-04-27 哈曼国际工业有限公司 在不熟悉的道路上为驾驶者提供替代道路导航指令
CN106289296A (zh) * 2016-09-05 2017-01-04 广州极飞科技有限公司 一种道路导航的方法和装置
US20200017083A1 (en) * 2016-09-22 2020-01-16 Omniklima Ab Method and arrangement for determining a condition of a road surface
US20190212165A1 (en) * 2016-11-09 2019-07-11 Tencent Technology (Shenzhen) Company Limited Method, terminal, and computer storage medium for identifying information during navigation
CN106652445A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种公路交通事故判别方法及装置
CN107316006A (zh) * 2017-06-07 2017-11-03 北京京东尚科信息技术有限公司 一种道路障碍物检测的方法和系统
US20190138024A1 (en) * 2017-11-07 2019-05-09 Uber Technologies, Inc. Map Automation - Lane Classification
CN108036794A (zh) * 2017-11-24 2018-05-15 华域汽车系统股份有限公司 一种高精度地图生成系统及生成方法
US20190272389A1 (en) * 2018-03-05 2019-09-05 Mobileye Vision Technologies Ltd. Systems and methods for anonymizing navigation information
CN109615862A (zh) * 2018-12-29 2019-04-12 南京市城市与交通规划设计研究院股份有限公司 道路车辆交通运动状态参数动态获取方法及装置
CN109828999A (zh) * 2019-01-24 2019-05-31 厦门大学 基于多源跨域城市大数据的灾后道路故障检测识别方法
CN109993969A (zh) * 2019-03-08 2019-07-09 腾讯大地通途（北京）科技有限公司 一种路况判定信息获取方法、装置及设备
CN110081894A (zh) * 2019-04-25 2019-08-02 同济大学 一种基于道路结构权值融合的无人车轨迹实时规划方法
CN110648529A (zh) * 2019-09-16 2020-01-03 腾讯大地通途（北京）科技有限公司 一种车辆行驶轨迹的渲染方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭旦怀;崔伟宏;: "面向实时交通信息提取的车辆轨迹数据挖掘", 武汉理工大学学报(交通科学与工程版), no. 01, pages 6 - 9 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807221A (zh) * 2021-09-07 2021-12-17 丰图科技(深圳)有限公司 轨迹质量识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113221602B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111122175A (zh) 测试自动驾驶系统的方法以及装置
CN110910665B (zh) 信号灯控制方法、装置以及计算机设备
CN111292531B (zh) 交通信号灯的跟踪方法、装置、设备及存储介质
CN110675644B (zh) 道路红绿灯的识别方法、装置、电子设备及存储介质
CN112581763A (zh) 道路事件检测的方法、装置、设备和存储介质
CN110705800B (zh) 混合出行路线确定方法、装置、设备及存储介质
CN110765227A (zh) 道路交通网络模型构建方法及装置
CN111583668A (zh) 交通拥堵检测方法、装置、电子设备和存储介质
CN110910658A (zh) 交通信号控制方法、装置、计算机设备和存储介质
JP7214702B2 (ja) 車両列の長さを検出する方法、車両列の長さを検出する装置、電子機器、記憶媒体及びコンピュータプログラム
CN112507949A (zh) 目标跟踪方法、装置、路侧设备以及云控平台
CN110823237B (zh) 起点绑路及预测模型获取方法、装置及存储介质
CN110660219A (zh) 停车场停车预测方法和装置
CN110796191B (zh) 轨迹分类方法及装置
CN110717933A (zh) 针对运动物体漏检的后处理方法、装置、设备和介质
CN111539347A (zh) 用于检测目标的方法和装置
CN113673281A (zh) 限速信息确定方法、装置、设备以及存储介质
CN110514211B (zh) 定位方法、装置、设备和介质
CN111442775B (zh) 道路的识别方法、装置、电子设备及可读存储介质
CN111597986B (zh) 用于生成信息的方法、装置、设备和存储介质
CN113221602A (zh) 道路路面状况确定方法、装置、设备和介质
CN110751853B (zh) 停车位数据的有效性识别方法和装置
CN111027195B (zh) 仿真场景的生成方法、装置及设备
CN111667701A (zh) 信控设备调整方法和装置
CN112577524A (zh) 信息校正方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant