CN115422316A - 车道线数据处理方法、装置、电子设备及存储介质 - Google Patents

车道线数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115422316A
CN115422316A CN202211364746.1A CN202211364746A CN115422316A CN 115422316 A CN115422316 A CN 115422316A CN 202211364746 A CN202211364746 A CN 202211364746A CN 115422316 A CN115422316 A CN 115422316A
Authority
CN
China
Prior art keywords
curve
point
points
lane line
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211364746.1A
Other languages
English (en)
Other versions
CN115422316B (zh
Inventor
徐胜攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autonavi Software Co Ltd
Original Assignee
Autonavi Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autonavi Software Co Ltd filed Critical Autonavi Software Co Ltd
Priority to CN202211364746.1A priority Critical patent/CN115422316B/zh
Publication of CN115422316A publication Critical patent/CN115422316A/zh
Application granted granted Critical
Publication of CN115422316B publication Critical patent/CN115422316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开实施例涉及高精地图技术领域，公开了一种车道线数据处理方法、装置、电子设备及存储介质，该方法包括根据车道线的采集数据，获取所述车道线的采样点的位置数据；确定所述车道线的采样点中的控制点；构建曲线拟合优化模型，所述曲线拟合优化模型的目标函数用于达到使所述车道线的拟合曲线在所述控制点处的平滑连接以及所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化的目标；基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线。该技术方案可以拟合得到更准确的车道线曲线，主要用于拟合车道线。

Description

车道线数据处理方法、装置、电子设备及存储介质
技术领域
本公开涉及高精地图技术领域，具体涉及一种车道线数据处理方法、装置、电子设备及存储介质。
背景技术
随着自动驾驶时代的到来，高精地图已成为辅助驾驶和全自动驾驶的标准配置，而高精地图的一个必备要素就是车道线，在高精地图制作过程中车道线的精度、连续性和平滑性都十分重要。目前，高精地图中的车道线主要通过曲线拟合算法来拟合生成，常用的曲线拟合算法主要包括三次多项式、样条曲线、B样条这三种。其中，三次多项式主要解决拟合曲线与观测点局部似然的问题，通常只能描述局部线型，但对整体形状缺乏控制，对较长且存在复杂线型变化的车道曲线拟合不准确；而样条曲线和B样条的本质上是基于控制点进行曲线插值，但这类算法对控制点精度具有很高的依赖，当控制点未知或不准确时，曲线拟合效果也会不准确；因此，现在亟需一种可以提高曲线拟合效果的方案来制作车道线。
发明内容
为了解决相关技术中的问题，本公开实施例提供一种车道线数据处理方法、装置、电子设备及存储介质。
第一方面，本公开实施例中提供了一种车道线数据处理方法。
具体地，所述车道线数据处理方法，包括：
根据车道线的采集数据，获取所述车道线对应的采样点的位置数据；
根据所述采样点的位置数据，获取所述采样点中的控制点；
构建曲线拟合优化模型，所述曲线拟合优化模型的目标函数用于达到使所述车道线的拟合曲线在所述控制点处的平滑连接以及所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化的目标，所述对应曲线点为所述拟合曲线上与所述采样点一一对应的点；
基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线。
第二方面，本公开实施例中提供了一种车道线数据处理装置，包括：
数据获取模块，被配置为根据车道线的采集数据，获取所述车道线对应的采样点的位置数据；
控制点获取模块，被配置为根据所述采样点的位置数据，获取所述采样点中的控制点；
模型构建模块，被配置为构建曲线拟合优化模型，所述曲线拟合优化模型的目标函数用于达到使所述车道线的拟合曲线中连接两个分段点集的控制点处的平滑连接以及所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化的目标，所述对应曲线点为所述拟合曲线上与所述采样点一一对应的点；
模型求解模块，被配置为基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线。
第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面中任一项所述的方法。
第四方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面中任一项所述的方法。
第五方面，本公开实施例中提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面中任一项所述的方法步骤。
根据本公开实施例提供的技术方案，可以从采集设备获取的待拟合的车道线的采集数据，获取所述车道线的采样点的位置数据，确定所述车道线的采样点中的控制点，然后通过构建曲线拟合优化模型来解决车道线对应的拟合曲线的确定问题，该曲线拟合优化模型的目标是使所述车道线的拟合曲线在所述控制点处平滑连接以及所述采样点与所述拟合曲线上曲线点之间的相似度最大化，这样，通过约束控制点处的平滑连接保证了拟合曲线的整体线形，但不要求拟合曲线通过控制点，克服了控制点选取不准带来的影响；又通过约束实际的各采样点与拟合曲线上曲线点的相似度，使拟合曲线保留了车道线的局部细节，这样求解出的拟合曲线有更好的曲线拟合效果，对于较长且存在复杂线型变化的车道曲线拟合也更准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。以下是对附图的说明。
图1示出根据本公开的实施例的车道线数据处理方法的流程图。
图2示出根据本公开的实施例的控制点划分分段点集的示意图。
图3示出根据本公开一实施方式的车道线数据处理方法的应用场景示意图。
图4示出根据本公开的实施例的车道线数据处理装置的结构框图。
图5示出根据本公开的实施例的电子设备的结构框图。
图6示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
在本公开中，对用户信息或用户数据的获取均为经用户授权、确认，或由用户主动选择的操作。
本公开提供了一种车道线数据处理方法，该方法可以通过构建曲线拟合优化模型来解决车道线对应的拟合曲线的确定问题，该曲线拟合优化模型的目标是使所述车道线的拟合曲线在控制点处平滑连接以及真实的采样点与所述拟合曲线上曲线点之间的相似度最大化，如此，通过约束控制点处的平滑连接保证了拟合曲线的整体线形，但不要求拟合曲线通过控制点，克服了控制点选取不准带来的影响；又通过约束实际的各采样点与拟合曲线上曲线点的相似度，使拟合曲线保留了车道线的局部细节，这样求解出的拟合曲线有更好的曲线拟合效果，对于较长且存在复杂线型变化的车道曲线拟合也更准确。
图1示出根据本公开的实施例的车道线数据处理方法的流程图。如图1所示，所述车道线数据处理方法包括以下步骤S101-S104：
在步骤S101中，根据车道线的采集数据，获取所述车道线对应的采样点的位置数据；
在步骤S102中，根据所述采样点的位置数据，获取所述采样点中的控制点；
在步骤S103中，构建曲线拟合优化模型，所述曲线拟合优化模型的目标函数用于达到使所述车道线的拟合曲线中连接两个分段点集的控制点处的平滑连接以及所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化的目标；
在步骤S104中，基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线。
在一种可能的实施方式中，该车道线数据处理方法适用于可执行车道线数据处理计算机、计算设备、服务器、服务器集群等设备。
在一种可能的实施方式中，该车道线的采集数据指的是采集设备采集的车道线的相关数据，包括车道线的位置数据、图像数据和点云数据，该图像数据可以是图像采集设备如摄像头采集的，该点云数据可以是激光三维扫描设备采集的。
在一种可能的实施方式中，该采样点指的是从车道线的采集数据中提取的，能够表示车道线的线形和位置的特征点，该采样点的位置数据可以是采样点的二维坐标数据，此时使用本方法求解得到的拟合曲线是二维拟合曲线；该采样点的位置数据也可以是采样点的三维坐标数据，此时，使用本方法求解得到的拟合曲线是三维拟合曲线。
在一种可能的实施方式中，控制点指的是为控制曲线形状而必须要设立的点，曲线的大致形状由这些控制点予以控制。可以根据采样点的位置数据从采样点集合中按照一定间隔距离提取采样点作为控制点，示例的，按照采样点的位置数据进行排序，两端的采样点均为控制点，以其中一端的控制点为起始，按照排序依次计算该控制点与之后排列的采样点之间的间隔距离，直至与其中一个采样点的间隔距离大于等于预定的间隔距离，将此处的采样点作为控制点，同时以此控制点为起始继续寻找下一个控制点，直至寻找到另一端的控制点结束；这里需要说明的是控制点与后续采样点之间的间隔距离可以是控制点与后续采样点之间相邻采样点的间隔距离之和，相邻采样点的间隔距离根据相邻采样点的位置数据计算得到。也可以根据采样点的位置数据计算各采样点处的曲率，基于曲率从该车道线的采样点中选取控制点，如选取曲率超过预设曲率的采样点作为控制点；也可以结合距离和曲率选取控制点，保证相邻控制点之间的间隔距离超过预距离值且控制点处的曲率超过预设曲率，当然，还可以有其他选取方法，在此不一一例举。
在一种可能的实施方式中，可以将曲线拟合问题作为一个优化问题，该优化问题是要选择该车道线对应的拟合曲线的曲线参数（即变量），使拟合曲线在所述控制点处的平滑连接以及所述采样点与所述拟合曲线上曲线点之间的相似度最大化（即目标达到最优值），该优化问题通常可以表示为数学规划形式的问题，可以用曲线拟合优化模型来进行数学表达，使用采样点的位置数据求解该曲线拟合优化模型，就可以得到该车道线对应的拟合曲线的曲线参数，进而用该曲线参数来数学表达该车道线对应的拟合曲线的形状和位置。
这里需要说明的是，所述对应曲线点为所述拟合曲线上与所述采样点一一对应的点，所述对应曲线点可以是所述拟合曲线上与所述采样点距离最近的点，也可以是从该拟合曲线上采样得到的点（如可以在拟合曲线上按距离等间隔采样得到曲线点）。针对每个采样点，可以计算每个采样点与其对应曲线点之间的相似度，进而将各采样点对应的相似度之和作为所述采样点与所述拟合曲线上对应曲线点之间的相似度，使该相似度最大化可以使拟合曲线最大程度地保留车道线的局部细节。
本实施方式可以从采集设备获取的待拟合的车道线的采集数据，获取所述车道线的采样点的位置数据，确定所述车道线的采样点中的控制点，然后通过构建曲线拟合优化模型来解决车道线对应的拟合曲线的确定问题，该曲线拟合优化模型的目标是使所述车道线的拟合曲线在所述控制点处平滑连接以及所述采样点与所述拟合曲线上曲线点之间的相似度最大化，这样，通过约束控制点处的平滑连接保证了拟合曲线的整体线形，但不要求拟合曲线通过控制点，克服了控制点选取不准带来的影响；又通过约束实际的各采样点与拟合曲线上曲线点的相似度，使拟合曲线保留了车道线的局部细节，这样求解出的拟合曲线有更好的曲线拟合效果，对于较长且存在复杂线型变化的车道曲线拟合也更准确。
在一种可能的实施方式中，所述构建曲线拟合优化模型，包括：
通过所述控制点将所述采样点划分为多个分段点集，任意相邻两个控制点之间的采样点形成一个分段点集；
获取每个分段点集对应的一个m次多项式方程；
基于所述多个分段点集的多个m次多项式方程，构建曲线拟合优化模型，所述曲线拟合优化模型的优化变量为所述多个m次多项式方程的曲线参数；
所述基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线，包括：
基于所述多个分段点集中各采样点的位置数据，求解所述曲线拟合优化模型，得到所述多个m次多项式方程的曲线参数；
基于所述每个分段点集对应的m次多项式方程的曲线参数，获取每个分段点集对应的分段拟合曲线；
确定所述车道线对应的拟合曲线为平滑连接的多个所述分段拟合曲线。
在该实施方式中，该控制点可以将采样点划分为多个分段点集，任意相邻两个控制点之间的采样点形成一个分段点集，这相邻两个控制点分别为一个分段点集的起点和终点。假设有N个控制点，则可以划分出N-1个分段点集，图2示出根据本公开的实施例的控制点划分分段点集的示意图，如图2所示，控制点A、控制点P和控制点B可以将采样点划分出两个分段点集—分段点集201和分段点集202，该分段点集201的起点为控制点A，终点为控制点P，该分段点集202的起点为控制点P，终点为控制点B。
在该实施方式中，可以将每个分段点集的分段拟合曲线用一个m次多项式方程来表达，并基于多个分段点集对应的多个m次多项式方程，构建曲线拟合优化模型，所述曲线拟合优化模型的决策变量为该多个m次多项式方程的待解参数，求解该曲线拟合优化模型就可以得到这多个m次多项式方程的曲线参数，基于所述每个分段点集对应的m次多项式方程的曲线参数，就可以获取每个分段点集对应的分段拟合曲线，平滑连接的多个分段拟合曲线就形成了车道线对应的拟合曲线。
在一种可能的实施方式中，所述m次多项式方程为三次多项式方程。使用三次多项式方式来进行曲线拟合在使用的灵活性和计算速度上提供了一个合理的平衡方案，与更高次多项式相比，运算较少且较稳定，与更低次多项式相比则在曲线拟合上更灵活；三次多项式是一种较为常用的曲线拟合方式，其在特殊情况下，可以降维成直线或抛物线，有较好的线型适应性，比较广泛地应用于曲线的拟合。
在一种可能的实施方式中，所述目标函数用于使所述车道线的拟合曲线在连接两个分段点集的控制点处曲线连续、相切连续且曲率连续，以及所述采样点与所述拟合曲线上曲线点之间的相似度最大化。
在该实施方式中，使所述车道线的拟合曲线在连接两个分段点集的控制点处平滑连接主要包括在控制点处曲线连续即G0连续、相切连续即G1连续且曲率连续即G2连续，该曲线连续指的是拟合曲线在该控制点处的曲线点点连续，约束控制点处无断点；相切连续指的是该拟合曲线在该控制点处的曲线点点连续，并且控制点处连接的线段是相切关系，约束控制点处平滑无尖角；曲率连续指的是拟合曲线在该控制点处的曲线点点连续，并且其曲率分析结果为连续变化。
在该实施方式中，可以将所述采样点与所述拟合曲线上对应曲线点之间的距离作为采样点与曲线点之间的相似度，距离越小，相似度越大，故所述采样点与所述拟合曲线上对应曲线点之间的距离最小化即为所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化。
在一种可能的实施方式中，所述目标函数用以下公式表达：
Figure 84362DEST_PATH_IMAGE001
；
其中，
Figure 798240DEST_PATH_IMAGE002
为第
Figure 312398DEST_PATH_IMAGE003
个分段点集的三次多项式方程，
Figure 504345DEST_PATH_IMAGE004
为
Figure 53138DEST_PATH_IMAGE005
关于t的一阶导数，
Figure 921606DEST_PATH_IMAGE006
为
Figure 923060DEST_PATH_IMAGE002
关于t的二阶导数，
Figure 121960DEST_PATH_IMAGE007
表示第
Figure 587577DEST_PATH_IMAGE008
个分段点集的终点处的拟合变量，
Figure 315361DEST_PATH_IMAGE009
表示第
Figure 866428DEST_PATH_IMAGE010
个分段点集的起点处的拟合变量，
Figure 337861DEST_PATH_IMAGE011
表示第
Figure 392404DEST_PATH_IMAGE008
个分段点集内第
Figure 369719DEST_PATH_IMAGE012
个采样点对应的拟合变量，所 述各采样点的拟合变量为已知变量，
Figure 611344DEST_PATH_IMAGE013
为第
Figure 620889DEST_PATH_IMAGE008
个分段点集内第
Figure 61097DEST_PATH_IMAGE014
个采样点的位置坐标，
Figure 396264DEST_PATH_IMAGE015
为所 述车道线中的分段点集的数量，
Figure 859606DEST_PATH_IMAGE016
为第
Figure 735158DEST_PATH_IMAGE008
个分段点集的采样点数量，所述
Figure 967556DEST_PATH_IMAGE017
、
Figure 739203DEST_PATH_IMAGE018
和
Figure 486579DEST_PATH_IMAGE019
为预设值；
Figure 103506DEST_PATH_IMAGE020
为第
Figure 501995DEST_PATH_IMAGE008
个分段点集对应的三次多项式方程
Figure 444543DEST_PATH_IMAGE021
表示的分段拟合曲线上，第
Figure 616898DEST_PATH_IMAGE008
个分段点集 内第
Figure 834253DEST_PATH_IMAGE012
个采样点的对应曲线点的位置坐标。
在该实施方式中，假设该采样点的位置数据为采样点的三维位置坐标，则第
Figure 41243DEST_PATH_IMAGE022
个分 段点集的三次多项式方程
Figure 154693DEST_PATH_IMAGE023
可以表示如下：
Figure 876661DEST_PATH_IMAGE024
；
Figure 835390DEST_PATH_IMAGE025
为
Figure 693625DEST_PATH_IMAGE026
关于t的一阶导数，可以表示如下：
Figure 977975DEST_PATH_IMAGE027
；
Figure 124923DEST_PATH_IMAGE028
为
Figure 700392DEST_PATH_IMAGE026
关于t的二阶导数，可以表示如下：
Figure 881975DEST_PATH_IMAGE029
。
在该实施方式中，三次多项式方程
Figure 179970DEST_PATH_IMAGE021
、
Figure 79793DEST_PATH_IMAGE030
和
Figure 177062DEST_PATH_IMAGE031
中的拟合变量t为已知值，可以 采用一定的方式计算出来，采样点处的拟合变量=起始采样点与该采样点之间的曲线里程 长度/起始采样点与终止采样点之间的曲线里程长度，仍以图2为例，采样点P处的拟合变量 为
Figure 275468DEST_PATH_IMAGE032
的计算公式为：
Figure 370463DEST_PATH_IMAGE033
；
其中，采样点A为车道线的起始采样点，采样点B为车道线的终止采样点，
Figure 554319DEST_PATH_IMAGE034
是AP间 的曲线里程长度，
Figure 658541DEST_PATH_IMAGE035
是AB间的曲线里程长度，里程长度通过对采样点排序，计算相邻点之间 的距离后累积得到。
在该实施方式中，按上述方法计算得到采样点集各点的拟合变量。由于任意相邻 两个控制点之间的采样点形成一个分段点集，则第
Figure 549137DEST_PATH_IMAGE008
个分段点集的终点就是第
Figure 893662DEST_PATH_IMAGE036
个分段点 集的起点，即
Figure 236919DEST_PATH_IMAGE037
。仍以图2所示为例，控制点A为第
Figure 410411DEST_PATH_IMAGE038
个分段点集201的起点，控制 点P为第
Figure 217830DEST_PATH_IMAGE038
个分段点集201的终点，第
Figure 185786DEST_PATH_IMAGE039
个分段点集202的起点，控制点B为第
Figure 16339DEST_PATH_IMAGE039
个分段点 集202的终点，则
Figure 524680DEST_PATH_IMAGE040
。
在该实施方式中，各采样点处的拟合变量也可以按照上述公式计算获得，仍以图2 所示为例，采样点D为第
Figure 124289DEST_PATH_IMAGE041
个分段点集201中的第5个采样点，则采样点D对应的拟合变量为
Figure 263146DEST_PATH_IMAGE042
，其中，
Figure 423738DEST_PATH_IMAGE043
是AD间的曲线里程长度，
Figure 407875DEST_PATH_IMAGE044
是AB间的曲线里程长度，如此就可以计算得 到第
Figure 393148DEST_PATH_IMAGE008
个分段点集内第
Figure 499644DEST_PATH_IMAGE012
个采样点对应的拟合变量
Figure 304789DEST_PATH_IMAGE011
。
在该实施方式中，该目标函数可以分为第一部分、第二部分、第三部分和第四部分 这四个部分，第一部分
Figure 154934DEST_PATH_IMAGE045
代表在第
Figure 729135DEST_PATH_IMAGE008
个分段点集的分段拟合曲线和 第
Figure 209794DEST_PATH_IMAGE046
个分段点集的分段拟合曲线的连接点处的G0平滑约束，第二部分
Figure 298973DEST_PATH_IMAGE047
代表在第
Figure 890491DEST_PATH_IMAGE008
个分段点集的分段拟合曲线和第
Figure 584778DEST_PATH_IMAGE036
个分段点集 的分段拟合曲线的连接点处的G1平滑约束，第三部分
Figure 783809DEST_PATH_IMAGE048
代表在第
Figure 563546DEST_PATH_IMAGE008
个分段点集的分段拟合曲线和第
Figure 755493DEST_PATH_IMAGE036
个分段点集的分段拟合曲线的连接点处的G2平滑约 束；该第
Figure 304286DEST_PATH_IMAGE008
个分段点集的分段拟合曲线和第
Figure 126749DEST_PATH_IMAGE049
个分段点集的分段拟合曲线的连接点为第
Figure 190520DEST_PATH_IMAGE008
个分段点集的终点
Figure 389420DEST_PATH_IMAGE050
，也即第
Figure 527140DEST_PATH_IMAGE046
个分段点集的起点
Figure 582821DEST_PATH_IMAGE051
；第四部分
Figure 71571DEST_PATH_IMAGE052
代表各采样点
Figure 808583DEST_PATH_IMAGE013
与拟合曲线上的对应曲线点
Figure 377973DEST_PATH_IMAGE053
之间的距离之和，是对拟合曲线上的曲线 点的约束；求解这四部分的和的最小值，就可以达到所述车道线的拟合曲线在连接两个分 段点集的控制点处曲线连续、相切连续且曲率连续，以及所述采样点与所述拟合曲线上对 应曲线点之间的距离最小化的目标。这里需要说明的是求解该目标函数后就可以得到第
Figure 542239DEST_PATH_IMAGE022
个分段点集的三次多项式方程的曲线参数，也即目标函数的优化变量：
Figure 315023DEST_PATH_IMAGE054
。
在该实施方式中，可以为该目标函数的各部分赋予预定的权值，上述的四部分约 束可以通过权值1、
Figure 855725DEST_PATH_IMAGE055
、
Figure 233617DEST_PATH_IMAGE018
和
Figure 365521DEST_PATH_IMAGE019
进行平衡，通过权值
Figure 828863DEST_PATH_IMAGE055
、
Figure 907678DEST_PATH_IMAGE018
和
Figure 202393DEST_PATH_IMAGE019
控制各部分约束对最终曲线形状影响 的大小。
在该实施方式中，所述目标函数的优化变量为每个分段点集的三次多项式方程的待解参数，通过非线性优化求解可以得到该每个分段点集的三次多项式方程的曲线参数。
在一种可能的实施方式中，所述根据车道线的采集数据，获取所述车道线的采样点，包括：
根据车道线的点云数据，获取所述车道线的采样点的位置数据，所述采样点的位置数据包括所述采样点的三维坐标数据。
在该实施方式中，该车道线的采集数据包括车道线的点云数据（point cloud），该车道线的点云数据是形成车道线的点的集合，采用车道线识别算法从点云数据中提取车道线的采样点。按照本实施方式提供的方法，使用采样点的三维坐标数据可以拟合得到车道线对应的三维拟合曲线。
根据本公开一实施方式的基于位置的服务提供装置，该基于位置的服务提供装置根据上述车道数据处理方法得到的车道线的拟合曲线制作地图数据，以利用所述地图数据为被服务对象提供基于位置的服务，所述基于位置的服务包括：导航、地图渲染、路线规划中的一种或多种。
本公开实施例，可以通过上述车道数据处理方法对车道线的采集数据进行处理，拟合得到车道线的拟合曲线，进而将该车道线的拟合曲线加入高精地图中，从而可以快速高效地制作出准确率高的高精地图，拟合曲线的具体获取细节可以参见上述对车道线处理方法的描述，在此不再赘述。
本实施例中，该基于位置的服务提供装置可以在位置服务终端上执行，位置服务终端是手机、ipad、电脑、智能手表、车载设备等。被服务对象可以是手机、ipad、电脑、智能手表、自动驾驶车辆、机器人等。位置服务终端在为被服务对象导航、规划路径或者渲染地图上的道路时，可以基于地图服务提供的高精地图数据输出导航动作。
图3示出根据本公开一实施方式的车道线数据处理方法的应用场景示意图。如图3所示，采集车301在采集区域的道路上行驶，并在行驶过程中采集图像、定位等路面数据，采集车上的处理设备可以对采集车采集到的路面数据进行处理，获得车道线的采集数据，并将该采集数据传送至数据处理服务器302，数据处理服务器302利用上文中的车道线数据处理方法对其进行处理后，获得车道线的拟合曲线，并将车道线的拟合曲线、采集数据以及该车道线的拟合曲线与采集数据之间建立的映射关系等提供给高精地图制作服务器303，该高精地图制作服务器303可以据此制作形成高精地图数据中的车道线要素，该高精地图数据可以提供给导航服务器304。
在自动驾驶车辆305的自动驾驶过程中，可以基于导航服务器304提供的高精地图数据以及导航指令等导航数据生成自动驾驶指令，该自动驾驶指令以控制自动驾驶车辆在行驶过程中执行相应的驾驶动作。
图4示出根据本公开的实施例的车道线数据处理装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，所述车道线数据处理装置包括：
数据获取模块401，被配置为根据车道线的采集数据，获取所述车道线对应的采样点的位置数据；
控制点获取模块402，被配置为根据所述采样点的位置数据，获取所述采样点中的控制点；
模型构建模块403，被配置为构建曲线拟合优化模型，所述曲线拟合优化模型的目标函数用于达到使所述车道线的拟合曲线中连接两个分段点集的控制点处的平滑连接以及所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化的目标，所述对应曲线点为所述拟合曲线上与所述采样点一一对应的点；
模型求解模块404，被配置为基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线。
在一种可能的实施方式中，所述模型构建模块403被配置为：
通过所述控制点将所述采样点划分为多个分段点集，任意相邻两个控制点之间的采样点形成一个分段点集；
获取每个分段点集对应的一个m次多项式方程；
基于所述多个分段点集的多个m次多项式方程，构建曲线拟合优化模型，所述曲线拟合优化模型的优化变量为所述多个m次多项式方程的曲线参数；
所述模型求解模块404被配置为：
基于所述多个分段点集中各采样点的位置数据，求解所述曲线拟合优化模型，得到所述多个m次多项式方程的曲线参数；
基于所述每个分段点集对应的m次多项式方程的曲线参数，获取每个分段点集对应的分段拟合曲线；
确定所述车道线对应的拟合曲线为平滑连接的多个所述分段拟合曲线。
在一种可能的实施方式中，所述m次多项式方程为三次多项式方程。
在一种可能的实施方式中，所述目标函数用于使所述车道线的拟合曲线在所述控制点处曲线连续、相切连续且曲率连续，以及所述采样点与所述拟合曲线上对应曲线点之间的距离最小化。
在一种可能的实施方式中，所述目标函数用以下公式表达：
Figure 442881DEST_PATH_IMAGE056
；
其中，
Figure 206569DEST_PATH_IMAGE026
为第
Figure 823495DEST_PATH_IMAGE057
个分段点集的三次多项式方程，
Figure 972717DEST_PATH_IMAGE058
为
Figure 915265DEST_PATH_IMAGE021
关于t的一阶导数，
Figure 87621DEST_PATH_IMAGE006
为
Figure 304975DEST_PATH_IMAGE026
关于t的二阶导数，
Figure 511966DEST_PATH_IMAGE007
表示第
Figure 156574DEST_PATH_IMAGE057
个分段点集的终点处的拟合变量，
Figure 816225DEST_PATH_IMAGE009
表示第
Figure 40533DEST_PATH_IMAGE010
个分段点集的起点处的拟合变量，
Figure 413614DEST_PATH_IMAGE011
表示第
Figure 432386DEST_PATH_IMAGE008
个分段点集内第
Figure 844913DEST_PATH_IMAGE059
个采样点对应的拟合变量，所 述各采样点的拟合变量为已知变量，
Figure 404070DEST_PATH_IMAGE060
为第
Figure 585653DEST_PATH_IMAGE057
个分段点集内第
Figure 775326DEST_PATH_IMAGE014
个采样点的位置坐标，
Figure 471886DEST_PATH_IMAGE015
为所 述车道线中的分段点集的数量，
Figure 37997DEST_PATH_IMAGE016
为第
Figure 808507DEST_PATH_IMAGE057
个分段点集的采样点数量，所述
Figure 231398DEST_PATH_IMAGE055
、
Figure 618517DEST_PATH_IMAGE018
和
Figure 457160DEST_PATH_IMAGE019
为预设值。
在一种可能的实施方式中，所述数据获取模块被配置为：
根据车道线的点云数据，获取所述车道线的采样点的位置数据，所述采样点的位置数据包括所述采样点的三维坐标数据。
本装置实施方式中提及的技术术语和技术特征相同或相似，对于本装置中涉及的技术术语和技术特征的解释和说明可参考上述方法实施方式的解释的说明，此处不再赘述。
本公开还公开了一种电子设备，图5示出根据本公开的实施例的电子设备的结构框图。
如图5所示，所述电子设备500包括存储器501和处理器502，其中，存储器501用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器502执行以实现根据本公开的实施例的方法。
图6示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
如图6所示，计算机系统600包括处理单元601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行上述实施例中的各种处理。在RAM 603中，还存储有计算机系统600操作所需的各种程序和数据。处理单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。其中，所述处理单元601可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括计算机指令，该计算机指令被处理器执行时实现上文所述的方法步骤。在这样的实施例中，该计算机程序产品可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种车道线数据处理方法，包括：
根据车道线的采集数据，获取所述车道线对应的采样点的位置数据；
根据所述采样点的位置数据，获取所述采样点中的控制点；
构建曲线拟合优化模型，所述曲线拟合优化模型的目标函数用于达到使所述车道线的拟合曲线在所述控制点处平滑连接以及所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化的目标，所述对应曲线点为所述拟合曲线上与所述采样点一一对应的点；
基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线。
2.根据权利要求1所述的方法，其中，所述构建曲线拟合优化模型，包括：
通过所述控制点将所述采样点划分为多个分段点集，任意相邻两个控制点之间的采样点形成一个分段点集；
获取每个分段点集对应的一个m次多项式方程，所述m为大于等于2的整数；
基于所述多个分段点集的多个m次多项式方程，构建曲线拟合优化模型，所述曲线拟合优化模型的优化变量为所述多个m次多项式方程的曲线参数；
所述基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线，包括：
基于所述多个分段点集中各采样点的位置数据，求解所述曲线拟合优化模型，得到所述多个m次多项式方程的曲线参数；
基于所述每个分段点集对应的m次多项式方程的曲线参数，获取每个分段点集对应的分段拟合曲线；
确定所述车道线对应的拟合曲线为平滑连接的多个所述分段拟合曲线。
3.根据权利要求2所述的方法，其中，所述m次多项式方程为三次多项式方程。
4.根据权利要求2所述的方法，其中，所述目标函数用于使所述车道线的拟合曲线在所述控制点处曲线连续、相切连续且曲率连续，以及所述采样点与所述拟合曲线上对应曲线点之间的距离最小化。
5.根据权利要求4所述的方法，所述目标函数用以下公式表达：
Figure 218975DEST_PATH_IMAGE001
；
其中，
Figure 932853DEST_PATH_IMAGE002
为第
Figure 447011DEST_PATH_IMAGE003
个分段点集的三次多项式方程，
Figure 638958DEST_PATH_IMAGE004
为
Figure 453330DEST_PATH_IMAGE005
关于t的一阶导数，
Figure 10214DEST_PATH_IMAGE006
为
Figure 73985DEST_PATH_IMAGE007
关于t的二阶导数，
Figure 272885DEST_PATH_IMAGE008
表示第
Figure 676184DEST_PATH_IMAGE009
个分段点集的终点采样点处的拟合变量，
Figure 715553DEST_PATH_IMAGE010
表示第
Figure 469883DEST_PATH_IMAGE011
个分段点集的起点采样点处的拟合变量，
Figure 941315DEST_PATH_IMAGE012
表示第
Figure 261438DEST_PATH_IMAGE013
个分段点集内第
Figure 425703DEST_PATH_IMAGE014
个采样点 对应的拟合变量，各采样点对应的拟合变量为已知变量，
Figure 667329DEST_PATH_IMAGE015
为第
Figure 739190DEST_PATH_IMAGE003
个分段点集内第
Figure 117082DEST_PATH_IMAGE016
个采样 点的位置坐标，
Figure 452248DEST_PATH_IMAGE017
为第
Figure 977907DEST_PATH_IMAGE003
个分段点集的三次多项式方程
Figure 791143DEST_PATH_IMAGE018
表示的分段拟合曲线上第
Figure 289120DEST_PATH_IMAGE003
个分段点集内第
Figure 608237DEST_PATH_IMAGE019
个采样点的对应曲线点的位置坐标，
Figure 293296DEST_PATH_IMAGE020
为所述车道线中的分段点集的数 量，
Figure 175802DEST_PATH_IMAGE021
为第
Figure 325023DEST_PATH_IMAGE003
个分段点集中的采样点的数量，
Figure 267572DEST_PATH_IMAGE022
、
Figure 439927DEST_PATH_IMAGE023
和
Figure 657282DEST_PATH_IMAGE024
为预设值。
6.根据权利要求1所述的方法，其中，所述根据车道线的采集数据，获取所述车道线对应的采样点的位置数据，包括：
根据车道线的点云数据，获取所述车道线的采样点的位置数据，所述采样点的位置数据包括所述采样点的三维坐标数据。
7.一种车道线数据处理装置，包括：
数据获取模块，被配置为根据车道线的采集数据，获取所述车道线的采样点的位置数据；
控制点获取模块，被配置为确定所述车道线的采样点中的控制点；
模型构建模块，被配置为构建曲线拟合优化模型，所述曲线拟合优化模型的目标函数用于达到使所述车道线的拟合曲线在所述控制点处平滑连接以及所述采样点与所述拟合曲线上对应曲线点之间的相似度最大化的目标，所述对应曲线点为所述拟合曲线上与所述采样点一一对应的点；
模型求解模块，被配置为基于所述采样点的位置数据，求解所述曲线拟合优化模型，得到所述车道线对应的拟合曲线。
8.根据权利要求7所述的装置，其中，所述模型构建模块被配置为
通过所述控制点将所述采样点划分为多个分段点集，任意相邻两个控制点之间的采样点形成一个分段点集；
获取每个分段点集对应的一个m次多项式方程，所述m为大于等于2的整数；
基于所述多个分段点集的多个m次多项式方程，构建曲线拟合优化模型，所述曲线拟合优化模型的优化变量为所述多个m次多项式方程的曲线参数；
所述模型求解模块被配置为：
基于所述多个分段点集中各采样点的位置数据，求解所述曲线拟合优化模型，得到所述多个m次多项式方程的曲线参数；
基于所述每个分段点集对应的m次多项式方程的曲线参数，获取每个分段点集对应的分段拟合曲线；
确定所述车道线对应的拟合曲线为平滑连接的多个所述分段拟合曲线。
9.一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行以实现权利要求1至6任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现权利要求1至6任一项所述的方法步骤。
CN202211364746.1A 2022-11-02 2022-11-02 车道线数据处理方法、装置、电子设备及存储介质 Active CN115422316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211364746.1A CN115422316B (zh) 2022-11-02 2022-11-02 车道线数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211364746.1A CN115422316B (zh) 2022-11-02 2022-11-02 车道线数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115422316A true CN115422316A (zh) 2022-12-02
CN115422316B CN115422316B (zh) 2023-01-13

Family

ID=84207778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211364746.1A Active CN115422316B (zh) 2022-11-02 2022-11-02 车道线数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115422316B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475399A (zh) * 2023-12-27 2024-01-30 新石器慧通（北京）科技有限公司 车道线拟合方法、电子设备及可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060677A1 (en) * 2016-08-29 2018-03-01 Neusoft Corporation Method, apparatus and device for detecting lane lines
WO2021056341A1 (zh) * 2019-09-26 2021-04-01 深圳市大疆创新科技有限公司 车道线融合方法、车道线融合装置、车辆和存储介质
CN112818778A (zh) * 2021-01-21 2021-05-18 北京地平线机器人技术研发有限公司 车道线拟合方法、装置、介质以及电子设备
CN113888568A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 多车道线优化方法、装置、电子设备、存储介质及程序
CN114882145A (zh) * 2022-06-01 2022-08-09 智道网联科技(北京)有限公司 车道线拟合方法、设备和计算机可读存储介质
CN115009284A (zh) * 2022-06-27 2022-09-06 苏州易航远智智能科技有限公司 车道参考线优化方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060677A1 (en) * 2016-08-29 2018-03-01 Neusoft Corporation Method, apparatus and device for detecting lane lines
WO2021056341A1 (zh) * 2019-09-26 2021-04-01 深圳市大疆创新科技有限公司 车道线融合方法、车道线融合装置、车辆和存储介质
CN112818778A (zh) * 2021-01-21 2021-05-18 北京地平线机器人技术研发有限公司 车道线拟合方法、装置、介质以及电子设备
CN113888568A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 多车道线优化方法、装置、电子设备、存储介质及程序
CN114882145A (zh) * 2022-06-01 2022-08-09 智道网联科技(北京)有限公司 车道线拟合方法、设备和计算机可读存储介质
CN115009284A (zh) * 2022-06-27 2022-09-06 苏州易航远智智能科技有限公司 车道参考线优化方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475399A (zh) * 2023-12-27 2024-01-30 新石器慧通（北京）科技有限公司 车道线拟合方法、电子设备及可读介质
CN117475399B (zh) * 2023-12-27 2024-03-29 新石器慧通（北京）科技有限公司 车道线拟合方法、电子设备及可读介质

Also Published As

Publication number Publication date
CN115422316B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
CN109270927B (zh) 道路数据的生成方法及装置
US20200132476A1 (en) Method and apparatus for producing a lane-accurate road map
CN109285188B (zh) 用于生成目标物体的位置信息的方法和装置
CN108519094B (zh) 局部路径规划方法及云处理端
CN108279016B (zh) Had地图的平滑处理方法和装置、导航系统及自动驾驶系统
WO2022056770A1 (zh) 一种路径规划方法和路径规划装置
CN111611958B (zh) 确定众包数据中车道线形状的方法、装置和设备
CN114387319B (zh) 点云配准方法、装置、设备以及存储介质
WO2021254019A1 (zh) 协同构建点云地图的方法、设备和系统
CN115422316B (zh) 车道线数据处理方法、装置、电子设备及存储介质
CN111539484A (zh) 训练神经网络的方法及装置
CN107449404B (zh) Dlg数据采集方法及装置
CN111159451B (zh) 一种基于空间数据库的电力线路点云动态单体化方法
CN110645996B (zh) 一种感知数据的提取方法及系统
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
KR20160053201A (ko) 고정밀 지도의 항법 링크 매칭 방법
KR101808413B1 (ko) 도로의 특성 정보를 이용한 도로 유형 정보 제공 시스템 및 방법
CN116597398A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN114973180B (zh) 一种车道线跟踪方法、装置、设备及存储介质
CN115773744A (zh) 模型训练和路网处理方法、装置、设备、介质和产品
CN114882183A (zh) 车道线标注方法、装置、计算机设备及存储介质
CN114814875A (zh) 一种机器人定位建图方法、装置、可读存储介质及机器人
CN113850915A (zh) 一种基于Autoware的车辆循迹方法
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant