CN114279456A - 图片构建/车辆定位方法、系统、终端及计算机存储介质 - Google Patents
图片构建/车辆定位方法、系统、终端及计算机存储介质 Download PDFInfo
- Publication number
- CN114279456A CN114279456A CN202111480995.2A CN202111480995A CN114279456A CN 114279456 A CN114279456 A CN 114279456A CN 202111480995 A CN202111480995 A CN 202111480995A CN 114279456 A CN114279456 A CN 114279456A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- subgraph
- key frames
- map
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004807 localization Effects 0.000 claims 3
- 238000005457 optimization Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
本发明提供一种图片构建/车辆定位方法、系统、终端及计算机存储介质，所述图片构建方法包括：加载车辆于历史行进路径所属区域的特征地图，以获取特征地图中所有关键帧；获取车辆的初始位姿，以该初始位姿为中心，在电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与中心的距离位于预设距离范围内；其中，N为大于等于1；于当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。本发明通过先反序列化地图但不同时分配内存的操作，极大降低了加载地图所占用的内存，同时也极大提高了加载速率，降低了由于超大地图给车端硬件造成的负担。
Description
技术领域
本发明属于车辆智能泊车技术领域，涉及一种方法和系统，特别是涉及一种图片构建/车辆定位方法、系统、终端及计算机存储介质。
背景技术
目前市场上普遍的车辆定位系统采用的重定位方式都是基于已知特征点地图，通过提取当前视觉图片的特征点来与已知地图特征点做匹配，计算出车辆在全局坐标系下的初始位姿，实现车辆的全局定位，完成系统的初始化。在整个行车过程中，都是基于全局地图匹配来确定车辆的时时位姿。上述方案在使用过程中存在着许多的弊端。首先，当室内泊车环境足够大，将直接导致所建立的特征点地图内存占用骤增，因此，每次启动车辆将会进行一次漫长的地图加载过程，严重影响泊车的效率和用户体验。其次，当地图足够大时，车端硬件环境不足以分配如此大的内存供存储视觉特征点地图，导致加载失败。同时，匹配全局地图定位当前位姿的难度及准确度也比在局部小地图中定位要大，并且误匹配误定位严重。
因此，如何提供一种图片构建/车辆定位方法、系统、终端及计算机存储介质，以解决现有技术在周边环境足够大时，直接导致所建立地图内存占用增大，地图加载过程漫长，且在车端硬件环境不足以分配内存时，导致加载失败及在全局地图中匹配定位当前位姿的难度大、准确率低，误定位发生的频率高等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图片构建/车辆定位方法、系统、终端及计算机存储介质，用于解决现有技术在周边环境足够大时，直接导致所建立地图内存占用增大，地图加载过程漫长，且在车端硬件环境不足以分配内存时，导致加载失败及在全局地图中匹配定位当前位姿的难度大、准确率低，误定位发生的频率高的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种图片构建方法，包括：加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧；获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1；于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
于本发明的一实施例中，所述车辆的初始位姿包括上一次熄火时车辆的位姿、服务器端赋予的上一次车辆的位姿及车辆上一次泊车完成时记录的位姿。
于本发明的一实施例中，在获取所述特征地图中所有关键帧的步骤后，所述图片的构建方法还包括：将从所述特征地图中获取的每一关键帧按照其位置信息存储至预置特征搜索树；所述关键帧包括视觉特征点、视觉特征点的描述子及关键帧于电子地图中的位置信息。
于本发明的一实施例中，以该初始位姿为中心，在所述电子地图中选取N个关键帧的步骤包括：调用所述预置特征搜索树；以所述初始位姿为中心，根据每一关键帧的位置信息和初始位姿的位置信息，从所述预置特征搜索树查找与该中心的距离在预设距离范围内的N个关键帧。
于本发明的一实施例中，在组成当前的局部切片子图的步骤之后，所述图片构建方法还包括：对当前的局部切片子图中每一关键帧所包含的视觉特征点和视觉特征点的描述子分配内存，同时判断关键帧两两间是否包含相同视觉特征点，若是，则表示具有相同数据特征点的两个关键帧之间具有共视关系；若否，则表示两个关键帧之间不具有共视关系。
本发明另一方面提供一种车辆定位方法，包括：在车辆进入行驶状态时，获取实时行驶图片；将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿；根据所述车辆的当前位姿，更新局部切片子图，循环执行实时行驶图片的获取步骤、当前位姿的获取步骤和局部切片子图的更新步骤，以完成车辆在行进过程中于全局地图中的定位。
于本发明的一实施例中，将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿的步骤包括：将所述实时行驶图片中视觉特征点与车辆定位所需的局部切片子图中视觉特征点进行匹配，以获取低精度当前位姿；对所述低精度当前位姿进行优化，以获取高精度当前位姿。
于本发明的一实施例中，根据所述车辆的当前位姿，更新局部切片子图的步骤包括：根据所述车辆的当前位姿，选取与车辆的当前位姿的距离位于预设距离范围内的关键帧，以更新局部切片子图；将通过图片构建方法所构建的车辆定位所需的局部切片子图与更新的局部切片子图进行比对，若更新的局部切片子图中出现新的关键帧，则为新的关键帧所包含的视觉特征点和视觉特征点的描述子分配内存；若检测出在所构建的车辆定位所需的局部切片子图中存在却未出现在更新的局部切片子图中的关键帧，则释放该关键帧所占内存。
本发明再一方面提供一种图片构建系统，包括：加载模块，用于加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧；选取模块，用于获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1；构建模块，用于于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
本发明还有一方面提供一种车辆定位系统，包括：图片获取模块，用于在车辆进入行驶状态时，获取实时行驶图片；比对模块，用于将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿；更新模块，用于根据所述车辆的当前位姿，更新局部切片子图，定位模块，用于循环调用所述图片获取模块、所述比对模块和所述更新模块，以完成车辆在行进过程中于全局地图中的定位。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述图片构建方法和/或实现所述车辆定位方法。
本发明最后一方面提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述图片构建方法和/或执行所述车辆定位方法。
如上所述，本发明所述的图片构建/车辆定位方法、系统、终端及计算机存储介质，具有以下有益效果：
本发明所述图片构建/车辆定位方法、系统、终端及计算机存储介质中图片构建方法/系统通过先反序列化地图但不同时分配内存的操作，极大的降低了加载地图所占用的内存，同时也极大的提高了加载速率，降低了由于超大地图给车端硬件造成的负担。此外，本实施例还巧妙的运用KDtree算法将地图的关键帧进行有序管理，使其能够在车辆行进过程中通过车辆位姿，快速查找附近的关键帧，构建出车辆定位所需要的局部切片子图，由于局部切片子图的大小基本固定，因此，其占用的内存始终保持稳定水平，不影响车机端的正常运行。由于通过本实施例所述图片构建方法/系统将全局大地图变成了切片小地图，在车辆定位过程中，所述车辆定位方法/系统极大地加快了当前帧与地图匹配迭代优化位姿的效率。
附图说明
图1显示为本发明的图片构建方法于一实施例中的流程示意图。
图2显示为本发明的车辆定位方法于一实施例中的流程示意图。
图3显示为本发明的图片构建系统与车辆定位系统的交互原理示意图。
元件标号说明
31 图片构建系统
311 加载模块
312 存储模块
313 选取模块
314 构建模块
32 车位定位系统
321 获取模块
322 比对模块
323 更新模块
324 定位模块
S11～S14 步骤
S21～S24 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种图片构建方法，包括：
加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧；
获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1；
于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
以下将结合图示对本实施例所提供的图片构建方法进行详细描述。本实施例所述图片构建方法应用于车机端，且适用车辆出于静止状态时通过先反序列化地图但不同时分配内存的操作。
请参阅图1，显示为图片构建方法于一实施例中的流程示意图。如图1所示，所述图片构建方法包括以下步骤：
S11，加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧。
在本实施例中，所述特征地图可采用二进制视觉特征点地图。所述关键帧(KeyFrames)包括视觉特征点(具体为ORB视觉特征点)、视觉特征点的描述子及关键帧于电子地图中的位置信息。
具体地，ORB视觉特征点是一种改进的FAST角点，它的描述子称为BRIEF(BinaryRobust Independent Elementary Features)。因此，提取ORB视觉特征点分为两个步骤：
FAST角点提取：找出图像中的“角点”，ORB中计算了特征点的主方向，为后续的BRIEF描述子增加了旋转不变特性。
BRIEF描述子：对前一步提取出特征点的周围图像区域进行描述，即一种二进制描述子，它的描述向量由许多个0和1组成，此处0和1编码了特征点附近两个像素(比如说p和q)的大小关系，如果p比q大，则取1，反之就取0。如果p，q取128,最后就得到128维由0，1组成的向量。
为了实现本发明减小地图占用内存的目的，对所述特征地图中每一关键帧KeyFrame所包含的ORB视觉特征点以及ORB视觉特征点的BRIEF描述子，暂时不予分配内存，以降低地图加载所占用的内存。
S12，将从所述特征地图中获取的每一关键帧按照其位置信息存储至预置特征搜索树。在本实施例中，运用预置特征搜索树可以将电子地图的关键帧进行有序管理。
预置特征搜索树，例如，采用KDtree，KDtree树是每个节点都为k维点的二叉树。所有非叶子节点可以视作用一个超平面把空间分割成两个半空间。节点左边的子树代表在超平面左边的点，节点右边的子树代表在超平面右边的点。选择超平面的方法如下：每个节点都与k维中垂直于超平面的那一维有关。因此，如果选择按照x轴划分，所有x值小于指定值的节点都会出现在左子树，所有x值大于指定值的节点都会出现在右子树。这样，超平面可以用该x值来确定，其法线为x轴的单位向量。
S13，获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1。在本实施例中，所述车辆的初始位姿包括上一次熄火时车辆的位姿、服务器端赋予的上一次车辆泊车时的位姿及车辆上一次泊车完成时记录的位姿等。
在本实施例中，关键帧的选取数量N根据实际场景的大小和车寄端所搭载的硬件水平，提前设置。
所述S13具体包括以下步骤：
S131，调用所述预置特征搜索树。
S132，以所述初始位姿为中心，根据每一关键帧的位置信息(具体为是三维位置信息(x,y,z))和初始位姿的位置信息，从所述预置特征搜索树查找与该中心的距离在预设距离范围内的N个关键帧。本发明利用预置特征搜索树通过位姿，实现快速查找与之距离最近的关键帧。
S133，将N个关键帧组成当前的局部切片子图。
S14，对所述S13组成的当前的局部切片子图中每一关键帧所包含的视觉特征点和视觉特征点的描述子分配内存。在执行S14的同时运行S14’，即于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
具体地，所述S14’包括：
S141’，通过两两关键帧中视觉特征点的匹配，来判断关键帧两两间是否包含相同视觉特征点，若是，则表示具有相同数据特征点的两个关键帧之间具有共视关系，转入S142’；若否，则表示两个关键帧之间不具有共视关系。
S142’，将具有共视关系的关键帧构建为车辆定位所需的局部切片子图(亦称Localmap)。在本实施例中，构建出的车辆定位所需的局部切片子图，实现了将全局大地图切分成了切片小地图，由于局部切片子图大小基本固定，因此，其占用的内存始终保持稳定水平，不影响车机端内其他模块的正常运行。
本实施例所述图片构建方法通过先反序列化地图但不同时分配内存的操作，极大的降低了加载地图所占用的内存，同时也极大的提高了加载速率，降低了由于超大地图给车端硬件造成的负担。此外，本实施例还巧妙的运用KDtree算法将地图的关键帧进行有序管理，使其能够在车辆行进过程中通过车辆位姿，快速查找附近的关键帧，构建出车辆定位所需要的局部切片子图，由于局部切片子图的大小基本固定，因此，其占用的内存始终保持稳定水平，不影响车机端的正常运行。
本实施例还提供一种车辆定位方法，包括：
在车辆进入行驶状态时，获取实时行驶图片；
将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿；
根据所述车辆的当前位置，更新局部切片子图，
循环执行实时行驶图片的获取步骤、当前位姿的获取步骤和局部切片子图的更新步骤，以完成车辆在行进过程中于全局地图中的定位。
以下将结合图示对本实施例所提供的车辆定位方法进行详细描述。请参阅图2，显示为车辆定位方法于一实施例中的流程示意图。如图2所示，所述车辆定位方法具体包括以下步骤：
S21，在车辆进入行驶状态时，获取实时行驶图片。
S22，将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿。
在本实施例中，所述S22包括：
S221，将所述实时行驶图片中视觉特征点与车辆定位所需的局部切片子图中视觉特征点进行匹配，以获取低精度当前位姿。在本实施例中，可通过多种特征点匹配算法对视觉特征点进行匹配。
例如，将所述实时行驶图片中视觉特征点与车辆定位所需的局部切片子图中视觉特征点进行匹配，两者匹配度查过预设匹配阈值时，可获取低精度当前位姿，即当前车辆在电子地图的位姿。
S222，对所述低精度当前位姿进行优化，以获取高精度当前位姿。
在本实施例中，可采用高斯牛顿优化法获取高精度当前位姿。在本发明中，凡是可优化当前位姿精度的优化算法都包括在本发明的保护范围内。S23，根据所述车辆的当前位姿，更新局部切片子图。
具体地，所述S23包括以下步骤：
S231，根据所述车辆的当前位姿，选取与车辆的当前位姿的距离位于预设距离范围内的关键帧，以更新局部切片子图。
具体地，所述S231包括：以所述车辆的当前位姿为中心，根据每一关键帧的位置信息(具体为是三维位置信息(x,y,z))和当前位姿的位置信息，从所述预置特征搜索树查找与该中心(车辆的当前位姿)的距离在预设距离范围内的M个关键帧；将M个关键帧组成更新的局部切片子图。本发明利用预置特征搜索树通过位姿，实现快速查找与之距离最近的关键帧。
S232，将通过上述图片构建方法所构建的车辆定位所需的局部切片子图与更新的局部切片子图进行比对，若更新的局部切片子图中出现新的关键帧，则为新的关键帧所包含的视觉特征点(ORB视觉特征点)和视觉特征点的描述子分配内存；若检测出在所构建的车辆定位所需的局部切片子图中存在却未出现在更新的局部切片子图中的关键帧，则释放该关键帧所占内存，以此来保证局部切片子图大小的特性，同时不影响地图匹配定位的高效运行。
S24，循环执行实时行驶图片的获取步骤S21、当前位姿的获取步骤S22和局部切片子图的更新步骤S23，以完成车辆在行进过程中于全局地图中的定位。
在本实施例中，由于将全局大地图变成了切片小地图，在车辆定位过程中，所述车辆定位方法极大地加快了当前帧与地图匹配迭代优化位姿的效率。因此，本实施例所述车辆定位方法可应用于产品化的代客泊车系统，具有较高的市场应用价值。
本实施例再提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的图片构建方法和/或图2所述车位定位方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
本实施例所述图片构建方法本实施例所述图片构建方法通过先反序列化地图但不同时分配内存的操作，极大的降低了加载地图所占用的内存，同时也极大的提高了加载速率，降低了由于超大地图给车端硬件造成的负担。此外，本实施例还巧妙的运用KDtree算法将地图的关键帧进行有序管理，使其能够在车辆行进过程中通过车辆位姿，快速查找附近的关键帧，构建出车辆定位所需要的局部切片子图，由于局部切片子图的大小基本固定，因此，其占用的内存始终保持稳定水平，不影响车机端的正常运行。由于通过本实施例所述图片构建方法将全局大地图变成了切片小地图，在车辆定位过程中，所述车辆定位方法极大地加快了当前帧与地图匹配迭代优化位姿的效率。因此，本实施例所述方法对于产品化的代客泊车系统，具有较高的市场应用价值。
实施例二
本实施例提供一种图片构建系统，包括：
加载模块，用于加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧；
选取模块，用于获取获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1；
构建模块，用于于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
本实施例还提供一种车辆定位系统，包括：
图片获取模块，用于在车辆进入行驶状态时，获取实时行驶图片；
比对模块，用于将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿；
更新模块，用于根据所述车辆的当前位姿，更新局部切片子图，
定位模块，用于循环调用所述图片获取模块、所述比对模块和所述更新模块，以完成车辆在行进过程中于全局地图中的定位。
以下将结合图示对本实施例所提供的图片构建系统和车辆定位系统进行详细描述。请参阅图3，显示为图片构建系统与车辆定位系统的交互原理示意图。如图3所示，所述图片构建系统31包括：加载模块311、存储模块312、选取模块313及构建模块314。
所述加载模块311用于加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧。
在本实施例中，所述特征地图可采用二进制视觉特征点地图。所述关键帧(KeyFrames)包括视觉特征点(具体为ORB视觉特征点)、视觉特征点的描述子及关键帧于电子地图中的位置信息。
在本实施例中，为了实现本发明减小地图占用内存的目的，对所述特征地图中每一关键帧KeyFrame所包含的ORB视觉特征点以及ORB视觉特征点的BRIEF描述子，暂时不予分配内存，以降低地图加载所占用的内存。
所述存储模块312用于将从所述特征地图中获取的每一关键帧按照其位置信息存储至预置特征搜索树。在本实施例中，所述存储模块312运用预置特征搜索树可以将电子地图的关键帧进行有序管理。
预置特征搜索树，例如，采用KDtree，KDtree树是每个节点都为k维点的二叉树。
所述选取模块313用于获取获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1。在本实施例中，关键帧的选取数量N根据实际场景的大小和车寄端所搭载的硬件水平，提前设置。
具体地，所述选取模块313调用所述预置特征搜索树；以所述初始位姿为中心，根据每一关键帧的位置信息(具体为是三维位置信息(x,y,z))和初始位姿的位置信息，从所述预置特征搜索树查找与该中心的距离在预设距离范围内的N个关键帧；将N个关键帧组成当前的局部切片子图。本发明利用预置特征搜索树通过位姿，实现快速查找与之距离最近的关键帧。
所述构建模块314用于对所述选取模块313组成的当前的局部切片子图中每一关键帧所包含的视觉特征点和视觉特征点的描述子分配内存。同时所述构建模块314还用于于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
具体地，所述构建模块314通过两两关键帧中视觉特征点的匹配，来判断关键帧两两间是否包含相同视觉特征点，若是，则表示具有相同数据特征点的两个关键帧之间具有共视关系，将具有共视关系的关键帧构建为车辆定位所需的局部切片子图(亦称Localmap)；若否，则表示两个关键帧之间不具有共视关系。
在本实施例中，构建出的车辆定位所需的局部切片子图，实现了将全局大地图切分成了切片小地图，由于局部切片子图大小基本固定，因此，其占用的内存始终保持稳定水平，不影响车机端内其他模块的正常运行。
继续参阅图3，所述车位定位系统32包括图片获取模块321、比对模块322、更新模块323及定位模块324。
所述图片获取模块321用于在车辆进入行驶状态时，获取实时行驶图片。
所述比对模块322用于将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿。
在本实施例中，所述比对模块322将所述实时行驶图片中视觉特征点与车辆定位所需的局部切片子图中视觉特征点进行匹配，以获取低精度当前位姿。在本实施例中，可通过多种特征点匹配算法对视觉特征点进行匹配。对所述低精度当前位姿进行优化，以获取高精度当前位姿。
在本实施例中，可采用高斯牛顿优化法获取高精度当前位姿。在本发明中，凡是可优化当前位姿精度的优化算法都包括在本发明的保护范围内。
所述更新模块323用于根据所述车辆的当前位姿，更新局部切片子图。
具体地，所述更新模块323根据所述车辆的当前位姿，选取与车辆的当前位姿的距离位于预设距离范围内的关键帧，以更新局部切片子图。
具体地，所述更新模块323以所述车辆的当前位姿为中心，根据每一关键帧的位置信息(具体为是三维位置信息(x,y,z))和当前位姿的位置信息，从所述预置特征搜索树查找与该中心(车辆的当前位姿)的距离在预设距离范围内的M个关键帧；将M个关键帧组成更新的局部切片子图。本发明利用预置特征搜索树通过位姿，实现快速查找与之距离最近的关键帧。
所述更新模块323还用于将通过上述图片构建系统31所构建的车辆定位所需的局部切片子图与更新的局部切片子图进行比对，若更新的局部切片子图中出现新的关键帧，则为新的关键帧所包含的视觉特征点(ORB视觉特征点)和视觉特征点的描述子分配内存；若检测出在所构建的车辆定位所需的局部切片子图中存在却未出现在更新的局部切片子图中的关键帧，则释放该关键帧所占内存，以此来保证局部切片子图大小的特性，同时不影响地图匹配定位的高效运行。
所述定位模块324用于循环调用所述图片获取模块321、所述比对模块322和所述更新模块323，以完成车辆在行进过程中于全局地图中的定位。
在本实施例中，由于将全局大地图变成了切片小地图，在车辆定位过程中，所述车辆定位系统极大地加快了当前帧与地图匹配迭代优化位姿的效率。因此，本实施例所述车辆定位系统可应用于产品化的代客泊车系统，具有较高的市场应用价值。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种终端，包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使终端执行如上所述图片构建方法和/或车辆定位方法的各个步骤。具体地，所述终端为车机端。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的图片构建/车辆定位方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种图片构建/车辆定位系统，所述图片构建/车辆定位系统可以实现本发明所述的图片构建/车辆定位方法，但本发明所述的图片构建/车辆定位方法的实现装置包括但不限于本实施例列举的图片构建/车辆定位系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述图片构建/车辆定位方法、系统、终端及计算机存储介质中图片构建方法/系统通过先反序列化地图但不同时分配内存的操作，极大的降低了加载地图所占用的内存，同时也极大的提高了加载速率，降低了由于超大地图给车端硬件造成的负担。此外，本实施例还巧妙的运用KDtree算法将地图的关键帧进行有序管理，使其能够在车辆行进过程中通过车辆位姿，快速查找附近的关键帧，构建出车辆定位所需要的局部切片子图，由于局部切片子图的大小基本固定，因此，其占用的内存始终保持稳定水平，不影响车机端的正常运行。由于通过本实施例所述图片构建方法/系统将全局大地图变成了切片小地图，在车辆定位过程中，所述车辆定位方法/系统极大地加快了当前帧与地图匹配迭代优化位姿的效率。本发明对于产品化的代客泊车系统，具有较高的市场应用价值。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种图片构建方法，其特征在于，包括：
加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧；
获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1；
于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
2.根据权利要求1所述的图片构建方法，其特征在于，所述车辆的初始位姿包括上一次熄火时车辆的位姿、服务器端赋予的上一次车辆的位姿及车辆上一次泊车完成时记录的位姿。
3.根据权利要求1所述的图片构建方法，其特征在于，在获取所述特征地图中所有关键帧的步骤后，所述图片的构建方法还包括：将从所述特征地图中获取的每一关键帧按照其位置信息存储至预置特征搜索树；所述关键帧包括视觉特征点、视觉特征点的描述子及关键帧于电子地图中的位置信息。
4.根据权利要求3所述的图片构建方法，其特征在于，以该初始位姿为中心，在所述电子地图中选取N个关键帧的步骤包括：
调用所述预置特征搜索树；
以所述初始位姿为中心，根据每一关键帧的位置信息和初始位姿的位置信息，从所述预置特征搜索树查找与该中心的距离在预设距离范围内的N个关键帧。
5.根据权利要求3所述的图片构建方法，其特征在于，在组成当前的局部切片子图的步骤之后，所述图片构建方法还包括：
对当前的局部切片子图中每一关键帧所包含的视觉特征点和视觉特征点的描述子分配内存，同时判断关键帧两两间是否包含相同视觉特征点，若是，则表示具有相同数据特征点的两个关键帧之间具有共视关系；若否，则表示两个关键帧之间不具有共视关系。
6.一种车辆定位方法，其特征在于，包括：
在车辆进入行驶状态时，获取实时行驶图片；
将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿；
根据所述车辆的当前位姿，更新局部切片子图，
循环执行实时行驶图片的获取步骤、当前位姿的获取步骤和局部切片子图的更新步骤，以完成车辆在行进过程中于全局地图中的定位。
7.根据权利要求6所述的车辆定位方法，其特征在于，将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿的步骤包括：
将所述实时行驶图片中视觉特征点与车辆定位所需的局部切片子图中视觉特征点进行匹配，以获取低精度当前位姿；
对所述低精度当前位姿进行优化，以获取高精度当前位姿。
8.根据权利要求6所述的车辆定位方法，其特征在于，根据所述车辆的当前位姿，更新局部切片子图的步骤包括：
根据所述车辆的当前位姿，选取与车辆的当前位姿的距离位于预设距离范围内的关键帧，以更新局部切片子图；
将通过图片构建方法所构建的车辆定位所需的局部切片子图与更新的局部切片子图进行比对，若更新的局部切片子图中出现新的关键帧，则为新的关键帧所包含的视觉特征点和视觉特征点的描述子分配内存；若检测出在所构建的车辆定位所需的局部切片子图中存在却未出现在更新的局部切片子图中的关键帧，则释放该关键帧所占内存。
9.一种图片构建系统，其特征在于，包括：
加载模块，用于加载车辆于历史行进路径所属区域的特征地图，以获取所述特征地图中所有关键帧；
选取模块，用于获取车辆的初始位姿，以该初始位姿为中心，在所述电子地图中选取N个关键帧，并将N个关键帧组成当前的局部切片子图；N个关键帧与所述中心的距离位于预设距离范围内；其中，N为大于等于1；
构建模块，用于于所述当前的局部切片子图中查找具有共视关系的关键帧，通过具有共视关系的关键帧构建车辆定位所需的局部切片子图。
10.一种车辆定位系统，其特征在于，包括：
图片获取模块，用于在车辆进入行驶状态时，获取实时行驶图片；
比对模块，用于将所述实时行驶图片与通过图片构建方法所构建的车辆定位所需的局部切片子图进行比对，以获取到与所述实时行驶图片对应的当前位姿；
更新模块，用于根据所述车辆的当前位姿，更新局部切片子图，
定位模块，用于循环调用所述图片获取模块、所述比对模块和所述更新模块，以完成车辆在行进过程中于全局地图中的定位。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述图片构建方法和/或实现权利要求6至9中任一项所述车辆定位方法。
12.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至5中任一项所述图片构建方法和/或执行如权利要求6至9中任一项所述车辆定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111480995.2A CN114279456B (zh) | 2021-12-06 | 2021-12-06 | 图片构建/车辆定位方法、系统、终端及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111480995.2A CN114279456B (zh) | 2021-12-06 | 2021-12-06 | 图片构建/车辆定位方法、系统、终端及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114279456A true CN114279456A (zh) | 2022-04-05 |
| CN114279456B CN114279456B (zh) | 2024-04-30 |
Family
ID=80870965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111480995.2A Active CN114279456B (zh) | 2021-12-06 | 2021-12-06 | 图片构建/车辆定位方法、系统、终端及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114279456B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130328937A1 (en) * | 2012-06-10 | 2013-12-12 | Apple Inc. | Compression of road features in map tiles |
| US20150155009A1 (en) * | 2013-12-03 | 2015-06-04 | Nokia Corporation | Method and apparatus for media capture device position estimate- assisted splicing of media |
| CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
| CN108692720A (zh) * | 2018-04-09 | 2018-10-23 | 京东方科技集团股份有限公司 | 定位方法、定位服务器及定位系统 |
| CN109035334A (zh) * | 2018-06-27 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 位姿的确定方法和装置、存储介质及电子装置 |
| CN109584302A (zh) * | 2018-11-27 | 2019-04-05 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
| CN109887053A (zh) * | 2019-02-01 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种slam地图拼接方法及系统 |
| CN110209750A (zh) * | 2019-05-08 | 2019-09-06 | 杭州迦智科技有限公司 | 地图处理方法、装置、存储介质及处理器 |
| CN111274847A (zh) * | 2018-12-04 | 2020-06-12 | 上海汽车集团股份有限公司 | 一种定位方法 |
| CN111540013A (zh) * | 2020-04-22 | 2020-08-14 | 数字孪生(镇江)装备科技有限公司 | 一种基于多相机视觉slam的室内AGV小车定位方法 |
| WO2021035669A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 位姿预测方法、地图构建方法、可移动平台及存储介质 |
| CN112595323A (zh) * | 2020-12-08 | 2021-04-02 | 深圳市优必选科技股份有限公司 | 机器人及其建图方法和装置 |
| CN113313763A (zh) * | 2021-05-26 | 2021-08-27 | 珠海深圳清华大学研究院创新中心 | 一种基于神经网络的单目相机位姿优化方法及装置 |
-
2021
- 2021-12-06 CN CN202111480995.2A patent/CN114279456B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130328937A1 (en) * | 2012-06-10 | 2013-12-12 | Apple Inc. | Compression of road features in map tiles |
| US20150155009A1 (en) * | 2013-12-03 | 2015-06-04 | Nokia Corporation | Method and apparatus for media capture device position estimate- assisted splicing of media |
| CN107025662A (zh) * | 2016-01-29 | 2017-08-08 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
| CN108692720A (zh) * | 2018-04-09 | 2018-10-23 | 京东方科技集团股份有限公司 | 定位方法、定位服务器及定位系统 |
| CN109035334A (zh) * | 2018-06-27 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 位姿的确定方法和装置、存储介质及电子装置 |
| CN109584302A (zh) * | 2018-11-27 | 2019-04-05 | 北京旷视科技有限公司 | 相机位姿优化方法、装置、电子设备和计算机可读介质 |
| CN111274847A (zh) * | 2018-12-04 | 2020-06-12 | 上海汽车集团股份有限公司 | 一种定位方法 |
| CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
| CN109887053A (zh) * | 2019-02-01 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种slam地图拼接方法及系统 |
| CN110209750A (zh) * | 2019-05-08 | 2019-09-06 | 杭州迦智科技有限公司 | 地图处理方法、装置、存储介质及处理器 |
| WO2021035669A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 位姿预测方法、地图构建方法、可移动平台及存储介质 |
| CN111540013A (zh) * | 2020-04-22 | 2020-08-14 | 数字孪生(镇江)装备科技有限公司 | 一种基于多相机视觉slam的室内AGV小车定位方法 |
| CN112595323A (zh) * | 2020-12-08 | 2021-04-02 | 深圳市优必选科技股份有限公司 | 机器人及其建图方法和装置 |
| CN113313763A (zh) * | 2021-05-26 | 2021-08-27 | 珠海深圳清华大学研究院创新中心 | 一种基于神经网络的单目相机位姿优化方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114279456B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3506212B1 (en) | Method and apparatus for generating raster map | |
| CN111210429B (zh) | 点云数据划分方法及装置、障碍物检测方法及装置 | |
| CN112179330B (zh) | 移动设备的位姿确定方法及装置 | |
| CN111860304B (zh) | 一种图像标注方法、电子装置、设备及存储介质 | |
| CN109697451B (zh) | 相似图像聚类方法及装置、存储介质、电子设备 | |
| CN111582054A (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| CN111553946B (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
| CN111090712A (zh) | 一种数据处理方法、装置、设备及计算机存储介质 | |
| US9910878B2 (en) | Methods for processing within-distance queries | |
| CN112734837B (zh) | 图像匹配的方法及装置、电子设备及车辆 | |
| CN112860993A (zh) | 兴趣点的分类方法、装置、设备、存储介质及程序产品 | |
| US20200081452A1 (en) | Map processing device, map processing method, and computer readable medium | |
| CN115331213A (zh) | 字符识别方法、芯片、电子设备及存储介质 | |
| CN114283343A (zh) | 基于遥感卫星图像的地图更新方法、训练方法和设备 | |
| CN113295160A (zh) | 基于视觉导航的地图加载方法、装置、设备及存储介质 | |
| CN110851639A (zh) | 一种以图搜图的方法及设备 | |
| CN114279456A (zh) | 图片构建/车辆定位方法、系统、终端及计算机存储介质 | |
| CN111739043A (zh) | 一种停车位绘制方法、装置、设备和存储介质 | |
| CN115406452A (zh) | 一种实时定位及建图方法、装置及终端设备 | |
| CN114283148A (zh) | 一种道路元素提取方法、装置、存储介质及电子设备 | |
| Gollub et al. | A partitioned approach for efficient graph–based place recognition | |
| CN113077551A (zh) | 占据栅格地图构建方法、装置、电子设备和存储介质 | |
| CN113808196A (zh) | 平面融合定位方法、装置、电子设备及存储介质 | |
| CN114610825A (zh) | 关联网格集的确认方法、装置、电子设备及存储介质 | |
| CN110413716B (zh) | 数据存储和数据查询方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |