CN107967457A - 一种适应视觉特征变化的地点识别与相对定位方法及系统 - Google Patents
一种适应视觉特征变化的地点识别与相对定位方法及系统 Download PDFInfo
- Publication number
- CN107967457A CN107967457A CN201711210005.7A CN201711210005A CN107967457A CN 107967457 A CN107967457 A CN 107967457A CN 201711210005 A CN201711210005 A CN 201711210005A CN 107967457 A CN107967457 A CN 107967457A
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- environment
- relative positioning
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 230000008859 change Effects 0.000 title claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013519 translation Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000003062 neural network model Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000001932 seasonal effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种适应视觉特征变化的地点识别与相对定位方法及系统,包括:采集室外场景图像;基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果;基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。本发明采用机器学习技术提高了地点识别的准确性,借助开放大型标注图像数据集上训练的深度卷积神经网络模型来提取图像特征,而非人为地选取某一种固定的特征提取算子,因此特征提取更能适应视觉特征变化的情况。
Description
技术领域
本发明涉及视觉自定位技术,具体涉及一种适应视觉特征变化的地点识别与相对定位方法及系统。
背景技术
移动机器人或者配有穿戴式辅助系统的操作人员需要在自主运动过程确定自身在环境中的位置。在视觉技术得以迅速发展之前,采用激光雷达和惯性测量单元是移动机器人自定位的常用方法。激光雷达在测量环境深度信息时具有很高的可靠性与准确性,同时激光在复杂的电磁干扰环境下依然能保持良好的抗干扰能力,然而激光雷达价格高昂,并且激光雷达提供不了丰富的场景特征信息,不能支持场景识别功能。利用惯性测量单元Inertial Measurement Unit,IMU进行定位也是常见的方法之一,然而这种方法随着系统长时间运行,积分带来的累计误差将会越来越大,因此在大尺度的室外环境下或长时间运行的条件下,IMU难以提供精准的定位结果。
随着计算机视觉以及图像处理等技术的飞速发展,以及视觉传感器制作工艺和性价比的不断提升,视觉传感器凭借其信息量丰富、成本较低、稳定可靠等优势,因而受到广泛的关注与研究。视觉自定位技术在移动机器人、穿戴式系统等领域中逐渐得到广泛应用。双目视觉既能获取环境的特征信息又能利用视差关系恢复出3D场景的深度信息,相较于单目视觉和全景视觉既兼顾了处理速度又包含丰富的场景信息。因此基于双目视觉的定位技术具有成本低廉、配置简单、不依赖人工标签、部署灵活方便以及获取场景信息丰富等特点,也已经初步用于穿戴式辅助引导等典型应用中。已在室内定位和导航中取得成功应用的深度视觉传感器由于在室外强光环境下存在成像失效性,并不适合用于室外定位应用。
在未知环境中,由于先验知识的匮乏和环境的不确定性,使得配有视觉传感器的自主体在行走过程中需要同时定位和创建地图,其关键是需要判断当前位置是否处于已经访问过的环境区域,并以此作为判断是否需要环境更新的依据。而在已建立环境地图的情况下,配有视觉传感器的自主体在行走过程中需要与既有的地图进行比对,判断是否访问了地图里记载的地点,即地点识别Place Recognition问题。地点识别技术可以用来进行拓扑定位,判断当前工人所处的场景点位置。
理想情况下,当自主体当前位置与以前访问过的环境区域含有的特征完全相同时,就可以假设它已回到了同一地点。然而实际现场创建的地图与在线使用该地图进行定位,可能相隔很长时间。室外场景在不同光照、天气甚至是跨季节情况下,即便同一地点同一位姿下采集的图像,也可能存在很大的差异。例如植物的外观在夏季和冬季可能呈现出完全不同的表观,道路在冬天可能被积雪覆盖。这成为制约视觉技术用于自定位的瓶颈问题。
以往的视觉定位技术很少考虑这种跨天气/季节的地点识别问题。其原因在于,以往方法大多建立在基于特征Feature‐based的场景匹配基础上,而所采用的特征又往往是靠经验选取的某一种固定算子来计算像素级线索,例如SIFT特征、SURF特征、ORB特征等,对视觉特征变化并不具备任何适应性。另一种策略是采用基于机器学习Learning‐based的场景匹配,例如深度卷积神经网络已经初步用于场景分类、物体识别等领域。
发明内容
为了解决现有技术中所存在的上述不足,本发明提供一种适应视觉特征变化的地点识别与相对定位方法及系统。
本发明提供的技术方案是:一种适应视觉特征变化的地点识别与相对定位方法,包括:
采集室外场景图像;
基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果;
基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。
优选的,所述预先构建的环境概要地图、场景库、场景分类器,包括:
采集室外场景图像样本;
基于所述室外场景图像样本构建环境概要地图和场景库;
基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型;
基于所述深度卷积神经网络模型构造场景分类器。
优选的,所述采集室外场景图像样本,包括:
针对运行现场环境,基于作业环境采集至少一个场景图像样本;
所述作业环境包括:时段、天气情况、光照条件和季节。
优选的,所述环境概要地图包括:米制路径信息和环境拓扑信息;
所述米制路径信息包括视觉里程计恢复出来的人的行走轨迹信息;
所述环境拓扑信息包括:拓扑节点和边;
所述拓扑节点包括:所述室外场景图像样本中的场景点、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像;
所述边包括场景点之间的距离。
优选的,所述基于所述室外场景图像样本构建环境概要地图还包括:对所述环境拓扑信息进行存储管理;
所述对所述环境拓扑信息进行存储管理,包括:采用邻接表与容器对所述环境拓扑信息进行储存管理。
优选的,所述采用邻接表与容器对所述环境拓扑信息进行储存管理包括:
所述邻接表中存储所述场景点的编号,并利用权重表示所述场景点到邻接场景点的距离;
所述容器中存储所述场景点的场景名称、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像。
优选的,所述场景库包括:环境概要地图中的全部场景点对应的图像。
优选的,所述深度卷积神经网络模型,包括:alexnet模型、vgg模型和googlenet模型。
优选的,所述基于所述深度卷积神经网络模型构造场景分类器,包括:
所述场景分类器由至少一个场景单分类器构成;
所述每个场景单分类器对应一个深度卷积神经网络模型。
优选的,所述预先构建的环境概要地图、场景库、场景分类器,还包括:
基于场景单分类器对所述场景库中的所有图像进行分类,并绘制准确度/相似度阈值的关系曲线,所述曲线中的最高点为所述场景单分类器的最佳判断阈值。
优选的,所述基于所述场景图像和预先构建的场景库、场景分类器得到场景识别结果,包括:
采用集成学习法将所述场景单分类器集成,基于最佳判断阈值将所述场景图像与所述场景库中的图像进行匹配;
基于场景单分类器分别计算所述场景图像与场景库中图像的场景匹配结果和相对相似度;对所述场景匹配结果和相对相似度进行比较,得到场景识别结果;
当有至少2个场景单分类器得到的所述场景匹配结果一致时,则场景识别成功;
当场景单分类器得到的所述场景匹配结果都不一致时,若存在场景单分类器的相对相似度最大且大于预设阈值,则场景识别成功;否则场景识别失败;
当场景识别成功时,所述场景库中对应的图像为最终识别结果;
所述相对相似度包括:每个场景单分类器获得的相似度与所述最佳判断阈值的差。
优选的,所述相对定位结果,包括:
当场景识别成功时,从所述预先构建的环境概要地图中获取所述场景库中图像的位置,采用图像特征配准技术对所述场景图像的位置和所述场景库中图像的位置进行相对位姿推算,恢复出匹配结果与场景图像之间的旋转平移矩阵R和平移关系向量T,输出场景所在的位置。
基于同一发明构思,本发明还提供了一种适应视觉特征变化的地点识别与相对定位系统,包括:
采集模块:用于采集室外场景图像;
识别模块:用于基于所述室外场景图像和预先构建场景库和场景分类器得到场景识别结果;
定位模块:用于基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。
优选的,所述识别模块包括:
采集样本子模块:用于采集室外场景图像样本;
环境概要地图子模块:用于基于所述室外场景图像样本构建环境概要地图和场景库;
训练子模块:用于基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型;
构造场景分类器子模块:用于基于所述深度卷积神经网络模型构造场景分类器。
与最接近的现有技术相比,本发明提供的技术方案具有以下有益效果:
1.本发明提供的技术方案,实时采集场景图像和预先构建的环境概要地图、场景库、场景分类器进行匹配,得到场景识别与相对定位结果,提高了地点识别的准确性,提高了对同一场景在不同环境下的识别准确度和定位结果的准确性。
2.本发明提供的技术方案,采用机器学习技术,借助开放大型标注图像数据集上训练的深度卷积神经网络模型来提取图像特征,而非人为地选取某一种固定的特征提取算子,因此特征提取更能适应视觉特征变化的情况。
3.本发明提供的技术方案,在实际运行现场环境中的训练过程中,训练样本涵盖了在不同时段、天气情况、光照条件、甚至季节变换的情况下探索遍历整个作业环境所采集到的场景图像样本,训练得到的场景分类器能够自动计算出最佳判断阈值,从而确保了虽然采用通用模型但是能够最佳地适应实际环境。
4.本发明提供的技术方案,采用集成学习法将训练好的三个场景单分类器集成起来判断场景地点匹配结果,相比仅采用单分类器显著提高了场景地点识别的准确性。
附图说明
图1为本发明的整体结构示意图;
图2为本发明的环境概要地图结构示例图;
图3为本发明的环境概要地图中拓扑结构的邻接表存储示意图;
图4为本实施例中的(a)环境概要地图、(b)‐(d)不同天气及光照条件下同一地点对应的不同场景图像。
图5为本发明的三个深度卷积神经网络模型在场景库中的准确度/相似度阈值关系曲线图;
图6为本发明的对三个场景单分类器进行集成学习的机制;
图7为本实施例的VPRiCE‐dataset数据集上(a)春季和(b)冬季同一地点场景图像正确匹配结果。
具体实施方式
为了更好地理解本发明,下面结合说明书附图和实例对本发明的内容做进一步的说明。
如图1所示,为本发明的整体结构示意图,本发明包括:
采集场景图像;
基于所述场景图像和预先构建的环境概要地图、场景库、场景分类器得到场景识别与相对定位结果。
本发明的实施,需要利用手持式或穿戴式双目摄像机,但无需利用GPS、激光测距仪等其它传感器。具体实施实例中采用了ZED Camera双目摄像机一个、笔记本电脑一台。
本实施例具体包括以下步骤:
步骤1:构建环境概要地图和场景库;
针对特定运行现场环境,操作者事先采用手持或穿戴式双目摄像机,在不同时段、天气情况、光照条件和季节变换的情况下探索遍历整个作业环境,采集室外场景图像样本。在遍历作业环境之后,建立环境概要地图。
如图2所示,环境概要地图是包含米制路径信息和环境拓扑信息的混合地图,其中,拓扑节点用于描述环境中的地点,存储了地点的位置以及多次探索访问该地点获取的一组场景图像和一组相应的深度图像;米制路径是由视觉里程计恢复出来的人的行走轨迹。
这种环境概要地图将环境抽象成为一系列节点和边构成的图,其中节点代表室外环境中的场景点,边代表场景点之间的距离。该环境概要地图与一般拓扑地图的最大区别在于,某个节点存储的不仅仅是一次探索所获取某个地点的场景图像,而是不同天气、光照、季节条件下多次探索访问同一地点获取的一组场景图像和一组相应的深度图像。
所创建的环境地图,是采用邻接表与容器两种技术对环境概要地图中的环境拓扑信息进行存储管理。邻接表中只存储节点的场景编号并利用权重表示该节点到邻接节点的距离;容器中存储该节点对应的场景名称、场景所在位置、相应的一组场景图像以及一组深度图像。
具体地,考虑到在实际创建环境地图时,环境概要地图中节点间的关联较少,绝大多数的节点只和两侧的节点相连接,即环境概要地图是一张稀疏图,因此采用邻接表的方式可以有效避免对存储空间的浪费。如图3所示,环境概要地图邻接表的示意图,邻接表采用将数组和链表相结合的存储方法,邻接表将拓扑地图中的所有顶点利用数组的形式存储下来,数组指向与它相邻接的点,而每一个顶点及其所有相邻接的点构成一个链表。
由于拓扑地图中的节点信息较多,直接对节点进行邻接表的插入删除等等操作会带来效率上的损失,而在某些应用中通常只需要存储节点与节点之间的距离关系。考虑到这些因素,本发明通过将邻接表与容器相结合的方式对拓扑地图进行存储管理。定义存储在邻接表中只存储节点的场景编号Id并利用权重表示该节点到邻接节点的距离Distance,而将场景编号为Id的节点的更多信息(场景的名称、场景所在的位置、场景图像以及其深度图像信息)存储在容器中。这种方式可以实现多层次的拓扑地图存储管理,提高环境概要地图的使用效率。
进一步,所述的地点位置信息是由双目摄像机视觉里程计获取的。所建立的整个环境中所有地点的所有场景图像构成了场景库。
如图4为某环境下建立环境概要地图和场景库的具体实施实例,其中图4(a)为某一次探索中操作者的轨迹,图4(b)(c)(d)为不同天气、时段多次访问相同地点采集到的图像。该实例对应的场景库包括query图像1087张,database图像1096张。
步骤2:在场景库中训练得到场景分类器;
在开放大型标注数据集上训练得到三种不同结构的深度卷积神经网络模型。这三种模型包括:使用在imagenet数据集上训练的alexnet模型和在place数据集上训练的vgg、googlenet模型,分别将这三种模型记作imagenet_alexnet、place_vgg和place_googlenet。
采用的ImageNet是全球最大的图像识别数据库,其包含了分成了数千个类型、数百万张有标注的图像,可用于训练图像检测和分类等深度神经网络(DCNNs)。Places数据集包括1000万张图像,属于400多不同场景类别,包含各种天气条件和季节变化等情况下同样地点的不同场景图像,反映了不同季节条件下植物、地面等呈现出来的不同视觉特征。
然后用深度卷积神经网络模型提取图像特征,采用余弦相似度作为相似度判断依据构造场景分类器。因此每一种深度卷积神经网络模型对应得到一个场景单分类器。所述的场景分类器就是由这三个场景单分类器组成。使用这三个场景单分类器对所述的场景库中所有图像进行分类,如图5所示,在Accuracy/Threshold曲线上找到各个场景单分类器的最佳判断阈值。
步骤3:实时采集当前场景图像。
在实现训练过的环境中利用与训练时相同的摄像机配置,实时采集当前场景图像,用于地点识别和相对定位。
步骤4:基于当前采景图像、环境概要地图、场景库和场景分类器得到场景识别与相对定位结果。
首先,采用集成学习法将所述的已训练好的三个场景单分类器集成起来,将所述当前采景图像与场景库中的图像进行匹配,得到场景匹配结果。
具体地,如图6所示,将当前采景图像分别送入所述的三个场景单分类器,每个场景单分类器对应得到一个匹配结果及其相对相似度;对三个场景单分类器分别得到的匹配结果和相对相似度进行比较:
设第一个场景单分类器得到匹配结果f1及其相对相似度s1,设第二个场景单分类器得到匹配结果f2及其相对相似度s2,设第三个场景单分类器得到匹配结果f3及其相对相似度s3。假设这三个场景单分类器中有n个得到的匹配结果相同,其所得结果是与场景库中的第f帧匹配。当有2或3个结果一致时,所得结果f即判断为最终匹配结果。当3个结果两两不同时,若某个场景单分类器获得的相对相似度最大,且大于一定阈值threshi,则其对应的结果fargmax{s1,s2,s3}为最终匹配结果,否则认为匹配结果不正确。
其中所述的相对相似度,是每个场景单分类器获得的相对相似度与其最佳判断阈值的差。所述相对相似度,是为了解决一张query图像和3张database图像都很相似时,找到其中最为相似的一张。图7为采用该方法在开放VPRiCE‐dataset数据集上对春季和冬季同一地点场景图像正确匹配结果。采用集成学习法,相比采用场景单分类器显著提高了场景地点识别的准确性。
然后,当场景匹配结果为正确时,采用图像特征配准技术对所述当前采景图像的位置和所述场景库中图像的位置进行相对位姿推算,恢复出两者之间的旋转平移矩阵R和平移关系向量T,输出当前场景所在的位置。
在实际环境中,当前场景点和与之匹配的地图中某个场景点大致位于同一位置,但是视觉传感器在两次采集的过程中不可能完全保持相同的位姿。为了得到更加精确的定位结果,需要对当前相机采集图像的位置和创建地图时场景库中图像的位置进行相对位姿推算,即通过利用图像特征匹配及配准,恢复出两帧场景图像之间的旋转关系矩阵R和平移向量T。
本实施例采用的配准算法包括粗配准和精配准两步。
假设I1是当前场景图像,I2是与之匹配的场景点图像,实际获取的场景图像与地图库中保存的场景图像具有一定位姿偏差。设XW为全局坐标系,XK为相机坐标系。经过由粗到细的配准过程,从两帧匹配的图像重叠区域中找出对应的特征,根据特征点对的成像位置与对应的在世界中的位置来求解相机的位姿变换,即旋转平移矩阵。
粗配准步骤针对SURF特征匹配对采用RANSAC(Random Sample Consensus,随机抽样一致)算法来剔除外点保留内点,降低数据中异常数据对匹配结果造成的影响,计算两帧图像的位姿变换关系,使得两帧图像的公共区域能够大致重合。
由于从不同角度获得的场景图像,彼此之间仅仅是部分重叠,重叠区域占总体图像特征的比率一般较低,RANSAC算法获得的结果不一定是全局最优,因此细配准步骤采用ICP(Iterative Closest Point,迭代最近点)算法来进行两张图像间的精确配准,通过不断迭代两帧图像的点云图来实现精确地拼合,并得到对应的旋转与平移矩阵R和T。
基于同一发明构思,本实施例还提供了一种适应视觉特征变化的地点识别与相对定位系统,包括:
采集模块:用于采集室外场景图像;
识别模块:用于基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果;
定位模块:用于基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。
实施例中,所述识别模块包括:
采集样本子模块:用于采集室外场景图像样本;
环境概要地图子模块:用于基于所述室外场景图像样本构建环境概要地图和场景库;
训练子模块:用于基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型;
构造场景分类器子模块:用于基于所述深度卷积神经网络模型构造场景分类器。
实施例中,所述采集样本子模块包括:
采集样本单元:用于针对运行现场环境,基于作业环境采集至少一个场景图像样本;所述作业环境包括:时段、天气情况、光照条件和季节。
实施例中,所述环境概要地图子模块包括:
米制路径信息单元:用于由视觉里程计恢复出来的人的行走轨迹信息;
拓扑节点单元:用于所述室外场景图像样本中的场景点、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像;
边单元:用于记录场景点之间的距离;
管理单元:用于采用邻接表与容器对所述环境拓扑信息进行储存管理。
所述训练子模块包括:
训练单元:用于训练alexnet模型、vgg模型和googlenet模型。
实施例中,所述场景分类器子模块包括:
场景单分类器单元:用于由至少一个场景单分类器构成所述场景分类器;所述每个场景单分类器对应一个深度卷积神经网络模型。
实施例中,所述识别模块还包括:
分类子模块:用于基于场景单分类器对所述场景库中的所有图像进行分类,并绘制准确度/相似度阈值的关系曲线,所述曲线中的最高点为所述场景单分类器的最佳判断阈值。
实施例中,所述分类子模块包括:
匹配单元:用于采用集成学习法将所述场景单分类器集成,基于最佳判断阈值将所述场景图像与所述场景库中的图像进行匹配;
比较单元:用于基于场景单分类器分别计算所述场景图像与场景库中图像的场景匹配结果和相对相似度;对所述场景匹配结果和相对相似度进行比较,得到场景识别结果;当有至少2个场景单分类器得到的所述场景匹配结果一致时,则场景识别成功;当场景单分类器得到的所述场景匹配结果都不一致时,若存在场景单分类器的相对相似度最大且大于预设阈值,则场景识别成功;否则场景识别失败;当场景识别成功时,所述场景库中对应的图像为最终识别结果;
计算单元:用于计算相对相似度,所述相对相似度为每个场景单分类器获得的相似度与所述最佳判断阈值的差;
相对定位单元:用于当场景识别成功时,从所述预先构建的环境概要地图中获取所述场景库中图像的位置,采用图像特征配准技术对所述场景图像的位置和所述场景库中图像的位置进行相对位姿推算,恢复出匹配结果与场景图像之间的旋转平移矩阵R和平移关系向量T,输出场景所在的位置。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均包含在申请待批的本发明的权利要求范围之内。
Claims (14)
1.一种适应视觉特征变化的地点识别与相对定位方法,其特征在于,所述地点识别与相对定位方法包括:
采集室外场景图像;
基于所述室外场景图像和预先构建的场景库和场景分类器得到场景识别结果;
基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。
2.如权利要求1所述的地点识别与相对定位方法,其特征在于,所述预先构建的环境概要地图、场景库、场景分类器,包括:
采集室外场景图像样本;
基于所述室外场景图像样本构建环境概要地图和场景库;
基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型;
基于所述深度卷积神经网络模型构造场景分类器。
3.如权利要求2所述的地点识别与相对定位方法,其特征在于,所述采集室外场景图像样本,包括:
针对运行现场环境,基于作业环境采集至少一个场景图像样本;
所述作业环境包括:时段、天气情况、光照条件和季节。
4.如权利要求2所述的地点识别与相对定位方法,其特征在于,所述环境概要地图包括:米制路径信息和环境拓扑信息;
所述米制路径信息包括视觉里程计恢复出来的人的行走轨迹信息;
所述环境拓扑信息包括:拓扑节点和边;
所述拓扑节点包括:所述室外场景图像样本中的场景点、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像;
所述边包括场景点之间的距离。
5.如权利要求4所述的地点识别与相对定位方法,其特征在于,所述基于所述室外场景图像样本构建环境概要地图还包括:对所述环境拓扑信息进行存储管理;
所述对所述环境拓扑信息进行存储管理,包括:采用邻接表与容器对所述环境拓扑信息进行储存管理。
6.如权利要求5所述的地点识别与相对定位方法,其特征在于,所述采用邻接表与容器对所述环境拓扑信息进行储存管理包括:
所述邻接表中存储所述场景点的编号,并利用权重表示所述场景点到邻接场景点的距离;
所述容器中存储所述场景点的场景名称、所述场景点的位置、所述场景点对应的一组场景图像和一组深度图像。
7.如权利要求4所述的地点识别与相对定位方法,其特征在于,所述场景库包括:环境概要地图中的全部场景点对应的图像。
8.如权利要求2所述的地点识别与相对定位方法,其特征在于,所述深度卷积神经网络模型,包括:alexnet模型、vgg模型和googlenet模型。
9.如权利要求8所述的地点识别与相对定位方法,其特征在于,所述基于所述深度卷积神经网络模型构造场景分类器,包括:
所述场景分类器由至少一个场景单分类器构成;
所述每个场景单分类器对应一个深度卷积神经网络模型。
10.如权利要求2所述的地点识别与相对定位方法,其特征在于,所述预先构建的环境概要地图、场景库、场景分类器,还包括:
基于场景单分类器对所述场景库中的所有图像进行分类,并绘制准确度/相似度阈值的关系曲线,所述曲线中的最高点为所述场景单分类器的最佳判断阈值。
11.如权利要求10所述的地点识别与相对定位方法,其特征在于,所述基于所述场景图像和预先构建的场景库和场景分类器得到场景识别结果,包括:
采用集成学习法将所述场景单分类器集成,基于最佳判断阈值将所述场景图像与所述场景库中的图像进行匹配;
基于场景单分类器分别计算所述场景图像与场景库中图像的场景匹配结果和相对相似度;对所述场景匹配结果和相对相似度进行比较,得到场景识别结果;
当有至少2个场景单分类器得到的所述场景匹配结果一致时,则场景识别成功;
当场景单分类器得到的所述场景匹配结果都不一致时,若存在场景单分类器的相对相似度最大且大于预设阈值,则场景识别成功;否则场景识别失败;
当场景识别成功时,所述场景库中对应的图像为最终识别结果;
所述相对相似度包括:每个场景单分类器获得的相似度与所述最佳判断阈值的差。
12.如权利要求11所述的地点识别与相对定位方法,其特征在于,所述基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果,包括:
当场景识别成功时,从所述预先构建的环境概要地图中获取所述场景库中图像的位置,采用图像特征配准技术对所述场景图像的位置和所述场景库中图像的位置进行相对位姿推算,恢复出匹配结果与场景图像之间的旋转平移矩阵R和平移关系向量T,输出场景所在的位置。
13.一种适应视觉特征变化的地点识别与相对定位系统,其特征在于,所述地点识别与相对定位系统包括:
采集模块:用于采集室外场景图像;
识别模块:用于基于所述室外场景图像和预先构建场景库和场景分类器得到场景识别结果;
定位模块:用于基于所述场景识别结果和预先构建的环境概要地图得到相对定位结果。
14.如权利要求13所述的地点识别与相对定位系统,其特征在于,所述识别模块包括:
采集样本子模块:用于采集室外场景图像样本;
环境概要地图子模块:用于基于所述室外场景图像样本构建环境概要地图和场景库;
训练子模块:用于基于所述场景库训练得到的至少一种不同结构的深度卷积神经网络模型;
构造场景分类器子模块:用于基于所述深度卷积神经网络模型构造场景分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711210005.7A CN107967457B (zh) | 2017-11-27 | 2017-11-27 | 一种适应视觉特征变化的地点识别与相对定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711210005.7A CN107967457B (zh) | 2017-11-27 | 2017-11-27 | 一种适应视觉特征变化的地点识别与相对定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107967457A true CN107967457A (zh) | 2018-04-27 |
CN107967457B CN107967457B (zh) | 2024-03-19 |
Family
ID=61998605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711210005.7A Active CN107967457B (zh) | 2017-11-27 | 2017-11-27 | 一种适应视觉特征变化的地点识别与相对定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107967457B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108693548A (zh) * | 2018-05-18 | 2018-10-23 | 中国科学院光电研究院 | 一种基于场景目标识别的导航方法及系统 |
CN109447150A (zh) * | 2018-10-26 | 2019-03-08 | 杭州睿琪软件有限公司 | 一种植物观赏方法、装置、电子设备和存储介质 |
CN109752008A (zh) * | 2019-03-05 | 2019-05-14 | 长安大学 | 智能车多模式协同定位系统、方法及智能车辆 |
CN109829459A (zh) * | 2019-01-21 | 2019-05-31 | 重庆邮电大学 | 基于改进ransac的视觉定位方法 |
CN109858508A (zh) * | 2018-10-23 | 2019-06-07 | 重庆邮电大学 | 基于贝叶斯和深度神经网络的ip定位方法 |
CN110044354A (zh) * | 2019-03-28 | 2019-07-23 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
CN110070579A (zh) * | 2019-03-16 | 2019-07-30 | 平安科技(深圳)有限公司 | 基于图像检测的定位方法、装置、设备和存储介质 |
CN110162038A (zh) * | 2019-05-07 | 2019-08-23 | 杭州迦智科技有限公司 | 移动控制方法、装置、存储介质及处理器 |
CN110175615A (zh) * | 2019-04-28 | 2019-08-27 | 华中科技大学 | 模型训练方法、域自适应的视觉位置识别方法及装置 |
CN110298269A (zh) * | 2019-06-13 | 2019-10-01 | 北京百度网讯科技有限公司 | 场景图像定位方法、装置、设备及可读存储介质 |
CN110426035A (zh) * | 2019-08-13 | 2019-11-08 | 哈尔滨理工大学 | 一种基于单目视觉和惯导信息融合的定位及建图方法 |
CN110553849A (zh) * | 2018-06-01 | 2019-12-10 | 上汽通用汽车有限公司 | 一种行车状况评估系统以及评估方法 |
CN111432341A (zh) * | 2020-03-11 | 2020-07-17 | 大连理工大学 | 一种环境自适应定位方法 |
CN111504331A (zh) * | 2020-04-29 | 2020-08-07 | 杭州环峻科技有限公司 | 一种由粗到细的全景智能车辆定位方法和装置 |
CN111595349A (zh) * | 2020-06-28 | 2020-08-28 | 浙江商汤科技开发有限公司 | 导航方法及装置、电子设备和存储介质 |
CN111652929A (zh) * | 2020-06-03 | 2020-09-11 | 全球能源互联网研究院有限公司 | 一种视觉特征的识别定位方法及系统 |
CN111811502A (zh) * | 2020-07-10 | 2020-10-23 | 北京航空航天大学 | 一种运动载体多源信息融合导航方法及系统 |
CN112099630A (zh) * | 2020-09-11 | 2020-12-18 | 济南大学 | 一种多模态意图逆向主动融合的人机交互方法 |
CN112328715A (zh) * | 2020-10-16 | 2021-02-05 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关模型的训练方法及相关装置、设备 |
CN112446799A (zh) * | 2019-09-03 | 2021-03-05 | 全球能源互联网研究院有限公司 | 一种基于ar设备虚拟交互的电网调度方法和系统 |
CN112598757A (zh) * | 2021-03-03 | 2021-04-02 | 之江实验室 | 一种多传感器时间空间标定方法及装置 |
CN113233270A (zh) * | 2021-06-15 | 2021-08-10 | 上海有个机器人有限公司 | 基于机器人行驶安全的电梯内外判断方法及相关设备 |
CN113542800A (zh) * | 2021-06-28 | 2021-10-22 | 宜宾中星技术智能系统有限公司 | 视频画面定标方法、装置、终端设备 |
CN114297534A (zh) * | 2022-02-28 | 2022-04-08 | 京东方科技集团股份有限公司 | 交互式寻找目标对象的方法、系统和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120209514A1 (en) * | 2011-02-14 | 2012-08-16 | Microsoft Corporation | Change invariant scene recognition by an agent |
CN103366181A (zh) * | 2013-06-28 | 2013-10-23 | 安科智慧城市技术(中国)有限公司 | 多特征视觉码本融合的场景识别方法和装置 |
CN103712617A (zh) * | 2013-12-18 | 2014-04-09 | 北京工业大学 | 一种基于视觉内容的多层语义地图的创建方法 |
US20150120291A1 (en) * | 2012-05-28 | 2015-04-30 | Zte Corporation | Scene Recognition Method, Device and Mobile Terminal Based on Ambient Sound |
CN105678278A (zh) * | 2016-02-01 | 2016-06-15 | 国家电网公司 | 一种基于单隐层神经网络的场景识别方法 |
CN106840148A (zh) * | 2017-01-24 | 2017-06-13 | 东南大学 | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 |
CN106991449A (zh) * | 2017-04-10 | 2017-07-28 | 大连大学 | 一种生活场景重构辅助识别蓝莓品种的方法 |
WO2017128934A1 (zh) * | 2016-01-29 | 2017-08-03 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
-
2017
- 2017-11-27 CN CN201711210005.7A patent/CN107967457B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120209514A1 (en) * | 2011-02-14 | 2012-08-16 | Microsoft Corporation | Change invariant scene recognition by an agent |
US20150120291A1 (en) * | 2012-05-28 | 2015-04-30 | Zte Corporation | Scene Recognition Method, Device and Mobile Terminal Based on Ambient Sound |
CN103366181A (zh) * | 2013-06-28 | 2013-10-23 | 安科智慧城市技术(中国)有限公司 | 多特征视觉码本融合的场景识别方法和装置 |
CN103712617A (zh) * | 2013-12-18 | 2014-04-09 | 北京工业大学 | 一种基于视觉内容的多层语义地图的创建方法 |
WO2017128934A1 (zh) * | 2016-01-29 | 2017-08-03 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
CN105678278A (zh) * | 2016-02-01 | 2016-06-15 | 国家电网公司 | 一种基于单隐层神经网络的场景识别方法 |
CN106840148A (zh) * | 2017-01-24 | 2017-06-13 | 东南大学 | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 |
CN106991449A (zh) * | 2017-04-10 | 2017-07-28 | 大连大学 | 一种生活场景重构辅助识别蓝莓品种的方法 |
Non-Patent Citations (2)
Title |
---|
张新征;麦晓春;张建芬;: "基于层级实时记忆的地图创建方法" * |
王璐;蔡自兴;: "未知环境中基于视觉的增量式拓扑建模及导航" * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108693548A (zh) * | 2018-05-18 | 2018-10-23 | 中国科学院光电研究院 | 一种基于场景目标识别的导航方法及系统 |
CN110553849A (zh) * | 2018-06-01 | 2019-12-10 | 上汽通用汽车有限公司 | 一种行车状况评估系统以及评估方法 |
CN109858508A (zh) * | 2018-10-23 | 2019-06-07 | 重庆邮电大学 | 基于贝叶斯和深度神经网络的ip定位方法 |
CN109447150A (zh) * | 2018-10-26 | 2019-03-08 | 杭州睿琪软件有限公司 | 一种植物观赏方法、装置、电子设备和存储介质 |
CN109447150B (zh) * | 2018-10-26 | 2020-12-18 | 杭州睿琪软件有限公司 | 一种植物观赏方法、装置、电子设备和存储介质 |
CN109829459A (zh) * | 2019-01-21 | 2019-05-31 | 重庆邮电大学 | 基于改进ransac的视觉定位方法 |
CN109829459B (zh) * | 2019-01-21 | 2022-05-17 | 重庆邮电大学 | 基于改进ransac的视觉定位方法 |
CN109752008A (zh) * | 2019-03-05 | 2019-05-14 | 长安大学 | 智能车多模式协同定位系统、方法及智能车辆 |
WO2020186774A1 (zh) * | 2019-03-16 | 2020-09-24 | 平安科技(深圳)有限公司 | 基于图像检测的定位方法、装置、设备和存储介质 |
CN110070579A (zh) * | 2019-03-16 | 2019-07-30 | 平安科技(深圳)有限公司 | 基于图像检测的定位方法、装置、设备和存储介质 |
CN110044354A (zh) * | 2019-03-28 | 2019-07-23 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
CN110044354B (zh) * | 2019-03-28 | 2022-05-20 | 东南大学 | 一种双目视觉室内定位与建图方法及装置 |
CN110175615A (zh) * | 2019-04-28 | 2019-08-27 | 华中科技大学 | 模型训练方法、域自适应的视觉位置识别方法及装置 |
CN110175615B (zh) * | 2019-04-28 | 2021-01-01 | 华中科技大学 | 模型训练方法、域自适应的视觉位置识别方法及装置 |
CN110162038A (zh) * | 2019-05-07 | 2019-08-23 | 杭州迦智科技有限公司 | 移动控制方法、装置、存储介质及处理器 |
CN110298269A (zh) * | 2019-06-13 | 2019-10-01 | 北京百度网讯科技有限公司 | 场景图像定位方法、装置、设备及可读存储介质 |
CN110298269B (zh) * | 2019-06-13 | 2021-11-02 | 北京百度网讯科技有限公司 | 场景图像定位方法、装置、设备及可读存储介质 |
CN110426035A (zh) * | 2019-08-13 | 2019-11-08 | 哈尔滨理工大学 | 一种基于单目视觉和惯导信息融合的定位及建图方法 |
CN110426035B (zh) * | 2019-08-13 | 2023-01-24 | 哈尔滨理工大学 | 一种基于单目视觉和惯导信息融合的定位及建图方法 |
CN112446799A (zh) * | 2019-09-03 | 2021-03-05 | 全球能源互联网研究院有限公司 | 一种基于ar设备虚拟交互的电网调度方法和系统 |
CN112446799B (zh) * | 2019-09-03 | 2024-03-19 | 全球能源互联网研究院有限公司 | 一种基于ar设备虚拟交互的电网调度方法和系统 |
CN111432341A (zh) * | 2020-03-11 | 2020-07-17 | 大连理工大学 | 一种环境自适应定位方法 |
CN111504331A (zh) * | 2020-04-29 | 2020-08-07 | 杭州环峻科技有限公司 | 一种由粗到细的全景智能车辆定位方法和装置 |
CN111652929A (zh) * | 2020-06-03 | 2020-09-11 | 全球能源互联网研究院有限公司 | 一种视觉特征的识别定位方法及系统 |
CN111595349A (zh) * | 2020-06-28 | 2020-08-28 | 浙江商汤科技开发有限公司 | 导航方法及装置、电子设备和存储介质 |
CN111811502A (zh) * | 2020-07-10 | 2020-10-23 | 北京航空航天大学 | 一种运动载体多源信息融合导航方法及系统 |
CN112099630B (zh) * | 2020-09-11 | 2024-04-05 | 济南大学 | 一种多模态意图逆向主动融合的人机交互方法 |
CN112099630A (zh) * | 2020-09-11 | 2020-12-18 | 济南大学 | 一种多模态意图逆向主动融合的人机交互方法 |
CN112328715A (zh) * | 2020-10-16 | 2021-02-05 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关模型的训练方法及相关装置、设备 |
CN112328715B (zh) * | 2020-10-16 | 2022-06-03 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关模型的训练方法及相关装置、设备 |
CN112598757A (zh) * | 2021-03-03 | 2021-04-02 | 之江实验室 | 一种多传感器时间空间标定方法及装置 |
CN113233270A (zh) * | 2021-06-15 | 2021-08-10 | 上海有个机器人有限公司 | 基于机器人行驶安全的电梯内外判断方法及相关设备 |
CN113542800A (zh) * | 2021-06-28 | 2021-10-22 | 宜宾中星技术智能系统有限公司 | 视频画面定标方法、装置、终端设备 |
CN114297534B (zh) * | 2022-02-28 | 2022-07-22 | 京东方科技集团股份有限公司 | 交互式寻找目标对象的方法、系统和存储介质 |
CN114297534A (zh) * | 2022-02-28 | 2022-04-08 | 京东方科技集团股份有限公司 | 交互式寻找目标对象的方法、系统和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107967457B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107967457A (zh) | 一种适应视觉特征变化的地点识别与相对定位方法及系统 | |
Toft et al. | Long-term visual localization revisited | |
CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
US9911340B2 (en) | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics | |
US11313684B2 (en) | Collaborative navigation and mapping | |
CN108230240B (zh) | 一种基于深度学习获取图像城市范围内位置及姿态的方法 | |
Majdik et al. | Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles | |
Paz et al. | Large-scale 6-DOF SLAM with stereo-in-hand | |
Maffra et al. | Real-time wide-baseline place recognition using depth completion | |
EP3274964B1 (en) | Automatic connection of images using visual features | |
Xu et al. | A scene-adaptive descriptor for visual SLAM-based locating applications in built environments | |
Vishal et al. | Accurate localization by fusing images and GPS signals | |
Shalaby et al. | Algorithms and applications of structure from motion (SFM): A survey | |
Saleem et al. | Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review | |
Volkova et al. | More Robust Features for Adaptive Visual Navigation of UAVs in Mixed Environments: A Novel Localisation Framework | |
Shewail et al. | Survey of indoor tracking systems using augmented reality | |
Sujiwo et al. | Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge | |
CN114202701A (zh) | 一种基于物体语义的无人机视觉重定位方法 | |
Hu et al. | Accurate fiducial mapping for pose estimation using manifold optimization | |
Mueller et al. | CNN-based initial localization improved by data augmentation | |
Zhang et al. | Recent Advances in Robot Visual SLAM | |
Pal et al. | Evolution of simultaneous localization and mapping framework for autonomous robotics—a comprehensive review | |
Dag et al. | TAU-Indoors Dataset for Visual and LiDAR Place Recognition | |
Ji | Robust visual SLAM for autonomous vehicles in challenging environments | |
Zhang | Towards Long-Term Vision-Based Localization in Support of Monocular Visual Teach and Repeat |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |