CN103544732A - 一种用于月球车的三维立体重建方法 - Google Patents
一种用于月球车的三维立体重建方法 Download PDFInfo
- Publication number
- CN103544732A CN103544732A CN201310455294.2A CN201310455294A CN103544732A CN 103544732 A CN103544732 A CN 103544732A CN 201310455294 A CN201310455294 A CN 201310455294A CN 103544732 A CN103544732 A CN 103544732A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- candidate matches
- best subset
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种用于月球车的三维立体重建方法,该方法对原始立体像对进行核线校正,基于自适应相关系数方法生成候选匹配像元,组成右影像的候选匹配像元集,基于动态规划方法匹配整体影像,得到候选匹配像元最佳子集,并分别利用视差连续性、视差较同向性、匹配点序列方向一致性等作为约束条件进行判断,利用曲面拟合求解最佳匹配像元,得到最佳匹配像元,将最佳匹配像元集从核线影像上反投影回原始影像,然后利用立体像对的姿态参数进行前方交会获得三维点云完成三维重建;本发明极大的提升了影像密集匹配的可靠性,大大的减少了影像匹配的错误像元,进而提高了用于月球车的三维立体重建软件的可靠性。
Description
技术领域
本发明涉及一种重建算法,具体涉及一种用于月球车的三维立体重建方法,属于计算机视觉领域、数字摄影测量领域以及空间探测技术领域。
背景技术
现有的基于密集匹配的三维立体重建技术大多是通过整体匹配或区域匹配的算法求得整体最优匹配集,然后在此基础上生成点云,对于生成的点云采用一些点云滤波算法进行粗差点的滤除。但是关于整体影像匹配有一个缺陷在于如果存在一个误匹配点,由于匹配的整体相关性,它会连带影响周边正确的点,导致误匹配增加,如果采用后期的点云滤波算法,那么点云的数量就会减少,因为在匹配过程中有可能匹配正确的点因为该误差点的影响匹配出错,而这些点在点云滤波算法中都会被当作错误点滤除。三维立体重建技术的核心就在于影响密集匹配点,重建质量严重依赖于匹配点的精度以及密度。
发明内容
有鉴于此,本发明提供了一种用于月球车的三维立体重建方法,能够极大的提升了匹配点的质量,从而提升了用于月球车的三维重建质量。
一种用于月球车的三维立体重建方法,该重建方法具体步骤如下:
步骤一:获取月球车的原始立体像对,分为左影像和右影像;
步骤二:对步骤一得到的原始立体像对进行核线校正,使得左影像和右影像上的同名点位于同一行上;
步骤三:针对左影像上的每一像元,基于自适应相关系数方法生成候选匹配像元,组成右影像的候选匹配像元集,具体如下:
对于左影像每一行上的每一个像元,在其右影像相应核线上进行相关系数匹配,计算出右影像核线上设定视差范围内所有像元的相关系数,然后利用最大堆算法求得前N个相关系数最大的像元作为候选匹配像元,再定义一个相关系数最低阈值,去除掉N个候选像元中小于最低阈值的像元,将此时保留下的像元作为最终的候选匹配像元集;
步骤四:针对左影像中的每一行像元,在步骤三得到的候选匹配像元集中,寻找其对应的最佳子集,具体过程如下:
第1步:基于动态规划方法匹配整体影像,得到候选匹配像元最佳子集,具体如下:
增加一个虚拟起点和虚拟终点,将虚拟起点和左影像一行中第一个像元对应的候选匹配像元集中的每一像元连接,将一行中最后一个像元对应的候选匹配像元集中的每一像元与虚拟终点进行连接,形成一个有向图,求得从虚拟起点到虚拟终点权重和最小的路径,该路径经过的候选匹配像元定义为候选匹配像元最佳子集;
第2步:针对第1步得到的候选匹配像元最佳子集,进行匹配像元序列一致性判断,具体如下:
对左影像上一行的像元匹配的过程中采用从左到右的方向与候选匹配像元最佳子集中的像元进行匹配,计算最佳子集中每个像元的逆序数,然后取最大逆序数对应的像元,将其从候选匹配像元集中删除,同时删除其在左影像对应的像元;然后判断最佳子集中所有像元的逆序数是否都为0,若否,则返回第1步,重新获得最佳子集,若是,则将此时左影像上与最佳子集匹配成功的两像元定义为匹配像元对,进行下一步;
第3步:视差较一致性判断;
具体方法为:对于所有匹配像元对,统计出匹配像元对的正向视差较以及负向视差较,取其大者作为整体视差较,对于不满足整体视差较的匹配像元对,在候选匹配像元集中删除该候选匹配像元;然后判断剩余的匹配像元对是否都满足整体视差较,若否,则返回第1步,重新获得最佳子集;若是,则进行下一步;
第4步:视差连续性判断,即定义一个阈值,判断最佳子集中相邻像元的视差较是否大于该阈值,如果大于,则在候选匹配像元集中删除相邻像元中的后者,返回第1步,重新获得最佳子集;如果小于,则进入步骤五;
步骤五:针对左影像中的每一行对应的最佳子集,利用曲面拟合求解最佳匹配像元,得到最佳匹配像元;
具体做法是:利用右影像上的最佳子集中设定邻域内的像元,计算出其与左影像中对应的像元的相关系数,将相关系数作为Z方向,拟合出二次抛物面,求的该抛物面最大Z值对应的X、Y值作为最佳匹配像元的坐标;
步骤六:将最佳匹配像元集从核线影像上反投影回原始影像,然后利用立体像对的姿态参数进行前方交会获得三维点云完成三维重建。
有益效果:
本发明针对传统的动态规划影像匹配易受误差点的影响,一个噪声点会连带影响周边一定区域内的正确点的缺陷加以改进,利用视差连续性、视差较同向性、匹配点序列方向一致性等作为约束条件,极大的提升了影像密集匹配的可靠性,大大的减少了影像匹配的错误像元,进而提高了用于月球车的三维立体重建软件的可靠性。
附图说明
图1为本发明用于月球车的三维立体重建方法的流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
如附图1所示,本发明提供了一种用于月球车的三维立体重建方法,该重建方法具体步骤如下:
步骤一:获取月球车的原始立体像对。
月球车为对称结构,所述的像对是通过照相机拍的其左右对称结构。
步骤二:对原始立体像对进行核线校正,使得左右影像上的同名点位于同一行上,目的是为了减少搜索的范围;所述的同名点指的是左右影像上的对应点。
核线校正为现有技术,又称核线影像的生成方法。
对原始立体像对中左影像上的每一行做步骤三到步骤八的处理,直到所有行都处理完毕。
步骤三:针对左影像上的每一像元,基于自适应相关系数方法生成候选匹配像元,组成右影像的候选像元集;
该步骤的核心思想在于在保证候选像元数目的同时尽可能多的保证候选像元的质量。具体做法为:对于左影像每一行上的每一个像元,在其右影像相应核线(右影像上相对应的行)上进行相关系数匹配,计算出右影像核线上设定视差范围内所有像元的相关系数,然后利用最大堆算法求得前N个相关系数最大的像元作为候选匹配像元,再定义一个相关系数最低阈值,去除掉N个候选匹配像元中小于最低阈值的像元,将此时保留下的像元作为最终的候选匹配像元集。
上述步骤可以生成左影像所有像元在右影像上的候选匹配像元集,而正确的匹配像元就是所有候选匹配像元集中的一个子集。
步骤四:针对左影像中的每一行像元,在步骤三得到的候选匹配像元集中,寻找其对应的最佳子集,具体过程如下:
第1步:基于动态规划方法匹配整体影像,得到候选匹配像元的最佳子集;
该步骤的核心思想在于在所有候选像元中寻找到待匹配像元的最优匹配像元。具体做法为:对于左影像任意一行上的每个像元,通过步骤三求得了该像元在右影像所有可能的候选匹配像元的集合。
所有右影像上的候选匹配像元集通过某种策略组成一个带权值的有向图,然后增加一个虚拟起点和虚拟终点,将虚拟起点和左影像一行中第一个像元对应的所有候选像元连接,最后一个像元对应的候选匹配像元集中的每一像元与虚拟终点进行连接,成为一个最终的有向图,求得从虚拟起点到虚拟终点的权重和最小路径,所述路径经过的候选匹配像元定义为候选匹配像元集最佳子集。
其中,构建有向图的策略为:对于左影像上待匹配的两个相邻像元A、B,其像元A在右影像上的候选像元集为A1,A2,…An,其像元B在右影像上的候选像元集为B1,B2,…Bm。对于所有Ai,Bj(1<=i<=n,1<=j<=m),构建Ai到Bj的有向边。多余左影像上所有相邻像元都经过如上处理,则就构建了包含所有候选像元的一个有向图。
其中AiBj边的权值定义为:q=(dAiA-dBjB)/(t(AiA)+t(BjB));其中dAiA为像元Aj和像元A的视差,dBjB为像元Bj和像元B的视差,t(AiA)为像元Aj和像元A的相关系数,t(BjB)为像元Bj和像元B的相关系数。
上述步骤可以在候选匹配像元集中找到一个最佳子集,这个子集中的像元就是对应于左影像中像元的匹配像元。
第2步:针对第1步得到的候选匹配像元最佳子集,进行匹配像元序列一致性判断;
该步骤的核心思想是:对于左影像上某一行上的所有待匹配像元,基于从左到右的方向会形成一个序列,那么它在右影像上的匹配像元也应该满足这样有向序列,如果不满足,则其匹配像元集中就存在错误匹配像元,具体方法:对左影像上某一行像元匹配的过程中采用从左到右的方向进行匹配,对经过动态规划算法规划出来的匹配像元最佳子集,计算相应的最佳子集中每个像元的逆序数,然后取最大逆序数的那个像元,将其从候选匹配像元集中删除,同时删除其在左影像中对应的待匹配像元,;然后判断最佳子集中所有像元的逆序数是否都为0,若否,则返回第1步,重新获得最佳子集,而且重新得到的最佳子集肯定与之间有所不同,此时再对其进行判断;如果所有像元逆序数都为0,则将此时左影像上与最佳子集匹配成功的两像元定义为匹配像元对,进行下一步。
如果最佳子集不满足匹配像元序列一致性,说明最佳子集中存在错误匹配,通过本步骤,就可以将错误像元找到,并将其从候选匹配子集中去除。
第3步:视差较一致性判断;
该步骤的核心思想是:对于所有匹配成功的匹配像元对,他们的视差较应该具有一致性,视差较d定义为:d=X右-X左。具体方法为:对于任意一行的所有匹配像元对,统计出正向视差较以及负向视差较,取其大者作为整体视差较。然后对于不满足整体视差较的匹配像元对,在该像元的候选匹配像元集中删除该候选匹配像元;然后判断剩余的匹配像元对是否都满足整体视差较,若否,则返回第1步,重新获得最佳子集;若是,则进行下一步。
上述中若取正向视差较作为整体视差较,说明右影像中的像元比左影像中的像元大,则为了保证右影像中所有的像元均比左影像大,即为了保证视差较一致性,如果右影像中小于左影像的像元,那么最佳子集不满足整体视差较,即说明最佳子集中存在错误匹配,通过本步骤就可以将错误像元找到,并将其从候选匹配像元最佳子集中去除。
第4步:视差连续性;
该步骤的核心思想是:相邻像元的视差应该变化连续。具体方法为定义一个阈值,判断相邻像元的视差较是否大于该阈值,如果大于,则在候选匹配像元集中删除相邻像元中的后者(根据匹配方向是从左到右,即删除后者的像元),返回第1步,重新获得最佳子集;如果小于,则进入步骤五。
若像元C、D为相邻像元,视差较dD-dC大于设定阈值,则将像元D删除,如果最佳子集不满足视差连续性,说明最佳子集中存在错误匹配,通过本步骤就可以将错误像元找到,并将其从候选匹配像元最佳子集中去除。
步骤五:针对左影像中的每一行对应的最佳子集,利用曲面拟合求解最佳匹配像元,得到最佳匹配像元;
该步骤的核心思想是:将整像素匹配精度提高到子像素匹配精度。具体做法是,利用右影像上的最佳子集中设定邻域内的像元,计算出其与左影像中对应的像元的相关系数,将相关系数作为Z方向,拟合出二次抛物面,求的该抛物面最大Z值对应的X、Y值作为最佳匹配像元的坐标。
由于步骤四得到的匹配像元最佳子集都是整像素的,而实际中往往不是整像素的,通过本步骤,就可以将最佳匹配像元的精度从整像素提高到子像素级。
步骤六:三维重建;
该步骤的核心思想是利用匹配出来的像元集生成三维点。具体方法是:将最佳匹配像元集从核线影像上反投影回原始影像,然后利用立体像对的姿态参数进行前方交会获得三维点云完成三维重建。
本发明通过迭代式动态规划的整体影像匹配,在匹配过程中动态的寻找到错误匹配像元,然后将错误匹配像元去除,防止其影响周围正确的像元;该方法相对于传统的动态规划算法能够大幅提供匹配像元的正确率,相对于后期采用点云滤波的去错误点的方法,能够大幅提高匹配点集的匹配率,同时精度更高。
本发明的三维立体重建方法不仅适用于月球车,还适用于任何地面的小车,或具有三维立体造型的装置。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种用于月球车的三维立体重建方法,其特征在于,该重建方法具体步骤如下:
步骤一:获取月球车的原始立体像对,分为左影像和右影像;
步骤二:对步骤一得到的原始立体像对进行核线校正,使得左影像和右影像上的同名点位于同一行上;
步骤三:针对左影像上的每一像元,基于自适应相关系数方法生成候选匹配像元,组成右影像的候选匹配像元集,具体如下:
对于左影像每一行上的每一个像元,在其右影像相应核线上进行相关系数匹配,计算出右影像核线上设定视差范围内所有像元的相关系数,然后利用最大堆算法求得前N个相关系数最大的像元作为候选匹配像元,再定义一个相关系数最低阈值,去除掉N个候选像元中小于最低阈值的像元,将此时保留下的像元作为最终的候选匹配像元集;
步骤四:针对左影像中的每一行像元,在步骤三得到的候选匹配像元集中,寻找其对应的最佳子集,具体过程如下:
第1步:基于动态规划方法匹配整体影像,得到候选匹配像元最佳子集,具体如下:
增加一个虚拟起点和虚拟终点,将虚拟起点和左影像一行中第一个像元对应的候选匹配像元集中的每一像元连接,将一行中最后一个像元对应的候选匹配像元集中的每一像元与虚拟终点进行连接,形成一个有向图,求得从虚拟起点到虚拟终点权重和最小的路径,该路径经过的候选匹配像元定义为候选匹配像元最佳子集;
第2步:针对第1步得到的候选匹配像元最佳子集,进行匹配像元序列一致性判断,具体如下:
对左影像上一行的像元匹配的过程中采用从左到右的方向与候选匹配像元最佳子集中的像元进行匹配,计算最佳子集中每个像元的逆序数,然后取最大逆序数对应的像元,将其从候选匹配像元集中删除,同时删除其在左影像对应的像元;然后判断最佳子集中所有像元的逆序数是否都为0,若否,则返回第1步,重新获得最佳子集,若是,则将此时左影像上与最佳子集匹配成功的两像元定义为匹配像元对,进行下一步;
第3步:视差较一致性判断;
具体方法为:对于所有匹配像元对,统计出匹配像元对的正向视差较以及负向视差较,取其大者作为整体视差较,对于不满足整体视差较的匹配像元对,在候选匹配像元集中删除该候选匹配像元;然后判断剩余的匹配像元对是否都满足整体视差较,若否,则返回第1步,重新获得最佳子集;若是,则进行下一步;
第4步:视差连续性判断,即定义一个阈值,判断最佳子集中相邻像元的视差较是否大于该阈值,如果大于,则在候选匹配像元集中删除相邻像元中的后者,返回第1步,重新获得最佳子集;如果小于,则进入步骤五;
步骤五:针对左影像中的每一行对应的最佳子集,利用曲面拟合求解最佳匹配像元,得到最佳匹配像元;
具体做法是:利用右影像上的最佳子集中设定邻域内的像元,计算出其与左影像中对应的像元的相关系数,将相关系数作为Z方向,拟合出二次抛物面,求的该抛物面最大Z值对应的X、Y值作为最佳匹配像元的坐标;
步骤六:将最佳匹配像元集从核线影像上反投影回原始影像,然后利用立体像对的姿态参数进行前方交会获得三维点云完成三维重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310455294.2A CN103544732B (zh) | 2013-09-29 | 2013-09-29 | 一种用于月球车的三维立体重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310455294.2A CN103544732B (zh) | 2013-09-29 | 2013-09-29 | 一种用于月球车的三维立体重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103544732A true CN103544732A (zh) | 2014-01-29 |
CN103544732B CN103544732B (zh) | 2016-05-04 |
Family
ID=49968150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310455294.2A Active CN103544732B (zh) | 2013-09-29 | 2013-09-29 | 一种用于月球车的三维立体重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103544732B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103921955A (zh) * | 2014-03-28 | 2014-07-16 | 北京空间飞行器总体设计部 | 一种用于探月工程的巡视器刨坑调姿方法 |
CN104299228A (zh) * | 2014-09-23 | 2015-01-21 | 中国人民解放军信息工程大学 | 一种基于精确点位预测模型的遥感影像密集匹配方法 |
CN104463956A (zh) * | 2014-11-21 | 2015-03-25 | 中国科学院国家天文台 | 一种月表虚拟场景构建方法及装置 |
CN108492326A (zh) * | 2018-01-31 | 2018-09-04 | 北京大学深圳研究生院 | 分辨率从低到高的逐渐精细化的立体匹配方法及系统 |
CN112712123A (zh) * | 2020-12-31 | 2021-04-27 | 上海商汤科技开发有限公司 | 匹配筛选方法、装置、电子设备和计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090304266A1 (en) * | 2006-11-09 | 2009-12-10 | Takafumi Aoki | Corresponding point searching method and three-dimensional position measuring method |
CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
-
2013
- 2013-09-29 CN CN201310455294.2A patent/CN103544732B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090304266A1 (en) * | 2006-11-09 | 2009-12-10 | Takafumi Aoki | Corresponding point searching method and three-dimensional position measuring method |
CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
Non-Patent Citations (2)
Title |
---|
山海涛 等: "基于影像序列的目标三维重构技术研究", 《海洋测绘》 * |
袁修孝 等: "基于POS数据的核线影像生成方法", 《武汉大学学报·信息科学版》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103921955A (zh) * | 2014-03-28 | 2014-07-16 | 北京空间飞行器总体设计部 | 一种用于探月工程的巡视器刨坑调姿方法 |
CN104299228A (zh) * | 2014-09-23 | 2015-01-21 | 中国人民解放军信息工程大学 | 一种基于精确点位预测模型的遥感影像密集匹配方法 |
CN104299228B (zh) * | 2014-09-23 | 2017-08-25 | 中国人民解放军信息工程大学 | 一种基于精确点位预测模型的遥感影像密集匹配方法 |
CN104463956A (zh) * | 2014-11-21 | 2015-03-25 | 中国科学院国家天文台 | 一种月表虚拟场景构建方法及装置 |
CN104463956B (zh) * | 2014-11-21 | 2017-05-10 | 中国科学院国家天文台 | 一种月表虚拟场景构建方法及装置 |
CN108492326A (zh) * | 2018-01-31 | 2018-09-04 | 北京大学深圳研究生院 | 分辨率从低到高的逐渐精细化的立体匹配方法及系统 |
CN108492326B (zh) * | 2018-01-31 | 2021-11-23 | 北京大学深圳研究生院 | 分辨率从低到高的逐渐精细化的立体匹配方法及系统 |
CN112712123A (zh) * | 2020-12-31 | 2021-04-27 | 上海商汤科技开发有限公司 | 匹配筛选方法、装置、电子设备和计算机可读存储介质 |
CN112712123B (zh) * | 2020-12-31 | 2022-02-22 | 上海商汤科技开发有限公司 | 匹配筛选方法、装置、电子设备和计算机可读存储介质 |
WO2022142084A1 (zh) * | 2020-12-31 | 2022-07-07 | 上海商汤科技开发有限公司 | 匹配筛选方法及装置、电子设备、存储介质和计算机程序 |
TWI776718B (zh) * | 2020-12-31 | 2022-09-01 | 大陸商上海商湯科技開發有限公司 | 匹配篩選方法及電子設備和電腦可讀儲存介質 |
Also Published As
Publication number | Publication date |
---|---|
CN103544732B (zh) | 2016-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Learning signed distance field for multi-view surface reconstruction | |
CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
CN107886477A (zh) | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 | |
CN104820991B (zh) | 一种基于代价矩阵的多重软约束立体匹配方法 | |
CN111028285A (zh) | 基于双目视觉和激光雷达融合的深度估计方法 | |
CN103544732B (zh) | 一种用于月球车的三维立体重建方法 | |
CN108648264B (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN109658497B (zh) | 一种三维模型重建方法及装置 | |
CN105701787B (zh) | 基于置信度的深度图融合方法 | |
CN111612728A (zh) | 一种基于双目rgb图像的3d点云稠密化方法和装置 | |
WO2023201903A1 (zh) | 基于遮挡感知的无监督光场视差估计系统及方法 | |
CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
Hu et al. | Stereo matching using weighted dynamic programming on a single-direction four-connected tree | |
CN107492107A (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
CN108876861B (zh) | 一种地外天体巡视器的立体匹配方法 | |
CN113052880A (zh) | 一种sfm稀疏重建方法、系统及应用 | |
Gadasin et al. | Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems | |
CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
CN111105451B (zh) | 一种克服遮挡效应的驾驶场景双目深度估计方法 | |
CN107155100A (zh) | 一种基于图像的立体匹配方法及装置 | |
CN107578429B (zh) | 基于动态规划和全局代价累积路径的立体影像密集匹配方法 | |
CN110942102B (zh) | 一种概率松弛核线匹配方法及系统 | |
Zhu et al. | Triangulation of well-defined points as a constraint for reliable image matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |