CN103839262A - 一种基于直线和fft的sar图像配准方法 - Google Patents

一种基于直线和fft的sar图像配准方法 Download PDF

Info

Publication number
CN103839262A
CN103839262A CN201410062507.XA CN201410062507A CN103839262A CN 103839262 A CN103839262 A CN 103839262A CN 201410062507 A CN201410062507 A CN 201410062507A CN 103839262 A CN103839262 A CN 103839262A
Authority
CN
China
Prior art keywords
image
registration
fourier transform
subject
straight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410062507.XA
Other languages
English (en)
Inventor
王爽
焦李成
张楠
刘坤
马文萍
马晶晶
张涛
刘闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201410062507.XA priority Critical patent/CN103839262A/zh
Publication of CN103839262A publication Critical patent/CN103839262A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域,具体提供一种基于直线和FFT的SAR图像配准方法,主要解决现有技术配准效果差及计算复杂度高的问题,其实现步骤为:(1)输入两幅SAR图像,用边缘拟合方法检测这两幅图像中的直线;(2)对检测出的直线按斜率差直方图统计,计算旋转参数;(3)对基准图像和旋转后的待配准图像用傅氏变换得到傅氏变换图;(4)利用傅里叶相位相关法计算平移参数;(5)将平移旋转后的待配准图像与基准图像重合,完成配准。本发明具有对SAR图像的配准受噪声影响小,对线特征丰富的SAR图像配准结果稳定且配准效果更好,速度快捷,计算复杂度低的优点,可用于模式识别、自动导航、计算机视觉和遥感图像的处理。

Description

一种基于直线和FFT的SAR图像配准方法
技术领域
本发明属于图像处理技术领域,涉及合成孔径雷达SAR图像的边缘提取及相位信息,可用于对SAR图像的配准,具体提供一种基于直线和FFT的SAR图像配准方法。
背景技术
合成孔径雷达SAR是一种高分辨率主动式有源微波遥感成像雷达,具有全天候、全天时、分辨率高、可侧视成像等优点,可应用于军事、农业、导航、地理监视等诸多领域。图像匹配可分成三大类:基于灰度相关的匹配方法﹑基于特征的匹配方法和基于互信息的匹配方法。
基于灰度相关的方法是一种对图像以一定大小的狄度阵列按某种或几种相似性度量顺序进行搜索匹配的办法。这种匹配一旦进入信息贫乏或图像有较大的比例尺差异或扭曲的区域,匹配难免失败。
基于特征的匹配算法是以往常用的方法,图像的特征反映了图像重要信息,以这些特征作为模型进行匹配,局部特征有点、边缘、线条、较小的区域,全局特征包括多边形和成为结构的复杂的图像内容描述。但是算法要求特征点应该位于灰度变化的区域的中心,例如孤立点﹑拐角点等。在图像获取和特征提取阶段的等过程会产生不同程度的噪声,使得本来准确的点特征之间的对应关系变得难以确定。
基于互信息的模板匹配算法具有匹配精度高、抗遮挡、抗随机噪声等优点,在图像配准领域得到广泛的应用,但标准互信息的计算量非常大,难以实现实时匹配;并且,互信息测度丢失了大量的图像空间信息会导致互信息最大值不唯一或最大值位置与图像配准位置不一致等问题。
发明内容
本发明的目的在于针对已有技术的不足,提出一种基于直线和FFT的SAR图像配准方法,以提高配准的速度和准确度,降低算法的复杂度。
为实现上述目的,本发明的技术方案是:一种基于直线和FFT的SAR图像配准方法,包括如下步骤:
(1)读入两幅SAR图像,其中,一幅是基准图像I1,另一幅是待配准图像I2,用边缘拟合方法检测这两幅图像中的直线;
(2)根据边缘拟合检测的直线,得到两幅SAR图像的旋转参数α;
(3)根据获得的旋转参数α,旋转待配准图像I2,得到旋转后的待配准图像I3
(4)分别对基准图像I1和旋转后的待配准图像I3用傅氏变换法获得傅里叶变换图像f1和f2,其中,f1为基准图像的傅氏变换图,f2为旋转后的待配准图像的傅氏变换图;
(5)根据获得的基准图像的傅氏变换图f1和旋转后的待配准图像的傅氏变换图f2,计算基准图像I1和旋转后的待配准图像I3的水平平移量m和垂直平移量n;
(6)根据水平平移量m和垂直平移量n,对旋转后的待配准图像I3进行水平移动和垂直移动,使其与基准图像I1重合,完成SAR图像配准。
上述步骤(2)所述的根据边缘拟合检测直线的结果,得到两幅SAR图像的旋转参数α,按如下步骤进行:
(2a)分别对两幅SAR图像用canny算子提取边缘;
(2b)对两幅SAR图像中提取出的边缘采用从曲线一端开始的多直线拟合方法进行直线拟合,提取出的直线段分别表示为:MLj(j=1,2,...,N)和SLi(i=1,2,...,M);
(2c)根据两幅SAR图像提取出的直线段MLj和SLi,得到每一条直线段与图像x轴正方向的夹角和每一条直线的长度,分别表示为:Mθj、MWj、Sθi、SWj,其中,Mθj、Sθi表示直线段MLj与x轴正方向的夹角和该线段的长度,Sθi、SWj表示直线段SLi与x轴正方向的夹角和该线段的长度;
(2d)对基准图像和待配准图像上的每一对直线段的角度差建立角度直方图H(k)(k=-K,...,-1,0,1,...,K),H(k)的初始值设为0;
(2e)对每一对直线段
Figure BDA0000469037230000031
计算角度之差:θji=Mθj-Sθi,若|θji-kΔθ|<Δθ/2,(Δθ取0.5°),则H(k)=H(k)+Min(MLj+SWi),其中,Min(MLj+SWi)表示取对应线段长度较小的值;
(2f)找到直方图H(k)峰值所对应的角度,即就是两幅SAR图像之间的旋转参数α。
上述步骤(5)所述的根据获得的基准图像的傅氏变换F1和旋转后的待配准图像的傅氏变换图F2,计算基准图像I1和旋转后的待配准图像I3的水平平移量m和垂直平移量n,按如下步骤进行:
(5a)计算基准图像I1傅氏变换F1和旋转后的待配准图像I3傅氏变换F2的互功率谱:
Figure BDA0000469037230000032
其中,F2 *(u,v)为F2(u,v)的复共轭;
(5b)计算基准图像I1傅氏变换F1和旋转后的待配准图像I3傅氏变换F2的互功率谱的傅里叶反变换,其峰值所在位置(x0,y0)对应水平平移量m和垂直平移量n。
本发明具有如下优点:
1.本发明采用传统的canny算子,对SAR图像直接进行边缘检测,检测边缘时受噪声影响小﹑速度快﹑鲁棒性好,避免了现有很多的特征提取算法中噪声影响严重的问题,降低了计算的复杂度。
2.本发明在直线计算出旋转参数后,用FFT相位相关的方法提取区域,计算图像的平移参数,使算法速度快捷。
由仿真结果可以看出,本发明的配准结果优于原有的单一使用直线或区域的配准结果,且速度更加快捷。
附图说明
图1是本发明的流程图;
图2是原始基准SAR图像;
图3是原始待配准SAR图像;
图4是用本发明对图4的直线拟合方法确定主方向后的图像;
图5是用本发明对图5的直线拟合方法确定主方向后的图像;
图6是用本发明对图4和图5中直线的直方图统计结果图;
图7是用本发明对图3旋转后的仿真结果图;
图8是用本发明对图7平移后的仿真结果图;
图9是用本发明对图1和图8配准叠加的仿真结果图。
具体实施方式
参照图1,本发明的具体实现步骤如下:
步骤1,读入两幅SAR图像,其中,一幅是基准图像I1,另一幅是待配准图像I2,并用边缘拟合方法检测这两幅图像中的直线。
步骤2,对检测出的多条直线,按直线段的角度差进行直方图统计,进而得到两幅SAR图像的旋转参数α。
基于直线计算两幅图像的旋转参数的方法有多种,例如:一种是用Hough变换检测出的直线在两幅SAR图像中构造一对相似三角形,任意对应的直线对的斜率差为这两幅图像的旋转参数;另一种是用分别检测出两幅图像的边缘图,用最小二乘法拟合出多条直线,统计这两幅图像中直线对斜率差的直方图,计算这两幅图像的旋转参数等。本发明采用Hough变换提取两幅图像的存在的多条直线,得到两幅图像的主方向,计算这两幅图像的旋转参数,如图2所示。
参照图2,本步骤的具体实现如下:
(2a)分别对两幅SAR图像用canny算子提取边缘;
(2b)对两幅SAR图像中提取出的边缘采用从曲线一端开始的多直线拟合方法进行直线拟合,提取出的直线段分别表示为:MLj(j=1,2,...,N)和SLi(i=1,2,...,M);
(2c)根据两幅SAR图像提取出的直线段MLj和SLi,得到每一条直线段与图像x轴正方向的夹角和每一条直线的长度,分别表示为:Mθj、MWj、Sθi、SWj,其中,Mθj、Sθi表示直线段MLj与x轴正方向的夹角和该线段的长度,Sθi、SWj表示直线段SLi与轴x正方向的夹角和该线段的长度;
(2d)对基准图像和待配准图像上的每一对直线段的角度差建立角度直方图H(k)(k=-K,...,-1,0,1,...,K),H(k)的初始值设为0;
(2e)对每一对直线段
Figure BDA0000469037230000051
计算角度之差:θji=Mθj-Sθi,若|θji-kΔθ|<Δθ/2,(Δθ取0.5°),则H(k)=H(k)+Min(MLj+SWi),其中,Min(MLj+SWi)表示取对应线段长度较小的值;
(2f)找到直方图H(k)峰值所对应的角度,即就是两幅SAR图像之间的旋转参数α。
步骤3,根据获得的旋转参数α,旋转待配准图像I2,得到旋转后的待配准图像I3
步骤4,对基准图像I1和旋转后的待配准图像I3进行傅氏变换,分别获得傅氏变换F1(u,v)和F2(u,v),其中,F1为基准图像I1的傅氏变换,F2为旋转后的待配准图像I3的傅氏变换;
步骤5,根据获得的基准图像的傅氏变换F1和旋转后的待配准图像的傅氏变换F2,计算基准图像I1和旋转后的待配准图像I3的水平平移量m和垂直平移量n;
基于区域计算两幅图像的平移参数的方法有多种,例如:一种是用最佳阈值分割方法分割区域,计算各个区域块的Hu不变矩,选取3对Hu不变矩欧式距离依次小的区域,用这3对区域的质心计算平移参数;另一种是计算旋转参数后,用k-means聚类算法分割区域,计算每块区域的Hu不变矩特征,找出Hu不变矩欧式距离最小的一对区域块,用这对区域块的质心计算两幅图像的平移参数等。本发明采用最佳阈值分割和形态学腐蚀膨胀方法分割区域,用Hu不变矩计算最匹配的两个区域块,用这两个区域块的质心计算两幅图像的平移参数,如图3所示。
参照图3,本步骤的具体实现如下:
(5a)计算基准图像I1傅氏变换F1和旋转后的待配准图像I3傅氏变换F2的互功率谱:
Figure BDA0000469037230000052
其中,F2 *(u,v)为F2(u,v)的复共轭;
(5b)计算基准图像I1傅氏变换F1和旋转后的待配准图像I3傅氏变换F2的互功率谱的傅里叶反变换,其峰值所在位置(x0,y0)对应水平平移量m和垂直平移量n。
步骤6,根据水平平移量m和垂直平移量n,对旋转后的待配准图像I3进行水平移动和垂直移动,使其与基准图像I1重合,完成SAR图像配准。
本发明的效果通过以下仿真实验进一步说明。
1、实验条件与方法
硬件平台为:Intel(R)Pentium(R)1CPU2.4GHz;
软件平台为:WindowXPProfessional,MATLABR2010;
实验方法:分别为本发明的边缘拟合方法和FFT相位相关方法。
2、实验内容及结果
实验1,对图2用边缘拟合方法提取直线,按直线的长度保留直线,结果如图4所示。
实验2,对图3用边缘拟合方法提取直线,按直线的长度保留直线,结果如图5所示。
实验3,对图4和图5保留的直线用直方图统计两两直线的斜率差,计算旋转参数,结果见图6所示。
实验4,对图5用计算出的旋转参数旋转后,傅氏变换法进行傅里叶变换,计算平移参数,结果见图8所示。
实验5,对图1和图8进行配准,结果如图9所示。
由图2和图3可见,边缘拟合直线方法噪声影响小﹑速度快﹑鲁棒性好,适用于对SAR图像提取直线,可用于计算配准时的旋转参数,可以看出,边缘拟合方法提取的直线端点不准确,不能直接用于计算配准时的平移参数。
由图7和图8可见,现有傅氏变换方法对于SAR图像相位相关清晰准确,且速度快捷,但傅氏变换方法对较为复杂的情况配准失效,需基于图像特征的方法解决。
由图9可见,用边缘拟合和FFT方法对SAR图像进行配准时,解决了仅使用边缘拟合检测直线时,检测出的直线端点不准确,导致平移参数计算不准确的问题;同时也解决了仅使用傅氏变换相位相关方法时,图像配准情况复杂,而不能进行配准的问题。
综上所述,本发明提出的基于直线和FFT的SAR图像配准方法对SAR图像的配准降低了噪声的影响,且时间复杂度小,可用于对SAR图像进行配准。
以上例举仅仅是对本发明的举例说明,并不构成对本发明的保护范围的限制,凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (3)

1.一种基于直线和FFT的SAR图像配准方法,其特征在于:包括如下步骤:
(1)读入两幅SAR图像,其中,一幅是基准图像I1,另一幅是待配准图像I2,用边缘拟合方法检测这两幅图像中的直线;
(2)根据边缘拟合检测的直线,得到两幅SAR图像的旋转参数α;
(3)根据获得的旋转参数α,旋转待配准图像I2,得到旋转后的待配准图像I3
(4)对基准图像I1和旋转后的待配准图像I3进行傅氏变换,分别获得傅氏变换F1(u,v)和F2(u,v),其中,F1为基准图像I1的傅氏变换,F2为旋转后的待配准图像I3的傅氏变换;
(5)根据获得的基准图像的傅氏变换F1和旋转后的待配准图像的傅氏变换F2,计算基准图像I1和旋转后的待配准图像I3的水平平移量m和垂直平移量n;
(6)根据水平平移量m和垂直平移量n,对旋转后的待配准图像I3进行水平移动和垂直移动,使其与基准图像I1重合,完成SAR图像配准。
2.如权利要求1所述的一种基于直线和FFT的SAR图像配准方法,其特征在于:其中步骤(2)所述的根据边缘拟合检测直线的结果,得到两幅SAR图像的旋转参数α,按如下步骤进行:
(2a)分别对两幅SAR图像用canny算子提取边缘;
(2b)对两幅SAR图像中提取出的边缘采用从曲线一端开始的多直线拟合方法进行直线拟合,提取出的直线段分别表示为:MLj(j=1,2,...,N)和SLi(i=1,2,...,M);
(2c)根据两幅SAR图像提取出的直线段MLj和SLi,得到每一条直线段与图像x轴正方向的夹角和每一条直线的长度,分别表示为:Mθj、MWj、Sθi、SWj,其中,Mθj、Sθi表示直线段MLj与x轴正方向的夹角和该线段的长度,Sθi、SWj表示直线段SLi与x轴正方向的夹角和该线段的长度;
(2d)对基准图像和待配准图像上的每一对直线段的角度差建立角度直方图H(k)(k=-K,...,-1,0,1,...,K),H(k)的初始值设为0;
(2e)对每一对直线段
Figure FDA0000469037220000022
计算角度之差:θji=Mθj-Sθi,若|θji-kΔθ|<Δθ/2,(Δθ取0.5°),则H(k)=H(k)+Min(MLj+SWi),其中,Min(MLj+SWi)表示取对应线段长度较小的值;
(2f)找到直方图H(k)峰值所对应的角度,即就是两幅SAR图像之间的旋转参数α。
3.如权利要求1所述的一种基于直线和FFT的SAR图像配准方法,其特征在于:其中步骤(5)所述的根据获得的基准图像的傅氏变换F1和旋转后的待配准图像的傅氏变换图F2,计算基准图像I1和旋转后的待配准图像I3的水平平移量m和垂直平移量n,按如下步骤进行:
(5a)计算基准图像I1傅氏变换F1和旋转后的待配准图像I3傅氏变换F2的互功率谱:其中,F2 *(u,v)为F2(u,v)的复共轭;
(5b)计算基准图像I1傅氏变换F1和旋转后的待配准图像I3傅氏变换F2的互功率谱的傅里叶反变换,其峰值所在位置(x0,y0)对应水平平移量m和垂直平移量n。
CN201410062507.XA 2014-02-24 2014-02-24 一种基于直线和fft的sar图像配准方法 Pending CN103839262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410062507.XA CN103839262A (zh) 2014-02-24 2014-02-24 一种基于直线和fft的sar图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410062507.XA CN103839262A (zh) 2014-02-24 2014-02-24 一种基于直线和fft的sar图像配准方法

Publications (1)

Publication Number Publication Date
CN103839262A true CN103839262A (zh) 2014-06-04

Family

ID=50802728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410062507.XA Pending CN103839262A (zh) 2014-02-24 2014-02-24 一种基于直线和fft的sar图像配准方法

Country Status (1)

Country Link
CN (1) CN103839262A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361560A (zh) * 2014-11-17 2015-02-18 太原理工大学 基于圆形区域拟合的几何匹配图幅接边方法
CN104537680A (zh) * 2015-01-21 2015-04-22 北京联合大学 基于边缘显著度的efmt异源图像配准方法及系统
CN104966681A (zh) * 2015-07-06 2015-10-07 深圳市图谱锐科技有限公司 一种基于视觉的晶圆偏转角度检测方法
CN104268875B (zh) * 2014-09-26 2017-02-15 西安电子科技大学 基于比值相关函数的sar图像配准方法
CN106778822A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于漏斗变换的图像直线检测方法
CN108305277A (zh) * 2017-12-26 2018-07-20 中国航天电子技术研究院 一种基于直线段的异源图像匹配方法
CN110136059A (zh) * 2019-04-04 2019-08-16 哈尔滨理工大学 直线特征的风电叶片图像拼接方法
CN112614170A (zh) * 2021-01-08 2021-04-06 上海交通大学 基于傅里叶功率谱的冷冻电镜单颗粒图像配准方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628845B1 (en) * 1999-10-20 2003-09-30 Nec Laboratories America, Inc. Method for subpixel registration of images
US20070122060A1 (en) * 2003-07-08 2007-05-31 Canon Kabushiki Kaisha Image registration method improvement
CN103295232A (zh) * 2013-05-15 2013-09-11 西安电子科技大学 基于直线和区域的sar图像配准方法
CN103325105A (zh) * 2013-02-20 2013-09-25 中国科学院电子学研究所 一种高精度合成孔径雷达图像自动配准方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628845B1 (en) * 1999-10-20 2003-09-30 Nec Laboratories America, Inc. Method for subpixel registration of images
US20070122060A1 (en) * 2003-07-08 2007-05-31 Canon Kabushiki Kaisha Image registration method improvement
CN103325105A (zh) * 2013-02-20 2013-09-25 中国科学院电子学研究所 一种高精度合成孔径雷达图像自动配准方法及设备
CN103295232A (zh) * 2013-05-15 2013-09-11 西安电子科技大学 基于直线和区域的sar图像配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
强赞霞 等: "基于傅里叶变换的遥感图像配准算法", 《红外与激光工程》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268875B (zh) * 2014-09-26 2017-02-15 西安电子科技大学 基于比值相关函数的sar图像配准方法
CN104361560A (zh) * 2014-11-17 2015-02-18 太原理工大学 基于圆形区域拟合的几何匹配图幅接边方法
CN104537680A (zh) * 2015-01-21 2015-04-22 北京联合大学 基于边缘显著度的efmt异源图像配准方法及系统
CN104966681A (zh) * 2015-07-06 2015-10-07 深圳市图谱锐科技有限公司 一种基于视觉的晶圆偏转角度检测方法
CN106778822A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于漏斗变换的图像直线检测方法
CN106778822B (zh) * 2016-11-25 2020-04-10 西安电子科技大学 基于漏斗变换的图像直线检测方法
CN108305277A (zh) * 2017-12-26 2018-07-20 中国航天电子技术研究院 一种基于直线段的异源图像匹配方法
CN108305277B (zh) * 2017-12-26 2020-12-04 中国航天电子技术研究院 一种基于直线段的异源图像匹配方法
CN110136059A (zh) * 2019-04-04 2019-08-16 哈尔滨理工大学 直线特征的风电叶片图像拼接方法
CN112614170A (zh) * 2021-01-08 2021-04-06 上海交通大学 基于傅里叶功率谱的冷冻电镜单颗粒图像配准方法
CN112614170B (zh) * 2021-01-08 2022-08-05 上海交通大学 基于傅里叶功率谱的冷冻电镜单颗粒图像配准方法

Similar Documents

Publication Publication Date Title
CN103295232B (zh) 基于直线和区域的sar图像配准方法
CN103839262A (zh) 一种基于直线和fft的sar图像配准方法
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
Zhu et al. Single image 3d object detection and pose estimation for grasping
Wang et al. Lane detection using catmull-rom spline
CN103020945B (zh) 一种多源传感器的遥感图像配准方法
CN106485740B (zh) 一种结合稳定点和特征点的多时相sar图像配准方法
CN102184550B (zh) 一种动平台地面运动目标检测方法
CN104751465A (zh) 一种基于lk光流约束的orb图像特征配准方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN103727930A (zh) 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
CN101833763B (zh) 一种水面倒影图像检测方法
CN103886611A (zh) 一种适合于航空摄影飞行质量自动检查的影像匹配方法
CN102903109B (zh) 一种光学影像和sar影像一体化分割配准方法
CN101916445A (zh) 一种基于仿射参数估计的图像配准方法
CN102081733B (zh) 多模态信息结合的多姿态三维人脸面部五官标志点定位方法
CN103617328A (zh) 一种飞机三维姿态解算方法
CN106886988B (zh) 一种基于无人机遥感的线性目标检测方法及系统
CN102938147A (zh) 一种基于快速鲁棒特征的低空无人机视觉定位方法
CN103854290A (zh) 一种结合骨架特征点和分布场描述子的扩展目标跟踪方法
Fu et al. Road detection from optical remote sensing imagery using circular projection matching and tracking strategy
CN103679713A (zh) 一种针对部分匹配图像的二维图像配准方法
CN104166977B (zh) 一种图像匹配相似性测度方法及其图像匹配方法
Han et al. Accurate and robust vanishing point detection method in unstructured road scenes
CN104700400A (zh) 一种基于特征点训练的高精度图像匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140604

RJ01 Rejection of invention patent application after publication