CN104766285A - 一种水下降质图像的自适应增强方法 - Google Patents

一种水下降质图像的自适应增强方法 Download PDF

Info

Publication number
CN104766285A
CN104766285A CN201510187169.7A CN201510187169A CN104766285A CN 104766285 A CN104766285 A CN 104766285A CN 201510187169 A CN201510187169 A CN 201510187169A CN 104766285 A CN104766285 A CN 104766285A
Authority
CN
China
Prior art keywords
image
histogram
sum
hmsr
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510187169.7A
Other languages
English (en)
Inventor
曹美
盛惠兴
程亚玲
李庆武
周妍
俞楷
仇春春
郭晶晶
程海粟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201510187169.7A priority Critical patent/CN104766285A/zh
Publication of CN104766285A publication Critical patent/CN104766285A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了图像处理技术领域内的一种水下降质图像的自适应增强包括:采集单幅水下彩色图像,首先对输入图像进行对数变换,其次利用基于人眼视觉特性对对数变换后的图像进行局部对比度增强处理,同时通过带权值的高斯同态滤波对对数变换后的图像进行光照估计;利用光照估计后的图像减去局部对比度增强后的图像;最后在分析去模糊图像的各通道直方图的基础上,利用基于直方图的色阶量化算法实现对多尺度Retinex增强后的图像进行颜色校正和恢复。本发明可以很好的去除由于水体吸收和颗粒物散射作用引起的图像的模糊,很好的去除水体颜色对于图像本身颜色的干扰。

Description

一种水下降质图像的自适应增强方法
技术领域
本发明涉及一种水下降质图像的自适应增强方法,属于图像处理技术领域。
背景技术
在水下,光波并没有声波那样优良的传输特性,水体对光能量有着较强的吸收作用,更不利的是水体、悬浮颗粒对光线还有着极强的散射效应,水的透明度越低散射效应就越严重。水下光传输时发生的吸收和散射效应极大限制了水下可见光成像的距离。理论和实践经验都已证明,当照明功率达到一定水平后,只靠提高照明功率并不能使图像衬度和观测距离有所改善。因此,对水下图像做清晰化处理来提高成像质量成为增加水下有效观测距离的重要手段。
目前水下光学成像清晰化方法主要分为三大类:第一类是对光的散射作用进行补偿处理的方法,此类方法可以提高水下图像的对比度和视觉观感,以及去除水体散射作用导致的图像模糊等;第二类是对水下图像进行颜色校正处理,此类方法重在处理水下图像颜色变化问题;第三类主要利用图像融合的方法,该方法采用多种不同方法对水下图像增强,然后取一定的系数对几幅图像进行融合以达到增强图像的目的。这些方法虽然取得很好的复原效果,但是都需要考虑水下环境的影响算法复杂度高,同时并没有完全复原降质的水下图像。
由于水中颗粒物的后向噪声散射作用,导致水下图像成像环境复杂;同时水对不同波长的光吸收程度不同,会导致水下图像的光照不均,Retinex理论主要用于补偿受光照影响的图像。根据视觉感知特性,人眼的光接收体可分为锥状体和杆状体两类。锥状体能辨认图像的细节,但在低照度下不起作用,杆状体在低照度下起作用,但不能感受图像的细节。因此,在太高或太低的照度下,增强细节意义不大。多尺度Retinex理论的出现实现了在不同照度下增强图像的细节,有利于处理光照不均匀的水下图像。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种水下降质图像的自适应增强方法,不仅能够均匀图像光照,同时可以去除图像模糊,平衡图像色彩。
为达到上述目的,本发明所采用的技术方案是:一种水下降质图像的自适应增强方法,包括如下步骤:
步骤一:采集单幅水下彩色图像g(x,y),分别对彩色图像的R、G、B三个通道进行对数变换;
步骤二:利用基于人眼视觉特性对对数变换后的图像进行局部对比度增强处理,得到I(x,y);
步骤三:通过带权值的高斯同态滤波对对数变换后的图像进行光照估计;
步骤四:利用改进的多尺度Retinex算法实现对局部对比度增强后的图像进行增强;
步骤五:在分析去模糊图像的各通道直方图的基础上,利用基于直方图的色阶量化算法实现对多尺度Retinex增强后的图像进行颜色校正和恢复。
步骤二所述局部对比度增强处理的方法是:对步骤一采集的单幅水下彩色图像g(x,y)进行双边滤波得到图像通过公式(1)得到局部对比度增强后的图像I(x,y):
I ( x , y ) = k ( g ( x , y ) - g ( x ~ , y ) ) + g ( x ~ , y ) - - - ( 1 )
其中:k为正常数k值取0.7~0.9。
步骤三中带权值的高斯同态滤波采用改进型的同态滤波器,同态滤波器函数为
H ( u , v ) = m ( R h - R l ) ( 1 - e ( D 0 D ( u , v ) ) 2 n ) + b - - - ( 2 )
式中:m为权重因子,m值取2~4;D0为截止频率;n为动态系数;D(u,v)为是频率(u,v)到滤波器中心的距离;b为直流分量,b=Rl;Rh为高频增益,Rh>1表示图像高频分量增强;Rl为低频增益,Rl<1表示图像低频分量受抑制。
步骤四的具体算法为:利用替代多尺度Retinex中的环境函数Fn(x,y),即
I hmsr ( x , y ) = &Sigma; n = 1 N w n { log [ I ( x , y ) ] - log [ h f n ( x , y ) * g ( x , y ) ] } - - - ( 3 )
其中:Ihmsr(x,y)表示经多尺度Retinex增强后的图像;“*”表示卷积运算;N为尺度个数;wn为对应于每一个尺度的权值,wn满足:为对应权值wn的第n个核函数。
步骤五所述基于直方图的色阶量化算法包括直方图局部调整和直方图全局调整,具体如下:
1)直方图局部调整:消除在直方图中出现频率小于5的孤立点;
2)直方图全局调整:将局部调整后的直方图重新排序,对排序后的直方图进行自动截断拉伸,并对输出图像进行动态范围量化,对输出结果的动态范围量化可用以下公式表示:
if I hmsr < V min , I out = V min if I hmsr < V max , I out = V max else , I out = 255 * ( I hmsr - V min ) V max - V min - - - ( 4 )
式中,Ihmsr为经多尺度Retinex增强后的图像,Iout为输出图像,Vmin,Vmax分别为下限截取点和上限截取点,Vmin,Vmax选取方法如下:
式中,sum1是Ihmsr各通道图像左侧直方图之和,sum1是Ihmsr各通道图像右侧直方图之和,bin1是左侧直方图之和sum1<t1处的直方图横坐标值,bin2是右侧直方图之和sum1<t1处的直方图横坐标值,t1取图像总像素值的1.5%,t2取图像总像素值的1%。
与现有技术相比,本发明所达到的有益效果是:将水下图像去模糊和颜色平衡的方法相结合,提出优化与改进的多尺度Retinex算法,进行水下彩色图像的增强,并依据基于直方图色阶量化算法对增强后的图像进行颜色平衡,处理后的图像看起来色彩明亮,清晰度高,光照均匀,更加符合人眼视觉特性,算法实现简单有效,鲁棒性强;既能提高图像的对比度信息,又可以有效的补偿由于水体中光的衰减和颗粒物的散射作用引起的水下图像颜色失真情况,使水下彩色图像的清晰度和颜色的保真度得到明显提高。
附图说明
图1是本发明的算法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,水下降质图像的自适应增强方法,包括如下步骤:
步骤一:采集单幅水下彩色图像,将彩色图像分为R、G、B三个通道,分别对彩色图像的三个通道进行对数变换;
步骤二:利用基于人眼视觉特性对对数变换后的图像进行局部对比度增强处理;即利用人眼的主观亮度感觉与实际光强的局部线性关系、依据每个像素点的亮度值与其邻域平均亮度值的大小关系进行局部对比度增强,即如果当前点的亮度值高于邻域的亮度值时则增强该点亮度值,反之,则降低该点的亮度值。具体处理的方法如下:
设步骤一采集的单幅水下彩色图像为g(x,y),对g(x,y)进行双边滤波得到图像通过公式(1)得到局部对比度增强后的图像I(x,y):
I ( x , y ) = k ( g ( x , y ) - g ( x ~ , y ) ) + g ( x ~ , y ) - - - ( 1 )
其中:k为正常数,k值取0.7~0.9,k值优选0.8。
步骤三:通过带权值的高斯同态滤波对对数变换后的图像进行光照估计,既保留一定量的低频成分,又能突出高频成分。由于传统的高斯同态滤波器只突出图像高频分量,将图像低频信息大量滤除,这样导致图像信息的丢失,本发明选择三种不同高频增益、低频增益同态滤波函数作为光照估计函数。同态滤波器采用改进型的同态滤波器,滤波器函数为
H ( u , v ) = m ( R h - R l ) ( 1 - e ( D 0 D ( u , v ) ) 2 n ) + b - - - ( 2 )
式中:m为权重因子,m值取2~4,优选2。D0为截止频率;n为动态系数;D(u,v)为是频率(u,v)到滤波器中心的距离;b为直流分量,b=Rl;Rh为高频增益,Rh>1表示图像高频分量增强;Rl为低频增益,Rl<1表示图像低频分量受抑制。改进后的同态滤波器既能很好的增强图像高频分量,同时又能保留一定量的图像低频信息,能够更好的保留图像能量信息,获得良好的图像细节。
步骤四:利用改进的多尺度Retinex算法实现对局部对比度增强后的图像进行增强,取Rh=1.5,Rl=0.5,Rh=5,Rl=0.2,Rh=6,Rl=0.8三种不同尺度的同态滤波器加权和作为利用替代多尺度Retinex中的环境函数Fn(x,y),即
I hmsr ( x , y ) = &Sigma; n = 1 N w n { log [ I ( x , y ) ] - log [ h f n ( x , y ) * g ( x , y ) ] } - - - ( 3 )
其中:Ihmsr(x,y)为经多尺度Retinex增强后的图像;“*”表示卷积运算;N为尺度个数;wn为对应于每一个尺度的权值,wn满足:为对应权值wn的第n个核函数。
步骤五:灰度图像的直方图反映了各灰度值在图像中出现的频率,对于RGB的彩色图像虽然每个通道都是一副灰度图像,但是三个通道直方图的组合反映在彩色图像上的信息就是图像的颜色,同时每个通道的直方图呈阶梯分布,称之为彩色图像的色阶。在图像的色阶中常会出现直方图的吞噬和尖峰现象,这样导致彩色图像颜色偏离和颜色过渡不自然的情况。因此,本发明在分析去模糊图像的各通道直方图的基础上,利用基于直方图的色阶量化算法实现对多尺度Retinex增强后的图像进行颜色校正和恢复。
基于直方图的色阶量化算法包括直方图局部调整和直方图全局调整,具体如下:
1)直方图局部调整:消除在直方图中出现频率小于5的孤立点;
2)直方图全局调整:将局部调整后的直方图重新排序,对排序后的直方图进行自动截断拉伸,并对输出图像进行动态范围量化,对输出结果的动态范围量化可用以下公式表示:
if I hmsr < V min , I out = V min if I hmsr < V max , I out = V max else , I out = 255 * ( I hmsr - V min ) V max - V min - - - ( 4 )
式中,Ihmsr为经多尺度Retinex增强后的图像,Iout为输出图像,Vmin,Vmax分别为下限截取点和上限截取点,Vmin,Vmax选取方法如下:
if sum 1 < t 1 , V min = bin 1 if sum 2 < t 2 , V max = bin 2 - - - ( 5 )
式中,sum1是Ihmsr各通道图像左侧直方图之和,sum1是Ihmsr各通道图像右侧直方图之和,bin1是左侧直方图之和sum1<t1处的直方图横坐标值,bin2是右侧直方图之和sum1<t1处的直方图横坐标值,t1取图像总像素值的1.5%,t2取图像总像素值的1%。
采用熵、平均梯度对发明方法作评价,本发明方法增强后的图像相比较原图像熵和平均梯度获得很大提升,和主观评价基本一致,增强后的图像清晰度高,色彩饱满,更符合人眼视觉特性。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种水下降质图像的自适应增强方法,其特征在于,包括如下步骤:
步骤一:采集单幅水下彩色图像g(x,y),分别对彩色图像的R、G、B三个通道进行对数变换;
步骤二:利用基于人眼视觉特性对对数变换后的图像进行局部对比度增强处理,得到I(x,y);
步骤三:通过带权值的高斯同态滤波对对数变换后的图像进行光照估计;
步骤四:利用改进的多尺度Retinex算法实现对局部对比度增强后的图像进行增强;
步骤五:在分析去模糊图像的各通道直方图的基础上,利用基于直方图的色阶量化算法实现对改进的多尺度Retinex增强后的图像进行颜色校正和恢复。
2.根据权利要求1所述的水下降质图像的自适应增强方法,其特征在于,步骤二所述局部对比度增强处理的方法是:对步骤一采集的单幅水下彩色图像g(x,y)进行双边滤波得到图像通过公式(1)得到局部对比度增强后的图像I(x,y):
I ( x , y ) = k ( g ( x , y ) - g ( x ~ , y ) ) + g ( x ~ , y ) - - - ( 1 ) 其中:k为正常数,k值取0.7~0.9。
3.根据权利要求1所述的水下降质图像的自适应增强方法,其特征在于,步骤三中带权值的高斯同态滤波采用改进型的同态滤波器,同态滤波器函数为
H ( u , v ) = m ( R h - R l ) ( 1 - e ( D 0 D ( u , v ) ) 2 n ) + b - - - ( 2 ) 式中:m为权重因子,m值取2~4;D0为截止频率;n为动态系数;D(u,v)为是频率(u,v)到滤波器中心的距离;b为直流分量,b=Rl;Rh为高频增益,Rh>1表示图像高频分量增强;Rl为低频增益,Rl<1表示图像低频分量受抑制。
4.根据权利要求1所述的水下降质图像的自适应增强方法,其特征在于,步骤四的具体算法为:利用hfn(x,y)替代多尺度Retinex中的环境函数Fn(x,y),即
I hmsr ( x , y ) = &Sigma; n = 1 N w n { log [ I ( x , y ) ] - log [ h f n ( x , y ) *g ( x , y ) ] } - - - ( 3 ) 其中:Ihmsr(x,y)表示经多尺度Retinex增强后的图像;“*”表示卷积运算;N为尺度个数;wn为对应于每一个尺度的权值,wn满足:为对应权值wn的第n个核函数。
5.根据权利要求1所述的水下降质图像的自适应增强方法,其特征在于,步骤五所述基于直方图的色阶量化算法包括直方图局部调整和直方图全局调整,具体如下:
1)直方图局部调整:消除在直方图中出现频率小于5的孤立点;
2)直方图全局调整:将局部调整后的直方图重新排序,对排序后的直方图进行自动截断拉伸,并对输出图像进行动态范围量化,对输出结果的动态范围量化可用以下公式表示:
if I hmsr < V min , I out = V m in if I hmsr < V max , I out = V max else , I out = 255 * ( I hmsr - V min ) V max - V min - - - ( 4 ) 式中,Ihmsr为经多尺度Retinex增强后的图像,Iout为输出图像,Vmin,Vmax分别为下限截取点和上限截取点,Vmin,Vmax选取方法如下:
if sum 1 < t 1 , V min = bin 1 if sum 2 < t 2 , V max = bin 2 - - - ( 5 ) 式中,sum1是Ihmsr各通道图像左侧直方图之和,sum1是Ihmsr各通道图像右侧直方图之和,bin1是左侧直方图之和sum1<t1处的直方图横坐标值,bin2是右侧直方图之和sum1<t1处的直方图横坐标值,t1取图像总像素值的1.5%,t2取图像总像素值的1%。
CN201510187169.7A 2015-04-17 2015-04-17 一种水下降质图像的自适应增强方法 Pending CN104766285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510187169.7A CN104766285A (zh) 2015-04-17 2015-04-17 一种水下降质图像的自适应增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510187169.7A CN104766285A (zh) 2015-04-17 2015-04-17 一种水下降质图像的自适应增强方法

Publications (1)

Publication Number Publication Date
CN104766285A true CN104766285A (zh) 2015-07-08

Family

ID=53648097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510187169.7A Pending CN104766285A (zh) 2015-04-17 2015-04-17 一种水下降质图像的自适应增强方法

Country Status (1)

Country Link
CN (1) CN104766285A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488763A (zh) * 2015-10-30 2016-04-13 北京理工大学 一种适用于水下激光距离选通图像的图像增强方法
CN105844601A (zh) * 2016-05-20 2016-08-10 中国矿业大学(北京) 一种基于双边滤波和多尺度Retinex算法的矿井图像增强方法
CN106327446A (zh) * 2016-08-25 2017-01-11 中国科学院长春光学精密机械与物理研究所 一种图像处理方法及装置
CN107067386A (zh) * 2017-04-24 2017-08-18 上海海洋大学 一种基于相对全局直方图拉伸的浅海水下图像增强方法
CN106991663B (zh) * 2017-04-05 2018-02-27 淮海工学院 一种基于暗通道理论的水下彩色图像增强方法
CN110232389A (zh) * 2019-06-13 2019-09-13 内蒙古大学 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN111028200A (zh) * 2019-11-13 2020-04-17 南京信息工程大学 基于无参考图像质量评价和msr的图像优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233454A1 (en) * 2005-04-15 2006-10-19 Hu Cheng Method for image intensity correction using extrapolation and adaptive smoothing
CN102663697A (zh) * 2012-04-01 2012-09-12 大连海事大学 一种水下彩色视频图像的增强方法
CN102930512A (zh) * 2012-09-25 2013-02-13 哈尔滨工程大学 基于HSV色彩空间结合Retinex的水下图像增强方法
CN103679651A (zh) * 2013-11-29 2014-03-26 桂林电子科技大学 水下图像增强处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233454A1 (en) * 2005-04-15 2006-10-19 Hu Cheng Method for image intensity correction using extrapolation and adaptive smoothing
CN102663697A (zh) * 2012-04-01 2012-09-12 大连海事大学 一种水下彩色视频图像的增强方法
CN102930512A (zh) * 2012-09-25 2013-02-13 哈尔滨工程大学 基于HSV色彩空间结合Retinex的水下图像增强方法
CN103679651A (zh) * 2013-11-29 2014-03-26 桂林电子科技大学 水下图像增强处理方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
孙飞飞: "水下图像增强和复原方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
房少梅 等: "基于多尺度Retinex理论的彩色图像增强算法", 《吉首大学学报(自然科学版)》 *
胡学友: "雾天降质图像的增强复原算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
郭永强等: "利用白平衡进行偏色图像的颜色校正", 《计算机工程与应用》 *
闫敬文: "《数字图像处理(MATLAB版)》", 28 February 2007, 国防工业出版社 *
马原: "水下图像的清晰化方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488763A (zh) * 2015-10-30 2016-04-13 北京理工大学 一种适用于水下激光距离选通图像的图像增强方法
CN105488763B (zh) * 2015-10-30 2018-05-15 北京理工大学 一种适用于水下激光距离选通图像的图像增强方法
CN105844601A (zh) * 2016-05-20 2016-08-10 中国矿业大学(北京) 一种基于双边滤波和多尺度Retinex算法的矿井图像增强方法
CN106327446A (zh) * 2016-08-25 2017-01-11 中国科学院长春光学精密机械与物理研究所 一种图像处理方法及装置
CN106327446B (zh) * 2016-08-25 2017-10-27 中国科学院长春光学精密机械与物理研究所 一种图像处理方法及装置
CN106991663B (zh) * 2017-04-05 2018-02-27 淮海工学院 一种基于暗通道理论的水下彩色图像增强方法
CN107067386A (zh) * 2017-04-24 2017-08-18 上海海洋大学 一种基于相对全局直方图拉伸的浅海水下图像增强方法
CN107067386B (zh) * 2017-04-24 2020-05-01 上海海洋大学 一种基于相对全局直方图拉伸的浅海水下图像增强方法
CN110232389A (zh) * 2019-06-13 2019-09-13 内蒙古大学 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN110232389B (zh) * 2019-06-13 2022-11-11 内蒙古大学 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN111028200A (zh) * 2019-11-13 2020-04-17 南京信息工程大学 基于无参考图像质量评价和msr的图像优化方法
CN111028200B (zh) * 2019-11-13 2023-05-23 南京信息工程大学 基于无参考图像质量评价和msr的图像优化方法

Similar Documents

Publication Publication Date Title
CN104766285A (zh) 一种水下降质图像的自适应增强方法
CN108053374B (zh) 一种结合双边滤波与Retinex的水下图像增强方法
CN103985097B (zh) 一种非均匀照度的图像增强方法
CN107507145B (zh) 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法
KR100771158B1 (ko) 칼라 영상의 화질 향상을 위한 방법 및 시스템
Vishwakarma et al. Color image enhancement techniques: a critical review
CN103440623A (zh) 基于成像模型提高雾天图像清晰度的方法
Liu et al. Low-light video image enhancement based on multiscale retinex-like algorithm
CN101783963A (zh) 一种具有高光抑制的夜间图像增强方法
CN103295191A (zh) 多尺度视觉自适应图像增强方法及评价方法
CN103268598A (zh) 基于Retinex理论的低照度低空遥感影像增强方法
CN104318529A (zh) 处理在恶劣环境中所拍摄低照度图像的方法
CN111127340B (zh) 一种图像去雾方法
CN105205792A (zh) 一种基于亮度色度分离的水下图像增强方法
CN110473152B (zh) 基于改进Retinex算法的图像增强方法
Yu et al. An improved multi-scale retinex fog and haze image enhancement method
Kumari et al. Single image fog removal using gamma transformation and median filtering
Kim et al. Single image haze removal using hazy particle maps
CN111968065A (zh) 一种亮度不均匀图像的自适应增强方法
Dileep et al. A comparison between different colour image contrast enhancement algorithms
CN106067164A (zh) 基于自适应小波域处理的彩色图像对比度增强算法
Mohapatra et al. Histogram equalization and noise removal process for enhancement of image
CN114627009A (zh) 一种基于亮度校正和融合通道先验的图像增强方法及系统
Wu et al. Low-Light image enhancement algorithm based on HSI color space
Abbaspour et al. A new fast method for foggy image enhancement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150708