CN105719322A - 一种基于自乘矩阵变换的多光谱图像压缩方法 - Google Patents

一种基于自乘矩阵变换的多光谱图像压缩方法 Download PDF

Info

Publication number
CN105719322A
CN105719322A CN201610057579.4A CN201610057579A CN105719322A CN 105719322 A CN105719322 A CN 105719322A CN 201610057579 A CN201610057579 A CN 201610057579A CN 105719322 A CN105719322 A CN 105719322A
Authority
CN
China
Prior art keywords
image
class
matrix
compression
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610057579.4A
Other languages
English (en)
Inventor
范勇
胡成华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yonglian Information Technology Co Ltd
Original Assignee
Sichuan Yonglian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yonglian Information Technology Co Ltd filed Critical Sichuan Yonglian Information Technology Co Ltd
Priority to CN201610057579.4A priority Critical patent/CN105719322A/zh
Publication of CN105719322A publication Critical patent/CN105719322A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种基于自乘矩阵变换的多光谱图像压缩方法,该方法涉及计算机信息技术领域,具体地涉及多光谱图像的压缩与传输领域。本发明基于均方误差编码的原理上结合视图的三刺激值,建立了色感失真准则,将其转换为了一个具有视觉特性的矩阵;其次将图像按照特定的方法分成若干个具有代表性的图像子类;此时,分别对类成分和差别成分采用CDF9/7小波变换和SPIHT编码,输出两类码流分别存储;解码过程为压缩过程的逆运算。同时,本发明还建立了基于差别成分的误差补偿机制,能够提高重建图像的光谱精度和色度精度。该方法在实现高压缩率和传输速度下,保存更多的有效图像信息,提升扩展性和稳定性,在跨设备存储和传输时也能保证像素级的光谱和色度精度。

Description

一种基于自乘矩阵变换的多光谱图像压缩方法
所属领域
本发明涉及计算机信息技术领域,具体地涉及多光谱图像的压缩与传输领域。
技术背景
在现实工作中,多光谱图像的分析具有非常重要的意义,它是一种结合二维空间信息和一维光谱特征的三维数据立方体,由光谱成像系统获得,记录场景在特定照明下的感知器响应值,它在获得对象空间信息的同时获取其光谱信息,丰富的光谱信息为地物的边界和地物目标的识别创造了良好的条件,比起单色图像,多光谱图像具有极大的优越性。随着多光谱图像空间分辨率的提高和地理信息系统技术的发展,人们的信心更加增强,对多光谱图像处理的要求也越来越高。
但是,由于多光谱图像数据量巨大,为高效存储和传输,须充分针对其应用和特性,进行有效压缩。目前,针对多光谱色彩再现的压缩方法主要为降维法,算法基于物体的光谱反射率线性表示模型,前三维表示物体特定照明下的可视色刺激值,其余通道用来描述同色异谱黑成分,系数值即可传递目标的实际物理值,可直接用于估计原始物体色。但各种方案都有不同的弱点,比如以损失重建光谱精度为代价,且光照稳定性较差,无针对性编码方案、计算复杂度较高且不具备扩展性、存在不同光照下色稳定性较弱,且重建图像不利于跨设备一致再现或保证像素级光谱色度精度,只能去除空间冗余,且时间复杂度高,无具体编码算法等。
发明内容
针对上述不足之处,本发明要解决的问题是提供一种新的针对多光谱图像的压缩方法。
本发明的目的是:让多光谱图像的压缩效果更好,光照稳定性好,且能支持跨设备再现的作用。
本发明为实现上述目的所采取的技术方案是:采用一种基于自乘矩阵变换的多光谱图像压缩方法。该方法的实现过程如下:
步骤1:基于均方误差编码的原理上结合根据视图的三刺激值,建立了色感失真准则,将其转换为了一个具有视觉特性的矩阵W,将W与图像原始数据F相乘,得到一个WF图像,由于所建立的具有视觉特性的矩阵W,其对角为小数,可降低编码数据的数量级,并具有降低图像重构的色感偏差的功能。
步骤2:通过研究图像波段,按照谱间图像的相似性,将图像分为不同长度并且各段之间相似性底的图像子块。
步骤3:在各图像子块内选取一个类代表,使其具有类内相关性好,类间相关性弱的性质,用类代表成分和差别成分来等价代替原图像。
步骤4:对类代表成分进行小波变换和编码,存储。
步骤5:处理类代表码流,结合差别成分建立得到误差补偿机制,在对误差补偿后的差别成分进行小波变换和编码,得到差别成分码流,存储。
步骤6:图像重构时,将类代表码流与差别成分码流分别解码和逆小波变换,再合成WF图像,再去除W成分,得到还原图像,解压过程为压缩过程的逆变换。
本发明的有益效果是:本发明在实现高压缩率和传输速度下,保存更多的有效图像信息,提升扩展性和稳定性,在跨设备存储和传输时也能保证像素级的光谱精度和色度精度。
附图说明
图1:表示本发明的流程图
图2:表示WF图像的建立示例图
图3:表示类成分处理流程图
图4:表示误差机制示例图
具体实施方式
本发明针对多光谱图像在色度高保真再现等领域的应用,为提高压缩效率,进一步存储传输,本发明设计出了一种低复杂度、光照稳定性好且支持跨设备再现的压缩方法。首先,本发明基于均方误差编码的原理上结合根据视图的三刺激值,建立了色感失真准则,将其转换为了一个具有视觉特性的矩阵,可以将图像转化为一个新的特异性图像矩阵,其次将图像按照特定的方法分为若干个具有代表性的图像子类,即,将图像分解成类内相关性强、类间相关性弱的图像矩阵和描述各分类压缩成分之间的差别成分矩阵;而此时,分别对类成分和差别成分采用CDF9/7小波变换和SPIHT编码,输出两类码流分别存储;解码过程为压缩过程的逆运算。同时,本发明还建立了基于差别成分的误差补偿机制,能够提高重建图像的光谱精度和色度精度;该方法在实现高压缩率和传输速度下,保存更多的有效图像信息,提升扩展性和稳定性,在跨设备存储和传输时也能保证像素级的光谱精度和色度精度。
下面,结合图1-图4对本发明进行详细说明。
一、目前,多光谱图像的目标主要是保存图像的光谱精度最小化原图像和重建多光谱图像间的均方误差(MSE)。所以,各种压缩方法几乎有以MSE作为多光谱图像的评价准则,本方法就以探讨均方误差为基础,重建图像的质量评价准则。
1.1定义多光谱图像的均方误差,并进行变换
设多光谱图像为F∈RM×N×L,各谱间子图为Fi∈RM×N,i=1,2,…,L,各空间子图为F(x,y)∈RL,x=1,2,…,M;y=1,2,…,N。
则均方误差可重新定义为:
M S E = 1 M N L Σ i Σ x Σ y ( F i ( x , y ) - F ^ i ( x , y ) ) 2 - - - ( 1 ) = 1 M N L Σ x Σ y | | F ( x , y ) - F ^ ( x , y ) | | 2 2 - - - ( 2 )
其中,表示重建多光谱图像数据。
1.2建立基于三刺激值得色感失真准则
首先考察单光谱曲线在色彩均匀空间下的色度保持情况,然后建立色度评价失真度量准则。在均匀色度空间LAB中,多光谱图像空间子图对应的色度值由其三刺激值计算而来。原始和重建光谱反射率数据的Lab色度差直接由其三刺激值决定。故在同一观察条件下,考察F(x,y)与的三刺激值差:
| | t r i [ F ( x , y ) ] - t r i [ F ^ ( x , y ) ] | | 2 2 = | | e T T x e T T y e T T z ( F ( x , y ) - F ^ ( x , y ) ) | | 2 2 - - - ( 3 ) = e T T x e T T y e T T z ( F ( x , y ) - F ^ ( x , y ) ) * ( F ( x , y ) - F ^ ( x , y ) ) T T x e T y e T z e - - - ( 4 ) = F ( x , y ) - F ^ ( x , y ) ) T ( T xee T T x + T yee T T y + T zee T T z ) ( F ( x , y ) - F ^ ( x , y ) - - - ( 5 )
其中,e为给定光照的光谱功率分布向量。TX,TY和TZ为对角阵,其对角元素为相应的标准色度观察者光谱三刺激值。
1.3建立具有视觉特性自乘矩阵W
为使重建图像在不同光照下,均有较小的色度误差,不考虑光照影响,仅考虑观察者对重建光谱图像的色感应偏差。由于其在很大程度上决定了LAB空间色差,结合三刺激值差,故建立以下色感应失真准则:
ϵ = 1 M N L Σ x Σ y ( F ( x , y ) - F ^ ( x , y ) ) T ( T x 2 + T y 2 + T z 2 ) ( F ( x , y ) - F ^ ( x , y ) ) - - - ( 6 )
其中,出现了一个矩阵,它是一个可以用来描述视觉特性的对角矩阵,令在本发明中,称其为具有视觉特性的自乘矩阵。则上式变换为:
ϵ = 1 M N L Σ x Σ y ( F ( x , y ) - F ^ ( x , y ) ) T W T H F ( x , y ) - F ^ ( x , y ) ) - - - ( 7 )
= 1 M N L Σ x Σ y | | W F ( x , y ) - W F ^ ( x , y ) | | 2 2 - - - ( 8 )
由式(1)到式(2)均方误差MSE定义公式的变换可知,直接对F进行编码,可使随比特率的提升,MSE逐渐降低,不利于编码。
此时,若令ε=MSE,则可得由式(2)可知,若是对WF进行编码,由于W对角元素均为小数,可降低编码数据的数量级,从而利于编码。即表明,在的情况下,在对WF的渐进编码过程中可以逐渐降低标准观察者对重构光谱的色感偏差。
图像经过W变换后,获得了新的图像—WF图像,结合图2示例,WF数据结合失真公式,式(8)用来指导编码,由于WF仍为三维图像,其空间子图由W与F的每个空间子图相乘而得,整体仍具有较强的空谱相关性。
编码前,W与F(x,y)相乘,相当于对光谱空间子图的像素附加视觉权值,对变换后的光谱相关数据嵌入编码,有利于等比特率下观察者的色度保留。解码时,利用W的逆矩阵左乘重建WF矩阵,得到重建多光谱图像。
二、图像的分解
按照谱间图像的相似性,将图像分为不同长度并且各段之间相似性底的图像子块可以称为图像聚类,本方法基于数据点形成的相似度矩阵S进行聚类,每个数据点均可以作为潜在的聚类代表点,通过设定初始值s(k,k)来描述数据点k作为代表的可行性,基于吸引度和归属度两种机制的更迭,可以将图像进行高质量的划分。
根据网络相似度,将分类函数定义为:E=∑iS(i,ci),i为数据集中的数据点,ci表示数据点i所在簇的类代表。为了获得更高的信噪比,以数据点间负的欧式距离形成输入相似度矩阵,其表示为:
s ( i , k ) = - | | F i - F k | | F = - ( Σ x , y = 1 M , N F i ( x , y ) - F k ( x , y ) ) 2 ) 1 / 2
令p=s(k,k),聚类过程中,p是唯一的输入参数,它反映各谱间子分图像被选作代表波段的统一偏好程度,其数值越大得到的簇类越多,这种方法可使指定P值下∑||Fi-Fk||F最小,从而获得较优的多光谱图像变换表示。
三、图像变换表示结合图3
图像经过聚类划分后,在各图像子块内选取一个类代表,使其具有类内相关性好,类间相关性弱的性质,用类代表成分和差别成分来等价代替原图像,结合图3示例:
设多光谱图像为F∈RM×N×L,各谱间子图为Fi∈RM×N,i=1,2,…,L,各空间子图为F(x,y)∈RL,x=1,2,…,M;y=1,2,…,N,由于各谱间子分图像是同一图像按照波段不同分别成像而得,它们具有相同的空间拓扑结构,同时相邻普段的子图像谱间相关性极强,我们可以利用这一特性来减少编码的长度,按照谱间子图像的波段相似性可以分成K类,在每一类图像中选取一个类内相关性性强,类间相关性弱的图像作为类代表,将其表示为,此时多光谱图像F可以表示为:
F = [ F 1 F 2 F 3 ... F L ] = [ P C 1 P C 2 ... P C k ] * E + Δ = ∪ i = 1 L F i = ∪ x = 1 , y = 1 M , N F ( x , y ) ⇔ ∪ k = 1 K { P C k , ∪ j = 1 , j ≠ C k n k Δ j k }
其中为类代表,E为F的稀疏表示矩阵,有L个K维单位矢量组成Δ为各差别成分组成的矩阵,用∪表示合并随后元素中的数据形成数据序列,F(x,y)为空间位置(x,y)处法人光谱矢量,Δjk是Fj相对于的差异其值为接近于或为0。
由此可知多光谱图像可以用较少的类代表成分和较小的差别成分等价表示,且总成分数不变。若采用此类谱间稀疏等价表示,可以更好地去除谱间冗余,减小编码长度,进而提高压缩比。四、图像经过一系列的处理,此时图像可以描述为
F = ∪ k = 1 K { P C k , ∪ j = 1 , j ≠ c k n k Δ j k }
其中表示的的是类代表成分,也就是图像的主要成分数据,按照传统的图像压缩方式,选用CDF9/7小波,对图像进行小波变换,然后采用SPIHT编码方法对变换后的小波系数矩阵进行编码,并且输出码流并存储,结合图3可知。
五、误差补偿机制结合图4
如果按照对数据一样,对Δjk进行小波变换和SPIHT编码,那么在一定比特率的条件下,两部分编的码均会存在不同程度的量化误差,那么如何减少压缩过程中的总误差呢?我么可以采用不直接对Δjk进行编码,而是对谱间代表波段(类代表)和包含差别成分的Δ`jk进行编码;经过编码后,先将其解码,逆小波变换后得到此时再对Δ`jk进行小波变换和SPIHT编码。输出码流并与编码后的码流一并存储。
采用此种误差补偿机制,可在Fi重建时候对压缩误差进行有效的补偿,冲二使重建图像Fi的精度更高。
六、解码
解码过程为压缩过程的逆运算,首先将类代表码流和差别成分码流分别用SPIHT编码进行解码,然后采用CDF9/7逆小波变换,还原数据和Δjk,重建WF图像,再消去视觉特性矩阵W,即可还原图像。
上述结合附图对本发明的实施例作了详细描述,应该理解上述只是示例性的,因此,本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (5)

1.一种基于自乘矩阵变换的多光谱图像压缩方法,本发明涉及计算机信息技术领域,具体地涉及多光谱图像的压缩与传输领域,其主要过程包括以下步骤:
步骤一:基于均方误差编码的原理上结合根据视图的三刺激值,建立了色感失真准则,将其转换为了一个具有视觉特性的矩阵W,将W与图像原始数据F相乘,得到一个WF图像,由于所建立的具有视觉特性的矩阵W,其对角为小数,可降低编码数据的数量级,并具有降低图像重构的色感偏差的功能;
步骤二:通过研究图像波段,按照谱间图像的相似性,将图像分为不同长度并且各段之间相似性底的图像子块;
步骤三:在各图像子块内选取一个类代表,使其具有类内相关性好,类间相关性弱的性质,用类代表成分和差别成分来等价代替原图像;
步骤四:对类代表成分进行小波变换和编码,存储;
步骤五:处理类代表码流,结合差别成分建立得到误差补偿机制,在对误差补偿后的差别成分进行小波变换和编码,得到差别成分码流,存储;
步骤六:图像重构时,将类代表码流与差别成分码流分别解码和逆小波变换,再合成WF图像,再去除W成分,得到还原图像,解压过程为压缩过程的逆变换。
2.根据权利要求1所述的一种基于自乘矩阵变换的多光谱图像压缩方法,其特征是:步骤一中,具有视觉特性的矩阵W建立方法如下:
设多光谱图像为:,各谱间子图为:,各空间子图为:,则均方误差可重新定义为:
其中,表示重建多光谱图像数据,的三刺激值差:
其中,e为给定光照的光谱功率分布向量,为对角阵,其对角元素为相应的标准色度观察者光谱三刺激值,由以上二式得:
在本发明中,称其为具有视觉特性的自乘矩阵,则上式变换为:
编码前,W与F(x,y)相乘,相当于对光谱空间子图的像素附加视觉权值,得到WF图像。
3.根据权利要求1所述的一种基于自乘矩阵变换的多光谱图像压缩方法步骤二中,图像按照相似性分为图像子块的方法为:
设定初始值s(k,k)来描述数据点k作为代表的可行性,i为数据集中的数据点,表示数据点i所在簇的类代表,以数据点间负的欧式距离形成输入相似度矩阵,分类函数定义为:
4.根据权利要求1一种基于自乘矩阵变换的多光谱图像压缩方法步骤三中,图像等价表示方法为:
其中为类代表,E为F的稀疏表示矩阵,有L个K维单位矢量组成为各差别成分组成的矩阵,用表示合并随后元素中的数据形成数据序列,F(x,y)为空间位置(x,y)处法人光谱矢量,相对于的差异其值为接近于或为0。
5.根据权利要求1一种基于自乘矩阵变换的多光谱图像压缩方法步骤五中,误差机制建立的过程为:经过编码后,先将其解码,逆小波变换后得到此时再对进行CDF9/7小波变换和SPIHT编码,输出码流并与编码后的码流一并存储。
CN201610057579.4A 2016-01-27 2016-01-27 一种基于自乘矩阵变换的多光谱图像压缩方法 Pending CN105719322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610057579.4A CN105719322A (zh) 2016-01-27 2016-01-27 一种基于自乘矩阵变换的多光谱图像压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610057579.4A CN105719322A (zh) 2016-01-27 2016-01-27 一种基于自乘矩阵变换的多光谱图像压缩方法

Publications (1)

Publication Number Publication Date
CN105719322A true CN105719322A (zh) 2016-06-29

Family

ID=56154221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610057579.4A Pending CN105719322A (zh) 2016-01-27 2016-01-27 一种基于自乘矩阵变换的多光谱图像压缩方法

Country Status (1)

Country Link
CN (1) CN105719322A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256003A (zh) * 2017-05-27 2017-10-17 四川用联信息技术有限公司 一种模糊支持向量机的制造过程多元质量诊断分类器
CN107256002A (zh) * 2017-05-27 2017-10-17 四川用联信息技术有限公司 新的衡量制造过程多元质量能力的算法
CN107256001A (zh) * 2017-05-27 2017-10-17 四川用联信息技术有限公司 改进的衡量制造过程多元质量能力的算法
CN107291065A (zh) * 2017-05-27 2017-10-24 四川用联信息技术有限公司 改进的基于决策树的制造过程多元质量诊断分类器
CN107390667A (zh) * 2017-05-27 2017-11-24 四川用联信息技术有限公司 基于决策树的制造过程多元质量诊断分类器
CN114449241A (zh) * 2022-02-18 2022-05-06 复旦大学 一种适用于图像压缩的色彩空间转化算法
WO2024103746A1 (zh) * 2022-11-18 2024-05-23 华为技术有限公司 图像处理方法、电子设备、计算机程序产品及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251646A (ja) * 2000-03-06 2001-09-14 Fuji Photo Film Co Ltd マルチスペクトル画像の画像圧縮方法および画像圧縮装置
CN103297775A (zh) * 2013-05-17 2013-09-11 西安电子科技大学 基于联合码率分配和控制的多光谱图像压缩系统与方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251646A (ja) * 2000-03-06 2001-09-14 Fuji Photo Film Co Ltd マルチスペクトル画像の画像圧縮方法および画像圧縮装置
CN103297775A (zh) * 2013-05-17 2013-09-11 西安电子科技大学 基于联合码率分配和控制的多光谱图像压缩系统与方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁玮等: "基于聚类和小波变换的多光谱图像压缩算法", 《光谱学与光谱分析》 *
梁玮等: "色彩再现的多光谱图像压缩", 《光谱学与光谱分析》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256003A (zh) * 2017-05-27 2017-10-17 四川用联信息技术有限公司 一种模糊支持向量机的制造过程多元质量诊断分类器
CN107256002A (zh) * 2017-05-27 2017-10-17 四川用联信息技术有限公司 新的衡量制造过程多元质量能力的算法
CN107256001A (zh) * 2017-05-27 2017-10-17 四川用联信息技术有限公司 改进的衡量制造过程多元质量能力的算法
CN107291065A (zh) * 2017-05-27 2017-10-24 四川用联信息技术有限公司 改进的基于决策树的制造过程多元质量诊断分类器
CN107390667A (zh) * 2017-05-27 2017-11-24 四川用联信息技术有限公司 基于决策树的制造过程多元质量诊断分类器
CN114449241A (zh) * 2022-02-18 2022-05-06 复旦大学 一种适用于图像压缩的色彩空间转化算法
CN114449241B (zh) * 2022-02-18 2024-04-02 复旦大学 一种适用于图像压缩的色彩空间转化算法
WO2024103746A1 (zh) * 2022-11-18 2024-05-23 华为技术有限公司 图像处理方法、电子设备、计算机程序产品及存储介质

Similar Documents

Publication Publication Date Title
CN105719322A (zh) 一种基于自乘矩阵变换的多光谱图像压缩方法
US6968092B1 (en) System and method for reduced codebook vector quantization
Rathore et al. Colour based image segmentation using L* a* b* colour space based on genetic algorithm
CN104376565B (zh) 基于离散余弦变换和稀疏表示的无参考图像质量评价方法
CN110290387A (zh) 一种基于生成模型的图像压缩方法
Bing et al. An adjustable algorithm for color quantization
CN108028945A (zh) 通过使用单例系数更新执行变换的设备和方法
CN108520495A (zh) 基于聚类流形先验的高光谱图像超分辨重建方法
CN107071423A (zh) 视觉多通道模型在立体视频质量客观评价中的应用方法
CN106604037B (zh) 一种新型的彩色图像编码方法
Li et al. Image compression using transformed vector quantization
Miyata et al. Novel inverse colorization for image compression
Sadkhan A proposed image compression technique based on DWT and predictive techniques
Baviskar et al. Performance evaluation of high quality image compression techniques
CN103761753B (zh) 基于纹理图像相似性的解压缩方法
Yang et al. Compressed dynamic mesh sequence for progressive streaming
CN110223268B (zh) 一种绘制图像质量评价方法
CN112989593A (zh) 基于双相机的高光谱低秩张量融合计算成像方法
CN113628290A (zh) 基于3d卷积自编码器的波段自适应高光谱图像压缩方法
Liu et al. 4D Epanechnikov Mixture Regression in LF Image Compression
Cabrera Three-dimensional compression of mesoscale meteorological data based on JPEG 2000
Omari et al. Image compression based on exploiting similarities in a group of pictures
WO2023179706A1 (zh) 编码方法、解码方法及终端
Agahian et al. Spectral compression using subspace clustering
Sang et al. Multi-dimensional vector discrete cosine transform coefficients matrix scan mode for image compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160629

WD01 Invention patent application deemed withdrawn after publication