CN106210731A - 基于双三次插值扩展的彩色图像可逆数据隐藏方法 - Google Patents
基于双三次插值扩展的彩色图像可逆数据隐藏方法 Download PDFInfo
- Publication number
- CN106210731A CN106210731A CN201610511694.4A CN201610511694A CN106210731A CN 106210731 A CN106210731 A CN 106210731A CN 201610511694 A CN201610511694 A CN 201610511694A CN 106210731 A CN106210731 A CN 106210731A
- Authority
- CN
- China
- Prior art keywords
- interpolation
- pixel
- image
- secret information
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 230000002441 reversible effect Effects 0.000 title claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 230000003321 amplification Effects 0.000 claims abstract description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 17
- 238000011084 recovery Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 11
- 241001504519 Papio ursinus Species 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000969 carrier Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005574 cross-species transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
基于双三次插值扩展的彩色图像可逆数据隐藏方法,主要解决现有方法综合性能差的缺陷,首先将原始彩色载体图像的RGB三个色彩分量分离,分别对分离后的颜色分量图像矩阵进行插值扩展放大倍数为3的插值扩展,得到插值扩展后的矩阵,并分别计算矩阵中每个插值点的像素值;然后充分利用RGB三个色彩分量之间的相关性和插值空间冗余来嵌入秘密信息,秘密信息采用一维序列方式嵌入,嵌入位置可选择每个色彩分量的低四位、中间插值像素、边缘插值像素和参考像素,并利用相邻的16个像素值来预测插值像素的值;最后将三个色彩分量合并得到隐密载体图像。根据约定的位置嵌入和提取操作,秘密信息的提取不需要任何的附加信息。
Description
技术领域
本发明属于图像处理领域和多媒体信息安全领域,具体涉及一种基于双三次插值扩展的彩色图像可逆数据隐藏方法,可用于医疗、卫星、军事和隐私数据保护等应用领域的多媒体信息安全保护。
背景技术
随着计算机网络技术的飞速发展,越来越多的图像信息开始在公网上进行传输,多媒体数据的真实性和完整性很难得到保证。而数据隐藏技术的出现,极大地保护了多媒体信息的安全。与数据隐藏技术相比,可逆数据隐藏技术不仅可以将秘密信息以不知不觉的方式隐藏在载体中进行传输,而且能恢复原始载体,从而实现了多媒体信息的安全保护。如在卫星和军事图像、医学图像、二维工程图、云环境中的隐私数据保护等应用领域,都起着举足轻重的地位。实际应用中,彩色图像的应用需求比灰度图像更大。因此,研究彩色图像的可逆数据隐藏技术具有十分重要的意义。
目前,可逆数据隐藏算法(Reversible Data Hiding,RDH)主要包括三类方法:差值扩展、直方图平移和无损压缩。熊志勇等人(见文献熊志勇,等.无定位图的预测误差差值扩展可逆数据隐藏[J].计算机应用研究,2010,27(3):1015-1018)提出一种无定位图的预测误差差值扩展可逆数据隐藏方法,该方法并非在真正意义上取消了定位图,所以嵌入容量不大。在此基础上,Liu M等人(见文献Liu M,et al.Reducing location map inprediction-based difference expansion for reversible image data embedding[J].Signal Processing,2012,92(3):819-828)提出一种减小定位图的预测差值可逆信息隐藏方法,该方法的嵌入容量和熊志勇等人方法相当的时候,图像载体的感知质量较差。LeeC F等人(见文献Lee C F,et al.An adjustable and reversible data hiding methodbased on multiple-base notational system without location map[J].JIHMSP,2015,6(1):1-28)提出基于多符号系统的没有定位图的可逆信息隐藏方法,该方法对第一行和第一列参考像素没有嵌入秘密信息,所以嵌入容量还是不够理想。Li X等人(见文献Li X,etal.High-fidelity reversible data hiding scheme based on pixel-value-orderingand prediction-error expansion[J].Signal Processing,2013,93(1):198-205)提出一种像素值排序和预测差值扩展的可逆数据隐藏方法。Li J等人(见文献Li J,etal.Reversible data hiding scheme for color image based on prediction-errorexpansion and cross-channel correlation[J].Signal Processing,2013,93(9):2748-2758)提出基于预测差值扩展和交叉信道相关性的彩色图像可逆信息隐藏方法,该方法的预测精度更高,较Li X等人的方法嵌入容量和感知质量都好。Ou B等人(见文献Ou B,etal.Efficient color image reversible data hiding based on channel-dependentpayload partition and adaptive embedding[J].Signal Processing,2015,108:642-657)提出一种信道相关性和自适应嵌入的彩色图像可逆信息隐藏方法。Liu R等人(见文献Liu R,et al.A reversible data hiding based on adaptive prediction techniqueand histogram shifting[C]//Asia-Pacific Signal and Information ProcessingAssociation,2014Summit and Conference.IEEE,2014:1-6)提出将自适应预测技术和直方图平移相结合的可逆数据隐藏方法,该方法与Li X等人的方法相比有个共同的缺点就是嵌入容量较低。Lu Y Y等人(见文献Lu Y Y,et al.Adaptive reversible data hidingwith pyramidal structure[J].Vietnam J.of Computer Science,2014,1(3):1-13)提出一种金字塔结构差值直方图嵌入的自适应可逆数据隐藏方法。Fu D S等人(见文献Fu D S,et al.Reversible data hiding based on prediction-error histogram shifting andEMD mechanism[J].AEU–Int.J.of Elec.and Comm.,2014,68(10):933-943)提出一种差值直方图平移和EMD可逆数据隐藏方法。Pan Z等人(见文献Pan Z,et al.Reversible datahiding based on local histogram shifting with multilayer embedding[J].J.ofVisual Comm.&Image Representation,2015,31:64-74)提出一种多层嵌入的局部直方图平移可逆数据隐藏方法。上述方法中并非真正意义上的消除定位图,且随着隐藏的信息容量的增加,隐密载体图像的感知质量出现了明显下降。
插值扩展是近几年常用的可逆数据隐藏技术,该技术可以利用扩大原始载体图像空出大量冗余空间来隐藏秘密信息,对增大嵌入容量和提高感知质量都有很好的作用。现有的信息隐藏插值算法主要有邻近插值、线性插值和抛物线插值。Wang X T等人(见文献Wang X T,et al.Reversible data hiding for high quality images exploitinginterpolation and direction order mechanism[J].Digital Signal Processing,2013,23(2):569-577)提出一种高质量的插值扩展和定向排序的可逆数据隐藏机制。Lu TC等人(见文献Lu T C,et al.High capacity reversible hiding scheme based oninterpolation,difference expansion,and histogram shifting[J].MultimediaTools&Applications,2014,72(1):417-435)提出一种基于差值、插值扩展、直方图平移的高容量可逆数据隐藏方法。Govind等人(见文献Govind P V S,et al.A new reversibledata hiding scheme with improved capacity based on directional interpolationand difference expansion[J].Procedia Computer Science,2015,46:491-498)又对LuT C等人的方法进行了改进,提出一种改进的定向插值算法的可逆数据隐藏算法。Vigila等人(见文献Vigila S M C,et al.Hiding of confidential data in spatial domainimages using image interpolation[J].Int.J.of Network Security,2015,17(6):722-727)提出一种利用邻近插值在空域图像中隐藏机密数据的隐藏方法。Ajeeshvali等人(见文献Ajeeshvali N,et al.Steganography based on integer wavelet transform andbicubic interpolation[J].Int.J.of Image Graphics&Signal Processing,2012,4(12):26-33)提出一种基于整数小波变换和双三次插值的隐写术。以上插值扩展算法也都只适用于灰度图像,对彩色图像并不适用。
现有可逆数据隐藏方法虽然能够较好地实现秘密信息的可逆隐藏,但都存在着共同的缺点:1)大多都只适用于灰度图像,对彩色图像并不适用;2)大多数方法需要利用定位图,而定位图的出现浪费了一定的空间;3)大多数方法对隐藏的信息容量不能自适应的选择;4)隐藏的信息容量较小,或者隐藏的信息容量较大时,隐密载体图像感知质量出现明显下降。
发明内容
本发明的目的是提供一种基于双三次插值扩展的彩色图像可逆数据隐藏方法。
本发明是基于双三次插值扩展的彩色图像可逆数据隐藏方法,其特征在于,包括如下步骤:
(1)首先设定插值扩展放大倍数k=3:将大小为m×n的原始彩色载体图像的每两行之间插入两行,每两列之间插入两列,包括首行和首列,得到大小为3m×3n的插值图像矩阵,其中行和列的坐标均为3的倍数的像素为原始像素,即原来坐标为(1,1)的原始像素现在位于坐标为(3,3)的像素点处,其余的像素则为插值像素;对插值图像矩阵边缘前两行和前两列的插值像素的预测不直接采用三次插值运算来计算,而是采用像素之间的相关性邻近预测像素值,对其余的插值像素则采用双三次插值运算得到精确的预测像素值;
(2)隐藏数据时充分利用RGB三个色彩分量之间的相关性和插值空间冗余来嵌入秘密信息,秘密信息采用一维序列方式嵌入,嵌入位置选择每个色彩分量的低四位,具体的嵌入运算采用异或运算来实现,不仅对每个中间插值像素的低四位嵌入秘密信息,而且对边缘插值像素和参考像素的低四位也嵌入了秘密信息;最后将三个色彩分量合并得到隐密载体图像;
(3)提取秘密信息与恢复原始图像时,首先将隐密载体图像的三个色彩分量分别分离,然后分别将分离后的三个色彩分量矩阵转化为一维序列得到加载秘密信息后的比特串,提取每个比特串的低四位通过异或操作即可得到秘密信息比特串,再将秘密信息比特串转化为矩阵,最终得到秘密信息;提取完秘密信息后,得到插值扩展后的三个色彩分量矩阵,用所有行和列均为3的倍数的像素得到原始像素,即将三个色彩分量矩阵的前两行前两列删除,进而分别进行mm/3,nn/3运算,即每两行之间删除两行,每两列之间删除两列的运算,得到与原始图像相同的三个色彩分量;合并这三个色彩分量后,得到m×n的原始载体彩色图像。
本发明的有益之处为:与现有的很多可逆数据隐藏算法相比,最基本的原理都是采用空出空间冗余来隐藏秘密信息,但是本发明隐藏的信息容量却是他们的4、5倍,且图像感知质量普遍比他们的要好。主要是因为:
(1)本发明对原始载体图像扩大了3倍来腾出空间冗余隐藏秘密信息,所以隐藏秘密信息的空间很大;
(2)本发明对边缘插值像素、参考像素都隐藏秘密信息且没有隐藏定位图,进一步增大了嵌入容量;
(3)本发明采用邻近的16个像素的值来预测中间插值像素的值,预测更精确,感知质量更好;
(4)本发明能根据双三次插值扩展倍数实现隐藏的信息容量的自适应性。接收端不需要任何附加信息就可对隐密载体图像提取秘密信息,并恢复原始载体图像。
实验结果表明,本发明隐藏的信息容量最大能达到6.732bpp,且隐密载体图像具有较高的峰值信噪比。同时,消除了定位图,可自适应地选择嵌入容量,解决了插值扩展算法不适用于彩色图像的问题。
附图说明
图1为本发明的彩色图像可逆数据隐藏方法的实现流程图,图2为Lena原始彩色载体图像,图3为Baboon原始彩色载体图像,图4为隐藏数据后的Lena隐密载体图像,图5为Baboon隐密载体图像,图6是嵌入容量在3.0bpp以内的Lena的PSNR值变化情况,图7为嵌入容量在3.0bpp以内的Baboon图像的PSNR值变化情况;
具体实施方式
本发明是基于双三次插值扩展的彩色图像可逆数据隐藏方法,包括如下步骤:
(1)首先设定插值扩展放大倍数k=3:将大小为m×n的原始彩色载体图像的每两行之间插入两行,每两列之间插入两列,包括首行和首列,得到大小为3m×3n的插值图像矩阵,其中行和列的坐标均为3的倍数的像素为原始像素,即原来坐标为(1,1)的原始像素现在位于坐标为(3,3)的像素点处,其余的像素则为插值像素;对插值图像矩阵边缘前两行和前两列的插值像素的预测不直接采用三次插值运算来计算,而是采用像素之间的相关性邻近预测像素值,对其余的插值像素则采用双三次插值运算得到精确的预测像素值;
(2)隐藏数据时充分利用RGB三个色彩分量之间的相关性和插值空间冗余来嵌入秘密信息,秘密信息采用一维序列方式嵌入,嵌入位置选择每个色彩分量的低四位,具体的嵌入运算采用异或运算来实现,不仅对每个中间插值像素的低四位嵌入秘密信息,而且对边缘插值像素和参考像素的低四位也嵌入了秘密信息;最后将三个色彩分量合并得到隐密载体图像;
(3)提取秘密信息与恢复原始图像时,首先将隐密载体图像的三个色彩分量分别分离,然后分别将分离后的三个色彩分量矩阵转化为一维序列得到加载秘密信息后的比特串,提取每个比特串的低四位通过异或操作即可得到秘密信息比特串,再将秘密信息比特串转化为矩阵,最终得到秘密信息;提取完秘密信息后,得到插值扩展后的三个色彩分量矩阵,用所有行和列均为3的倍数的像素得到原始像素,即将三个色彩分量矩阵的前两行前两列删除,进而分别进行mm/3,nn/3运算,即每两行之间删除两行,每两列之间删除两列的运算,得到与原始图像相同的三个色彩分量;合并这三个色彩分量后,得到m×n的原始载体彩色图像。
以上所述的基于双三次插值扩展的彩色图像可逆数据隐藏方法,步骤(1)进行双三次插值扩展时,双三次插值扩展算法实现的具体步骤包括:
(1)设定插值扩展放大倍数k=3:将待插值图像m×n的矩阵每两行之间插入两行,每两列之间插入两列,得到大小为3m×3n的矩阵,其中行和列的坐标均为3的倍数的像素为原始像素,其余像素为插值像素。假设原始图像矩阵为则插值扩展之 后的矩阵其中,“×”为插入的像素值;
(2)采用下式邻近值预测的方式,计算A2的前两行和前两列像素值;
(3)通过双三次插值公式f(i+u,j+v)=ABC来计算其余插值像素的值,其中,A、B、C均为矩阵,其形式如下:
A=[S(1+u)S(u)S(1-u)S(2-u)]
C=[S(1+v) S(v) S(1-v) S(2-v)]T
式中,f(i,j)表示插值图像中(i,j)处像素点的灰度值;u与v为插值图像中i与j分别与插值扩展放大倍数k运算所得的值,即u=rem(i,k)/k,v=rem(j,k)/k,u与v都是[0,1)区间的浮点数;为了降低双三次插值算法的复杂度,同时达到了精确的预测像素值,这里需要选取插值基函数来拟合数据;插值基函数S(w)是对Sin(w*π)/wπ的逼近,其中w是[-2,2]之间的随机变量;S(w)可表示为:
这些像素值都是由邻近的16个像素值经过三次运算得到,结果非常精确,很接近A1中原始像素的值。
以上所述的基于双三次插值扩展的彩色图像可逆数据隐藏方法,步骤(2)隐藏数据时,隐藏方法的具体步骤包括:
(1)将原始彩色载体图像CI的三个色彩分量IR、IG、IB分离,每个颜色分量的像素用一个字节表示;
(2)分别对三个色彩都进行放大倍数k=3的插值扩展,分别计算插值扩展后每个插值点的像素值。具体计算过程如下:
(2a)计算边缘插值像素的值,采用邻近像素值预测,该计算过程类似权利要求2所
述的双三次插值扩展算法实现步骤(2)方式;
(2b)计算中间插值像素的值f(i,j),其中mm>i>2,nn>j>2,该计算过程得根据插值点邻近的16个像素值来预测该插值点的像素值;首先根据S(w)和u、v计算出A、B、C三个矩阵,然后再由这三个矩阵计算仅得到一个插值像素的值,其他的插值也按照此过程计算出来;
(3)一个像素bit由8位组成,一般高4位的占有主要部分,所以将载体中每个像素的低4位用来嵌入秘密信息,具体采用秘密信息和载体图像异或的方式嵌入;首先对IR嵌入的低四位采用异或的方式嵌入秘密信息得到IR',其次对IG、IB采用同样的方式嵌入秘密信息;
(4)最后将隐藏秘密信息之后的IR'、IG'、IB'三个色彩分量合并,得到最终的隐密载体图像SI。
以上所述的基于双三次插值扩展的彩色图像可逆数据隐藏方法,步骤(3)提取秘密信息和恢复原始图像的具体步骤:
(1)将隐密载体图像SI的三个色彩分量(IR(红色)、IG(绿色)、IB(蓝色))分别分离,得到隐密载体色彩分量图片IR'、IG'、IB';
(2)将IR'的矩阵转化为一维序列得到加载秘密信息后的比特串,用加载秘密信息后的比特串和原始载体图像中像素比特串逐个进行异或运算,得到红色分量中隐藏的秘密信息;
(3)重复步骤(2)同样的方法,对IG'、IB'做同样的运算,最终得到全部的秘密信息;
(4)提取秘密信息之后,得到插值扩展后的三个色彩分量载体图片矩阵;
(5)将三个色彩分量矩阵的前两行前两列删除,进而分别进行mm/3,nn/3运算,此时得到与原始图像同样的三个色彩分量,然后合并这三个色彩分量,最终得到m×n的原始载体彩色图像CI。
本发明整个隐藏过程和提取过程很简单,容易实现,不用定位图可以直接根据约定的位置进行隐藏和提取操作,隐藏过程中不会出现溢出现象,并且秘密信息的提取不需要任何的附加信息。本发明利用待采样点周围16个点的像素值作三次插值,不仅考虑到4个直接相邻点的灰度影响,而且考虑到各邻点间像素值变化率的影响,所以得到的像素值更接近原始的像素值。
首先应用本发明的双三次插值扩展算法对原始图像进行插值扩展,将得到的插值图像作为载体图像,然后修改载体图像中插值的插值扩展像素将秘密信息隐藏到载体图像中,得到隐密载体图像,提取时在隐密载体图像的插值像素中提出秘密信息,用非插值像素恢复出原始图像,从而实现可逆隐藏。
如图1所示,本发明基于双三次插值扩展的彩色图像可逆数据隐藏方法,其实现具体步骤如下:
隐藏处理过程中的CI为m×n的原始彩色载体图像,SI是mm×nn的隐密载体图像,其中mm=3m,nn=3n。r、r'分别表示一维红色分量载体和隐密载体,ff表示红色分量载体图像,f是最终得到的插值图像,s表示一维秘密信息,CR、CG、CB分别是原始载体图像中IR(红色)、IG(绿色)、IB(蓝色)三个色彩分量的矩阵表示形式。
1.隐藏方法的具体实施步骤包括:
(1)将原始彩色载体图像CI的三个色彩分量IR、IG、IB分离,每个颜色分量的像素用一个字节表示;
(2)用ff表示IR图像,首先对ff的矩阵CR进行插值扩展放大倍数k=3的插值扩展,得到插值扩展后的矩阵CR1,分别计算矩阵中每个插值点的像素值。具体计算过程如下:
(2a)计算边缘插值像素的值,采用邻近像素值预测。该计算过程类似发明内容中双三次插值扩展算法实现所述的步骤(2)方式,得到f(1,j)、f(2,j)、f(i,1)、f(i,2);
(2b)计算中间插值像素的值f(i,j)(其中mm>i>2,nn>j>2),该计算过程得根据插值点邻近的16个像素值来预测该插值点的像素值。首先根据S(w)和u、v计算出A、B、C三个矩阵,然后再由这三个矩阵计算仅得到一个插值像素的值,其他的插值也按照此过程计算出来,整个过程中用到了不少的辅助变量和矩阵变换。要计算出A、B、C必须按如下过程进行:
(2b1)首先得到a、b、c、d三个矩阵的值,具体的计算为a=ff(1,:)、c=ff(m,:)、b=[ff(1,1),ff(1,1),ff(:,1)',ff(m,1),ff(m,1)]、d=[ff(1,n),ff(1,n),ff(:,n)',ff(m,n),ff(m,n)]。其中a、b、c、d都是为了得到最终像素值所设定的中间变量;
(2b2)令a1=[a;a;ff;c;c]、b1=[b;b;a1';d;d]、fff=b1',得到最终的f=double(fff)。其中a1、b1、fff都是为了得到最终像素值所设定的中间变量,a1'、b1'分别为a1、b1的转置;
(2b3)利用双三次插值扩展算法,将步骤(2a)所得的f代入发明内容中双三次插值扩展算法实现中的步骤(3)计算矩阵B的公式中,再分别计算出矩阵A、B、C,用f(i+u,j+v)=ABC计算出其中之一插值点的像素值f(i,j),最后计算其中表示向下取整;
(2b4)按照步骤(2b3)的方式分别计算出其他插值点的像素值,得到插值后的矩阵CR1;
(3)矩阵CR1的一个像素bit由8位组成,一般高4位的占有主要部分,所以将载体的低4位用来嵌入秘密信息。嵌入过程如下:
(3a)将CR1转化为一维向量r,提取每个像素的低四位组成比特串用r1表示,并将剩余的高四位bit位的所有低四位用‘0000’补充得到r2。同时,将秘密信息也转化为一维向量s,得到比特串s';
(3b)将s'按顺序每四位、每四位逐个与r1做简单的异或运算,得到h=r1⊕s',h为嵌入秘密信息之后的比特串;
(3c)将h每四位划分开,将r2中的低四位用h来代替得到r′,将r′转化为矩阵后即为隐密载体IR';
(4)对IG的矩阵CG、IB的矩阵CB做重复步骤(2)、步骤(3)同样的处理,分别得到隐密载体IG'、IB',最后将IR'、IG'、IB'三个色彩分量合并,得到最终的隐密载体图像SI。
2.提取秘密信息和恢复原始图像的具体步骤包括:
秘密信息的提取和原始载体图像的恢复实为隐藏过程的逆过程,其具体实施步骤如下:
(1)将隐密载体图像SI的三个色彩分量(IR(红色)、IG(绿色)、IB(蓝色))分别分离,得到隐密载体色彩分量图片IR'、IG'、IB';
(2)将IR'的矩阵转化为一维序列得到加载秘密信息后的比特串r',再将r'每隔四位划分开,得到含有秘密信息的比特串h,然后用公式h=r1⊕s'可得到秘密信息s';
(3)重复步骤(2)同样的方法,对IG'、IB'做同样的运算,再将秘密信息s'转化为矩阵,最终得到秘密信息s;
(4)提取秘密信息s之后,得到插值扩展后的三个色彩分量矩阵;
(5)恢复原始图像时,首先将三个色彩分量矩阵的前两行前两列删除,再分别进行mm/3,nn/3运算,即每两行之间删除两行,每两列之间删除两列的运算,得到与原始图像同样的三个色彩分量,然后合并这三个色彩分量,最终得到m×n的原始载体彩色图像CI。
本发明的优点可通过以下仿真实验进一步说明:
1.实验条件与性能评价标准:
实验硬件平台为:Inter Core i3CPU,350M,4G,2.27GHz。实验环境是Win 7操作系统下的MATLAB R2012a。实验素材选择标准彩色图库的2幅大小为512×512的具有不同纹理特征的24位彩色Lena、Baboon图像作为测试载体图像,秘密信息随机选择任意一幅彩色图像,并分别与近几年流行的方法和同类方法进行对比分析,验证本发明的优越性。
本发明性能评价标准以嵌入比特率(bpp)和峰值信噪比(PSNR)来衡量。其中:
嵌入比特率(bpp)是评价嵌入容量大小的指标,bpp=Q/PX,其中Q是指在原始彩色图像中最多能隐藏的秘密信息数据位的位数,PX是指在原始彩色图像中像素的个数,本发明实验中的PX=512×512=262144。在原始彩色图像大小确定的情况下,bpp的值越大则嵌入容量就越大。
峰值信噪比(PSNR)用于对图像感知质量的客观评价标准,它的值越大感知质量就越好。在彩色数字图形中,由于图像的颜色用RGB三基色(即:IR(红色)、IG(绿色)、IB(蓝色))的组合表示,每个颜色分量需用一个字节表示,相应的PSNR表示为
式中,MAXPIX是最大像素值2552,MSE是原始彩色载体图像CI和隐密载体图像SI之间的均方误差,其中MSE可表示为
式中,m×n是原始彩色载体图像CI的大小,CI(i,j)是原始彩色载体图像在第i行第j列的像素值,SI(i,j)是隐密载体图像在第i行第j列的像素值。
2.实验内容
实验1:容量与视觉质量实验
实验过程设定插值扩展放大倍数k=3。图2、图3分别为Lena和Baboon原始彩色载体图像。实验通过对不同载体,分别嵌入不同容量和相同容量的秘密信息时,来验证图像感知质量变化。实验结果表明,本发明有较大的嵌入容量,且在嵌入容量较大时,感知质量也较好,性能较稳定。图4、图5分别为Lena和Baboon图像隐藏数据后的隐密载体图像。
对Lena和Baboon每个原始载体图像分别嵌入较小容量秘密信息和最大容量的秘密信息时,不同载体图像对应的PSNR的变化以及平均峰值信噪比(AVR PSNR)的变化的实验结果如表1所示。
表1.嵌入不同容量秘密信息的PSNR值
由表1结果看出,本发明对于纹理平滑的Lena载体图像能够获得较好的感知质量,同时对于纹理复杂的Baboon载体图像也能获得较好的感知质量,甚至比平滑图像的效果还要好些。在嵌入容量最大的时候,PSNR值也都在36dB以上,AVR PSNR是对应载体图片下嵌入较小容量的PSNR和最大容量的PSNR的平均值,从这个数据可以看出整体感知质量也很好。
实验2:与现有不同类最新方法的比较
本发明与Liu方法(见文献Liu R,et al.A reversible data hiding based onadaptive prediction technique and histogram shifting[C]//Asia-Pacific Signaland Information Processing Association,2014Summit and Conference.IEEE,2014:1-6)、Lu方法(见文献Lu Y Y,et al.Adaptive reversible data hiding with pyramidalstructure[J].Vietnam J.of Computer Science,2014,1(3):1-13)、Pan方法(见文献PanZ,et al.Reversible data hiding based on local histogram shifting withmultilayer embedding[J].J.of Visual Comm.&Image Representation,2015,31:64-74)和Li J方法(见文献Li J,et al.Reversible data hiding scheme for color imagebased on prediction-error expansion and cross-channel correlation[J].SignalProcessing,2013,93(9):2748-2758)等提出的直方图平移方法相比较,对比结果如图6、图7所示。由图4结果可以看出:本发明的嵌入容量都远远高于其他现有的方法,并且由图6和图7两个图中的曲线变化可以看出,曲线的变化基本一致,性能很稳定。虽然从Lena图中出现了在嵌入容量小于1.0bpp时,Li J方法的PSNR高于本发明的情况,但随着嵌入容量的增大,Li J方法的PSNR值出现了明显的下降,而本发明仍然很稳定,且Li J方法的嵌入容量有限,最大只能达到2.5bpp,而本发明能达到6.732bpp,更适合较高容量的可逆信息隐藏。
为了进一步体现本发明更直观的优越性,本发明通过表格的形式再与Li X方法(见文献Li X,et al.High-fidelity reversible data hiding scheme based on pixel-value-ordering and prediction-error expansion[J].Signal Processing,2013,93(1):198-205)、Li J方法、Ou方法(见文献Ou B,et al.Efficient color imagereversible data hiding based on channel-dependent payload partition andadaptive embedding[J].Signal Processing,2015,108:642-657)等提出的 方法作比较,如表2所示。表2为隐藏的秘密信息数据位的位数同为50,000bits时,PSNR值的变化情况。
表2.不同类方法分别嵌入相同秘密信息的PSNR值比较
从表2可以看出,本发明与其它三个方法嵌入同等位数的秘密信息时,PSNR值整体较高。由此可得,本发明不仅适合高容量的信息嵌入,也适合较低容量的信息嵌入。
实验3:与现有同类插值算法的比较
表3是本发明与Jung方法(见文献Jung K H,et al.Steganographic methodbased on interpolation and LSB substitution of digital images[J].MultimediaTools&Applications,2014,74(6):2143-2155)、Wang方法(见文献Wang X T,etal.Reversible data hiding for high quality images exploiting interpolationand direction order mechanism[J].Digital Signal Processing,2013,23(2):569-577)、Lu TC方法(见文献Lu T C,et al.High capacity reversible hiding schemebased on interpolation,difference expansion,and histogram shifting[J].Multimedia Tools&Applications,2014,72(1):417-435)、Vigila方法(见文献Vigila SM C,et al.Hiding of confidential data in spatial domain images using imageinterpolation[J].Int.J.of Network Security,2015,17(6):722-727)提出的插值扩展算法都进行对比所得的实验数据。
表3.同类插值方法分别嵌入不同或相同秘密信息的PSNR值比较
从表3可以看出,本发明不仅在嵌入容量上大于同类插值方法,而且感知质量也比他们的好。整体而言,其他方法有一个共性,与平滑的Lena图像的感知质量相比,纹理较复杂的Baboon图像的感知质量多多少少都出现了下降现象,而本发明不但没有下降,反而有所提高。由此可见,本发明对于纹理复杂的图像像素预测精度更高,感知质量更好,不但适合平滑的彩色载体图像,也很适合纹理较复杂的彩色载体图像。
综上所述,本发明很适合大容量的数据嵌入,且保证了嵌入容量和感知质量之间的平衡点。同时本发明消除了定位图,可自适应地选择嵌入容量,解决了插值扩展算法不适用于彩色图像的问题。
Claims (4)
1.基于双三次插值扩展的彩色图像可逆数据隐藏方法,其特征在于,包括如下步骤:
(1)首先设定插值扩展放大倍数k=3,将大小为m×n的原始彩色载体图像的每两行之间插入两行,每两列之间插入两列,包括首行和首列,得到大小为mm×nn,mm=3m,nn=3n的插值图像矩阵,其中行和列的坐标均为3的倍数的像素为原始像素,即原来坐标为(1,1)的原始像素现在位于坐标为(3,3)的像素点处,其余的像素则为插值像素;对插值图像矩阵边缘前两行和前两列的插值像素的预测不直接采用三次插值运算来计算,而是采用像素之间的相关性邻近预测像素值,对其余的插值像素则采用双三次插值运算得到精确的预测像素值;
(2)隐藏数据时,充分利用RGB三个色彩分量之间的相关性和插值空间冗余来嵌入秘密信息,秘密信息采用一维序列方式嵌入,嵌入位置选择每个色彩分量的低四位,具体的嵌入运算采用异或运算来实现,不仅对每个中间插值像素的低四位嵌入秘密信息,而且对边缘插值像素和参考像素的低四位也嵌入了秘密信息;最后将三个色彩分量合并得到大小为mm×nn的隐密载体图像;
(3)提取秘密信息与恢复原始图像时,首先将隐密载体图像的三个色彩分量分别分离,然后分别将分离后的三个色彩分量矩阵转化为一维序列得到加载秘密信息后的比特串,提取每个比特串的低四位通过异或操作即可得到秘密信息比特串,再将秘密信息比特串转化为矩阵,最终得到秘密信息;提取完秘密信息后,得到插值扩展后的三个色彩分量矩阵,用所有行和列均为3的倍数的像素得到原始像素,即将三个色彩分量矩阵的前两行前两列删除,进而分别进行mm/3,nn/3运算,即每两行之间删除两行,每两列之间删除两列的运算,得到与原始图像相同的三个色彩分量;合并这三个色彩分量后,得到m×n的原始载体彩色图像。
2.根据权利要求1所述的基于双三次插值扩展的彩色图像可逆数据隐藏方法,其特征在于,步骤(1)进行双三次插值扩展时,双三次插值扩展算法实现的具体步骤包括:
(1)设定插值扩展放大倍数k=3,将待插值图像m×n的矩阵每两行之间插入两行,每两列之间插入两列,得到大小为3m×3n的矩阵,其中行和列的坐标均为3的倍数的像素为原始像素,其余像素为插值像素。假设原始图像矩阵为则插值扩展之后的矩阵其中,“×”为插入的像素值;
(2)采用下式邻近值预测的方式,计算A2的前两行和前两列像素值;
(3)通过双三次插值公式f(i+u,j+v)=ABC来计算其余插值像素的值,其中,A、B、C均为矩阵,其形式如下:
A=[S(1+u) S(u) S(1-u) S(2-u)]
C=[S(1+v) S(v) S(1-v) S(2-v)]T
式中,f(i,j)表示插值图像中(i,j)处像素点的灰度值;u与v为插值图像中i与j分别与插值扩展放大倍数k运算所得的值,即u=rem(i,k)/k,v=rem(j,k)/k,u与v都是[0,1)区间的浮点数;为了降低双三次插值算法的复杂度,同时达到了精确的预测像素值,这里需要选取插值基函数来拟合数据;插值基函数S(w)是对Sin(w*π)/wπ的逼近,其中w是[-2,2]之间的随机变量;S(w)可表示为:
这些像素值都是由邻近的16个像素值经过三次运算得到,结果非常精确,很接近A1中原始像素的值。
3.根据权利要求1所述的基于双三次插值扩展的彩色图像可逆数据隐藏方法,其特征在于,步骤(2)隐藏数据时,隐藏方法的具体步骤包括:
(1)将原始彩色载体图像CI的三个色彩分量IR、IG、IB分离,每个颜色分量的像素用一个字节表示;
(2)分别对三个色彩都进行放大倍数k=3的插值扩展,分别计算插值扩展后每个插值点的像素值。具体计算过程如下:
(2a)计算边缘插值像素的值,采用邻近像素值预测,该计算过程类似权利要求2所述的双三次插值扩展算法实现步骤(2)方式;
(2b)计算中间插值像素的值f(i,j),其中mm>i>2,nn>j>2,该计算过程得根据插值点邻近的16个像素值来预测该插值点的像素值;首先根据S(w)和u、v计算出A、B、C三个矩阵,然后再由这三个矩阵计算仅得到一个插值像素的值,其他的插值也按照此过程计算出来;
(3)一个像素由8位组成,一般高4位的占有主要部分,所以将载体中每个像素的低4位用来嵌入秘密信息,具体采用秘密信息和载体图像异或的方式嵌入;首先对IR嵌入的低四位采用异或的方式嵌入秘密信息得到IR',其次对IG、IB采用同样的方式嵌入秘密信息;
(4)最后将隐藏秘密信息之后的IR'、IG'、IB'三个色彩分量合并,得到大小为mm×nn的隐密载体图像SI。
4.根据权利要求1所述的基于双三次插值扩展的彩色图像可逆数据隐藏方法,其特征在于,步骤(3)提取秘密信息和恢复原始图像的具体步骤:
(1)将隐密载体图像SI的三个色彩分量(IR(红色)、IG(绿色)、IB(蓝色))分别分离,得到隐密载体色彩分量图片IR'、IG'、IB';
(2)将IR'的矩阵转化为一维序列得到加载秘密信息后的比特串,用加载秘密信息后的比特串和原始载体图像中像素比特串逐个进行异或运算,得到红色分量中隐藏的秘密信息;
(3)重复步骤(2)同样的方法,对IG'、IB'做同样的运算,最终得到全部的秘密信息;
(4)提取秘密信息之后,得到插值扩展后的三个色彩分量载体图片矩阵;
(5)将三个色彩分量矩阵的前两行前两列删除,进而分别进行mm/3,nn/3运算,此时得到与原始图像同样的三个色彩分量,然后合并这三个色彩分量,最终得到m×n的原始载体彩色图像CI。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610511694.4A CN106210731B (zh) | 2016-07-01 | 2016-07-01 | 基于双三次插值扩展的彩色图像可逆数据隐藏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610511694.4A CN106210731B (zh) | 2016-07-01 | 2016-07-01 | 基于双三次插值扩展的彩色图像可逆数据隐藏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106210731A true CN106210731A (zh) | 2016-12-07 |
CN106210731B CN106210731B (zh) | 2018-11-02 |
Family
ID=57464093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610511694.4A Expired - Fee Related CN106210731B (zh) | 2016-07-01 | 2016-07-01 | 基于双三次插值扩展的彩色图像可逆数据隐藏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106210731B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106791858A (zh) * | 2017-01-09 | 2017-05-31 | 国家新闻出版广电总局电影数字节目管理中心 | 一种高采样率rgb视频数据无损压缩方法 |
CN106971404A (zh) * | 2017-03-20 | 2017-07-21 | 西北工业大学 | 一种鲁棒surf无人机彩色遥感图像配准方法 |
CN109035126A (zh) * | 2018-07-24 | 2018-12-18 | 湖北工业大学 | 一种基于弹性双极性编码的图像可恢复信息隐藏方法 |
CN109800585A (zh) * | 2018-12-04 | 2019-05-24 | 王继军 | 一种图像插值空间完全可逆可分离密文域信息隐藏算法 |
CN109840895A (zh) * | 2019-02-19 | 2019-06-04 | 安徽大学 | 一种带有可逆信息隐藏功能的可逆肤色平滑方法及其原始图像恢复方法 |
CN110111270A (zh) * | 2019-04-23 | 2019-08-09 | 华南理工大学 | 实现彩色图像对比度增强的可逆数据隐藏方法和恢复方法 |
CN111179169A (zh) * | 2019-12-18 | 2020-05-19 | 兰州恒达彩印包装有限责任公司 | 一种双三次图像插值模型的参数优化方法 |
CN111325650A (zh) * | 2018-12-14 | 2020-06-23 | 中国科学院深圳先进技术研究院 | 一种可逆水印方法 |
CN112100632A (zh) * | 2020-09-03 | 2020-12-18 | 北卡科技有限公司 | 基于细菌觅食优化边缘检测和xor编码的图像隐写方法 |
CN112132734A (zh) * | 2020-09-25 | 2020-12-25 | 中国人民武装警察部队工程大学 | 一种基于多通道差值排序的图像可逆信息隐藏方法 |
CN118381895A (zh) * | 2024-06-21 | 2024-07-23 | 杭州沃镭智能科技股份有限公司 | 一种基于gmsl的多通道视频采集系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103501400A (zh) * | 2013-10-16 | 2014-01-08 | 广西师范大学 | 基于抛物线插值图像的可逆信息隐藏方法 |
CN105488773A (zh) * | 2015-11-27 | 2016-04-13 | 中山大学 | 一种基于分块自适应直方图平移的可逆信息隐藏方法 |
-
2016
- 2016-07-01 CN CN201610511694.4A patent/CN106210731B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103501400A (zh) * | 2013-10-16 | 2014-01-08 | 广西师范大学 | 基于抛物线插值图像的可逆信息隐藏方法 |
CN105488773A (zh) * | 2015-11-27 | 2016-04-13 | 中山大学 | 一种基于分块自适应直方图平移的可逆信息隐藏方法 |
Non-Patent Citations (2)
Title |
---|
YONGQING XIN等: "Robust data hiding with image invariants", 《CANADIAN CONFERENCE ON ELECTRICAL AND COMPUTER ENGINEERING》 * |
孙泽锐: "基于插值图像的可逆信息隐藏算法研究", 《CNKI优秀硕士学位论文全文库》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106791858A (zh) * | 2017-01-09 | 2017-05-31 | 国家新闻出版广电总局电影数字节目管理中心 | 一种高采样率rgb视频数据无损压缩方法 |
CN106971404A (zh) * | 2017-03-20 | 2017-07-21 | 西北工业大学 | 一种鲁棒surf无人机彩色遥感图像配准方法 |
CN109035126B (zh) * | 2018-07-24 | 2023-04-18 | 湖北工业大学 | 一种基于弹性双极性编码的图像可恢复信息隐藏方法 |
CN109035126A (zh) * | 2018-07-24 | 2018-12-18 | 湖北工业大学 | 一种基于弹性双极性编码的图像可恢复信息隐藏方法 |
CN109800585A (zh) * | 2018-12-04 | 2019-05-24 | 王继军 | 一种图像插值空间完全可逆可分离密文域信息隐藏算法 |
CN109800585B (zh) * | 2018-12-04 | 2022-11-18 | 王继军 | 一种图像插值空间完全可逆可分离密文域信息隐藏算法 |
CN111325650A (zh) * | 2018-12-14 | 2020-06-23 | 中国科学院深圳先进技术研究院 | 一种可逆水印方法 |
CN109840895A (zh) * | 2019-02-19 | 2019-06-04 | 安徽大学 | 一种带有可逆信息隐藏功能的可逆肤色平滑方法及其原始图像恢复方法 |
CN110111270A (zh) * | 2019-04-23 | 2019-08-09 | 华南理工大学 | 实现彩色图像对比度增强的可逆数据隐藏方法和恢复方法 |
CN111179169A (zh) * | 2019-12-18 | 2020-05-19 | 兰州恒达彩印包装有限责任公司 | 一种双三次图像插值模型的参数优化方法 |
CN111179169B (zh) * | 2019-12-18 | 2023-10-27 | 兰州恒达彩印包装有限责任公司 | 一种双三次图像插值模型的参数优化方法 |
CN112100632A (zh) * | 2020-09-03 | 2020-12-18 | 北卡科技有限公司 | 基于细菌觅食优化边缘检测和xor编码的图像隐写方法 |
CN112100632B (zh) * | 2020-09-03 | 2023-05-23 | 北卡科技有限公司 | 基于细菌觅食优化边缘检测和xor编码的图像隐写方法 |
CN112132734A (zh) * | 2020-09-25 | 2020-12-25 | 中国人民武装警察部队工程大学 | 一种基于多通道差值排序的图像可逆信息隐藏方法 |
CN112132734B (zh) * | 2020-09-25 | 2024-04-26 | 中国人民武装警察部队工程大学 | 一种基于多通道差值排序的图像可逆信息隐藏方法 |
CN118381895A (zh) * | 2024-06-21 | 2024-07-23 | 杭州沃镭智能科技股份有限公司 | 一种基于gmsl的多通道视频采集系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106210731B (zh) | 2018-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106210731B (zh) | 基于双三次插值扩展的彩色图像可逆数据隐藏方法 | |
Qin et al. | An inpainting-assisted reversible steganographic scheme using a histogram shifting mechanism | |
Nag et al. | An image steganography technique using X-box mapping | |
Pei et al. | Adaptive reversible watermarking with improved embedding capacity | |
Leung et al. | Adaptive reversible data hiding based on block median preservation and modification of prediction errors | |
Hong et al. | An improved human visual system based reversible data hiding method using adaptive histogram modification | |
CN112070647B (zh) | 一种可逆高动态范围图像信息隐藏方法 | |
CN106097241A (zh) | 基于八邻域像素的可逆信息隐藏方法 | |
CN107578362A (zh) | 基于纹理合成在图像中嵌入秘密信息的方法 | |
CN107274333A (zh) | 一种融合奇异值分解的空域彩色图像盲水印方法 | |
CN113115053A (zh) | 一种基于整数小波变换和压缩感知的图像加密方法 | |
KR101026081B1 (ko) | 가역 워터마크 삽입, 추출 및 원본 영상 복원 방법 | |
CN106991636B (zh) | 一种融合近似Schur分解的空域彩色图像盲水印方法 | |
Biswas et al. | Digital image steganography using dithering technique | |
Kekre et al. | Robust Watermarking Technique using Hybrid Wavelet Transform Generated from Kekre Transform and Discrete Cosine Transform | |
CN110766597A (zh) | 一种图片伪装方法、装置、电子设备和存储介质 | |
CN110322387A (zh) | 一种适配图像内容的可逆可视水印方法 | |
CN103325084B (zh) | 一种基于联合恰可觉察失真的立体图像脆弱水印方法 | |
CN109543425A (zh) | 一种基于张量分解的图像数据隐藏方法 | |
Zhang et al. | High Capacity Reversible Data Hiding Algorithm for Color Image Based on Bicubic Interpolation Extension. | |
Mitra et al. | DCT based Stegano graphic Evaluation parameter analysis in Frequency domain by using modified JPEG luminance Quantization Table | |
Elshazly et al. | FPGA implementation of image steganography algorithms using generalized exploiting modification direction and pixel segmentation strategy | |
CN115242930B (zh) | 一种基于秘密共享的密文域极端预测双层可逆信息隐藏方法 | |
Yang et al. | High-performance digital watermarking with L2-norm centroid for colour images | |
Li | Image Enhancement and Cloud Secure Transmission Based on Reversible Image Information Hiding Technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181102 |
|
CF01 | Termination of patent right due to non-payment of annual fee |