CN113807996B - 一种基于块截断编码的图像自嵌入半脆弱水印方法及系统 - Google Patents
一种基于块截断编码的图像自嵌入半脆弱水印方法及系统 Download PDFInfo
- Publication number
- CN113807996B CN113807996B CN202110902850.0A CN202110902850A CN113807996B CN 113807996 B CN113807996 B CN 113807996B CN 202110902850 A CN202110902850 A CN 202110902850A CN 113807996 B CN113807996 B CN 113807996B
- Authority
- CN
- China
- Prior art keywords
- image
- block
- watermark
- authentication
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000011084 recovery Methods 0.000 claims abstract description 69
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000000638 solvent extraction Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 12
- 241000287196 Asthenes Species 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0042—Fragile watermarking, e.g. so as to detect tampering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0203—Image watermarking whereby the image with embedded watermark is reverted to the original condition before embedding, e.g. lossless, distortion-free or invertible watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于块截断编码的图像自嵌入半脆弱水印方法,包括:水印的生成与嵌入:首先,将图像进行块级别的二级划分,分别生成粒度为4×4和2×2的图像块;然后,利用块截断编码对每个4×4图像块进行压缩编码,生成2×2图像块的恢复水印,并对恢复水印进行哈希生成2×2图像块的认证水印;最后,将恢复水印和认证水印级联构成自嵌入水印,嵌入到4×4的映射块中。篡改认证与恢复:首先,将某4×4图像块提取的水印与该块生成的水印比较,判别该图像块的2×2子块是否通过认证;最后,依据认证结果对2×2图像块实施恢复。本发明还公开一种基于块截断编码的图像自嵌入半脆弱水印系统。本发明具有良好的鲁棒性。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于块截断编码的图像自嵌入半脆弱水印方法及系统。
背景技术
数字图像作为获取及传播信息的主要载体,给人们的生活带来极大的便利,但其易被编辑、修改的特点也带来了一系列的安全隐患。人们为了达到某种目的,可以利用图像处理工具对图像进行篡改。因此对数字图像的内容进行真实性判断,并恢复被篡改的内容是当前的研究热点。
数字图像自嵌入水印技术是解决此类问题的主要技术手段之一,其将图像的内容信息进行压缩编码,并嵌入到图像中,通过比较篡改前后图像水印的变化情况进行完整性认证,依据嵌入的内容信息实现篡改恢复。现有的自嵌入水印技术主要分为脆弱水印方法和半脆弱水印方法两类。
脆弱水印研究主要关注认证粒度和嵌入强度等,如Swapna等人(Swapna Enugula,Srujana V,Karthik nasani,Shruthi G and Vikram V.2020.Image Security usingSelf embedding Fragile Watermarking Method.International Research Journal onAdvanced Science Hub,2(6):65-71[DOI:10.47392/irjash.2020.38])提出了一种基于自嵌入脆弱水印算法的图像安全方案,该算法将图像进行2×2,并依据每个块的均值产生4比特认证水印和8比特恢复水印,并将水印嵌入到映射中。这类算法嵌入水印使用了像素的最低三位,对原图质量影响较大。而Qian等人(Qian Z,Feng G,Zhang X and WangS.2011.Image self-embedding with high-quality restoration capability.SignalProcess,21(2):278-286[DOI:10.1016/j.dsp.2010.04.006])和Zhang等人(Zhang X,QianZ,Ren Y and Feng G.2011.Watermarking with flexible self-recovery qualitybased on compressive sensing andcompositive reconstruction.)提出的算法都是对图像进行8×8分块,对每个块基于DCT变换生成水印,Ertugrul等人(Ertugrul GulandSerkan Ozturk.2020.A novel triple recovery information embedding approachfor self-embedded digital image watermarking.Multimedia Tools andApplications,79(12):31239-31264[DOI:10.1007/s11042-020-09548-4])提出算法是对图像进行16×16分块。这类算法认证粒度不细。
半脆弱水印研究主要应用了图像频域特性来实施水印的嵌入。Rhayma等人(HanenRhayma,Achraf Makhloufi,Habib Hamamand Ahmed Ben Hamida.2019.Semi-fragileself-recovery watermarking scheme basedon data representation throughcombination.MultimediaTools and Applications,78(10):14067-14089[DOI:10.1007/s11042-019-7244-x])提出了一种基于组合数据表示的半脆弱自恢复水印方案,该算法将图像分为32×32块,利用块的均值与其16×16子块的均值生成认证水印,对图像进行小波变换得到LL2系数,并基于组合数据表示方法对系数进行压缩得到恢复恢复水印,将认证与恢复水印嵌入到映射块中。Egorova等人(Anna Egorova and Victor Fedoseev.2020.AnROI-Based Watermarking Technique for ImageContent Recovery Robust AgainstJPEG//2020Intemational Conference on Information Technology andNanotechnology,Samara,Russia:IEEE:1-6[DOI:10.1109/ITNT49337.2020.9253189])提出了一种针对图像ROI并且对JPEG具有鲁棒性的图像内容恢复方案,该算法将图像的分为8×8块,对ROI区域的块进行有损JPEG压缩后再编码生成认证和恢复水印,将水印嵌入到其他不感兴趣区域的块中。这类算法尽管能够抵抗对整幅图像的一些正常处理操作,但对图像认证的粒度不细。
发明内容
本发明针对现有数字图像自嵌入水印技术存在的对图像认证的粒度不够细的问题,提出一种基于块截断编码的图像自嵌入半脆弱水印方法及系统。
为了实现上述目的,本发明采用以下技术方案:
本发明一方面提出一种基于块截断编码的图像自嵌入半脆弱水印方法,包括:
水印的生成与嵌入:首先,将图像进行块级别的二级划分,分别生成粒度为4×4和2×2的图像块;然后,利用块截断编码对每个4×4图像块进行压缩编码,生成2×2图像块的恢复水印,并对恢复水印进行哈希生成2×2图像块的认证水印;最后,将恢复水印和认证水印级联构成自嵌入水印,嵌入到4×4图像块的4×4映射块中,得到含水印图像;
篡改认证与恢复:首先,对待认证图像进行4×4分块,并对每个4×4图像块进行2×2分块,将4×4图像块提取的水印与该图像块生成的水印比较,判别该图像块的2×2子块是否通过认证;最后,依据认证结果对2×2图像块实施恢复。
进一步地,所述水印的生成与嵌入包括:
步骤11:对于大小为M×N的原图像I,将其划分为n个不重叠的4×4的块,并按行优先顺序排列,则原图像I表示为:
I={Ii|i=1,2...,n} (1)
步骤14:利用密钥K1对编码信息Vi进行哈希计算,得到16bit的校验信息Ui:
Ui=Hash(K1,Vi) (8)
步骤15:将Vi和Ui级联构成块Ii的32bit的水印信息Wi:
Wi=(Vi,Ui) (9)
步骤16:利用密钥K2生成图像块Ii的映射块Iε(i),其中ε(i)需满足以下条件:
ε(i)=[(K2*i)modn]+1 (10)
其中i∈[0,n],ε(i)∈[0,n],K2∈[1,n-1],n为图像中4×4块的总个数;
步骤17:将Ii的32bit水印信息Wi替换到Iε(i)的像素的最低两比特,得到含水印图像Iw。
进一步地,所述步骤13包括:
Vi=F(bi,Hi,Li) (7)。
进一步地,所述篡改认证与恢复包括:
步骤21:对待认证图像I′进行4×4分块,对每个4×4图像块进行2×2分块:
I′={I′i|i=1,2...,n} (11)
步骤22:利用所述水印的生成方法生成块I′i的水印Vi′:
Vi′=F(b′i,H′i,L′i) (12)
步骤23:利用密钥K2找到I′i的映射块I′ε(i),提取块I′ε(i)中像素最低两位,记作w″i:
w″i=(V″i,U″i) (13)
其中(b″i,H″i,L″i)=F-1(V″i),b″i=(b″1 i,b″2 i,b″3 i,b″4 i);
步骤24:提取块I′i中像素最后两位,得到32bit信息,记作W′δ:
W′δ=(V′δ,U′δ) (14)
其中i=[(K2*δ)modn]+1;
步骤25:对图像块I′i而言,若U′δ=Hash(K1,V′δ),则表明嵌入在I′i块的水印未被篡改,视作块I′i通过认证;
步骤26:对图像块I′i而言,若U′δ≠Hash(K1,V′δ),但U″i=Hash(K1,V″i),则表明嵌入在I′i块的水印被篡改,视作I′i被篡改,而I′i块的水印w″i在映射块I′ε(i)中未被篡改,则
1)若b′j i=b″j i=1,且|H′i-H″i|<d,则图像子块I′i,j通过认证;
2)若b′j i=b″j i=0,且|L′i-L″i|<d,则图像子块I′i,j通过认证;
3)否则图像子块I′i,j不通过认证;
其中,d为图像操作的容忍阈值;
步骤27:若图像块I′i不通过认证,且U″i=Hash(K1,V″i),则表明I′i块生成的水印未被篡改,若图像子块I′i,j未通过认证,利用下式对图像子块I′i,j进行恢复:
步骤28:若图像块I′i不通过认证,且U″i≠Hash(K1,Vi″),则表明I′i块生成的水印被篡改,无法利用水印w″i对I′i,j进行恢复,则利用块I′i,j周围的8×8领域子块的均值来恢复I′i,j;
步骤29:最终得到恢复图像Ir。
本发明另一方面提出一种基于块截断编码的图像自嵌入半脆弱水印系统,包括:
水印生成与嵌入模块,用于水印的生成与嵌入:首先,将图像进行块级别的二级划分,分别生成粒度为4×4和2×2的图像块;然后,利用块截断编码对每个4×4图像块进行压缩编码,生成2×2图像块的恢复水印,并对恢复水印进行哈希生成2×2图像块的认证水印;最后,将恢复水印和认证水印级联构成自嵌入水印,嵌入到4×4图像块的4×4映射块中,得到含水印图像;
篡改认证与恢复模块,用于篡改认证与恢复:首先,对待认证图像进行4×4分块,并对每个4×4图像块进行2×2分块,将4×4图像块提取的水印与该图像块生成的水印比较,判别该图像块的2×2子块是否通过认证;最后,依据认证结果对2×2图像块实施恢复。
进一步地,所述水印生成与嵌入模块包括:
第一分块子模块,用于对于大小为M×N的原图像I,将其划分为n个不重叠的4×4的块,并按行优先顺序排列,则原图像I表示为:
I={Ii|i=1,2...,n} (1)
第二计算子模块,用于利用密钥K1对编码信息Vi进行哈希计算,得到16bit的校验信息Ui:
Ui=Hash(K1,Vi) (8)
第一水印生成子模块,用于将Vi和Ui级联构成块Ii的32bit的水印信息Wi:
Wi=(Vi,Ui) (9)
映射块生成子模块,用于利用密钥K2生成图像块Ii的映射块Iε(i),其中ε(i)需满足以下条件:
ε(i)=[(K2*i)modn]+1 (10)
其中i∈[0,n],ε(i)∈[0,n],K2∈[1,n-1],n为图像中4×4块的总个数;
水印嵌入子模块,用于将Ii的32bit水印信息Wi替换到Iε(i)的像素的最低两比特,得到含水印图像Iw。
进一步地,所述编码子模块包括:
Vi=F(bi,Hi,Li) (7)。
进一步地,所述篡改认证与恢复模块包括:
第二分块子模块,用于对待认证图像I′进行4×4分块,对每个4×4图像块进行2×2分块:
I′={I′i|i=1,2...,n} (11)
第二水印生成子模块,用于利用所述水印的生成方法生成块I′i的水印V′i:
V′i=F(b′i,H′i,L′i) (12)
第一提取子模块,用于利用密钥K2找到I′i的映射块I′ε(i),提取块I′ε(i)中像素最低两位,记作w″i:
w″i=(V″i,U″i) (13)
其中(b″i,H″i,L″i)=F-1(V″i),b″i=(b″1 i,b″2 i,b″3 i,b″4 i);
第二提取子模块,用于提取块I′i中像素最后两位,得到32bit信息,记作W′δ:
W′δ=(V′δ,U′δ) (14)
其中i=[(K2*δ)modn]+1;
第一认证子模块,用于对图像块I′i而言,若U′δ=Hash(K1,V′δ),则表明嵌入在I′i块的水印未被篡改,视作块I′i通过认证;
第二认证子模块,用于对图像块I′i而言,若U′δ≠Hash(K1,V′δ),但U″i=Hash(K1,V″i),则表明嵌入在I′i块的水印被篡改,视作I′i被篡改,而I′i块的水印w″i在映射块I′ε(i)中未被篡改,则
1)若b′j i=b″j i=1,且|H′i-H″i|<d,则图像子块I′i,j通过认证;
2)若b′j i=b″j i=0,且|L′i-L″i|<d,则图像子块I′i,j通过认证;
3)否则图像子块I′i,j不通过认证;
其中,d为图像操作的容忍阈值;
第一图像恢复子模块,用于若图像块I′i不通过认证,且U″i=Hash(K1,V″i),则表明I′i块生成的水印未被篡改,若图像子块I′i,j未通过认证,利用下式对图像子块I′i,j进行恢复:
第二图像恢复子模块,用于若图像块I′i不通过认证,且U″i≠Hash(K1,V″i),则表明I′i块生成的水印被篡改,无法利用水印w″i对I′i,j进行恢复,则利用块I′i,j周围的8×8领域子块的均值来恢复I′i,j;
恢复图像得出子模块,用于最终得到恢复图像Ir。
与现有技术相比,本发明具有的有益效果:
本发明利用块截断编码,有效缩短了生成的水印长度,保证嵌入水印后图像的质量,同时引入的阈值使得水印对一些正常的图像处理操作保持鲁棒性。本发明能够实现对图像局部区域篡改的认证与恢复,对均值、中值和高斯滤波等正常处理操作具有良好的鲁棒性,嵌入水印后的图像具有较高的视觉质量。
附图说明
图1为本发明实施例一种基于块截断编码的图像自嵌入半脆弱水印方法的流程图;
图2为本发明实施例的测试图像;
图3为使用本发明方法嵌入水印后的水印图像示例图;
图4为对图3中的前6幅水印图像(a)-(f)不同局部区域的篡改结果图像;
图5为对图3中的前6幅水印图像(a)-(f)含水印图像篡改的认证结果;
图6为对图3中的前6幅水印图像(a)-(f)含水印图像篡改的恢复结果;
图7为对图3中水印图像(g)进行剪切篡改,篡改率为50%时的认证与恢复结果;
图8为图3中水印图像(h)在滤波核为3×3、5×5、7×7的高斯滤波,σ为0.4-0.6处理后的认证结果;
图9为图3中水印图像(h)在滤波核为3×3、5×5、7×7的均值滤波处理后的认证结果;
图10为图3中水印图像(h)在滤波核为3×3、5×5、7×7的中值滤波处理后的认证结果;
图11为图3中水印图像(h)在均值、中值、高斯滤波处理后的认证情况;
图12为图3中水印图像(h)分别在恶意篡改和不同滤波处理后的认证结果;
图13为图3中水印图像(h)分别在滤波核为11×11的均值和中值滤波处理后的图像。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明:
如图1所示,本发明一方面提出一种基于块截断编码的图像自嵌入半脆弱水印方法,包括:
水印的生成与嵌入:首先,将图像进行块级别的二级划分,分别生成粒度为4×4和2×2的图像块;然后,利用块截断编码对每个4×4图像块进行压缩编码,生成2×2图像块的恢复水印,并对恢复水印进行哈希生成2×2图像块的认证水印;最后,将恢复水印和认证水印级联构成自嵌入水印,嵌入到4×4图像块的4×4映射块中,得到含水印图像;
篡改认证与恢复:首先,对待认证图像进行4×4分块,并对每个4×4图像块进行2×2分块,将4×4图像块提取的水印与该图像块生成的水印比较,判别该图像块的2×2子块是否通过认证;最后,依据认证结果对2×2图像块实施恢复。
进一步地,所述水印的生成与嵌入包括:
步骤11:对于大小为M×N的原图像I,将其划分为n个不重叠的4×4的块,并按行优先顺序排列,则原图像I表示为:
I={Ii|i=1,2...,n} (1)
步骤14:利用密钥K1对编码信息Vi进行哈希计算,得到16bit的校验信息Ui:
Ui=Hash(K1,Vi) (8)
步骤15:将Vi和Ui级联构成块Ii的32bit的水印信息Wi:
Wi=(Vi,Ui) (9)
步骤16:利用密钥K2生成图像块Ii的映射块Iε(i),其中ε(i)需满足以下条件:
ε(i)=[(K2*i)modn]+1 (10)
其中i∈[0,n],ε(i)∈[0,n],K2∈[1,n-1],n为图像中4×4块的总个数;
步骤17:将Ii的32bit水印信息Wi替换到Iε(i)的像素的最低两比特,得到含水印图像Iw。
进一步地,所述步骤13包括:
Vi=F(bi,Hi,Li) (7)。
进一步地,所述篡改认证与恢复包括:
步骤21:对待认证图像I′进行4×4分块,对每个4×4图像块进行2×2分块:
I′={I′i|i=1,2...,n} (11)
步骤22:利用所述水印的生成方法生成块I′i的水印V′i:
V′i=F(b′i,H′i,L′i) (12)
步骤23:利用密钥K2找到I′i的映射块I′ε(i),提取块I′ε(i)中像素最低两位,记作w″i:
w″i=(V″i,U″i) (13)
其中(b″i,H″i,L″i)=F-1(V″i),b″i=(b″1 i,b″2 i,b″3 i,b″4 i);
步骤24:提取块I′i中像素最后两位,得到32bit信息,记作W′δ:
W′δ=(V′δ,U′δ) (14)
其中i=[(K2*δ)modn]+1;
步骤25:对图像块I′i而言,若U′δ=Hash(K1,V′δ),则表明嵌入在I′i块的水印未被篡改,视作块I′i通过认证;
步骤26:对图像块I′i而言,若U′δ≠Hash(K1,V′δ),但U″i=Hash(K1,V″i),则表明嵌入在I′i块的水印被篡改,视作I′i被篡改,而I′i块的水印w″i在映射块I′ε(i)中未被篡改,则
1)若b′j i=b″j i=1,且|H′i-H″i|<d,则图像子块I′i,j通过认证;
2)若b′j i=b″j i=0,且|L′i-L″i|<d,则图像子块I′i,j通过认证;
3)否则图像子块I′i,j不通过认证;
其中,d为图像操作的容忍阈值;
步骤27:若图像块I′i不通过认证,且U″i=Hash(K1,V″i),则表明I′i块生成的水印未被篡改,若图像子块I′i,j未通过认证,利用下式对图像子块I′i,j进行恢复:
步骤28:若图像块I′i不通过认证,且U″i≠Hash(K1,V″i),则表明I′i块生成的水印被篡改,无法利用水印w″i对I′i,j进行恢复,则利用块I′i,j周围的8×8领域子块的均值来恢复I′i,j;
步骤29:最终得到恢复图像Ir。
为验证本发明效果,进行如下实验:
本发明实验总共分为实验性能的测试与其他方法比较的测试两部分,采用的测试图像如图2所示,均为512×512的灰度图像。认证过程中,未通过认证的图像块用黑色表示。实验中采用的正常图像操作,均值滤波、中值滤波、高斯滤波等。
(1)本发明方法的性能实验
a.嵌入水印后的图像质量
图3给出了使用本发明方法嵌入水印后的水印图像,表1给出了图3中各嵌入水印后图像与原始图像的峰值信噪比PSNR值,从表中可以看出,测试图像的峰值信噪比都达到了44dB以上,表明含水印图像具有较高的视觉质量。
表1嵌入水印后图像的PSNR(dB)
b.对图像篡改的认证与恢复实验
利用本发明方法对图3中的前6幅(a)-(f)含水印图像篡改的认证与恢复结果,如图4-图6所示。
图4显示了对图3中的前6幅(a)-(f)不同局部区域的篡改结果。其中对图3的(a)中人物的眼睛、图3的(b)中的地图中的飞机、图3的(c)中的场景、图3的(d)中的路标、图3的(e)中的肿瘤病灶、图3的(f)中的飞机标志进行篡改,篡改率分别为1.13%、0.05%、4.2%、1%、0.01%、0.8%。其篡改区域认证结果如图5所示,恢复结果如图6所示,图3的(a)-(f)的恢复后的PSNR分别为42.8dB、43.3dB、41.8dB、42.1dB、44.0dB、40.7dB。
c.对图像大区域篡改的认证与恢复结果
图7给出了对水印图像(g)进行剪切篡改,篡改率为50%时的认证与恢复结果,恢复图像的PSNR为30.1dB。
表2给出了6幅(a)-(f)测试图像分别在篡改率5%、10%、20%、30%、40%、50%下的恢复图像的PSNR。随着篡改率的增大,恢复后图像的质量下降。即使在篡改率达到50%时,图像的恢复质量仍超过28.6dB,表明本发明方法能够对大面积篡改实现有效恢复。
表2不同篡改率下的恢复PSNR(dB)
(2)算法对局部区域平滑滤波的抵抗能力
以图3中(h)为例,在算法d取4的情况下,对其局部区域(滤波区域为80×80,共1600个2×2的块)分别进行高斯、均值和中值滤波操作,测试水印抵抗局部滤波操作的能力,其结果如图8-10所示。
图11显示了图3中(h)在均值、中值、高斯滤波操作下的认证图像中未通过认证块的数量,可以看出只有少量2×2图像块未通过认证,高斯滤波操作下未通过认证块的数量最少。且未通过认证块的数量随着均值滤波核和中值滤波核的增大而增加,随着高斯滤波的σ的增大而增加。图11验证了本发明方法对均值滤波、中值滤波和高斯滤波具有鲁棒性,且对高斯滤波的鲁棒性最强。
(3)算法中阈值d的取值对滤波操作鲁棒性的影响
实验中取不同大小的d来对图3中(h)进行了不同的滤波操作和恶意篡改操作后的图像进行认证,结果如图12所示。图12给出了本发明方法中d取1-10时,图3中(h)在恶意篡改(拼接篡改、剪切篡改)和平滑滤波(滤波核为3×3、5×5、7×7、11×11的均值滤波、滤波核为3×3、5×5、7×7、11×11的中值滤波、滤波核为3×3、5×5、7×7、11×11且σ为0.4-0.7的高斯滤波)操作后的认证图像中未通过认证块的数量。图3中(h)经过平滑滤波和恶意篡改后的图像未通过认证块的数量随着的d的取值增大而减小,但是恶意篡改与平滑滤波有显著的区别,其减小的幅度非常有限,即使d=10时,其未通过认证块的数量也在95%以上。这表明水印对滤波操作鲁棒,对恶意篡改敏感。
表3图3中(h)在不同滤波处理后改变区域的PSNR(dB)
表3给出了图3中(h)分别在不同滤波操作下图像滤波区域图像块的PSNR。其中均值滤波和中值滤波在滤波核为11×11时,滤波区域的PSNR分别为25.00dB和26.33dB,近似于恶意篡改,滤波后的图像如图13所示。从图12可以看出d在选取合适值时,图3中(h)在滤波核为11×11的均值和中值滤波操作后的认证图像中大量的2×2图像块仍能通过认证。
(4)实验对比
本实验给出了本发明的方法与算法(Qian等,2011[Qian Z,Feng G,Zhang X andWang S.2011.Image self-embedding with high-quality restorationcapability.Signal Process,21(2):278-286[DOI:10.1016/j.dsp.2010.04.006];Zhang等,2011a[Zhang X,Qian Z,Ren Y and Feng G.2011.Watermarking with flexibleself-recovery quality based on compressive sensing and compositivereconstruction.IEEE Transactions on Information Forensics and Security,6(4):1223-232[DOI:10.1109/TIFS.2011.2159208]];Zhang等,2009[Zhang X and WangS.2009.Fragile watermarking scheme using a hierarchical mechanism.SignalProcess,89(4):675-679[DOI:10.1016/j.sigpro.2008.10.001]];Zhang等,2011b[ZhangX,Wang S,Qian Z and Feng G.2011.Self-embedding watermark with flexiblerestoration quality.Multimedia Tools Appl,54(2):385-395[DOI:10.1007/s11042-010-0541-z]];Singh等,2019[Singh,Durgesh,SinghSanjay K.2019.Block TruncationCoding based effective watermarking scheme for image authentication withrecovery capability.Multimedia Tools andApplications,78(4):4197-4215[DOI:10.1007/s11042-017-5454-7]];Chang等,2020[Chin Chen Chang,Chia Chen Lin andGuoDong Su.2020.An effective image self-recovery basedfragile watermarkingusing self-adaptive weight-basedcompressed AMBTC.Multimedia Tools andApplications,79(2):24795-24824[DOI:10.1007/s11042-020-09132-w]];Ertugrul等,2020[Ertugrul Gul andSerkan Ozturk.2020.A novel triple recovery informationembedding approach for self-embedded digital image watermarking.MultimediaTools and Applications,79(12):31239-31264[DOI:10.1007/s11042-020-09548-4]];Kim等,2021[Cheonshik Kim and Ching Nung Yang.2021.Self-Embedding FragileWatermarking Scheme toDetect ImageTampering Using AMBTC and OPAPApproaches.Applied Sciences,11(3):1146[DOI:10.3390/app11031146]])的性能比较,结果如表4所示。
表4比较该方案与几种水印方案的恢复能力
算法(Qian等,2011)对于篡改率小于35%的图像恢复质量最高可为35.0dB;算法(Zhang等,2011a)对于篡改率小于6.6%的图像恢复质量最高可为37.9dB;算法(Kim等,2021)对于篡改率在5%和45%时的图像恢复质量分别为40.0dB和36.6dB,这三种算法在篡改率为50%时无法恢复图像。而本发明方法可在篡改率5%和50%的进行图像恢复,图像恢复质量分别为[32.7dB,41.8dB],算法(Singh等,2019;Chang等,2020)的恢复条件与本发明方法一样,在篡改率为5%和50%时图像恢复质量分别为[28.7dB,39.1dB]和[29.3dB,41.3dB],相比较而言本发明方法的恢复效果较好。而算法(Zhang等,2009;Zhang等,2011b;Ertugrul等,2020)的恢复条件比本算法更好,最高可接受篡改率分别为60%、54%和75%,但是本发明方法的在水印图像的质量方面更具优势,水印图像的质量为44.23dB,算法(Zhang等,2009;Zhang等,2011b:Ertugrul等,2020)的水印图像质量分别为37.9dB、37.9dB和44.14dB。
综上可以看出本发明的方法与算法(Qian等,2011;Zhang等,2011a;Zhang等,2009;Zhang等,2011b;Singh等,2019;Chang等,2020;Ertugrul等,2020;Kim等,2021)相比在水印图像视觉质量、篡改认证恢复等方面各具优势,相关性能方面甚至高于这些算法。
综上,本发明提出了一种基于块截断编码的自嵌入半脆弱水印方法,该方法利用块截断编码对图像内容进行压缩,有效降低了水印的长度,提升了图像的视觉质量;基于对块截断编码量化值阈值的设置,保持了对图像平滑处理操作的鲁棒性和恶意篡改的敏感性。
本发明另一方面提出一种基于块截断编码的图像自嵌入半脆弱水印系统,包括:
水印生成与嵌入模块,用于水印的生成与嵌入:首先,将图像进行块级别的二级划分,分别生成粒度为4×4和2×2的图像块;然后,利用块截断编码对每个4×4图像块进行压缩编码,生成2×2图像块的恢复水印,并对恢复水印进行哈希生成2×2图像块的认证水印;最后,将恢复水印和认证水印级联构成自嵌入水印,嵌入到4×4图像块的4×4映射块中,得到含水印图像;
篡改认证与恢复模块,用于篡改认证与恢复:首先,对待认证图像进行4×4分块,并对每个4×4图像块进行2×2分块,将4×4图像块提取的水印与该图像块生成的水印比较,判别该图像块的2×2子块是否通过认证;最后,依据认证结果对2×2图像块实施恢复。
进一步地,所述水印生成与嵌入模块包括:
第一分块子模块,用于对于大小为M×N的原图像I,将其划分为n个不重叠的4×4的块,并按行优先顺序排列,则原图像I表示为:
I={Ii|i=1,2...,n} (1)
第二计算子模块,用于利用密钥K1对编码信息Vi进行哈希计算,得到16bit的校验信息Ui:
Ui=Hash(K1,Vi) (8)
第一水印生成子模块,用于将Vi和Ui级联构成块Ii的32bit的水印信息Wi:
Wi=(Vi,Ui) (9)
映射块生成子模块,用于利用密钥K2生成图像块Ii的映射块Iε(i),其中ε(i)需满足以下条件:
ε(i)=[(K2*i)modn]+1 (10)
其中i∈[0,n],ε(i)∈[0,n],K2∈[1,n-1],n为图像中4×4块的总个数;
水印嵌入子模块,用于将Ii的32bit水印信息Wi替换到Iε(i)的像素的最低两比特,得到含水印图像Iw。
进一步地,所述编码子模块包括:
Vi=F(bi,Hi,Li) (7)。
进一步地,所述篡改认证与恢复模块包括:
第二分块子模块,用于对待认证图像I′进行4×4分块,对每个4×4图像块进行2×2分块:
I′={I′i|i=1,2...,n} (11)
第二水印生成子模块,用于利用所述水印的生成方法生成块I′i的水印V′i:
V′i=F(b′i,H′i,L′i) (12)
第一提取子模块,用于利用密钥K2找到I′i的映射块I′ε(i),提取块I′ε(i)中像素最低两位,记作w″i:
w″i=(V″i,U″i) (13)
其中(b″i,H″i,L″i)=F-1(V″i),b″i=(b″1 i,b″2 i,b″3 i,b″4 i);
第二提取子模块,用于提取块I′i中像素最后两位,得到32bit信息,记作W′δ:
W′δ=(V′δ,U′δ) (14)
其中i=[(K2*δ)modn]+1;
第一认证子模块,用于对图像块I′i而言,若U′δ=Hash(K1,V′δ),则表明嵌入在I′i块的水印未被篡改,视作块I′i通过认证;
第二认证子模块,用于对图像块I′i而言,若U′δ≠Hash(K1,V′δ),但U″i=Hash(K1,V″i),则表明嵌入在I′i块的水印被篡改,视作I′i被篡改,而I′i块的水印w″i在映射块I′ε(i)中未被篡改,则
1)若b′j i=b″j i=1,且|H′i-H″i|<d,则图像子块I′i,j通过认证;
2)若b′j i=b″j i=0,且|L′i-L″i|<d,则图像子块I′i,j通过认证;
3)否则图像子块I′i,j不通过认证;
其中,d为图像操作的容忍阈值;
第一图像恢复子模块,用于若图像块I′i不通过认证,且U″i=Hash(K1,V″i),则表明I′i块生成的水印未被篡改,若图像子块I′i,j未通过认证,利用下式对图像子块I′i,j进行恢复:
第二图像恢复子模块,用于若图像块I′i不通过认证,且U″i≠Hash(K1,V″i),则表明I′i块生成的水印被篡改,无法利用水印w″i对I′i,j进行恢复,则利用块I′i,j周围的8×8领域子块的均值来恢复I′i,j;
恢复图像得出子模块,用于最终得到恢复图像Ir。
与现有技术相比,本发明具有的有益效果:
综上,本发明利用块截断编码,有效缩短了生成的水印长度,保证嵌入水印后图像的质量,同时引入的阈值使得水印对一些正常的图像处理操作保持鲁棒性。本发明能够实现对图像局部区域篡改的认证与恢复,对均值、中值和高斯滤波等正常处理操作具有良好的鲁棒性,嵌入水印后的图像具有较高的视觉质量。
以上所示仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于块截断编码的图像自嵌入半脆弱水印方法,其特征在于,包括:
水印的生成与嵌入:首先,将图像进行块级别的二级划分,分别生成粒度为4×4和2×2的图像块;然后,利用块截断编码对每个4×4图像块进行压缩编码,生成2×2图像块的恢复水印,并对恢复水印进行哈希生成2×2图像块的认证水印;最后,将恢复水印和认证水印级联构成自嵌入水印,嵌入到4×4图像块的4×4映射块中,得到含水印图像;
篡改认证与恢复:首先,对待认证图像进行4×4分块,并对每个4×4图像块进行2×2分块,将4×4图像块提取的水印与该图像块生成的水印比较,判别该图像块的2×2子块是否通过认证;最后,依据认证结果对2×2图像块实施恢复;
所述水印的生成与嵌入包括:
步骤11:对于大小为M×N的原图像I,将其划分为n个不重叠的4×4的块,并按行优先顺序排列,则原图像I表示为:
I={Ii|i=1,2...,n} (1)
步骤14:利用密钥K1对编码信息Vi进行哈希计算,得到16bit的校验信息Ui:
Ui=Hash(K1,Vi) (8)
步骤15:将Vi和Ui级联构成块Ii的32bit的水印信息Wi:
Wi=(Vi,Ui) (9)
步骤16:利用密钥K2生成图像块Ii的映射块Iε(i),其中ε(i)需满足以下条件:
ε(i)=[(K2*i)modn]+1 (10)
其中i∈[0,n],ε(i)∈[0,n],K2∈[1,n-1],n为图像中4×4块的总个数;
步骤17:将Ii的32bit水印信息Wi替换到Iε(i)的像素的最低两比特,得到含水印图像Iw。
3.根据权利要求1所述的一种基于块截断编码的图像自嵌入半脆弱水印方法,其特征在于,所述篡改认证与恢复包括:
步骤21:对待认证图像I′进行4×4分块,对每个4×4图像块进行2×2分块:
I′={I′i|i=1,2...,n} (11)
步骤22:利用水印的生成方法生成块I′i的水印V′i:
V′i=F(b′i,H′i,L′i) (12)
步骤23:利用密钥K2找到I′i的映射块I′ε(i),提取块I′ε(i)中像素最低两位,记作w″i:
w″i=(V″i,U″i) (13)
其中(b″i,H″i,L″i)=F-1(Vi″),b″i=(b″1 i,b″2,b″3,b″4);
步骤24:提取块I′i中像素最后两位,得到32bit信息,记作W′δ:
Wδ=(V′δ,U′δ) (14)
其中i=[(K2*δ)modn]+1;
步骤25:对图像块I′i而言,若U′δ=Hash(K1,V′δ),则表明嵌入在I′i块的水印未被篡改,视作块I′i通过认证;
步骤26:对图像块I′i而言,若U′δ≠Hash(K1,V′δ),但U″i=Hash(K1,Vi″),则表明嵌入在I′i块的水印被篡改,视作I′i被篡改,而I′i块的水印w″i在映射块I′ε(i)中未被篡改,则
1)若b′j i=b″j i=1,且|H′i-H″i|<d,则图像子块I′i,j通过认证;
2)若b′j i=b″j i=0,且|L′i-L″i|<d,则图像子块I′i,j通过认证;
3)否则图像子块I′i,j不通过认证;
其中,d为图像操作的容忍阈值;
步骤27:若图像块I′i不通过认证,且U″i=Hash(K1,Vi″),则表明I′i块生成的水印未被篡改,若图像子块I′i,j未通过认证,利用下式对图像子块I′i,j进行恢复:
步骤28:若图像块I′i不通过认证,且U″i≠Hash(K1,Vi″),则表明I′i块生成的水印被篡改,无法利用水印w″i对I′i,j进行恢复,则利用块I′i,j周围的8×8领域子块的均值来恢复I′i,j;
步骤29:最终得到恢复图像Ir。
4.一种基于块截断编码的图像自嵌入半脆弱水印系统,其特征在于,包括:
水印生成与嵌入模块,用于水印的生成与嵌入:首先,将图像进行块级别的二级划分,分别生成粒度为4×4和2×2的图像块;然后,利用块截断编码对每个4×4图像块进行压缩编码,生成2×2图像块的恢复水印,并对恢复水印进行哈希生成2×2图像块的认证水印;最后,将恢复水印和认证水印级联构成自嵌入水印,嵌入到4×4图像块的4×4映射块中,得到含水印图像;
篡改认证与恢复模块,用于篡改认证与恢复:首先,对待认证图像进行4×4分块,并对每个4×4图像块进行2×2分块,将4×4图像块提取的水印与该图像块生成的水印比较,判别该图像块的2×2子块是否通过认证;最后,依据认证结果对2×2图像块实施恢复;
所述水印生成与嵌入模块包括:
第一分块子模块,用于对于大小为M×N的原图像I,将其划分为n个不重叠的4×4的块,并按行优先顺序排列,则原图像I表示为:
I={Ii|i=1,2...,n} (1)
第二计算子模块,用于利用密钥K1对编码信息Vi进行哈希计算,得到16bit的校验信息Ui:
Ui=Hash(K1,Vi) (8)
第一水印生成子模块,用于将Vi和Ui级联构成块Ii的32bit的水印信息Wi:
Wi=(Vi,Ui) (9)
映射块生成子模块,用于利用密钥K2生成图像块Ii的映射块Iε(i),其中ε(i)需满足以下条件:
ε(i)=[(K2*i)modn]+1 (10)
其中i∈[0,n],ε(i)∈[0,n],K2∈[1,n-1],n为图像中4×4块的总个数;
水印嵌入子模块,用于将Ii的32bit水印信息Wi替换到Iε(i)的像素的最低两比特,得到含水印图像Iw。
6.根据权利要求4所述的一种基于块截断编码的图像自嵌入半脆弱水印系统,其特征在于,所述篡改认证与恢复模块包括:
第二分块子模块,用于对待认证图像I′进行4×4分块,对每个4×4图像块进行2×2分块:
I′={I′i|i=1,2...,n} (11)
第二水印生成子模块,用于利用水印的生成方法生成块I′i的水印Vi′:
V′i=F(b′i,H′i,L′i) (12)
第一提取子模块,用于利用密钥K2找到I′i的映射块I′ε(i),提取块I′ε(i)中像素最低两位,记作w″i:
w″i=(V″i,U″i) (13)
第二提取子模块,用于提取块I′i中像素最后两位,得到32bit信息,记作W′δ:
W′δ=(V′δ,U′δ) (14)
其中i=[(K2*δ)modn]+1;
第一认证子模块,用于对图像块I′i而言,若U′δ=Hash(K1,V′δ),则表明嵌入在I′i块的水印未被篡改,视作块I′i通过认证;
第二认证子模块,用于对图像块I′i而言,若U′δ≠Hash(K1,V′δ),但U″i=Hash(K1,Vi″),则表明嵌入在I′i块的水印被篡改,视作I′i被篡改,而I′i块的水印w″i在映射块I′ε(i)中未被篡改,则
1)若b′j i=b″j i=1,且|H′i-H″i|<d,则图像子块I′i,j通过认证;
2)若b′j i=b″j i=0,且|L′i-L″i|<d,则图像子块I′i,j通过认证;
3)否则图像子块I′i,j不通过认证;
其中,d为图像操作的容忍阈值;
第一图像恢复子模块,用于若图像块I′i不通过认证,且U″i=Hash(K1,Vi″),则表明I′i块生成的水印未被篡改,若图像子块I′i,j未通过认证,利用下式对图像子块I′i,j进行恢复:
第二图像恢复子模块,用于若图像块I′i不通过认证,且U″i≠Hash(K1,Vi″),则表明I′i块生成的水印被篡改,无法利用水印w″i对I′i,j进行恢复,则利用块I′i,j周围的8×8领域子块的均值来恢复I′i,j;
恢复图像得出子模块,用于最终得到恢复图像Ir。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110902850.0A CN113807996B (zh) | 2021-08-06 | 2021-08-06 | 一种基于块截断编码的图像自嵌入半脆弱水印方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110902850.0A CN113807996B (zh) | 2021-08-06 | 2021-08-06 | 一种基于块截断编码的图像自嵌入半脆弱水印方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807996A CN113807996A (zh) | 2021-12-17 |
CN113807996B true CN113807996B (zh) | 2023-07-07 |
Family
ID=78942812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110902850.0A Active CN113807996B (zh) | 2021-08-06 | 2021-08-06 | 一种基于块截断编码的图像自嵌入半脆弱水印方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113807996B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511437B (zh) * | 2022-04-19 | 2022-07-12 | 山东科技大学 | 基于参考矩阵和lsb替换的水印嵌入和图像自恢复方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426141A (zh) * | 2013-08-09 | 2013-12-04 | 深圳大学 | 一种图像内容认证方法与系统 |
CN107742272A (zh) * | 2017-10-17 | 2018-02-27 | 大连理工大学 | 一种基于图像篡改定位及恢复的半脆弱性水印方法 |
CN111583086A (zh) * | 2020-04-27 | 2020-08-25 | 绍兴聚量数据技术有限公司 | 基于ambtc的自适应数字图像水印及修复方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201110701A (en) * | 2009-09-07 | 2011-03-16 | Univ Nat Taiwan Science Tech | Image processing method combining compression and watermark techniques |
-
2021
- 2021-08-06 CN CN202110902850.0A patent/CN113807996B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426141A (zh) * | 2013-08-09 | 2013-12-04 | 深圳大学 | 一种图像内容认证方法与系统 |
CN107742272A (zh) * | 2017-10-17 | 2018-02-27 | 大连理工大学 | 一种基于图像篡改定位及恢复的半脆弱性水印方法 |
CN111583086A (zh) * | 2020-04-27 | 2020-08-25 | 绍兴聚量数据技术有限公司 | 基于ambtc的自适应数字图像水印及修复方法 |
Non-Patent Citations (2)
Title |
---|
Block Truncation Coding based effective watermarking scheme for image authentication with recovery capability;Durgesh Singh 等;Multimedia Tools and Applications;第78卷(第4期);第4197-4215页 * |
块截断编码的图像自嵌入半脆弱水印算法;王艺龙 等;中国图象图形学报;第27卷(第1期);第203-214页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113807996A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bao et al. | Image adaptive watermarking using wavelet domain singular value decomposition | |
Rosales-Roldan et al. | Watermarking-based image authentication with recovery capability using halftoning technique | |
Chamlawi et al. | Digital image authentication and recovery: employing integer transform based information embedding and extraction | |
Alavianmehr et al. | A lossless data hiding scheme on video raw data robust against H. 264/AVC compression | |
CN101105857A (zh) | 一种基于预测和压扩技术的高容量可逆水印方法 | |
CN110910299B (zh) | 一种基于整数小波变换的自适应可逆信息隐藏方法 | |
EP1695539B1 (en) | Method for robust lossless data hiding and recovering from the integer wavelet representation | |
CN113807996B (zh) | 一种基于块截断编码的图像自嵌入半脆弱水印方法及系统 | |
CN112714231A (zh) | 一种基于dct符号替换的鲁棒隐写方法 | |
KR101310140B1 (ko) | 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법 | |
Chang et al. | A difference expansion based reversible information hiding scheme with high stego image visual quality | |
Singh et al. | A recent survey on data hiding techniques | |
Yang et al. | A semi-fragile reversible data hiding by coefficient-bias algorithm | |
CN111163241A (zh) | 一种可逆信息嵌入方法 | |
Ali et al. | A semi-fragile watermarking based image authentication | |
Zhao et al. | A novel semi-fragile image watermarking, authentication and self-restoration technique using the slant transform | |
CN111583086B (zh) | 基于ambtc的自适应数字图像水印及修复方法 | |
Mirza et al. | Color image watermarking and self-recovery based on independent component analysis | |
Alavianmehr et al. | A semi-fragile lossless data hiding scheme based on multi-level histogram shift in image integer wavelet transform domain | |
Rosales-Roldan et al. | Semi-fragile watermarking-based color image authentication with recovery capability | |
Pillai et al. | Semi fragile watermarking for content based image authentication and recovery in the DWT-DCT domains. | |
CN111510672A (zh) | 一种视频篡改恢复处理方法、系统、存储介质、编码器 | |
JP3722470B2 (ja) | 電子透かしの埋め込み方法およびその装置、並びに、オリジナルデータの検証方法およびその装置 | |
Rhayma et al. | Self-authentication scheme based on semi-fragile watermarking and perceptual hash function | |
Phadikar et al. | QIM data hiding for tamper detection and correction in digital images using wavelet transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |