CN101026723A - 数字水印检测方法及其装置 - Google Patents
数字水印检测方法及其装置 Download PDFInfo
- Publication number
- CN101026723A CN101026723A CNA2007100057527A CN200710005752A CN101026723A CN 101026723 A CN101026723 A CN 101026723A CN A2007100057527 A CNA2007100057527 A CN A2007100057527A CN 200710005752 A CN200710005752 A CN 200710005752A CN 101026723 A CN101026723 A CN 101026723A
- Authority
- CN
- China
- Prior art keywords
- signal
- amplitude
- conversion
- picture
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
- G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0052—Embedding of the watermark in the frequency domain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
一种数字水印检测装置,包括:提取单元,用于从输入图像信号提取特定频率分量信号;第一变换单元,用于对图像信号进行正交变换;第二变换单元,用于对特定频率分量信号进行正交变换;合成单元,用于合成来自第一和第二变换单元的第一和第二变换后的图像信号;第三变换单元,用于对合成的图像信号进行正交变换;估计单元,用于通过搜索出现在第三变换单元的第三变换后的图像信号中的峰值估计嵌入的水印信息;以及压缩器,基于根据目标信号的振幅和频率变化的压缩特征在振幅上压缩目标信号,以便获得压缩信号,所述目标信号由第一变换后的图像信号、第二变换后的图像信号、以及合成图像信号中的至少一个构成。
Description
技术领域
本发明涉及一种数字水印检测方法和装置,用于防止非法复制通过例如记录介质提供的数字视频信号。
背景技术
由于诸如数字录像机(VTR)、数字通用盘(DVD)等之类的用于记录和重放数字图像数据的装置的普及,提供了能够由这些装置重放的各种数字运动图像。此外,各种数字运动图像经由因特网、广播卫星、通信卫星等通过数字电视广播分送,使得用户能够欣赏高质量的数字运动图像。
能够在数字信号水平上非常容易地从数字运动图像形成高质量的复制。因此,除非对数字运动图像施加一些复制保护或复制控制,它们有可能处于不受限制的复制形成的危险中。由此,为了防止数字运动图像的违法复制或者限制授权用户形成的复制代次,已经开发了通过将用于复制控制的信息附加到每一个数字运动图像上、并使用该附加的信息防止违法复制或限制复制来限制复制的方法。
添加数字水印是一种公知的用于将附加信息叠加到数字运动图像上的此类技术。在数字水印添加中,诸如内容的版权拥有者或用户的识别信息、版权拥有者的权利信息、内容的使用条件、使用内容所需的秘密信息、前面所述的复制控制信息等之类的信息(此信息在下文中将称作水印信息)嵌入包括已经转换成数字数据的音频数据、音乐数据、运动图像数据、静止图像数据的内容中,以便不容易被察觉到。以后需要时通过从内容检测所嵌入的水印信息,能够实现包括使用控制和复制控制的版权保护,并且可以进一步使用所述内容。
针对数字水印添加方案已经提出了各种方法。作为其中一种,应用频谱扩展技术的方法是公知的。在该方法中,水印信息按照下述序列嵌入到数字运动图像中。
在步骤E1,图像信号通过与PN(伪随机噪声)序列相乘经历频谱扩展。
在步骤E2,频谱扩展后的图像信号经历频率变换(例如DCT)。
在步骤E3,通过改变特定频率分量的值将水印信息嵌入图像信号中。
在步骤E4,图像信号经历逆频率变换(例如IDCT)。
在步骤E5,图像信号经历逆频谱扩展(将图像信号与步骤E1中的相同的PN序列相乘)。
按照下面的序列从数字运动图像中检测水印信息,其中已经按照上面所述的序列嵌入水印信息。
在步骤D1,图像信号通过与PN(伪随机噪声)序列(与步骤E1中的相同的PN序列)相乘经历频谱扩展。
在步骤D2,频谱扩展后的图像信号经历频率变换(例如DCT)。
在步骤D3,在注意特定频率分量的值的同时从图像信号中提取所嵌入的水印信息。
另外,在JP-A 2002-325233(公报)中,特别是在权利要求2和图7中,公开了一种在根据水印信息控制特定频率分量的相位和振幅之后将嵌入目标图像的特定频率分量嵌入到嵌入目标图像中的技术,并且还公开了检测如此嵌入的水印信息的技术。具体地说,当检测水印信息时,利用输入图像(嵌入水印的图像)和从输入图像中提取的特定频率分量之间的相关(互相关或仅相位相关),以便从相关值的峰值估计所嵌入的水印信息。
当为了防止违法使用的目的而将数字水印添加应用到数字产品时,必须为数字水印添加提供能够防止由于通常对数字产品进行的蓄意攻击所导致的水印信息丢失或篡改的特征(鲁棒性)。作为破坏对嵌有水印信息的数字图像进行水印信息检测的攻击示例,裁剪和缩放(放大/缩小)图像是公知的。
当输入经受此攻击的数字图像时,在检测水印信息时,应用频谱扩展的传统技术通过执行估计在嵌入时的步骤E1中使用的PN序列的处理来恢复PN序列的同步。之后,执行步骤D1至D3中的处理,以便提取所嵌入的水印信息。
但是,为了恢复PN序列的同步,必须进行搜索,其中尝试对多个PN序列候选的同步恢复处理,并且采纳实现正确同步恢复的候选。为此目的,增加了计算量和电路规模。此外,由于经受了攻击的数字图像的水印信息被弱化,因此即使识别出了攻击的内容(裁剪、缩放等)并进行相应的检测,也很难正确地检测水印信息。
当通过使用输入图像和所提取的特定频率分量之间的互相关进行数字水印添加的检测时,有可能获得相对较强的鲁棒性,同时抑制抵抗来自诸如图像裁剪和缩放的计算量和电路规模增加。但是,通过互相关产生的相关值的峰值不是很陡。
此外,在JP-A 2005-252491(公报)中,根据权利要求1和附图1具体描述的使用仅相位相关的数字水印添加检测技术,在相关值中出现陡峰,这是因为通过将输入图像和提取的特定频率分量的每一个信号的振幅固定来进行相关。如果相关值的峰值很陡,将非常容易估计水印信息。但是,如果固定振幅,则攻击前的信号和攻击后的信号之间的振幅误差将增加。非常希望使该振幅误差保持最小,以便增加抵抗攻击的鲁棒性。
发明内容
根据本发明的一个方面,提供一种数字水印检测装置,包括:提取单元,用于从输入图像信号提取特定频率分量信号;第一变换单元,用于对图像信号进行正交变换;第二变换单元,用于对特定频率分量信号进行正交变换;合成单元,用于合成来自第一和第二变换单元的第一和第二变换后的图像信号;第三变换单元,用于对合成的图像信号进行正交变换;估计单元,用于通过搜索出现在第三变换单元的第三变换后的图像信号中的峰值估计嵌入的水印信息;以及压缩器,基于根据目标信号的振幅和频率变化的压缩特征在振幅上压缩目标信号,以便获得压缩信号,所述目标信号由第一变换后的图像信号、第二变换后的图像信号、以及合成图像信号中的至少一个构成。
附图说明
图1示出根据第一实施例的数字水印嵌入装置的方框图。
图2示出在第一实施例的相位和振幅控制器中执行的相位偏移。
图3示出根据第一实施例的数字水印检测装置的方框图。
图4示出第一实施例的数字水印检测序列的流程图。
图5示出第一实施例的相关值峰值搜索和水印信息检测示例。
图6示出仅相位相关。
图7示出振幅压缩器的第一具体示例的方框图。
图8A和8B示出图7的振幅压缩器的压缩特征示例。
图9示出通过简化相应于图8A和8B的压缩特征的图7所示的振幅压缩器获得的振幅压缩器的方框图。
图10示出振幅压缩器的第二具体示例的方框图。
图11A和11B示出图10的振幅压缩器的压缩特征示例。
图12示出通过简化相应于图11A和11B的压缩特征的图10所示的振幅压缩器获得的振幅压缩器的方框图。
图13A和13B示出图10的振幅压缩器的其它压缩特征示例。
图14示出通过简化相应于图13A和13B的压缩特征的图10所示的振幅压缩器获得的振幅压缩器的方框图。
图15A、15B和15C示出图10的振幅压缩器的其它压缩特征示例。
图16A、16B和16C示出图10的振幅压缩器的另外其它的压缩特征示例。
图17示出振幅压缩器的第三具体示例的方框图。
图18示出振幅压缩器的第四具体示例的方框图。
图19示出根据第二实施例的数字水印嵌入装置的方框图。
图20示出根据第二实施例的数字水印检测装置的方框图。
图21示出第二实施例的数字水印检测序列的流程图。
具体实施方式
【第一实施例】
(数字水印嵌入装置)
现在将结合图1描述根据第一实施例的数字水印嵌入装置。为图1的数字水印嵌入装置供应待嵌入水印信息的图像(下文中称作嵌入目标图像)的信号101,例如运动图像或静止图像的数字化图像信号。嵌入目标图像信号101可以包括辉度信号和色差信号两者,或者仅包括辉度信号。嵌入目标图像信号101输入到特定频率分量提取单元11、特征量提取单元12和水印信息合成器14。
特定频率分量提取单元11包括频域数字滤波器,例如具有预定截止频率的低通滤波器或高通滤波器、或者具有预定通带中心频率的带通滤波器,并且从嵌入目标图像信号101中提取诸如相对高频分量的特定频率分量。下文中将特定频率分量提取单元11的输出信号称作特定频率分量信号。
从特定频率分量提取单元11输出的特定频率分量信号输入到相位/振幅控制器13,在此对相位或振幅或者两者进行控制。数字信息,即,待嵌入到嵌入目标图像信号101的水印信息102提供给相位/振幅控制器13。相位/振幅控制器13配置成对特定频率分量信号以预定特定控制量执行相位控制或振幅控制。
由相位/振幅控制器13执行的相位控制可以通过例如单个或多个数字相位移相器实现。相位控制量根据相位移相器的相移量来给定。图2示出根据相位/振幅控制器13的相移的样子。在该示例中,特定频率分量信号简单地经历移相而保持波形图案。由相位/振幅控制器13执行的振幅控制可以通过例如单个或多个“异(exclusive)”电路或数字乘法器来实现。振幅控制量根据与特定频率分量信号相乘的系数来给定。根据水印信息102对相位/振幅控制器13的相位控制量(相移量)和振幅控制量(系数)进行控制。
另外,特征量提取单元12提取嵌入目标图像信号101的特征量,例如表示图像复杂度的活度(activity)。关于特征量的信息输入到相位/振幅控制器13,在此根据输入的特征量对相位控制量(相移量)和/或振幅控制量(系数)进行控制。此外,特征量提取单元12不是必需的,因此可以省略。
经历了相位/振幅控制器13的相位控制和振幅控制的特定频率分量信号供应给包括数字加法器的水印信息合成器14,并且与嵌入目标图像信号101合成。换句话说,由特定频率分量提取单元11提取的特定频率分量信号经历由相位/振幅控制器13进行的数字水印嵌入装置所固有的相位控制和振幅控制,而相位控制量或振幅控制量或者两者由水印信息102控制。结果,在水印信息合成器14中生成其中嵌入目标图像信号101嵌有水印信息102的嵌有水印的图像信号103。多个通道的特定频率分量信号可以由特定频率分量提取单元11提取,并经历由相位/振幅控制器13进行的相位控制和振幅控制。在这种情况下,由水印信息合成器14对该多个通道的特定频率分量信号与嵌入目标图像信号101进行合成。
如此获得的嵌有水印的图像信号103由例如诸如DVD系统的数字图像记录/再现装置记录在记录介质上、或者经由诸如因特网、广播卫星或通信卫星的传输介质发送。
(数字水印检测装置)
现在将参照图3说明用于从嵌有水印的图像信号中检测水印信息的数字水印检测装置。
图3中的数字水印检测装置接收由图1所示的数字水印嵌入装置生成、并且通过记录介质或传输介质接收的嵌有水印的图像信号201作为输入图像信号。在此假定将数字信号“1”或“0”嵌入作为水印信息。
嵌有水印的图像信号201输入到特定频率分量提取单元21和正交变换单元22A。特定频率分量提取单元21包括与图1所示的数字水印嵌入装置中的特定频率分量提取单元11所包括的频域数字滤波器等价的频域数字滤波器。频域数字滤波器为例如具有预定截止频率的低通滤波器或高通滤波器、或者具有预定通带中心频率的带通滤波器。特定频率分量提取单元21从嵌有水印的图像信号201中提取诸如相对高频分量的特定频率分量并且输出该特定频率分量信号。特定频率分量提取单元21可以从嵌有水印的图像信号201中提取所有的频率分量。
正交变换单元22A和22B分别对嵌有水印的图像信号201和来自特定频率分量提取单元21的特定频率分量信号执行正交变换。振幅分量和相位分量分离地从正交变换单元22A和22B输出。从正交变换单元22A和22B输出的振幅分量分别通过可变振幅压缩器23A和23B输入到复数相加单元24。正交变换单元22A和22B直接将相位分量输入到复数相加单元24。由此,复数相加单元24对通过对嵌有水印的图像信号201和来自特定频率分量提取单元21的特定频率分量信号的每一个执行正交变换所获得的信号进行复数相加。可变振幅压缩器23A和23B将在下文中详细描述。
复数相加单元24分离地输出相加后的信号的振幅分量和相位分量。从复数相加单元24输出的振幅分量经由可变振幅压缩器25输入到正交变换单元26。从复数相加单元24输出的相位分量直接输入到正交变换单元26。正交变换单元26对包括振幅分量和相位分量的输入信号执行第二正交变换。第二正交变换与第一变换相同或者是第一变换的逆变换,例如如果将快速傅立叶变换(FFT)实施为第一正交变换,则正交变换单元26执行FFT或逆FFT作为第二正交变换。
正交变换单元26的输出信号输入到估计单元27。估计单元27估计嵌在嵌有水印的图像信号201中的水印信息,并且输出所估计的水印信息202。
可变振幅压缩器23A、23B和25各自包括其压缩特征可变的振幅压缩器。具体地说,可变振幅压缩器23A、23B和25各自使用响应输入信号的振幅和频率中的至少一个而变化的压缩特征执行振幅压缩。
(数字水印检测序列)
下面将结合图4所示的流程图说明根据本实施例的数字水印检测方法的序列。
首先,仅从嵌有水印的图像信号201中提取特定频率分量并由此输出特定频率分量信号(步骤S21)。使嵌有水印的图像信号201和特定频率分量信号经历由正交变换单元22A和22B进行的第一正交变换,例如FFT(步骤S22A和S22B)。
使用根据振幅和频率变化的压缩特征对在步骤S22A和S22B中获得的振幅分量进行振幅压缩(步骤S23A和S23B)。使用步骤S22A和S22B获得的相位分量对通过振幅压缩获得的两个振幅分量进行复数相加(步骤S24)。
使用响应振幅和频率而变化的压缩特征对通过步骤S24的复数相加获得的信号的振幅分量进行振幅压缩(步骤S25)。对通过在步骤S25中执行振幅压缩所获得的信号进行第二正交变换,其中例如如果第一正交变换通过FFT执行,则第二正交变换执行FFT或逆FFT(步骤S26)。从通过第二正交变换获得的信号(仅相位相关值)中估计水印信息202并输出(步骤S27)。
下面将结合图2和5描述估计单元27执行的水印信息估计方法。如上面所描述的,假定将数字信号“1”或“0”嵌入作为水印信息102。仅相位相关值(phase-only correlation value)的信号从正交变换单元26输入估计单元27。在估计单元27如图2所示移相输入信号的同时,计算移相后的输入信号和未经历移相的输入信号之间的互相关值。图5示出通过该计算所获得的互相关值和相移量之间的关系。当观测互相关值中的变化时,峰值出现在特定相移量的点上。该峰值的极性表示水印信息202。例如,如果嵌有水印的图像信号201经受了缩放攻击,则特定频率分量信号所拥有的相移量变为与在数字水印嵌入装置中提供给特定频率分量信号的相移量不同的值。
因此,在本实施例中,相移量由估计单元27连续或逐步变化,对由此输出的互相关值的峰值进行搜索,并且从所搜索出的峰值的极性估计和检测水印信息。根据水印信息的值,互相关值的峰值取正值或负值。例如,在图5的示例中,如果互相关值的峰值为正,则水印信息为“1”。如果峰值为负,则水印信息为“0”。因此,甚至对经受了缩放攻击的图像,估计单元27也能够正确估计水印信息,并且输出所检测的水印信息202。
如上所述,在第一实施例中,从嵌有水印的图像信号中提取特定频率分量信号,并且通过对该特定频率分量信号和嵌有水印的图像信号之间的仅相位相关值进行互相关来检测水印信息。在这种情况下,在改变特定频率分量信号的相移量的同时,通过执行相关计算能够搜索互相关值的峰值。因此,甚至从经受了缩放攻击的嵌有水印的图像信号中,也能够容易地检测水印信息。
(仅相位相关)
通过第一正交变换单元22A和22B、复数相加单元24和第二正交变换单元26进行的相关计算的方法(步骤S22A和S22B、以及S24和S26)称作仅相位相关(POC)。在参照图6的说明中,仅相位相关是用于计算原始图像(登录图像)信号203和待比较的输入图像信号201之间的相关(类似性)的方法。首先,转换成数字信号的登录图像信号203通过傅立叶变换的数学处理分成振幅信息203A(对比度数据)和相位信息203B(图像轮廓数据)。同样地,转换成数字信号的输入图像信号201通过傅立叶变换的数学处理分成振幅信息201A(对比度数据)和相位信息201B(图像轮廓数据)。
接着,对登录图像信号203的相位信息203B进行振幅压缩。这是将登录图像信号203的相位信息203B与输入图像信号201的相位信息201B进行比较。换句话说,这是仅使用相位信息而不使用不包括形状信息的振幅信息对登录图像信号203和输入图像信号201之间的相关进行处理。对于振幅压缩,通常将振幅固定为1。类似地,也对输入图像信号201的相位信息201B进行振幅压缩。
最后,从登录图像信号203和输入图像信号201的相位信息203B和201B的每一个产生复数相加图像信号204。对复数相加图像信号204进行傅立叶逆变换,以便获得相关图像信号205。该仅相位相关完全不同于使用振幅信息的常规二维相关方法和特征提取方法,并且其特点在于对干扰的鲁棒性以及不会发生大的错误。
如上所述,在通常的仅相位相关中,在整个频带将信号的振幅固定为1。但是,假定受到诸如图像的裁剪或缩放攻击的情形时,固定信号的振幅将增加攻击前和攻击后的振幅误差,使得对攻击的容差较小。因此,在本实施例中,振幅压缩时为了降低攻击的影响,响应输入信号的振幅范围和频带切换振幅特征。
下面将详细描述可变振幅压缩器23A、23B和25的具体示例。
(可变振幅压缩器的第一具体示例)
图7所示的可变振幅压缩器配置为响应输入信号的振幅改变压缩特征,并且包括振幅确定单元31、切换器32、各自具有固定压缩比的振幅压缩器33和34、以及加法器35。振幅确定单元31针对阈值确定可变振幅压缩器的输入信号的振幅。根据确定单元31的确定结果,通过切换器32的切换,输入信号输入到振幅压缩器33和34中的一个。加法器35将振幅压缩器33和34的输出信号相加,并且输出相加后的信号作为可变振幅压缩器的输出信号。
结合附图8A和8B,下面将说明振幅压缩能够降低攻击的影响。下面将考虑如图8A所示振幅特征的信号输入到振幅压缩器的情况。当输入信号的振幅由于受到攻击在整个频带从A增加α时,假定振幅压缩器在整个频带上通过固定值1压缩输出信号的振幅。在这种情况下,由于攻击所造成的对振幅的影响如下:
公式(1)表明随着输入信号的振幅A的减小,攻击的影响增大。
在通常的仅相位相关中,压缩由可变振幅压缩器23A和23B执行,针对输入信号的振幅变化,将输出信号的振幅固定为1。在不执行借助可变振幅压缩器25进行的压缩(不采取措施)的方法下,这将导致失败。因此,如公式(1)所示,输入信号的振幅A越小,越容易受到攻击的影响。
另外,如图8B所示在输入信号的振幅小于某一个值A0的情况下,如果振幅压缩器不压缩输入信号的振幅,则攻击的影响最大能够约束到下面的公式。
在本实施例中,通过使用可变振幅压缩器23A、23B和25中的至少一个执行例如如图8B所示的振幅压缩能够降低攻击导致的影响。
换句话说,当具有如图8A所示的振幅特征(振幅频率特征)的信号输入到可变振幅压缩器时,振幅确定单元31确定输入信号的振幅是否大于阈值(这里为A0)。根据振幅是小于还是大于A0,切换器32改变压缩特征。例如如图8B所示,如果输入信号的振幅小于阈值A0,则振幅压缩器33不执行振幅压缩,而如果输入信号的振幅大于阈值A0,则振幅压缩器34通过将输出信号的振幅压缩到固定值(A0)来执行振幅压缩。换句话说,在输入信号的振幅小于A0的振幅范围内不执行振幅压缩,但是对大于A0的振幅范围执行振幅压缩。由于在图8B所示的压缩特征时图7中的振幅压缩器33不执行振幅压缩,该压缩特征可以通过用直接通路36替代振幅压缩器33来实现,如图9所示。
如上所述,在输入信号的振幅大于A0的振幅范围内,通过将输出信号的振幅压缩到固定值,能够获得独立于振幅而仅取决于相位的相关。因此,通过逆正交变换能够产生陡峰,并由此能够容易地检测水印信息。另外,在输入信号的振幅小于A0的范围内,即,在攻击的影响更显著的振幅范围内,通过不压缩输入信号的振幅,能够检测水印信息而同时能够约束攻击的影响。这里,作为示例,将图7中的振幅压缩器33解释为不执行振幅压缩。但是,振幅压缩器33也可以执行比振幅压缩器34的压缩比小的振幅压缩。
(可变振幅压缩器的第二具体示例)
图10所示的可变振幅压缩器配置为响应输入信号的频率改变压缩特征,并且包括低通滤波器(LPF)41、高通滤波器(HPF)42、各自具有固定压缩比的振幅压缩器43和44、以及加法器45。输入信号输入到LPF41和HPF42,并且LPF41和HPF42的输出信号分别输入到振幅压缩器43和44。振幅压缩器43和44的输出信号由加法器45相加,从中得到可变振幅压缩器的输出信号。LPF41和HPF42的截止频率设置为某一个频率ω0。
在图10的可变振幅压缩器中,当输入具有某一个振幅特征的信号时,压缩特征根据输入信号的频率是否高于某一个频率(这里为ω0)而变化。例如,当具有图11A所示的振幅特征的信号输入到可变振幅压缩器时,如果输入信号是如图11B所示的低于ω0的带频信号,即,LPF41的输出信号,则经受由振幅压缩器43所进行的振幅压缩。如果输入信号是高于ω0的带频信号,即,HPF42的输出信号,则经受由振幅压缩器44所进行的针对输入信号的振幅变化而固定输出信号的振幅的振幅压缩。
通过这种方式,图10的可变振幅压缩器在输入信号的频率低于ω0的频带(0~ω0)不执行振幅压缩,而仅在高于ω0的频带执行振幅压缩。根据图11B的压缩特征,由于图10中的振幅压缩器43不执行振幅压缩,该压缩特征可以通过用直接通路46替代振幅压缩器43来实现。
如上所述,在输入信号的频率高于ω0的频带中,可以通过将输出信号的振幅压缩到固定值来获得独立于振幅而仅取决于相位的相关。因此,由于通过逆正交变换能够产生陡峰,从而能够容易地检测水印信息。另外,在输入信号的频率低于ω0的频带中,即在与经受攻击的主要影响的振幅范围相应的频带中,能够在检测水印信息的同时通过避免压缩输入信号的振幅来约束攻击的影响。这里,作为示例,将图10中的振幅压缩器43描述为不执行振幅压缩。但是,振幅压缩器43可以执行比振幅压缩器44的压缩比小的振幅压缩。
此外,当输入信号的频率低于ω0时,针对如图13A所示的振幅特征的输入信号的振幅变化,图10的可变振幅压缩器通过将输出信号的振幅固定到如图13B所示的恒定值来执行振幅压缩。当输入信号的频率高于ω0时,可变振幅压缩器不需要执行振幅压缩。换句话说,与图11B的压缩特征相反,仅在输入信号的频率低于ω0的频带(0~ω0)执行振幅压缩,而在高于ω0的频带不执行振幅压缩。在攻击的影响明显出现在相对较高的频带的情况下,图13B的压缩特征非常有效。在图13B的压缩特征中,由于图10的振幅压缩器44不执行振幅压缩,该压缩特征可以通过用直接通路47替代振幅压缩器44来实现,如图14所示。
如上所述,在输入信号的频率低于ω0的频带中,可以通过将输出信号的振幅压缩到固定值来获得独立于振幅而仅取决于相位的相关。因此,由于通过逆正交变换能够产生陡峰,从而能够容易地检测水印信息。另外,在输入信号的频率高于ω0的频带中,即在与经受攻击的显著影响的振幅范围相应的频带中,能够在检测水印信息的同时通过避免压缩输入信号的振幅来约束攻击的影响。这里,作为示例,将图10中的振幅压缩器44描述为不执行振幅压缩。但是,振幅压缩器44可以执行比振幅压缩器43的压缩比小的振幅压缩。此外,替代压缩输出信号的特定频带的振幅,使用将特定振幅范围的振幅压缩到固定值的方法也很好。
下面将使用图15A~15C说明图10的可变振幅压缩器的其它压缩特征示例。针对图15A所示的振幅特征的信号,提取图像的正交变换图像的振幅(相应于图3中正交变换单元22B的输出信号)可以描述为图15C。在这种情况下,执行压缩以便图15A的振幅特征在图15B所示的特定频带中(在本示例中为0~ω0)接近图15C的振幅特征。替代在特定频带中压缩图15A的振幅特征以便接近图15C的振幅特征的方法,使用在特定振幅范围内压缩振幅以便接近图15C的振幅特征的方法也很好。
下面将使用图16说明图10的可变振幅压缩器的另一压缩特征示例。针对图16A所示的振幅特征的信号,假定用于振幅压缩的振幅(用于相除的振幅)可以描述为图16C。图16C中的用于相除的振幅在特定频带(在该示例中为超过ω0的频带)取值很小,并且当除以图16C的振幅时在振幅中产生陡峰。在以这种方式当除以振幅时在振幅中产生陡峰时,通过逆正交变换相关可能会振荡。因此,为了防止在特定频带中出现振幅中的陡峰,执行压缩以便特定频带的振幅特征(在该示例中为0~ω0)变陡,如图16B所示。
(可变振幅压缩器的第三具体示例)
图17所示的可变振幅压缩器50配置切换压缩特征,以便使由于攻击估计单元51估计的攻击所导致的振幅变化最小。例如,当输入如图8A所示的振幅特征的信号、并且具有小于阈值A0的振幅的频带经受显著的攻击影响时,通过如图8B所示在振幅小于A0的频率不执行振幅压缩可以降低攻击的影响。
(可变振幅压缩器的第四具体示例)
图18是图7、9、10、12和14所示的振幅压缩器33、34、43和44的优选第四具体示例。通过组合用于(a)嵌有水印的图像61的正交变换图像65的振幅、(b)提取图像62的正交变换图像67的振幅、(c)应用缩放(放大/缩小)处理后的嵌有水印的图像63的正交变换图像66的振幅、以及(e)应用缩放处理后的提取图像64的正交变换图像68的振幅的乘法器-除法器69,来执行振幅压缩。这样,能够执行各种振幅压缩。
上面已经描述了实现可变振幅压缩器的几种方式。但是,通过组合这些方法中的一些方法也能够执行振幅压缩。
(正交变换中的运算量)
下面将以第一正交变换使用FFT的情况下,举例说明第一正交变换的计算量。在假定嵌有水印的图像信号201的图像是N行×M列的情况下,FFT(在这种情况下,二维FFT)的运算量的公式如下所述:
这里,为了在本实施例中使用三个正交变换(两个图像的第一正交变换和复数相加图像的第二正交变换),需要下面所述的计算量:
【第二实施例】
(数字水印嵌入装置)
图19示出根据本发明的第二实施例的数字水印嵌入装置。将缩放(放大/缩小)单元10添加到根据图1所示的第一实施例的数字水印嵌入装置中。嵌入目标图像信号101输入到缩放单元10、特征量提取单元12和水印信息合成器14。缩放单元10包括频域的数字滤波器,并且通过使用某一个缩放比率缩放嵌入目标图像信号101来生成缩放图像信号。例如,如果缩放比率为0.5,则生成缩小信号作为缩放图像信号。从缩放单元10输出的缩放图像信号输入到特定频率分量提取单元11。
特定频率分量提取单元11包括频域数字滤波器,例如具有预定截止频率的低通滤波器或高通滤波器、或者具有预定通带中心频率的带通滤波器,并且从缩放图像信号中提取嵌入目标图像信号101之内诸如相对高频分量的特定频率分量。下文中将特定频率分量提取单元11的输出信号称作特定频率分量信号。
从特定频率分量提取单元11输出的特定频率分量信号输入到相位/振幅控制器13,在此对相位和振幅中的至少一个进行控制。待嵌入到嵌入目标图像信号101中的数字信息,即,水印信息102提供给相位/振幅控制器13。相位/振幅控制器13配置成对特定频率分量信号以预定特定控制量执行相位控制或振幅控制。
由相位/振幅控制器13执行的相位控制可以通过例如单个或多个数字相位移相器来实现。相位控制量根据相位移相器的相移量来给定。例如,在相位/振幅控制器13,特定频率分量信号简单地经历移相而保持在图2的示例中所示的波形。由相位/振幅控制器13执行的振幅控制可以通过例如单个或多个“异”电路或数字乘法器来实现,并且振幅控制量通过与特定频率分量信号相乘的系数来给定。根据水印信息102对相位/振幅控制器13的相位控制量(相移量)和振幅控制量(系数)进行控制。
另外,特征量提取单元12提取嵌入目标图像信号101的特征量,例如表示图像复杂度的活度。关于特征量的信息输入到相位/振幅控制器13,在此根据输入的特征量对相位控制量(相移量)和振幅控制量(系数)进行控制。此外,特征量提取单元12不是必需的,因此可以省略。
经历了相位/振幅控制器13的相位控制和振幅控制的特定频率分量信号供应给包括数字加法器的水印信息合成器14作为嵌入信号,并且与嵌入目标图像信号101合成。换句话说,由特定频率分量提取单元11提取的特定频率分量信号经历由相位/振幅控制器13进行的数字水印嵌入装置所固有的相位控制和振幅控制,并且与此同时,相位控制量和振幅控制量中的一个或者两者由水印信息102控制。结果,水印信息102嵌入到嵌入目标图像信号101中,并且由水印信息合成器14生成嵌有水印的图像103。
可以存在多个通道,用于特定频率分量提取单元11提取的特定频率分量信号并经历由相位/振幅控制器13进行的相位控制和振幅控制。在这种情况下,由水印信息合成器14对该多个通道的特定频率分量信号与嵌入目标图像信号101进行合成。
如此获得的嵌有水印的图像信号103由例如诸如DVD系统的数字图像记录/再现装置记录在记录介质上、或者经由诸如因特网、广播卫星和通信卫星的传输介质发送。
(数字水印检测装置)
现在将参照图20说明用于从嵌有水印的图像信号中检测水印信息的数字水印检测装置。数字水印检测装置通过记录介质或传输介质接收由图19所示的数字水印嵌入装置生成的嵌有水印的图像信号201。在此假定将数字信号“1”或“0”嵌入到嵌有水印的图像信号201中作为水印信息。
嵌有水印的图像信号201输入到缩放单元20和正交变换单元22A。缩放单元20包括频域数字滤波器,并且以类似于图19所示的数字水印嵌入装置中的缩放单元10的情况下的特定缩放比率、通过缩放嵌有水印的图像信号201生成缩放后的图像信号。从缩放单元20输出的缩放后的图像信号输入到特定频率分量提取单元21。
特定频率分量提取单元21包括与图19所示的数字水印嵌入装置中的特定频率分量提取单元11的数字滤器的频域相同的数字滤波器,例如具有预定截止频率的低通滤波器或高通滤波器、或者具有预定通带中心频率的带通滤波器。特定频率分量提取单元21从嵌有水印的图像信号201中提取诸如相对高频分量的特定频率分量并且输出该特定频率分量信号。特定频率分量提取单元21可以从嵌有水印的图像信号中提取所有的频率分量。
正交变换单元22A和22B分别对嵌有水印的图像信号201和来自特定频率分量提取单元21的特定频率分量信号执行正交变换。正交变换单元22A和22B各自分离地输出振幅分量和相位分量。从正交变换单元22A和22B输出的振幅分量分别通过可变振幅压缩器23A和23B输入到复数相加单元24。从正交变换单元22A和22B输出的相位分量直接输入到复数相加单元24。由此,嵌有水印的图像信号201和来自特定频率分量提取单元21的特定频率分量信号经历正交变换,然后由复数相加单元24进行复数相加。可变振幅压缩器23A和23B与在第一实施例中描述的相同。
经历复数相加的信号的振幅分量和相位分量分离地从复数相加单元24输出。从复数相加单元24输出的振幅分量经由可变振幅压缩器25输入到正交变换单元26。从复数相加单元24输出的相位分量直接输入到正交变换单元26。正交变换单元26对包括振幅分量和相位分量的输入信号执行第二正交变换。第二正交变换是与正交变换单元22A和22B执行的第一变换相同的变换或者是第一正交变换的逆变换。例如如果将快速傅立叶变换(FFT)作为第一变换,则正交变换单元26执行FFT或逆FFT作为第二正交变换。
正交变换单元26的输出信号输入到估计单元27,通过估计单元27估计嵌在嵌有水印的图像信号201中的水印信息,并且从中输出所估计的水印信息202。
(数字水印检测序列)
下面将结合图21所示的流程图说明根据本实施例的数字水印检测方法的序列。
首先,对嵌有水印的图像信号201执行缩放(放大/缩小)处理(步骤S20)。然后,通过从缩放图像信号中仅提取特定频率分量,输出特定频率分量信号(步骤S21)。使嵌有水印的图像信号201和特定频率分量信号经历由正交变换单元22A和22B进行的第一正交变换,例如FFT(步骤S22A和S22B)。
通过根据振幅和频率变化的压缩特征对在步骤S22A和S22B中获得的振幅分量进行振幅压缩(步骤S23A和S23B)。使用步骤S22A和S22B获得的相位分量对通过振幅压缩获得的两个振幅分量进行复数相加(步骤S24)。
根据随振幅和频率变化的压缩特征对通过步骤S24的复数相加获得的信号的振幅分量进行振幅压缩(步骤S25)。然后,对通过在步骤S25中的振幅压缩所获得的信号进行第二正交变换,例如在第一正交变换是FFT的情况下,第二正交变换执行FFT或逆FFT(步骤S26)。从通过第二正交变换获得的信号(仅相位相关值)中估计水印信息202并输出(步骤S27)。由于估计单元27执行的水印信息的估计方法与第一实施例中的相同,因此省略其详细描述。
由此,根据第二实施例,从经过缩放的嵌有水印的图像信号中提取特定频率分量信号,并且通过用于该特定频率分量信号和嵌有水印的图像信号之间的仅相位相关值的互相关检测水印信息。在这种情况下,在改变特定频率分量信号的相移量的同时,通过执行相关计算能够搜索互相关值的峰值。因此,甚至从经受了缩放攻击的嵌有水印的图像信号中,也能够容易地检测水印信息。此外,如果缩放是在数字水印嵌入装置一侧执行,则通过缩放能够顺利地进行水印信息检测。
第二实施例中的缩放(放大/缩小)处理可以用能够减小针对原始图像的相关的其它图像处理来替代。
到此为止描述的数字水印检测装置可以通过例如使用通用计算机装置作为基本硬件来实现。换句话说,在图4或图21中说明的数字水印检测处理过程能够通过使内置于上述计算机装置中的处理器执行数字水印检测程序来实现。在这种情况下,数字水印检测装置可以通过事先将上述程序安装到计算机装置中、或者任意地将存储在诸如CD-ROM的记录介质上的该程序或通过网络分发的上述程序安装到计算机装置中来实现上述处理过程。此外,嵌有水印的图像信号的获得可以通过任意利用记录介质来实现,例如上述计算机装置的内置或外部存储器、硬盘、CD-R、CR-RW、DVD-RAM、或DVD-R。
Claims (14)
1.一种数字水印检测方法,包括:
从输入图像信号提取特定频率分量信号;
对输入图像信号进行正交变换以生成第一变换后的图像信号;
对特定频率分量信号进行正交变换以生成第二变换后的图像信号;
合成第一变换后的图像信号和第二变换后的图像信号以生成合成图像信号;
对合成图像信号进行正交变换以生成第三变换后的图像信号;
通过搜索出现在第三变换后的图像信号中的峰值估计嵌入在输入图像信号中的水印信息;以及
基于根据目标信号的振幅和目标信号的频率中的至少一个变化的压缩特征对待压缩的目标信号进行振幅压缩,以便获得压缩信号,所述目标信号由第一变换后的图像信号、第二变换后的图像信号、以及合成图像信号中的至少一个构成。
2.根据权利要求1所述的方法,还包括对输入图像信号进行缩放以生成缩放后的图像信号,并且其中提取特定频率分量信号包括从缩放后的图像信号提取输入图像信号中的特定频率分量信号。
3.一种数字水印检测装置,包括:
提取单元,用于从输入图像信号提取特定频率分量信号;
第一变换单元,用于对输入图像信号进行正交变换以生成第一变换后的图像信号;
第二变换单元,用于对特定频率分量信号进行正交变换以生成第二变换后的图像信号;
合成单元,用于合成第一变换后的图像信号和第二变换后的图像信号以生成合成图像信号;
第三变换单元,用于对合成图像信号进行正交变换以生成第三变换后的图像信号;
估计单元,用于通过搜索出现在第三变换后的图像信号中的峰值估计嵌入在输入图像信号中的水印信息;以及
压缩器,基于根据目标信号的振幅和目标信号的频率中的至少一个变化的压缩特征对待压缩的目标信号进行振幅压缩,以便获得压缩信号,所述目标信号由第一变换后的图像信号、第二变换后的图像信号、以及合成图像信号中的至少一个构成。
4.根据权利要求3所述的装置,还包括缩放单元,用于对输入图像信号进行缩放以生成缩放后的图像信号,并且其中提取单元从缩放后的图像信号提取输入图像信号中的特定频率分量信号。
5.根据权利要求3所述的装置,其中第一变换单元和第二变换单元各自包括傅立叶变换器,并且第三变换单元包括傅立叶变换器或逆傅立叶变换器。
6.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以在目标信号的振幅大于阈值的振幅范围内将压缩信号的振幅保持在固定值。
7.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以在目标信号的频率高于特定频率的频带内将压缩信号的振幅保持在固定值。
8.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以使假定输入图像信号已经遭受到的攻击所导致的压缩信号的振幅变化最小。
9.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以在目标信号的特定频带内将压缩信号的振幅保持在固定值。
10.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以在目标信号的特定振幅范围内将压缩信号的振幅保持在固定值。
11.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以使在特定频带内压缩信号和第二变换后的图像信号之间的振幅差比目标信号和第二变换后的图像信号之间的振幅差小。
12.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以使在特定振幅范围内压缩信号和第二正交变换后的图像信号之间的振幅差比在特定振幅范围内目标信号和第二正交变换后的图像信号之间的振幅差小。
13.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以在目标信号的特定频带内控制压缩信号的振幅峰值。
14.根据权利要求3所述的装置,其中压缩器在振幅上压缩目标信号,以在目标信号的特定振幅范围内控制压缩信号的振幅峰值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006040846A JP4343179B2 (ja) | 2006-02-17 | 2006-02-17 | 電子透かし検出方法及び装置 |
JP2006040846 | 2006-02-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101026723A true CN101026723A (zh) | 2007-08-29 |
Family
ID=38066382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007100057527A Pending CN101026723A (zh) | 2006-02-17 | 2007-02-13 | 数字水印检测方法及其装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7646883B2 (zh) |
EP (1) | EP1821256A1 (zh) |
JP (1) | JP4343179B2 (zh) |
KR (1) | KR20070082877A (zh) |
CN (1) | CN101026723A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105283915A (zh) * | 2013-06-11 | 2016-01-27 | 株式会社东芝 | 数字水印嵌入装置、数字水印检测装置、数字水印嵌入方法、数字水印检测方法、数字水印嵌入程序以及数字水印检测程序 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4519678B2 (ja) * | 2005-02-21 | 2010-08-04 | 株式会社東芝 | 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置 |
JP4118279B2 (ja) * | 2005-03-11 | 2008-07-16 | 株式会社東芝 | 電子透かし検出装置及びその方法 |
US8284984B2 (en) * | 2007-01-05 | 2012-10-09 | Koplar Interactive Systems International Llc | Method and system for image registration |
JP4901678B2 (ja) | 2007-10-02 | 2012-03-21 | 株式会社東芝 | 電子透かし埋め込み装置及び電子透かし検出装置 |
TW201110701A (en) * | 2009-09-07 | 2011-03-16 | Univ Nat Taiwan Science Tech | Image processing method combining compression and watermark techniques |
KR101104734B1 (ko) * | 2009-11-25 | 2012-01-11 | 에스케이플래닛 주식회사 | 캡처 영상을 이용한 정보 획득 시스템 및 방법 |
US9236837B2 (en) | 2011-08-25 | 2016-01-12 | Infineon Technologies Ag | System and method for low distortion capacitive signal source amplifier |
GB2491927B (en) * | 2012-03-21 | 2013-07-10 | Renesas Mobile Corp | Data processing |
GB2500444B (en) * | 2012-03-21 | 2015-09-16 | Broadcom Corp | Data processing |
US8638249B2 (en) * | 2012-04-16 | 2014-01-28 | Infineon Technologies Ag | System and method for high input capacitive signal amplifier |
US9332369B2 (en) | 2013-10-22 | 2016-05-03 | Infineon Technologies Ag | System and method for automatic calibration of a transducer |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3930067B2 (ja) | 1995-05-02 | 2007-06-13 | 株式会社山武 | パターン照合装置 |
AUPR105000A0 (en) | 2000-10-27 | 2000-11-23 | Canon Kabushiki Kaisha | Method for generating and detecting marks |
JP3576993B2 (ja) | 2001-04-24 | 2004-10-13 | 株式会社東芝 | 電子透かし埋め込み方法及び装置 |
JP4127636B2 (ja) | 2002-08-30 | 2008-07-30 | 株式会社東芝 | 電子透かし埋め込み装置及び方法 |
US7302573B2 (en) | 2003-01-14 | 2007-11-27 | Kabushiki Kaisha Toshiba | Computer system and method for controlling output of reproduced video data |
JP3917572B2 (ja) | 2003-09-05 | 2007-05-23 | 株式会社東芝 | 電子透かし検出方法及び装置 |
JP3919758B2 (ja) | 2004-03-02 | 2007-05-30 | 株式会社東芝 | 電子透かし検出装置及びその方法 |
-
2006
- 2006-02-17 JP JP2006040846A patent/JP4343179B2/ja not_active Expired - Fee Related
- 2006-08-28 US US11/467,804 patent/US7646883B2/en not_active Expired - Fee Related
-
2007
- 2007-02-09 EP EP07250526A patent/EP1821256A1/en not_active Withdrawn
- 2007-02-13 CN CNA2007100057527A patent/CN101026723A/zh active Pending
- 2007-02-15 KR KR1020070016007A patent/KR20070082877A/ko not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105283915A (zh) * | 2013-06-11 | 2016-01-27 | 株式会社东芝 | 数字水印嵌入装置、数字水印检测装置、数字水印嵌入方法、数字水印检测方法、数字水印嵌入程序以及数字水印检测程序 |
CN105283915B (zh) * | 2013-06-11 | 2019-05-07 | 株式会社东芝 | 数字水印嵌入装置及方法以及数字水印检测装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1821256A1 (en) | 2007-08-22 |
JP4343179B2 (ja) | 2009-10-14 |
US7646883B2 (en) | 2010-01-12 |
JP2007221549A (ja) | 2007-08-30 |
US20070195988A1 (en) | 2007-08-23 |
KR20070082877A (ko) | 2007-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101026723A (zh) | 数字水印检测方法及其装置 | |
JP4519678B2 (ja) | 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置 | |
JP4118279B2 (ja) | 電子透かし検出装置及びその方法 | |
US6741723B2 (en) | Digital watermark embedding method and apparatus, and digital watermark | |
US7421584B2 (en) | Digital watermark detection method and apparatus | |
KR100648845B1 (ko) | 워터마크 검출 | |
KR100586051B1 (ko) | 전자 워터마킹 검출방법 및 장치 | |
JP2004525430A (ja) | 電子透かしの生成及び検出 | |
JP4901678B2 (ja) | 電子透かし埋め込み装置及び電子透かし検出装置 | |
US20080273744A1 (en) | Digital watermarking method and apparatus | |
WO2001057868A1 (en) | Embedding a watermark in an information signal | |
EP1297492B1 (en) | Watermark embedding method and arrangement | |
JP3919758B2 (ja) | 電子透かし検出装置及びその方法 | |
JP4691147B2 (ja) | 電子透かし検出装置、方法及びプログラム | |
JP2010141591A (ja) | 電子透かし埋め込み方法及び装置、電子透かし検出方法及び装置 | |
JPH11187246A (ja) | 情報重畳処理方法、重畳情報復号方法、情報重畳処理装置および重畳情報復号装置 | |
CN111640051A (zh) | 一种图像处理方法及其装置 | |
Shin et al. | Audio Watermarking based on Pitch Scaling | |
JP2003101747A (ja) | 電子透かしシステム、電子透かし埋め込み装置、電子透かし検出装置、電子透かし埋め込み方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |