CN100501761C - 嵌入数据再生设备和方法以及串改检测器 - Google Patents

嵌入数据再生设备和方法以及串改检测器 Download PDF

Info

Publication number
CN100501761C
CN100501761C CNB2006101278132A CN200610127813A CN100501761C CN 100501761 C CN100501761 C CN 100501761C CN B2006101278132 A CNB2006101278132 A CN B2006101278132A CN 200610127813 A CN200610127813 A CN 200610127813A CN 100501761 C CN100501761 C CN 100501761C
Authority
CN
China
Prior art keywords
image
section
data
embedded
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006101278132A
Other languages
English (en)
Other versions
CN1940966A (zh
Inventor
山本直史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba TEC Corp
Original Assignee
Toshiba Corp
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba TEC Corp filed Critical Toshiba Corp
Publication of CN1940966A publication Critical patent/CN1940966A/zh
Application granted granted Critical
Publication of CN100501761C publication Critical patent/CN100501761C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32165Transform domain methods using cosine transforms

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

读取具有嵌入其中的嵌入数据的图像以输出图像信号,对图像信号执行光谱分析,并且基于光谱分析的结果和预置数据提取嵌入在图像信号中的嵌入数据。

Description

嵌入数据再生设备和方法以及串改检测器
技术领域
本发明涉及一种嵌入数据再生设备,其用于再生嵌入在图像中的数据。
背景技术
在图像上叠加其它数据能够记录次级数据或防止串改(falsification)、伪造等。例如,日本专利申请KOKAI出版物第11-32205号和第2004-289783号中披露了在图像上叠加其它数据的技术。日本专利申请KOKAI出版物第11-32205号披露了在不降低图像质量的情况下尽可能多的添加数据以及无误地检测所添加的数据的技术。日本专利申请KOKAI出版物第2004-289783号披露了单独选择和反转例如图像以嵌入水印数据,以及反转正负亮度值以提取水印数据的技术。
发明内容
根据本发明的主要方面,嵌入数据再生设备包括:图像输入部,用于读取具有嵌入其中的嵌入数据的图像,并输出图像的图像信号;图像分离部,用于从由图像输入部输出的图像信号提取半色调区;遮蔽部,用于遮蔽通过图像分离部从由图像输入部输出的图像信号中提取的半色调区,并将未遮蔽区的图像信号发送至光谱分析部;光谱分析部,用于对从遮蔽部输出的图像信号执行光谱分析;以及数据提取部,用于基于光谱分析部的光谱分析结果和预置数据,提取嵌入在图像信号中的嵌入数据。
本发明的其他目的和优点将在下面的说明中描述,并且部分地将从该描述中变得显而易见,或可以通过实施本发明而了解。本发明的目的和优点可以通过下文中特别指出的手段及其组合来实现和获得。
附图说明
附图结合于说明书中并构成说明书的一部分,其示出了本发明的优选实施例,并且与以上给出的概括描述和以下给出的对实施例的详细描述一起用于解释本发明的原理。
图1是示出根据本发明第一实施例的嵌入数据再生设备的框图;
图2是数据嵌入装置的框图;
图3是示出嵌入数据的正弦波的频率成分(frequencycomponent)的布置图;
图4是示出嵌入数据的正弦波的频率成分之间的对应关系的表;
图5是示出由嵌入数据再生设备的光谱分析部对其执行光谱分析的每个块的示意图;
图6是示出根据本发明第二实施例的嵌入数据再生设备的框图;
图7A是示出没有被确定为半色调(halftone)区的黑区的确定实例的示意图;
图7B是示出被确定为半色调区的黑区的确定实例的示意图;
图8是示出根据本发明第三实施例的嵌入数据再生设备的框图;
图9是示出具有半色调区的每个块的示意图,其中,不对半色调区执行光谱分析;
图10是示出根据本发明第四实施例的嵌入数据再生设备的框图;
图11是示出嵌入数据的正弦波的频率成分的布置图;
图12是示出嵌入数据的正弦波的频率成分间的对应关系的表;
图13是示出根据本发明第六实施例的串改检测器(falsificationdetector)的结构图;以及
图14是示出串改检测处理的流程图。
具体实施方式
下面将参照附图来描述本发明的第一实施例。
图1是嵌入数据再生设备的框图。图像输入部1读取具有嵌入其中的嵌入数据的图像,并输出图像的图像信号。例如,图像输入部1具有扫描仪等。
现在,将对具有嵌入其中的嵌入数据的图像进行描述,其中,该嵌入数据是嵌入数据再生设备执行再生的前提。图2是数据嵌入装置的的框图。图像输入部20输入图像作为图像信号P(x,y)。例如,图像输入部1具有扫描仪。扫描仪读取例如记录在作为图像记录介质的纸张上的图像,并输出图像信号P(x,y)。
平滑化部21将从图像输入部20输出的的图像信号P(x,y)平滑化。
数据输入部22输入将被嵌入在从图像输入部20输入的图像信号P(x,y)中的嵌入数据。例如,将嵌入数据表示为有限位的数字信号。根据本实施例,例如,该嵌入数据为16位数字信号。
调制部23生成叠加信号Q(x,y),该叠加信号具有叠加于其中的来自数据输入部22的嵌入数据。例如,调制部23通过迭加16种空间频率的2维正弦波生成叠加信号Q(x,y)。叠加信号Q(x,y)通过下列等式(1)得出:
Q ( x , y ) = clip ( A · Σ k fk · cos ( 2 π ( uk · x + vk · y ) ) ) - - - ( 1 )
其中,x、y是图像上的像素坐标值,Q(x,y)是坐标x、y处的叠加信号值,uk、vk是第k个频率成分,fk是嵌入数据的第k位值,并且确定fk=0或1。对于k,确定0≤k≤-5。
A是叠加信号Q(x,y)的强度。这里假设图像信号P(x,y)的最大强度为1,并且确定A=0.2。此外,clip(x)是将值限制在±0.5之内的函数。clip(x)由下列等式(2)至(4)表示:
如果(x<-0.5)       则clip(x)=-0.5   ...(2)
如果(x>0.5)        则clip(x)=0.5    ...(3)
如果(0.5>x>-0.5)   则cllp(x)=x      ...(4)
uk、vk是嵌入正弦波的第k个频率成分。可以将uk、vk设置为任意值。
图3是uv坐标上的嵌入正弦波的第k个频率成分uk、vk的布置图。在频率成分的布置中,频率分布关于原点对称。因此,省略v<0的区域(第三、第四象限)。图4示出频率成分uk、vk之间的对应关系。
叠加部24将由调制部23生成的叠加信号Q(x,y)添加至由平滑化部21平滑化的图像信号P2(x,y)的沿(edge)上。
二进制化部25将添加了叠加信号Q(x,y)的图像信号二进制化,并且根据嵌入数据将凹凸形添加至沿上。
图像输出部26输出由二进制化部25二进制化的图像信号。例如,将从图像输出部26输出的二进制化的图像信号存储在硬盘等中,或者由打印机直接将其打印在图像记录介质上。对于打印在图像记录介质上的图像,根据嵌入数据将凹凸形添加至图像信号P(x,y)的沿上。
在图1中,光谱分析部2对从图像输入部1输出的图像信号执行光谱分析。首先,如图5所示,光谱分析部2将图像信号的图像划分成多个块,例如“1”至“16”的16个块。块“1”至“16”中的每块都为正方形,例如64像素×64像素。接着,光谱分析部2对块“1”至“16”中的每块的图像执行光谱分析,即,傅立叶变换。然后,光谱分析部2对作为傅立叶变换结果的每个频率计算绝对值的平方。例如,通过下列等式(5)和(6)表示光谱Fi(u,v),其中,pi(x,y)是绘图器的像素值:
fi ( u , v ) = &Sigma; k &Sigma; l p ( x , y ) &CenterDot; exp ( - 2 &pi;j ( kx + ly ) ) - - - ( 5 )
Fi(u,v)=|fi(u,v)|2                (6)
其中,j是虚数单位,|a|为a的绝对值。
对于块“1”至“16”,对计算出的每个光谱频率计算平均值F(u,v)。平均值F(u,v)由下列等式(7)表示:
F ( u , v ) = &Sigma; i Fi ( u , v ) / 16 - - - ( 7 )
光谱分析部2输出平均值F(u,v)的计算结果作为光谱信号。例如,光谱分析部2通过FFT等快速地计算光谱分析。光谱分析部2可以由用于光谱分析的硬件组成。在这种情况下,通过使用FFT,可以通过相对较小的电路尺寸来实现光谱分析部2。
嵌入频率存储器3存储用于嵌入在图像中的参数,即,用于将嵌入数据嵌入在图像中的空间频率数据作为已知信息。换言之,例如,如图3和图4所示,嵌入频率存储器3将16组空间频率数据(uk,vk)存储在统计表格中。
数据提取部4基于光谱分析部2的光谱分析结果和存储在嵌入频率存储器3中的空间频率数据(uk,vk),提取嵌入在图像信号中的嵌入数据。
数据提取部4根据k(k=1至16)从嵌入频率存储器3读取空间频率(uk,vk),并且获得所读取的空间频率(uk,vk)的光谱信号F(uk,vk)。数据提取部4将光谱信号F(uk,vk)与预定临界值T进行比较。比较结果是,如果光谱信号F(uk,vk)大于临界值T,则数据提取部4将数据设为“1”,如果光谱信号小于临界值T,则将数据设为“0”。然后,数据提取部4排列k=1至16的16个数据“1”或“0”,以再生16位嵌入数据。嵌入数据可以表示为2字节信号。因此,数据提取部4输出作为2字节信号的嵌入数据。
临界值T是与k无关的常数。然而,其可以根据k而变化。例如,uk、vk的值距离原点越远,就将临界值T设置的越小。当空间频率较高时,普通扫描仪具有较低的读取响应特性。因此,当频率较高时,普通扫描仪趋向于具有较低的光谱。因此,例如,通过在uk、vk的值距离原点较远时将临界值T设置为更小的值,可以弥补普通扫描仪在频率较高时光谱较低的趋向。
下面,将描述通过这样配置的设备再生嵌入数据的操作。
图像输入部1读取具有嵌入其中的嵌入数据的图像。例如,打印在图像记录介质上的图像。在图像中,根据嵌入数据将凹凸形添加至诸如线段的沿上。图像输入部1输出读取图像的图像信号。
光谱分析部2接收从图像输入部1输出的图像信号。如图5所示,光谱分析部2将图像信号的图像划分成多个块,例如“1”至“16”的16个块。然后,光谱分析部2对块“1”至“16”的像素执行傅立叶变换。
接着,光谱分析部2通过等式(5)和(6)对作为傅立叶变换结果的每个频率计算绝对值的平方。随后,对于块“1”至“16”,光谱分析部2通过等式(7)对计算的每个光谱频率计算平均值F(u,v)。光谱分析部2输出平均值F(u,v)的计算结果作为光谱信号。
数据提取部4根据k(k=1至16)从嵌入频率存储器3读取空间频率(uk,vk),并且获得所读取的空间频率(uk,vk)的光谱信号F(uk,vk)。
接着,数据提取部4将从光谱分析部2输出的光谱信号F(uk,vk)与预定临界值T进行比较。比较结果是,如果光谱信号F(uk,vk)大于临界值T,则数据提取部4将数据设置为“1”。如果光谱信号F(uk,vk)小于临界值T,则数据提取部4将数据设置为“0”。
然后,数据提取部4排列k=1至16的16个数据“1”或“0,”,以再生16位嵌入数据。嵌入数据可以表示为2字节信号。因此,数据提取部4输出作为2字节信号的嵌入数据。
如上所述,根据第一实施例,图像输入部1读取具有嵌入其中的嵌入数据的图像,光谱分析部2对图像信号P(x,y)执行光谱分析,以及数据提取部4基于光谱分析部2的光谱分析结果和存储在嵌入数据频率存储器3中的空间频率数据提取嵌入在图像信号P(x,y)中的嵌入数据。因此,通过简单处理,可以从图像中再生嵌入数据,在该图像中,根据嵌入数据将凹凸形添加至诸如线段的沿上。
通过CPU执行软件来实现图像输入部1、光谱分析部2、以及数据提取部4。因此,可以在很短的处理时间内完成从图像再生嵌入数据。如果通过专用软件来实现图像输入部1、光谱分析部2、以及数据提取部4的每个处理,则可以减小电路尺寸。
下面,将参照附图来描述本发明的第二实施例。与图1中的部分相似的部分用相似的参考标号来表示,并且将省略其详细描述。
图6是嵌入数据再生设备的框图。嵌入数据再生设备从具有半色调的图像(例如,图表或照片)再生嵌入数据。
图像分离部30提取半色调区。半色调区是其中用半色调点表示色调的图像区(例如,图表或照片)。可以利用一些半色调区分离方法。根据本实施例,例如,使用利用涂抹(smearing)的方法。
首先,图像分离部30通过适当的预定临界值Th将图像信号P(x,y)二进制化。换言之,将值等于或小于预定临界值Th的像素设为黑电平“0”。将等于或大于预定临界值Th的像素设为白电平“1”。将通过二进制化获得的二进制图像设为Q(x,y)。二进制化处理由下列等式表示:
如果(P(x)≥Th)      则Q(x)=1     ...(8)
如果(P(x)<Th)       则Q(x)=0     ...(9)
接着,图像分离部30在纵向和横向四个方向将黑电平“0”的像素扩展预定数目的N个像素。将其结果设为Q2(x,y)。即,当给定像素是黑电平“0”像素时,将上、下以及左、右四个方向中的N个像素中的每个像素都改变为黑电平“0”像素。例如,在预定的像素数目N=2的情况下,由下列等式表示处理实例:
如果(Q(x-2,y)=0)或(Q,(x-1,y)=0)或(Q(x,y)=0)或(Q(x+1,y)=0)或(Q(x+2,y)=0)或(Q(x,y-2)=0)或(Q(x,y-1)=0)或(Q(x,y+1)=0)或(Q(x,y+2)=0)) 则Q2(x,y)=0    (10)
否则Q2(x,y)=1
将临界值Th设置为用于半色调图像的半色调点周期(cycle ofhalftone dots)的一半,或者等于或大于半色调点周期的一半。通过上述处理,当诸如半色调点区的小形状黑区以狭窄的间隔彼此相邻时,图像分离部30将这些黑区.设置为一个连通区域。
接着,图像分离部30测量每个连通黑区的纵向长度和横向长度。如果纵向长度和横向长度等于或大于预定值则图像分离部30确定半色调区。如果纵向长度和横向长度不等于或大于预定值,则图像分离部30确定字符/线条画区。
也就是说,字符或线条画由线元素组成。因此,纵向长度和横向长度变得等于或小于预定值。半色调区域的纵向长度和横向长度为某个等级或大于该等级。所以,图像分离部30可以通过上述确定条件来确定半色调区。结果,例如,图像分离部30输出确定信号,其中,确定为半色调区的像素为“1”,而其他像素为“0”。
图7A和图7B分别示出半色调区的确定实例。图7A中示出的黑区K1具有等于或小于预定临界值TL的横向尺寸。因此,不将黑区K1确定为半色调区。另一方面,图7B中示出的黑区K2具有等于或大于预定临界值TL的纵向尺寸和横向尺寸。因此,将黑区K2确定为半色调区。
遮蔽部(mask section)31遮蔽由图像分离部30从由图像输入部1输出的图像信号P(x,y)中提取的半色调区,并且将未遮蔽区的图像信号P(x,y)发送至光谱分析部。即,遮蔽部31根据从图像分离部30输出的确定信号来遮蔽图像信号P(x,y)。如果从图像分离部30输出的确定信号为“1”(半色调区),则遮蔽部31强行将图像信号P(x,y)设置为“0”。如果从图像分离部30输出的确定信号为“0”,则遮蔽部31直接输出图像信号P(x,y)。从而将半色调区的半色调点成分从图像信号P(x,y)移除。
下面,将描述通过这样配置的设备进行的嵌入数据的再生操作。
图像输入部1读取具有嵌入其中的嵌入数据的图像,并且输出读取图像的图像信号。
图像分离部30接收从图像输入部1输出的图像信号。图像分离部30提取其中用半色调点表示色调的半色调区(诸如照片或图表)。例如,图像分离部30通过使用涂抹法来分离半色调区。例如,图像分离部30输出确定信号,其中,将确定为半色调区的像素设置为“1”,并且将其他像素设置为“0”。
遮蔽部31遮蔽通过图像分离部30从由图像输入部1输出的图像信号中提取的半色调区,并且将未遮蔽区的图像信号发送至光谱分析部。即,如果从图像分离部30输出的确定信号为“1”,则遮蔽部31强行将图像信号设置为“0”。从而将半色调区的半色调点成分从图像信号中移除。如果从图像分离部30输出的确定信号为“0”,则遮蔽部31直接输出图像信号。
光谱分析部2接收从遮蔽部31输出的图像信号,并且如同第一实施例的情况中一样对图像信号P(x,y)执行光谱分析。光谱分析部2输出光谱分析的光谱信号F(uk,vk)。
数据提取部4根据k(k=1至16)从嵌入频率存储器3读取空间频率(uk、vk),并且获得所读取的空间频率(uk,vk)的光谱信号F(uk,vk)。
数据提取部4将从光谱分析部2输出的光谱信号F(uk,vk)与预定临界值T进行比较。如果光谱信号F(uk,vk)大于临界值T,则数据提取部4将数据设置为“1”,并且如果光谱信号F(uk,vk)小于临界值T,则将数据设置为“0”。然后,数据提取部4排列k=1至16的16个数据“1”或“0”,以再生16位嵌入数据。
如上所述,根据第二实施例,通过图像分离部30和遮蔽部31将半色调点成分从半色调区中移除。也就是说,将其中用半色调点表示色调的半色调区(诸如照片或图表)从图像信号中移除。因此,即使当图像信号中包含图表或照片的半色调时,也可以避免光谱分析部2将半色调点光谱成分错误地识别为嵌入数据。因此,通过使用本实施例的数据再生设备,即使在包括半色调的文档中也可以嵌入数据。
下面,将参照附图来描述本发明的第三实施例。与图6中的部分相似的部分用相同的参考标号来表示,并且将省略其详细描述。
图8是嵌入数据再生设备的框图。与第二实施例的情况一样,例如,图像分离部30输出确定信号,其中,将确定为半色调区的像素设置为“1”,并且将其他像素设置为“0”。将这些确定信号发送至光谱分析部32。
与第一实施例的情况一样,光谱分析部32接收从图像输入部1输出的图像信号。如图5所示,光谱分析部32将图像信号的图像划分成多个块,例如,“1”至“16”的16个块。接着,光谱分析部32对块“1”至“16”中的每块的图像执行傅立叶变换。
如果块“1”至“16”中的所有块或大多数块为半色调区,则没有数据嵌入到块“1”至“16”中。因此,即使当对块“1”至“16”执行光谱分析时,也没有有效的光谱数据可以提取。不仅处理无效,而且数据提取的精确度也会降低。
因此,光谱分析部32不对具有由图像分离部30提取的半色调区的块“1”至“16”执行光谱分析。图9是具有没有执行光谱分析的半色调区的每个块的示意图。区域H包括具有半色调区的块h1至h4。光谱分析部32不对块h1至h4执行光谱分析。
为了比较图5与图9,图9中存在没有执行光谱分析的四个块h1至h4。因此,从图5中示出的块“1”至“16”中省略了四个块h1至h4。光谱分析部32添加与图9中的块类似的四个新块,以生成“1”至“16”的16个块。
光谱分析部32对包括四个新块的块“1”至“16”中的每个块执行光谱分析,以获得其光谱频率的平均值。即,光谱分析部32通过等式(5)和(6)对作为傅立叶变换的结果的每个频率计算绝对值的平方。接着,光谱分析部32通过等式(7)计算块“1”至“16”的光谱频率的平均值F(u,v)。光谱分析部32输出平均值F(u,v)的计算结果作为光谱信号。
如上所述,根据第三实施例,例如,将从图像分离部30输出的半色调区的确定信号发送至光谱分析部32。从而在移除半色调区后执行光谱分析。因此,可以单独再生线沿的频率数据,而不受包括在半色调区中的半色调点光谱成分的影响。
下面,将参照附图来描述本发明的第四实施例。与图6中的部分相似的部分用相同的参考标号来表示,并且将省略其详细描述。
图10是嵌入数据再生设备的框图。该嵌入数据再生设备的目标是具有嵌入其中的冗余光谱成分的图像。即使当在图像中最初出现光谱峰值时,该嵌入数据再生设备也能高精度地再生图像,而不受该光谱的影响。
图像输入部40读取具有嵌入其中的嵌入数据的图像,并且输出图像的图像信号。例如,图像输入部40具有扫描仪等。已将冗余的光谱嵌入至所读取的图像中。即,将两个频率光谱分配给一位。如果位为“0”,则嵌入一个频率光谱。如果位为“1”,则嵌入另一个频率成分光谱。
现在,将对具有嵌入其中的嵌入数据的图像进行描述,其中,该嵌入数据是通过嵌入数据再生设备执行再生的前提。由于其数据嵌入装置的配置与图2的框图的配置相似,所以使用图2。
从图像输入部输入的图像可以包含其频率大致等于由调制部23生成的叠加信号Q(x,y)的频率的数据。在这种情况下,很难确定图像的频率是嵌入数据的频率成分还是图像中原先存在的频率成分。
为了解决该问题,调制部23具有多组频率,每组都由对应于嵌入数据的每个值的两个频率组成。调制部23根据嵌入数据的每个值,通过一组频率中的一个频率,生成其中叠加有嵌入数据的叠加信号Q(x,y)。
具体地,调制部23分配包括对应于一位嵌入数据的两个频率的一个组。例如,对应于一位嵌入数据分配(u1,u2)。当嵌入数据为“0”时,使用频率u1。当嵌入数据为“1”时,使用频率u2。图11是通过调制部23嵌入的正弦波的频率成分的布置图。图12示出频率成分之间的对应关系。
在图11中,黑圆“●”表示一个频率。白圆“○”表示另一频率。黑圆“●”和白圆“○”组成一组。例如,如果嵌入数据的第k位为“0”,则(u1,v1)=(100,0)。如果该位为1,则(u1,v1)=(0,100)。从图11和图12可以了解,将绝对值彼此相等并且彼此角度偏移90°的两个频率分配为一组。
通常,在很多情况下,由图像输入部1读取的文档图像的频率成分是点对称的。在这样的前提下,对应于1位嵌入数据分配由两个频率组成的组。当这个前提很难成立时,可以改变由对应于1位嵌入数据的两个频率组成的组的布置。
与第一实施例的嵌入数据的嵌入操作的情况一样,调制部23通过等式(2)获得叠加信号Q(x,y)。
在图10中,光谱分析部41对从图像输入部40输出的图像信号执行光谱分析。首先,与第一实施例的情况一样,光谱分析部41将图像信号的图像划分成多个块,例如块“1”至“16”。例如,块“1”至“16”中的每个块都是64像素×64像素的正方形。光谱分析部41对块“1”至“16”中的每个块的图像执行光谱分析,即,傅立叶变换。光谱分析部41计算光谱频率的平均值F(u,v)的平方,并且输出平均值F(u,v)作为光谱信号。
嵌入频率存储器42存储用于嵌入图像中的参数,即,用于将嵌入数据嵌入到图像中的空间频率数据,作为已知信息。换言之,如图11和图12所示,嵌入频率存储器42将八组空间频率数据(u1k,v1k)(u2k,v2k)存储在统计表格中。
数据提取部43通过使用存储在嵌入频率存储器42中的空间频率数据(u1k,v1k)(u2k,v2k)从光谱信号F(u,v)中提取嵌入数据。根据本实施例,将嵌入数据设置为8位。如图11所示,将两个嵌入频率(u1k,v1k)和(u2k,v2k)分配给从K=1开始的第8位。
数据提取部4计算两个嵌入频率(u1k,v1k)和(u2k,v2k)之间的光谱强度差。如果差是正的,则数据提取部43将位k的数据设置为“1”。如果差是负的,则数据提取部43确定位k的数据为“0”。位k的数据Tk由下列等式表示:
Fd=F(u1k,v1k)-F(u2k,v2k)...            (11)
如果(Fd≥0)      则Tk=1
如果(Fd<0)          则Tk=0
数据提取部43排列k=1至8的8个数据“1”或“0”,以再生8位嵌入数据。
下面将描述通过这样配置的设备进行的嵌入数据的再生操作。
图像输入部40读取具有嵌入其中的冗余光谱嵌入数据的图像,以输出其图像信号。
光谱分析部41接收从图像输入部40输出的图像信号,并将图像信号的图像划分成多个块,例如,“1”至“16”的16个块。光谱分析部41对块“1”至“16”中的每个块的图像执行傅立叶变换。光谱分析部41通过等式(5)至(7)对作为傅立叶变换结果的每个频率计算绝对值的平方。光谱分析部41计算光谱频率的平均值F(u,v),并输出该平均值F(u,v)作为光谱信号。
数据提取部43通过使用存储在嵌入频率存储器42中的空间频率数据(u1k,v1k)和(u2k,v2k),从光谱信号F(u,v)提取嵌入数据。数据提取部43通过等式(11)计算所提取的两个嵌入数据(u1k,v1k)和(u2k,v2k)之间的光谱强度差。如果差是正的,则数据提取部43将位k的数据设置为“1”。如果差是负的,则数据提取部43确定位k的数据为“0”。数据提取部43排列k=1至8的8个数据“1”或“0”,以再生8位嵌入数据。
如上所述,根据第四实施例,计算两个嵌入频率(u1k,v1k)和(u2k,v2k)之间的光谱强度差,如果差是正的,则将位k的数据设置为“1”,并且如果差是负的,则将位k的数据确定为“0”,以再生嵌入数据。因此,可以消除原先存在于图像中的频率的影响。换言之,大量字符的图像的每个频率的光谱强度比少量字符的图像的每个频率的光谱强度高。
因此,与第一实施例的情况一样,根据使用单个频率成分的强度的确定方法,对于大量字符的图像而言,将原先为“0”的位错误地确定为“1”的可能性,以及对少量字符的图像而言,将原先为“1”的位错误地确定为“0”的可能性都会增加。设置适当的临界值可以充分地减小错误确定的可能性。然而,由于临界值取决于文档类型或图像阅读器的响应,所以很难确定最佳的临界值。
如果与该实施例的情况一样,基于两个频率成分的大小进行确定,则可以大大地消除原先存在于图像中的频率成分的影响。因此,可以高度精确地再生嵌入数据。并且还有容易地确定临界值的优点。
下面,将描述本发明的第五实施例。
根据本实施例,改变了第四实施例的数据提取部43的计算方法。数据提取部43设置由下列等式(12)表示的预定临界值Th。如果两个频率之间的光谱差介于Th和-Th之间,则数据提取部43确定Tk=-1。
Fd=F(u1k,v1k)-F(u2k,v2k)            ...(12)
如果(Fd≥Th)          则Tk=1
如果(Th>Fd>-Th)       则Tk=-1
如果(Fd≤-Th)         则Tk=0
Tk=-1表示没有嵌入数据。当K=1至8中的一个为Tk=-1时,数据提取部43确定没有嵌入数据。
因此,根据第五实施例,不仅可以再生嵌入数据,而且可以确定嵌入数据的存在。
下面将参照附图来描述本发明的第六实施例。
图13是串改检测器的结构图。控制部50具有CPU。程序存储器51和数据存储器52连接至控制部50。控制部50向图像分离部54、遮蔽部55、光谱分析部56、数据提取部57、字符码变换部58、以及确定部59发出操作命令。
程序存储器51预先存储用于检测图像串改的程序。例如,串改检测程序描述用于根据图14的串改检测处理流程图执行处理的命令等。
将诸如图像数据的数据临时存储在数据存储器52中。
图像输入部53读取具有嵌入其中的嵌入数据的图像,并且输出图像的图像信号。图像输入部53读取包含嵌入其中的至少具有两个频率成分的嵌入数据的图像,并且输出图像的图像信号。例如,图像输入部53具有用于读取图像的扫描仪。
在这种情况下,通过嵌入文档的字符码的哈希值(hash value)来生成由图像输入部53读取的原始图像。即,从包含原始图像的文档文件提取文本数据作为编码数据。编码数据变为嵌入数据。基于提取的文本编码数据来计算哈希值。哈希值是由文本编码数据唯一生成的数据。例如,通过所有字符编码的排他地逻辑或(O)R)来获得哈希值。这里,例如,将哈希值设置为16位。将哈希值嵌入例如位图图像中。通过例如图2中示出的数据嵌入装置来完成哈希值的嵌入。
图像分离部54从由图像输入部53输出的图像文件提取半色调区。
遮蔽部55遮蔽通过图像分离部54从由图像输入部53输出的图像文件中提取的半色调区,并且将未遮蔽的图像文件发送至光谱分析部56。
光谱分析部56对从遮蔽部55输出的图像文件执行光谱分析。
数据提取部57基于光谱分析部56的光谱分析结果和预置数据,提取嵌入在图像文件中的嵌入数据。
字符码变换部58从由图像输入部53输出的图像文件中提取字符区,并将字符区变换为字符码。
确定部59基于由数据提取部57提取的嵌入数据和由字符码变换部58获得的字符码来确定图像的串改。
下面将描述这样配置的设备的串改检测。
首先,在步骤#1中,图像输入部53通过例如图像读取扫描仪读取具有嵌入其中的嵌入数据的图像,并输出图像文件的图像信号。如上所述,通过嵌入文档的字符码的哈希值生成所读取的图像。将从图像输入部53输出的图像文件存储在数据存储器52中。
然后,在步骤#2中,图像分离部54从由图像输入部53输出的图像文件提取半色调区。半色调区为用半色调点表示色调的图像区(诸如照片或图表)。对于半色调区的分离方法,可以使用列如涂抹方法。图像分离部54从图像文件生成确定图像文件,其中,已经从图像文件中提取了半色调区。
然后,在步骤#3中,遮蔽部55通过由图像分离部54生成的确定图像文件遮蔽从图像输入部53输出的图像信号。遮蔽部55将未被确定图像文件遮蔽的文件,即,遮蔽图像文件发送至光谱分析部56。
然后,在步骤#4中,光谱分析部56对从遮蔽部55输出的遮蔽图像文件执行光谱分析。即,与第一实施例的情况一样,例如,如图5所示,光谱分析部56将图像文件的图像划分成“1”至“16”的16个块。接着,光谱分析部56对块“1”至“16”中的每个块的图像执行傅立叶变换。随后,光谱分析部56通过等式(5)和(6)对作为傅立叶变换结果的每个频率计算绝对值的平方。然后,光谱分析部56通过等式(7)对块“1”至“16”计算光谱频率的平均值F(u,v)。光谱分析部56输出平均值F(u,v)的计算结果作为光谱信号。
然后,在步骤#5中,与第一实施例的情况一样,数据提取部57根据k(k=1至16)从嵌入频率存储器3读取空间频率(uk,vk)。数据提取部57获得所读取的空间频率(uk,vk)的光谱信号F(uk,vk)。随后,数据提取部57将从光谱分析部56输出的光谱信号F(uk,vk)与预定临界值T进行比较。比较结果是,如果光谱信号F(uk,vk)大于临界值T,则数据提取部57将数据设置为“1”。如果光谱信号F(uk,vk)小于临界值T,则数据提取部57将数据设置为“0”。然后,数据提取部57排列k=0至16的16个数据“1”或“0”,以再生16位嵌入数据。
在步骤#6中,字符码变换部58从由图像输入部53输出的图像文件中提取字符区,并且将该字符区变换为字符码。该字符码变换是通过叫做光学字符识别方法(OCR)的普通技术完成的,所以将省略其详细描述。
然后,在步骤#7中,字符码变换部58从所有字符码计算哈希值。该哈希值是通过预定的变换映射从所有字符码唯一确定的。在这种情况下,将哈希值设置为2字节长度,即16位长度。
应该注意到,字符码变换部58平行地执行步骤#2至步骤#5的操作和步骤#6、步骤#7的操作。
然后,在步骤#8中,确定部59基于由数据提取部57提取的嵌入数据和由字符码变换部58获得的字符码来确定图像的串改。即,确定部59将从字符码计算出的哈希值与嵌入在图像中的数据进行比较。比较结果是,如果哈希值与嵌入图像中的数据不同,则确定部59确定图像串改。如果哈希值等于嵌入图像中的数据,则确定部59确定未串改的普通文档。
因此,根据第六实施例,基于图像文件的嵌入数据和字符码来确定图像的串改,其中,从图像文件提取的字符区被变换成字符码。如果没有串改,则嵌入数据等于字符码。然而,例如,当删除/添加、或替换字符时,字符码就会改变。
从字符码再生的哈希值非常可能被改变。例如,在16位哈希值的情况下,为65535/65536=99.9905%。因此,如果文档文件被串改,则可以无误地确定串改。从而可以确定文档文件的真实性。
根据第六实施例,图像分离部54和遮蔽部55并不总是必需的。在与第一实施例的情况一样的情况下,光谱分析部56对从图像输入部53输出的图像信号执行光谱分析。数据提取部57基于光谱分析部56的光谱分析结果和预置数据提取嵌入在图像文件中的嵌入数据。字符码变换部58从由图像输入部53输出的图像文件提取字符区,并将字符区变换为字符码。确定部59基于由数据提取部57提取的嵌入数据和由字符变换部58获得的字符码确定图像的串改。
如上参考第四实施例所述,可以以具有冗余光谱成分的图像为目标。在这种情况下,图像输入部53读取包含嵌入数据的图像以输出图像信号,其中,嵌入数据具有嵌入其中的两个频率成分。
数据提取部57基于光谱分析部56的光谱分析结果和预置数据,从嵌入在图像文件中的至少两个频率成分之一提取嵌入数据。
本领域的技术人员将容易地想到其它优点和修改。因此,在更宽泛方面的本发明并不局限于在此示出和描述的特定细节和示例性实施例。因此,在不背离由所附权利要求及其等同物所限定的本发明的精神或范围的情况下,可以进行多种修改。

Claims (14)

1.一种嵌入数据再生设备,包括:
图像输入部,用于读取具有嵌入其中的嵌入数据的图像,并且输出所述图像的图像信号;
图像分离部,用于从由所述图像输入部输出的所述图像信号提取半色调区;
遮蔽部,用于遮蔽通过所述图像分离部从由所述图像输入部输出的所述图像信号中提取的所述半色调区,并将未遮蔽区的图像信号发送至所述光谱分析部;
光谱分析部,用于对从所述遮蔽部输出的所述图像信号执行傅立叶光谱分析;以及
数据提取部,用于基于所述光谱分析部的傅立叶光谱分析结果和预置数据,提取嵌入在所述图像信号中的所述嵌入数据。
2.根据权利要求1所述的嵌入数据再生设备,其中,所述光谱分析部将所述图像信号的图像划分成多个块,并且对所述多个块中的每个块执行傅立叶光谱分析,以获得所述多个块的光谱频率的平均值。
3.根据权利要求1所述的嵌入数据再生设备,其中,所述数据提取部包括存储器,所述存储器用于存储用作所述预置数据的空间频率数据,其中,所述预置数据用于将所述嵌入数据嵌入到所述图像中,并且所述数据提取部基于所述空间频率数据提取嵌入在所述图像信号中的所述嵌入数据。
4.根据权利要求3所述的嵌入数据再生设备,其中,所述数据提取部根据所述傅立叶光谱分析的结果从所述存储器读取所述空间频率数据以获得光谱信号,将所述光谱信号与预置临界值进行比较,并根据所述比较的结果提取多个位的所述嵌入数据。
5.根据权利要求4所述的嵌入数据再生设备,其中,所述数据提取部用于根据所述空间频率改变所述临界值。
6.根据权利要求1所述的嵌入数据再生设备,其中,所述图像分离部提取用半色调点表示色调的图像区作为半色调区。
7.根据权利要求1所述的嵌入数据再生设备,其中,所述光谱分析部将所述图像信号的图像划分成多个块,并且在不对具有由所述图像分离部提取的所述半色调区的块执行所述傅立叶光谱分析的同时,对其它块中的每个块执行所述傅立叶光谱分析,以获得所述块的每个频率的光谱强度的平均值。
8.一种嵌入数据再生设备,包括:
图像输入部,用于读取具有嵌入其中的嵌入数据的图像,并且输出所述图像的图像信号;
图像分离部,用于从由所述图像输入部输出的所述图像信号提取半色调区;
遮蔽部,用于遮蔽通过所述图像分离部从由所述图像输入部输出的所述图像信号中提取的所述半色调区,并将未遮蔽区的图像信号发送至所述光谱分析部;
光谱分析部,用于对从所述遮蔽部输出的所述图像信号执行傅立叶光谱分析;以及
数据提取部,用于基于所述光谱分析部的傅立叶光谱分析结果和预置数据,提取嵌入在所述图像信号中的所述嵌入数据,其中,
所述图像输入部读取包含嵌入其中的具有至少两个频率成分的嵌入数据的图像,并且输出所述图像的图像信号;以及
所述数据提取部基于所述光谱分析部的傅立叶光谱分析结果和预置数据,从嵌入在所述图像信号中的所述至少两个频率成分之一提取所述嵌入数据。
9.根据权利要求8所述的嵌入数据再生设备,其中,所述数据提取部获得嵌入在所述图像信号中的所述至少两个频率成分之间的光谱强度差,并基于所述差的值提取多个位的所述嵌入数据。
10.一种串改检测器,包括:
图像输入部,用于读取具有嵌入其中的嵌入数据的图像,并输出所述图像的图像信号;
图像分离部,用于从由所述图像输入部输出的所述图像信号中提取半色调区;
遮蔽部,用于将通过所述图像分离部从由所述图像输入部输出的所述图像信号提取的所述半色调区遮蔽,并且将未遮蔽区的所述图像信号发送至所述光谱分析部;
光谱分析部,用于对从所述遮蔽部输出的所述图像信号执行傅立叶光谱分析;
数据提取部,用于基于所述光谱分析部的傅立叶光谱分析结果和预置数据提取嵌入在所述图像信号中的所述嵌入数据;
字符码变换部,用于从由所述图像输入部输出的所述图像信号中提取字符区,并且将所述字符区变换为字符码;以及
确定部,用于基于由所述数据提取部提取的所述嵌入数据和由所述字符码变换部获得的所述字符码确定所述图像的串改。
11.根据权利要求10所述的串改检测器,其中,所述光谱分析部对从所述遮蔽部输出的所述图像信号执行所述傅立叶光谱分析。
12.一种串改检测器,包括:
图像输入部,用于读取具有嵌入其中的嵌入数据的图像,并输出所述图像的图像信号;
图像分离部,用于从由所述图像输入部输出的所述图像信号提取半色调区;
遮蔽部,用于遮蔽通过所述图像分离部从由所述图像输入部输出的所述图像信号中提取的所述半色调区,并将未遮蔽区的图像信号发送至所述光谱分析部;
光谱分析部,用于对从所述遮蔽部输出的所述图像信号执行傅立叶光谱分析;
数据提取部,用于基于所述光谱分析部的傅立叶光谱分析结果和预置数据提取嵌入在所述图像信号中的所述嵌入数据;
字符码变换部,用于从由所述图像输入部输出的所述图像信号中提取字符区,并且将所述字符区变换为字符码;以及
确定部,用于基于由所述数据提取部提取的所述嵌入数据和由所述字符码变换部获得的所述字符码确定所述图像的串改,其中,
所述图像输入部读取包含嵌入其中的具有至少两个频率成分的嵌入数据的图像,并输出所述图像的图像信号;以及
所述数据提取部基于所述光谱分析部的所述傅立叶光谱分析结果和预置数据,从嵌入在所述图像信号中的所述至少两个频率成分之一提取所述嵌入数据。
13.一种嵌入数据再生方法,包括:
读取具有嵌入其中的嵌入数据的图像以输出图像信号;
从所述图像信号提取半色调区;
遮蔽提取的所述半色调区,并对未遮蔽区的图像信号执行所述傅立叶光谱分析;
基于所述傅立叶光谱分析的结果和预置数据提取嵌入在所述图像信号中的所述嵌入数据。
14.一种嵌入数据再生方法,包括:
读取具有嵌入其中的嵌入数据的图像以输出图像信号;
从所述图像信号提取半色调区;
遮蔽提取的所述半色调区,并对未遮蔽区的图像信号执行所述傅立叶光谱分析;
基于所述傅立叶光谱分析的结果和预置数据提取嵌入在所述图像信号中的所述嵌入数据;其中,
所述图像包含嵌入其中的具有至少两个频率成分的嵌入数据;以及
基于所述傅立叶光谱分析的结果和预置数据,从嵌入在所述图像信号中的所述至少两个频率成分之一提取所述嵌入数据。
CNB2006101278132A 2005-09-28 2006-09-20 嵌入数据再生设备和方法以及串改检测器 Expired - Fee Related CN100501761C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/236,758 US7583813B2 (en) 2005-09-28 2005-09-28 Embedding data reproduce apparatus
US11/236,758 2005-09-28

Publications (2)

Publication Number Publication Date
CN1940966A CN1940966A (zh) 2007-04-04
CN100501761C true CN100501761C (zh) 2009-06-17

Family

ID=37893999

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101278132A Expired - Fee Related CN100501761C (zh) 2005-09-28 2006-09-20 嵌入数据再生设备和方法以及串改检测器

Country Status (3)

Country Link
US (1) US7583813B2 (zh)
JP (1) JP4866698B2 (zh)
CN (1) CN100501761C (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9647846B1 (en) * 2015-06-30 2017-05-09 Symantec Corporation Systems and methods for verifying the authenticity of graphical images
CN112233004A (zh) * 2019-06-30 2021-01-15 微软技术许可有限责任公司 图像中的数据嵌入和提取

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848155A (en) * 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
JP4005177B2 (ja) 1997-07-10 2007-11-07 株式会社東芝 カラー画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体
JP2000196861A (ja) * 1998-12-25 2000-07-14 Sony Corp 信号処理装置およびその方法と記録媒体
US6741758B2 (en) * 2000-04-07 2004-05-25 Canon Kabushiki Kaisha Image processor and image processing method
JP2003152989A (ja) * 2001-09-03 2003-05-23 Canon Inc 画像処理装置、及び画像処理方法、並びにプログラム、記憶媒体
US20040001606A1 (en) * 2002-06-28 2004-01-01 Levy Kenneth L. Watermark fonts
JP4193665B2 (ja) 2003-03-05 2008-12-10 株式会社日立製作所 二値画像用電子透かし方法
JP2005117406A (ja) * 2003-10-08 2005-04-28 Kyodo Printing Co Ltd 電子透かし検出システム及び電子透かし検出方法並びに情報提供システム及び情報提供方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
基于小波和傅立叶变换组合的数字图像水印算法. 管秋,唐浩,徐新黎,张聚,王万良.浙江工业大学学报,第33卷第1期. 2005
基于小波和傅立叶变换组合的数字图像水印算法. 管秋,唐浩,徐新黎,张聚,王万良.浙江工业大学学报,第33卷第1期. 2005 *
基于整数小波变换的图像鉴定数字水印技术. 肖亮,吴慧中,韦志辉.计算机工程与应用,第2001年8期. 2001
基于整数小波变换的图像鉴定数字水印技术. 肖亮,吴慧中,韦志辉.计算机工程与应用,第2001年8期. 2001 *
小波域数字图像水印算法的研究. 郭磊,郭宝龙.计算机工程与应用,第2002年13期. 2002
小波域数字图像水印算法的研究. 郭磊,郭宝龙.计算机工程与应用,第2002年13期. 2002 *

Also Published As

Publication number Publication date
JP4866698B2 (ja) 2012-02-01
JP2007097190A (ja) 2007-04-12
US7583813B2 (en) 2009-09-01
US20070071279A1 (en) 2007-03-29
CN1940966A (zh) 2007-04-04

Similar Documents

Publication Publication Date Title
US8006092B2 (en) Digital watermarks for checking authenticity of printed objects
EP1485863B1 (en) Authenticating printed objects using digital watermarks associated with multidimensional quality metrics
US8538068B2 (en) Embedding and detecting hidden information
KR101016712B1 (ko) 워터마크 정보검출 방법
WO2018076409A1 (zh) 一种二维码的防拷贝实现方法及实现系统
JP4187749B2 (ja) ハーフトーンウォーターマーキングおよび関連アプリケーション
EP3477578B1 (en) Watermark embedding and extracting method for protecting documents
CN110766594B (zh) 信息隐藏方法及装置、检测方法、装置及防伪溯源方法
US8009862B2 (en) Embedding data in images
JP2004140764A (ja) 画像処理装置及び画像処理方法
JP3639742B2 (ja) 画像処理装置及びその方法
JPWO2008035401A1 (ja) 電子透かし埋め込み装置および検出装置
US7911653B2 (en) Device using low visibility encoded image to manage copy history
KR20060120102A (ko) 워터마크 정보 매립장치, 워터마크 정보 검출장치,워터마크 정보 매립방법, 워터마크 정보 검출방법, 및인쇄물
CN100501761C (zh) 嵌入数据再生设备和方法以及串改检测器
EP2812848B1 (en) Forensic verification utilizing forensic markings inside halftones
US20070074029A1 (en) Data embedding apparatus
US7974437B2 (en) Identifying steganographic data in an image
JP2008205919A (ja) 画像処理装置及び画像処理方法
JP3787511B2 (ja) 画像処理装置及び画像処理方法
KR20110083453A (ko) 화상형성장치, 화상형성방법 및 문서 인증 방법
WO2006059681A1 (ja) 改ざん検出装置,透かし入り画像出力装置,透かし入り画像入力装置,透かし入り画像出力方法,および透かし入り画像入力方法
JPH08307666A (ja) 文書・写真混在多階調画像のデータ処理装置
Ulichney et al. Combined Covert Data Embedding and Forensic Markings for Graphic Objects
Okamoto et al. A digital watermark technique using morphological signal processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090617

Termination date: 20120920