CN1885912A - 成像设备 - Google Patents

成像设备 Download PDF

Info

Publication number
CN1885912A
CN1885912A CNA2006100932694A CN200610093269A CN1885912A CN 1885912 A CN1885912 A CN 1885912A CN A2006100932694 A CNA2006100932694 A CN A2006100932694A CN 200610093269 A CN200610093269 A CN 200610093269A CN 1885912 A CN1885912 A CN 1885912A
Authority
CN
China
Prior art keywords
image
imaging device
imaging
zone
changed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100932694A
Other languages
English (en)
Other versions
CN100481884C (zh
Inventor
细矢直人
福冈启觉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1885912A publication Critical patent/CN1885912A/zh
Application granted granted Critical
Publication of CN100481884C publication Critical patent/CN100481884C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本发明提供了一种成像设备,它包括:图像获取装置,用于获取对象的图像;存储装置,用于临时存储图像获取装置获得的图像;和控制装置,用于根据存储在存储装置中的第一图像和第二图像之间的比较,检测已经发生改变的部分,并聚焦在已经改变的部分上,每个图像由图像获取装置在不同时间获取。

Description

成像设备
技术领域
本发明涉及使对象成像的成像设备,尤其涉及保证所需对象被自动聚焦的技术。
背景技术
当用成像设备捕获对象的图像时,通过按下快门释放按钮驱使对象聚焦。但是,在利用经过预定时间之后自动开始捕获图像的所谓自定时功能的情况下,会出现以下问题,即、当在定下对象之前按下快门释放按钮使定时器开始计数时,聚焦到不存在要拍摄的对象的背景上。
并且,即使在使其焦点固定在预定距离上的对象成像的情况下,也不易于保证对象准确地处在预定距离上。
因此,正如在例如日本专利申请公布第2004-274619号中所公开的那样,人们提出了当启用自定时器时用辅助光照亮对象并测量要聚焦的距离的技术。
但是,根据在上面背景技术中所述的技术,存在这样的缺点,即、由于难以指定要聚焦的对象,很有可能将焦点定在对象后面的背景景点等上,而不是定在对象上。
发明内容
本发明就是为了解决与现有技术有关的上述问题而构思的,因此,本发明的目的是提供能够聚焦要拍摄的目标对象的成像设备。
为了解决上述问题,根据本发明的成像设备包括:图像获取装置,用于获取对象的图像;存储器,用于临时存储图像获取装置获得的图像;和控制装置,用于根据图像获取装置在不同时间获得的第一图像和第二图像之间的比较,检测它们之间已经发生改变的部分,并保证改变部分得到聚焦。
根据本发明,由于通过比较在不同时间获得的第一图像和第二图像,和通过检测它们之间发生改变的部分,实现改变部分的聚焦的特征,即使在定时功能模式下自动拍摄,也可以获得目标对象得到准确聚焦的完美图像。
附图说明
图1是示出根据本发明实施例的成像设备的配置的方块图;
图2是示出根据本发明实施例的成像操作的步骤的流程图;
图3是示出图像A的例子的图形;
图4是示出图像B的例子的图形;
图5是示出图像C的例子的图形;
图6是示出指定了要比较的区域的图像的例子的图形;
图7是示出含有要比较的分区的图像A的例子的图形;和
图8是示出含有要比较的分区的图像B的例子的图形
实施例描述
在下文中,将参照附图具体描述本发明的优选实施例。本发明可应用于例如,如图1所示的成像设备1。这个成像设备1配有使对象成像的成像单元10。成像单元10包括从对象的图像光中形成图像的透镜10a、用未示出的快门叶片等遮蔽通过透镜10a入射的图像光调整孔径量的光圈驱动单元10b、和根据输入的对象图像产生电成像信号C1的互补金属氧化物半导体(CMOS)图像传感器11。在本发明实施例的描述中,尽管涉及CMOS图像传感器11的使用,但本发明不局限于此,也可以使用电荷耦合器件(CCD)图像传感器。
成像设备1配有相关二次取样(Correlated Double Sampling,CDS)电路12、A/D转换器13、数字信号处理器(DSP)15、CODEC处理器16和存储器17。CDS电路12补偿CMOS图像传感器11产生的成像信号C1的变化。A/D转换器13用于对从CDS电路12供应的成像信号C2模拟/数字转换处理。DSP 15临时存储从A/D转换器13供应的、作为数字化成像信号C2的图像数据,并对其应用预定处理。CODEC处理器16编码从与其连接的DSP 15供应的图像数据。存储器17存储从CODEC处理器16供应的图像数据。
成像设备1进一步配有对从DSP 15供应的图像数据数字/模拟转换处理的D/A转换器18、将来自D/A转换器18的图像数据转换成视频信号的视频编码器19、和响应视频信号向用户显示图像、与视频编码器19连接的监视器20。更进一步,成像设备1包括CPU(中央处理单元)21、操作单元22和定时发生器23。CPU 21控制通过内部总线14与之连接的成像设备1的所有单元。操作单元22与内部总线14连接,使用户可以执行各种各样的操作。定时发生器23响应通过内部总线14从CPU 21发送的控制信号,控制包括从CMOS图像传感器11到DSP 15的元件的信号处理系统。
成像单元10响应从CPU 21供应的操作信号,执行自动光圈控制操作、和自动聚焦控制操作等。此外,响应通过操作单元22输入的孔径值,通过关闭未示出的快门叶片来控制孔径的大小。
CMOS图像传感器11将通过透镜10a和光圈驱动单元10b输入的对象图像转换成电信号,产生成像信号C1,并将它输出到CDS电路12。举例来说,CMOS图像传感器11能够从在成像面上形成的对象图像中选择一部分区域,并有效读出只在如此选择的区域中的像素值。
CDS电路12利用相关二次取样电路消除CMOS图像传感器11供应的成像信号C1中的噪声,或应用增益放大处理,并将结果作为成像信号C2输出到A/D转换器13。A/D转换器13对CDS电路12供应的成像信号C2进行模拟/数字转换处理,将结果输出到DSP 15。举例来说,通过定时发生器23控制这个CDS电路12和A/D转换器13中的每次操作定时,以便以恒定帧速率连续进行图像捕获。
DSP 15是包括两者在这里都未示出的信号处理处理器和图像RAM(随机存取存储器)的块。来自A/D转换器13的表示成成像信号C2的图像在定时发生器23的控制下作为以恒定帧速率组成的数据流供应,并临时存储在图像RAM中。信号处理处理器被设置成将编程图像处理应用于存储在图像RAM中的图像。将这个图像RAM中应用了图像处理的图像发送到CODEC处理器16和D/A转换器18之一或两者。
CODEC处理器16将预定格式的数据压缩应用于从DSP 15发送的数据。这里,可以将它设置成应用遵从诸如联合图像专家组(JPEG)等标准的压缩编码。
存储器17是在其适当地址上存储已经在CODEC处理器16中应用了压缩处理的图像数据的媒体。这个存储器17是为临时存储图像数据供图像比较用而配备的。
监视器20显示已经在D/A转换器18中转换成模拟信号和在视频编码器19中转换称视频信号的图像。监视器20可以由液晶显示元件等组成,液晶显示元件被安装在成像设备1的机壳的侧壁上,以便在进行成像处理的同时,用户可以亲自实时确认成像内容。
通过内部总线14与存储要执行的控制程序的ROM(只读存储器)和起数据累积、部署等的工作区作用的DRAM(动态随机存取存储器)连接的CPU
21具有用作控制成像设备1的整个部分的中央算术单元的功能。CPU 21响应操作单元22供应的操作信号D1,产生操作信号,并通过内部总线14将它发送到成像单元10。
操作单元22由输入键等组成,使用户能够自由地调整成像角度、成像方向,或自由地设置孔径值和曝光时间。这个操作单元22响应用户输入的信息,产生操作信号D1,并通过内部总线14将操作信号D1发送到CPU 21。并且,这个操作单元22具有快门释放按钮221,和响应用户按下快门释放按钮221的操作,产生命令开始或停止图像捕获的操作信号D1,然后,通过内部总线14将这个操作信号D1发送到CPU 21。另外,操作单元22配有未示出的模式切换按钮,用于切换到所谓的自定时模式,从而允许在经过了预定时间之后开始成像操作。
内部存储器24由例如半导体存储器、磁记录媒体、光-电磁记录媒体等组成。通过将这个内部存储器24配备成可换式记录媒体,能够将如此捕获的图像传送到另一台个人计算机等,以便观看或在其中进行各种各样的搜索和处理。
具有上述配置的成像设备1捕获的对象图像于在CMOS图像传感器11中对电信号进行转换处理之后变成成像信号C1,而于在CDS电路12中进行噪声消除处理之后变成成像信号C2,然后,在A/D转换器13中对成像信号C2给予模拟-数字转换处理。并且,表示成成像信号C2的图像在已经存储在未示出的DSP 15中的图像RAM中并经过预定图像处理之后,在D/A转换器18中接受数字-模拟转换处理,以便显示在监视器20上,或者,在CODEC处理器16中被编码,以便记录在存储器17中。
接着,参照图2和3描述根据本发明实施例的成像设备的操作。这里的描述是在假设拍摄者利用在经过预定时间之后自动开始成像的所谓自定时功能拍摄一张某人自己肖像的情况下作出的。但是,本发明不局限于此。
首先,用户用未示出的安装在操作单元22上的模式切换按钮选择自定时模式。利用这个自定时模式,可以捕获拍摄者周围景物的图像,以及他/她自己的肖像。
拍摄者决定适当成像角度,以便所需景物在图像范围内。然后,通过按下快门释放按钮221,成像设备1的自定时器开始倒计数。
当快门释放按钮221被按下时(步骤11),CPU 21将通过CMOS图像传感器11获得的图像A存储到存储器17中(步骤12)。如图3所示,作为目标对象的拍摄者未在图像A中。在经过预定时间之后(步骤13),CPU 21获取要存储在存储器17中的图像B(步骤14)。在这个预定时间间隔内,拍摄者移动到拍摄者自己决定的图像角度内的所需位置。因此,存储在存储器17中的图像B将是,例如,如图4所示的那一个,拍摄者在图3的背景内。
在步骤15中,比较在步骤12中存储的图像A和在步骤14中存储的图像B。根据依赖于亮度从,例如,值0到255中取出的像素值进行这种比较,和检测具有等于或大于预定阈值的差值的像素,从而定义改变部分。
在步骤16中,根据步骤15中的比较,聚焦在发生改变的区域中的对象上。这个聚焦由成像单元10按照来自CPU 21的操作信号完成。当聚焦在其中的对象上时,快门被释放,CPU 21使如此获得的这个图像C存储在外部存储器24中(步骤17)。并且,在捕获这个图像C时,通告作为对象的拍摄者得到聚焦。图像C将是如图5所示的那一个,其中,拍摄者,即,对象比在图像B中得到更精确聚焦。
如上所述,通过比较在不同时间拍摄的图像A和B,并聚焦在发生改变的部分上,由于可以指定目标对象,所以可以获得精确聚焦的所需图像。
举例来说,最好,根据在步骤11中开始计数的自定时器中的设置决定在步骤14中获取图像B的时间。也就是说,步骤13中的预定时间最好按照自定时器中的设置时间决定。例如,如果正好在自定时器计数结束之前获取图像B,并将它与图像A相比较,那么就能够正如在释放快门按钮的自定时器计数结束之前实现聚焦,从而,即使对于移动对象,也能够获取不模糊的清晰图像。
并且,在步骤15中,可以安排成这样,即,如果作为在不同时间拍摄的图像A和B之间的比较结果未检测到改变部分,则在预定时间内过一会儿再次捕获和存储另一个图像,重复这个步骤,直到在比较的这些图像之间发生改变为止。
并且,还可以安排成这样,即,如果在自定时器设置的时间内没有发生改变,即,在从按下自定时器快门释放按钮221直到实际释放快门按钮的时间内没有发生改变,则捕获一个图像作为对在步骤12中存储的图像A聚焦,并将此通知给拍摄者。
此外,可以安排成这样,即,如果作为在不同时间捕获的图像A和B之间的比较结果在数个区域中发生改变,则聚焦在最大区域中存在改变的部分上。
此外,还可以安排成这样,即,通过事先规定要比较的区域,比较与这个区域相对应的那些图像A和B。例如,通过操作单元22的操作,拍摄者可以输入和指定如图6所示的这个用于比较的区域。成像单元1在将拍摄者设立的标记(用虚线指出)的位置存储在存储器17中的同时,执行上述操作步骤。在这种情况下,可以只在所指的标记区域内完成步骤15中图像A和B的比较。这里,当目标对象进入规定的标记区域内时,也就是说,当作为图像A和B的比较结果在标记区域中检测到改变时,成像设备1可以将这个事实告知作为要捕获的对象的拍摄者。从而,使拍摄者能够获得含有像在所指的标记区域中精确聚焦的那样接纳作为目标对象的拍摄者的所需组份(composition)的所需图像。此外,可以显著缩短检测改变部分的计算时间。并且,还可以防止无意聚焦在除了目标对象之外的其它过客、鸟类、云彩等上。
此外,可以安排成这样,即,向拍摄者显示事先划分成如图7所示要比较的数个区域、并且拍摄者从中选择所需区域的项目号的图像。例如,在选择第5号和第8号区域的情况下,可以只比较第5号和第8号区域中的改变部分,即,通过限制在所选的第5号和第8号区域上,可以更有效地比较图7和8的图像。于是,保证图8的图像中存在于这些第5号和第8号区域的改变部分中的对象得到聚焦。
此外,在于不同时间捕获的图像A和B的比较中,还可以安排成这样,即,根据预存的按照脸部或物理特征识别拍摄者的信息来保证拍摄者得到聚焦。例如,为了识别作为对象的拍摄者的脸部,可以利用在本发明人申请的日本专利申请公布第2003-271958和2004-302644号中公开的相关技术。也就是说,当从捕获的图像中检测脸部图像时,从这个脸部图像中搜索脸部特征信息,然后,将它与事先登记的来自拍摄者的脸部图像的脸部特征信息相比较,从而能够识别要成为目标的适当对象。从而,即使在自定时模式下成像,也保证作为目标对象的拍摄者得到精确聚焦。
本领域的普通技术人员应该明白,视设计要求和其它因素而定,可以作出各种各样的修改、组合、子组合和变换,只要它们在所附权利要求书或它的等效物的范围之内。

Claims (5)

1.一种成像设备,包含:
图像获取装置,用于获取对象的图像;
存储装置,用于临时存储所述图像获取装置获得的图像;和
控制装置,用于根据存储在所述存储装置中的第一图像和第二图像之间的比较,检测已经发生改变的部分,并聚焦在已经改变的部分上,每个图像由所述图像获取装置在不同时间获取。
2.根据权利要求1所述的成像设备,进一步包含:
输入装置,用于指定要通过所述控制装置在第一图像和第二图像之间比较的区域,其中,所述控制装置检测指定的区域内已经发生改变的部分。
3.根据权利要求1所述的成像设备,进一步包含输入装置,用于选择用于比较第一图像和第二图像的区域,其中,所述控制装置检测所述输入装置选择的区域内已经发生改变的部分。
4.根据权利要求1所述的成像设备,进一步包含识别装置,用于识别对象,其中,所述控制装置聚焦在第二图像中所述识别装置识别的对象上。
5.一种成像设备,包含:
图像获取单元,用于获取对象的图像;
存储器,用于临时存储所述图像获取单元获得的图像;和
控制器,用于根据存储在所述存储器中的第一图像和第二图像之间的比较,检测已经发生改变的部分,并聚焦在已经改变的部分上,每个图像由所述图像获取单元在不同时间获取。
CNB2006100932694A 2005-06-24 2006-06-23 成像设备 Expired - Fee Related CN100481884C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP185600/05 2005-06-24
JP2005185600A JP4635739B2 (ja) 2005-06-24 2005-06-24 撮像装置

Publications (2)

Publication Number Publication Date
CN1885912A true CN1885912A (zh) 2006-12-27
CN100481884C CN100481884C (zh) 2009-04-22

Family

ID=37567486

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100932694A Expired - Fee Related CN100481884C (zh) 2005-06-24 2006-06-23 成像设备

Country Status (5)

Country Link
US (1) US7493036B2 (zh)
JP (1) JP4635739B2 (zh)
KR (1) KR20060135545A (zh)
CN (1) CN100481884C (zh)
TW (1) TW200710528A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398593B (zh) * 2007-09-25 2012-09-19 富士胶片株式会社 执行理想自拍的摄像装置及使用该装置的自动拍摄方法
CN102761685A (zh) * 2012-02-24 2012-10-31 联想(北京)有限公司 一种获取图像的方法和电子设备
CN104038701A (zh) * 2014-07-01 2014-09-10 宇龙计算机通信科技(深圳)有限公司 终端拍摄的方法、终端拍摄的系统和终端

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278044A (ja) * 2007-04-26 2008-11-13 Canon Inc 撮像装置及びその制御方法
JP5224955B2 (ja) * 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
CN101646018A (zh) * 2008-08-08 2010-02-10 佛山普立华科技有限公司 摄影装置及其自拍方法
CN104969543B (zh) * 2013-02-14 2019-04-02 松下知识产权经营株式会社 电子镜装置
JP5772849B2 (ja) * 2013-03-08 2015-09-02 ソニー株式会社 撮像装置
CN104297896B (zh) * 2014-09-01 2018-07-06 联想(北京)有限公司 一种对焦方法及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3237572A1 (de) * 1982-10-09 1984-04-12 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren zum erzeugen von schichtbildern
JP2584019B2 (ja) * 1988-06-17 1997-02-19 富士写真フイルム株式会社 カメラおよびその合焦制御装置
US5166722A (en) * 1990-08-14 1992-11-24 Nikon Corporation Camera image shake detecting apparatus
JP3183902B2 (ja) * 1991-04-02 2001-07-09 オリンパス光学工業株式会社 自動焦点装置
US5568598A (en) * 1994-09-09 1996-10-22 Intel Corporation Displaying images using progressive fade-in
US5842059A (en) * 1996-07-22 1998-11-24 Canon Kabushiki Kaisha Automatic focus adjusting device
JP2003244520A (ja) * 2002-02-20 2003-08-29 Minolta Co Ltd 撮影装置
JP4092636B2 (ja) * 2002-11-01 2008-05-28 フジノン株式会社 オートフォーカスシステム
JP2004274619A (ja) 2003-03-11 2004-09-30 Matsushita Electric Ind Co Ltd 動画配信サーバ、動画受信端末装置、画像パケット送信方法及び画像パケット受信方法
JP2004289532A (ja) * 2003-03-24 2004-10-14 Fuji Photo Film Co Ltd 自動撮影装置
US7590290B2 (en) * 2004-07-21 2009-09-15 Canon Kabushiki Kaisha Fail safe image processing apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398593B (zh) * 2007-09-25 2012-09-19 富士胶片株式会社 执行理想自拍的摄像装置及使用该装置的自动拍摄方法
CN102761685A (zh) * 2012-02-24 2012-10-31 联想(北京)有限公司 一种获取图像的方法和电子设备
CN102761685B (zh) * 2012-02-24 2016-08-17 联想(北京)有限公司 一种获取图像的方法和电子设备
CN104038701A (zh) * 2014-07-01 2014-09-10 宇龙计算机通信科技(深圳)有限公司 终端拍摄的方法、终端拍摄的系统和终端
CN104038701B (zh) * 2014-07-01 2018-05-15 宇龙计算机通信科技(深圳)有限公司 终端拍摄的方法、终端拍摄的系统和终端

Also Published As

Publication number Publication date
JP2007003939A (ja) 2007-01-11
JP4635739B2 (ja) 2011-02-23
TWI309328B (zh) 2009-05-01
TW200710528A (en) 2007-03-16
US20060291846A1 (en) 2006-12-28
CN100481884C (zh) 2009-04-22
KR20060135545A (ko) 2006-12-29
US7493036B2 (en) 2009-02-17

Similar Documents

Publication Publication Date Title
CN100481884C (zh) 成像设备
US7630567B2 (en) Adaptive image coding with pressure-selected regions
US20190086768A1 (en) Automatic focusing apparatus and control method therefor
JP4858849B2 (ja) 撮像装置及びそのプログラム
JP4613724B2 (ja) 撮像装置および撮像方法
CN101334578B (zh) 图像拍摄装置以及图像拍摄方法
KR101278241B1 (ko) 촬상 장치 및 촬상 방법
EP2401860B1 (en) Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
JP2006208558A (ja) 撮像装置
KR20070054183A (ko) 촬상 장치, 촬상 방법 및 촬상 제어 프로그램
JP2009010776A (ja) 撮像装置、撮影制御方法及びプログラム
JP2007140278A (ja) デジタルカメラ、露出条件決定方法
JP2009157123A (ja) 撮像装置
US8208042B2 (en) Method of controlling digital photographing apparatus, digital photographing apparatus, and medium having recorded thereon a program for executing the method
KR101613529B1 (ko) 카메라 모듈
JP2009017427A (ja) 撮像装置
JP2001255451A (ja) 自動合焦装置、デジタルカメラ、および携帯情報入力装置
KR101436322B1 (ko) 비접촉식 촬영이 가능한 촬상장치 및 비접촉식 촬영방법
EP2091233A2 (en) Imaging apparatus
JP5772849B2 (ja) 撮像装置
JP2009086349A (ja) 撮影装置及び撮影制御方法
JP5262600B2 (ja) 撮像装置、および、プログラム
JP2013093726A (ja) 電子カメラ
JP2005184689A (ja) 撮像装置
JP2011008281A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090422

Termination date: 20210623

CF01 Termination of patent right due to non-payment of annual fee