CN1377178A - 图像拾取设备、曝光决定方法、程序、及存储介质 - Google Patents

图像拾取设备、曝光决定方法、程序、及存储介质 Download PDF

Info

Publication number
CN1377178A
CN1377178A CN02107837A CN02107837A CN1377178A CN 1377178 A CN1377178 A CN 1377178A CN 02107837 A CN02107837 A CN 02107837A CN 02107837 A CN02107837 A CN 02107837A CN 1377178 A CN1377178 A CN 1377178A
Authority
CN
China
Prior art keywords
exposure
value
brightness value
difference
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02107837A
Other languages
English (en)
Other versions
CN1194532C (zh
Inventor
高桥贤司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1377178A publication Critical patent/CN1377178A/zh
Application granted granted Critical
Publication of CN1194532C publication Critical patent/CN1194532C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)

Abstract

本发明的目的在于增大在一种扫描AE方案中的曝光值的精度。为了实现该目的,在多个曝光值下拾取图像。对于相应曝光值得到屏幕分裂亮度值和曝光值差。从在曝光值差之间的关系选择两个屏幕分裂亮度值和曝光值差。由选择值计算一个亮度值以决定在实际曝光下的一个曝光值。

Description

图像拾取设备、曝光决定方法、程序、及存储介质
发明领域
本发明涉及图像拾取设备、曝光决定方法、程序、及存储介质。
发明背景
用来决定数字照相机曝光的装置之一是一种用来在预定曝光值下进行光度测定和根据光度测定数据决定最佳曝光的扫描型曝决定设备。
根据这种方法,在多个曝光值下进行光度测定,并且计算在每个曝光值下在屏幕亮度值与目标亮度值之间的曝光差值。实际曝光的曝光值通过使用一个具有出自在这些曝光值下得到的图像的曝光差值的最小绝对值的曝光值、和通过使用该曝光值的曝光差值计算。
然而,这种设备不可能准确地计算在CCD等饱和特性的干扰下的曝光差值。
将举例说明得到设备中的曝光值的方法。
在图5中,坐标表示曝光值的级。
让BvT0是物体的曝光值,基于在曝光值Bv0和Bv1下的曝光的曝光差值是DeltaBv0和DeltaBv1。基于在在曝光值Bv0下的曝光的曝光值差不会成为DeltaBv0′,因为由于CCD的饱和特性削减该值,并且Bv0作为比一个实际值小的值输出。
比较DeltaBv0和DeltaBv1的绝对值,DeltaBv1较小。一个曝光值BvT0因此通过Bv1+DeltaBv1得到。
如果不能得到Bv0和Bv1的准确值,如图6中所示,则Bv0+DeltaBv0和Bv1+DeltaBv1都不可能与BvT1一致。
这种现象防止物体的曝光值的准确确定。
为了通过这种方法得到准确的曝光值,考虑到CCD饱和和非线性区域的存在必须增大曝光扫描操作的数量。必须更精细地设置曝光以使在饱和等影响下的误差最小。
当用户按下快门时必须进行这种扫描。扫描操作数量的增大直接导致增大的快门时滞。
本发明概述
本发明考虑到以上情形已经形成,并且其目的在于,提供一种能够得到准确曝光值同时使快门时滞最小的曝光决定设备、一种带有曝光决定设备的图像拾取设备、一个程序、及一种存储介质。
为了解决常规问题和实现以上目的,根据本发明的一种图像拾取设备具有如下布置。
更具体地说,图像拾取设备包括:一个图像拾取器件,拾取物体;和一个处理器件,带有一个亮度值计算单元,从在多个不同曝光值下通过由图像拾取器件拾取图像得到的多个图像数据得到在相应曝光值下图像的亮度值,一个曝光差值计算单元,计算表示在亮度值与在实际曝光下的一个预置目标亮度值之差的曝光差值,及一个曝光值计算单元,按照曝光差值计算单元的计算结果根据出自多个图像数据的至少两个图像数据,计算在实际曝光下的一个曝光值。
根据本发明一种曝光方法具有如下步骤。
更具体地说,曝光决定方法包括:亮度值计算步骤,从在多个不同曝光值下通过拾取图像得到的多个图像数据,得到在相应曝光值下图像的亮度值;曝光差值计算步骤,计算表示在亮度值与在实际曝光下的一个预置目标亮度值之差的曝光差值;及曝光值计算步骤,按照在曝光差值计算步骤中的计算结果根据出自多个图像数据的至少两个图像数据,计算在实际曝光下的曝光值。
根据本发明的一种程序具有如下处理。
更具体地说,一种程序使计算机执行曝光决定方法。
根据本发明的一种存储介质具有如下结构。
更具体地说,一种存储介质计算机可读地存储程序。
由随后本发明的一个最佳实施例的描述,除以上讨论的那些之外的其它目的和优点对于熟悉本专业的技术人员是显然的。在描述中,参照附图,附图形成其一部分,并且表明本发明的一个例子。然而,这个例子没有穷举本发明的各种实施例,并因此为了确定本发明的范围参照描述之后的权利要求书。
附图的简要描述
图1是一个实施例的处理方块图;
图2是在实施例中的AE计算单元的方块图;
图3表示用于在实施例中每个屏幕分裂区域的一个加权因数;
图4解释在实施例中的一种曝光决定设备;
图5解释一种扫描型曝光决定设备;及
图6解释扫描型曝光决定设备。
最佳实施例的详细描述
下面将描述本发明的一个最佳实施例。
图1是示意方块图,表示根据本发明实施例的一种数字照相机。
标号101指示一个图像拾取单元,该图像拾取单元包括一个透镜系统、一个挡块、一个快门、一个电子快门、一个诸如CCD之类的图像拾取元件、及一个A/D转换器。图像拾取单元101经透镜系统输出一个投影在CCD上的图像作为一个数字信号。
标号102指示一个AF控制器。当用户释放快门时,AF控制器102探测焦点。
标号103指示一个图像拾取控制器。图像拾取控制器103根据焦点数据执行透镜聚焦控制。
在聚焦透镜之后,一个AE控制器105从一个预定曝光值ControlBv0得到一个F数和电子快门速度,并且把这些值发送到图像拾取控制器103。
图像拾取控制器103以接收的F数和电子快门速度把图像投影在CCD上,由此得到图像数据。
把在曝光值ControlBv0下受控和得到的图像数据发送到一个AE计算单元104。
图2是方块图,表示AE计算单元。
将解释AE计算单元104的操作。
从图像拾取单元101发送的图像数据201,用来计算亮度值的一个区域亮度值计算单元202计算每个6×6区域的平均亮度值(I=0,5,J=0,5)。
每个区域的得到亮度值Y(I,J)用来根据公式(1)由一个用来计算对于一个目标亮度值Yref的曝光差值DeltaBv的曝光差值计算单元203计算一个曝光差值DeltaBv: DeltaBv = Lo g 2 ( Σ ( Y ( I , J ) × Weight ( I , J ) ) ΣWeight ( I , J ) × Yref ) … ( 1 )
其中Yref是图像的目标亮度值,而权重(I,J)是图3中所示每个区域的加权因数。
把计算曝光差值和由区域亮度值计算单元202计算的Y(I,J)发送到一个区域亮度值和曝光差值存储器204。这些值分别存储为在曝光值ControlBv0下曝光时的一个曝光差值DeltaBv0和区域亮度值Y0(I,J)。
类似地,图像拾取元件在不同曝光值ControlBv1和ControlBv2下由图1中的AE控制器105曝光。计算在曝光值ControlBv1下曝光的一个屏幕的曝光差值DeltaBv1和区域亮度值Y1(I,J)、及在曝光值ControlBv2下曝光的一个屏幕的曝光差值DeltaBv2和区域亮度值Y2(I,J),并且存储在图2中的区域亮度值和曝光差值存储器204中。
这些曝光值满足
     ControlBv0>ControlBv1>ControlBv2    ...(2)
在得到在三个曝光值ControlBv0、ControlBv1、和ControlBv2下曝光图像拾取元件时的曝光差值DeltaBv和区域亮度值Y(I,J)之后,用来计算一个曝光值的一个实际曝光值计算单元205计算在实际曝光下的一个曝光值Bv 206,基于它实际拾取物体以便记录在一个存储器件中,通过:
对于DeltaBv0≥0,
Bv=ControlBv0+DeltaBv0       ...(3)对于DeltaBv0<0和DeltaBv1≥0, Ycalc ( I , J ) = ( Y 0 ( I , J ) × ABS ( DeltaBv 1 ) × 2 ^ ( ControlBv 0 - ControlBv 1 ) + Y 1 ( I , J ) × ABS ( DeltaBv 0 ) ) ( ABS ( DeltaBv 0 ) + ABS ( DeltaBv 1 ) ) … ( 4 ) DeltaBvcalc = Lo g 2 ( Σ ( Ycalc ( I , J ) × Weight ( I , J ) ) ΣWeight ( I , J ) × Yref ) … ( 5 )
Bv=ControlBv1+DeltaBvcalc    ...(6)其中ABS(A)是A的绝对值。对于DeltaBv1<0和DeltaBv2≥0, Ycalc ( I , J ) = ( Y 1 ( I , J ) × ABS ( DeltaBv 2 ) × 2 ^ ( ControlBv 1 - ControlBv 2 ) + Y 2 ( I , J ) × ABS ( DeltaBv 1 ) ) ( ABS ( DeltaBv 1 ) + ABS ( DeltaBv 2 ) ) … ( 7 ) DeltaBvcalc = Lo g 2 ( Σ ( Ycalc ( I , J ) × Weight ( I , J ) ) ΣWeight ( I , J ) × Yref ) … ( 8 )
Bv=ControlBv2+DeltaBvcalc    ...(9)对于DeltaBv2<0,
Bv=ControlBv2+DeltaBv2
...(10)
参照图4将解释公式(5)。
DeltaBv0和DeltaBv1的绝对值的比值A∶B=ABS(DeltaBv0)∶ABS(DeltaBv1)由在Bv0下曝光时得到的区域亮度Y0(I,J)和在Bv1下曝光时得到的区域亮度Y1(I,J)计算。计算亮度值Ycalc(I,J)从比值A∶B的加权平均得到。在实际曝光下的曝光值Bv由计算亮度值Ycalc(I,J)计算。
2^(ControlBv0-ControlBv1)是一个系数,用来把由曝光值ControlBv0计算的亮度值Y0(I,J)转换成在曝光值ControlBv1下曝光时得到的一个亮度值。
把由实际曝光值计算单元205计算的在实际曝光下的曝光值Bv发送到图1中的AE控制器105。AE控制器105根据曝光值Bv决定用于实际曝光的一个F数和快门速度。
决定的F数和快门速度输出到图像拾取控制器103。图像拾取单元101根据这些值执行实际曝光,并且把一个实际曝光图像数字信号发送到一个图像处理器106。
实际曝光图像数字信号在图像处理器106中经受图像处理,如色度处理、亮度处理、边缘强调处理、gamma处理、及JPEG转换处理。生成数据输出一个数据写单元107,并且写在一种存储介质中。
在该实施例中,曝光扫描使用三个曝光值进行。曝光值的数量不限于三个,并且能任意设置到两个或多个,只要快门时滞允许。
如上所述,根据以上实施例,图像拾取设备包括:一个图像拾取器件,用来拾取物体;和一个处理器件,带有一个亮度值计算单元,用来由在多个不同曝光值下通过由图像拾取器件拾取图像得到的多个图像数据得到在相应曝光值下一个屏幕的亮度值,一个曝光差值计算单元,用来计算表示在亮度值与在实际曝光下的一个预置目标亮度值之差的曝光差值,及一个曝光值计算单元,用来按照曝光差值计算单元的计算结果根据出自多个图像数据的至少两个图像数据计算在实际曝光下的一个曝光值。该实施例能提供一种能够使必需的曝光扫描操作数量最小以得到一个准确曝光值并且能够使快门时滞最小的曝光决定设备、和一种具有该曝光决定设备的图像拾取设备。
(其它实施例)
当存储用来实现上述实施例的功能的软件程序代码的一种存储介质(或记录介质)供给到一个系统或设备,并且该系统或设备的计算机(或CPU或MPU)读出和执行存储在该存储介质中的程序代码时,也实现该实施例的目的。在这种情况下,从存储介质读出的程序代码实现上述实施例的功能,并且存储程序代码的存储介质构成本发明。当计算机执行读出的程序代码时,实现上述实施例的功能。而且,当在计算机上运行的OS(操作系统)根据程序代码的指令进行部分或全部实际处理时,实现上述实施例的功能。
另外,当从存储介质读出的程序代码写在插入在计算机中的一个功能扩展卡的存储器中或连接到计算机上的一个功能扩展单元的存储器中,并且功能扩展卡和功能扩展单元的计算机根据程序代码的指令进行部分或全部实际处理时,实现上述实施例的功能。
本发明不限于以上实施例,并且在本发明的精神和范围内能进行各种变更和修改。因此,为了通知公众本发明的范围,形成如下权利要求书。

Claims (10)

1.一种图像拾取设备,包括:
一个图像拾取器件,拾取物体;和
一个处理器件,带有一个亮度值计算单元,从在多个不同曝光值下通过由所述图像拾取器件拾取图像得到的多个图像数据得到在相应曝光值下图像的亮度值,一个曝光差值计算单元,计算表示在亮度值与在实际曝光下的一个预置目标亮度值之差的曝光差值,及一个曝光值计算单元,按照所述曝光差值计算单元的计算结果根据出自多个图像数据的至少两个图像数据,计算在实际曝光下的一个曝光值。
2.根据权利要求1所述的设备,其中所述曝光值计算单元根据表示两个图像数据的亮度值之差的曝光差值及两个图像数据的目标亮度值和曝光值得到一个计算亮度值,并且通过使用计算亮度值计算在实际曝光下的曝光值。
3.根据权利要求2所述的设备,其中根据两个曝光差值的绝对值通过两个图像数据亮度值的加权平均得到计算亮度值。
4.根据权利要求1所述的设备,其中所述亮度值计算单元对于每个屏幕分裂块计算一个亮度值。
5.一种曝光决定方法,包括:
亮度值计算步骤,从在多个不同曝光值下通过拾取图像得到的多个图像数据,得到在相应曝光值下图像的亮度值;
曝光差值计算步骤,计算表示在亮度值与在实际曝光下的一个预置目标亮度值之差的曝光差值;及
曝光值计算步骤,按照在曝光差值计算步骤中的计算结果根据出自多个图像数据的至少两个图像数据,计算在实际曝光下的一个曝光值。
6.根据权利要求5所述的方法,其中在曝光值计算步骤中,根据表示两个图像数据的亮度值之差的曝光差值及两个图像数据的目标亮度值和曝光值得到一个计算亮度值,并且使用计算亮度值计算在实际曝光下的曝光值。
7.根据权利要求6所述的方法,其中根据两个曝光差值的绝对值通过两个图像数据亮度值的加权平均得到计算亮度值。
8.根据权利要求5所述的方法,其中在亮度值计算步骤中,对于每个屏幕分裂块计算一个亮度值。
9.一种程序,使计算机执行权利要求5中定义的曝光决定方法。
10.一种存储介质,计算机可读地存储在权利要求9中定义的程序。
CNB021078378A 2001-03-22 2002-03-22 图像拾取设备、及曝光决定方法 Expired - Fee Related CN1194532C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001082947A JP4181753B2 (ja) 2001-03-22 2001-03-22 露出決定装置およびその露出決定装置を備えた撮像装置
JP082947/2001 2001-03-22

Publications (2)

Publication Number Publication Date
CN1377178A true CN1377178A (zh) 2002-10-30
CN1194532C CN1194532C (zh) 2005-03-23

Family

ID=18938829

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021078378A Expired - Fee Related CN1194532C (zh) 2001-03-22 2002-03-22 图像拾取设备、及曝光决定方法

Country Status (3)

Country Link
US (2) US7002632B2 (zh)
JP (1) JP4181753B2 (zh)
CN (1) CN1194532C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170058A (zh) * 2016-08-30 2016-11-30 维沃移动通信有限公司 一种曝光方法及移动终端
WO2020077936A1 (zh) * 2018-10-17 2020-04-23 北京图森未来科技有限公司 一种曝光评估值的统计方法及成像设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048561A (ja) * 2002-07-15 2004-02-12 Fuji Photo Film Co Ltd 撮像装置及び測光装置
US7173663B2 (en) * 2002-10-31 2007-02-06 Freescale Semiconductor, Inc. Automatic exposure control system for a digital camera
JP4289259B2 (ja) * 2004-08-31 2009-07-01 カシオ計算機株式会社 撮像装置及び露出制御方法
JP4916268B2 (ja) * 2006-09-29 2012-04-11 キヤノン株式会社 撮像装置、及びその制御方法
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0817455B2 (ja) * 1987-06-09 1996-02-21 キヤノン株式会社 撮像装置
JP3139028B2 (ja) 1991-02-04 2001-02-26 株式会社ニコン 撮影装置
JP3002298B2 (ja) * 1991-07-09 2000-01-24 株式会社日立製作所 撮像装置の露光制御方法
US5831676A (en) 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
US5309243A (en) 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
KR100396203B1 (ko) * 1993-06-17 2003-12-31 소니 가부시끼 가이샤 노광장치및방법,그노광장치를가지는비디오카메라
ATE517394T1 (de) 1994-10-25 2011-08-15 United Parcel Service Inc Automatische elektrische kamera für etikettenbildaufnahme
FR2730829B1 (fr) * 1995-02-22 2003-06-06 Asahi Optical Co Ltd Dispositif de mesure de distance
KR100191308B1 (ko) * 1995-08-23 1999-06-15 윤종용 휘도변화에 따른 조리개 조절방법 및 그 장치
US6545700B1 (en) * 1997-06-25 2003-04-08 David A. Monroe Virtual video teleconferencing system
US6628334B1 (en) * 1998-06-23 2003-09-30 Intel Corporation Method and apparatus for improving image signals
KR100495415B1 (ko) * 1999-12-30 2005-06-14 매그나칩 반도체 유한회사 이미지 센서에서의 자동 노출 장치
JP3768060B2 (ja) * 2000-03-10 2006-04-19 三洋電機株式会社 ディジタルカメラ
US7342609B2 (en) * 2000-05-09 2008-03-11 Eastman Kodak Company Exposure adjustment in an imaging apparatus
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
US6859230B2 (en) * 2001-11-07 2005-02-22 Omnivision Technologies, Inc. Method of fast automatic exposure or gain control in a MOS image sensor
US6621987B1 (en) * 2003-01-29 2003-09-16 Novatek Microelectronics Corp. Method of fast converging appropriate exposure value
JP2005191954A (ja) * 2003-12-25 2005-07-14 Niles Co Ltd 撮像システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170058A (zh) * 2016-08-30 2016-11-30 维沃移动通信有限公司 一种曝光方法及移动终端
CN106170058B (zh) * 2016-08-30 2019-05-17 维沃移动通信有限公司 一种曝光方法及移动终端
WO2020077936A1 (zh) * 2018-10-17 2020-04-23 北京图森未来科技有限公司 一种曝光评估值的统计方法及成像设备
CN111064897A (zh) * 2018-10-17 2020-04-24 北京图森智途科技有限公司 一种曝光评估值的统计方法及成像设备
CN111064897B (zh) * 2018-10-17 2021-02-19 北京图森智途科技有限公司 一种曝光评估值的统计方法及成像设备
US11871119B2 (en) 2018-10-17 2024-01-09 Beijing Tusen Zhitu Technology Co., Ltd. Method for calculating exposure evaluation value and imaging device

Also Published As

Publication number Publication date
US7024108B2 (en) 2006-04-04
US7002632B2 (en) 2006-02-21
US20020163587A1 (en) 2002-11-07
CN1194532C (zh) 2005-03-23
US20060002700A1 (en) 2006-01-05
JP2002277918A (ja) 2002-09-25
JP4181753B2 (ja) 2008-11-19

Similar Documents

Publication Publication Date Title
CN1081370C (zh) 利用平均值匹配直方图均衡的图像增强方法及其电路
US7623727B2 (en) Image binarization apparatus, image binarization method, image pickup apparatus, image pickup method, and a computer product
JP5925227B2 (ja) 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法
CN1232104C (zh) 摄像装置和摄像方法
JP2007074163A (ja) 撮像装置および撮像方法
CN101047792A (zh) 图像处理装置、图像处理方法和成像装置
CN101534393A (zh) 对象图像检测装置、其控制方法、程序及电子设备
CN1207924C (zh) 取决于图像的面部检测方法
CN105141853A (zh) 图像处理方法以及电子设备
JP2010263423A (ja) 画像処理方法および画像処理装置
CN112383772B (zh) 相机性能自动测试方法、装置、电子设备及存储介质
CN1194532C (zh) 图像拾取设备、及曝光决定方法
CN1130077C (zh) 利用梯度模式匹配的运动补偿装置和方法
CN1244236C (zh) 距离计算方法和图像拾取设备
JP4971785B2 (ja) 画像処理装置及び方法、及び撮像装置
CN111540042B (zh) 用于三维重构的方法、装置以及相关设备
US10922796B2 (en) Method of presenting wide dynamic range images and a system employing same
CN116249015A (zh) 摄像头遮挡检测方法、装置、摄像头设备及存储介质
CN104639842A (zh) 影像处理装置及曝光控制方法
CN1172261C (zh) 图像识别装置
JP2003259390A (ja) ホワイトバランス補正装置およびそれを備えた撮像装置、その制御方法、その制御方法を動作させるプログラム、およびそのプログラムを記憶した記憶媒体
CN111212240B (zh) 图像生成装置、图像生成方法和记录介质
KR20220108664A (ko) 다중 노출 이미지 기반 이미지 복원 시스템 및 방법
CN1678028A (zh) 进行高精度信号处理的信号处理电路及摄像装置
JPH05199443A (ja) 電子カメラの合焦位置検出装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050323

Termination date: 20180322