CN1165158C - 摄像设备和拍摄方法 - Google Patents
摄像设备和拍摄方法 Download PDFInfo
- Publication number
- CN1165158C CN1165158C CNB011047984A CN01104798A CN1165158C CN 1165158 C CN1165158 C CN 1165158C CN B011047984 A CNB011047984 A CN B011047984A CN 01104798 A CN01104798 A CN 01104798A CN 1165158 C CN1165158 C CN 1165158C
- Authority
- CN
- China
- Prior art keywords
- value
- detection frame
- intensity level
- frame
- carry out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims description 83
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 abstract description 35
- 230000010354 integration Effects 0.000 abstract description 3
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 8
- 239000004744 fabric Substances 0.000 description 4
- 239000000700 radioactive tracer Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000009852 Cucurbita pepo Nutrition 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 235000020354 squash Nutrition 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
Abstract
一种利用图像拾取设备将图像光转换成电信号来进行拍摄操作的方法。包括步骤:确定暗分布的位置,并计算暗分布的矩形图比率;确定亮度分布的位置,并设置高亮度限幅设定值;确定物体是否处于背光状态;当物体不是处于背光状态时,使用未改变的高亮度限幅设定值;当物体处于背光状态时,对dark_ratio进行标准化,因此,执行背光校正使得减小所检测到的峰值输出的集成信号的高亮度分量限制值。采用这种方法,能够适当地确定物体是否处于背光,进行适当的背光校正操作。
Description
技术领域
本发明涉及一种用于进行拍摄操作的摄像设备,例如,通过采用图像拾取设备,将来自物体的图像光转换成电子信号进行拍摄操作。本发明特别涉及一种摄像设备,能够根据确定比率的结果检测背光的状态来自动进行预定的背光校正操作,该比率是具有最低亮度电平的图像拾取设备成像表面的一部分的亮度电平和具有最低亮度电平的部分的亮度电平之外的图像拾取设备的成像表面的一部分的亮度电平之间的比率。
背景技术
迄今为止,已经知道当确定物体处于所谓的背光状态时,能够通过进行过度曝光校正操作来防止拍摄曝光不足照片的摄像设备。这种摄像设备的技术例如在日本未实审专利公开号62-110369中已经公开。在本文所揭示的发明中,利用了主要物体很可能位于屏幕中心的倾向。成像屏幕被分为中心部分和中心部分的邻近部分。每个部分的亮度电平都要得到,以便根据中心部分亮度电平和邻近部分亮度电平之间的比率来调节曝光,由此对位于屏幕中心的主要物体进行适当地曝光。
更具体地说,在该摄像设备中,当检测到位于成像屏幕中心区物体的亮度和位于中心邻近区物体的亮度,并且发现位于中心区物体的亮度低于位于中心邻近区物体的亮度,而且低的数量等于或大于预定值时,则确定中心区的物体处于背光状态,以便在拍摄操作期间执行过度曝光校正操作。当执行这种操作时,可以防止拍摄到中心区物体被挤压(squash)和由于曝光不足而出现黑色现象的照片的失误。
另外,迄今为止,知道这样一种摄像设备,当确定物体被背光时提高包含在摄像机内部的曝光标准值以便进行过度曝光校正操作。更具体地说,在这种摄像设备中,要确定当例如图像拾取设备(即,电荷耦合器件(CCD))的输出信号通过光学检测电路(OPD)时所获得的集成信号(integration signal)的电平小于还是大于包含在摄像机内部的曝光标准值。如果大于的话,则执行曝光不足校正操作,而如果小于的话,则执行过度曝光校正操作。在背光状态下,增加曝光标准值来执行过度曝光校正操作。当执行这样的操作时,就可以防止拍摄到中心区物体被挤压和由于曝光不足而出现黑色现象的照片的失误。
此外,近些年来,摄像曝光控制设备已在日本未经实审的公开号2-268080的专利中公开。在该设备中,为了获得一个适当的光度测定值,提供了多个具有不同剪辑电平的高亮度剪辑电路。该设备利用了通过具有与拍摄场景一致的剪辑电平的高亮度剪辑电路的亮度信号。按照这种设备,当确定拍摄场景被背光时,为了确定光度测定值,应通过剪辑电平低的高亮度剪辑电路来输入物体的亮度信号。通过调节光圈的孔径以使得光度测定值等于标准值,就可以防止发生拍摄到中心区物体被挤压和由于曝光不足而出现黑色现象的照片这种失误。
如上所述,通过增加曝光标准值来进行过度曝光校正操作的方法中,例如要给一个移动物体(如汽车)拍照,则在确定物体背光和物体没有背光两者混合的环境中,曝光标准值被增加和减少很多次。因此,有必要考虑预防不稳定的曝光控制操作的方法,例如通过进行延迟操作。
另一方面,为了连续改变高亮度剪辑电平使其与背光程度一致,应预先连续地测量集成信号(在图像拾取设备(CCD)的输出信号通过光学检测电路(OPD)后获得)的高亮度分量电平,在这种方法中,执行越多的剪辑操作,光学检测电路(OPD)的集成信号电平就变得越小。因此,当进行曝光控制操作时,在确定入射到图像拾取设备(CCD)的光量较少的情况下,也应执行过度曝光控制操作。在此,如图11所示,不需要增加或减小曝光标准值,从而实际上可以利用传统的曝光控制操作,可以相对地保持系统的可靠性。
然而,如上所述,在比较中心区物体的亮度和其邻近区物体的亮度的方法中,当主要物体既位于屏幕的中心区又位于屏幕中心的邻近区时,则中心区的亮度与中心邻近区的亮度之间的差值就减小。因此,有时即使物体处于背光状态,由于不能确定它处于背光状态,所以就不会进行曝光校正。在这种情况下,主要物体就曝光不足。
另外,主要物体并不总位于屏幕的中心区。当它位于中心区的邻近区并且背光时,邻近区物体的亮度低于中心区物体的亮度。因此,有时即使物体处于背光状态,由于不能确定它处于背光状态,所以就不会进行曝光校正。在这种情况下,主要物体也会曝光不足。
发明内容
考虑到上述问题,本发明设法克服传统设备中不能进行适当的背光校正的问题。例如,如上所述,当主要物体位于中心区的邻近区时,即使物体处于背光状态,有时也不能确定它是处于背光状态。在这种情况下,由于不能进行适当的校正,主要物体就会曝光不足。
因此,在本发明中,检测成像屏幕上明暗的分布,并且从亮分布中检测亮度信号的峰值。基于暗分布的阴影程度,减小从光学检测电路(OPD)输出的所检测到峰值的集成信号的高亮度分量限幅值。在此,创建的拍摄状态类似于当入射到图像拾取设备(CCD)上的光量较少时所创建的拍摄状态,以便进行过度曝光操作(即,相当亮的曝光校正操作),使得屏幕变亮,从而增强执行背光校正的有效性。
按照本发明的一个方面,提供了一种摄像设备,采用图像拾取设备通过将图像光转换成电子信号来进行拍摄操作。该摄像设备包括:设置装置,在将图像拾取设备的成像表面划分成多个部分的基础上设置检测帧;检测装置,用所设置的每个检测帧来检测亮度电平;加权装置,对于从除了图像拾取设备成像表面的中心检测帧和中心检测帧的邻近检测帧之外的检测帧中检测到的亮度电平执行加权操作;计算装置,用于计算一个比率,该比率是从具有最低检测亮度电平的检测帧中检测到的加权的亮度电平和除了具有最低亮度电平的检测帧以外的检测帧中所检测到的亮度电平平均值之间的比率;其中,当所得到的比率在预定范围之内时,确定其为背光状态,从而可执行校正操作。
按照本发明的另一个方面,提供了一种采用图像拾取设备通过将图像光转换成电子信号来进行拍摄操作的方法,该方法包括以下步骤:通过利用设置装置,在将图像拾取设备的成像表面划分成多个部分的基础上设置检测帧;利用检测装置,用每个所设置的检测帧来检测亮度电平;对于从除了图像拾取设备成像表面的中心检测帧和中心检测帧的邻近检测帧之外的检测帧中检测到的亮度电平执行加权操作;通过利用计算装置来计算比率,该比率是从所检测到的亮度电平最低的检测帧中检测到的亮度电平和除了亮度电平最低的检测帧以外的检测帧中所检测到的亮度电平平均值之间的比率;根据当所得到的比率在预定范围之内时确定背光状态,利用校正装置执行校正操作。
按照本发明,当暗分布的阴暗程度较大时,则确定物体处于背光状态。减小光学检测电路(OPD)检测峰值输出的集成信号的高亮度分量限幅值,以便创建一个拍摄状态类似于当入射到图像拾取设备(CCD)上的光量较少时所创建的拍摄状态,则可以进行过度曝光操作(即,相当亮的曝光校正操作)。因此,对于控制曝光与入射到图像拾取设备(CCD)上的光量或多或少相一致的系统,不需要进行任何操作。所以,实际上可以使用传统的系统。由于不必要向曝光计算系统的功能中再增加复杂的功能,所以就可以保持系统的可靠性。
附图说明
图1是应用本发明的摄像设备实施例的结构方块图;
图2是用于说明摄像设备操作的简单流程图;
图3是用于说明摄像设备操作的详细流程图;
图4是用于说明多个矩形图帧的示意图;
图5是用于说明高亮度限幅电平设置操作的示意图;
图6A和6B是用于说明高亮度限幅电平设置操作的示意图;
图7是用于说明对暗比率值标准化操作的示意图;
图8是说明剪辑高亮度限幅设置值的倾斜情况示意图;
图9是说明标准化的暗比率值、高亮度限幅设置值和高亮度限幅值之间关系的示意图;
图10是用于说明在背光校正操作期间矩形图标准值偏移的示意图;
图11是用于说明曝光校正操作的示意图。
具体实施方式
以下将参考附图对本发明进行描述。图1是应用本发明的摄像设备实施例的结构方块图。
在图1中,来自物体(未表示)的图像光(由虚线表示)通过透镜系统1和光圈装置2入射到图像拾取设备(即,电荷耦合器件(CCD))3中。根据图像拾取设备3的成像表面所构成的图像而构成的成像信号被提供给采样保持(S/H)电路4,以便得到想要的图像信号。然后,该信号被提供给光学检测电路(OPD)10,以便得到进行各种处理操作所需要的诸如集成信号和亮度电平信号等信号。其后,从采样保持电路4中得到的图像信号被提供给记录信号处理器5,并且构成了预定的记录信号。该记录信号被提供给记录设备6,并且被记录在某种记录介质上(未表示)。
来自任何类型操作装置7的信号被提供给用于控制系统的微型计算机8(即,中央处理器(CPU))。来自微型计算机的控制信号被提供给记录信号处理电路5和记录设备6,以控制将从采样保持电路4得到的图像信号记录在记录介质上(未表示)。另外,从光学检测电路(OPD)10得到的诸如亮度电平信号和集成信号等信号被提供给微型计算机8,以确定进行成像操作的图像信号的内容。然后,根据所确定内容而构成的控制信号被提供给驱动电路9,该驱动电路用于调节光圈装置2和图像拾取设备3的曝光时间(即,快门的速度)。
在该摄像设备中,执行上述背光校正的处理操作是按照图2和图3所示的流程图进行的。图3是说明用于本发明摄像设备实施例中的背光校正设备的操作的流程图。图2是图3所示流程图的概要形式流程图,其中,上述处理操作被概略地分为五个处理操作。
当所述处理过程开始时,在图2所示的步骤1中确定暗分布的位置并计算暗分布的矩形图比率。更具体地说,用于确定暗分布位置的矩形图标准值是在图3所示的第一步11中设定的。在此,术语“矩形图”是指屏幕内比标准值亮的部分区域的比率。暗分布位置的确定包括检测屏幕内矩形图的值大于标准值的区域为最小的这种分布。设置用于确定暗分布的矩形图标准值,将其调节到某一位置,在该位置上矩形图的值大子标准值的区域将等于或少于全部区域三分之一的概率很大。
在步骤12中,检测最暗区分布的位置。在此,例如图4所示的,由矩形图帧组成的用于确定暗分布的矩形图为6个矩形图帧的宽度和4个矩形图帧的高度。然而,水平和垂直方向上可以使用任何数量的矩形图帧。如果矩形图在垂直和水平方向上至少有一个矩形图帧,则其所进行的处理操作与采用6个矩形图帧宽和4个矩形图帧高的矩形图所进行的处理操作是相同的。在这种情况下,例如为了模拟采用6个矩形图帧宽和4个矩形图帧高的矩形图所进行的处理操作,所进行的过程为在一个24个时钟的周期内连续移动水平长度为全长六分之一而垂直长度为全长四分之一的矩形图帧,从而在屏幕内移动一次。
在实际的处理过程中,例如基于6个矩形图帧宽和4个矩形图帧高的矩形图,通过如图所示那样分成15种分布状态来计算矩形图的值,例如为了确定最暗分布的位置,分成图4所示的位置1到F。在此,将最暗分布的矩形图值和除了最暗分布以外的矩形图值分别称作为hst_dark_target值和hst_dark_nontarget值。在此,为了可以在同一区域中比较除了最暗分布以外的矩形图值(hst_dark_nontarget值)和最暗分布的矩形图值(hst_dark_target值),采用它们以相应区域划分后所得到的平均值。
在得到矩形图值之后,在步骤13中对从每一种分布中所得到的hst_dark_target值进行加权操作。步骤13的目的是为了增加除了中心部分和中心邻近部分以外的部分的hst_dark_target值,以便减小暗分布的比率,作为减少过度曝光校正量的结果。换句话说,其目的是,当除了中心部分和中心邻近部分以外的部分较暗时,通过减少过度曝光校正量来减弱背光校正操作的影响,以使得后面要讨论的dark_diff数不会变得很小。
更具体地说,图4中所示的位置数分为对应于要进行背光校正的位置(即,位置2、5、6、8、9、B、C和E)和对应于不进行背光校正的位置(即,位置1、3、4、7、A、D和F)。
在要进行背光校正的位置,采用表达式hst_dark_target×10h/10h(加权值:1×)来进行加权操作。
在不进行背光校正的位置,采用表达式hst_dark_target×设定值A/10h(当设定值A为15h时,加权值为1.3×)来进行加权操作。h表示一个十六进制数。
下一步,在步骤14中,采用下面的表达式来计算hst_dark_target值和hst_dark_nontarget值之间的比率:
dark_diff=hst_dark_target×100h/hst_dark_nontarget
因为由控制软件处理的数是十六进制的数,所以表达式中包含100h。包含100h是为了防止当分子很小时结果总是变为零,并且使100h成为中心值(即,零值)。
其后,在步骤15中,所得到的dark_diff数被转换成范围在0dB到-30dB之间的dB值。被转换的值被称为dark_ratio值。这就是暗分布比率。
在执行步骤15之后,则在图2所示的步骤2中确定亮分布的位置并执行高亮度限幅电平设置操作。更具体地说,在图3所示的步骤21中设置用于确定亮分布的矩形图标准值。亮分布位置的确定包括检测屏幕内矩形图的值大于标准值的区域为最大的这种分布。这对应于屏幕内矩形图的值大于标准值的区域为最小的分布是暗分布的情况。设置用于确定亮度分布的矩形图标准值,将其调节到某一电平,该电平时矩形图的值大于标准值的区域约为全部区域三分之一的概率很大。
在步骤22中,检测最亮区分布的位置。在此,例如图4所示的,由矩形图帧组成的用于确定亮度分布的矩形图为6个矩形图帧的宽度和4个矩形图帧的高度。然而,水平和垂直方向上可能使用任何数量的矩形图帧。如果矩形图在垂直和水平方向上至少有一个矩形图帧,则其所进行的处理操作与采用6个矩形图帧宽和4个矩形图帧高的矩形图所进行的处理操作是相同的。在这种情况下,例如为了模拟采用6个矩形图帧宽和4个矩形图帧高的矩形图所进行的处理操作,所进行的过程为在一个24个时钟的周期内连续移动水平长度为全长六分之一而垂直长度为全长四分之一的矩形图帧,从而在屏幕内移动一次。
在实际的处理过程中,例如基于6个矩形图帧宽和4个矩形图帧高的矩形图,通过如图所示那样分成15种分布状态来计算矩形图的值,例如为了确定最亮度分布的位置,分成图4所示的位置1到F。然后,在步骤23中,在与具有最亮度分布的矩形图帧的位置相同的位置上,设置与上述方式所确定的最亮度分布矩形图帧的区域相同的集成帧(integration frame)。集成帧的设置是由来自微型计算机(CPU)8的控制信号通过光学检测电路(OPD)10而进行的。
其后,在步骤24中,当改变高亮度限幅设定值时得到来自集成帧的光学检测电路(OPD)10的集成输出信号。高亮度限幅电平的设置意味着限制集成信号的高亮度成分,从而越多地控制高亮度成分,集成信号的电平就变得越低。在此,如图5所示,高亮度限幅电平的设置在三个时钟周期内被改变了。更具体地说,如果按照循环周期来定义这三个时钟周期,则它们可称为例如下面所定义的第0周期、第1周期和第2周期。
在第零循环中,设置一个高亮度限幅设定值,它比下面的第一循环中所设置的高亮度限幅设定值小一预定值。
在第一循环中,设置高亮度限幅设定值(它比在第零循环中设置的高亮度限幅设定值大一预定值)。
第二循环为一个非操作循环。
在第零循环和第一循环的下一步设置中,如果来自光学检测电路(OPD)的反映小一预定值的第零循环高亮度限幅设定值的集成数据和来自光学检测电路(OPD)的反映第一循环高亮度限幅设定值的集成数据之间存在差值,则增大高亮度限幅设定值。否则,减小高亮度限幅设定值直到产生差值。
所述操作的要点如图6A和6B所示。
换句话说,如图6A所示,如果在第零循环中设置的来自光学检测电路(OPD)10的集成数据的值小于在第一循环中设置的来自光学检测电路(OPD)10的集成数据的值,则确定剪辑来自光学检测电路(OPD)10的集成数据,从而可以增大高亮度限幅设定值。
另一方面,如图6B所示,如果在第零循环中已经设置的来自光学检测电路(OPD)10的集成数据的值等于或大于在第一循环中已经设置的来自光学检测电路(OPD)10的集成数据的值,则确定不剪辑来自光学检测电路(OPD)10的集成数据,从而减小高亮度限幅设定值。这样,利用在第零循环和第一循环中设置的高亮度限幅设定值,得到刚好在开始对来自光学检测电路(OPD)10的集成数据进行限幅之前的高亮度限幅设定值。
在图2和图3所示的步骤3中,执行背光确定操作。在此,当在描述步骤1(在步骤1中确定暗分布的位置并计算暗分布的矩形图值)的说明中所描述的dark_ratio值范围在0dB到小于-6dB之间时,背光确定装置确定物体不是处于背光状态,相反,当dark_ratio值的范围在-6dB到-30dB之间时,确定物体处于背光状态。换句话说,dark_diff数FF00h对应于值-6dB。例如,当dark_diff数在0000h到FF00h的范围内时,背光确定装置就确定物体不是处于背光状态,相反,当dark_diff数在FF00h到FB00h的范围内时,背光确定装置就确定物体处于背光状态。阈值FF00h=-6dB是可以改变的。
当在步骤3中背光确定装置确定物体处于背光状态时,则在图2和图3所示的步骤4中,将在描述步骤2(在步骤2中确定亮度分布的位置并设置高亮度限幅设定值)的说明中所讨论的高亮度限幅设定值作为光学检测电路(OPD)10的集成信号的高亮度限幅值,并且将其传送到光学检测电路(OPD)10。相反,当在步骤3中背光确定装置确定物体不是处于背光状态时,则在图2所示的步骤5中将dark_ration值进行标准化。
更具体地说,在图3所示的步骤51中,通过反转操作来计算dark_ratio值,并将从FB00h(-30dB)到FF00h(-6dB)的范围标准化为从00h到FFh的范围。用于这种计算的公式例如图7中所示:
标准化的dark_ratio=FFh*(dark_ratio-FB00h)/(临界值(FF00h)-FB00h)
在步骤52中,计算高亮度限幅倾斜(tilt)值。在此,基于标准化的dark_ratio值来计算用于剪辑高亮度限幅设定值(其在描述步骤2的部分说明中已经讨论过,其中在步骤2中确定亮度分布的位置并设置亮限幅设定值)的倾斜值。在从00h到FFh的限幅设定值范围内,采用下面的公式计算倾斜值:
倾斜值=限幅设定值×限幅设定值/FFh。
由此可以得到如图8所示的倾斜线(用线A表示)。
在步骤53中,计算高亮度限幅值。在此,由高亮度限幅倾斜值、标准化的dark_ratio值和高亮度限幅设定值来计算用于剪辑的高亮度限幅值。采用下面的公式确定高亮度限幅值:
限幅倾斜值+(限幅设定值-限幅倾斜值)×标准化的dark_ratio值/FFh
标准化的dark_ratio值、高亮度限幅设定值和用于剪辑的高亮度限幅值之间的关系在图9中表示。
这样,检测成像屏幕上亮度分布和暗分布的位置,以便从亮度分布中检测亮度信号的峰值。基于暗分布的阴暗度执行背光校正,以便减小光学检测电路(OPD)的所检测到的峰值输出的集成信号的高亮度限幅值,由此完成该处理过程。这将导致有效、良好的曝光控制操作,即使对于主要物体不是位于屏幕中心的拍摄场景。
在背光校正过程中,减小高亮度限幅值,从而通过过度曝光校正操作相应地增加亮度,使得暗分布矩形图的比率减小。如果这种情况继续下去,则背光确定装置确定物体不是处于背光状态,使得高亮度限幅值增大,从而减弱这种影响。为了克服这个问题,如图10所示,在背光校正期间,将与标准化的dark_ratio值一致的用于确定暗分布的矩形图标准值向正方向偏移,以稳定暗分布矩形图的比率。
此外,即使上述设备采用dark_ratio值确定物体处于背光状态,如果光圈的f数或者由光圈和快门速度组合所得到的曝光值(EV值)没有达到足够执行背光校正的相应值,上述设备也不能确定物体处于背光状态。
对此有两个原因。第一个原因是,当光圈的f数或者由光圈和快门速度组合所得到的曝光值(EV值)接近过度曝光极限(在该位置光圈打开或者在该位置快门速度最低)时,当背光确定装置确定物体处于背光状态时的过度曝光校正量的宽度就变窄,从而只有当增大视频信号放大器的增益时背光校正才有效。
更具体地说,短语“校正量的宽度较窄”的意思是除了当增大视频信号放大器的增益时以外,过度曝光校正量较少,因此,根据光圈的f数或者光圈和快门速度的组合,如果不增大视频信号放大器的增益,物体就不能变得更亮。
在实际的数字静态照相机或视频照相机中,即使光圈的f数或者由光圈和快门速度组合所得到的曝光值(EV值)达到了相应的过度曝光极限(在该位置光圈打开或者在该位置快门速度最低),通过增大视频信号放大器的增益还可以实现进一步的过度曝光。然而,众所周知,当增益增大时,S/N(signal-to-noise,信噪)比也相应地变得不合适。
因此,如果光圈的f数或者由光圈和快门速度组合所得到的曝光值(EV值)没达到足够执行背光校正的值,则使上述设备不确定物体处于背光状态。这就意味着不增大视频信号放大器的增益,视频信号的S/N(signal-to-noise,信噪)比合适。
足够执行背光校正的值涉及等于或大于f3的f数(光圈的f数)和等于或大于-3EV的EV值(由光圈和快门速度的组合得到)。然而,这些值不是绝对的,因此依据多种条件可以使用其它的值。
第二个原因是,在室内进行的普通拍摄操作中,几乎没有会引起背光状态的环境条件,因此背光校正的必要性就较低。因此,用下面的方法确定拍摄操作是在室内进行还是在室外进行。利用光圈的f数或者由光圈和快门速度组合所得到的曝光值(EV值),当任一个值为足够值时,则确定在室外进行拍摄操作,并且当确定物体处于背光状态时,就可以确定过度曝光校正量是足够的。
换句话说,当光圈的f数或者由光圈和快门速度组合所得到的曝光值(EV值)为足够值时,如果曝光值(EV值)等于或大于预定值,则利用室外通常比室内亮的事实就可以确定在室外进行拍摄操作。尽管这个预定值随季节、时间周期和拍摄环境等发生变化,但在此将其设置为等于或大于定值的一个值。例如,它可以设置为等于或大于3200K的色温。这个定值不是绝对值,因此可以根据多种条件改变这个定值。
因此,背光确定装置基于上述的dark_ratio值和光圈的f数或者由光圈和快门速度组合所得到的曝光值(EV值)来进行确定。
因此,在实施例中,检测成像屏幕上亮度分布和暗分布的位置,并从亮度分布中检测亮信号的峰值。基于暗分布的阴暗程度,通过减小光学检测电路(OPD)的所检测峰值输出的集成信号的高亮度成分限幅值,创建的拍摄状态类似于当入射到图像拾取设备(CCD)上的光量较少时所创建的拍摄状态,使得能够进行过度曝光校正操作(即,进行相当亮的曝光校正操作)。这会使屏幕变得更亮,使得能够增强执行背光校正的有效性。
在传统的设备中,当主要物体位于中心区的邻近区时,即使当物体处于背光状态时,也可能不能确定物体处于背光状态。在这种情况下,不能执行合适的背光校正,例如,由于不执行合适的曝光校正而使主要物体曝光不足。然而,依据本发明的设备,可以很容易地解决这种问题。
本发明不仅仅局限于上述的实施例,因此在不违背本发明精神的情况下,可以进行各种更改。
从前述说明中可以理解,依据本发明中所采用的背光校正系统,在图像拾取设备(CCD)的输出信号通过光学检测电路(OPD)之后所得到的集成信号的高亮度成分电平被预先测量出来。然后,通过计算亮度分布和暗分布之间的比率,确定背光的程度以便连续改变高亮度剪辑电平。其后,执行合适的控制操作,以使得在背光的场景中得到合适的测量值,或者对除了背光场景以外的拍摄场景执行合适的控制操作。
在本发明的一种形式中,用每个所设置的检测帧来检测亮度电平的装置通过在所设置的检测帧中移动来确定具有最低亮度电平的检测帧。因此,当至少有一个矩形图帧时,该装置可以进行检测操作,从而可以简化结构。
在本发明的另一种形式中,所述摄像设备还包括校正装置,其利用在图像拾取设备进行成像操作所得到的图像信号的亮度电平集成信号的峰值来执行校正操作。在该摄像设备中,当确定处于背光状态时所执行的校正操作是通过限制图像信号的高亮度成分来执行的。因此,如同曝光控制操作一样,执行类似于入射光量较少时所执行的控制操作的过度曝光控制操作,因此不必增大或减小曝光标准值。从而,可以利用传统的曝光控制操作,相应地能够保持系统的可靠性。
在本发明的另一种形式中,所述摄像设备还包括曝光校正装置,其利用从具有最高检测亮度电平的检测帧中所检测到的亮度电平集成信号的峰值来执行校正操作。在该摄像设备中,当确定处于背光状态时所执行的校正操作是通过限制所检测到的亮度电平的高亮度分量来执行的。因此,即使对于主要物体不假定是位于屏幕中心的拍摄场景,也可执行有效、良好的控制操作。
在本发明的另一种形式中,当所述摄像设备还包括利用从具有最高检测亮度电平的检测帧中所检测到的亮度电平集成信号的峰值来执行校正操作的曝光校正装置,并且当确定处于背光状态时所执行的校正操作是通过限制所检测到的亮度电平的高亮度分量来执行时,则用每个所设置的检测帧来检测亮度电平的装置可以通过在所设置的检测帧中移动来确定具有最高亮度电平的检测帧。因此,当至少有一个矩形图帧时,该装置能够执行检测操作,从而可以简化结构。
在本发明的另一种形式中,当所述摄像设备还包括利用从具有最高亮度电平的检测帧中所检测到的亮度电平集成信号的峰值来执行校正操作的校正装置,并且当确定处于背光状态时所执行的校正操作是通过限制所检测到的亮度电平的高亮度分量来执行,在从图像拾取设备成像表面的中心检测帧和中心检测帧的邻近检测帧中检测到的亮度电平和从其他检测帧中检测到的亮度电平之间执行加权操作。另外,当具有最高检测亮度电平的检测帧位于图像拾取设备成像表面的中心和中心邻近区时,则当确定处于背光状态时所执行的校正操作通过减小所检测到的亮度电平的高亮度分量的限制操作在较小程度上执行。因此,当除了中心部分或中心邻近部分暗时,过度曝光校正量变小,从而背光校正就变得不够显著。
在本发明的另一种形式中,利用表示检测帧中亮度电平大于标准值的区域比率的矩形图来执行用每个所设置检测帧检测亮度电平。因此,能够适当地进行亮度电平的检测。
在本发明的另一种形式中,所述摄像设备还包括结合至少一种调节光圈和快门速度功能的曝光校正装置。在该摄像设备中,只有当校正装置中光圈和/或快门速度的调节值是允许执行校正操作的值时,才可执行当确定处于背光状态时所执行的校正操作。因此,不必增大视频信号放大器的增益,从而也不会出现视频信号的S/N(信噪)比变得不适合的问题。
在本发明的另一种形式中,所述摄像设备还包括结合至少一种调节光圈和快门速度功能的校正装置。在该摄像设备中,只有当校正装置中光圈和/或快门速度的调节值是允许确定拍摄环境是否在室外的值时,才可执行当确定处于背光状态时所执行的校正操作。因此,就可以防止通常在背光校正的必要性很小的室内不需要执行的校正。
在传统的设备中,不能执行适当的背光校正。例如,当主要物体位于中心区的邻近时,即使物体处于背光状态,有时也不能确定它处于背光状态。在这种情况下,由于不能执行适当的校正,所以主要物体会曝光不足。本发明能够容易地克服这个问题。
Claims (9)
1.一种利用图像拾取设备通过将图像光转换成电子信号来进行拍摄操作的摄像设备,该摄像设备包括:
设置装置,在将图像拾取设备的成像表面划分成多个部分的基础上设置检测帧;
检测装置,用所设置的每个检测帧来检测亮度电平;
加权装置,对于从除了图像拾取设备成像表面的中心检测帧和中心检测帧的邻近检测帧之外的检测帧中检测到的亮度电平执行加权操作;
计算装置,用于计算一个比率,该比率是从具有最低检测亮度电平的检测帧中检测到的加权的亮度电平和除了具有最低亮度电平的检测帧以外的检测帧中所检测到的亮度电平平均值之间的比率;
其中,当所得到的比率在预定范围之内时,确定其为背光状态,从而可执行校正操作。
2.如权利要求1所述的摄像设备,其中,用所设置的每个检测帧来检测亮度电平的装置通过在所设置的检测帧中移动来确定具有最低亮度电平的检测帧。
3.如权利要求1所述的摄像设备,还包括曝光校正装置,其利用来自所述图像拾取设备的图像信号的亮度电平集成信号的峰值来执行曝光校正操作,其中,当确定处于背光状态时所执行的校正操作是通过限制图像信号的高亮度分量来执行的。
4.如权利要求1所述的摄像设备,还包括曝光校正装置,其利用从具有最高检测亮度电平的检测帧中所检测到的亮度电平集成信号的峰值来执行曝光校正操作,其中,当确定处于背光状态时所执行的校正操作是通过限制所检测到的亮度电平的高亮度分量来执行的。
5.如权利要求4所述的摄像设备,其中,用每个所设置的检测帧来检测亮度电平的装置通过在所设置的检测帧中移动来确定具有最高亮度电平的检测帧。
6.如权利要求1所述的摄像设备,其中,利用表示检测帧中亮度电平大于标准值的区域比率的矩形图来执行用每个所设置检测帧检测亮度电平。
7.如权利要求1所述的摄像设备,还包括结合至少一种调节光圈和快门速度功能的曝光校正装置,其中,只有当曝光校正装置中光圈和/或快门速度的调节值是允许执行校正操作的值时,才可执行当确定处于背光状态时所执行的校正操作。
8.如权利要求1所述的摄像设备,还包括结合至少一种调节光圈和快门速度功能的曝光校正装置,其中,只有当曝光校正装置中光圈和/或快门速度的调节值是允许确定拍摄环境是否在室外的值时,才可执行当确定处于背光状态时所执行的校正操作。
9.一种采用图像拾取设备通过将图像光转换成电子信号来进行拍摄操作的方法,该方法包括以下步骤:
通过利用设置装置,在将图像拾取设备的成像表面划分成多个部分的基础上设置检测帧;
利用检测装置,用每个所设置的检测帧来检测亮度电平;
对于从除了图像拾取设备成像表面的中心检测帧和中心检测帧的邻近检测帧之外的检测帧中检测到的亮度电平执行加权操作;
通过利用计算装置来计算比率,该比率是从所检测到的亮度电平最低的检测帧中检测到的亮度电平和除了亮度电平最低的检测帧以外的检测帧中所检测到的亮度电平平均值之间的比率;
根据当所得到的比率在预定范围之内时确定背光状态,利用校正装置执行校正操作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP054254/2000 | 2000-02-29 | ||
JP2000054254A JP4576658B2 (ja) | 2000-02-29 | 2000-02-29 | 撮像装置、撮像方法及び撮像プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1311604A CN1311604A (zh) | 2001-09-05 |
CN1165158C true CN1165158C (zh) | 2004-09-01 |
Family
ID=18575534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011047984A Expired - Fee Related CN1165158C (zh) | 2000-02-29 | 2001-02-27 | 摄像设备和拍摄方法 |
Country Status (5)
Country | Link |
---|---|
US (4) | US6879345B2 (zh) |
JP (1) | JP4576658B2 (zh) |
KR (1) | KR100733096B1 (zh) |
CN (1) | CN1165158C (zh) |
TW (1) | TW501364B (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4576658B2 (ja) * | 2000-02-29 | 2010-11-10 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
JP4622196B2 (ja) * | 2001-09-10 | 2011-02-02 | ソニー株式会社 | 撮像装置 |
JP3806038B2 (ja) * | 2002-01-07 | 2006-08-09 | 富士写真フイルム株式会社 | 画像処理システム及び撮像装置 |
FR2838016B1 (fr) * | 2002-03-29 | 2004-09-17 | Valeo Vision | Procede de traitement en temps reel d'un signal representatif d'une image |
AT412317B (de) * | 2002-05-06 | 2004-12-27 | Advanced Comp Vision Gmbh Acv | Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen |
EP1404118A1 (en) * | 2002-09-20 | 2004-03-31 | Seiko Epson Corporation | Backlight adjustment processing of image using image generation record information |
JP4218348B2 (ja) * | 2003-01-17 | 2009-02-04 | オムロン株式会社 | 撮影装置 |
KR100609155B1 (ko) * | 2004-03-22 | 2006-08-02 | 엘지전자 주식회사 | 영상 처리 장치 및 이를 이용한 역광 보정 방법 |
JP4289259B2 (ja) * | 2004-08-31 | 2009-07-01 | カシオ計算機株式会社 | 撮像装置及び露出制御方法 |
JP4694336B2 (ja) * | 2005-09-30 | 2011-06-08 | 富士フイルム株式会社 | 電子内視鏡装置 |
TWI285047B (en) * | 2005-11-24 | 2007-08-01 | Sunplus Technology Co Ltd | Method of automatic exposure control and automatic exposure compensated apparatus |
KR100793230B1 (ko) * | 2006-07-24 | 2008-01-10 | 엘지전자 주식회사 | 카메라의 부분 역광 보정장치 및 방법 |
JP4992507B2 (ja) * | 2007-03-28 | 2012-08-08 | ソニー株式会社 | 撮像装置、映像信号処理装置及び映像信号処理方法 |
US20080255840A1 (en) * | 2007-04-16 | 2008-10-16 | Microsoft Corporation | Video Nametags |
KR101431185B1 (ko) | 2007-06-22 | 2014-08-27 | 삼성전자 주식회사 | 영상 향상 방법 및 장치, 이를 이용한 영상 처리 시스템 |
JP5127317B2 (ja) | 2007-06-25 | 2013-01-23 | 三洋電機株式会社 | カメラ |
US8526632B2 (en) * | 2007-06-28 | 2013-09-03 | Microsoft Corporation | Microphone array for a camera speakerphone |
US8165416B2 (en) * | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
US8330787B2 (en) * | 2007-06-29 | 2012-12-11 | Microsoft Corporation | Capture device movement compensation for speaker indexing |
US8026955B2 (en) * | 2007-08-30 | 2011-09-27 | Honda Motor Co., Ltd. | Camera exposure controller including imaging devices for capturing an image using stereo-imaging |
KR101367103B1 (ko) * | 2007-11-15 | 2014-02-26 | 삼성전자주식회사 | 역광유무여부 검사장치 및 방법 |
TWI396165B (zh) * | 2008-04-22 | 2013-05-11 | Au Optronics Corp | 液晶顯示器及其背光模組驅動裝置與方法 |
CN101282425B (zh) * | 2008-04-30 | 2010-06-23 | 北京中星微电子有限公司 | 一种背光补偿的方法和装置 |
CN101582991B (zh) | 2008-05-13 | 2011-02-09 | 华为终端有限公司 | 图像处理方法及装置 |
US20100259639A1 (en) * | 2009-04-13 | 2010-10-14 | Qualcomm Incorporated | Automatic backlight detection |
US8184089B2 (en) * | 2009-07-29 | 2012-05-22 | Samsung Electronics Co., Ltd. | Backlight level selection for display devices |
TWI387332B (zh) | 2009-08-26 | 2013-02-21 | Altek Corp | A method of backlighting |
CN102196182A (zh) * | 2010-03-09 | 2011-09-21 | 株式会社理光 | 逆光检测设备及逆光检测方法 |
JP5968068B2 (ja) * | 2011-05-24 | 2016-08-10 | キヤノン株式会社 | 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
JP5586796B2 (ja) * | 2011-12-28 | 2014-09-10 | 富士フイルム株式会社 | 撮像装置及びその制御方法並びに交換レンズとレンズ交換式撮像装置本体 |
JP2014075721A (ja) * | 2012-10-05 | 2014-04-24 | Nikon Corp | 露出制御装置及び光学機器 |
CN103646392B (zh) * | 2013-11-21 | 2016-10-26 | 华为技术有限公司 | 逆光检测方法及设备 |
US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
CN109889733B (zh) * | 2019-03-25 | 2021-07-02 | 瑞芯微电子股份有限公司 | 一种自动曝光补偿方法、存储介质及计算机 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07118786B2 (ja) * | 1985-11-08 | 1995-12-18 | 松下電器産業株式会社 | 撮像装置 |
US5339163A (en) * | 1988-03-16 | 1994-08-16 | Canon Kabushiki Kaisha | Automatic exposure control device using plural image plane detection areas |
JPH01287637A (ja) * | 1988-05-16 | 1989-11-20 | Minolta Camera Co Ltd | 多分割測光装置 |
JP2977133B2 (ja) * | 1989-03-14 | 1999-11-10 | ミノルタ株式会社 | スチルビデオカメラの露出制御装置 |
EP0387817A3 (en) * | 1989-03-16 | 1991-12-11 | Konica Corporation | Electronic still camera |
JP2506184B2 (ja) * | 1989-04-10 | 1996-06-12 | 富士写真フイルム株式会社 | 露出制御装置 |
JP2899031B2 (ja) * | 1989-12-28 | 1999-06-02 | キヤノン株式会社 | 自動露出制御装置 |
JPH03223821A (ja) * | 1990-01-30 | 1991-10-02 | Canon Inc | カメラ |
JPH0484574A (ja) * | 1990-07-27 | 1992-03-17 | Mitsubishi Electric Corp | 撮像装置 |
JP2766067B2 (ja) * | 1990-10-31 | 1998-06-18 | キヤノン株式会社 | 撮像装置 |
JPH04172080A (ja) * | 1990-11-06 | 1992-06-19 | Canon Inc | 撮像装置 |
JPH04264432A (ja) * | 1991-02-19 | 1992-09-21 | Minolta Camera Co Ltd | 擬似ズーム可能なカメラ |
JP2817820B2 (ja) * | 1991-09-04 | 1998-10-30 | 富士写真フイルム株式会社 | ビデオカメラ用露出制御装置 |
JP3298138B2 (ja) * | 1992-03-23 | 2002-07-02 | 株式会社ニコン | 焦点検出装置 |
JP3412174B2 (ja) * | 1992-05-21 | 2003-06-03 | 松下電器産業株式会社 | 自動露光制御装置 |
JPH06130451A (ja) * | 1992-10-20 | 1994-05-13 | Nikon Corp | カメラの表示装置 |
JP3409362B2 (ja) * | 1992-09-25 | 2003-05-26 | 株式会社ニコン | カメラの輝度値演算装置 |
JP3666900B2 (ja) * | 1994-04-25 | 2005-06-29 | キヤノン株式会社 | 撮像装置および撮像方法 |
US5715377A (en) * | 1994-07-21 | 1998-02-03 | Matsushita Electric Industrial Co. Ltd. | Gray level correction apparatus |
JP3471923B2 (ja) * | 1994-09-19 | 2003-12-02 | キヤノン株式会社 | カメラ |
JPH08186761A (ja) * | 1994-12-30 | 1996-07-16 | Sony Corp | ビデオカメラ装置及びビデオカメラ露出制御方法 |
JP3420405B2 (ja) * | 1995-09-20 | 2003-06-23 | キヤノン株式会社 | 撮像装置 |
JP3791102B2 (ja) * | 1997-03-19 | 2006-06-28 | ソニー株式会社 | 露光制御装置、露光制御方法およびカメラ |
KR100480560B1 (ko) * | 1997-08-13 | 2005-07-07 | 삼성전자주식회사 | 영상의 역광 보정방법 및 장치 |
DE19812199C1 (de) * | 1998-03-19 | 1999-11-04 | Siemens Ag | Verfahren zur Herstellung einer Halbleiteranordnung und eine mindestens zwei Halbleiterelemente umfassende Halbleiteranordnung |
JP4057147B2 (ja) * | 1998-06-16 | 2008-03-05 | コニカミノルタビジネステクノロジーズ株式会社 | 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置 |
US6694051B1 (en) * | 1998-06-24 | 2004-02-17 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and recording medium |
JP2000050152A (ja) * | 1998-07-24 | 2000-02-18 | Minolta Co Ltd | デジタルカメラの露光量制御システム |
JP4169415B2 (ja) * | 1999-02-08 | 2008-10-22 | 三洋電機株式会社 | 固体撮像装置 |
JP4576658B2 (ja) * | 2000-02-29 | 2010-11-10 | ソニー株式会社 | 撮像装置、撮像方法及び撮像プログラム |
-
2000
- 2000-02-29 JP JP2000054254A patent/JP4576658B2/ja not_active Expired - Fee Related
-
2001
- 2001-02-14 TW TW090103291A patent/TW501364B/zh not_active IP Right Cessation
- 2001-02-27 US US09/794,972 patent/US6879345B2/en not_active Expired - Fee Related
- 2001-02-27 CN CNB011047984A patent/CN1165158C/zh not_active Expired - Fee Related
- 2001-02-28 KR KR1020010010288A patent/KR100733096B1/ko not_active IP Right Cessation
-
2004
- 2004-09-13 US US10/940,223 patent/US7518643B2/en not_active Expired - Fee Related
-
2005
- 2005-03-29 US US11/092,024 patent/US7403231B2/en not_active Expired - Fee Related
- 2005-03-29 US US11/093,335 patent/US7400354B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1311604A (zh) | 2001-09-05 |
KR20010085699A (ko) | 2001-09-07 |
US7400354B2 (en) | 2008-07-15 |
US6879345B2 (en) | 2005-04-12 |
US20050231630A1 (en) | 2005-10-20 |
US20010017660A1 (en) | 2001-08-30 |
TW501364B (en) | 2002-09-01 |
US7518643B2 (en) | 2009-04-14 |
US20050030414A1 (en) | 2005-02-10 |
KR100733096B1 (ko) | 2007-06-27 |
US7403231B2 (en) | 2008-07-22 |
JP2001242504A (ja) | 2001-09-07 |
US20050231629A1 (en) | 2005-10-20 |
JP4576658B2 (ja) | 2010-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1165158C (zh) | 摄像设备和拍摄方法 | |
JP3849834B2 (ja) | オートホワイトバランス制御方法 | |
TWI228000B (en) | Image processing apparatus, camera apparatus, and automatic exposure control method | |
CN1993982A (zh) | 摄像装置、摄像方法及摄像控制程序 | |
CN102104785A (zh) | 摄像设备及其控制方法 | |
CN1941853A (zh) | 成像设备、以及曝光控制设备、方法和程序 | |
CN1842133A (zh) | 成像设备 | |
JP4269699B2 (ja) | 電子カメラ | |
CN1925559A (zh) | 图像处理装置和图像处理方法 | |
CN1263280C (zh) | 照相机 | |
JP5029195B2 (ja) | 露出制御装置および撮像装置 | |
CN1764243A (zh) | 图像处理装置、图像记录装置和图像处理方法 | |
JP2007036438A (ja) | 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法 | |
JP2002287039A (ja) | 顕微鏡用撮影装置 | |
JP4300936B2 (ja) | 撮像装置 | |
CN1265620C (zh) | 数字照相机 | |
CN108337448B (zh) | 高动态范围图像获取方法、装置、终端设备及存储介质 | |
JP2004186876A (ja) | デジタルカメラ | |
JP5473582B2 (ja) | 画像処理装置、方法及びプログラム | |
CN1750603A (zh) | 图像处理装置、图像记录装置和图像处理方法 | |
JP4077217B2 (ja) | 自動露出制御装置及びそのプログラム | |
JP4054263B2 (ja) | 撮像装置及び撮像装置の撮影条件設定方法 | |
JP2004349930A (ja) | デジタルカメラ | |
JP2971477B2 (ja) | 露出制御方式 | |
JP4541600B2 (ja) | 撮像装置及び露出制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040901 Termination date: 20150227 |
|
EXPY | Termination of patent right or utility model |