CN101285989A - 自动对焦装置、图像拾取装置和自动对焦方法 - Google Patents
自动对焦装置、图像拾取装置和自动对焦方法 Download PDFInfo
- Publication number
- CN101285989A CN101285989A CNA2008100904439A CN200810090443A CN101285989A CN 101285989 A CN101285989 A CN 101285989A CN A2008100904439 A CNA2008100904439 A CN A2008100904439A CN 200810090443 A CN200810090443 A CN 200810090443A CN 101285989 A CN101285989 A CN 101285989A
- Authority
- CN
- China
- Prior art keywords
- value
- assessed value
- object images
- focus
- assessed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
本发明公开了自动对焦装置、图像拾取装置和自动对焦方法。用于具有对焦环的图像拾取装置的自动对焦装置包括:评估值计算器,该评估值计算器基于对象图像的多个区域的图像信号的高频分量,周期性地计算对象图像的多个区域的多个评估值;以及控制单元,该控制单元在检测到对焦环已被停止之后,基于在就在对焦环被停止之前获得的评估值的波动呈现预定历史的对象图像的区域中获得的评估值,对呈现预定历史的对象图像的区域执行图像处理,并且基于通过图像处理获得的评估值的峰值,输出用于移动对焦透镜的指令信号。
Description
技术领域
本发明涉及能够基于通过图像数据处理获得的评估值而自动精确地将焦点调节到对象上(下文中称为“焦点对准”)的自动对焦装置、图像拾取装置和自动对焦方法。
背景技术
本领域中的典型图像拾取装置例如是摄像机或者数码相机,其包括用于自动将焦点调节到对象上的自动对焦控制单元或者AF(自动调焦)功能。用户或者可以选择利用手动对焦对对象成像,或者可以选择针对图像拾取装置而提供自动对焦功能。
例如,公开号为2003-241077的日本未审查专利申请公开了一种透镜系统,该透镜系统手动将焦点调节到对象上,并且随后利用前述自动对焦功能来进一步调焦。一种类型的调焦在透镜系统中被手动切换。
发明内容
例如,当用户将摄像机设置为手动对焦操作模式以手动将焦点调节到对象上时,用户通常在通过取景器来查看对象图像期间手动将焦点调节到对象上。现有的摄像机模型通常具有小的取景器显示器,各个取景器显示器最大为大约两英寸。一般难以利用具有小显示器的取景器来将焦点调节到对象上,并且当对象图像被高清晰度显示器显示时,通过观察具有较小显示器的取景器对象图像上的焦点已被调节过一次,这个困难变得更加明显。换言之,对象图像上的焦点看起来已被在电子取景器的小屏幕显示器上调节过;但是,实际上,当在大约为四英寸的的高清晰度显示器上显示对象图像时,变得明显的是焦点未被调节过。
相比之下,当用户将摄像机设置为自动对焦操作模式时,在取景器的屏幕上所显示的对象上焦点被自动调节而不失败;但是,检测区域一般被设置为屏幕的中心。在这种情况下,检测区域不一定与用户试图对其调节焦点的屏幕上的对象相匹配。
本发明的实施例试图提供能够利用手动对焦和自动对焦处理这两者来获得精确调焦的自动对焦装置、图像拾取装置和自动对焦方法。
根据本发明的实施例,试图提供一种用于具有对焦环的图像拾取装置的自动对焦装置。该自动对焦装置包括:评估值计算器,该评估值计算器基于对象图像的多个区域的图像信号的高频分量,周期性地计算对象图像的多个区域的多个评估值;以及控制单元,该控制单元在检测到对焦环已被停止之后,基于在就在对焦环已被停止之前获得的评估值的波动呈现预定历史的对象图像的区域中获得的评估值,对呈现预定历史的对象图像的区域执行图像处理,并且基于通过图像处理获得的评估值的峰值,输出用于移动对焦透镜的指令信号。
根据本发明的实施例,用户首先手动将焦点调节到对象上,自动对焦机构自动检测所处理的对象和图像,以便调节对象上的焦点的最终精度。
根据本发明的实施例,用户可以首先手动将焦点调节到对象上,并且可选地激活自动对焦功能以将焦点调节到对象的适当区域上。
附图说明
图1是图示出根据本发明一个实施例的摄像机的配置的框图。
图2是图示出评估值计算器的配置的图。
图3是图示出所拾取的图像如何用帧划分的一个示例的图。
图4是图示出水平方向评估值计算滤波器的配置的图。
图5是图示出根据本发明一个实施例的对焦处理的流程图。
图6A和图6B是各自图示出所拾取的图像如何用帧划分的一个示例的图。
图7是图示出在对焦环被操作期间评估值随时间波动的一个示例的图。
具体实施方式
将按照附图来详细描述本发明的优选实施例。
图1图示出根据本发明一个实施例的具有自动对焦机构的图像拾取装置(例如摄像机)的配置。图1中所示的摄像机是一个能够利用AF图像处理机制在手动和自动对焦操作之间切换对焦操作的模型。摄像机的透镜模块包括:具有图像拾取透镜1c和对焦透镜1的透镜组;位置检测器1a;透镜机构1b;透镜驱动器2;对焦环1d;以及编码器1e。相机模块包括图像拾取器件3、图像拾取器件驱动器4、图像信号发生器5、图像信号处理器6、评估值计算器7、亮度相加值计算器8、控制单元9、存储器10和开关13。
摄像机的透镜模块包括:具有图像拾取透镜1c和对焦透镜1的透镜组,被配置用于对入射到图像拾取器件的图像拾取表面的图像拾取透镜1c的对象图像进行对焦;被配置用于检测每个透镜的位置的位置检测器;用于驱动每个透镜的透镜驱动机构;以及被配置用于控制透镜驱动机构的移动的透镜驱动器。除了对焦透镜1和图像拾取透镜1c之外的透镜(例如用于确定焦点位置的方向的摆动透镜(wobbling lens))被从图1所示的透镜模块中省略。
对焦透镜1包括被配置用于检测对焦透镜1的位置(即,焦点位置)的位置检测器1a、被配置用于在光轴方向上移动对焦透镜的位置的透镜驱动机构1b、以及被配置用于控制透镜驱动机构1b的移动的透镜驱动器2。同样,摆动透镜(未示出)包括摆动透镜驱动机构,摆动透镜驱动机构用于在光轴方向上移动透镜的位置和位置检测器1a以执行适当的摆动。透镜模块还包括用于控制入射光量的光圈或光阑(未示出)。光圈包括被配置用于检测光圈的孔径的光圈位置检测器和用于打开和关闭光圈的的光圈驱动机构。注意,对焦透镜也可以用作该实施例中的摆动透镜。
对焦环1d用于手动将摄像机的焦点调节到对象上。可以通过转动对焦环1d来手动将焦点调节到对象上。对焦环1d的转动度数可以由编码器1e检测,并且检测到的度数被编码器计数器(未示出)转换为脉冲信号。转换后的脉冲信号然后被输出到控制单元9。
透镜驱动器2被提供以来自位置检测器1a的各种检测到的信号,例如表示焦点位置的信号、表示摆动量的信号和表示光圈的孔径的信号。包括透镜CPU和透镜驱动电路的透镜驱动器2被配置用于根据从控制单元9传送的指令来移动对焦透镜1的焦点。透镜驱动器2与用于设置自动对焦模式或者发起自动对焦操作的用户接口(未示出)相连接,因此,透镜驱动器2被提供以根据用户接口的操作的操作信号。透镜驱动器2包括采用ROM或EEPROM的存储器(未示出),该存储器上存储有诸如对焦透镜1和摆动透镜的焦距、孔径比数据、制造商名称和制造商序号之类的信息。
透镜驱动器2基于所存储的信息、检测到的信号和稍后所述的从控制单元9提供的对焦控制信号或摆动控制信号来生成透镜驱动信号。透镜驱动器2还向透镜驱动机构1b提供所生成驱动信号,以使得对焦透镜1被移至获得对象图像上的期望焦点的位置。透镜驱动器2向摆动透镜驱动机构提供所生成的透镜驱动信号以使摆动透镜摆动,从而使得对焦透镜1将检测焦点对准位置的方向。透镜驱动器2还生成光圈驱动信号来控制光圈的孔。
在图1所示的摄像机中,对象图像经由对焦透镜1而被形成在图像拾取器件3上,然后被图像拾取器件3光电转换为电信号。所产生的信号然后被输出到位于图像拾取器件3之后的图像信号发生器5。图像拾取器件3可以包括CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等等。图像拾取器件驱动器4是向图像拾取器件3提供驱动信号以将形成在图像拾取器件3上的对象图像光电转换为电信号的图像拾取器件驱动电路的一个示例。驱动信号被基于垂直同步信号VD、水平同步信号HD和由时钟信号发生器(未示出)生成的时钟信号CLK(这些信号都用于摄像机的组件的标准操作)而提供至图像拾取器件3。
在图像信号发生器5中,将从图像拾取器件3输出的电信号经过适当的信号处理以生成遵从预定标准的图像信号。图像信号被传送到摄像机之后的电路组(图像信号处理器6),同时被输入到评估值计算器7。评估值计算器7对图像拾取帧内所设置的特定区域中的图像信号的高频分量进行滤波,并且计算与图像对比度有关的评估值。在对典型的对象成像期间,评估值随着对象图像接近焦点对准状态而增大,并且评估值在对象图像焦点对准时达到相对最大。上述评估值被针对图像信号的一个域(field)而更新一次。利用评估值的自动对焦操作是本领域中公知的技术,在由本发明的申请人先前所公开的公开号为10-213736的日本未审查专利申请中详细描述了其一个示例。
上述处理是针对三原色R(红)、G(绿)和B(蓝)的每一种而执行的。例如,相机模块包括分色棱镜(未示出)。分色棱镜将从透镜模块入射的光分为三种基色R、G和B,并且分别将R分量光提供至R分量图像拾取器件、将G分量光提供至G分量图像拾取器件并将B分量光提供至B分量图像拾取器件。在图1中,三个R、G和B分量图像拾取器件被表示为图像拾取器件3。
在图像拾取器件3上形成的具有三种颜色的对象图像经过预定处理,然后该对象图像被图像拾取器件3光电转换为信号,并且输出到图像信号发生器5。图像信号发生器5例如包括前置放大器(未示出)和A/D(模拟/数字)转换器。输入到图像信号发生器5的电信号的电平被前置放大器放大,对信号执行相关双采样以消除复位噪声(reset noise),并且A/D转换器将模拟信号转换为数字图像信号。而且,图像信号发生器5被配置用于对所提供的每种颜色的图像信号执行增益控制、黑电平稳定或动态范围控制等,并且将如此获得的图像信号提供至图像处理器6、评估值计算器7和亮度相加值计算器8。
图像信号处理器6对从图像信号发生器5提供的图像信号执行各种信号处理,并且生成输出图像信号。各种信号处理包括用于对电平等于或高于某一电平的图像信号进行压缩的拐点校正(knee correction)、用于基于所配置的伽玛曲线来校正图像信号的电平的伽玛校正、和用于控制图像信号的电平使其落入预定范围内的白电平限幅(white clip)处理或黑电平限幅(black clip)处理。图像信号处理器6还执行边缘增强或者线性矩阵处理,以及用于生成具有期望格式的输出图像信号的编码处理。
评估值计算器7对图像拾取帧内所设置的特定区域中的图像信号的高频分量进行滤波,以计算与图像对比度相对应的评估值ID并且将计算的评估值ID提供至控制单元9。
注意,在具有诸如前置放大器和模拟数字(A/D)转换器的图像信号发生器5、图像信号处理器6、评估值计算器7等处所执行的那些处理采用从位于图像信号发生器5、图像信号处理器6、评估值计算器7之前的单元所提供的垂直方向同步信号VD、水平方向同步信号HD和时钟信号CLK,以执行各个处理。或者,可以从时钟信号发生器获得这些信号。
下面更详细地描述评估值计算器7。图2图示出评估值计算器7的一种配置。评估值计算器7包括用于基于每种颜色的图像信号来生成亮度信号DY的亮度信号发生电路21、用于生成如下所述的1 5个评估值ID0至ID14评估值发生电路22、以及接口电路23。接口电路23被配置用于与控制单元9通信,并且根据来自控制单元9的请求来提供所生成的评估值。
亮度信号发生电路21执行以下操作:利用从图像信号发生器5提供的图像信号R、G、B计算DY=0.30R+0.59G+0.11B,并且生成亮度信号DY。亮度信号DY之所以被以这种方式生成,是因为其足以简单地检测对比度级别的变化并且判断对比度是高还是低,以确定对象图像为焦点对准还是焦点未对准。注意,亮度信号DY的上述运算表达式不限于此,也可以应用各种其他表达式。
评估值发生器22生成15个评估值ID0至ID14。评估值ID0至ID14是通过将图像拾取帧内所设置的特定区域(下文中称为“评估帧”)中的图像信号的频率分量相加而获得的,并且提供与图像的模糊(blurring)相对应的值。这些评估值本质上是将图像拾取帧(下文中称为“评估帧”)中所设置的特定区域中的图像信号的频率分量相加的结果,并且提供与图像的模糊相对应的值。
用于计算评估值的数据包括两种类型,即,IIR型和Y型数据。IIR型数据包括由HPF(高通滤波器)从亮度信号滤波的高频分量;而Y型数据包括最初亮度信号DY。
上面所使用的HPF是IIR型(无限脉冲响应型)HPF。评估值被基于HPF的类型而分为IIR0、IIR1、IIR3和IIR4。这意味着每种类型的HPF具有不同的截止频率。因此,可以利用具有不同截止频率的HPF获得评估值。例如,与利用具有低截止频率的HPF的情况相比,利用具有高截止频率的HPF而获得的评估值在焦点位置附近可以呈现显著的变化。另外,当拾取图像在很大程度上焦点未对准时,与利用具有高截止频率的HPF的情况相比,利用具有低截止频率的HPF而获得的评估值可以呈现显著变化。因此,评估值发生器22包括具有不同截止频率的HPF以基于自动对焦操作中的当前对焦状态来选择最优评估值。
如图3所示,图像拾取帧40例如可以被划分为具有三行和五列的15个区域(a0至a4,b0至b4,c0至c4)。可以基于图像拾取帧40的大小和划分数来确定评估帧的大小或者图像区域的大小,评估帧的大小或者图像区域的大小用于生成评估值。上面的实施例图示出15个划分作为一个示例;但是,图像拾取帧40的划分数不限于此,也可以采用任何划分数。
因此,图像拾取帧40被划分为多个帧以生成与帧大小相对应的评估值。因此,可以通过分配评估值ID0至ID14中的一个来获得适当的评估值,而不管目标对象在图像拾取帧中的位置。
如公开号为10-213736的未审查专利申请所公开的,存在多种评估值计算方法,包括HPeak、HIntg、VIntg和Satul。HPeak系统意味着通过峰值系统来计算水平评估值;HIntg系统包括通过全积分系统来计算水平评估值;VIntg系统涉及通过积分系统来计算垂直方向评估值;并且Satul系统包括计算表示饱和亮度的数据的数目。这里,利用HPeak系统的评估计算方法(水平评估值计算)将被描述为实施例中采用的一个示例;但是,评估计算方法不限于该示例。
HPeak方法涉及这样的评估值计算方法之一,利用所述评估值计算方法可以用HPF将高频分量从水平图像信号中滤波。图4示出用于HPeak方法的水平方向评估值计算滤波器的配置。水平方向评估值滤波器包括:HPF 31,其从亮度信号发生电路21的亮度信号DY中仅滤波高频分量;绝对值处理电路32,其选择高频分量的绝对值;乘法电路33,其将高频分量的绝对值乘以水平方向帧控制信号WH;线峰值保持电路34,其保持每条线的一个峰值;以及垂直方向积分电路35,其在垂直方向上将评估帧中的所有线的峰值进行积分。
亮度信号DY的高频分量被HPF 31滤波,并且然后被绝对值处理电路32转换为绝对值。随后,水平方向帧控制信号WH被乘法电路33相乘,以获得评估帧内的高频分量的绝对值。也就是说,如果帧控制信号WH(其乘法值在评估帧之外为“0”)被提供至乘法电路33,则评估帧内的仅水平方向的高频分量的绝对值被提供至线峰值保持电路34。这里,垂直方向上的帧控制信号WH形成方波;但是,水平方向上的帧控制信号WH不仅包括纯方波特性,而且包括三角波特性,因此,帧控制信号WH的相乘值在帧的周边(两端)被减小。结果,因为帧内的对象图像接近于焦点对准,所以可以降低由对象图像干扰帧周边附近的外部边缘(评估帧中的高亮度边缘,包括评估帧的噪声、剧烈变化等)而引起的效应,或者可以减小由对象的移动而引起的评估值的变动。线峰值保持电路34保持每条线的峰值。基于垂直方向帧控制信号WV,垂直方向积分电路35在垂直方向上将针对评估帧内的每条线所保持的峰值相加,从而获得评估值。因为水平方向(H)的峰值被暂时保持,所以该方法也被称为HPeak方法。
通过重新参照图1来描述摄像机的配置。亮度相加值计算器8是被配置用于对由图像拾取器件获得的特定区域中的图像信号的亮度进行积分并且生成亮度相加值的电路。亮度相加值计算器8将从由图像信号发生器5输入的每种颜色的图像信号获得的特定区域中的亮度信号相加,并且相加的结果被作为亮度相加值输出到控制单元9。
控制单元9例如包括CPU(中央处理单元)、RAM(随机存取存储器)和ROM(只读存储器),并且将存储在ROM中的计算机程序取回到RAM上以运行这些程序,因此诸如自动对焦操作之类的预定的控制和处理被执行。控制单元9针对每个域而获得由评估值计算器7所计算的评估值一次,并且搜索评估值的峰值。当控制单元9检测到对焦透镜已经停止或者手动对焦操作已经停止时,自动对焦操作被执行。或者,利用来自单次(one-shot)开关13的指示自动对焦操作的启动的指令作为触发来执行自动对焦操作。
控制单元9和透镜模块的透镜驱动器2被配置为使得控制单元9和透镜驱动器2利用预定格式和协议彼此通信,并且协作来控制自动对焦操作。透镜驱动器2在接收到请求之后向控制单元9提供各种信息,包括焦点位置或者表示光圈大小的值。透镜驱动器2基于从控制单元9所提供的对焦控制信号或者摆动控制信号来生成透镜驱动信号,以执行对焦透镜1和摆动透镜的驱动处理。基于由评估计算器所计算的评估值ID和从驱动器2取回的各种信息,控制单元9生成用于驱动控制对焦透镜1的对焦控制信号和用于驱动控制摆动透镜的摆动控制信号,并且将各个信号提供至透镜驱动器2。
透镜驱动器2和控制单元9中的每一个包含微型计算机和存储器,用于通过取回存储在非易失性存储器中的程序来运行以执行自动对焦操作。
存储器10是由控制单元9将数据写入并且从其读出数据的存储单元。存储单元被配置用于存储信息,例如对焦透镜1的焦点位置和由评估值计算器7所计算的评估值。存储器10包括诸如半导体存储器之类的非易失性存储器。
液晶监视器驱动器14被配置用于生成从信号处理器6输出的图像信号和用于将控制单元9所指示的字符、图标等显示在监视器15的驱动信号。驱动信号被基于图像信号中所包括的各个同步信号和时钟信号而提供至取景器15。
取景器15是显示单元的一个示例,液晶显示器(LCD)可以被用于取景器15。取景器15接收从监视器驱动器14所提供的驱动信号以根据所提供的信号来显示图像。取景器15可以是设有摄像机的监视器。
接下来,将根据本发明的实施例来描述摄像机中所执行的调焦处理。基本上,用户手动将焦点调节到对象上;然后,自动对焦机构检测经手动对焦的对象并且对对象图像进行图像处理以调节对焦的最终精度。使得自动对焦机制粗略地起作用的算法具有以下两个过程。
(1)帧选择
——基于对象图像在用户手动操作对焦环1d期间的对焦波动,计算目标对象被显示到的区域。
(2)AF操作
——对(1)所指定的区域执行自动对焦操作。
参照图5所示的流程图来详细描述上面两个过程。首先,控制单元9从由编码器1e检测到的对焦环1d的编码器值来检测手动对焦操作状态(步骤S1)。控制单元9在存储器10中存储编码器值,然后获取波动历史数据(步骤S2)。控制单元9基于波动历史数据来判断用户是否已开始或停止对焦环操作。基于由图像拾取器件3在对焦环1d被操作期间所拾取的图像的焦点变化,控制单元9连续监控图像的哪个区域(检测帧)最接近焦点对准位置(步骤S3、S4)。
就在检测到对焦环操作的结束之后,控制单元9确定经过了焦点的最终精度调节的区域(检测帧)(步骤S5)。在该实施例中,控制单元9基于就在用户停止对焦环之前所获得的评估值波动的历史来选择检测帧。控制单元9然后基于在所选择的帧(检测帧)中获得的评估值,利用图像处理来执行自动对焦处理(步骤S6)。评估值的水平和波动被控制为使得当前焦点位置和在激活自动对焦处理时获得的焦点位置之间的距离不被很大地改变。描述的是用于控制评估值的水平或波动的方法。
该实施例的检测帧不同于那些设在屏幕中心的用于普通自动对焦或单次自动对焦处理的帧。该实施例的检测帧是在将屏幕分成多个帧之后设置的。控制单元9在用户手动操作对焦环期间监控各个检测帧的评估值的历史,并且选择具有这样的对象图像的检测帧,在所述对象图像中,检测到评估值的较大波动。然后,可以对所选择的检测帧执行利用图像处理算法的自动对焦处理。
这里,详细描述控制单元9在步骤3如何估计最终将位于焦点对准位置的区域(检测帧)。图6A、图6B是各自图示出所拾取的图像如何用帧划分的一个示例的图。在这些图中,用小的标记来图示对象焦点对准,用大的标记来图示对象焦点未对准。图7是图示出在对焦环被操作期间评估值随时间波动的图。
如上所述,从图像拾取器件3获得的图像被划分为15个区域,针对各个区域来计算评估值。如图6A、图6B所示,图像拾取帧40例如可以被划分为具有三行和五列的15个区域(a0至a4,b0至b4,c0至c4)。优选的是,根据评估值计算器7的能力来最优地确定将被划分的帧数。注意,划分图像拾取帧来设置区域(评估帧),以使得在各个所划分区域中计算评估值。因此,用户在查看取景器期间可能不必关注所划分区域(评估帧)。
可以通过评估值计算器7来同时计算所划分区域(检测帧)中的评估值。或者,可以利用评估值计算器7根据预定规则来顺次计算所划分区域(检测帧)中的评估值。例如,可以逐域地顺次计算从a0至c4区域中的评估值。在这种情况下,可以由评估值计算器7单独负担的用于计算评估值的区域数可能超过其能力。
评估值计算器7周期性地获得所划分区域中的图像信号的高频分量(评估值)。当对象图像接近焦点对准状态时,评估值增大。可以参照图6A、图6B中位于近距离处的对象A和位于远距离处的对象B来描述更多的细节。如图6A所示,在用户试图将焦点调节到位于近距离处的对象上的情况下,包含处于焦点对准状态的对象图像A的区域c1中的评估值为高,而包含处于焦点未对准状态的对象图像B的区域b3中的评估值为低(见图7)。
如图6B所示,当用户试图将焦点从位于近距离处的对象上调节到位于远距离处的对象上时,在包含接近焦点对准状态的对象图像B的区域b3中的评估值显著增大,而包含正变为焦点未对准状态的对象图像A的区域c1中的评估值显著减小(见图7)。
用户移动对焦环1d使其接近于用户期望对象B为焦点对准的位置,然后停止操作对焦环1d(t2)。从评估值计算器7输出的评估值随着用户移动对焦环1d而波动,并且就在对焦环1d停止之前评估值显著增大的区域可以被估计为用户期望对象为焦点对准的区域。注意,存储器10不断地存储在前面几个域所获得的图像,因此就在对焦环停止之前的评估值可以通过计算这些图像来获得。
例如可以存在两种用于评估就在对焦环停止之前获得的评估值的历史的方法。第一种方法是基于就在对焦环停止之前获得的评估值的增量来评估历史;并且第二种方法基于就在手动对焦环操作被停止之前的时刻和对焦操作停止的时刻之间的持续时间中是否检测到评估值的相对最大值。
例如,如图7所示,当B2代表对焦环停止时(t2)所获得的评估值,并且B1代表在前面的预定数目域处(t1)所获得的评估值时,就在对焦环停止之前获得的评估值的波动可以由下式来表示:增量k2=B2/B1。因此,控制单元9将具有就在对焦环停止之前检测到评估值的显著增量的历史的区域确定为用户期望对象为焦点对准的区域。
当就在对焦环停止之前评估值连续增大时,第一种方法尤其有效。例如,假设对焦环操作在图7中的时刻t3停止。在这种情况下,在对焦环操作在时刻t3停止时所获得的评估值为B3,就在对焦环停止之前所获得的评估值的波动或增量可以由下式来表示:增量k3=B3/B2。尽管评估值B2大于B3(即,B2>B3),但是在对焦环操作在时刻t3停止时获得的增量k3低于在对焦环操作在时刻t2停止时获得的增量k2。因此,控制单元9可能不将具有就在对焦环停止之前检测到评估值的显著增量的历史的区域作为用户期望对象为焦点对准的区域。
在第二种方法中,基于就在手动对焦环操作被停止之前的时刻和对焦操作停止的时刻之间的持续时间中是否检测到评估值的相对最大值,来评估评估值的历史。在图7所示的示例中,控制单元9检测对焦环操作被停止之前的相对最大值P,并且将具有检测到评估值的相对最大值的历史的区域确定为用户期望对象为焦点对准的区域。在这种方式下,即使用户错误地操作对焦环而错过焦点对准位置(即,评估值P),控制单元9仍然可以确定用户期望对象为焦点对准的区域。
注意,如果自动对焦操作开始时的评估值与评估值的相对最大值的比率(相对最大值/开始对焦操作时的评估值)等于或者小于诸如噪声之类的预定值,则检测相对最大值的方法可以被无效。结果,可以防止由于噪声而引起的对用户期望对象为焦点对准的区域的错误检测。
接下来,详细描述在步骤S6中如何对控制单元已将其估计为用户期望对象处于焦点对准的区域的区域执行自动对焦处理。在该步骤中,基于就在对焦环停止之前所获得的评估值的波动历史,对所选择的作为自动对焦处理区域的区域执行一次自动对焦处理。这里的自动对焦处理隐含了相关领域中作为自动对焦算法的利用评估值的图像处理系统。
注意,所选择区域中的对象图像的焦点已经被调节为接近于焦点对准位置。因此,可以不必从自动对焦处理激活时的位置来移动对象图像的焦点。执行以下处理以防止用户获得非期望的焦点位置。
基于在自动对焦处理激活时获得的焦点位置来限制调焦区域的范围。可以基于调焦区域的范围、焦深的倍数和调焦时间的范围来限制调焦区域。因此,可以防止不同于用户的手动调节所获得的焦点位置的非希望焦点位置。
当焦点在前述限制内被调节时;也就是说,当评估值的峰值被检测到时,自动对焦处理在该点终止。从而可以获得最优的焦点位置。
相比之下,当焦点不在前述限制内被调节时;也就是说,当评估值的峰值未被检测到时,焦点位置移回自动对焦处理激活时的位置,并且自从对焦处理随后终止。在这种情况下,焦点位置最终是手动调节的位置;但是,用户至少可以保持对象图像的期望焦点位置。
在本发明的实施例中,用户可以在她或他期望时手动将焦点调节到对象图像上,并且一旦用户近似地将焦点调节到期望对象上,就对对象图像执行自动对焦处理以更加精确地调节焦点。
应该注意,本发明不限于上述实施例;例如,根据本发明实施例的图像捕获装置可以应用于数字相机而非上述摄像机,并且当然可以在不脱离本发明的要点的情况下做出各种变化和修改。
本领域技术人员应该了解,取决于设计要求和其他因素,可以做出各种修改、组合、子组合和变更,只要它们在权利要求书及其等同物的范围内。
本发明包含与2007年4月12日于日本特许厅递交的日本专利申请JP2007-105065有关的主题,该申请的全部内容通过引用而被结合于此。
Claims (10)
1.一种用于具有对焦环的图像拾取装置的自动对焦装置,该自动对焦装置包括:
评估值计算器,该评估值计算器基于对象图像的多个区域的图像信号的高频分量,周期性地计算所述对象图像的所述多个区域的多个评估值;以及
控制单元,该控制单元在检测到所述对焦环已被停止之后,基于在就在所述对焦环被停止之前获得的评估值的波动呈现预定历史的对象图像的区域中获得的评估值,对呈现所述预定历史的对象图像的区域执行图像处理,并且基于通过所述图像处理获得的所述评估值的峰值,输出用于移动对焦透镜的指令信号。
2.如权利要求1所述的自动对焦装置,其中
所述就在所述对焦环被停止之前获得的评估值的波动呈现预定历史的对象图像的区域包括就在所述对焦环被停止之前获得的所述评估值的较大增量。
3.如权利要求1所述的自动对焦装置,其中
所述就在所述对焦环被停止之前获得的评估值的波动呈现预定历史的对象图像的区域包括就在所述对焦环被停止之前检测到的所述评估值的相对最大值。
4.如权利要求1所述的自动对焦装置,其中
所述评估值计算器根据预定规则,顺次逐个计算所述对象图像的所述多个区域中的评估值。
5.如权利要求1所述的自动对焦装置,其中
控制单元,在检测到所述对焦环已被停止之后,该控制单元基于在就在所述对焦环被停止之前获得的评估值的波动呈现预定历史的对象图像的区域中获得的评估值,对呈现所述预定历史的对象图像的区域执行作为评估峰值搜索处理的图像处理,并且在基于通过所述图像处理获得的所述评估值的峰值而输出用于移动对焦透镜的指令信号时,基于预定条件限制开始所述评估峰值搜索处理后的所述评估峰值搜索处理。
6.如权利要求5所述的自动对焦装置,其中
限制开始所述评估峰值搜索处理后的所述评估峰值搜索处理是基于调焦区域的范围、焦深的倍数和调焦时间的范围中的至少一项来确定的。
7.如权利要求6所述的自动对焦装置,其中
当在被限制的评估峰值搜索处理中检测到所述评估值的相对最大值时,所述控制单元终止所述评估峰值搜索处理。
8.如权利要求6所述的自动对焦装置,其中
当检测到所述评估值的相对最大值超过所述评估峰值搜索处理的限制时,所述控制单元将所述对焦透镜移回至与所述评估峰值搜索处理开始的点相对应的对焦位置,或者终止所述评估峰值搜索处理。
9.一种图像拾取装置,包括:
对焦环;
图像拾取单元,该图像拾取单元对对象进行成像;
自动对焦装置,该自动对焦装置包括评估值计算器和控制单元,所述评估值计算器基于对象图像的多个区域的图像信号的高频分量,周期性地计算所述对象图像的所述多个区域的多个评估值,所述控制单元在检测到所述对焦环已被停止之后,基于在就在所述对焦环被停止之前获得的评估值的波动呈现预定历史的对象图像的区域中获得的评估值,对呈现所述预定历史的对象图像的区域执行图像处理,并且基于通过所述图像处理获得的所述评估值的峰值,输出用于移动对焦透镜的指令信号。
10.一种用于具有对焦环的图像拾取装置的自动对焦方法,该方法包括以下步骤:
基于对象图像的多个区域的图像信号的高频分量,周期性地计算所述对象图像的所述多个区域的多个评估值;
检测手动操作的对焦环已停止;
获得就在所述手动操作的对焦环停止之前的所述图像对象的所述多个区域中的评估值;
选择所述对象图像的就在所述对焦环被停止之前获得的评估值的波动呈现预定历史的区域作为被调焦的区域;
基于在就在所述对焦环被停止之前获得的评估值的波动呈现预定历史的对象图像的区域中获得的评估值,对呈现所述预定历史的对象图像的被调焦的区域执行图像处理,并且基于通过所述图像处理获得的所述评估值的峰值,输出用于移动对焦透镜的指令信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007-105065 | 2007-04-12 | ||
JP2007105065A JP5380784B2 (ja) | 2007-04-12 | 2007-04-12 | オートフォーカス装置、撮像装置及びオートフォーカス方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101285989A true CN101285989A (zh) | 2008-10-15 |
CN101285989B CN101285989B (zh) | 2010-10-13 |
Family
ID=39853347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100904439A Expired - Fee Related CN101285989B (zh) | 2007-04-12 | 2008-04-14 | 自动对焦装置、图像拾取装置和自动对焦方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8373790B2 (zh) |
EP (1) | EP2065741B1 (zh) |
JP (1) | JP5380784B2 (zh) |
KR (1) | KR20080092875A (zh) |
CN (1) | CN101285989B (zh) |
DE (1) | DE602008002987D1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101990064A (zh) * | 2009-07-29 | 2011-03-23 | 索尼公司 | 控制设备、操作设置方法和程序 |
CN102087459B (zh) * | 2009-12-04 | 2013-07-03 | 豪威科技有限公司 | 自动聚焦方法 |
CN103941522A (zh) * | 2013-01-18 | 2014-07-23 | 奥林巴斯映像株式会社 | 焦点调节装置、照相机系统及焦点调节装置的控制方法 |
CN104469087A (zh) * | 2013-09-24 | 2015-03-25 | 佳能企业股份有限公司 | 电子装置及影像显示方法 |
US10021342B2 (en) | 2013-09-18 | 2018-07-10 | Ability Enterprise Co., Ltd. | Electronic device and image displaying method thereof for catching and outputting image stream |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5424621B2 (ja) * | 2008-11-25 | 2014-02-26 | キヤノン株式会社 | 撮像装置及びレンズ制御方法 |
KR101817650B1 (ko) * | 2010-09-08 | 2018-01-11 | 삼성전자주식회사 | 초점 조절 장치 |
JP6337779B2 (ja) * | 2013-01-09 | 2018-06-06 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP6274794B2 (ja) * | 2013-09-12 | 2018-02-07 | 株式会社ミツトヨ | 情報処理装置、情報処理方法、プログラム、及び画像測定装置 |
CN104639894A (zh) * | 2014-12-11 | 2015-05-20 | 北京中星微电子有限公司 | 用于监控摄像机的图像聚焦方法和装置 |
JP6600162B2 (ja) * | 2015-05-19 | 2019-10-30 | キヤノン株式会社 | 撮像装置およびその制御方法 |
WO2020073244A1 (zh) * | 2018-10-10 | 2020-04-16 | 深圳市大疆创新科技有限公司 | 手动对焦的控制方法、装置、设备、系统及存储介质 |
US11627868B2 (en) * | 2019-10-17 | 2023-04-18 | Synaptive Medical Inc. | Systems and methods for controlling autofocus operations |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4166783A (en) | 1978-04-17 | 1979-09-04 | Varian Associates, Inc. | Deposition rate regulation by computer control of sputtering systems |
JPH03122421A (ja) | 1989-10-05 | 1991-05-24 | Osaka Gas Co Ltd | 空気調和機のドレン水処理装置 |
JPH03214133A (ja) * | 1990-01-18 | 1991-09-19 | Nikon Corp | 焦点検出装置 |
JPH05132771A (ja) | 1991-11-13 | 1993-05-28 | Fujitsu Ltd | スパツタ装置およびその方法 |
JPH05263236A (ja) | 1992-03-18 | 1993-10-12 | Fujitsu Ltd | 半導体装置の製造方法 |
JP2688872B2 (ja) | 1992-03-30 | 1997-12-10 | アネルバ株式会社 | Pzt薄膜の作製方法及びスパッタリング装置 |
JPH0688221A (ja) | 1992-09-07 | 1994-03-29 | Fuji Electric Co Ltd | スパッタリング装置 |
EP0636702B1 (en) | 1993-07-28 | 1999-05-19 | Asahi Glass Company Ltd. | Methods for producing functional films |
JP2900351B2 (ja) | 1993-10-20 | 1999-06-02 | 株式会社大林組 | 土砂分離装置 |
JPH0829667A (ja) * | 1994-07-18 | 1996-02-02 | Fuji Photo Optical Co Ltd | オートフォーカス方法 |
JP3526342B2 (ja) | 1995-03-01 | 2004-05-10 | 株式会社東芝 | スパッタリング装置およびスパッタリング方法 |
US20050083428A1 (en) * | 1995-03-17 | 2005-04-21 | Hiroto Ohkawara | Image pickup apparatus |
WO1997025812A1 (fr) * | 1996-01-11 | 1997-07-17 | Sony Corporation | Dispositif et procede de reglage de la nettete |
JPH1051675A (ja) * | 1996-07-29 | 1998-02-20 | Ikegami Tsushinki Co Ltd | フォーカス制御装置およびその方法および記憶媒体 |
JP3821524B2 (ja) | 1996-12-16 | 2006-09-13 | 株式会社ルネサステクノロジ | 誘電体薄膜形成用スパッタリングターゲット |
JP3840725B2 (ja) | 1997-01-30 | 2006-11-01 | ソニー株式会社 | ビデオカメラのオートフォーカス装置 |
US6545856B1 (en) | 1998-11-30 | 2003-04-08 | Interuniversitair Microelectronica Centrum (Imec) | Method of fabrication of a ferro-electric capacitor and method of growing a PZT layer on a substrate |
JP3122421B2 (ja) | 1999-01-19 | 2001-01-09 | 株式会社東芝 | マグネトロンスパッタリング成膜装置及び方法 |
JP4453850B2 (ja) | 1999-06-01 | 2010-04-21 | キヤノンアネルバ株式会社 | スパッタ成膜装置およびスパッタ膜形成方法 |
JP2001085504A (ja) | 1999-09-10 | 2001-03-30 | Toto Ltd | 静電吸着力制御装置 |
JP2001158960A (ja) | 1999-11-30 | 2001-06-12 | Matsushita Electric Ind Co Ltd | スパッタ方法及び装置 |
JP2001189313A (ja) | 1999-12-28 | 2001-07-10 | Toshiba Corp | 強誘電体薄膜の製造方法 |
JP3302003B2 (ja) * | 2000-03-08 | 2002-07-15 | 三洋電機株式会社 | オートフォーカス機能を有する撮像装置 |
JP3944341B2 (ja) | 2000-03-28 | 2007-07-11 | 株式会社東芝 | 酸化物エピタキシャル歪格子膜の製造法 |
US6428663B1 (en) | 2000-07-03 | 2002-08-06 | Applied Materials, Inc. | Preventing defect generation from targets through applying metal spray coatings on sidewalls |
JP4805469B2 (ja) | 2001-03-30 | 2011-11-02 | 芝浦メカトロニクス株式会社 | 成膜装置および成膜装置用プログラム |
JP2002294443A (ja) | 2001-03-30 | 2002-10-09 | Matsushita Electric Ind Co Ltd | スパッタリング方法及び装置 |
JP3661850B2 (ja) | 2001-04-25 | 2005-06-22 | 富士通株式会社 | 半導体装置およびその製造方法 |
CN1304901C (zh) * | 2001-10-31 | 2007-03-14 | 金宝电子工业股份有限公司 | 相机自动对焦方法 |
JP2003241066A (ja) * | 2002-02-15 | 2003-08-27 | Olympus Optical Co Ltd | カメラ |
JP4074911B2 (ja) * | 2002-02-22 | 2008-04-16 | フジノン株式会社 | レンズシステム |
JP2003337278A (ja) * | 2002-03-15 | 2003-11-28 | Fuji Photo Optical Co Ltd | レンズシステム |
US6747808B2 (en) * | 2002-10-04 | 2004-06-08 | Hewlett-Packard Development Company, L.P. | Electronic imaging device focusing |
CN100369255C (zh) | 2002-12-10 | 2008-02-13 | 富士通株式会社 | 铁电体电容器及其制造方法 |
JP4533593B2 (ja) * | 2003-04-09 | 2010-09-01 | 富士フイルム株式会社 | 撮像装置 |
JP4692980B2 (ja) * | 2003-10-02 | 2011-06-01 | キヤノン株式会社 | 光学装置 |
EP1638319B1 (en) * | 2003-11-21 | 2007-05-30 | Fujinon Corporation | Autofocus system |
US7674360B2 (en) | 2003-12-12 | 2010-03-09 | Applied Materials, Inc. | Mechanism for varying the spacing between sputter magnetron and target |
JP4374574B2 (ja) * | 2004-03-30 | 2009-12-02 | 富士フイルム株式会社 | マニュアルフォーカス調整装置及び合焦アシスト・プログラム |
JP4708737B2 (ja) * | 2004-06-04 | 2011-06-22 | キヤノン株式会社 | レンズ装置 |
JP4528235B2 (ja) * | 2005-09-29 | 2010-08-18 | 富士フイルム株式会社 | デジタルカメラ |
JP2008009340A (ja) * | 2006-06-30 | 2008-01-17 | Sony Corp | オートフォーカス装置、撮像装置及びオートフォーカス方法 |
JP2008276115A (ja) * | 2007-05-07 | 2008-11-13 | Olympus Imaging Corp | デジタルカメラ及びフォーカス制御プログラム |
JP2009103912A (ja) * | 2007-10-23 | 2009-05-14 | Olympus Corp | 撮像装置 |
JP2009115921A (ja) * | 2007-11-02 | 2009-05-28 | Olympus Corp | 撮像装置 |
-
2007
- 2007-04-12 JP JP2007105065A patent/JP5380784B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-28 EP EP08251142A patent/EP2065741B1/en not_active Expired - Fee Related
- 2008-03-28 DE DE602008002987T patent/DE602008002987D1/de active Active
- 2008-04-10 US US12/100,588 patent/US8373790B2/en not_active Expired - Fee Related
- 2008-04-11 KR KR1020080033842A patent/KR20080092875A/ko not_active Application Discontinuation
- 2008-04-14 CN CN2008100904439A patent/CN101285989B/zh not_active Expired - Fee Related
-
2013
- 2013-02-04 US US13/757,893 patent/US9066004B2/en not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101990064A (zh) * | 2009-07-29 | 2011-03-23 | 索尼公司 | 控制设备、操作设置方法和程序 |
CN102087459B (zh) * | 2009-12-04 | 2013-07-03 | 豪威科技有限公司 | 自动聚焦方法 |
CN103941522A (zh) * | 2013-01-18 | 2014-07-23 | 奥林巴斯映像株式会社 | 焦点调节装置、照相机系统及焦点调节装置的控制方法 |
CN103941522B (zh) * | 2013-01-18 | 2017-06-30 | 奥林巴斯株式会社 | 焦点调节装置 |
US10021342B2 (en) | 2013-09-18 | 2018-07-10 | Ability Enterprise Co., Ltd. | Electronic device and image displaying method thereof for catching and outputting image stream |
CN104469087A (zh) * | 2013-09-24 | 2015-03-25 | 佳能企业股份有限公司 | 电子装置及影像显示方法 |
CN104469087B (zh) * | 2013-09-24 | 2018-08-31 | 佳能企业股份有限公司 | 电子装置及影像显示方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20080092875A (ko) | 2008-10-16 |
US9066004B2 (en) | 2015-06-23 |
EP2065741A3 (en) | 2009-06-10 |
EP2065741B1 (en) | 2010-10-13 |
JP2008262049A (ja) | 2008-10-30 |
CN101285989B (zh) | 2010-10-13 |
US20130141631A1 (en) | 2013-06-06 |
US8373790B2 (en) | 2013-02-12 |
US20080252744A1 (en) | 2008-10-16 |
JP5380784B2 (ja) | 2014-01-08 |
EP2065741A2 (en) | 2009-06-03 |
DE602008002987D1 (de) | 2010-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101285989B (zh) | 自动对焦装置、图像拾取装置和自动对焦方法 | |
EP2352278B1 (en) | Imaging apparatus, a focusing method and a program for executing such a method | |
EP1638320A2 (en) | Camera system, image capturing apparatus, and a method of an image capturing apparatus | |
US7801431B2 (en) | Image capturing device and auto-focus method thereof | |
CN102483508B (zh) | 成像设备和成像方法 | |
US20080002048A1 (en) | Auto-focus apparatus, image capture apparatus, and auto-focus method | |
CN102752510A (zh) | 摄像设备及其控制方法 | |
US10887524B2 (en) | Image pickup apparatus, an image processing method and a non-transitory computer-readable medium | |
US8872963B2 (en) | Imaging apparatus and imaging method | |
JP5272551B2 (ja) | 撮像装置及び方法 | |
US20130128090A1 (en) | Image photographing device and image photographing method thereof | |
US7831091B2 (en) | Pattern matching system | |
US20190243533A1 (en) | Display controller, control method thereof, and non-transitory computer readable medium | |
CN103259974A (zh) | 进行特写拍摄的摄像装置及其控制方法 | |
US9122129B2 (en) | Image pickup apparatus, driving control method thereof, and computer-readable recording medium | |
JP2001221945A (ja) | 自動合焦装置 | |
US20070109660A1 (en) | Imaging lens position control device | |
EP2091233B1 (en) | Imaging apparatus | |
JP2009020304A (ja) | オートフォーカス方法および撮像装置 | |
US20170085779A1 (en) | Imaging control apparatus, imaging apparatus, and imaging control method | |
CN112543883B (zh) | 信号处理设备、信号处理方法、信号处理程序以及图像捕获设备 | |
JP2012244346A (ja) | 撮像装置及び撮像方法 | |
JPH04323611A (ja) | 合焦状態検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101013 Termination date: 20150414 |
|
EXPY | Termination of patent right or utility model |