CN102833472B - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN102833472B
CN102833472B CN201210203320.8A CN201210203320A CN102833472B CN 102833472 B CN102833472 B CN 102833472B CN 201210203320 A CN201210203320 A CN 201210203320A CN 102833472 B CN102833472 B CN 102833472B
Authority
CN
China
Prior art keywords
focus detection
pixel
defect
pick
scope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210203320.8A
Other languages
English (en)
Other versions
CN102833472A (zh
Inventor
菅原淳史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102833472A publication Critical patent/CN102833472A/zh
Application granted granted Critical
Publication of CN102833472B publication Critical patent/CN102833472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及摄像设备及其控制方法。摄像设备包括:摄像元件,摄像像素对从摄像镜头获得的光进行光电转换以生成被摄体的图像,焦点检测像素接收穿过摄像镜头的出射光瞳的区域的一部分的光;焦点检测器,用于基于从与焦点检测区域相对应的焦点检测像素输出的信号来进行焦点检测;存储器,用于存储焦点检测像素中存在的缺陷像素的信息;以及设置器,用于基于存储器中存储的缺陷像素的信息来设置可用光圈值。在与焦点检测区域相对应的焦点检测像素中存在缺陷像素的情况下,若光圈值在能使用的光圈值内,则焦点检测器通过使用从缺陷像素输出的信号来进行焦点检测,若光圈值在能使用的光圈值外,则焦点检测器不使用从缺陷像素输出的信号来进行焦点检测。

Description

摄像设备及其控制方法
技术领域
本发明涉及在数字照相机或摄像机等中具有焦点检测功能的摄像设备。
背景技术
作为在形成摄像元件的像素组的一部分中所包括的具有特定功能的功能元件的摄像元件的例子,存在通过对摄像元件提供被摄体图像的相位差检测功能来取消专用AF传感器的使用并实现高速相位差AF的技术。
例如,日本特开2000-292686通过在摄像元件的一部分的光接收元件(像素)中使光接收部的感光区域相对于片上微透镜的光轴偏心来提供光瞳分割功能。在摄像像素组中将这些像素以预定间隔配置为焦点检测像素,从而进行使用相位差方法的焦点检测。
此外,存在与在这些焦点检测像素组中存在缺陷像素的情况有关的技术。
日本特开2009-163229公开了利用没有缺陷的焦点检测像素的像素信号来校正具有缺陷的焦点检测像素的像素信号的技术。日本特开2001-177756公开了在调焦区域中存在缺陷像素的情况下,在相对于包括缺陷像素的区域位于预定方向上并且不存在缺陷像素的位置处设置调焦区域的方法。
然而,在上述日本特开2009-163229的摄像设备中,在例如在摄像面上离散配置焦点检测像素的情况下,采样间隔变粗糙,因此,特别是具有高空间频率的被摄体中,难以精确校正缺陷像素的输出。此外,日本特开2001-177756的摄像设备具有用户期望的调焦区域可能被改变的问题。
发明内容
本发明提供以下摄像设备:即使在焦点检测像素组中存在缺陷像素,也能够在焦点检测精度的允许范围内有效使用缺陷像素。
作为本发明的一个方面,提供一种摄像设备,包括:摄像元件,包括多个摄像像素和多个焦点检测像素,所述摄像像素用于对从摄像镜头获得的光进行光电转换以生成被摄体的图像,所述焦点检测像素用于接收穿过所述摄像镜头的出射光瞳的一部分区域的光;焦点检测部件,用于基于从与焦点检测区域相对应的焦点检测像素输出的信号来进行焦点检测;存储器,用于存储所述焦点检测像素中存在的缺陷像素的信息;以及设置部件,用于基于所述存储器中存储的缺陷像素的信息来设置能使用的光圈值,其中,在与所述焦点检测区域相对应的焦点检测像素中存在缺陷像素的情况下,如果光圈值在所述能使用的光圈值的范围内,则所述焦点检测部件通过使用从所述缺陷像素输出的信号来进行焦点检测,以及如果光圈值在所述能使用的光圈值的范围外,则所述焦点检测部件不使用从所述缺陷像素输出的信号来进行焦点检测。
作为本发明的其它方面,提供一种摄像设备,包括:摄像元件,包括多个摄像像素和多个焦点检测像素,所述摄像像素用于对从摄像镜头获得的光进行光电转换以生成被摄体的图像,所述焦点检测像素用于接收穿过所述摄像镜头的出射光瞳的一部分区域的光;焦点检测部件,用于基于从与焦点检测区域相对应的焦点检测像素输出的信号来进行焦点检测;存储器,用于存储所述焦点检测像素中存在的缺陷像素的信息;以及设置部件,用于基于所述存储器中存储的缺陷像素的信息来设置能使用的光圈值;其中,在与所述焦点检测区域相对应的焦点检测像素中存在缺陷像素的情况下,如果光圈值在所述能使用的光圈值的范围外,则所述设置部件改变所述摄像镜头的光圈值,以使得光圈值在所述能使用的光圈值的范围内。
作为本发明的其它方面,提供一种摄像设备的控制方法,所述摄像设备包括摄像元件和存储器,所述摄像元件包括多个摄像像素和多个焦点检测像素,所述摄像像素用于对从摄像镜头获得的光进行光电转换以生成被摄体的图像,所述焦点检测像素用于接收穿过所述摄像镜头的出射光瞳的一部分区域的光,所述存储器用于存储所述焦点检测像素中存在的缺陷像素的信息,所述控制方法包括:焦点检测步骤,用于基于从与焦点检测区域相对应的焦点检测像素输出的信号来进行焦点检测;以及设置步骤,用于基于所述存储器中存储的缺陷像素的信息来设置能使用的光圈值,其中,在所述焦点检测步骤中,在与所述焦点检测区域相对应的焦点检测像素中存在缺陷像素的情况下,如果光圈值在所述能使用的光圈值的范围内,则通过使用从所述缺陷像素输出的信号来进行焦点检测,以及如果光圈值在所述能使用的光圈值的范围外,则不使用从所述缺陷像素输出的信号来进行焦点检测。
通过以下参考附图对典型实施例的说明,本发明的其它特征和方面将变得明显。
附图说明
图1A~1B是本发明实施例中的数字SLR照相机(数字单镜头反光照相机)的截面图。
图2是本发明实施例中的摄像元件的框图。
图3A~3B是本发明实施例中的摄像像素的平面图和截面图。
图4A~4B是本发明实施例中的焦点检测像素的平面图和截面图。
图5A~5B是用于说明本发明实施例中的焦点检测像素的渐晕以及焦点检测光束的重心之间的间隔的图。
图6A~6C是本发明实施例中的摄像元件的焦点检测像素的配置图。
图7是本发明实施例中的摄像设备拍摄运动图像时的流程图。
图8A~8B是示出本发明实施例中的在焦点检测像素中存在缺陷的情况下的焦点检测像素的输出的图。
图9是示出基于缺陷水平和Fno的检测散焦误差量的关系的图。
图10是本发明实施例中的摄像设备的实时取景时的流程图。
具体实施方式
以下将参考附图说明本发明的典型实施例。
第一实施例
图1A~1B是本发明实施例中的摄像设备的截面图。在本实施例中,作为示例说明数字SLR照相机(数字单镜头反光照相机)。图1A中的附图标记101表示照相机主体,以及摄像镜头102安装在照相机主体的前面。摄像镜头102可更换,并且照相机主体101和摄像镜头102经由安装触点组112相互电连接。此外,在摄像镜头102中存在光圈113,并且可以调节引导至照相机的光量。
附图标记103表示主镜,并且其使用半透半反镜。主镜103在图1A的取景器观察状态下被倾斜设置在摄像光路上,并将来自摄像镜头102的摄像光束反射至取景器光学系统,并经由副镜104将透射光引导至AF单元105。
AF单元105是使用相位差检测方法的AF传感器。由于使用相位差检测方法的焦点检测是公知的技术,因而这里省略具体的控制。AF单元105在焦点检测线传感器上形成摄像镜头102的二次成像面,从而检测摄像镜头102的调焦状态。基于检测结果来驱动调焦镜头(未示出),并进行自动焦点检测。
附图标记108表示摄像元件,附图标记106表示低通滤波器,以及附图标记107表示焦平面快门。此外,摄像元件108附近存在温度检测器(未示出)。
附图标记109表示在取景器光学系统中包括的摄像镜头102的期望成像面上所设置的聚焦屏,以及附图标记110表示用于改变取景器光路的五棱镜。附图标记114表示目镜,并且拍摄者可以通过从目镜114观察聚焦屏109来确认摄像画面。此外,附图标记111表示AE单元,并在进行测光时使用。
附图标记115表示释放按钮,并且是具有半按下状态和全按下状态的两段推式开关。释放按钮115的半按下提供摄像前的准备操作,诸如AE操作和AF操作,并且全按下提供摄像元件108的曝光以用于摄像处理。以下将释放按钮115的半按下的状态称为SW 1是ON(接通)的状态,以及将全按下的状态称为SW2是ON的状态。
本实施例中的照相机在进行曝光/实时取景时将图1A中所示的光学取景器状态的形式改变为图1B所示的形式。附图标记116表示实时取景开始/结束按钮,并且每当按下该按钮时,切换图1A所示的光学取景器模式和图1B所示的实时取景模式。
图1B示出实时取景模式中、在静止图像曝光以及运动图像记录时的照相机的截面图。在这些模式中,主镜103和副镜104退避至摄像光路外部并且开启焦平面快门107,从而将摄像光束直接引导至摄像元件108。附图标记117表示显示单元(显示设备),并且被设置在照相机主体101的背面上。显示单元117由液晶面板等形成,并通过实时显示来自摄像元件108的信号(图像数据)来进行实时取景显示。此外,读出存储器(未示出)中存储的先前的摄像数据,从而进行所存储的静止图像或运动图像文件的再现或显示。
以下说明实时取景状态或运动图像记录时的AF操作。在本实施例中的照相机中,通过使用来自AF单元105的信息来进行光学取景器状态下的AF操作,但是,通过使用摄像元件中包括的焦点检测像素组的输出信息的相位差方法来进行实时取景状态下的AF操作。以下将参考附图说明摄像像素和焦点检测像素。
图2示出摄像元件的框图。图2中的框图示出能够说明读出操作的最小构成,并省略像素复位信号等。在图2中,附图标记201表示光电转换部(以下称为“PDmn”。“m”表示X方向地址并且m=0、1、…、m-1。“n”表示Y方向地址并且n=0、1、…、n-1)。光电转换部201由光电二极管、像素放大器和复位开关等构成。关于本发明的摄像元件,二维配置m×n光电转换部。为了避免复杂,仅在左上的光电转换部PD00的附近标记符号。
附图标记202表示用于选择光电转换部的PDmn的输出的开关,并且利用垂直操作电路208逐行进行选择。
附图标记203表示用于临时存储附图标记201的光电转换部PDmn的输出的线存储器,并存储垂直扫描电路所选择的一行的光电转换部的输出。通常,使用电容器。
附图标记204表示与水平输出线连接并用于将水平输出线复位至预定电位VHRST的开关,并由信号HRST控制该开关。
附图标记205表示用于将上述的线存储器203中存储的光电转换部PDmn的输出顺次输出至水平输出线的开关。通过使用后述的附图标记206的水平扫描电路顺次扫描开关205中的H0~Hm-1的开关来读出一行的光电转换的输出。
附图标记206表示水平扫描电路,并顺次控制线存储器中存储的光电转换部的输出以将其输出至水平输出线。信号PHST表示水平扫描电路的数据输入,以及PH1和PH2表示移位时钟输入。水平扫描电路206被配置为在PH1=H时设置数据以及在PH2=H时锁存数据。可以通过将移位时钟输入至PH1和PH2,使PHST被顺次移位并且H0~Hm-1的开关被顺次接通,并且经由放大器207输出至VOUT。SKIP表示用于进行像素跳过读出时的设置的控制端子输入。当将SKIP端子设置为H电平时,可以以预定间隔跳过水平扫描电路。
附图标记208表示垂直扫描电路,并且可以通过顺次进行扫描并输出V0~Vn-1来选择光电转换部PDmn的选择开关202。如利用水平扫描电路一样,控制信号由数据输入PVST、移位时钟PV1和PV2、以及像素跳过读取设置SKIP来控制。因为其操作与水平扫描电路相同,所以省略其详细说明。此外,在该图中,未示出上述控制信号。
图3A~3B和图4A~4B是用于说明摄像像素和焦点检测像素的结构的图。本实施例使用拜耳阵列,其中在2×2的四个像素中对角的两个像素中配置具有G(绿色)的光谱灵敏度的像素,并在其它两个像素中配置分别具有R(红色)和B(蓝色)的光谱灵敏度的像素。在拜耳阵列中,以预定规则分散配置具有后述结构的焦点检测像素。
图3A~3B示出摄像像素的配置和结构。图3A是2×2的摄像像素的平面图。在拜耳阵列中,在对角方向上配置G像素,并在其它两个像素中配置R和B的像素,并且重复配置2行×2列的结构。该摄像像素组对来自摄像镜头的光进行光电转换,从而生成被摄体的图像。
图3B示出图3A的截面A-A。ML表示各像素的最前面配置的片上微透镜,CFR表示R(红色)的颜色滤波器,以及CFG表示G(绿色)的颜色滤波器。PD表示示意性示出的C-MOS传感器的光电转换部,以及CL表示形成用于传送C-MOS传感器中的各种信号的信号线的配线层。TL表示示意性示出的摄像光学系统。
摄像元件中的片上微透镜ML和光电转换部PD被配置为尽可能多地有效引入透过摄像光学系统TL的光束。换句话说,光学系统TL的出射光瞳EP和光电转换部PD经由微透镜ML相互具有共轭关系,并将光电转换部的有效面积设计为大面积。此外,如参考图3B说明的G像素的入射光束一样,R像素和B(蓝色)像素具有与其相同的结构。因此,与摄像用的RGB的各像素相对应的出射光瞳EP具有大的直径,并且通过有效引入来自被摄体的光束来提高图像信号的S/N。
图4A~4B示出用于在摄像光学系统的水平方向(横向方向)上分割光瞳的焦点检测像素的结构和配置。在保持照相机以使得摄像光学系统的光轴水平的情况下,水平方向或横向方向被定义为与光轴正交并与在水平方向上延伸的线平行的方向。图4A是包括焦点检测像素的2行×2列的像素的平面图。当获得图像信号来用于记录或观察时,利用G像素获取亮度信息的主要成分。由于人类图像识别特性对于亮度信息灵敏,因而在G像素缺乏的情况下容易识别出图像劣化。另一方面,R或B像素是获得颜色信息(色差信息)的像素,但是人类视觉特征对于颜色信息不灵敏,因此即使缺乏某些用于获得颜色信息的像素,也难以识别到图像劣化。因此,在本实施例的2行×2列的像素中,G像素被保留为摄像像素,并且用焦点检测像素代替R和B像素。这被示出为图4A中的SHA和SHB
图4B示出图4A中的截面A-A。微透镜ML和光电转换部PD与图3B所示的摄像像素具有相同的结构。在本实施例中,由于在图像生成时不使用焦点检测像素的焦点检测信号,因而配置透明膜CFW(白色)来代替颜色分离用的颜色滤波器。此外,由于利用摄像元件进行光瞳分割,因而配线层CL的开口部在相对于微透镜ML的中央线的一个方向上偏移。特别地,像素SHA的开口部OPHA朝向右侧偏移,因此接收到穿过摄像光学系统TL的左侧的出射光瞳EPHA的光束。同样,像素SHB的开口部OPHB朝向左侧偏移,因此接收到穿过摄像光学系统TL的右侧的出射光瞳EPHB的光束。因此,焦点检测像素接收穿过摄像镜头102的出射光瞳的一部分区域的光。在水平方向上规则配置像素SHA,并将利用该焦点检测像素组获得的被摄体图像定义为A图像,以及还在水平方向上规则配置像素SHB,并将利用该焦点检测像素组获得的被摄体图像定义为B图像。焦点检测器(未示出)可以检测A图像和B图像的相对位置,并通过将图像的偏移量乘以转换系数来计算被摄体图像的焦点偏移量(散焦量)。
上述像素SHA和SHB能够检测在摄像画面的横向方向上具有亮度分布的被摄体(例如,纵线)的焦点,但不能检测在纵向方向上具有亮度分布的被摄体(例如,横线)的焦点。针对这点,如果将SHA和SHB的开口部不是在水平方向而是在垂直方向(纵向方向)偏移的具有相同结构的像素配置为焦点检测像素组,则也可以针对横线的被摄体进行自动焦点检测操作。
以下说明了如何计算用于从图像偏移量计算散焦量的转换系数。可以基于成像光学系统的开口直径信息和焦点检测像素的感光度分布来计算转换系数。由诸如摄像镜头的光圈113和镜头保持框631等的一些构成构件限制的光束入射至摄像元件108(以下称为“图像传感器”)。图5A~5B示出通过摄像光学系统的渐晕来限制用于焦点检测的光束。图5A示出相对于邻近图像传感器的中央的像素,利用出射光瞳面601上设置的成像光学系统的光圈113来限制光束。在图5A中,附图标记603和604表示图像传感器(603位于预定成像面位置),附图标记605表示光轴,以及附图标记606表示图像传感器上的光轴位置。附图标记607和608表示利用光圈限制的光束,以及附图标记609和610表示未被限制的光束。与光束607和608相对应的焦点检测光束被标记为611和612,以及焦点检测光束的重心位置被标记为615和616。同样,与光束609和610相对应的焦点检测光束被标记为613和614,以及焦点检测光束的重心位置被标记为617和618。
图5B是示出由于在图像传感器中央的焦点检测像素的出射光瞳面601中的渐晕引起的重心位置的变化的图。在图5B中,附图标记623和624表示相对于图像传感器中央的像素、被限制的光束607和608以及未被限制的光束609和610的光瞳区域。附图标记625和626表示焦点检测像素SHA和SHB的入射角特性。透过623和624所示的形状的内部的光束如625和626所示的感光度分布那样入射至焦点检测像素SHA和SHB。因此,通过获得透过623和624所示的形状的内部的焦点检测光束的各分布重心,可以针对限制用于焦点检测的光束的情况和不限制用于焦点检测的光束的情况各自获得重心间隔。通过基于测量和计算来计算焦点检测像素的感光度分布信息和成像光学系统的开口直径信息并存储它们,获得用于从图像偏移量计算散焦量的转换系数。
在图5A中,散焦量619被定义为DEF。从图像传感器603至出射光瞳面601的距离620被定义为L。限制用于焦点检测的光束的情况和不限制用于焦点检测的光束的情况下的重心间隔分别被定义为G1(615和616之间的距离)和G2(617和618之间的距离)。此外,图像偏移量被定义为PRED1(621)和PRED2(622)。当将图像偏移量转换成散焦量的转换系数被定义为K1和K2时,通过以下等式计算散焦量:
等式1
DEF=K1×PRED1=K2×PRED2
通过以下等式来计算将图像偏移量转换成散焦量的转换系数K1和K2:
等式2
K1=L/G1(限制光束的情况)
K2=L/G2(不限制光束的情况)
在以上等式中,由于G1<G2,因而指定K1>K2。这一般意味着由于用于焦点检测的光束被限制,因而转换系数K的值变大。换句话说,随着焦点检测时的摄像镜头的光圈值增大,转换系数K1和K2的值变大,并且针对图像偏移量PRED的散焦量的灵敏度增大。
图6A是示出摄像像素和焦点检测像素的配置的图。在图6A~6C中,“G”表示涂布了绿色滤波器的像素,“R”表示涂布了红色滤波器的像素,以及“B”表示涂布了蓝色滤波器的像素。“SHA”(在图中被标记为“SA”以便于观察)表示通过在水平方向上偏移像素部的开口而形成的焦点检测用的像素,并且“SHA”形成用于检测相对于SHB像素组的水平方向上的图像偏移量的基准像素组。“SHB”(在图中被标记为“SB”以便于观察)表示通过在与SHA像素相反的方向上偏移像素的开口部而形成的焦点检测用的像素,并且“SHB”形成用于检测相对于SHA像素组的水平方向上的图像偏移量的基准像素组。SHA和SHB像素中有色背景上的空心部分表示偏移后的像素的开口位置。在焦点检测操作中,不单独使用SHA和SHB像素,通过将图6A中的粗框中所示的区域中存在的SHA和SHB像素相加来形成A图像和B图像的信号。图6A的下部所示的“A0”和“B0”分别表示A图像和B图像各自的开头像素,以及针对A图像将图像信号形成为A0、A1、A2、A3…,同样,针对B图像将图像信号形成为B0、B1…。
图6B是图6A的变形例,从图中粗框内存在的SHA和SHB像素中的各像素形成A图像和B图像信号对,并根据各图像信号对计算焦点检测结果。此外,这是将多个焦点检测结果的平均值定义为最终的焦点检测结果的方法。
图6C是示出摄像画面上的焦点可检测区域的一个例子。在图6C中,焦点可检测区域具有图6A所示的像素的配置。在本实施例中,焦点可检测区域覆盖上下左右的图像区域的大约70%的区域。作为示例,图6C以虚线示出使画面的中央聚焦时所构成的测距线。
针对如图6A、6B和6C所示布局的所有焦点检测像素,存在用于预先检查各像素是否是缺陷像素的步骤。如果在该步骤中像素被判断为缺陷像素,则将缺陷像素的位置和缺陷的大小存储在摄像设备内部包括的存储器(未示出)中。在工厂等进行检查步骤,并使用例如在不引入光的暗的状态下确认所有焦点检测像素的输出的方法。由于在暗的状态下没有光,因而预期焦点检测像素的输出为0;然而,在缺陷像素中,获得从期望值恒定偏移预定量的计数的输出。因此,针对在暗的状态下的输出从0偏离的焦点检测像素,如图6C所示,将在摄像元件中的位置(Xs,Ys)和在暗的状态下的输出的计数n存储在照相机中包括的存储器中。
如上,在本实施例中,在图像区域的上下左右的70%的区域中配置开口针对画面中央部在水平方向上偏离的多个焦点检测像素组,从而在焦点检测像素组的范围内的任意点进行自动调焦。此外,当在焦点检测像素中存在缺陷时,将缺陷像素的位置和缺陷的大小列表并作为数据保持。
接着,图7中示出本实施例中的流程图。将参考图7说明拍摄运动图像时的流程示例。图7中的操作由诸如微计算机(未示出)等的控制器(设置器)来执行。
当在步骤S101中从用户接受开始拍摄运动图像的指示时,在步骤S102中进行摄像元件108中的累积并获取一帧的图像信息。在该情况下,将进行摄像元件108的累积时的摄像镜头的Fno(F-number,光圈值)的值存储在照相机中的存储器中。在获取图像信息之后,进入步骤S103。
步骤S103是以下步骤:读出步骤S102中获取的图像信息中包括的焦点检测像素,并检查在所读出的焦点检测像素中是否存在缺陷像素。在该情况下,根据图中的哪个点进入聚焦来确定进行控制的测距线。可以通过“测距自动选择”或者在用户预先设置的点处进行的“测距任意选择”来确定进行控制的测距线。测距点与焦点检测区域相对应。“测距自动选择”计算画面中多个点处的散焦量,利用照相机自动判断在预定算法中认为最好的点,并对该点进行聚焦。出于说明的目的,以下假定用户在“测距点任意选择”中选择画面中央部的测距点。在该情况下,使用图6C中的虚线所示的区域中的焦点检测像素组的输出来进行散焦量的计算,针对照相机中包括的存储器中存储的缺陷像素的信息来检查在计算中所使用的焦点检测像素中是否存在缺陷像素。如果在被设计为进行控制的测距线中存在缺陷像素,则进入步骤S104,以及如果不存在缺陷像素,则进入步骤S106。
当在被设计为进行控制的测距线中存在缺陷像素时,步骤S104根据缺陷的水平来计算可用Fno。以下详细说明了方法。
假定作为被设计为进行控制的临时测距线的图像信号,获得如图8A那样的波形。这是A图像和B图像基本一致的图像信号,但在A图像中仅存在一个缺陷像素。如果不存在缺陷像素,则因为A和B图像相互一致,所以A和B图像之间的图像偏移量是0,结果,散焦量也是0。然而,事实上,由于缺陷像素的影响,根据缺陷像素的位置和水平,A和B图像之间的图像偏移量变为非0,并且所改变的量表示缺陷像素中的误测距量。
以下,为了进行标准化,利用由与所获得的图像信号的对比度的比(除以图像信号的最大值和最小值之间的差所得的值)定义的“缺陷水平”表示缺陷的大小。这是因为,用于计算图像偏移量的相关计算通常极大地依赖于输入的图像信号的对比度,并且因为考虑到缺陷的影响,更有利的是也将缺陷的大小转换成图像信号的对比度比。在图像信号的对比度方面,由于在本实施例中假定在A图像中存在缺陷像素的情况,因而利用没有缺陷的B图像计算对比度。如图8A~8B所示,在将B图像表示为由B(0)~B(64)组成的所有65个像素的图像信号B(i)的情况下,利用以下等式计算对比度PB:
等式3
PB=Max{B(i)}-Min{B(i)}
以上示出在A图像中存在缺陷像素的情况,但如果在B图像中存在缺陷像素,则可以通过使用A图像的图像信号A(i)来计算PB。
在将照相机中预先存储的缺陷像素在暗状态下的计数定义为n[计数]的情况下,利用以下等式计算缺陷水平S_lvl:
等式4
S_lvl=n/PB
在Fno=2的摄像镜头中,假定A图像中仅有的缺陷像素具有S_lvl=+40%。图8B表示在假定为该缺陷像素在各A(0)~A(64)中存在的情况下最终获得的散焦量相对于真的散焦量(=0)偏移的量。如图8B所示,即使缺陷水平是恒定的,最终的误测距量也根据图像信号中的位置而改变。因此,考虑缺陷像素对误测距量的影响,以下说明了作为最坏情况的最大偏移的情况。换句话说,在图8B所示的例子中,Fno=2和S_lvl=+40[%]的最坏情况下的测距量是50[um]。
Fno=2的例子如上所述,但如已经说明的,将图像偏移量转换成散焦量的转换系数K的值随着Fno增大而变大;因此,即使维持了由缺陷像素的影响所影响的图像偏移量,在Fno大时,误测距量也大。
考虑到以上,图9在横轴上定义Fno,以及在纵轴上定义缺陷水平S_lvl,并绘制最坏情况下的测距量是1Fδ的线。“δ”表示容许模糊圆的直径,“F”表示镜头的Fno,以及“Fδ”表示单侧焦深。如果基于图9来限定缺陷水平和要求测距精度(在图9的例子中,要求测距精度是1Fδ),则可以确定可用Fno。例如,在控制测距线中的缺陷像素的缺陷水平是30[%]的情况下,Fno<=8的情况在要求精度内,但以大于8的Fno来进行测距的情况不能满足1Fδ的精度。因此,步骤S104通过使用图9的图中的关系、根据要求测距精度和所包括的缺陷像素的缺陷水平,限定可用Fno。然而,其缺陷像素的缺陷水平可能根据周围环境的温度变化而改变。例如,缺陷水平可能随着温度上升而提高,或者缺陷水平可能随着温度下降而降低。因此,在步骤S104中,优选的是也考虑到使用照相机主体101上设置的温度传感器(温度检测器)(未示出)等的温度信息的可用Fno。以上说明了将一个像素定义为进行控制的测距线中包括的缺陷像素的情况,但在还存在多个缺陷的情况下,可以通过准备如图9那样的图来计算可用Fno。关于缺陷水平,在存在多个缺陷像素的情况下,例如,可以使用所有缺陷像素的S_lvl的和或平均值作为参数。在任何方面,由于误测距量通常随着缺陷像素数变大而变大,因而条件变得严格。简单地,在存在多个缺陷像素的情况下,可以将所有Fno设置为不可用(不存在可用Fno)。如果在步骤S104中确定了可用Fno,则进入步骤S105。
步骤S105是用于确认在控制测距线的累积时的Fno是否在步骤S104中计算出的可用Fno的范围内的步骤。控制测距线的累积时的Fno参考在步骤S102中存储的数值。当控制测距线的累积时的Fno在可用Fno的范围内时,由于满足要求测距精度,因而进入步骤S106,并针对通过使用缺陷像素直接获得的图像信号进行相关计算。在计算散焦量并进行调焦透镜的驱动之后,该帧的AF控制完成。另一方面,当控制测距线的累积时的Fno在可用Fno的范围外时,进入步骤S107。
如上所述,测距时的Fno不在要求测距精度内,因此步骤S107在不使用缺陷像素的情况下创建测距线。如果可以通过使用要求测距精度内的Fno再次进行测距,则应当通过改变Fno来进行测距;然而,因为当在记录运动图像中改变摄像镜头的Fno时,曝光或景深改变,所以Fno的改变变得困难。此外,可能存在缺陷水平很高的缺陷,并且可能所有Fno都不可用(不存在可用Fno)。在这些情况下,在不使用图像信号的校正处理或缺陷像素的情况下创建测距线,并改变所获取的图像信号。作为该方法,例如存在上述现有技术文献中所述的方法,该方法是以下处理:使用基于缺陷像素周围的焦点检测像素计算出的缺陷像素输出,或者在缺陷像素的附近区域中创建不包括缺陷像素的测距线等。此外,例如,当图6A中斜线所示的像素是缺陷像素时,可以通过在计算A3的信号时将图中虚线所示的两个像素的输出相加、将所计算出的值增大一半并将其设置为A3的信号,避开缺陷像素来创建测距线的图像信号。此外,在图6B所示的方法中,当在该图中所示的位置处存在缺陷像素时,可以通过仅对图中的虚线所包围的多对焦点检测像素组(除去包括缺陷像素的多对焦点检测像素组)的焦点检测结果进行平均化来设置最终焦点检测结果。在如步骤S107那样避开缺陷像素来创建测距线之后,进入步骤S106来进行AF控制。
在步骤S106中进行AF控制之后,在步骤S108中开始对来自用户的运动图像拍摄结束操作的等待状态。此时,在检测到来自用户的运动图像拍摄结束操作的情况下,进入步骤S109并且结束拍摄运动图像,并且在未检测到拍摄运动图像的结束操作的情况下,进入步骤S102并获取下一帧。
图7所示的流程图说明了在操作中不能改变Fno的运动图像拍摄时的流程图,但作为变形例,图10示出具有在操作中能够改变Fno的可能性的实时取景显示中的流程图。
在实时取景模式中(步骤S201),在步骤S202中等待接受AF操作。在接通SW1之后开始AF操作。因此,当接通SW1时,进入步骤S203及以下步骤,并进行AF操作,然后等待输入直到接通SW2为止。
由于步骤S203~S205与步骤S103~S105相同,因而省略其说明。
在步骤S205中,当测距时的摄像镜头的Fno在可用范围外时,进入步骤S206。由于测距时的Fno在要求测距精度外,因而如果可以再次进行AF的累积,则在步骤S206中确定该Fno。如果在实时取景模式中进行测距,则用户只需要能够利用背面的显示单元确认被摄体的构图。因此,如果引起的曝光或测距的时间应答等的改变小,则假定可以改变Fno以再次进行累积。然而,在用户确定曝光条件的手动曝光模式中或在用户预先利用与拍摄图像的情况相同的景深确认构图的模式中,即使在实时取景模式中也不能改变Fno。在像这样的情况或者缺陷水平很大以使得所有Fno不可用(不存在可用Fno)的情况下等,进入步骤S209,并且在可以改变Fno的情况下,进入步骤S207。
步骤S207将Fno改变为步骤S204中计算出的可用Fno中之一,再次进行控制测距线的累积,并进行读出操作。改变后的Fno可以设置步骤S204中计算出的可用Fno内的任意值,例如,由于可以减少实时取景画面的可视性的变化,因此可以设置与改变前的Fno的差最小的值。在步骤S207中改变Fno之后,进行控制测距线的累积和读出操作,然后,进入步骤S208。
由于步骤S208和S209与步骤S106和S107相同,因而省略其说明。在步骤S208中,AF控制操作完成,并且在步骤S210中,AF结束。
尽管已经参考运动图像拍摄和实时取景状态这两者说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种摄像设备,包括:
摄像元件,包括多个摄像像素和多个焦点检测像素,所述摄像像素用于对从摄像镜头获得的光进行光电转换以生成被摄体的图像,所述焦点检测像素用于接收穿过所述摄像镜头的出射光瞳的一部分区域的光;
焦点检测部件,用于基于从与焦点检测区域相对应的焦点检测像素输出的信号来进行焦点检测;以及
存储器,用于存储所述焦点检测像素中存在的缺陷像素的信息,
所述摄像设备的特征在于还包括:
设置部件,用于基于所述存储器中存储的缺陷像素的信息来设置能使用的光圈值的范围,
其中,在与所述焦点检测区域相对应的焦点检测像素中存在缺陷像素的情况下,如果光圈值在所述能使用的光圈值的范围内,则所述焦点检测部件通过使用从所述缺陷像素输出的信号来进行焦点检测,以及如果光圈值在所述能使用的光圈值的范围外,则所述焦点检测部件不使用从所述缺陷像素输出的信号来进行焦点检测,
其中,设置所述能使用的光圈值的范围以满足所述焦点检测的要求精度。
2.根据权利要求1所述的摄像设备,其特征在于,所述缺陷像素的信息是与所述缺陷像素的位置和缺陷的大小有关的信息。
3.根据权利要求1或2所述的摄像设备,其特征在于,如果光圈值在所述能使用的光圈值的范围外,则所述焦点检测部件使用如下信号来进行焦点检测:该信号是通过将从与所述焦点检测区域相对应的焦点检测像素中、除所述缺陷像素以外的剩余焦点检测像素输出的信号相加或平均化而获得的信号。
4.根据权利要求1或2所述的摄像设备,其特征在于,
所述焦点检测部件具有多个焦点检测像素对,并被配置为利用各个焦点检测像素对来生成图像信号对,并基于所生成的图像信号对来进行焦点检测,
其中,如果光圈值在所述能使用的光圈值的范围外,则所述焦点检测部件基于使用与所述焦点检测区域相对应的焦点检测像素对中、除包括所述缺陷像素的焦点检测像素对以外的剩余焦点检测像素对所获得的焦点检测结果的平均值,进行焦点检测。
5.根据权利要求1或2所述的摄像设备,其特征在于,还包括温度检测部件,所述温度检测部件设置在所述摄像元件附近,
其中,所述设置部件被配置为基于所述温度检测部件的检测结果和所述存储器中存储的缺陷像素的信息来设置所述能使用的光圈值的范围。
6.根据权利要求2所述的摄像设备,其特征在于,所述设置部件被配置为计算通过将所述缺陷像素中的缺陷的大小除以从所述焦点检测像素输出的信号的最大值和最小值之差而获得的缺陷水平,以基于所述缺陷水平来设置所述能使用的光圈值的范围。
7.根据权利要求6所述的摄像设备,其特征在于,在所述焦点检测像素包括多个缺陷像素的情况下,所述设置部件基于所述多个缺陷像素的缺陷水平的平均值来设置所述能使用的光圈值的范围。
8.一种摄像设备,包括:
摄像元件,包括多个摄像像素和多个焦点检测像素,所述摄像像素用于对从摄像镜头获得的光进行光电转换以生成被摄体的图像,所述焦点检测像素用于接收穿过所述摄像镜头的出射光瞳的一部分区域的光;
焦点检测部件,用于基于从与焦点检测区域相对应的焦点检测像素输出的信号来进行焦点检测;以及
存储器,用于存储所述焦点检测像素中存在的缺陷像素的信息,
所述摄像设备的特征在于还包括:
设置部件,用于基于所述存储器中存储的缺陷像素的信息来设置能使用的光圈值的范围,
其中,在与所述焦点检测区域相对应的焦点检测像素中存在缺陷像素的情况下,如果光圈值在所述能使用的光圈值的范围外,则所述设置部件改变所述摄像镜头的光圈值,以使得光圈值在所述能使用的光圈值的范围内,
其中,设置所述能使用的光圈值的范围,以满足所述焦点检测的要求精度。
9.根据权利要求8所述的摄像设备,其特征在于,还包括显示器,所述显示器用于显示来自所述摄像元件的图像数据,
其中,在所述显示器上实时显示来自所述摄像元件的图像数据的实时取景模式下,改变在焦点检测时的所述摄像镜头的光圈值。
10.一种摄像设备的控制方法,所述摄像设备包括摄像元件和存储器,所述摄像元件包括多个摄像像素和多个焦点检测像素,所述摄像像素用于对从摄像镜头获得的光进行光电转换以生成被摄体的图像,所述焦点检测像素用于接收穿过所述摄像镜头的出射光瞳的一部分区域的光,所述存储器用于存储所述焦点检测像素中存在的缺陷像素的信息,所述控制方法包括:
焦点检测步骤,用于基于从与焦点检测区域相对应的焦点检测像素输出的信号来进行焦点检测,
所述控制方法的特征在于还包括:
设置步骤,用于基于所述存储器中存储的缺陷像素的信息来设置能使用的光圈值的范围,
其中,在所述焦点检测步骤中,在与所述焦点检测区域相对应的焦点检测像素中存在缺陷像素的情况下,如果光圈值在所述能使用的光圈值的范围内,则通过使用从所述缺陷像素输出的信号来进行焦点检测,以及如果光圈值在所述能使用的光圈值的范围外,则不使用从所述缺陷像素输出的信号来进行焦点检测,
其中,设置所述能使用的光圈值的范围,以满足所述焦点检测的要求精度。
CN201210203320.8A 2011-06-15 2012-06-15 摄像设备及其控制方法 Active CN102833472B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011132876A JP5751946B2 (ja) 2011-06-15 2011-06-15 焦点調節装置およびその制御方法
JP2011-132876 2011-06-15

Publications (2)

Publication Number Publication Date
CN102833472A CN102833472A (zh) 2012-12-19
CN102833472B true CN102833472B (zh) 2015-09-09

Family

ID=47336425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210203320.8A Active CN102833472B (zh) 2011-06-15 2012-06-15 摄像设备及其控制方法

Country Status (3)

Country Link
US (1) US8878966B2 (zh)
JP (1) JP5751946B2 (zh)
CN (1) CN102833472B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767117B2 (en) * 2010-06-09 2014-07-01 Fujifilm Corporation Imaging device and method to correct the focus detection pixels using peripheral standard pixels and correcting defective peripheral standard pixels as well if found
JP5589857B2 (ja) * 2011-01-11 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
WO2012147515A1 (ja) * 2011-04-28 2012-11-01 富士フイルム株式会社 撮像装置及び撮像方法
JP6254780B2 (ja) * 2013-03-07 2017-12-27 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6317548B2 (ja) * 2013-04-10 2018-04-25 キヤノン株式会社 撮像装置及びその制御方法
JP6305006B2 (ja) 2013-10-18 2018-04-04 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6257396B2 (ja) 2014-03-18 2018-01-10 キヤノン株式会社 焦点検出装置及びその制御方法、プログラム、記憶媒体
JP6483354B2 (ja) * 2014-06-05 2019-03-13 オリンパス株式会社 撮像装置および撮像方法
JP6380974B2 (ja) * 2014-06-18 2018-08-29 オリンパス株式会社 撮像素子、撮像装置
JP6559021B2 (ja) * 2015-09-02 2019-08-14 キヤノン株式会社 撮像装置およびその制御プログラム
JP6723709B2 (ja) * 2015-09-11 2020-07-15 キヤノン株式会社 撮像装置、画像処理装置及びそれらの制御方法
JP6759088B2 (ja) * 2016-12-20 2020-09-23 キヤノン株式会社 撮像装置とその制御方法及びプログラム
US11265455B1 (en) * 2021-06-30 2022-03-01 Zebra Technologies Corporation Method of differentiating between focus drift and a change in distance to target for variable focus lens
CN116156328B (zh) * 2023-04-23 2023-07-04 湖南省迈德威视科技有限公司 一种应用于产品缺陷检测的工业相机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010078856A (ja) * 2008-09-25 2010-04-08 Canon Inc 撮像装置
CN101960353A (zh) * 2008-03-11 2011-01-26 佳能株式会社 焦点检测装置和具有焦点检测装置的成像设备
CN101971072A (zh) * 2008-03-11 2011-02-09 佳能株式会社 图像传感器和焦点检测装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1070687A (ja) * 1996-08-28 1998-03-10 Sony Corp 固体撮像素子の信号処理装置および方法
JP4007713B2 (ja) 1999-04-06 2007-11-14 オリンパス株式会社 撮像装置
JP2001177756A (ja) 1999-12-21 2001-06-29 Canon Inc 撮像装置及びそれを備えたカメラシステム
JP4479373B2 (ja) * 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
JP4388909B2 (ja) * 2005-04-25 2009-12-24 イーストマン コダック カンパニー 画素欠陥補正装置
JP2007174124A (ja) * 2005-12-20 2007-07-05 Canon Inc 撮像装置及び補正方法
JP4750626B2 (ja) * 2006-05-31 2011-08-17 シチズンホールディングス株式会社 自動合焦点装置
JP5003132B2 (ja) * 2006-12-07 2012-08-15 ソニー株式会社 撮像素子および撮像装置
JP5082631B2 (ja) * 2007-07-06 2012-11-28 株式会社ニコン 撮影装置
JP5180795B2 (ja) * 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP2010262173A (ja) * 2009-05-08 2010-11-18 Sony Corp 撮像装置および撮影レンズユニット
JP5699480B2 (ja) * 2010-08-17 2015-04-08 株式会社ニコン 焦点検出装置およびカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960353A (zh) * 2008-03-11 2011-01-26 佳能株式会社 焦点检测装置和具有焦点检测装置的成像设备
CN101971072A (zh) * 2008-03-11 2011-02-09 佳能株式会社 图像传感器和焦点检测装置
JP2010078856A (ja) * 2008-09-25 2010-04-08 Canon Inc 撮像装置

Also Published As

Publication number Publication date
US8878966B2 (en) 2014-11-04
US20120320241A1 (en) 2012-12-20
CN102833472A (zh) 2012-12-19
JP5751946B2 (ja) 2015-07-22
JP2013003282A (ja) 2013-01-07

Similar Documents

Publication Publication Date Title
CN102833472B (zh) 摄像设备及其控制方法
US8730374B2 (en) Focus detection apparatus
CN102652432B (zh) 图像处理设备、图像处理方法
CN102687499B (zh) 摄像设备
JPWO2005081020A1 (ja) 光学機器およびビームスプリッター
JP5967916B2 (ja) 焦点検出センサ及び焦点検出センサを用いた光学機器
JP6305006B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN104125394A (zh) 摄像装置及其控制方法
US5784655A (en) Focus detecting apparatus having photoelectric area sensors
CN101312503A (zh) 摄像设备及其控制方法
CN102761691B (zh) 摄像设备及其控制方法
CN105391934B (zh) 焦点检测设备、其控制方法以及摄像装置
CN104935806A (zh) 焦点检测设备及其控制方法
US20110095166A1 (en) Auto focus adjustment apparatus and image pickup apparatus
JP6960755B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP4642547B2 (ja) 焦点検出装置
JP5794665B2 (ja) 撮像装置
JP4954834B2 (ja) 撮像装置、合焦情報取得装置、撮像方法および合焦情報取得方法
JP2017223879A (ja) 焦点検出装置、フォーカス制御装置、撮像装置、焦点検出方法および焦点検出プログラム
JP5444928B2 (ja) 測光装置および撮像装置
US20220232166A1 (en) Range measurement apparatus, storage medium and range measurement method
JP4933274B2 (ja) 焦点調節装置、その制御方法及び撮像装置
JP2018082412A (ja) 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム
JP6255055B2 (ja) 焦点検出センサ及び焦点検出センサを用いた光学機器
JP2018026604A (ja) 撮像装置および撮像装置システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant