CN103024264A - 摄像设备和焦点检测方法 - Google Patents

摄像设备和焦点检测方法 Download PDF

Info

Publication number
CN103024264A
CN103024264A CN2012103695906A CN201210369590A CN103024264A CN 103024264 A CN103024264 A CN 103024264A CN 2012103695906 A CN2012103695906 A CN 2012103695906A CN 201210369590 A CN201210369590 A CN 201210369590A CN 103024264 A CN103024264 A CN 103024264A
Authority
CN
China
Prior art keywords
related data
pixel
focus detection
pixel line
produce
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103695906A
Other languages
English (en)
Other versions
CN103024264B (zh
Inventor
岸隆史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103024264A publication Critical patent/CN103024264A/zh
Application granted granted Critical
Publication of CN103024264B publication Critical patent/CN103024264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Abstract

一种摄像设备和焦点检测方法。该摄像设备包括:图像传感器,其包括多个像素,其中多个像素用于对穿过出射光瞳的不同区域的光束所形成的被摄体图像对进行光电转换;信号产生部件,用于通过使用来自各个像素线的输出,针对各个像素线,来产生与被摄体图像对相对应的图像信号对,各个像素线包括多个像素中在第一方向上排列的多个像素,且多个像素线在与第一方向垂直的第二方向上排列;计算部件,用于针对各个像素线,通过使图像信号对在第一方向上进行相对移位并针对各相对移位量计算相关值,来产生第一相关数据,将针对各个像素线所产生的第一相关数据的相应相关值进行相加以产生第二相关数据,以及根据第二相关数据来计算散焦量。

Description

摄像设备和焦点检测方法
技术领域
本发明涉及一种通过使用来自用于对被摄体图像进行光电转换的图像传感器的输出来检测摄像光学系统的焦点状态的摄像设备。
背景技术
这种摄像设备利用图像传感器内所设置的多个焦点检测像素来对穿过摄像光学系统的出射光瞳中彼此不同的两个区域(以下称为“两个光瞳区域”)的光束所形成的一对被摄体图像进行光电转换,以根据焦点检测像素产生一对图像信号。摄像设备对一对图像信号进行相关计算以计算一对图像信号之间的作为相对位置差量(图像偏移量)的相位差,然后计算与摄像光学系统的焦点状态相对应的散焦量。这种焦点检测方法被称为“图像传感器相位差检测方法”。
日本特许2001-083407和日本特开2001-250931公开了各自设置有如下图像传感器的摄像设备,其中该图像传感器的各焦点检测像素包括具有集光作用的一个微透镜以及分别接收来自两个不同光瞳区域的光束的两个分割光电二级管(以下简称为“PD”)。将多个这种焦点检测像素设置在图像传感器内,这使得能够产生该对图像信号。
此外,日本特许3592147和日本特开2010-152161公开了各自设置有包括如下两个焦点检测像素组的图像传感器的摄像设备,其中在这两个焦点检测像素组中,形成在光入射侧的位于PD前的配线层的开口相对于像素中心在彼此不同的方向上偏移。设置用于接收来自两个光瞳区域的光束的这两个焦点检测像素组,这使得能够产生一对图像信号。
在这种图像传感器相位差检测方法中,期望从设置在图像传感器内的作为包括多个像素行和多个像素列的二维像素区域的焦点检测区域中获得各图像信号。这是因为:仅包括一个像素行的焦点检测区域太窄以至于无法进行良好的焦点检测。因而,日本特开2010-152161所公开的摄像设备使各像素行所包括的多个像素的输出沿像素行延伸的方向进行投影,从而产生各像素行的输出。
然后,在像素列延伸的方向上配置各个像素行的输出,这使得能够从二维焦点检测区域产生一维图像信号。此外,日本特开2010-152161公开了一种方法,其针对各像素行产生一对图像信号,计算该对图像信号之间的相位差(图像偏移量),然后相加针对多个像素行而计算出的图像偏移量,从而计算二维焦点检测区域的图像偏移量。
然而,日本特开2010-152161所公开的图像信号产生方法中的第一种方法将二维配置的像素的输出压缩成一维输出,由此使针对诸如横线等的特定被摄体的焦点检测性能劣化。另一方面,日本特开2010-152161所公开的图像信号产生方法中的第二种方法要求针对各像素行计算图像偏移量,这虽然能够确保一定程度的焦点检测性能,但是需要较长的计算时间。
发明内容
本发明的一个方面提供一种摄像设备,包括:图像传感器,其包括多个像素,其中所述多个像素用于对穿过摄像光学系统的出射光瞳的不同区域的光束所分别形成的被摄体图像对进行光电转换;信号产生部件,用于通过使用来自所述图像传感器的焦点检测区域所包括的多个像素线中的各个像素线的输出,针对所述多个像素线中的各个像素线,来产生与所述被摄体图像对相对应的图像信号对,其中各个像素线包括所述多个像素中在第一方向上排列的多个像素,并且所述多个像素线在与所述第一方向垂直的第二方向上排列;以及计算部件,用于通过使用针对各个像素线所产生的所述图像信号对,来计算所述摄像光学系统的散焦量,其中,所述计算部件被配置为:针对各个像素线,通过使所述图像信号对在所述第一方向上进行相对移位并针对各相对移位量计算相关值,来产生第一相关数据,将针对各个像素线所产生的第一相关数据的相应相关值进行相加以产生第二相关数据,以及根据所述第二相关数据来计算所述散焦量。
本发明的另一方面提供一种用于摄像设备的焦点检测方法,所述摄像设备包括具有多个像素的图像传感器,所述多个像素用于对穿过摄像光学系统的出射光瞳的不同区域的光束所分别形成的被摄体图像对进行光电转换,所述焦点检测方法包括以下步骤:产生步骤,用于通过使用来自所述图像传感器的焦点检测区域所包括的多个像素线中的各个像素线的输出,针对各个像素线,来产生与所述被摄体图像对相对应的图像信号对,其中各个像素线包括在第一方向上排列的多个像素,并且各个像素线在与所述第一方向垂直的第二方向上相对于相邻像素线偏移;以及计算步骤,用于通过使用针对各个像素线所产生的所述图像信号对,来计算所述摄像光学系统的散焦量,其中,所述计算步骤包括:针对各个像素线,通过使所述图像信号对在所述第一方向上进行相对移位并针对各相对移位量计算相关值,来产生第一相关数据;将针对各个像素线所产生的第一相关数据的相应相关值进行相加以产生第二相关数据;以及根据所述第二相关数据来计算所述散焦量。
通过以下(参考附图)对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1示出了本发明实施例1的摄像设备中要使用的图像传感器的结构。
图2示出了实施例1的图像传感器中的像素的结构。
图3示出了实施例1的图像传感器中的像素阵列。
图4示出了实施例1的图像传感器上的图像形成。
图5A~5D示出了实施例1的相位差检测方法中的像素行以及一对图像信号之间的关系。
图6A和6B示出了实施例1的图像传感器中的焦点检测区域。
图7是示出实施例1的焦点检测计算的流程图。
图8A~8C示出了第二相关数据与焦点状态之间的关系。
图9A和9B示出了本发明实施例2的图像传感器中的焦点检测区域。
图10示出了本发明实施例3的图像传感器中的焦点检测区域。
图11是示出实施例3中的焦点检测计算的流程图。
图12是示出实施例3的变形例中的焦点检测计算的流程图。
图13示出了本发明实施例4的摄像设备的结构。
具体实施方式
以下将参考附图来说明本发明的典型实施例。
实施例1
图1示出了作为本发明第一实施例(实施例1)的摄像设备中要使用的图像传感器(摄像元件)的结构。图像传感器100设置有由作为第一方向的水平方向和作为与第一方向垂直的第二方向的垂直方向上所配置的多个像素构成的矩阵状像素阵列101。
下文中,将水平方向上呈直线状排列的像素组称为“像素行”,并将垂直方向上呈直线状排列的像素组称为“像素列”。像素阵列101包括多个像素行,其中这些像素行各自包括水平方向上排列的多个像素,并且像素行被配置在垂直方向上。换句话说,像素阵列101包括多个像素列,其中这些像素列各自包括垂直方向上排列的多个像素,并且像素列被配置在水平方向上。
图像传感器100包括用于选择垂直方向上配置的像素行其中之一的垂直选择电路102以及用于选择水平方向上配置的像素列其中之一的水平选择电路104。此外,图像传感器100包括:读取电路103,用于读取来自垂直选择电路102从像素阵列101的像素行所选择出的像素行的像素的信号(像素信号);以及串行接口(SI)105,用于从设备的外部设置各电路的一个工作模式等。对于各像素列,读取电路103包括增益放大器、A/D转换器、以及用于存储像素信号的存储器等。尽管未示出,但图像传感器100还包括:时序发生器,用于将定时信号供给至垂直选择电路102、水平选择电路104和读取电路103;以及控制器,用于控制像素信号的读取。
在由此构成的图像传感器100中,垂直选择电路102顺次选择多个像素行中的一个像素行,并且读取电路103读取作为所选择的像素行所包括的像素的输出的像素信号。水平选择电路104在各像素列中顺次选择读取电路103读取的像素信号。
图2示出了图像传感器100中的一个像素的结构。像素201具有一个微透镜202以及两个光电二极管(以下简称为“PD”)203和204。尽管未示出,但像素201还包括用于将来自PD的信号读取至读取电路103的像素放大器、用于选择像素的选择开关、以及用于对来自PD的信号进行复位的复位开关等。对通过使用来自PD 203和204的像素信号所分别产生的一对信号之间的相位差进行计算,这使得能够进行相位差检测方法的焦点检测。
图3是像素阵列101的一部分的放大图。通过对各自如图2所示的像素进行配置以形成二维阵列来构成像素阵列101,这使得能够产生二维图像。附图标记301、302、303和304表示像素。附图标记301L、302L、303L和304L表示各自与图2所示的PD 203相对应的PD,而附图标记301R、302R、303R和304R表示与图2所示的PD 204相对应的PD。附图标记305表示一个像素行。
以下将参考图4来说明具有图3所示的像素阵列101的图像传感器100的光接收。图4示出了穿过摄像光学系统的出射光瞳406的光束入射到图像传感器100的状态。将摄像光学系统(例如,照相机镜头)设置为与摄像设备(例如,照相机)一体化或可更换。附图标记401表示像素阵列的截面。附图标记402表示与图2所示的微透镜202相对应的微透镜,并且附图标记403表示滤色器。附图标记404和405表示与图2所示的PD相对应的光电二极管。
在本说明书中,将穿过出射光瞳并入射到具有微透镜402的像素的光束的中心定义为光轴409。来自出射光瞳的光束以光束中心位于光轴409的方式入射到图像传感器100。附图标记407和408示出了摄像光学系统的出射光瞳的相互不同区域(以下称为“光瞳区域”)。穿过光瞳区域407的光束的最外周光线由附图标记410和411表示,并且穿过光瞳区域408的光束的最外周光线由附图标记412和413表示。
由图4可以理解,在穿过出射光瞳的光束中,相对于光轴409位于上侧的光束入射到PD 405,并且相对于光轴409位于下侧的光束入射到PD 404。因而,PD 404和405接收穿过相互不同的光瞳区域的一对光束(即,由这对光束所形成的一对被摄体图像)。
尽管图2和4示出了针对一个微透镜设置两个PD的像素结构,但也可以采用如下的另一结构,其中在该另一结构中,一个像素设置有中心相对于该像素的光轴向着一侧偏移的一个PD,并且一个相邻像素设置有中心相对于该像素的光轴向着另一侧偏移的一个PD。将这两个像素用作一对像素以根据来自这对像素的输出(像素信号)产生一对图像信号,这使得能够进行图像传感器相位差检测方法的焦点检测。
此外,还可采用如下结构:遮光层遮挡入射到微透镜的一侧的光束以达到与使PD的中心偏移相同的效果。因而,图像传感器仅需具有如下结构:一个像素或一对像素能够接收来自相互不同的光瞳区域的光束并且二维配置这些像素。
接下来将参考图5A~5D来说明焦点检测。本实施例在图像传感器100(像素阵列101)的一部分中,设置作为将各自在水平方向上延伸的多个像素行配置在垂直方向上的像素区域的焦点检测区域。此外,本实施例使得焦点检测区域中的各像素所包括的两个PD对来自相互不同的光瞳区域的一对光束所形成的一对被摄体图像(以下也称为“两个图像”)进行光电转换。
可以将各像素行视为包括用于对两个图像进行光电转换的两个PD行。在以下说明中,在焦点检测时将各PD作为像素进行处理,并且将两个PD行的其中一个以及另一个称为“A行像素”和“B行像素”。
图5A示出了焦点检测区域的一个像素行所包括的A行像素和B行像素。图5B~5D示出了对焦状态(图5B)、前焦点状态(图5C)和后焦点状态(图5D)的一对图像信号。
在图3所示的像素行305中,像素(PD)301L、302L、303L和304L各自与A行像素相对应,并且像素(PD)301R、302R、303R和304R各自与B行像素相对应。
利用来自A行像素和B行像素的输出所产生的一对图像信号之间的距离根据摄像光学系统的上述焦点状态(对焦状态、前焦点状态和后焦点状态)而改变。当摄像光学系统的焦点状态为前焦点状态或后焦点状态时,移动调焦透镜以使得一对图像信号之间的距离与对焦状态下的距离一致。换句话说,可以根据与摄像光学系统的散焦量相对应的两个图像的相对偏移量(即,相位差,以下称为“图像偏移量”)来计算调焦透镜的移动量。
接下来将参考图6A、6B和7来说明图像偏移量的计算方法。图6A和6B示出了图像传感器100上的焦点检测区域。图6A所示的区域中心为点601的焦点检测区域602包括X(水平)方向上从p列到q列的像素列以及Y(垂直)方向上从r行到s行的像素行。可以使该焦点检测区域602在-Imax和+Imax之间移位,这使得可以进行焦点检测的实质区域变成包括移位量的区域603(-Imax~+Imax)。
图6B示出了与图6A所示的焦点检测区域603不同的焦点检测区域。如图6B所示,对焦点检测区域的移动使得能够在图像传感器100中(换句话说,在摄像框中)的任意区域内进行焦点检测。
图7的流程图示出了根据图6A和6B所示的焦点检测区域中所获得的一对图像信号来计算与调焦透镜的移动量相对应的散焦量的焦点检测计算(焦点检测方法)的处理。该计算是设置在摄像设备内的计算部根据计算机程序而进行的。
在步骤S701,已开始焦点检测计算的计算部选择第一像素行(Y=r)。接下来,在步骤S702,计算部设置Iy=-Imax。由于Y在这里为r,因而计算部计算r行的A行像素和B行像素的图像偏移量。在以下说明中,将A行像素上所形成的被摄体图像以及通过对该被摄体图像进行光电转换所获得的图像信号分别称为“A图像”和“A图像信号”,并且将B行像素上所形成的被摄体图像以及通过对该被摄体图像进行光电转换所获得的图像信号分别称为“B图像”和“B图像信号”。
接下来,在步骤S703,计算部使B图像信号移位与Iy像素相对应的移位量。接下来,在步骤S704,计算部利用以下表达式(1)来计算A图像信号与移位后的B图像信号之间的相关值。
C ( Iy ) = Σ x = p q | A x - B x + Iy | . . . ( 1 )
其中,Ax和Bx分别表示来自特定像素行的A行像素和B行像素中坐标为x的像素的输出(像素值)。由以上表达式(1)可以理解,将相关值C(Iy)表示为相对移位了与Iy像素相对应的移位量的A图像信号和B图像信号之间的差的绝对值的总和。
还可以利用以下表达式(2)来计算相关值C(Iy)。
C ( Iy ) = Σ x = p q | A x + Iy - B x - Iy | . . . ( 2 )
计算部利用表达式(2),不仅使从B行像素所获得的B图像信号移位,还使从A行像素所获得的A图像信号在与B图像信号的移位方向相反的方向上移位,并且计算A图像信号和B图像信号之间的差的绝对值的总和。具体地,计算部使A图像信号移位与Iy像素相对应的移位量,并且使B图像信号移位与-Iy像素相对应的移位量。此外,在这种情况下,将相关值C(Iy)表示为相对移位后的A图像信号和B图像信号之间的差的绝对值的总和。
此外,可以利用以下表达式(3)、即通过计算A图像信号和移位了与Iy像素相对应的移位量的B图像信号(换句话说,相对移位后的A图像信号和B图像信号)中较大的图像信号的像素值的总和,来计算相关值C(Iy)。
C ( Iy ) = Σ x = p q max ( A x , B x + Iy ) . . . ( 3 )
在以上表达式(3)中,max(A,B)表示选择A和B中较大的那个。此外,尽管没有给出表达式,但也可以通过选择A和B中较小的那个来计算相关值。因而,可以通过任意计算方法来计算该相关值。
接下来,在步骤S705,计算部将Iy+1代入Iy,换句话说,计算部使B图像信号移位Iy+1的像素数量。然后,在步骤S 706,计算部判断Iy是否达到Imax。如果Iy达到Imax,则计算部进入步骤S707。如果Iy小于Imax,则计算部重复步骤S703、S704和S705的处理。当进行步骤S707的处理时,计算第一相关数据C(Iy),其中该第一相关数据C(Iy)是直到Iy在一个像素行中从-Imax增加到Imax为止所移位的B图像信号的各移位位置(Iy)处的相关值的集合。获得第一相关数据,作为表示一个像素行中的与移位量(或移位位置)相对应的相关值的变化的波形数据。
在步骤S707,计算部将C(Iy)+C(I)代入C(I)。此外,在步骤S708,计算部将Y+1代入Y。然后,在步骤S709,计算部判断Y是否达到s。如果Y达到s,则计算部进入步骤S710。如果Y小于s,则计算部返回到步骤S702。因而,计算部将r~s行的各像素行中在Y达到s之前所计算出的第一相关数据C(Iy)相加,从而获取第二相关数据C(I),其中该第二相关数据C(I)是焦点检测区域中所有像素行(r~s行)的相关数据。
在步骤S710,计算部求取第二相关数据C(I)表示最高相关性时的I。以下将参考图8A~8C来说明最高相关性。在图8A~8C中,第二相关数据C(I)表示相对移位了移位量I的A图像信号和B图像信号之间的相关值。当计算表达式(1)和(2)所示的作为像素信号的差的绝对值的总和的相关值时,第二相关数据C(I)的值最低时的I是相关性最高时的I。
在图8A所示的对焦状态中,第二相关数据C(I)表示最高相关性、即第二相关数据C(I)的值最低时的I是0。另一方面,在图8B所示的前焦点状态和图8C所示的后焦点状态中,第二相关数据C(I)表示最高相关性时的I是在其散焦方向上相对于0存在移位的I。该移位量I相当于作为相位差的图像偏移量。因此,计算部求取相关性最高时的I以计算r~s行的A行像素和B行像素的图像偏移量。
接下来,在步骤S711,计算部将图像偏移量(移位量I)转换成摄像光学系统的散焦量L,然后结束焦点检测计算。之后,尽管未示出,但计算部基于散焦量L计算镜头移动量,以使调焦透镜移动所计算出的镜头移动量,从而获得对焦状态。
如上所述,本实施例针对焦点检测区域中的各像素行计算第一相关数据,并且通过将针对焦点检测区域中的所有像素行所计算出的第一相关数据相加来产生第二相关数据。因而,本实施例仅需使根据第二相关数据计算相关性最高时的图像偏移量的处理进行一次,从而能够减少焦点检测计算所需的时间。
图2和3所示的各像素(包括两个PD的像素)不仅用于焦点检测,也用于产生记录/显示用的静止图像和运动图像(帧图像)。具体地,用于从图像传感器100分别读取来自图2所示的PD 203和204的像素信号并将这些像素信号相加的处理使得能够产生摄像用的一个像素的像素信号,并且能够利用该摄像用的像素信号产生图像。
实施例2
接下来将参考图9A和9B来说明本发明的第二实施例(实施例2)。图9A和图9B示出了如下内容:要根据焦点检测区域602和最大移位量Imax而确定的焦点检测区域603的实质大小可以根据摄像条件来改变,其中焦点检测区域602包括X(水平)方向上的像素列p~q和Y(垂直)方向上的像素行r~s。
将图9B所示的焦点检测区域602和603在水平方向和垂直方向上设置得窄于图9A所示的焦点检测区域602和603。焦点检测区域的大小的改变是为了应对以下情况:A图像和B图像的图像偏移量或者A图像和B图像的大小根据诸如摄像光学系统的焦点状态和F值等的摄像条件中至少之一而改变。
例如,由于A图像和B图像的图像偏移量及其大小在摄像条件是F值较小的条件以及焦点状态为极大失焦状态的情况下都较大,因而如图9A所示,将焦点检测区域602和603设置得较大。另一方面,由于A图像和B图像的图像偏移量及其大小在摄像条件是F值较大的条件以及焦点状态并非极大失焦状态的情况下都较小,因而如图9B所示,将焦点检测区域602和603设置得较小。
期望每次在一张静止图像的摄像以及在运动图像的1帧的摄像时进行焦点检测区域的大小的改变。此外,期望响应于诸如F值等的摄像条件的改变或要拍摄的被摄体的移动来进行焦点检测区域的大小的改变。
实施例3
接下来将参考图10来说明本发明的第三实施例(实施例3)。实施例2说明了以下情况:期望每次在一张静止图像的摄像以及在运动图像的一帧的摄像时在水平方向和垂直方向上进行焦点检测区域的大小的改变。然而,在排列有像素行的垂直方向上,焦点检测区域的大小可以在不经由摄像的情况下(即,在一次的静止图像摄像期间以及在1帧图像的摄像期间)根据各种摄像条件而改变。
图10示出了将图像传感器100内所设置的实质焦点检测区域603垂直地分割为多个区域(以下各自称为“分割区域”)1001、1002和1003。分割区域1001、1002和1003各自包括多个像素行和多个像素列。本实施例的计算部根据各分割区域1001、1002和1003来计算作为实施例1所述的第二相关数据C(I)的C1(I)、C2(I)和C3(I),然后根据C1(I)、C2(I)和C3(I)来计算散焦量L。
以下将参考图11的流程图来说明本实施例中的焦点检测计算(焦点检测方法)的处理。设置在摄像设备中的计算部根据计算机程序来进行该焦点检测计算。
在步骤S1101,已开始焦点检测计算的计算部将作为赋予至分割区域1001、1002和1003的编号的n设为1,以选择第一分割区域1001。
接下来,在步骤S701~S709,计算部进行与实施例1相同的处理,以计算第一分割区域1001中的各像素行的第一相关数据C1(Iy)。然后,计算部将针对分割区域1001中的所有像素行所计算出的第一相关数据C1(Iy)相加,以获取第二相关数据C1(I)。在步骤S707,计算部将Cn(Iy)+Cn(I)代入Cn(I)。
在步骤S 709,计算部判断Y是否达到表示第n个分割区域的像素行中的s行的s(n)。将Y达到s(n)之前针对所有像素行而计算出的第一相关数据Cn(Iy)相加,这使得能够获取第n个分割区域中的第二相关数据Cn(I)。如果Y达到s(n),则计算部进入步骤S1102。如果Y小于s(n),则计算部返回到步骤S702。
在步骤S1102,计算部将n+1代入n。此外,在步骤S1103,计算部判断n是否达到3。如果n小于3,则计算部选择下一分割区域,并进行步骤S701~S709的处理,以获得针对下一分割区域的第二相关数据(C2(I)或C3(I))。当在步骤S1103中n由此达到3时,计算部进入步骤S1104。
在步骤S1104,计算部根据作为三个分割区域1001、1002和1003的第二相关数据Cn(I)的C1(I)、C2(I)和C3(I)来产生最佳第二相关数据(以下称为“最佳相关数据”)C(I)。具体地,计算部在F值较小时通过将C1(I)、C2(I)和C3(I)相加来产生最佳相关数据Cn(I),而另一方面,在F值较大时仅利用C2(I)来产生最佳相关数据Cn(I)。
接下来,在步骤S710和S711,如实施例1所述,计算部根据最佳相关数据Cn(I)来计算相关性最高时的移位量(图像偏移量)I,并且根据该移位量I来计算散焦量L。
以下将参考图12的流程图来说明根据针对分割区域1001、1002和1003所计算出的第二相关数据C1(I)、C2(I)和C3(I)来计算散焦量L的另一方法。下文将说明图11中的步骤S1104及之后步骤的处理的替代处理。
在通过直到步骤S1103的处理计算出第二相关数据C1(I)、C2(I)和C3(I)之后,计算部进入步骤S1201。在步骤S1201,计算部根据针对分割区域1002所计算出的第二相关数据C2(I)来计算相关性最高时的移位量I2(即,作为特定分割区域的分割区域1002中的图像偏移量)。利用与实施例1中步骤S710所述的方法相同的方法来计算移位量I2。
接下来,在步骤S1202,计算部判断移位量I2是否在预定范围内。例如,当移位量较小时,F值较大或散焦量较小。如果移位量I2较小且在预定范围内,则计算部进入步骤S1203以将I2代入相关性最高时的I。之后,计算部进入步骤S711以根据该I来计算散焦量L。
另一方面,当移位量较大时,F值较小或散焦量较大。如果移位量I2较大且没有在预定范围内,则计算部进入步骤S1204以将C1(I)+C2(I)+C3(I)代入C(I)。在这种情况下,期望设置较大的焦点检测区域。因此,在步骤S1204,计算部将第二相关数据C1(I)、C2(I)和C3(I)相加以产生最佳相关数据C(I)。
然后,计算部进入步骤S710和S711,以根据最佳相关数据Cn(I)来计算相关性最高时的移位量(图像偏移量)I,并且根据该移位量I来计算散焦量L。
如上所述,首先,本实施例根据针对分割区域1002所产生的第二相关数据来计算图像偏移量。然后,本实施例判断作为用于计算散焦量的第二相关数据,是使用仅针对分割区域1002所产生的第二相关数据还是使用分别针对分割区域1001、1002和1003所产生的第二相关数据。
因而,根据图像偏移量(移位量I),本实施例使得能够在一次的静止图像摄像期间以及在1帧图像的摄像期间在排列有像素行的方向上改变焦点检测区域的大小。此外,本实施例针对通过分割焦点检测区域所设置的分割区域中的各像素行来计算第一相关数据,并且将针对该分割区域中的所有像素行的第一相关数据相加,以产生针对该分割区域的第二相关数据。然后,本实施例利用第二相关数据来计算相关性最高时的图像偏移量(移位量I)。因此,本实施例仅需使图像偏移量(移位量I)的计算进行一次,从而能够减少焦点检测计算所需的时间。
尽管实施例1~3各自说明了针对各像素行产生第一相关数据并且将针对所有像素行所产生的第一相关数据相加以产生第二相关数据的情况,但也可以通过将针对各像素列所产生的第一相关数据相加以及将针对所有像素列所产生的第一相关数据相加来产生第二相关数据。此外,实施例3所述的焦点检测计算也能应用于如下情况:将焦点检测区域分割为排列有像素列的水平方向上的多个区域。
实施例4
图13示出了作为设置有实施例1~3所述的计算部的(换句话说,进行焦点检测的)摄像设备的数字照相机。在图13中,附图标记1301表示用于使来自被摄体的光束形成被摄体图像的摄像镜头(摄像光学系统)。摄像镜头1301包括变倍透镜、调焦透镜和光圈。通过用于接收来自(下述)主控制/计算部1309的指示的镜头驱动器1302来驱动这些透镜和光圈。
附图标记1303表示要由用于接收来自主控制/计算部1309的指示的快门驱动器1304进行驱动的机械快门。附图标记1305表示与实施例1~3中的图像传感器100相对应且用于对摄像镜头1301所形成的被摄体图像进行光电转换的图像传感器。
附图标记1306表示用于对来自图像传感器1305的输出信号进行各种处理的摄像信号处理器(信号产生部)。摄像信号处理器1306根据从图像传感器1305的焦点检测区域所包括的各像素行的像素所输出的像素信号,来产生一对图像信号。
附图标记1307表示用于将定时信号输出至图像传感器1305和摄像信号处理器1306的时序发生器。主控制/计算部1309控制整个照相机的操作并且用作实施例1~3所述的计算部。附图标记1313表示用于对被摄体进行测光的测光器。
附图标记1308表示用于临时存储摄像信号处理器1306所产生的图像的存储器。附图标记1310表示用于与诸如半导体存储器等的记录介质进行图像的记录和读取的记录介质接口。记录介质1311以能够拆卸的方式安装到照相机。附图标记1312表示用于显示各种信息和图像的显示部。
在由此配置的数字照相机中,主电源的接通使得开始向包括主控制/计算部1309的控制系统供给电力,并且开始向包括摄像信号处理器1306的摄像系统供给电力。
接下来,响应于用户对释放按钮(未示出)的操作,主控制/计算部1309利用摄像信号处理器1306针对图像传感器1305中的焦点检测区域的各像素行所产生的一对图像信号,来进行焦点检测以及散焦量的计算。然后,主控制/计算部1309基于计算结果来计算调焦透镜的移动量,并且通过镜头驱动器1302使调焦透镜移动计算出的移动量,从而获得对焦状态。
在确认了对焦状态之后,主控制/计算部1309开始摄像操作。主控制/计算部1309使得摄像信号处理器1306对来自图像传感器1305的输出信号进行图像处理并产生所拍摄图像(静止图像或运动图像)。主控制/计算部1309使记录介质接口1310将所拍摄图像写至记录介质1311。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (5)

1.一种摄像设备,包括:
图像传感器,其包括多个像素,其中所述多个像素用于对穿过摄像光学系统的出射光瞳的不同区域的光束所分别形成的被摄体图像对进行光电转换;
信号产生部件,用于通过使用来自所述图像传感器的焦点检测区域所包括的多个像素线中的各个像素线的输出,针对所述多个像素线中的各个像素线,来产生与所述被摄体图像对相对应的图像信号对,其中各个像素线包括所述多个像素中在第一方向上排列的多个像素,并且所述多个像素线在与所述第一方向垂直的第二方向上排列;以及
计算部件,用于通过使用针对各个像素线所产生的所述图像信号对,来计算所述摄像光学系统的散焦量,
其中,所述计算部件被配置为:
针对各个像素线,通过使所述图像信号对在所述第一方向上进行相对移位并针对各相对移位量计算相关值,来产生第一相关数据,
将针对各个像素线所产生的第一相关数据的相应相关值进行相加以产生第二相关数据,以及
根据所述第二相关数据来计算所述散焦量。
2.根据权利要求1所述的摄像设备,其中,所述计算部件还被配置为:
针对通过在所述第二方向上分割所述焦点检测区域所形成的所述焦点检测区域的多个分割区域中的各个分割区域,产生第一相关数据和第二相关数据,以及
通过使用针对所述多个分割区域各自所产生的第二相关数据,来计算所述散焦量。
3.根据权利要求2所述的摄像设备,其中,所述计算部件还被配置为:
根据从针对所述多个分割区域中的特定分割区域所产生的第二相关数据所获得的所述图像信号对的偏移量,来判断使用如下两种第二相关数据中的哪个第二相关数据来计算所述散焦量:针对所述特定分割区域所产生的第二相关数据;以及针对所述多个分割区域各自所产生的第二相关数据。
4.根据权利要求1至3中任一项所述的摄像设备,其中,所述计算部件还被配置为根据所述摄像光学系统的焦点状态和F值至少之一来改变所述焦点检测区域的大小。
5.一种用于摄像设备的焦点检测方法,所述摄像设备包括具有多个像素的图像传感器,所述多个像素用于对穿过摄像光学系统的出射光瞳的不同区域的光束所分别形成的被摄体图像对进行光电转换,所述焦点检测方法包括以下步骤:
产生步骤,用于通过使用来自所述图像传感器的焦点检测区域所包括的多个像素线中的各个像素线的输出,针对各个像素线,来产生与所述被摄体图像对相对应的图像信号对,其中各个像素线包括在第一方向上排列的多个像素,并且各个像素线在与所述第一方向垂直的第二方向上相对于相邻像素线偏移;以及
计算步骤,用于通过使用针对各个像素线所产生的所述图像信号对,来计算所述摄像光学系统的散焦量,
其中,所述计算步骤包括:
针对各个像素线,通过使所述图像信号对在所述第一方向上进行相对移位并针对各相对移位量计算相关值,来产生第一相关数据;
将针对各个像素线所产生的第一相关数据的相应相关值进行相加以产生第二相关数据;以及
根据所述第二相关数据来计算所述散焦量。
CN201210369590.6A 2011-09-27 2012-09-27 摄像设备和焦点检测方法 Active CN103024264B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011210018A JP5907595B2 (ja) 2011-09-27 2011-09-27 撮像装置
JP2011-210018 2011-09-27

Publications (2)

Publication Number Publication Date
CN103024264A true CN103024264A (zh) 2013-04-03
CN103024264B CN103024264B (zh) 2016-08-17

Family

ID=47225298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210369590.6A Active CN103024264B (zh) 2011-09-27 2012-09-27 摄像设备和焦点检测方法

Country Status (5)

Country Link
US (2) US9048152B2 (zh)
JP (1) JP5907595B2 (zh)
CN (1) CN103024264B (zh)
DE (1) DE102012217165B4 (zh)
GB (1) GB2497160B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430256A (zh) * 2014-09-11 2016-03-23 佳能株式会社 摄像设备和摄像设备的控制方法
CN105934944A (zh) * 2013-11-26 2016-09-07 株式会社尼康 电子设备、摄像装置及摄像元件
CN106210502A (zh) * 2014-06-24 2016-12-07 佳能株式会社 摄像装置、控制装置及控制方法
CN106412419A (zh) * 2015-07-31 2017-02-15 佳能株式会社 摄像设备及其控制方法
CN107249097A (zh) * 2013-04-10 2017-10-13 佳能株式会社 摄像设备及其控制方法
CN110636277A (zh) * 2018-06-21 2019-12-31 佳能株式会社 检测设备、检测方法和摄像设备

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP5845023B2 (ja) * 2011-08-08 2016-01-20 キヤノン株式会社 焦点検出装置及びそれを有するレンズ装置及び撮像装置
JP5888914B2 (ja) * 2011-09-22 2016-03-22 キヤノン株式会社 撮像装置およびその制御方法
JP5907595B2 (ja) * 2011-09-27 2016-04-26 キヤノン株式会社 撮像装置
JP2014106476A (ja) 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
JP5911445B2 (ja) * 2013-03-19 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
JP6334847B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6372983B2 (ja) 2013-09-02 2018-08-15 キヤノン株式会社 焦点検出装置およびその制御方法、撮像装置
CN111479066B (zh) * 2013-09-26 2022-11-18 株式会社尼康 摄像元件以及摄像装置
JP2015102735A (ja) * 2013-11-26 2015-06-04 株式会社ニコン 焦点検出装置および撮像装置
JP6555863B2 (ja) 2013-12-25 2019-08-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CN106133575B (zh) * 2014-03-25 2019-05-14 富士胶片株式会社 摄像装置及对焦控制方法
JP6465562B2 (ja) 2014-04-30 2019-02-06 キヤノン株式会社 撮像装置及び撮像方法
JP2015233270A (ja) * 2014-05-13 2015-12-24 キヤノン株式会社 撮像装置およびその制御方法
JP2015228466A (ja) 2014-06-02 2015-12-17 キヤノン株式会社 撮像装置及び撮像システム
JP6631002B2 (ja) * 2014-11-26 2020-01-15 株式会社ニコン 撮像装置
JP6506560B2 (ja) * 2015-01-20 2019-04-24 キヤノン株式会社 フォーカス制御装置及びその方法、プログラム、記憶媒体
US9826142B2 (en) 2015-03-17 2017-11-21 Canon Kabushiki Kaisha Image pickup apparatus and method of controlling image pickup apparatus
JP6557499B2 (ja) 2015-04-09 2019-08-07 キヤノン株式会社 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
JP6444254B2 (ja) * 2015-04-23 2018-12-26 キヤノン株式会社 焦点検出装置、撮像装置、焦点検出方法、プログラム、及び記憶媒体
JP6594048B2 (ja) * 2015-05-29 2019-10-23 キヤノン株式会社 撮像装置及びその制御方法
JP6639155B2 (ja) * 2015-08-28 2020-02-05 キヤノン株式会社 画像処理装置及び画像処理方法
JP6685712B2 (ja) * 2015-12-14 2020-04-22 キヤノン株式会社 画像処理装置、距離検出装置、焦点調節装置、撮像装置、画像処理方法およびプログラム
JP6532411B2 (ja) * 2016-01-14 2019-06-19 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP6744748B2 (ja) * 2016-04-06 2020-08-19 キヤノン株式会社 固体撮像装置及びその製造方法
JP6762766B2 (ja) 2016-06-01 2020-09-30 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP6765860B2 (ja) 2016-06-01 2020-10-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP6881911B2 (ja) 2016-08-01 2021-06-02 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6858022B2 (ja) * 2017-01-20 2021-04-14 キヤノン株式会社 焦点検出装置、その制御方法およびプログラム、並びに撮像装置
JP6460145B2 (ja) * 2017-04-20 2019-01-30 株式会社ニコン 撮像装置
JP7305418B2 (ja) * 2019-04-25 2023-07-10 キヤノン株式会社 撮像装置および画像処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123871A1 (en) * 2001-12-07 2003-07-03 Hideo Yoshida Distance measuring apparatus
US20090256952A1 (en) * 2008-04-11 2009-10-15 Nikon Corporation Correlation calculation method, correlation calculation device, focus detection device and image-capturing apparatus
US20090278966A1 (en) * 2006-09-14 2009-11-12 Nikon Corporation Image sensor and imaging apparatus
CN101889231A (zh) * 2007-12-10 2010-11-17 佳能株式会社 图像摄取设备及其控制方法
CN101918873A (zh) * 2008-02-13 2010-12-15 佳能株式会社 成像设备
CN102197328A (zh) * 2008-09-24 2011-09-21 索尼公司 图像拾取元件和图像拾取装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS592147B2 (ja) 1976-09-21 1984-01-17 松下電器産業株式会社 光電池
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP2001250931A (ja) 2000-03-07 2001-09-14 Canon Inc 固体撮像装置およびこれを用いた撮像システム
JP2002314062A (ja) * 2001-04-18 2002-10-25 Canon Inc 固体撮像装置および撮像システム
JP2006178076A (ja) 2004-12-21 2006-07-06 Olympus Corp カメラの焦点検出装置
JP5176483B2 (ja) * 2007-10-30 2013-04-03 株式会社ニコン 画像認識装置、画像追尾装置および撮像装置
JP5256711B2 (ja) * 2007-11-28 2013-08-07 株式会社ニコン 撮像素子および撮像装置
JP5169499B2 (ja) * 2008-06-02 2013-03-27 株式会社ニコン 撮像素子および撮像装置
JP5202289B2 (ja) * 2008-12-25 2013-06-05 キヤノン株式会社 撮像装置
JP5045801B2 (ja) * 2009-09-09 2012-10-10 株式会社ニコン 焦点検出装置、撮影レンズユニット、撮像装置およびカメラシステム
JP2012043939A (ja) * 2010-08-18 2012-03-01 Sony Corp 撮像素子および撮像装置
WO2012073728A1 (ja) * 2010-11-30 2012-06-07 富士フイルム株式会社 撮像装置及びその合焦位置検出方法
JP5468177B2 (ja) 2011-03-31 2014-04-09 富士フイルム株式会社 撮像装置及びその合焦制御方法
JP5907595B2 (ja) * 2011-09-27 2016-04-26 キヤノン株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123871A1 (en) * 2001-12-07 2003-07-03 Hideo Yoshida Distance measuring apparatus
US20090278966A1 (en) * 2006-09-14 2009-11-12 Nikon Corporation Image sensor and imaging apparatus
CN101889231A (zh) * 2007-12-10 2010-11-17 佳能株式会社 图像摄取设备及其控制方法
CN101918873A (zh) * 2008-02-13 2010-12-15 佳能株式会社 成像设备
US20090256952A1 (en) * 2008-04-11 2009-10-15 Nikon Corporation Correlation calculation method, correlation calculation device, focus detection device and image-capturing apparatus
CN102197328A (zh) * 2008-09-24 2011-09-21 索尼公司 图像拾取元件和图像拾取装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107249097A (zh) * 2013-04-10 2017-10-13 佳能株式会社 摄像设备及其控制方法
CN107249097B (zh) * 2013-04-10 2020-04-07 佳能株式会社 摄像设备及其控制方法
CN105934944A (zh) * 2013-11-26 2016-09-07 株式会社尼康 电子设备、摄像装置及摄像元件
CN106210502B (zh) * 2014-06-24 2019-03-29 佳能株式会社 摄像装置、控制装置及控制方法
CN106210502A (zh) * 2014-06-24 2016-12-07 佳能株式会社 摄像装置、控制装置及控制方法
CN105430256B (zh) * 2014-09-11 2018-11-06 佳能株式会社 摄像设备和摄像设备的控制方法
CN105430256A (zh) * 2014-09-11 2016-03-23 佳能株式会社 摄像设备和摄像设备的控制方法
CN106412419A (zh) * 2015-07-31 2017-02-15 佳能株式会社 摄像设备及其控制方法
US10412330B2 (en) 2015-07-31 2019-09-10 Canon Kabushiki Kaisha Image capture apparatus and method for controlling the same
CN106412419B (zh) * 2015-07-31 2020-11-10 佳能株式会社 摄像设备及其控制方法
CN110636277A (zh) * 2018-06-21 2019-12-31 佳能株式会社 检测设备、检测方法和摄像设备
US11140311B2 (en) 2018-06-21 2021-10-05 Canon Kabushiki Kaisha Detecting apparatus and detecting method
CN110636277B (zh) * 2018-06-21 2022-08-16 佳能株式会社 检测设备、检测方法和摄像设备

Also Published As

Publication number Publication date
JP2013072906A (ja) 2013-04-22
US20150222811A1 (en) 2015-08-06
US20130076970A1 (en) 2013-03-28
GB2497160B (en) 2015-11-04
US9048152B2 (en) 2015-06-02
US9538068B2 (en) 2017-01-03
CN103024264B (zh) 2016-08-17
DE102012217165B4 (de) 2019-09-19
JP5907595B2 (ja) 2016-04-26
GB2497160A (en) 2013-06-05
GB201217302D0 (en) 2012-11-14
DE102012217165A1 (de) 2013-05-02

Similar Documents

Publication Publication Date Title
CN103024264A (zh) 摄像设备和焦点检测方法
JP6366251B2 (ja) 撮像装置および撮像装置の制御方法
US8854510B2 (en) Image pickup apparatus, focus detection method, image generation method, and storage medium
CN103516979B (zh) 摄像装置及其控制方法
US20160119606A1 (en) Image processing apparatus and image processing method
CN103891267A (zh) 图像感测装置以及摄像设备
CN103852857A (zh) 焦点检测装置、摄像装置、摄像系统及焦点检测方法
CN104125394B (zh) 摄像装置及其控制方法
US20150358597A1 (en) Systems And Methods For Obtaining Image Depth Information
US20140313373A1 (en) Imaging apparatus and its control method and program
EP2866430B1 (en) Imaging apparatus and its control method and program
CN104581137A (zh) 检测设备、摄像设备、摄像系统和检测设备的控制方法
JP2011237215A (ja) デプスマップ出力装置
EP3002940A1 (en) Imaging apparatus and imaging method
US9485406B2 (en) Focus detection apparatus, focus detection method and program, and imaging apparatus
JP2012182731A (ja) 撮像装置
US9625787B2 (en) Focus detection apparatus, focus detection method and program, and imaging apparatus
JP2013061440A (ja) 撮像装置および撮像装置の制御方法
CN105100597A (zh) 摄像装置及其控制方法
US20140218591A1 (en) Imaging apparatus, information processing device, image pickup method, and non-transitory computer-readable storage medium storing a program therefor
JP2015141285A (ja) 焦点検出装置、焦点調節装置およびカメラ
JP2014135562A (ja) 撮像装置及びその制御方法
JP6004741B2 (ja) 画像処理装置およびその制御方法、撮像装置
JP2016031446A (ja) 撮像装置及びその制御方法
KR101839357B1 (ko) 촬상 장치 및 촬상 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant