CN103765276B - 对焦评价装置、摄像装置及程序 - Google Patents

对焦评价装置、摄像装置及程序 Download PDF

Info

Publication number
CN103765276B
CN103765276B CN201280042875.7A CN201280042875A CN103765276B CN 103765276 B CN103765276 B CN 103765276B CN 201280042875 A CN201280042875 A CN 201280042875A CN 103765276 B CN103765276 B CN 103765276B
Authority
CN
China
Prior art keywords
focusing
block
mentioned
edge
evaluating apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280042875.7A
Other languages
English (en)
Other versions
CN103765276A (zh
Inventor
河合笃史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN103765276A publication Critical patent/CN103765276A/zh
Application granted granted Critical
Publication of CN103765276B publication Critical patent/CN103765276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)

Abstract

对焦评价装置的区域设定部在彩色图像中设定包含多个块的对焦评价区域。边沿检测部从各个块分别检测每个颜色成分的边沿。块选出部从多个块中选出应用于对焦评价的评价对象块。对焦判定部利用有轴上色差的两个颜色成分中的边沿的模糊宽度的差,对每个评价对像块求出对焦判定值。对焦评价部统合各个评价对像块中的对焦判定值,评价对焦评价区域中的被摄体像的对焦状态。

Description

对焦评价装置、摄像装置及程序
技术领域
本发明涉及一种对焦评价装置、摄像装置及程序。
背景技术
以往已知有下述自动聚焦装置:利用光的色差检测出透镜的焦点位置偏离,根据检测结果进行焦点调整,修正各色光的模糊(作为一例参照日本特开平6-138362号公报)
发明内容
发明要解决的问题
但是,在现有的自动聚焦装置中,无法检测透镜的位置相对于对焦位置向光轴方向的哪个方向偏离,对焦状态的判定精度较低。
用于解决问题的手段
本发明的一个方式的对焦评价装置包括取得部、区域设定部、边沿检测部、块选出部、对焦判定部和对焦评价部。取得部取得由具有轴上色差的光学系统形成的被摄体像的彩色图像。区域设定部在彩色图像中设定包含多个块的对焦评价区域。边沿检测部从各个块分别检测每个颜色成分的边沿。块选出部从多个块中选出应用于对焦评价的评价对象块。对焦判定部利用有轴上色差的两个颜色成分中的边沿的模糊宽度的差,对每个评价对像块求出对焦判定值。对焦评价部统合各个评价对像块中的对焦判定值,评价对焦评价区域中的被摄体像的对焦状态。
附图说明
图1是表示第1实施方式的电子相机的构成例的图。
图2是表示第1实施方式的电子相机的AF动作的例子的流程图。
图3是表示对焦评价区域的设定例的图。
图4是表示与图3对应的场景中的块类型的确定例的图。
图5是表示在两个颜色成分中边沿的梯度向相反方向倾斜的情况的图。
图6(a)是表示峰状的构造的例子的图,图6(b)是表示谷状的构造的例子的图。
图7(a)是表示颜色校正前的状态的图,图7(b)是表示颜色校正后的状态的图。
图8(a)~(c)是表示对焦判定的概要的图。
图9是表示与图4对应的场景中的评价对象块的选出例的图。
图10是表示与图9对应的场景中的对焦评价区域的对焦评价的例子的图。
图11是表示第2实施方式的对焦评价装置的构成例的图。
图12是表示第2实施方式的对焦评价装置的动作例的流程图。
具体实施方式
<第1实施方式的说明>
图1是表示作为对焦评价装置及摄像装置的一例的第1实施方式的电子相机的构成例的图。
电子相机11包括摄影光学系统12、摄像部13、相机微机14、第1存储器15、第2存储器16、记录I/F 17、显示部18和操作部19。摄像部13、第1存储器15、第2存储器16、记录I/F17、显示部18、操作部19分别与相机微机14连接。
摄影光学系统12由包括用于AF(Auto Focus/自动调焦)的聚焦透镜)、变焦透镜在内的多个透镜构成。在图1中为了方便而用1枚透镜表示摄影光学系统12。另外,也可以使摄影光学系统12相对于电子相机11的主体能够更换。
摄像部13是对通过摄影光学系统12成像的被摄体像进行摄像(摄影)的模块。例如,摄像部13包括:进行光电变换的摄像元件;进行模拟信号处理的模拟前端电路;以及进行A/D变换和数字信号处理的数字前端电路。并且,摄像部13将通过摄像获得的图像信号输出到相机微机14。
在此,在摄像部13的摄像元件的各像素中,按照公知的拜耳排列配置有红色(R)、绿色(G)、蓝色(B)的彩色滤波器。因此,摄像元件的各像素通过彩色滤波器的颜色分解而输出与各个颜色对应的图像信号。从而,摄像部13在摄像时能够取得彩色的图像。
此外,在电子相机11的摄影模式中,摄像部13根据用户的摄影指示,拍摄伴随向非易失性记录介质记录的记录用的静止图像。此外,摄像部13在静止图像的摄影待机时也每隔预定间隔拍摄观测用的图像(取景图像)。
相机微机14是统括性地控制电子相机11的动作的处理器。例如,在摄影模式中,根据用户的摄影指示而使摄像部13拍摄记录用的静止图像。此外,相机微机14对于从摄像部13取得的图像的数据,实施颜色插补、白平衡校正、灰度变换、颜色变换、轮廓增强等图像处理。
进而,相机微机14通过程序的执行而作为区域设定部21、边沿检测部22、块选出部23、对焦判定部24、对焦评价部25发挥作用(对于区域设定部21、边沿检测部22、块选出部23、对焦判定部24、对焦评价部25的动作在下文进行说明)。
第1存储器15是暂时存储图像的数据的存储器,例如由作为易失性存储介质的SDRAM构成。此外,第2存储器16是存储相机微机14所执行的程序、各种数据的存储器,例如由闪存等非易失性存储器构成。
记录I/F 17具有用于连接非易失性存储介质26的连接器。并且,记录I/F 17对与连接器连接的存储介质26执行图像的数据的写入/读入。上述存储介质26例如为硬盘、内置有半导体存储器的存储卡。另外,在图1中作为存储介质26的一例而图示了存储卡。
显示部18是显示各种图像的显示装置(液晶监视器或有机EL监视器等)。例如,显示部18通过相机微机14的控制而进行取景图像的动画显示(取景器显示)、静止图像的重放显示。
操作部19包括受理用户的各种操作的多个开关(例如电源按钮、释放按钮、变焦按钮、十字键、确定按钮、重放按钮、删除按钮等)。
以下说明第1实施方式的电子相机的AF动作的例子。
在本实施方式中,相机微机14在从摄像部13开始取景图像的输入后,执行AF处理,在取景图像的显示过程中持续进行调焦。从而,电子相机11在取景图像的显示过程中总是进行AF控制。
在从摄像部13取得的帧为以RGB色度图表示的彩色图像的情况下,根据RGB各色成分的轴上色差的不同,各色成分在光轴上的对焦位置不同。若着眼于在光轴上的对焦位置的前后在边沿区域的各色成分中模糊宽度w的大小关系发生逆转这一点,可知能够基于两色间的边沿的模糊宽度w的差(Δw)来判定当前的对焦状态。并且,若判定出当前的AF透镜的位置从对焦位置向光轴方向的哪个方向偏离,电子相机11就能够执行AF控制。
在此,在一般的电子相机的光学系统或摄像元件的情况下,上述各色成分的模糊宽度具有几个像素至几十个像素单位的宽度,与此相对,两色间的模糊宽度的差则仅为其十分之一至百分之一左右。即,相对于仅能通过像素单位进行的模糊宽度的测定误差,上述模糊宽度的差很小,因此难以直接根据模糊宽度的测定结果来高精度地求出模糊宽度的差Δw。因此,本实施方式的电子相机通过以下的方法来进行对焦状态的判定。
图2是表示第1实施方式的电子相机的AF动作的例子的流程图。图2的处理对应于摄影模式的起动而由相机微机14开始。
在此,在图2的说明中,以在R、G间存在轴上色差为前提,以求出色差R-G下的模糊宽度的差ΔwR-G的例子为中心进行说明。根据色差R-G算出的ΔwR-G在前对焦侧为正值,在后对焦侧为负值。另外,在前对焦和后对焦下正负的关系相反的情况下,使用根据色差G-R算出的ΔwG-R即可。另外,R、G间以及G、B间当然也可以用同样的方法进行判定。
步骤#101:相机微机14驱动摄像部13而开始取景图像的摄像。之后,每隔预定间隔逐次生成取景图像。
此外,摄影模式下的相机微机14使显示部18动画显示取景图像。因此,用户能够参照显示部18的取景图像来进行用于确定摄影构图的成帧(framing)。
步骤#102:相机微机14从摄像部13取得处理对象的彩色图像(取景图像)。并且,相机微机14对处理对象的彩色对象,执行用于降低噪声的平滑化处理、用于校正边沿的方向依赖性的分辨率校正等前处理。另外,相机微机14也可以仅对处理对象的彩色图像中的后述的对焦评价区域局部地实施#102的前处理。
另外,在本说明书中,用R(x,y)、G(x,y)、B(x,y)分别标记彩色图像的坐标(x,y)下的RGB像素值。
步骤#103:区域设定部21在处理对象的彩色图像的一部分设定进行对焦评价的区域(对焦评价区域)。上述对焦评价区域通过矩形的块而被区域分割成栅格状。作为一例,各个块的像素尺寸为BLOCK_SIZE×BLOCK_SIZE的像素数(例如8×8像素)。另外,在图3中示出对焦评价区域的设定例。
步骤#104:边沿检测部22对各块分别检测像素的各颜色成分的边沿(图像的梯度成分)。并且,边沿检测部22根据块内的像素的梯度量,按类型对各块进行分类。
在此,设块的坐标为(u,v)时,所关注的块(u,v)中包含的像素的集合BL可以用公式(1)表示。
x1=u×BLOCK_SIZE,x2=(u+1)×BLOCK_SIZE-1
y1=v×BLOCK_SIZE,y2=(v+1)×BLOCK_SIZE-1
BL={(x,y)|x1≤x≤x2∩y1≤y≤y2}
…(1)
此外,各像素的R成分的水平方向梯度(dxR(x,y))及垂直方向梯度(dyR(x,y))、和各像素的G成分的水平方向梯度(dxG(x,y))及垂直方向梯度(dyG(x,y))可以通过公式(2)求出。
d x R ( x , y ) = ( R ( x + 1 , y ) - R ( x - 1 , y ) ) / 2 d y R ( x , y ) = ( R ( x , y + 1 ) - R ( x , y - 1 ) ) / 2 d x G ( x , y ) = ( G ( x + 1 , y ) - G ( x - 1 , y ) ) / 2 d y G ( x , y ) = ( G ( x , y + 1 ) - G ( x , y - 1 ) ) / 2 ... ( 2 )
此外,块内的R、G像素的平均值(RBlock(u,v)、GBlock(u,v))、其水平方向梯度和(dxRBlock(u,v)、dxGBlock(u,v))及垂直方向梯度和(dyRBlock(u,v)、dyGBlock(u,v))可以通过公式(3)求出。
R B l o c k ( u , v ) = &lsqb; &Sigma; ( x , y ) &Element; B L R ( x , y ) &rsqb; / ( B L O C K _ S I Z E ) 2 G B l o c k ( u , v ) = &lsqb; &Sigma; ( x , y ) &Element; B L G ( x , y ) &rsqb; / ( B L O C K _ S I Z E ) 2 dxR B l o c k ( u , v ) = &Sigma; ( x , y ) &Element; B L d x R ( x , y ) dyR B l o c k ( u , v ) = &Sigma; ( x , y ) &Element; B L d y R ( x , y ) dxG B l o c k ( u , v ) = &Sigma; ( x , y ) &Element; B L d x G ( x , y ) dyG B l o c k ( u , v ) = &Sigma; ( x , y ) &Element; B L d y G ( x , y ) ... ( 3 )
此外,为了通过轴上色差判定对焦的前后,需要在所对比的两色之间使边沿的梯度向相同方向倾斜(参照图8)。该条件当各块的梯度和在水平方向、垂直方向分别使公式(4)的关系成立时得以满足。
d x R ( x , y ) &times; d x G ( x , y ) &GreaterEqual; 0 d y R ( x , y ) &times; d y G ( x , y ) &GreaterEqual; 0 ... ( 4 )
作为一例,#104中的边沿检测部22只要通过对各块分别执行以下的(A1)~(A5)的处理而按类型将对焦评价区域内的各块分类即可。
(A1)边沿检测部22在所关注的块中,通过公式(5)提取阈值TH_GRADPIXEL以上的具有水平方向的两色同方向梯度的像素的集合(HGPR-G)。并且,边沿检测部22通过公式(6)求出HGPR-G的要素数(nHGradPixelR-G(u,v))。另外,在本说明书中,TH_GRADPIXEL的值为了防止噪声的误检测而被设定为比图像中可能包含的噪声的振幅大。
HGP R - G = { ( x , y ) ( x , y ) &Element; B L &cap; d x R ( x , y ) &times; d x G ( x , y ) &GreaterEqual; 0 &cap; d x R ( x , y ) &GreaterEqual; T H _ G R A D P I X E L &cap; d x G ( x , y ) &GreaterEqual; T H _ G R A D P I X E L } ... ( 5 )
nHGradPixelR-G(u,v)=|HGPR-G| …(6)
(A2)边沿检测部22在所关注的块中,通过公式(7)提取阈值TH_GRADPIXEL以上的具有垂直方向的两色同方向梯度的像素的集合(VGPR-G)。并且,边沿检测部22通过公式(8)求出VGPR-G的要素数(nVGradPixelR-G(u,v))。
VGP R - G = { ( x , y ) ( x , y ) &Element; B L &cap; d y R ( x , y ) &times; d y G ( x , y ) &GreaterEqual; 0 &cap; d y R ( x , y ) &GreaterEqual; T H _ G R A D P I X E L &cap; d y G ( x , y ) &GreaterEqual; T H _ G R A D P I X E L } ... ( 7 )
nVGradPixelR-G(u,v)=|VGPR-G| …(8)
(A3)边沿检测部22在所关注的块中,通过公式(9)提取没有阈值TH_FLATPIXEL以上的梯度的像素的集合(FPR-G)。并且,边沿检测部22通过公式(10)求出FPR-G的要素数(nFlatPixelR-G(u,v))。另外,在本说明书中,TH_FLATPIXEL的值在即使存在像素值的振幅也可将对比度视为基本平坦的范围内适当设定。
FP R - G = { ( x , y ) ( x , y ) &Element; B L &cap; d x R ( x , y ) < T H _ F L A T P X E L &cap; d x G ( x , y ) < T H _ F L A T P I X E L &cap; d y R ( x , y ) < T H _ F L A T P X E L &cap; d y G ( x , y ) < T H _ F L A T P I X E L } ... ( 9 )
nFlatPixelR-G(u,v)=|FPR-G| …(10)
(A4)边沿检测部22通过以下的(i)~(iv)的条件来确定所关注的块(u,v)的块类型。
(i)在所关注的块(u,v)满足公式(11)时,边沿检测部22将所关注的块(u,v)设为“水平边沿块HEBLR-G”。另外,在本说明书中,“NPixel”表示所关注的块的全部像素数(NPixel=BLOCK_SIZE2)。此外,“RATIO_EDGEBLOCK”表示相对于块内的全部像素规定有梯度的像素的含有率的系数。
HEBL R - G = { ( u , v ) nHGradPixel R - G ( u , v ) &GreaterEqual; N P i x e l &times; R A T I O _ E D G E B L O C K &cap; nVGradPixel R - G ( u , v ) &GreaterEqual; N P i x e l &times; R A T I O _ E D G E B L O C K } ... ( 11 )
即,在所关注的块(u,v)中,当nHGradPixelR-G(u,v)相对于块内的全部像素的比率为RATIO_EDGEBLOCK以上、nVGradPixelR-G(u,v)相对于块内的全部像素的比率小于RATIO_EDGEBLOCK时,将块类型确定为“水平边沿块HEBLR-G”。
(ii)在所关注的块(u,v)满足公式(12)时,边沿检测部22将所关注的块(u,v)设为“垂直边沿块VEBLR-G”。
VEBL R - G = { ( u , v ) nHGradPixel R - G ( u , v ) &GreaterEqual; N P i x e l &times; R A T I O _ E D G E B L O C K &cap; nVGradPixel R - G ( u , v ) &GreaterEqual; N P i x e l &times; R A T I O _ E D G E B L O C K } ... ( 12 )
即,在所关注的块(u,v)中,当nHGradPixelR-G(u,v)相对于块内的全部像素的比率小于RATIO_EDGEBLOCK、nVGradPixelR-G(u,v)相对于块内的全部像素的比率为RATIO_EDGEBLOCK以上时,将块类型确定为“垂直边沿块VEBLR-G”。
(iii)在所关注的块(u,v)满足公式(13)时,边沿检测部22将所关注的块(u,v)设为“平坦块FBLR-G”。另外,“RATIO_FLATBLOCK”表示相对于块内的全部像素规定没有梯度的像素的含有率的系数。
FBL R - G = { ( u , v ) ( u , v ) &NotElement; HEBL R - G &cap; ( u , v ) &NotElement; VEBL R - G &cap; nFlatPixel R - G ( u , v ) &GreaterEqual; N P i x e l &times; R A T I O _ F L A T B L O C K } ... ( 13 )
即,在所关注的块不属于HEBLR-G及VEBLR-G、nFlatPixelR-G(u,v)相对于块内的全部像素的比率为RATIO_FLATBLOCK以上时,将块类型确定为“平坦块FBLR-G”。
(iv)在所关注的块(u,v)不符合上述(i)~(iii)的任一个时,边沿检测部22将该块从以后的处理对象排除。
(A5)边沿检测部22变更所关注的块并执行上述(A1)~(A4)的处理。并且,边沿检测部22反复进行上述动作直到确定所有块的块类型为止。
图4表示与图3对应的场景中的块类型的确定例。另外,在图中,“H”表示水平边沿块、“V”表示垂直边沿块、“F”表示平坦块。
步骤#105:块选出部23从在#104分选的边沿块(水平边沿块、垂直边沿块)中选出应用于对焦评价的评价对象块。此时,块选出部23在相邻的评价对象块之间边沿在相同方向连续时,将多个评价对象块成组化。以下有时将评价对象块称为连续边沿块。
作为一例,对从水平方向边沿块选出评价对象块的情况进行说明。块选出部23将水平方向边沿块中满足全部的以下(条件1)~(条件5)、且从水平方向(u1,v)至(u2,v)为止连续的边沿块,作为一个评价对象块(连续边沿块)。
(条件1)块选出部23对于有轴上色差的两个颜色成分将边沿的梯度向相同方向倾斜的边沿块作为评价对象块选出。这是因为,例如如图5所示,在两个颜色成分中边沿的梯度向相反方向倾斜时,难以检测出因轴上色差引起的模糊宽度的差。具体地说,在水平方向边沿块下的(条件1)的情况下,满足以下的公式(14)即可。
(u1,v)∈HEBLR-G∩…∩(u2,v)∈HEBLR-G …(14)
(条件2)块选出部23将在边沿的部分含有凹凸构造(细线/峰/谷状构造)的块排除而选出评价对象块。这是因为,在例如图6(a)的峰状构造、图6(b)的谷状构造的情况下,无法正确进行后述的颜色校正。
在包含上述构造的情况下,梯度绝对值的和与梯度和的绝对值不一致。因此,在水平方向边沿块下的(条件2)的情况下,满足以下的公式(15)、(16)即可。
&Sigma; i = u 1 u 2 | dxR B l o c k ( i , v ) | - | &Sigma; i = u 1 u 2 dxR B l o c k ( i , v ) | = 0... ( 15 )
&Sigma; i = u 1 u 2 | dxG B l o c k ( i , v ) | - | &Sigma; i = u 1 u 2 dxG B l o c k ( i , v ) | = 0... ( 16 )
(条件3)块选出部23将水平方向边沿块中在边沿的梯度方向(水平方向)相邻的块的至少一个为平坦块的水平方向边沿块作为评价对象块选出。这是因为,在满足上述条件的情况下,能够进行后述的颜色校正。
例如在水平方向边沿块的情况下,在连续边沿块的水平方向相邻的两个块(u1-1,v)、(u2+1,v)分别为平坦块即可。因此,在水平方向边沿块下的(条件3)的情况下,满足以下的公式(17)即可。
(u1-1,v)∈FBLR-G∩(u2+1,v)∈FBLR-G …(17)
(条件4)块选出部23将两个颜色成分在边沿产生的对比度的差均为阈值TH_CONTRAST以上的块作为评价对象块选出。这是因为,对比度差较小时,通过轴上色差检测边沿的模糊宽度会比较困难。
例如在水平方向边沿块下的(条件4)的情况下,满足以下的公式(18)即可。
| R B l o c k ( u 1 - 1 , v ) - R B l o c k ( u 2 + 1 , v ) | &GreaterEqual; T H _ C O N T R A S T | G B l o c k ( u 1 - 1 , v ) - G B l o c k ( u 2 + 1 , v ) | &GreaterEqual; T H _ C O N T R A S T ... ( 18 )
(条件5)块选出部23将边沿的长度(连续边沿块的长度)小于阈值TH_LENGTH的块作为评价对象块选出。一般来说边沿的长度与边沿的尖锐度的高度成反比例的关系。因此,通过将模糊过大的边沿、不尖锐的边沿排除,能够提高判定精度。
例如在水平方向边沿块下的(条件5)的情况下,满足以下的公式(19)即可。
u2-u1≤TH_LENGTH …(19)
综合上述(条件1)~(条件5),水平方向的连续边沿块的集合HEBSR-G应满足的条件可以表现为公式(20)。此时的连续边沿块从(u1,v)至(u2,v)为止在水平方向连续。此外,位于连续边沿块的水平方向的两个块(u1-1,v)、(u2+1,v)均为平坦块。
HEBS R - G = { ( u 1 , u 2 , v ) ( u 1 , v ) &Element; HEBL R - G &cap; ... &cap; ( u 2 , v ) &Element; HEBL R - G &cap; &Sigma; i = u 1 u 2 | dxR B l o c k ( i , v ) | - | &Sigma; i = u 1 u 2 dxR B l o c k ( i , v ) | = 0 &cap; &Sigma; i = u 1 u 2 | dxG B l o c k ( i , v ) | - | &Sigma; i = u 1 u 2 dxG B l o c k ( i , v ) | = 0 &cap; ( u 1 - 1 , v ) &Element; FBL R - G &cap; ( u 2 + 1 , v ) &Element; FBL R - G &cap; | R B l o c k ( u 1 - 1 , v ) - R B l o c k ( u 2 + 1 , v ) | &GreaterEqual; T H _ C O N T R A S T &cap; | G B l o c k ( u 1 - 1 , v ) - G B l o c k ( u 2 + 1 , v ) | &GreaterEqual; T H _ C O N T R A S T &cap; u 2 - u 1 &le; T H _ E B _ L E N G T H }
此外,上述(条件1)~(条件5)均可应用于选出垂直方向的连续边沿块的集合VEBSR-G的情况。垂直方向的连续边沿块的集合VEBSR-G应满足的条件可以表现为公式(21)。此时的连续边沿块从(u,v1)至(u,v2)为止在垂直方向连续。此外,位于连续边沿块的垂直方向的两个块(u,v1-1)、(u,v2+1)均为平坦块。
VEBS R - G = { ( u , v 1 , v 2 ) ( u , v 1 ) &Element; VEBL R - G &cap; ... &cap; ( u , v 2 ) &Element; VEBL R - G &cap; &Sigma; j = v 1 v 2 | dyR B l o c k ( u , j ) | - | &Sigma; j = v 1 v 2 dyR B l o c k ( u , j ) | = 0 &cap; &Sigma; j = v 1 v 2 | dyG B l o c k ( u , j ) | - | &Sigma; j = v 1 v 2 dyG B l o c k ( u , j ) | = 0 &cap; ( u , v 1 - 1 ) &Element; FBL R - G &cap; ( u , v 2 + 1 ) &Element; FBL R - G &cap; | R B l o c k ( u , v 1 - 1 ) - R B l o c k ( u , v 2 + 1 ) | &GreaterEqual; T H _ C O N T R A S T &cap; | G B l o c k ( u , v 1 - 1 ) - G B l o c k ( u , v 2 + 1 ) | &GreaterEqual; T H _ C O N T R A S T &cap; v 2 - v 1 &le; T H _ E B _ L E N G T H } ... ( 21 )
此外,对于在#105定义的连续边沿块,将连续边沿块内的像素(x,y)的集合设为P。此时,P通过公式(22)表示。
水平方向的连续边沿块(u1,u2,v)∈HEBSR-G的情况下
x1=u1×BLOCK_SIZE x2=(u2+1)×BLOCK_SIZE-1
y1=v×BLOCK_SIZE y2=(v+1)×BLOCK_SIZE-1
垂直方向的连续边沿块(u,v1,v2)∈VEBSR-G的情况下
x1=u×BLOCK_SIZE x2=(u+1)×BLOCK_SIZE-1
y1=v1×BLOCK_SIZE y2=(v2+1)×BLOCK_SIZE-1
P={(x,y)|x1≤x≤x2∩y1≤y≤y2}
…(22)
另外,在图9中示出与图4对应的场景中的评价对象块的选出例。在图9的例子中,用粗线表示作为评价对象块选出的边沿块。在图9中,由两个平坦块(F)在水平方向夹着的水平边沿块(H)、以及由两个平坦块(F)在垂直方向夹着的垂直边沿块(V)成为评价对象块。
步骤#106:对焦判定部24对在#105得到的各个连续边沿块(评价对象块)分别进行颜色校正。
作为一例,对焦判定部24对连续边沿块利用在边沿的梯度方向相邻的两个平坦块的平均像素值通过以下的公式(23)、(24)求出FLR,FLG及FHR,FHG。在此,“FL”表示低对比度侧的平坦块,“FH”表示高对比度侧的平坦块。
水平方向的连续边沿块HEBSR-G的情况下
G B l o c k ( u 1 - 1 , v ) < G B l o c k ( u 2 + 1 , v ) &RightArrow; F L R = R B l o c k ( u 1 - 1 , v ) , F H R = R B l o c k ( u 2 + 1 , v ) F L G = G B l o c k ( u 1 - 1 , v ) , F H G = G B l o c k ( u 2 + 1 , v )
G B l o c k ( u 1 - 1 , v ) > G B l o c k ( u 2 + 1 , v ) &RightArrow; F L R = R B l o c k ( u 2 + 1 , v ) , F H R = R B l o c k ( u 1 - 1 , v ) F L G = G B l o c k ( u 2 + 1 , v ) , F H G = G B l o c k ( u 1 - 1 , v ) ... ( 23 )
垂直方向的连续边沿块VEBSR-G的情况下
G B l o c k ( u , v 1 - 1 ) < G B l o c k ( u , v 2 + 1 ) &RightArrow; F L R = R B l o c k ( u , v 1 - 1 ) , F H R = R B l o c k ( u , v 2 + 1 ) F L G = G B l o c k ( u , v 1 - 1 ) , F H G = G B l o c , k ( u , v 2 + 1 )
G B l o c k ( u , v 1 - 1 ) > G B l o c k ( u , v 2 + 1 ) &RightArrow; F L R = R B l o c k ( u 2 + 1 , v ) , F H R = R B l o c k ( u , v 1 - 1 ) F L G = G B l o c k ( u 2 + 1 , v ) , F H G = G B l o c k ( u , v 1 - 1 ) ... ( 24 )
接下来,对焦判定部24以使在CONT_L,CONT_H之间FLR,FLG及FHR,FHG均成为灰色的方式通过公式(25)确定一次系数(aR0,aR1,aG0,aG1)。
a R 0 = C O N T _ L &times; FH R - C O N T _ H &times; FL R FH R - FL R
a R 1 = C O N T _ H - C O N T _ L FH R - FL R
a G 0 = C O N T _ L &times; FH G - C O N T _ H &times; FL G FH G - FL G
a G 1 = C O N T _ H - C O N T _ L FH G - FL G ... ( 25 )
并且,对焦判定部24对于连续边沿块内的像素((x,y)∈P的像素)的像素值R(x,y),G(x,y),通过以下的公式(26)、(27)进行归一化。
R′(x,y)=dR0+aR1×R(x,y) …(26)
G′(x,y)=aG0+aG1×G(x,y) …(27)
图7是表示#106中的颜色校正的概要的图。例如,在图7(a)中用实线表示的R成分的边沿R(x)及用虚线表示的G成分的边沿G(x)如图7(b)所示,以使边沿区域的两侧的对比度差相同的方式进行颜色校正。
步骤#107:对焦判定部24在通过#106进行了颜色校正的各个连续边沿块(评价对象块)中,分别求出有轴上色差的两色间的边沿的模糊宽度的差Δw。作为一例,对焦判定部24通过以下的方法求出Δw即可。
对焦判定部24根据进行了颜色校正的连续边沿块内的像素((x,y)∈P的像素),对具有阈值TH_EDGE以上的梯度的边沿部的像素集合ER、EG通过公式(28)进行分类。
E R = { ( x , y ) | ( x , y ) &Element; P &cap; d x R ( x , y ) 2 + d y R ( x , y ) 2 > = T H _ E D G E } E G = { ( x , y ) | ( x , y ) &Element; P &cap; d x G ( x , y ) 2 + d y G ( x , y ) 2 > = T H _ E D G E } ... ( 28 )
并且,对焦判定部24通过公式(29)求出R像素的平均值EmeanR及G像素的平均值EmeanG
Emean R = &Sigma; ( x , y ) &Element; E R R ( x , y ) | E R | Emean G = &Sigma; ( x , y ) &Element; E G G ( x , y ) | E G | ... ( 29 )
在此,上述集合ER可以分类成R(x,y)比EmeanR小的像素值的集合ELR、以及R(x,y)比EmeanR大的像素值的集合EHR。此外,上述集合EG可以分类成G(x,y)比EmeanG小的像素值的集合ELG、以及G(x,y)比EmeanG大的像素值的集合EHG(公式(30))。
ELR={(x,y)|R(x,y)<=EmeanR∩(x,y)∈ER}
EHR={(x,y)|R(x,y)>=EmeanR∩(x,y)∈ER}
ELG={(x,y)|G(x,y)<=EmeanG∩(x,y)∈EG}
EHG={(x,y)|G(x,y)>=EmeanG∩(x,y)∈EG}
…(30)
此外,ELR,ELG的和集合ELR-G、以及EHR,EHG的和集合EHR-G可以通过公式(31)分别定义。
ELR-G=ELR∪ELG
EHR-G=EHR∪EHG
…(31)
对焦判定部24对于集合ELR-G,EHR-G的像素分别通过公式(32)求出色差和ΔALR-G,ΔAHR-G。并且,对焦判定部24通过公式(33)求出指标值IR-G
&Delta;AL R - G = &Sigma; ( x , y ) &Element; EL R - G ( R ( x , y ) - G ( x , y ) )
&Delta;AH R - G = &Sigma; ( x , y ) &Element; EH R - G ( R ( x , y ) - G ( x , y ) ) ... ( 32 )
I R - G = 4 &times; ( &Delta;AL R - G - &Delta;AH R - G ) C O N T _ H - C O N T _ L ... ( 33 )
上述指标值IR-G相对于连续边沿块内的两色间的边沿的模糊宽度的差ΔwR-G和像素单位的边沿数Nw,使IR-G=ΔwR-G×Nw的关系成立。因此,对焦判定部24可以对Nw进行概算并求出ΔwR-G
步骤#108:对焦判定部24利用两色间的边沿的模糊宽度的差Δw对各个评价对象块进行对焦判定。
在本实施方式中,由色差R-G算出的ΔwR-G在前对焦侧为正值、在后对焦侧为负值。因此,#108中的对焦判定例如如下进行。
ΔwR-G>ΔwAFR-G+TH_FOCUS1 后对焦
ΔwAFR-G+TH_FOCUS2≤ΔwR-G≤ΔwAFR-G+TH_FOCUS1 对焦
ΔwR-G<ΔwAFR-G+TH_FOCUS2 前对焦
在此,“ΔwAFR-G”是表示对焦时的模糊宽度的基准值。ΔwAFR-G的值考虑光学系统的轴上色差的特性、被摄体的颜色、边沿的截面形状、彩色图像的插补方法、相机的AF机构等进行适当调整。此外,“TH_FOCUS1,TH_FOCUS2”分别是表示后对焦侧、前对焦侧的模糊容许值的参数。
图8是表示上述对焦判定的概要的图。例如,考虑通过颜色校正而归一化后的R成分的边沿R(x)和G成分的边沿G(x)。
在后对焦的情况下,R比G模糊,因此如图8(a)所示,在R成分的边沿长度wR和G成分的边沿长度wG之间,wR>wG的关系成立。因此,在Δw(=wR-wG)比阈值TH_FOCUS1大时,对焦判定部24判定为后对焦。
另一方面,在前对焦的情况下G比R模糊,因此如图8(c)所示,在R成分的边沿长度wR和G成分的边沿长度wG之间,wR<wG的关系成立。因此,在Δw(=wR-wG)比阈值TH_FOCUS2小的情况下,对焦判定部24判定为前对焦。
另外,在对焦时,如图8(b)所示,在R成分的边沿长度wR和G成分的边沿长度wG之间,作为原则,wR=wG的关系成立。因此,对焦判定部24在Δw(=wR-wG)为阈值TH_FOCUS2以上且为阈值TH_FOCUS1以下时,对焦判定部24由于是对焦状态,因此判定为不清楚是前对焦还是后对焦。
步骤#109:相机微机14判定是否通过不同的参数进一步进行对焦判定。
当满足上述要件时(“是”侧),相机微机14对其他颜色成分(例如B-G、R-B)通过与#104~#108同样的处理执行对焦判定。或者,相机微机14也可以改变块尺寸并通过与#104~#108同样的处理执行对焦判定。
另一方面,当不满足上述要件时(“否”侧),相机微机14使处理转移到#108。
步骤#110:对焦评价部25统合各评价对象块中的对焦判定结果,并评价对焦评价区域中的被摄体像的对焦状态。
对焦评价部25对于各个评价对象块,对色差(R-G、B-G等)、梯度方向(垂直/水平等)、块尺寸的每个设定的全部判定结果(NResult个)通过下标i赋予连续的号码(即i的最大值为判定结果的总数)。为了综合判定,对第i个判定结果Ai代入以下的值。
另外,上述判定结果Ai是对焦判定值的一例,表示评价对象块中的对焦的判定结果。
此外,#110中的对焦评价部25可以对基于不同颜色成分的组合的对焦判定结果及不同块尺寸下的对焦判定结果的至少一方进行加权相加,并评价对焦评价区域中的被摄体像的对焦状态。以下,作为加权相加的例子说明(B1)~(B7)的例子。另外,以下所示的加权相加也可以适当组合来进行。
(B1):例如,对焦评价部25可以对轴上色差较大的颜色成分间的对焦判定的结果乘以较大的权重系数。
(B2):块尺寸(即各个块的面积)越大则对焦判定的可靠性就相对越高。因此,对焦评价部25可以与块尺寸的大小成比例地增大权重系数的值。
(B3):块中包含的边沿的对比度的差越大,则对焦判定的可靠性相对越高。因此,对焦评价部25可以在边沿处的对比度的差越大时,越是增大评价对象块中的权重系数的值。
(B4):块中包含的边沿的模糊宽度越小,则成为边沿越接近对焦的状态,对焦判定的可靠性相对越高。此外,被摄体轮廓具有平滑的灰度时,边沿的模糊宽度看起来较大,对焦判定的可靠性相对较低。因此,对焦评价部25可以在边沿的表观的模糊宽度越小时,越是增大评价对象块中的权重系数的值。
(B5):对应于摄影光学系统12的变焦位置,轴上色差的情形分别变化。因此,对焦评价部25可以根据取得彩色图像时的摄影光学系统的变焦位置,确定评价对象块中的权重系数的值。此时,可以预先准备表示摄影光学系统12的变焦位置与权重系数的对应关系的系数表,根据摄影光学系统12的变焦位置,对焦评价部25从系数表读出权重系数来确定。另外,电子相机为镜头可换式的相机时,上述系数表当然可以按照各个可换镜头分别准备。
(B6):在求边沿的模糊宽度的差时,若边沿是从在梯度方向的两侧相邻的平坦块的至少一方接近无彩色的部分提取出的,则对焦判定的可靠性相对较高。因此,对焦评价部25可以当在边沿的梯度方向相邻的平坦块中两个颜色成分的色差低于阈值时,增大评价对象块中的权重系数的值。
(B7):对于有移动的被摄体,对焦判定的可靠性相对较低。例如,利用取景图像计算被摄体的移动矢量时,对焦评价部25可以在评价对象块中的被摄体的移动矢量越大时,越是减小评价对象块中的权重系数的值。
另外,在均等地处理所有的对焦判定的结果时,将权重系数ωi设为“1”即可。
并且,对焦评价部25可以利用成为对焦判定的评价对象块的总数AOnFocus及判定结果的加权和ATotalResult,通过公式(34)求出评价对象块的综合的判定结果。另外,“TH_N_ONFOCUS”是表示对焦状态的阈值,“TH_REARFOCUS、TH_FRONTFOCUS”分别是表示后对焦状态、前对焦状态的阈值。
AOnFocus={Ai|Ai=0} (i=1,2…NResult)
|AOnFocus|≥TH_N_ONFOCUS的情况下,对焦
|AOnFocus|<TH_N_ONFOCUS∩ATotalResult≥TH_REARFOCUS的情况下,后对焦
|AOnFocus|<TH_N_ONFOCUS∩ATotalResult≤TH_FRONTFOCUS的情况下,前对焦
…(34)
之后,对焦评价部25利用上述评价对象块的判定结果来判定整个对焦评价区域中的对焦状态。作为一例,对焦评价部25在对焦评价区域的对焦评价中采用评价对象块的判定结果中数最多的。
图10是表示与图9对应的场景中的对焦评价区域的对焦评价的例子的图。在图10中,对于判定为前对焦、后对焦、对焦的评价对象块,分别标记为“前”、“后”、“对”。在图10的例子中,对焦评价区域内的评价对象块(连续边沿块)的判定结果为,后对焦:对焦:前对焦为1:1:3,整个对焦评价区域判定为前对焦。
步骤#111:相机微机14基于在#110取得的整个对焦评价区域中的判定结果,使AF透镜向使Δw接近0的方向移动。如上结束图2的处理的说明。
以下,对第1实施方式的作用效果进行说明。
第1实施方式的电子相机11在彩色图像的对焦评价区域中,基于块内的像素的梯度量对块类型进行分类(#104),并选出应用于对焦评价的评价对象块(#105)。并且,电子相机11利用评价对象块中的边沿的模糊宽度的差(Δw)对每个评价对象块进行对焦判定(#107、#108),统合该对焦结果来判定对焦评价区域的对焦状态(#110)。
由此,能够积累各个评价对象块单位中的对焦判定来进行整个对焦评价区域中的对焦评价,因此在对包含各种颜色/对比度的边沿的彩色图像的对焦状态时也能够进行精度更高的对焦评价。
此外,在第1实施方式的电子相机11中,当在相邻的评价对象块之间边沿在相同方向连续时,将多个评价对象块成组化(#104)。由此,能够通过一次处理同时从对焦评价区域提取小面积的评价对象块和大面积的评价对象块,因此运算的效率得以提高。
<变形例1>
在上述实施方式的#104中,边沿检测部22可以考虑在块尺寸以下的大小下有无峰/谷状构造来进行块类型的分类。在变形例1的情况下,可以基于与#105的(条件2)同样的考虑方法,在#104的(i)的判定中,边沿检测部22代替公式(11)而应用公式(35)。同样地,在#104的(ii)的判定中,边沿检测部22代替公式(12)而应用公式(36)即可。
HEBL R - G = { ( u , v ) nHGradPixel R - G ( u , v ) &GreaterEqual; N P i x e l &times; R A T I O _ E D G E B L O C K &cap; nVGradPixel R - G ( u , v ) < N P i x e l &times; R A T I O _ E D G E B L O C K &cap; &Sigma; ( x , y ) &Element; B L | d x R ( x , y ) | - | dxR B l o c k ( u , v ) | = 0 } ... ( 35 )
VEBL R - G = { ( u , v ) nHGradPixel R - G ( u , v ) < N P i x e l &times; R A T I O _ E D G E B L O C K &cap; nVGradPixel R - G ( u , v ) < N P i x e l &times; R A T I O _ E D G E B L O C K &cap; &Sigma; ( x , y ) &Element; B L | d y R ( x , y ) | - | dyR B l o c k ( u , v ) | = 0 } ... ( 36 )
根据该变形例1,通过块尺寸以下的图像构造的存在能够预先排除会给对焦判定带来不良影响的区域,因此能够提高判定精度。
<变形例2>
在上述实施方式的#110中,对焦评价部25可以适当变更判定的顺序。
作为一例,对焦评价部25将以评价对象块单位算出的模糊宽度的差Δw加权平均后,进行对焦判定。并且,对焦评价部25将针对对焦评价区域内的M个评价对象块算出的模糊宽度的差设为Δwi,并设定判定结果的权重αi。在变形例2的情况下,表示模糊宽度的差的Δwi为对焦判定值。
此外,判定结果的权重可以根据连续边沿块的长度或相邻平坦块间的对比度差等给出,也可以应用在#110说明的上述(B1)~(B7)的任一个。另外,在对判定结果全部均等地进行处理时设αi=1即可。
此外,对焦评价区域内的模糊宽度的差的平均(Δwmean)可以通过公式(37)求出。
&Delta;w M e a n = &Sigma; i = 1 i < = M Re s u l t &alpha; i &Delta;w i &Sigma; i = 1 i < = M Re s u l t &alpha; i ... ( 37 )
并且,对焦评价部25可以将基于模糊宽度的差的平均Δwmean和阈值的比较而得到的对焦判定的结果作为对焦评价区域的判定结果。
<第2实施方式的说明>
图11是表示第2实施方式的对焦评价装置的构成例的图。第2实施方式的对焦评价装置是安装有图像评价程序的个人计算机。在第2实施方式的例子中,对焦评价装置读取通过电子相机拍摄的彩色图像,并在基于图像评价程序的后处理工序中进行图像的对焦评价。
图11所示的计算机31具有数据读入部32、存储装置33、CPU34、存储器35及输入输出I/F36、总线37。数据读入部32、存储装置33、CPU34、存储器35及输入输出I/F36经由总线37相互连接。进而,在计算机31上经由输入输出I/F36分别连接有输入设备38(键盘、定位设备等)和监视器39。另外,输入输出I/F36受理来自输入设备38的各种输入,并且向监视器39输出显示用的数据。
数据读入部32在从外部读入图像的数据、程序时使用。例如,数据读入部32是从能够拆装的存储介质取得数据的读入设备(光盘、磁盘、光磁盘的读入装置等)、基于公知的通信规格与外部的装置进行通信的通信设备(USB接口、LAN模块、无线LAN模块等)。另外,第2实施方式的数据读入部32作为取得彩色图像的取得部发挥作用。
存储装置33例如由硬盘、非易失性的半导体存储器等存储介质构成。在该存储装置33中记录图像处理程序。另外,还可以在存储装置33中存储从数据读入部32读入的图像的数据等。
CPU34是统括性地控制计算机31的各部的处理器。该CPU34通过图像评价程序的执行而作为第1实施方式的区域设定部21、边沿检测部22、块选出部23、对焦判定部24、对焦评价部25动作。
存储器35临时存储图像处理程序下的各种运算结果。该存储器35例如是易失性的SDRAM。
此外,图12是表示第2实施方式的对焦评价装置的动作例的流程图。图12的#201~#209的处理与图2的#102~#110的处理对应,因此省略重复说明。另外,在#201中,CPU34用于从数据读入部32取得由电子相机拍摄的彩色图像。并且,在#210中,CPU34基于对焦评价执行图像的良好与否判定,并将其结果显示到监视器39。另外,CPU34根据上述图像的良好与否判定的结果,从多个彩色图像中自动分选良好的图像。在该第2实施方式中也可以获得与上述第1实施方式基本同样的效果。
<实施方式的补充事项>
(补充1)在上述实施方式中,仅将在边沿的梯度方向相邻的块双方为平坦块的边沿块作为评价对象块处理。但是,如在#105也记载的那样,若在边沿的梯度方向相邻的块的一方为平坦块,也可以将该边沿块作为评价对象块。
(补充2)上述实施方式的相对于对焦判定值的加权的例子不限于上述(B1)~(B7)的例子。例如,在上述实施方式的#105中,在不应用(条件2)时(即,不将边沿部分含有凹凸构造的块从评价对象块排除时),对焦评价部25可以减小在边沿部分含有凹凸构造的评价对象块的权重系数的值。
(补充3)在上述实施方式中,说明了使图像处理装置的各功能通过程序而软件性地实现的例子。但是,在本发明中也可以利用ASIC而硬件性地实现区域设定部21、边沿检测部22、块选出部23、对焦判定部24、对焦评价部25的各功能。
(补充4)在上述第2实施方式中,作为读入由电子相机拍摄的图像的对焦评价装置的一例说明了个人计算机的情况,但是,例如第2实施方式的对焦评价装置也可以是图片浏览器、打印机等其他电子设备。
通过以上的详细说明,实施方式的特征点及优点得以明确。这意味着权利要求的范围在不脱离其精神及权利范围的范围内延及上述实施方式的特征点及优点。此外,本领域技术人员应该能够容易地想到所有的改良及变更,具有发明性的实施方式的范围不限于上述记载,也可以包含在实施方式所公开的范围内包含的适当的改良物及均等物。
符号说明
11…电子相机、12…摄影光学系统、13…摄像部、14…相机微机、15…第1存储器、16…第2存储器、17…记录I/F、18…显示部、19…操作部、21…区域设定部、22…边沿检测部、23…块选出部、24…对焦判定部、25…对焦评价部、26…存储介质、31…计算机、32…数据读入部、33…存储装置、34…CPU、35…存储器、36…输入输出I/F、37…总线、38…输入设备、39…监视器。

Claims (17)

1.一种对焦评价装置,其特征在于,包括:
区域设定部,设定判定图像的对焦状态的区域,并将上述区域分割成多个块;
边沿检测部,从上述块检测每个颜色成分的边沿;
块选出部,选出包含边沿并用于对焦判定的多个块;
对焦判定部,根据由上述块选出部选出的块的每个颜色成分的边沿对每个块进行对焦判定;和
对焦评价部,基于上述对焦判定来判定上述区域的对焦状态。
2.根据权利要求1所述的对焦评价装置,其中,
上述块选出部选出与包含平坦部的块相邻的块。
3.根据权利要求2所述的对焦评价装置,其中,
上述包含平坦部的块为如下块:在对与上述块内的按颜色相邻的像素的像素值进行差分并求出了上述差分小于第1阈值的像素相对于上述块内的全部像素的比率时,上述比率为第2阈值以上的块。
4.根据权利要求1所述的对焦评价装置,其中,
上述块选出部将边沿连续的上述块成组化。
5.根据权利要求1所述的对焦评价装置,其中,
上述块选出部将两个颜色成分的边沿的梯度向相同方向倾斜的块选出。
6.根据权利要求1所述的对焦评价装置,其中,
上述块选出部将边沿含有凹凸的构造的块从上述选出中排除。
7.根据权利要求6所述的对焦评价装置,其中,
上述含有凹凸的构造的块是含有细线构造、峰状构造或谷状构造中的至少任意一种的块。
8.根据权利要求1所述的对焦评价装置,其中,
上述块选出部将在边沿产生的对比度的差为阈值以上的块选出。
9.根据权利要求1所述的对焦评价装置,其中,
上述块选出部将边沿的长度小于阈值的块选出。
10.根据权利要求1所述的对焦评价装置,其中,
上述对焦评价部将基于不同颜色成分的组合的对焦判定的结果以及不同块尺寸下的对焦判定的结果的至少一方加权相加,来判定上述区域的对焦状态。
11.根据权利要求10所述的对焦评价装置,其中,
上述对焦评价部在边沿处的对比度的差越大时,越是增大上述块的加权的值。
12.根据权利要求10所述的对焦评价装置,其中,
上述对焦评价部在边沿的模糊宽度越小时,越是增大上述块的加权的值。
13.根据权利要求10所述的对焦评价装置,其中,
上述对焦评价部根据取得了上述图像时的摄影光学系统的变焦位置,确定上述块的加权的值。
14.根据权利要求10所述的对焦评价装置,其中,
上述对焦评价部当在上述边沿的梯度方向上相邻的块的至少一方中用于求出模糊宽度的差的两个颜色成分的色差低于阈值时,增大上述块的加权的值。
15.根据权利要求10所述的对焦评价装置,其中,
上述对焦评价部在上述块中的被摄体的移动矢量越大时,越是减小上述块的加权的值。
16.一种摄像装置,其特征在于,包括:
摄像部;和
权利要求1所述的对焦评价装置。
17.一种对焦评价方法,其特征在于,
设定判定图像的对焦状态的区域,并将上述区域分割成多个块;
从上述块检测每个颜色成分的边沿;
选出包含边沿并用于对焦判定的多个块;
根据上述选出的块的每个颜色成分的边沿对每个块进行对焦判定;和
基于上述对焦判定来判定上述区域的对焦状态。
CN201280042875.7A 2011-09-02 2012-08-31 对焦评价装置、摄像装置及程序 Active CN103765276B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011191555 2011-09-02
JP2011-191555 2011-09-02
PCT/JP2012/005539 WO2013031238A1 (ja) 2011-09-02 2012-08-31 合焦評価装置、撮像装置およびプログラム

Publications (2)

Publication Number Publication Date
CN103765276A CN103765276A (zh) 2014-04-30
CN103765276B true CN103765276B (zh) 2017-01-18

Family

ID=47755765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280042875.7A Active CN103765276B (zh) 2011-09-02 2012-08-31 对焦评价装置、摄像装置及程序

Country Status (4)

Country Link
US (2) US9392159B2 (zh)
JP (1) JP6074954B2 (zh)
CN (1) CN103765276B (zh)
WO (1) WO2013031238A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031238A1 (ja) 2011-09-02 2013-03-07 株式会社ニコン 合焦評価装置、撮像装置およびプログラム
JP6565326B2 (ja) * 2014-08-11 2019-08-28 セイコーエプソン株式会社 撮像表示装置及びその制御方法
JP6467824B2 (ja) * 2014-08-29 2019-02-13 株式会社ニコン 撮像装置
JP6467823B2 (ja) * 2014-08-29 2019-02-13 株式会社ニコン 撮像装置
CN105527778A (zh) * 2016-01-16 2016-04-27 上海大学 电动可调焦液体镜头的自动对焦方法
US9762790B2 (en) * 2016-02-09 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus using edge detection and distance for focus assist
US9838594B2 (en) * 2016-03-02 2017-12-05 Qualcomm Incorporated Irregular-region based automatic image correction
JP6672085B2 (ja) * 2016-06-17 2020-03-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020088646A (ja) * 2018-11-27 2020-06-04 凸版印刷株式会社 三次元形状モデル生成支援装置、三次元形状モデル生成支援方法、及びプログラム
JP7262997B2 (ja) * 2018-12-27 2023-04-24 キヤノン株式会社 制御装置、撮像装置、および、プログラム
CN110166692B (zh) * 2019-05-31 2024-02-02 济南中维世纪科技有限公司 一种提高摄像机自动聚焦准确率和速度的方法及装置
CN115661153A (zh) * 2022-12-27 2023-01-31 四川中科友成科技有限公司 一种适用于光电吊舱的镜头自动调焦控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1464323A (zh) * 2002-06-13 2003-12-31 北京中星微电子有限公司 自动对焦技术

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01246516A (ja) 1988-03-29 1989-10-02 Sony Corp 焦点位置検出装置
US5212516A (en) 1989-03-28 1993-05-18 Canon Kabushiki Kaisha Automatic focus adjusting device
JPH03136012A (ja) 1989-10-23 1991-06-10 Olympus Optical Co Ltd 合焦検出装置
US5192998A (en) 1990-01-05 1993-03-09 Canon Kabushiki Kaisha In-focus detecting device
JPH03204277A (ja) * 1990-01-05 1991-09-05 Canon Inc 合焦検出方法
JP2899040B2 (ja) 1990-02-27 1999-06-02 キヤノン株式会社 焦点制御装置
JPH06138362A (ja) 1991-02-06 1994-05-20 Sony Corp オートフォーカス装置
JP3517423B2 (ja) * 1992-11-13 2004-04-12 キヤノン株式会社 自動焦点調節装置
US5742892A (en) 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
JP3503372B2 (ja) 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
JP4497567B2 (ja) * 1998-09-14 2010-07-07 キヤノン株式会社 焦点検出装置、測距装置及び光学機器
JP2000165892A (ja) 1998-11-30 2000-06-16 Matsushita Electric Ind Co Ltd 画素補間方法および画像処理装置
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US20020135683A1 (en) 1999-12-20 2002-09-26 Hideo Tamama Digital still camera system and method
JP2002214513A (ja) 2001-01-16 2002-07-31 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
JP2003015026A (ja) 2001-07-02 2003-01-15 Konica Corp 画像処理方法及び画像処理装置
JP4658401B2 (ja) 2001-07-27 2011-03-23 オリンパス株式会社 撮像装置
JP3555607B2 (ja) 2001-11-29 2004-08-18 ミノルタ株式会社 オートフォーカス装置
JP2004085936A (ja) 2002-08-27 2004-03-18 Olympus Corp カメラ
JP2004157456A (ja) 2002-11-08 2004-06-03 Olympus Corp カメラ及びカメラの測距方法
JP2004219461A (ja) * 2003-01-09 2004-08-05 Minolta Co Ltd 撮像装置およびオートフォーカス装置
US20040165090A1 (en) 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
JP2005156597A (ja) * 2003-11-20 2005-06-16 Canon Inc 自動焦点調節装置及び方法及びプログラム及び記憶媒体
EP1746846B1 (en) 2004-04-12 2019-03-20 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
US20060078217A1 (en) 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
JP4588000B2 (ja) * 2006-09-04 2010-11-24 三星デジタルイメージング株式会社 撮像装置および撮像方法
US20080284900A1 (en) * 2007-04-04 2008-11-20 Nikon Corporation Digital camera
JP5141129B2 (ja) 2007-08-07 2013-02-13 富士通株式会社 レシート形式制御方法、レシート形式制御プログラム、レシート形式制御装置、およびレシート形式制御システム
JP4246244B2 (ja) 2007-09-14 2009-04-02 オリンパス株式会社 撮像装置
JP5144202B2 (ja) * 2007-10-05 2013-02-13 オリンパス株式会社 画像処理装置およびプログラム
US8264591B2 (en) 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal
JP2009103800A (ja) 2007-10-22 2009-05-14 Sony Corp オートフォーカス装置および方法、並びにプログラム
JP2009199232A (ja) 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置
WO2010061352A2 (en) 2008-11-26 2010-06-03 Hiok Nam Tay Auto-focus image system
US8290301B2 (en) * 2009-02-06 2012-10-16 Raytheon Company Optimized imaging system for collection of high resolution imagery
JP5400486B2 (ja) * 2009-06-15 2014-01-29 オリンパスイメージング株式会社 撮影装置および撮影方法
US8743269B2 (en) 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
JP5771914B2 (ja) 2009-07-17 2015-09-02 株式会社ニコン 焦点調節装置、およびカメラ
JP5515698B2 (ja) * 2009-12-04 2014-06-11 パナソニック株式会社 冷凍サイクル装置
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
US8958009B2 (en) 2010-01-12 2015-02-17 Nikon Corporation Image-capturing device
JP5163733B2 (ja) * 2010-06-17 2013-03-13 株式会社ニコン 撮像装置、および焦点判定プログラム
JP5564961B2 (ja) * 2010-01-27 2014-08-06 株式会社ニコン 撮像装置
WO2013031238A1 (ja) 2011-09-02 2013-03-07 株式会社ニコン 合焦評価装置、撮像装置およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1464323A (zh) * 2002-06-13 2003-12-31 北京中星微电子有限公司 自动对焦技术

Also Published As

Publication number Publication date
US20140232927A1 (en) 2014-08-21
CN103765276A (zh) 2014-04-30
US20160301856A1 (en) 2016-10-13
JP2013065005A (ja) 2013-04-11
JP6074954B2 (ja) 2017-02-08
US9648227B2 (en) 2017-05-09
US9392159B2 (en) 2016-07-12
WO2013031238A1 (ja) 2013-03-07

Similar Documents

Publication Publication Date Title
CN103765276B (zh) 对焦评价装置、摄像装置及程序
Ancuti et al. NH-HAZE: An image dehazing benchmark with non-homogeneous hazy and haze-free images
Wan et al. Benchmarking single-image reflection removal algorithms
Hsu et al. Camera response functions for image forensics: an automatic algorithm for splicing detection
JP4772839B2 (ja) 画像識別方法および撮像装置
CN101605209B (zh) 摄像装置及图像再生装置
Tursun et al. An objective deghosting quality metric for HDR images
Stokman et al. Selection and fusion of color models for image feature detection
US10303983B2 (en) Image recognition apparatus, image recognition method, and recording medium
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
CN105765967A (zh) 使用第二相机来调节第一相机的设置
CN104519328A (zh) 图像处理设备、图像捕捉装置和图像处理方法
CN106165390A (zh) 图像处理装置、摄影装置、图像处理方法及程序
CN104680501A (zh) 图像拼接的方法及装置
CN113822830A (zh) 基于深度感知增强的多曝光图像融合方法
Lyu Estimating vignetting function from a single image for image authentication
CN107105172A (zh) 一种用于对焦的方法和装置
Chen et al. Focus manipulation detection via photometric histogram analysis
JP5862071B2 (ja) 画像処理装置、撮像装置およびプログラム
CN111428730B (zh) 弱监督细粒度物体分类方法
Chen et al. Hybrid saliency detection for images
CN106993111A (zh) 摄像装置、摄像方法、摄像程序及记录介质
Ghosal et al. A geometry-sensitive approach for photographic style classification
Ostiak Implementation of HDR panorama stitching algorithm
WO2013114884A1 (ja) 被写体位置特定用プログラム、被写体位置特定装置、およびカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant