CN103108193A - 摄像装置以及摄像装置的控制方法 - Google Patents

摄像装置以及摄像装置的控制方法 Download PDF

Info

Publication number
CN103108193A
CN103108193A CN201210447573XA CN201210447573A CN103108193A CN 103108193 A CN103108193 A CN 103108193A CN 201210447573X A CN201210447573X A CN 201210447573XA CN 201210447573 A CN201210447573 A CN 201210447573A CN 103108193 A CN103108193 A CN 103108193A
Authority
CN
China
Prior art keywords
pixel
phase
detection
detection pixel
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210447573XA
Other languages
English (en)
Other versions
CN103108193B (zh
Inventor
冈泽淳郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Publication of CN103108193A publication Critical patent/CN103108193A/zh
Application granted granted Critical
Publication of CN103108193B publication Critical patent/CN103108193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种摄像装置以及摄像装置的控制方法,在对焦点检测用元件的输出进行校正处理时,能够与被摄体无关地减少图像的劣化。根据从摄像元件输出的像素数据中位于相位检测像素附近的像素,检测所拍摄的图像的对比度信息(S23~S31),根据对比度信息,判断是否对相位检测像素的数据进行校正,在判断为进行校正的情况下,决定针对相位检测像素的周边像素的加权(S33~S35)。

Description

摄像装置以及摄像装置的控制方法
技术领域
本发明涉及如下摄像装置以及摄像装置的控制方法,所述摄像装置具有将部分摄像元件用作相位差方式的焦点检测用元件的摄像元件。
背景技术
以往,公知有将部分摄像元件兼用作焦点检测用光电二极管的摄像元件(参照专利第3592147号公报(以下称为专利文献1))。在该专利文献1所公开的摄像元件中,兼用于焦点检测的区域的各像素分割为2个像素,这2个像素分别经由片上微透镜,对通过摄影镜头的不同出瞳区域(以下记为“瞳区域”)的被摄体光束进行受光。并且,根据通过该不同瞳区域的2种图像信号所表示的2个图像的相位差,检测聚焦状态。
此外,如专利文献1所公开那样,在将部分摄像元件用作焦点检测用元件的情况下,作为焦点检测用元件的部分成为缺陷像素,图像发生劣化。因此,为了补偿焦点检测用元件的输出,对元件输出进行插值处理。但是,在对空间频率较高的被摄体像进行受光的情况下,由于插值的影响,图像的锐度明显降低。因此,在日本国公开专利2010-062640号公报(以下,称为专利文献2)所公开的摄像装置中,检测焦点检测用元件的周边的信号的偏差,根据该检测结果来决定增益调整量和插值校正量的比例。
如上所述,在专利文献2所公开的摄像装置中,观察从焦点检测用元件周边的像素输出的值的偏差(标准偏差),判断是否为高频成分,改变插值像素与焦点检测用元件的利用比例。但是,在部分像素急剧发生变化且其他周边的像素中无偏差等情况下,有可能因被摄体而无法准确检测。
发明内容
本发明是鉴于这样的情况而进行的,目的在于提供一种摄像装置以及摄像装置的控制方法,在对焦点检测用元件的输出进行校正处理时,能够与被摄体无关地减少图像的劣化。
本发明的摄像装置包括:摄像元件,其在部分像素中设置有用于焦点检测的相位检测像素;对比度信息检测部,其根据从所述摄像元件输出的像素数据中位于所述相位检测像素附近的像素,检测所拍摄的图像的对比度信息;相位像素校正判断部,其根据所述检测出的对比度信息,判断是否对所述相位检测像素的数据进行校正;加权决定部,其在所述相位像素校正判断部判断为对相位检测像素进行校正的情况下,决定针对所述相位检测像素的附近像素的加权;像素校正部,其根据所述决定的加权,对所述相位检测像素进行加权校正;以及颜色转换处理部,其在所述像素校正之后对,进行用于显示所述像素数据或使所述像素数据成为记录用图像的颜色转换处理。
本发明的摄像装置包括:摄像元件,其在部分像素中设置有用于焦点检测的相位检测像素;对比度信息检测部,其根据从所述摄像元件输出的像素数据中位于所述相位检测像素附近的像素,检测所拍摄的图像的对比度信息;加权决定部,其根据所述检测出的对比度信息,决定针对所述相位检测像素的附近像素的加权;像素校正部,其根据所述决定的加权,对所述相位检测像素进行加权校正;以及颜色转换处理部,其在所述像素校正之后,进行用于显示所述像素数据或使所述像素数据成为记录用图像的颜色转换处理。
一种摄像装置的控制方法,该摄像装置具有摄像像素群以及相位检测像素群,所述控制方法包括:调整步骤,调整所述相位检测像素群的增益;检测步骤,检测摄像元件中在相位检测像素附近存在的像素群的变化梯度、变化量以及变化量的合计值中的任意一项以上;决定步骤,根据在所述检测步骤中检测出的变化梯度、变化量以及变化量的合计值中的任意一项以上的值,决定所述相位检测像素处的插值像素的应用比例;以及插值步骤,根据所述决定步骤的结果,对所述相位检测像素进行插值。
根据本发明,能够提供一种摄像装置以及摄像装置的控制方法,在对焦点检测用元件的输出进行校正处理时,能够与被摄体无关地减少图像的劣化。
附图说明
图1是示出以本发明一个实施方式的照相机为主的电路结构的框图。
图2是示出本发明一个实施方式的照相机的图像处理部的结构的框图。
图3A-3C是示出本发明一个实施方式的照相机中的摄像元件中的像素、相位检测用元件以及其像素信号的图。
图4A、4B是说明本发明一个实施方式的照相机的焦点检测原理的图。
图5是示出本发明一个实施方式的照相机的动作的流程图。
图6是示出本发明一个实施方式的照相机的像素插值处理的动作的流程图。
图7A、7B是示出在本发明一个实施方式的照相机中,对焦状态和非对焦状态的图像信号的空间变化的曲线图。
图8是说明在本发明的一个实施方式的照相机中,对每个对焦状态进行插值运算时所使用的权重系数的决定方法的图。
具体实施方式
以下,根据附图用应用了本发明的照相机说明优选的实施方式。本发明一个优选实施方式的摄像装置是数字照相机,设置有摄像部,该摄像部具有部分地具备焦点检测用相位检测元件的摄像元件,通过该摄像部将被摄体像转换为图像数据,此外,根据来自相位检测元件的输出,通过公知的相位差方式计算表示对焦位置的偏离的散焦方向和散焦量,进行摄影镜头的焦点调节。
此外,根据转换后的图像数据,在配置于本体背面的显示部上,将被摄体像作为实时的摄像图像即实时取景图像来进行显示。摄影者通过观察实时取景图像,决定构图和快门机会。在操作了释放按钮时,将静态图像的图像数据记录到记录介质中。此外,在拍摄动态图像时,将动态图像的图像数据记录到记录介质中。在选择了再现模式时,记录介质中记录的静态图像和动态图像的图像数据能够在显示部上再现显示。
图1是示出以本发明一个实施方式的照相机为主的电气结构的框图。在图1中,带箭头的实线表示数据流,带箭头的虚线表示控制信号流。在照相机内具有:摄影镜头11、光圈13、机械快门15、驱动部17、操作部19、摄像元件21、A-AMP23、模拟数字转换器(ADC)25、CPU(Central Processing Unit:中央处理单元)27、图像处理部29、焦点检测电路31、视频编码器33、总线35、DRAM(Dynamic Random AccessMemory:动态随机存取存储器)37、ROM(Read Only Memory:只读存储器)39、闪速存储器41。
摄影镜头11,由用于形成被摄体像的多个光学镜头构成,是定焦镜头或者变焦镜头。在该摄影镜头11的光轴的后方配置有光圈13,该光圈13的口径可变,限制通过摄影镜头11的被摄体光束的光量。在光圈13的后方,配置有机械快门15,对通过摄影镜头的被摄体光束的通过时间进行控制。作为机械快门15,采用公知的焦平面快门、镜头快门等。
驱动部17根据来自CPU27的控制信号,进行摄影镜头11的焦点调节、光圈13的开口口径控制以及机械快门15的开闭控制(快门控制)。
操作部19包含电源按钮、释放按钮、再现按钮、菜单按钮等各种输入按钮和各种输入键等操作部件,检测这些操作部件的操作状态,将检测结果输出到CPU27。在本实施方式中,操作部19具有选择静态图像拍摄和动态图像拍摄的拍摄选择部,在拍摄模式转盘和菜单画面等中,能够选择静态图像拍摄模式和动态图像拍摄模式。在选择了动态图像拍摄模式时,如果操作了释放按钮,则动态图像拍摄开始,在再次操作释放按钮时动态图像拍摄结束。另外,作为拍摄选择部当然可以置换为其他方法,例如在操作部19中设置有动态图像按钮,在操作了动态图像按钮时开始动态图像拍摄等。如下述那样,在本实施方式中,在选择了动态图像拍摄的情况下,进行相位检测像素的插值处理,对相位检测像素引起的图像缺陷进行校正。
在摄影镜头11的光轴上、在机械快门15的后方且被摄体像通过摄影镜头11而成像的位置附近,配置有摄像元件21。在摄像元件21的部分像素中设置有用于焦点检测的相位检测像素。此外,关于摄像元件21,构成各像素的光电二极管配置为二维的矩阵状,各光电二极管根据受光量产生光电转换电流,该光电转换电流通过与各光电二极管连接的电容器而被进行电荷积累。
在各像素的前面,配置有拜耳排列的滤色片。拜耳排列在水平方向具有:R像素和G像素交替配置的行;以及G像素和B像素交替配置的行。部分G像素被置换为焦点检测用相位检测像素。下面,将使用图3A-3C来描述该摄像元件21的详细结构。另外,在本说明书中,基于从摄像元件21输出的图像信号的信号,有时不仅包含通过下述的ADC25进行A/D转换的信号还包含图像信号而称为图像数据。
摄像元件21的输出与A-AMP23连接。A-AMP23对从摄像元件21输出的图像信号进行模拟增益调整。A-AMP23的输出与ADC25连接。ADC25是模拟数字转换器,将通过A-AMP23进行了模拟增益调整的图像信号转换为数字形式的图像数据(摄像数据)。在该摄像数据中,包含来自非焦点检测用即普通像素的数据,以及来自焦点检测用相位检测像素的数据这双方数据。ADC25的输出被输出到总线35,摄像数据在下述的DRAM37中暂时存储。
与总线35连接的CPU27,根据下述的ROM39中存储的程序,进行照相机的整体控制。
图像处理部29经由总线35从DRAM37输入摄像数据,进行各种图像处理,生成静态图像或者动态图像的记录用图像数据,该生成的记录用图像数据暂且在DRAM37中暂时存储。此外,使用从DRAM37读出的动态图像的图像数据,生成显示用图像数据,暂且在DRAM37中暂时存储。此外,对摄像元件21内位于焦点检测用像素位置的相位检测像素的数据,使用周围的像素数据进行插值处理等。下面,使用图2描述关于图像处理部29的详细结构。
焦点检测电路31,取得来自DRAM37中暂时存储的相位检测像素的数据,根据该数据,通过公知的相位差AF计算散焦方向以及散焦量。另外,根据焦点检测电路31计算出的散焦方向以及散焦量,CPU27通过驱动部17进行摄影镜头11的对焦。
视频编码器33读出通过图像处理部29生成的、在DRAM37中暂时存储的显示用图像数据,输出到LCD/TV43。LCD是液晶显示器,用于在照相机的背面等进行实时取景显示以及已记录图像的再现显示等。此外,TV是外部的电视装置,用于已记录图像的再现显示等。
DRAM37是可电写入的存储器,如上所述,进行图像数据、记录用图像数据、显示用图像数据等的暂时存储。此外,对CPU27进行照相机控制时的各种数据进行暂时存储。也可以将SDRAM(Synchronous Dynamic Random Access Memory:同步动态随机存取存储器)用于图像数据的暂时存储。
ROM39是掩模ROM和闪速存储器等非易失性存储器。在ROM39中,除了所述的CPU27所使用的程序之外,还存储有照相机的调整值等各种数据。闪速存储器41内置于照相机或者或可装卸,是图像数据记录用的存储介质。
接下来,使用图2对图像处理部29进行说明。在图2中,带箭头的实线表示摄像数据流,带箭头的虚线表示RGB数据流,带箭头的单点划线表示YC数据流。在图像处理部29内的总线63上,连接有增益调整部51、变化检测部53、插值比例决定部55、像素插值部57、显影处理部59、以及颜色转换处理部61。
增益调整部51被输入从ADC25输出的摄像数据,对来自相位检测像素的输出进行增益校正。即,如下述那样,使用图3A-3C以及图4A、4B,在摄像元件21内的相位检测像素中设置有用于进行瞳分割、检测相位差的遮光部件,因此,到达相位检测像素的光量减少。与该遮光的减光量对应地,对来自相位检测像素的图像数据进行增益校正。
变化检测部53作为对比度信息检测部而发挥作用,该对比度信息检测部根据从摄像元件21输出的像素数据中位于相位检测像素附近的像素,检测所拍摄的图像的对比度信息。此外,对比度信息检测部检测相位检测像素附近的像素的差分相加值和差分最大值作为对比度信息。此外,对比度信息检测部对于用于校正相位检测像素的附近像素,不包含其他相位检测像素。
具体地说,变化检测部53对在焦点检测用相位检测像素的周边存在的像素群的变化梯度以及变化量的合计值进行计算。此处,像素群的变化梯度是指相位检测像素的输出与周边像素的输出的差,对在相位检测像素周边的规定范围内存在的多个像素的每一个计算变化梯度。此外,变化量的合计值是对指多个像素的每一个计算出的变化梯度的合计值。
插值比例决定部55作为相位像素校正判断部而发挥作用,该相位像素校正判断部根据在变化检测部53中检测出的对比度信息,判断是否对相位检测像素的数据进行校正。插值比例决定部55还作为加权决定部而发挥作用,该加权决定部在判断为对相位检测像素进行校正的情况下,决定针对相位检测像素的附近像素的加权。加权决定部根据作为对比度信息而检测出的对比度的变化梯度以及变化量,决定针对相位检测像素附近的对象像素的加权。此外,加权决定部,在变化梯度较小的情况下,使插值像素的应用比例小于变化梯度较大的情况。
具体地说,插值比例决定部55根据变化检测部53计算出的值,决定增益校正后的相位检测像素的输出与插值像素的输出的混合比例。此处,插值像素是指在相位检测像素周边的规定范围内存在的多个像素。
像素插值部57作为像素校正部而发挥作用,该像素校正部根据决定的加权,对相位检测像素进行加权校正。像素插值部57根据插值比例决定部55决定的混合比例,对增益校正后的相位检测像素的输出,使用在相位检测像素周边的规定范围内存在的多个像素的值进行插值处理。
显影处理部59对插值后的摄像数据,实施同步化处理(去马赛克处理)、NR(NoiseReduction:降噪)处理、WB(White Balance:白平衡)校正、边缘强化等,使其成为RGB数据。
颜色转换处理部61作为颜色转换处理部而发挥作用,该颜色转换处理部在像素校正之后,为了将像素数据作为显示或者记录用图像而进行颜色转换处理。即,颜色转换处理部61对显影后的RGB数据进行颜色转换,使其成为YC数据。此外,图像处理部29还进行作成记录用图像数据和显示用图像数据的处理。图像处理后的图像数据被输出到总线35。
这样,在图像处理部29中,在摄像数据内,对与相位检测像素对应的数据进行插值处理。即,对来自摄像数据内的相位检测像素的数据进行增益校正,检测在相位检测像素的周边存在的像素群的变化梯度以及变化梯度的合计值,根据该检测结果,对相位检测像素的输出,根据变化梯度、变化梯度的合计值进行插值处理。
接下来,使用图3A-3C,对摄像元件21的结构进行说明。图3A是摄像元件21的部分放大图。在图3A中,在横向作为像素号分配C1~C16,在纵向作为像素号分配L1~L16。在该例中,像素(C1、L1)为R像素,像素(C2、L2)为B像素,像素(C2、L1)以及像素(C1、L2)为G像素。在横向以及纵向重复该4个像素的组合而构成摄像元件。
本实施方式中的摄像元件的配置,将部分G用图像生成用像素置换为焦点检测用像素而排列。即,在图3A所示的例子中,包含像素(C7、L2)、像素(C13、L2)、像素(C5、L4)、像素(C11、L4)、像素(C1、L6)、像素(C7、L6)、像素(C15、L8)、像素(C5、L10)、像素(C11、L10)、像素(C3、L12)、像素(C9、L12)、像素(C14、L15),共计12个焦点检测用像素。通过这些焦点检测用像素,可检测摄像元件21的画面中的水平方向的相位差。即,像素(C7、L2)和像素(C5、L4)成对,同样,像素(C13、L2)和像素(C11、L4)成对,沿水平方向检测这些成对的输出,检测水平方向的相位差。
另外,在本实施方式中,在摄像元件21中将相位检测像素配置为沿水平方向检测相位差,但是并不限定于此,也可以将相位检测像素配置为沿倾斜方向或垂直方向检测相位差。此外,在本实施方式中,将相位检测像素配置在属于G像素的位置,但是并非限定于此,当然也可以在属于R像素或B像素的位置置换相位检测像素。此外,在本实施方式中,配置有像素的右半部或左半部被遮光的焦点检测像素,但是并非限定于此,也可以配置上或下、或者倾斜的半部分被遮光的焦点检测像素。
图3B示出水平方向的像素信号值的一例,此外图3C示出垂直方向的像素信号值的一例。即,图3B示出从像素(C1、L6)~像素(C16、L6)的各像素输出的水平方向的像素信号。此外,图3C示出从像素(C15、L1)~像素(C15、L16)的各像素输出的垂直方向的像素信号。
接下来,使用图4A、4B,对基于相位差法的焦点检测原理进行说明。图4A示出用于得到相位检测像素以外的普通图像的非相位检测像素21a,图4B示出焦点检测用相位检测像素21b以及配置在其前面的遮光部件21c。位置A表示非相位检测像素21a(或者相位检测像素21b)相对于摄影镜头11的非对焦位置,位置B表示非相位检测像素21a(或者相位检测像素21b)相对于摄影镜头11的对焦位置。
在假定被摄体为点光源的情况下,在非相位检测像素21a位于非对焦位置即位置A的情况下,如图4A所示,通过摄影镜头11上侧的被摄体光和通过下侧的被摄体光的高峰分别被分离,产生2个高峰。另一方面,在非相位检测像素21a位于对焦位置即位置B的情况下,通过摄影镜头11上侧的被摄体光和通过下侧的被摄体光的高峰一致,只产生1个高峰。
另一方面,在相位检测像素21b位于位置A的情况下,如图4B所示,通过摄影镜头11上侧的被摄体光被遮光部件21c遮挡,而未到达相位检测像素21b。但是,通过摄影镜头11下侧的被摄体光,由于不存在遮光部件21而到达相位检测像素21b,但是该位置与本来的对焦位置相比向下侧偏离。在相位检测像素21b位于位置B的情况下,通过摄影镜头11上侧的被摄体光被遮光部件21c遮挡,未到达相位检测像素21b,但是通过摄影镜头11下侧的被摄体光由于没有被遮挡而到达相位检测像素21b。
如图4B所示,遮光部件21c配置为对通过摄影镜头11上侧的被摄体光进行遮光,对于另一方的相位检测像素,将遮光部件配置为对通过摄影镜头11下侧的被摄体光进行遮光。将该1对相位检测像素沿水平方向、垂直方向或者倾斜方向配置,根据来自这些相位检测像素的输出信号,能够进行基于相位差法的焦点检测。
图4B所示的相位检测像素对应于图3A中的像素(C7、L2),像素(C13、L2),像素(C5、L4),像素(C11、L4)等。其中,在图3A中,由于1对相位检测像素(焦点检测用元件)沿倾斜方向配置,所以对来自摄影镜头11的斜上或者斜下的被摄体光进行受光。另外,在本实施方式中,通过遮光部件进行瞳分割,但是并非限定于此,也可以通过瞳分割用镜头等进行瞳分割。
在非对焦状态下,如图4B所示,相位检测像素由于遮光部件21c的存在,在偏离本来的成像位置的位置形成图像,产生相位偏差,成为难看的图像。另一方面,在对焦状态下,即使遮光部件21c存在,由于在本来的成像位置形成图像,所以不会产生相位偏差,图像不会变得难看。此外,即使在非对焦状态,在非常模糊的状态下,由于图像整体非常模糊,所以相位偏差不明显。因此,在本实施方式中,在产生相位偏差的非对焦状态下对相位检测像素的输出进行插值处理。但是,在对焦状态下对相位检测像素的输出进行插值处理时,即使没有产生相位偏差,也进行插值处理,所以图像发生劣化。因此,在本实施方式中,在对焦状态下,不进行插值处理,仅进行增益调整。
接下来,使用图5以及图6所示的流程图,说明本发明一个实施方式的动作。该流程图按照ROM39中存储的程序由CPU27执行。
该流程图中,在选择了动态图像拍摄时,开始动作,首先,开始动态图像记录(S1)。当动态图像记录开始后,接下来,进行摄像的读入(S3)。此处,在摄像元件21中,对被摄体像进行光电转换,在ADC25对图像信号进行数字化,之后,将摄像数据在DRAM37中暂时存储。
在进行了摄像读入后,接下来,进行焦点检测处理(S5)。此处,焦点检测电路31从DRAM37中暂时存储的摄像数据中,读出与多个相位检测像素对应的摄像数据,使用这些数据,通过公知的相位差法来计算散焦方向以及散焦量。
在进行了焦点检测处理后,接下来,进行增益调整处理(S7)。此处,对与相位检测像素对应的数据,进行增益调整。即,如图4B所示,焦点检测用相位检测像素21b由于被遮光部件21c遮光,入射光量减少。因此,在该步骤中,增益调整部51对相位检测像素的输出进行减光光量的校正。因此,该步骤S7,实现了对相位检测像素群的增益进行调整的调整步骤的功能。
在进行了增益调整后,接下来,进行像素插值处理(S9)。此处,根据相位检测像素周边的元件的输出变化,进行像素插值,将插值后的摄像数据在DRAM37中暂时存储。此处的像素插值,作为对比度信息,对
(1)相位检测像素的输出与相位检测像素周边的像素的输出的多个差分值的合计值(差分相加值),以及
(2)相位检测像素的输出与相位检测像素周边的像素的输出的多个差分值中的最大值(差分极大值),
进行检测,根据该检测结果,决定针对相位检测像素周边的对象像素的加权,进行像素插值。
在进行像素插值中的加权时,根据对比度信息,在判断为对焦状态的情况下,或者在判断为非对焦状态、即非常模糊状态的情况下,相位检测像素21b的输出增益提升遮光光量。另一方面,根据对比度信息,在判断为不是非对焦状态即不是非常模糊状态的情况下,相位检测像素21b的输出增益提升遮光光量,并且,对相位检测像素21b的周边的像素加权后进行插值运算。下面,使用图6,描述关于步骤S9中的像素插值处理的详细动作。
在进行了像素插值处理后,接下来,进行镜头驱动(S11)。此处,CPU27根据在步骤S5中检测出的、摄影镜头11的散焦方向以及散焦量,使驱动部17进行对焦。
在进行了镜头驱动后,接下来,对DRAM37中存储的摄像数据进行记录用的图像处理(S13)。此处,图像处理部29对在步骤S9进行像素插值处理后的摄像数据进行记录用的图像压缩处理等图像处理。
在进行了记录用的图像处理后,接下来,将图像数据记录到闪速存储器41中(S15)。在将图像数据记录到闪速存储器41中后,接下来,判断是否停止动态图像记录(S17)。此处,检测并判断操作部19内的释放按钮的操作状态。在该判断的结果是不停止动态图像记录的情况下,返回步骤S3,继续动态图像拍摄。另一方面,在判断的结果是停止动态图像记录的情况下,结束动态图像拍摄动作。
接下来,使用图6所示的流程图,说明步骤S9中的像素插值处理。另外,在图3A所示的摄像元件中,将1对相位检测像素配置为在倾斜方向排列,但是在本流程中,为了简化说明,配置为对相位检测元件左右任一半进行遮光,相位检测像素在水平方向排列。
此外,在说明本流程时,下述缩写的含义如下所示。
af_pixe1:是相位检测像素的像素值,是已经实施了增益校正的值
pixel_h_1:相位检测像素的左+1的像素值
pixel_h_2:相位检测像素的右+1的像素值
pixel_h_3:相位检测像素的左+2的像素值
pixel_h_4:相位检测像素的右+2的像素值
pixel_h_5:相位检测像素的左+3的像素值
pixel_h_6:相位检测像素的右+3的像素值
pixel_v_1:相位检测像素的上+1的像素值
pixel_v_2:相位检测像素的下+1的像素值
在进入像素插值处理的流程时,首先,进行是否是相位检测像素的判断(S21)。此处,判断从DRAM37读出的摄像数据是否是与相位检测像素对应的数据。如上所述,摄像数据中,共存有不是相位检测用、即与普通像素对应的数据,以及与相位检测像素对应的数据,所以在该步骤中,判断是否是与相位检测像素对应的数据。该判断根据像素位置而进行。
在步骤S21中的判断的结果是相位检测像素的情况下,接下来,计算相位检测像素的左右上下相邻1像素的差分(S23)。此处,变化检测部53计算|pixel_h_1-pixel_h_2以及|pixel_v_1-pixel_v_2|。
接下来,根据差分值,对各方向赋予权重,计算插值像素值(S25)。此处,对|pixel_h_1-pixel_h_2|和|pixel_v_1-pixel_v_2|中值较小的一方赋予权重并相加计算平均。所谓差分绝对值较低,是指判断为要进行插值的像素与该方向的像素的相关性较高,对相关性高的像素赋予权重后进行相加。如此,能够进行维持图像的连续性的插值。
在进行了插值像素值的计算后,接下来,计算相位检测像素的左右±3像素之间的微分值(S27)。此处计算:
(pixel_h_5-pixel_h_3)、
(pixel_h_3-pixel_h_1)、
(pixel_h_1-pixel_h_2)、
(pixel_h_2-pixel_h_4)、
(pixel_h_4-pixel_h_6)。
接下来,在微分值中找出最大值(S29)。此处,在步骤S27中求出的微分值的绝对值中,求出最大值。在找出微分值的最大值后,接下来,计算微分合计值(S31)。此处,对在步骤S27中求出的微分值进行合计。
在计算出微分合计值后,接下来,根据微分最大值进行对相位检测像素应用权重系数的计算(S33)。此处,在步骤S29中求出的微分值的最大值的绝对值,如果在某一定阈值TH的范围内则权重系数较小,另一方面,在一定阈值TH的范围外的情况下,以越接近范围则权重系数越小的方式,计算应用于插值运算的权重系数。上述的步骤S23~S33实现作为检测步骤的功能,该检测步骤对摄像元件21中在焦点检测像素(相位检测像素)的附近存在的像素群的变化梯度、变化量以及变化量的合计值中的任意一项以上进行检测。此处,所谓变化梯度是指与相邻的1像素的差分值。
接下来,根据微分合计值计算相位检测像素应用权重系数(S35)。此处,在步骤S31中求出的微分合计值,如果在某一定阈值th的范围内,则权重系数小,另一方面,在一定阈值th的范围外的情况下,以越接近范围则权重系数越小的方式,计算应用于插值运算的权重系数。上述的步骤S33以及S35,作为决定步骤而发挥作用,该决定步骤根据在步骤S23~S31的检测步骤中检测出的变化梯度、变化量以及变化量的合计值中的任意一项以上的值,决定相位检测像素处的插值像素的应用比例。所谓插值像素的应用比例,是指对相位检测像素的输出值与根据周边而估计的插值像素值进行混合时的权重系数。
在计算出权重系数后,接下来,将相位检测像素的输出值和根据周边而估计的插值像素值乘以该权重系数,相加后进行平均(S37)。此处,对相位检测像素的值以及相位检测像素周围的像素的值,使用在步骤S33中求出的权重系数以及在步骤S35中求出的权重系数,进行插值运算。因此,步骤S37实现作为插值步骤的功能,该插值步骤根据检测步骤的结果对相位检测像素进行插值。在本实施方式中,在步骤S33以及S35中求出的权重系数,成为进行平均以及插值运算时的权重系数。另外,除了求平均值以外,例如,也可以根据对各自的权重系数进行乘法运算等其他的运算来决定权重系数。
这样,在像素插值处理的流程中,观察上下左右的像素的相关值,对相关的像素赋予权重后进行平均化,决定相关像素值。此外,应用插值像素值的比例,根据水平方向的变化梯度(换言之,变化的急剧程度)以及微分合计值(变化的平滑性)来判断。在应用比例的判断中,如果变化梯度接近某一定区间(不急剧但有变化的范围),则相位偏差产生率较高,所以对相位检测像素并不积极地进行插值运算。
此外,在应用比例的判断中,由于微分合计值接近某一定区间(有变化但较平滑的范围),则相位偏差产生率较高,所以对相位检测像素并不积极地进行插值运算。按照求出的每个应用比例,混合插值像素值和相位检测像素(增益校正完成),成为插值像素。
使用图7A、7B以及图8,说明本实施方式中的插值处理的想法。图7A示出相对于对焦状态的高频,相位检测像素周边的摄像元件的输出变化的一例,图7B输出相对于非对焦状态的高频到中频,相位检测像素周边的摄像元件的输出变化的一例。在对焦状态下,如图7A所示,与相邻像素的微分值变高,但是相同方向的微分合计值没有变高。另一方面,在非对焦状态下,如图7B所示,与相邻像素的微分值变低,相同方向的微分合计值变高。
图8是说明对于进行本实施方式中的插值运算时的权重系数,针对各对焦状态而决定权重系数的方法的图。如图8所示,对焦状态分为非对焦(非常模糊)、非对焦、对焦的3个阶段,非对焦检测(A)的程度,通过微分值的合计值来求出,根据该合计值来决定权重系数。此外,高频(B)的程度,通过微分最大值来求出,根据该微分最大值来决定权重系数。此处,将非对焦检测(A)的权重分配为50%,将高频(B)的权重分配为50%,进行相加而决定校正权重(与条件)。
作为加权判断:
A(非对焦检测):|Σ(ni-ni-1)|<TH     (1)
B(高频检测):max{|ni-ni-1|}<th      (2)
此处,关于阈值TH,假定为60%程度的模糊状态的检测,根据程度而改变权重。设定为视觉识别时可知噪声的程度的值即可。此外,关于阈值th,假定为2、3像素程度的高频被摄体的检测,根据程度而改变权重。该阈值th也设定为视觉识别时可知噪声的程度的值即可。
如上所述,在本发明的一个实施方式中,在从摄像元件输出的像素数据中,根据位于相位检测像素附近的像素,检测所拍摄的图像的对比度信息(S23~S31),根据对比度信息,判断是否对相位检测像素的数据进行校正,在判断为进行校正的情况下,决定针对相位检测像素的周边像素的加权(S33~S35)。这样,使用对比度信息,决定进行插值运算时的加权,因此,即使在部分像素发生急剧变化且其他周边像素无偏差的情况下,也能够在进行校正处理时减少图像的劣化。
此外,在本发明的一个实施方式中,具备:摄像元件21,其具有摄像像素群以及焦点检测像素群(相位检测像素群);增益调整部51,其调整焦点检测像素群(相位检测像素群)的增益;变化检测部53,其针对非相位检测像素21a构成的像素群的变化梯度、变化量以及变化量的合计值中的任意一项以上进行检测,其中,所述非相位检测像素21a存在于摄像元件21中相位检测像素21b的周边;像素插值部57,其根据变化检测部53的检测结果对相位检测像素进行插值;插值比例决定部55,其根据通过变化检测部53检测出的变化梯度、变化量以及变化量的合计值中的任意一项以上的值,决定相位检测像素处的插值像素的应用比例。因此,即使在部分像素发生急剧变化且其他周边像素无偏差的情况下,也能够在进行校正处理时减少图像的劣化。
另外,在本发明的一个实施方式中,在决定插值运算的加权时,使用相位检测像素周边的像素的差分相加值以及差分极大值(最大值)双方,即用与条件来求出。但是,即使使用任意1方,虽然会稍微降低性能但是也可以使用。此外,在利用双方的情况下,在本实施方式中,将非对焦检测(A)的权重分配为50%,将高频(B)的权重分配为50%,相加来决定校正权重。但是,该比例当然可以进行适当地变更。
此外,在本发明的一个实施方式中,在选择动态图像拍摄时,进行相位检测像素的校正。这是因为,在进行动态图像拍摄时,在屡屡从非对焦状态转变为对焦状态的过程中,相位偏差由于所述的遮光部件21c的影响而变得明显,所以进行相位检测像素的校正。但是,并非限定于此,在进行静态图像拍摄时,在非对焦状态下进行拍摄则相位偏差明显,所以也可以进行相位检测像素的校正。
此外,在本发明的一个实施方式中,相位检测像素与相邻像素的差分运算在±3像素以内进行,但是并非限定于此。酌情考虑相位检测像素间隔、运算处理时间、期望的精度等,设定为适当的设计值即可。此外,运算范围可以不固定于±3像素,而根据散焦量等改变运算范围。
此外,在本发明的一个实施方式中,作为用于拍摄的设备,使用数字照相机进行了说明,但是作为照相机,也可以是数字单反照相机、便携数字照相机、摄像机、电影摄影机的这样的动态图像用照相机,此外,也可以是移动电话、智能手机和便携信息终端(PDA:Personal Digital Assist)、游戏设备等中内置的照相机。无论如何,只要是在摄像元件的部分设置有相位检测像素的摄像装置,就可以应用本发明。
此外,关于权利要求书、说明书、以及附图中的动作流程,为了方便使用“首先”、“接下来”等表现顺序的词汇进行了说明,但是并不意味着一定要以该顺序来实施。
本发明并不限定于上述实施方式原样,在实施阶段,在不脱离其主旨的范围内,可对结构要素进行变形、具体化。此外,通过适当组合上述实施方式所公开的多个结构要素,能够形成各种发明。例如,也可以去除实施方式所示的全部结构要素中的几个结构要素。还可以适当组合不同的实施方式之间的结构要素。

Claims (9)

1.一种摄像装置,其包括:
摄像元件,其在部分像素中设置有用于焦点检测的相位检测像素;
对比度信息检测部,其根据从所述摄像元件输出的像素数据中位于所述相位检测像素附近的像素,检测所拍摄的图像的对比度信息;
相位像素校正判断部,其根据所述检测出的对比度信息,判断是否对所述相位检测像素的数据进行校正;
加权决定部,其在所述相位像素校正判断部判断为对相位检测像素进行校正的情况下,决定针对所述相位检测像素的附近像素的加权;
像素校正部,其根据所述决定的加权,对所述相位检测像素进行加权校正;以及
颜色转换处理部,其在所述像素校正之后对,进行用于显示所述像素数据或使所述像素数据成为记录用图像的颜色转换处理。
2.根据权利要求1所述的摄像装置,其中,
所述对比度信息检测部进行从所述摄像元件输出的像素数据中所述相位检测像素与附近像素的差分运算、合计运算中的任意1种以上的运算,检测所述对比度信息,
所述相位像素校正判断部基于所述检测出的对比度信息,根据是否是某特定的范围内的对比度,判断是否对所述相位检测像素的数据进行校正,
所述加权决定部在所述相位像素校正判断部判断为对相位检测像素进行校正的情况下,根据所述对比度信息,决定针对所述相位检测像素的附近像素的加权。
3.根据权利要求1所述的撮像装置,其中,
所述对比度信息检测部检测所述相位检测像素附近的像素的差分相加值和差分最大值作为对比度信息。
4.根据权利要求1所述的摄像装置,其中,
所述加权决定部根据作为对比度信息检测出的对比度的变化梯度以及变化量,决定针对所述相位检测像素附近的对象像素的加权。
5.根据权利要求1所述的摄像装置,其中,
所述加权决定部在变化梯度较小的情况下,使插值像素的应用比例小于变化梯度较大的情况。
6.根据权利要求1所述的摄像装置,其中,
在用于所述相位检测像素的校正的附近像素中,不包含其他相位检测像素。
7.根据权利要求1所述的摄像装置,其中,
所述摄像装置还具有选择静态图像拍摄和动态图像拍摄的拍摄选择部,
所述相位检测像素的校正在选择了动态图像拍摄的情况下进行。
8.一种摄像装置,其包括:
摄像元件,其在部分像素中设置有用于焦点检测的相位检测像素;
对比度信息检测部,其根据从所述摄像元件输出的像素数据中位于所述相位检测像素附近的像素,检测所拍摄的图像的对比度信息;
加权决定部,其根据所述检测出的对比度信息,决定针对所述相位检测像素的附近像素的加权;
像素校正部,其根据所述决定的加权,对所述相位检测像素进行加权校正;以及
颜色转换处理部,其在所述像素校正之后,进行用于显示所述像素数据或使所述像素数据成为记录用图像的颜色转换处理。
9.一种摄像装置的控制方法,该摄像装置具有摄像像素群以及相位检测像素群,所述控制方法包括:
调整步骤,调整所述相位检测像素群的增益;
检测步骤,检测摄像元件中在相位检测像素附近存在的像素群的变化梯度、变化量以及变化量的合计值中的任意一项以上;
决定步骤,根据在所述检测步骤中检测出的变化梯度、变化量以及变化量的合计值中的任意一项以上的值,决定所述相位检测像素处的插值像素的应用比例;以及
插值步骤,根据所述决定步骤的结果,对所述相位检测像素进行插值。
CN201210447573.XA 2011-11-11 2012-11-09 摄像装置以及摄像装置的控制方法 Active CN103108193B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-247209 2011-11-11
JP2011247209A JP5888940B2 (ja) 2011-11-11 2011-11-11 撮像装置、撮像装置の制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN103108193A true CN103108193A (zh) 2013-05-15
CN103108193B CN103108193B (zh) 2015-08-19

Family

ID=48280284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210447573.XA Active CN103108193B (zh) 2011-11-11 2012-11-09 摄像装置以及摄像装置的控制方法

Country Status (3)

Country Link
US (1) US9118828B2 (zh)
JP (1) JP5888940B2 (zh)
CN (1) CN103108193B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
CN105745923B (zh) * 2014-07-02 2017-06-30 奥林巴斯株式会社 摄像装置及图像处理方法
WO2017117743A1 (zh) * 2016-01-06 2017-07-13 华为技术有限公司 处理图像的方法和设备
CN107454310A (zh) * 2016-05-31 2017-12-08 佳能株式会社 摄像设备及其控制方法及存储介质
CN107736020A (zh) * 2016-05-23 2018-02-23 奥林巴斯株式会社 摄像装置、图像处理装置、图像处理方法和图像处理程序

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191566B2 (en) * 2012-03-30 2015-11-17 Samsung Electronics Co., Ltd. Image pickup apparatus, method for image pickup and computer-readable recording medium
CN104285435B (zh) * 2012-05-10 2016-09-28 富士胶片株式会社 摄像装置及信号校正方法
JP6186900B2 (ja) * 2013-06-04 2017-08-30 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
JP5775918B2 (ja) * 2013-09-27 2015-09-09 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム
JP6305006B2 (ja) * 2013-10-18 2018-04-04 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
KR20150077646A (ko) 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
JP6176168B2 (ja) * 2014-03-26 2017-08-09 ソニー株式会社 伝送装置および伝送方法、受信装置および受信方法、伝送システム、並びにプログラム
JP6483354B2 (ja) * 2014-06-05 2019-03-13 オリンパス株式会社 撮像装置および撮像方法
US10148864B2 (en) * 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
WO2017022283A1 (ja) * 2015-07-31 2017-02-09 ソニー株式会社 撮像装置、撮像方法、及びプログラム
JP6622945B2 (ja) * 2017-03-30 2019-12-18 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
KR20220051881A (ko) * 2020-10-19 2022-04-27 삼성전자주식회사 비닝 모드에서의 아티팩트를 개선하는 이미지 센서
KR20220122008A (ko) * 2021-02-26 2022-09-02 삼성전자주식회사 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
CN113497934A (zh) * 2021-05-17 2021-10-12 南京威派视半导体技术有限公司 一种图像传感器坏点检测及校正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237512A1 (en) * 2006-04-11 2007-10-11 Nikon Corporation Imaging device, camera and image processing method
CN101075073A (zh) * 2006-05-16 2007-11-21 奥林巴斯映像株式会社 数字照相机和照相机系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing
JP4857877B2 (ja) * 2006-04-11 2012-01-18 株式会社ニコン 撮像装置およびカメラ
JP4823167B2 (ja) * 2007-08-10 2011-11-24 キヤノン株式会社 撮像装置
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5029274B2 (ja) * 2007-10-10 2012-09-19 株式会社ニコン 撮像装置
CN101468958B (zh) * 2008-08-26 2012-05-02 上海阳帆医药科技有限公司 乙二胺衍生物
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5662667B2 (ja) * 2009-10-08 2015-02-04 キヤノン株式会社 撮像装置
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
JP2011197080A (ja) * 2010-03-17 2011-10-06 Olympus Corp 撮像装置及びカメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237512A1 (en) * 2006-04-11 2007-10-11 Nikon Corporation Imaging device, camera and image processing method
CN101075073A (zh) * 2006-05-16 2007-11-21 奥林巴斯映像株式会社 数字照相机和照相机系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
CN105745923B (zh) * 2014-07-02 2017-06-30 奥林巴斯株式会社 摄像装置及图像处理方法
WO2017117743A1 (zh) * 2016-01-06 2017-07-13 华为技术有限公司 处理图像的方法和设备
CN107736020A (zh) * 2016-05-23 2018-02-23 奥林巴斯株式会社 摄像装置、图像处理装置、图像处理方法和图像处理程序
CN107736020B (zh) * 2016-05-23 2019-03-26 奥林巴斯株式会社 摄像装置、图像处理装置、图像处理方法和图像处理程序
CN107454310A (zh) * 2016-05-31 2017-12-08 佳能株式会社 摄像设备及其控制方法及存储介质
CN107454310B (zh) * 2016-05-31 2020-07-21 佳能株式会社 摄像设备及其控制方法及存储介质
US10827111B2 (en) 2016-05-31 2020-11-03 Canon Kabushiki Kaisha Imaging apparatus having settable focus detection areas and method for controlling the same

Also Published As

Publication number Publication date
US9118828B2 (en) 2015-08-25
JP5888940B2 (ja) 2016-03-22
CN103108193B (zh) 2015-08-19
JP2013106124A (ja) 2013-05-30
US20130120609A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
CN103108193B (zh) 摄像装置以及摄像装置的控制方法
JP5371331B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP5853594B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9247227B2 (en) Correction of the stereoscopic effect of multiple images for stereoscope view
US8537267B2 (en) Image processing apparatus, image processing method and program
JP5491677B2 (ja) 撮像装置及びその合焦制御方法
US8976289B2 (en) Imaging device
JP5468177B2 (ja) 撮像装置及びその合焦制御方法
CN104285436B (zh) 摄像装置和摄像装置的控制方法
US9258545B2 (en) Stereoscopic imaging apparatus
US20130222553A1 (en) Image pickup device and image pickup apparatus
US9369693B2 (en) Stereoscopic imaging device and shading correction method
JP5680797B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP2020053771A (ja) 画像処理装置、撮像装置
US9503661B2 (en) Imaging apparatus and image processing method
JP6748477B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2013160991A (ja) 撮像装置
US9749520B2 (en) Imaging device and image processing method
CN106412419A (zh) 摄像设备及其控制方法
JP2012103285A (ja) 焦点検出装置およびその制御方法
JP2016096389A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2014063190A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151214

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Patentee before: Olympus Imaging Corp.