CN104380168B - 摄像装置及自动调焦方法 - Google Patents
摄像装置及自动调焦方法 Download PDFInfo
- Publication number
- CN104380168B CN104380168B CN201380032618.XA CN201380032618A CN104380168B CN 104380168 B CN104380168 B CN 104380168B CN 201380032618 A CN201380032618 A CN 201380032618A CN 104380168 B CN104380168 B CN 104380168B
- Authority
- CN
- China
- Prior art keywords
- pixel
- phase
- output signal
- potential difference
- phase potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 34
- 239000000203 mixture Substances 0.000 claims abstract description 101
- 238000003384 imaging method Methods 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims description 126
- 230000003287 optical effect Effects 0.000 claims description 85
- 210000003128 head Anatomy 0.000 claims description 74
- 238000010586 diagram Methods 0.000 claims description 30
- 238000005096 rolling process Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000004069 differentiation Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 239000003086 colorant Substances 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Color Television Image Signal Generators (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明能够利用来自相邻的R像素的、具有角度依赖性的混色,在被摄体颜色较红的情况下,使用第一B像素、第二B像素作为相位差像素,并基于第一B像素、第二B像素的输出信号而精度良好地进行相位差AF。另外,不必设置被摄体颜色较红的情况下的专用的相位差像素而使用摄像元件的通常的B像素来检测相位差,因此不牺牲分辨率。
Description
技术领域
本发明涉及摄像装置及自动调焦方法,特别是涉及检测所拍摄的信号的相位差而自动地进行调焦的摄像装置及自动调焦方法。
背景技术
以往,已知有如下的自动调焦(相位差AF):在摄像元件的一部分设置第一、第二相位差像素,检测第一、第二相位差像素的输出信号的相位差,基于所检测出的相位差对聚焦透镜的焦点位置进行调节。
当在摄像元件的一部分设置第一、第二相位差像素时,存在受到来自与第一、第二相位差像素相邻的不同颜色的其他像素的串扰的影响、焦点检测精度降低这样的问题。
为了解决该问题,专利文献1记载的焦点检测装置根据周围的像素的输出信号对第一、第二相位差像素的输出信号进行校正,并基于校正后的信号来检测相位差。
另一方面,当与相位差像素相邻的像素饱和时,产生未准确地进行串扰校正、焦点检测结果产生误差这样的其他问题。
为了解决该问题,专利文献2记载的摄像装置对相位差像素的周围的像素是否饱和进行判定,并根据该判定结果对串扰校正进行切换。
专利文献1:日本特开2009-122524号公报
专利文献2:日本特开2011-257565号公报
发明内容
发明所要解决的课题
专利文献1记载的相位差像素是具有将RGB的各像素的分光灵敏度特性相加而成那样的分光灵敏度特性的白像素,专利文献2记载的相位差像素是G像素,存在如下问题:即使对这些相位差像素的输出信号进行串扰校正,在非常红的被摄体、色温较低的情况下,也不能得到用于精度良好地检测相位差所需的信号输出,不能进行精度良好的相位差AF。
另外,专利文献1、2记载的摄像元件均具有在红(R)、绿(G)、蓝(B)像素中使G像素呈棋盘状配置、使R像素、B像素交替地线状依次配置的所谓的拜尔排列的滤色器,R像素和B像素未以最小间距相邻地配置,在R像素与B像素之间不产生被称作混色的电荷的混合(串扰)。
本发明鉴于这种情况而提出,其目的在于提供即使在非常红的被摄体、色温较低的情况下也能够精度良好地进行相位差AF的摄像装置及自动调焦方法。
用于解决课题的手段
为了实现上述目的,本发明的一方式所涉及的摄像装置具备:摄影透镜;摄像元件,至少包含红(R)像素、绿(G)像素、蓝(B)像素和对通过了摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与R像素中的第二R像素在与第一方向相反的第二方向上相邻的第二B像素;判别部,基于设定于摄像元件的焦点检测区域的输出信号来判别焦点检测区域中的被摄体颜色是否为红色;相位差检测部,当由判别部判别为焦点检测区域中的被摄体颜色不是红色时,基于焦点检测区域内的第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差,当由判别部判别为焦点检测区域中的被摄体颜色是红色时,基于焦点检测区域内的第一B像素、第二B像素的各输出信号来检测各输出信号的相位差;及调焦部,基于由相位差检测部检测出的相位差,对摄影透镜的焦点位置进行调节。
本发明的一方式所涉及的摄像元件包含R像素、G像素、B像素、第一相位差像素、第二相位差像素,并具有与第一R像素、第二R像素在第一方向、第二方向上分别以最小间距相邻的B像素(第一B像素、第二B像素)。判别摄像元件的预先设定的焦点检测区域中的被摄体颜色是否为红色,当判别为被摄体颜色不是红色时,基于焦点检测区域内的第一相位差像素、第二相位差像素的各输出信号来检测相位差。另一方面,当判别为焦点检测区域中的被摄体颜色是红色时,基于焦点检测区域内的第一B像素、第二B像素的各输出信号来检测相位差。
在非常红的被摄体、色温较低的情况下(被摄体反射色偏向长波长的情况下),来自R像素的具有角度依赖性的混色和第一相位差像素、第二相位差像素自身的角度依赖性混合,不能基于第一相位差像素、第二相位差像素的输出信号来精度良好地进行相位差AF。另一方面,在非常红的被摄体、色温较低的情况下,就第一B像素、第二B像素而言,来自相邻的R像素的具有角度依赖性的混色变多,特别是在被摄体颜色较红的情况下,来自R像素的混色成分变多,有时混色成分超出像素本来的输出。本发明能够利用来自相邻的R像素的、具有角度依赖性的混色,在被摄体颜色较红的情况下,使用第一B像素、第二B像素作为相位差像素,并基于第一B像素、第二B像素的输出信号来精度良好地进行相位差AF。另外,不必设置被摄体颜色较红的情况下的专用的相位差像素,使用摄像元件的通常的B像素来检测相位差,因此不牺牲分辨率。
在本发明的其他方式所涉及的摄像装置中,优选为,判别部算出摄像元件的预先设定的焦点检测区域的R像素的输出信号的累计值与G像素的输出信号的累计值的比,将所算出的比与预先设定的阈值进行比较而判别焦点检测区域中的被摄体颜色为红色。
在被摄体颜色较红的情况下,与R像素的输出相比G像素的输出变小,其结果为,R像素的输出信号的累计值与G像素的输出信号的累计的比较大地变化。因此,通过将比与预先设定的阈值进行比较,能够判别焦点检测区域中的被摄体颜色是否为红色。另外,能够通过试验等求算基于第一B像素、第二B像素的输出信号的相位差AF的精度比基于第一相位差像素、第二相位差像素的输出信号的相位差AF的精度变高时的比,将此时的比设为阈值。
在本发明的又一其他方式所涉及的摄像装置中,优选为,第一相位差像素、第二相位差像素分别是配置有G滤光片或无色的滤光片的像素。这是因为:配置有G滤光片或无色的滤光片的像素的输出信号与其他颜色的像素的输出信号相比对亮度信号贡献较大,适合于相位差AF。
在本发明的又一其他方式所涉及的摄像装置中,优选为,第一B像素和第二B像素在第一方向的一行上交替地排列,相位差检测部基于在第一方向的第一行上排列的第一B像素的输出信号和在与第一行邻近的第二行上配置的第二B像素的输出信号来检测第一相位差,基于在第一方向的第一行上排列的第二B像素的输出信号和在第二行上配置的第一B像素的输出信号来检测第二相位差,对检测出的第一相位差、第二相位差进行平均而检测相位差。由此,即使第一行上的第一B像素、第二B像素和第二行上的第一B像素、第二B像素相对偏离,也能够不受其影响地检测相位差。
在本发明的又一其他方式所涉及的摄像装置中,优选为,第一相位差像素和第二相位差像素在第一方向的一行上交替地排列,相位差检测部基于在第一方向的第三行上排列的第一相位差像素的输出信号和在与第三行邻近的第四行上配置的第二相位差像素的输出信号来检测第三相位差,基于在第一方向的第三行上排列的第二相位差像素的输出信号和在第四行上配置的第一相位差像素的输出信号来检测第四相位差,对检测出的第三相位差、第四相位差进行平均而检测相位差。由此,即使第三行上的第一相位差、第二相位差像素和第二行上的第一相位差、第二相位差像素相对偏离,也能够不受其影响地检测相位差。
在本发明的又一其他方式所涉及的摄像装置中,优选为,具备:滚动读出部,对应摄像元件的每一行依次读出信号;及机械快门,遮断向摄像元件入射的光,相位差检测部基于在机械快门打开的状态下由滚动读出部连续地读出的信号而连续地检测相位差。由此,即使不使用机械快门也能够不受滚动读出的影响地检测相位差,特别是能够进行动画时的相位差AF,并且即使在静止画面时也能够使相位差AF高速化。
在本发明的其他方式所涉及的摄像装置中,优选为,具备散焦量计算部,该散焦量计算部基于由相位差检测部检测出的相位差和从周边像素向第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率,求算摄影透镜的散焦量,调焦部使摄影透镜移动至由散焦量计算部求出的散焦量成为零的位置。散焦量计算部可以利用混色率对表示无混色情况下的相位差与散焦量的关系的关系式进行校正,利用所检测出的相位差和校正后的关系式来求算散焦量,也可以对应每个混色率具有表示相位差与散焦量的关系的表,基于所检测出的相位差和混色率而从表中读出所对应的散焦量。
在本发明的其他方式所涉及的摄像装置中,优选为,相位差检测部基于从周边像素向第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率和周边像素的输出信号,对第一相位差像素、第二相位差像素的至少一方的相位差像素的输出信号进行校正,基于校正后的第一相位差像素、第二相位差像素的输出信号来检测相位差。在被摄体颜色并非非常红的情况下,基于第一相位差像素、第二相位差像素的输出信号来检测相位差,但是即使在该情况下,第一相位差像素、第二相位差像素的至少一方的相位差像素也受到来自周边像素的混色的影响。因此,对第一相位差像素、第二相位差像素的至少一方的相位差像素的输出信号进行除去混色成分的校正,并基于校正后的第一相位差像素、第二相位差像素的输出信号来检测相位差。
在本发明的其他方式所涉及的摄像装置中,在第一相位差像素、第二相位差像素中的任一方的相位差像素的第一方向上相邻地配置R像素,来自周边像素的混色率是从R像素向在第一方向上相邻地配置有R像素的相位差像素的混色率。
在本发明的又一其他方式所涉及的摄像装置中,优选为,相位差检测部基于第一B像素的输出信号与第二B像素的输出信号的比来求算来自周边像素的混色率。
在本发明的又一其他方式所涉及的摄像装置中,优选为,摄像元件在第一方向、第二方向上具有第一B像素、第二B像素,且在与第一方向、第二方向垂直的第三方向、第四方向上具有第一B像素、第二B像素,相位差检测部基于第一方向、第二方向上的第一B像素、第二B像素或第三方向、第四方向上的第一B像素、第二B像素的输出信号来检测相位差。
在本发明的又一其他方式所涉及的摄像装置中,优选为,第一方向、第二方向是水平地摆放摄像装置主体时的左右方向,该摄像装置具备检测是横拍摄影还是竖拍摄影的纵横检测部,当由纵横检测部检测出横拍摄影时,相位差检测部基于第一方向、第二方向上的第一B像素、第二B像素的输出信号来检测相位差,当由纵横检测部检测出竖拍摄影时,相位差检测部基于第三方向、第四方向上的第一B像素、第二B像素的输出信号来检测相位差。
第一B像素、第二B像素在摄像元件的整个区域上配置,存在于第一方向、第二方向和与第一方向、第二方向垂直的第三方向、第四方向上。根据是横拍摄影还是竖拍摄影,而基于第一方向、第二方向上的第一B像素、第二B像素的输出信号或第三方向、第四方向上的第一B像素、第二B像素的输出信号来检测相位差,从而能够不论横拍摄影还是竖拍摄影,都进行相同精度的相位差AF。
在本发明的又一其他方式所涉及的摄像装置中,优选为,摄像元件在第一方向、第二方向和与第一方向、第二方向垂直的第三方向、第四方向上具有与6×6像素对应的滤色器的基本排列图案,基本排列图案在第一方向、第二方向和第三方向、第四方向上反复配置,基本排列图案是将第一排列和第二排列分别配置于对角位置而构成的,该第一排列与3×3像素对应,在中心和4角配置有G滤光片,隔着中心的G滤光片上下配置有B滤光片,左右排列有R滤光片,该第二排列与3×3像素对应,在中心和4角配置有G滤光片,隔着中心的G滤光片上下配置有R滤光片,左右排列有B滤光片,摄像元件的焦点检测区域的第一排列、第二排列的4角之一的具有G滤光片的像素分别作为第一相位差像素、第二相位差像素而构成。第一相位差像素、第二相位差像素可以配置于摄像元件的整个区域,也可以仅配置于特定的区域。另外,在将第一相位差像素、第二相位差像素配置于摄像元件的整个区域的情况下,也能够在整个区域中的任意的位置设定焦点检测区域,将所设定的焦点检测区域内的第一相位差像素、第二相位差像素的输出信号用于相位差的检测。
本发明的又一其他方式所涉及的摄像装置具备:摄影透镜;摄像元件,至少包含红(R)像素、绿(G)像素、蓝(B)像素和对通过了摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与R像素中的第二R像素在与第一方向相反的第二方向上相邻的第二B像素,第一相位差像素、第二相位差像素中的至少一方的相位差像素在第一方向或者第二方向上相邻地配置R像素;相位差检测部,基于设定于摄像元件的焦点检测区域内的第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差;及调焦部,基于由相位差检测部输出的相位差,对摄影透镜的焦点位置进行调节,相位差检测部基于第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算从周边像素向第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率,且基于所求出的混色率和周边像素的输出信号而对第一相位差像素、第二相位差像素的至少一方的相位差像素的输出信号进行校正。
在本发明的又一其他方式所涉及的摄像装置中,优选为,具备判别部,该判别部基于焦点检测区域的输出信号来判别焦点检测区域中的被摄体颜色是否为红色,当由判别部判别为焦点检测区域中的被摄体颜色为红色时,相位差检测部根据第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算来自周边像素的混色率,相位差检测部基于混色率和周边像素的输出信号而对第一相位差像素、第二相位差像素的至少一方的相位差像素的输出信号进行校正,基于进行了校正的第一相位差像素、第二相位差像素的输出信号来检测相位差。
本发明的又一其他方式所涉及的摄像装置具备:摄影透镜;摄像元件,至少包含红(R)像素、绿(G)像素、蓝(B)像素和对通过了摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与R像素中的第二R像素在与第一方向相反的第二方向上相邻的第二B像素,第一相位差像素、第二相位差像素中的至少一方的相位差像素在第一方向或者第二方向上相邻地配置R像素;相位差检测部,基于设定于摄像元件的焦点检测区域内的第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差;散焦量计算部,基于由相位差检测部检测出的相位差和从周边像素向第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率来求算摄影透镜的散焦量;及调焦部,使摄影透镜移动至由散焦量计算部求出的散焦量成为零的位置,相位差检测部基于第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算来自周边像素的混色率。
在本发明的又一其他方式所涉及的摄像装置中,优选为,具备判别部,该判别部基于焦点检测区域的输出信号来判别焦点检测区域中的被摄体颜色是否为红色,当由判别部判别为焦点检测区域中的被摄体颜色是红色时,相位差检测部根据第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算来自周边像素的混色率,散焦量计算部基于由相位差检测部检测出的相位差和来自周边像素的混色率来求算摄影透镜的散焦量。
本发明的又一其他方式所涉及的自动调焦方法包括:信号获取工序,从摄像元件取得输出信号,该摄像元件至少包含红(R)像素、绿(G)像素、蓝(B)像素和对通过了摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与R像素中的第二R像素在与第一方向相反的第二方向上相邻的第二B像素;判别工序,基于由信号获取工序所取得的输出信号中的、设定于摄像元件的焦点检测区域的输出信号,判别焦点检测区域中的被摄体颜色是否为红色;相位差检测工序,当由判别工序判别为焦点检测区域中的被摄体颜色不是红色时,基于焦点检测区域内的第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差,当由判别工序判别为焦点检测区域中的被摄体颜色是红色时,基于焦点检测区域内的第一B像素、第二B像素的各输出信号来检测各输出信号的相位差;及调焦工序,基于由相位差检测工序检测出的相位差而对摄影透镜的焦点位置进行调节。
发明效果
根据本发明,即使在非常红的被摄体、色温较低的情况下也能够使用通常的B像素的输出信号而精度良好地进行相位差AF。
附图说明
图1是对本发明所涉及的摄像装置的实施方式进行表示的立体图。
图2是图1所示的摄像装置的后视图。
图3是对图1所示的摄像装置的内部结构的实施方式进行表示的框图。
图4是对配置于摄像元件的新型的滤色器排列进行表示的图。
图5是表示将图4所示的基本排列图案四等分分割成3×3像素的状态的图。
图6A是对摄像元件内的第一、第二相位差像素的配置和能够作为相位差像素而使用的B像素的配置进行表示的图。
图6B是对摄像元件内的第一、第二相位差像素的配置和能够作为相位差像素而使用的B像素的配置进行表示的其他图。
图7A是对相位差像素的结构例进行表示的图。
图7B是对相位差像素的结构例进行表示的其他图。
图8A是为了对能够作为相位差像素而使用的B像素进行说明而使用的图。
图8B是为了对能够作为相位差像素而使用的B像素进行说明而使用的其他图。
图9是对本发明所涉及的自动调焦方法进行表示的流程图。
图10是对摄像元件的摄像区域和AF区域进行表示的图。
图11是为了对根据AF区域内的像素的信号来判别被摄体颜色的方法进行说明而使用的图。
图12是对作为相位差像素而使用的B像素的配置进行表示的图。
图13是对第一、第二相位差像素的配置进行表示的图。
图14是对相位差与散焦量的关系式的一例进行表示的图表。
图15是对配置于摄像元件的滤色器排列的其他实施方式进行表示的图。
图16是关于将图15所示的基本排列图案以3×3像素分割为4部分后的状态进行了表示的图。
图17是作为摄像装置的其他实施方式的智能手机的外观图。
图18是对智能手机的主要部分结构进行表示的框图。
具体实施方式
以下,根据附图,对本发明所涉及的摄像装置及自动调焦方法的优选实施方式进行详细说明。
[摄像装置]
图1和图2分别是对本发明所涉及的摄像装置的实施方式进行表示的立体图和后视图。该摄像装置10是由摄像元件对通过了透镜的光进行接受、转换为数字信号并记录于记录介质的数码相机。
如图1所示,摄像装置10在其正面配置有摄影透镜(摄影光学系统)12、闪光灯1等,在上表面配置有快门按钮2、电源/模式开关3、模式拨盘4等。另一方面,如图2所示,在相机背面配置有3D显示用的液晶显示器30、变焦按钮5、十字按钮6、菜单/确定按钮7、重放按钮8、返回按钮9等。
摄影透镜12由伸缩式的变焦透镜构成,通过利用电源/模式开关3将相机的模式设定为摄影模式而从相机主体伸出。闪光灯1朝向主要被摄体照射闪光。
快门按钮2利用由所谓的“半按压”和“全按压”构成的2级行程式的开关构成。摄像装置10在以摄影模式进行驱动时,通过该快门按钮2被“半按压”而使AE/AF动作,通过该快门按钮2被“全按压”而执行摄影。另外,摄像装置10在以摄影模式进行驱动时,通过该快门按钮2被“全按压”而执行摄影。
电源/模式开关3兼具作为使摄像装置10的电源接通/断开的电源开关的功能和作为对摄像装置10的模式进行设定的模式开关的功能,配置成在“断开位置”、“重放位置”和“摄影位置”之间滑动自如。摄像装置10通过使电源/模式开关3滑动并与“重放位置”或“摄影位置”一致而使电源接通,通过使电源/模式开关3滑动并与“断开位置”一致而使电源断开。并且,通过使电源/模式开关3滑动并与“重放位置”一致而设定为“重放模式”,通过使电源/模式开关3滑动并与“摄影位置”一致而设定为“摄影模式”。
模式拨盘4作为对摄像装置10的摄影模式进行设定的摄影模式设定单元而发挥功能,利用该模式拨盘的设定位置,将摄像装置10的摄影模式设定为各种各样的模式。例如,进行静止画面摄影的“静止画面摄影模式”、进行动画摄影的“动画摄影模式”等。
液晶显示器30进行摄影模式时的即时预览图像(实时取景图像)的显示、重放模式时的静止画面或动画的显示,并且通过进行菜单画面的显示等来作为图形使用者界面(GUI)的一部分而发挥作用。
变焦按钮5作为对变焦进行指示的变焦指示单元而发挥功能,由对向远摄侧的变焦进行指示的长焦按钮5T和对向广角侧的变焦进行指示的广角按钮5W构成。摄像装置10在摄影模式时,通过对该远摄按钮5T和广角按钮5W进行操作,而使摄影透镜12的焦距变化。另外,在重放模式时,通过对该远摄按钮5T和广角按钮5W进行操作,而使重放中的图像放大、缩小。
十字按钮6是输入上下左右这4方向的指示的操作部,作为从菜单画面选择项目或根据各菜单来指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。左/右键作为重放模式时的画面进给(正方向/逆方向进给)按钮而发挥功能。
菜单/确定按钮7是兼具作为用于进行在液晶显示器30的画面上显示菜单的指令的菜单按钮的功能和作为对选择内容的确定和执行等进行指令的确定按钮的功能的操作键。
重放按钮8是用于切换为重放模式的按钮,该重放模式将所摄影记录的静止图像或动画显示于液晶显示器30。
返回按钮9作为对输入操作的取消、返回到前一个操作状态进行指示的按钮而发挥功能。
[摄像装置的内部结构]
图3是对上述摄像装置10的内部结构的实施方式进行表示的框图。该摄像装置10将所拍摄的图像记录于存储卡54,装置整体的动作由中央处理装置(CPU)40统一控制。
在摄像装置10设有快门按钮、模式拨盘、重放按钮、菜单/确定键、十字键、变焦按钮、返回键等的操作部38。来自该操作部38的信号向CPU40输入,CPU40基于输入信号对摄像装置10的各电路进行控制,例如,进行图像传感器的驱动控制、透镜驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/重放控制、液晶显示器30的显示控制等。
当利用电源/模式开关3将摄像装置10的电源接通时,从未图示的电源部向各模块送电,开始摄像装置10的驱动。
通过了摄影透镜12、光圈14、机械快门(机械性快门)15等后的光束成像于作为CMOS(ComplementaryMetal-OxideSemiconductor:互补金属氧化物半导体)型的彩色图像传感器的摄像元件16。另外,摄像元件16不限于CMOS型,也可以是XY地址型或CCD(ChargeCoupledDevice:电荷耦合元件)型的彩色图像传感器。
摄像元件16中,多个受光元件(光电二极管)呈二维排列,在各光电二极管的受光面上成像的被摄体图像被转换为与其入射光量相应的量的信号电压(或者电荷),并经由摄像元件16内的A/D转换器转换为数字信号而输出。
<摄像元件的实施方式>
图4是对上述摄像元件16的实施方式进行表示的图,特别是关于摄像元件16的受光面上配置的新型的滤色器排列进行表示。
该摄像元件16的滤色器排列包含与M×N(6×6)像素对应的基本排列图案P(由粗框表示的图案),该基本排列图案P在水平方向和垂直方向上反复配置。即,该滤色器排列具有周期性地排列有红(R)、绿(G)、蓝(B)的各色的滤光片(R滤光片、G滤光片、B滤光片)。如此具有周期性地排列有R滤光片、G滤光片、B滤光片,因此在进行从摄像元件16读出的RGB的RAW数据(马赛克图像)的图像处理等时,能够根据重复图案而进行处理。
图4所示的滤色器排列中,与为了得到亮度信号而贡献最大的颜色(在本实施方式中,为G色)对应的G滤光片在滤色器排列的水平、垂直、斜右上和斜左上方向的各行内配置有1个以上。
由于与亮度系像素对应的G滤光片配置于滤色器排列的水平、垂直、斜右上和斜左上方向的各行内,因此不论成为高频的方向都能够提高高频区域处的去马赛克处理的再现精度。在此,“去马赛克处理”是指,从与单板式的彩色摄像元件的滤色器排列相伴的RGB的马赛克图像,对应每个像素算出(转换为去马赛克算法式)RGB的全部的颜色信息的处理,也称作去马赛克处理或去马赛克算法处理(在本说明书中相同)。
另外,图4所示的滤色器排列中,与上述G色以外的两种颜色以上的其他颜色(在本实施方式中,为R、B色)对应的R滤光片、B滤光片分别在基本排列图案P的水平和垂直方向的各行内配置有一个以上。
由于R滤光片、B滤光片配置于滤色器排列的水平和垂直方向的各行内,因此能够降低伪色(颜色莫尔条纹)的产生。由此,能够省略用于降低(抑制)伪色的产生的光学低通滤光片。另外,即使在适用光学低通滤光片的情况下也能够适用用于防止伪色的产生的将高频成分截止的功能较弱的结构,能够避免损坏分辨率。
此外,图4所示的滤色器排列的基本排列图案P中,与该基本排列图案内的R、G、B滤光片对应的R像素、G像素、B像素的像素数量分别成为8像素、20像素、8像素。即,RGB像素的各像素数量的比率成为2:5:2,为了得到亮度信号而贡献最大的G像素的像素数量的比率比其他颜色的R像素、B像素的像素数量的比率大。
如上所述,G像素的像素数量和R、B像素的像素数量的比率不同,特别是使为了得到亮度信号而贡献最大的G像素的像素数量的比率比R、B像素的像素数量的比率变大,因此能够抑制去马赛克处理时的混淆,并且也能够改善高频再现性。
图5表示将图4所示的基本排列图案P四等分分割成3×3像素的状态。
如图5所示,也能够理解为,基本排列图案P成为由实线的框围成的3×3像素的A排列和由虚线的框围成的3×3像素的B排列在水平、垂直方向上交替地排列而成的排列。
A排列和B排列中,分别将G滤光片配置于4角和中央,配置于两对角线上。另外,A排列中,隔着中央的G滤光片而在水平方向上排列有R滤光片,在垂直方向上排列有B滤光片,另一方面,B排列中,隔着中央的G滤光片而在水平方向上排列有B滤光片,在垂直方向上排列有R滤光片。即,A排列和B排列的R滤光片和B滤光片的位置关系颠倒,但是其他配置相同。
另外,A排列和B排列的4角的G滤光片通过A排列和B排列在水平、垂直方向上交替地配置而成为与2×2像素对应的正方形排列的G滤光片。
图6A和图6B分别是与从和图4所示的基本排列图案P不同的位置切出的6×6像素对应的其他基本排列图案P’。
如图6A所示,在本实施方式中,A排列的4角的G滤光片中的左上和左下的G滤光片的位置的像素分别作为第一相位差像素p1和第二相位差像素p2而构成,B排列的4角的G滤光片中的左上和左下的G滤光片的位置的像素分别作为第二相位差像素p2和第一相位差像素p1而构成。
图7A和图7B是分别对第一相位差像素p1和第二相位差像素p2的结构进行表示的主要部分放大图。
如图7A所示,在第一相位差像素p1的光电二极管PD的前表面侧(微透镜L侧)配置遮光构件16A,另一方面,如图7B所示,在第二相位差像素p2的光电二极管PD的前表面侧配置遮光构件16B。微透镜L和遮光构件16A、16B具有作为光瞳分割单元的功能,如图7A所示,遮光构件16A对光电二极管PD的受光面的左一半进行遮光。因此,在第一相位差像素p1中,仅通过摄影透镜12的出射光瞳的光束的光轴的左侧进行受光。另外,如图7B所示,遮光构件16B对第二相位差像素p2的光电二极管PD的受光面的右一半进行遮光。因此,在第二相位差像素p2中,仅通过摄影透镜12的出射光瞳的光束的光轴的右侧进行受光。如此,利用作为光瞳分割单元的微透镜L和遮光构件16A、16B,将通过出射光瞳的光束左右分割,而分别向第一相位差像素p1和第二相位差像素p2入射。
另外,如图6B所示,该摄像元件16的滤色器排列中,隔着A排列的中央的G滤光片而在水平方向上排列R滤光片,另一方面,隔着B排列的中央的G滤光片而在水平方向上排列B滤光片,因此配置有R滤光片的像素(R像素)和配置有B滤光片的像素(B像素p3~p6)在水平方向上以最小间距相邻。此外,在图6B上,B像素p3、p5在R像素的左方向相邻,B像素p4、p6在R像素的右方向相邻。在此,当设B像素p3、p5为第一B像素时,B像素p4、p6成为第二B像素。
图8A和图8B是对在水平方向(左右方向)上排列有R、B、G像素的各像素的内部结构进行表示的图。
如图8A所示,当使R光(被摄体反射颜色偏向长波长的被检体光、非常红的被摄体、色温较低的情况下的光)从左方向入射时,通过来自在左侧相邻的R像素的、具有角度依赖性的混色,R光向B像素入射而蓄积信号电荷。另一方面,如图8B所示,当从右方向入射R光时,B像素在右侧与G像素相邻,因此不产生来自R像素的、具有角度依赖性的混色,信号电荷不被蓄积,或者即使产生混色,量也非常少。
因此,当在图6B上从右方向入射R光时,图6B所示的在R像素的左方向相邻的B像素p3、p5通过来自R像素的、具有角度依赖性的混色而蓄积信号电荷,另一方面,当在图6B上从左方向入射R光时,在R像素的右方向相邻的B像素p4、p6通过来自R像素的、具有角度依赖性的混色而蓄积信号电荷。即,B像素p3、p5和B像素p4、p6,相对于R光作为第一、第二相位差像素而发挥功能。
返回到图3,传感器驱动部(滚动读出部)32是对来自摄像元件16的数字信号(图像信号)的读出进行管理的部分,从摄像元件16对应每一行依次读出图像信号。
关于CMOS图像传感器中的读出方式,已知从上方对应每一行进行依次复位、依次读出的成为滚动快门方式的方式。该滚动快门方式对应每一行而曝光时刻存在时间差,因此在移动的被摄体的情况下,存在被摄体的图像失真的问题。因此,在静止画面摄影时,利用快门驱动部33对机械快门15进行开闭控制(控制曝光时间)而避免产生由滚动快门引起的失真。
从摄像元件16读出的图像信号(R、G、B信号)向图像输入控制器22输出。
数字信号处理部24对经由图像输入控制器22输入的数字的图像信号,进行偏移处理、白平衡校正、伽玛校正处理、去马赛克处理、YC处理等信号处理。
由数字信号处理部24处理后的图像数据向VRAM50输入。VRAM50包含分别对表示1画面量的图像的图像数据进行记录的A区域和B区域。在VRAM50中,表示1画面量的图像的图像数据在A区域和B区域中被交替地重写。从VRAM50的A区域和B区域中的重写有图像数据的一方的区域以外的区域读出所写入的图像数据。
从VRAM50读出的图像数据在视频编码器28中被编码,并向设于相机背面的液晶显示器30输出,由此,被摄体图像连续地显示于液晶显示器30的显示画面上。
当存在操作部38的快门按钮2的第一阶段的按下(半按压)时,CPU40进行控制,使得开始AF动作和AE(自动曝光)动作,经由透镜驱动部36使摄影透镜12内的聚焦透镜沿光轴方向移动,并使聚焦透镜到达对焦位置。
AF处理部(相位差检测部)42是进行本发明所涉及的相位差AF处理的部分,使用图6A所示的第一相位差像素p1、第二相位差像素p2的各输出信号来检测相位差,或者使用图6B所示的B像素p3、p5、B像素p4、p6的各输出信号来检测相位差。另外,对于由AF处理部42进行的相位差检测的详细内容,留作后述。
CPU40根据来自变焦按钮5的变焦指令而经由透镜驱动部36使变焦透镜沿光轴方向进行进退动作,而使焦距变更。
另外,在半按压快门按钮2时从摄像元件16输出的图像数据被读入到AE检测部44。
在AE检测部44中,对画面整体的G信号进行累计,或对在画面中央部和周边部附加了不同的权重后的G信号进行累计,并将其累计值向CPU40输出。CPU40利用从AE检测部44输入的累计值来算出被摄体的亮度(摄影Ev值),并基于该摄影EV值,按照程序线图来确定光圈14的F值和机械快门15的曝光时间(快门速度)。
另外,在动画摄影时,松开机械快门15,从摄像元件16连续地读出图像数据,与上述同样地算出被摄体的亮度,利用传感器驱动部32来控制快门速度(滚动快门的电荷蓄积时间)。
另外,47是存储有相机控制程序、摄像元件16的缺陷信息、图像处理等中使用的各种的参数、表等的ROM(EEPROM)。
当利用快门按钮2的半按压而使AE动作和AF动作结束且存在快门按钮的第二阶段的按下(全按压)时,响应于该按下而将从摄像元件16输出的图像数据从图像输入控制器22向存储器(SDRAM)48输入,并临时存储。
临时存储于存储器48的图像数据由数字信号处理部24适当读出,在此,进行偏移处理、白平衡校正、包含灵敏度校正的增益/控制处理、伽玛校正处理、去马赛克处理、边缘增强的图像处理和包含YC处理(图像数据的亮度数据和色差数据的生成处理)的信号处理,被YC处理后的图像数据(YC数据)再次被存储于存储器48。
存储于存储器48的YC数据向压缩扩展处理部26输出,执行JPEG(jointphotographicexpertsgroup:联合图像专家组)等的压缩处理后,再次存储于存储器48。根据存储于存储器48的YC数据(压缩数据)来生成图像文件,该图像文件由介质控制器52读出,并记录于存储卡54。
[相位差AF处理]
图9是对本发明所涉及的自动调焦方法进行表示的流程图。
当在相位差像素中产生混色时,不能准确地检测相位差并准确地使焦点对齐。入射光的波长越长,越容易向相邻像素泄漏,而越容易产生混色,因此首先对被摄体是否为非常红的被摄体或者色温是否较低进行判定。
在图9中,AF处理部42(判别部)首先取得如图10所示设定于摄像区域内的AF区域中包含的与相位差像素相邻的RGB像素的输出信号(R信号、G信号、B信号)(步骤S10)。
图11的(a)表示图10所示的AF区域的一部分的像素组。从该AF区域分别提取相同数目的RGB像素。在图11的(b)所示的例子中,分别按照颜色各提取8像素的RGB像素。将所提取的RGB像素的输出信号按照颜色进行累计,算出累计值(ΣG)、(ΣB)、(ΣR)。
接下来,在图9中,算出累计值(ΣR)与累计值(ΣG)的比(ΣR/ΣG),对比(ΣR/ΣG)是否是预先设定的阈值以上进行判别(步骤S12)。在AF区域的被摄体为非常红的被摄体、色温较低的情况下,比(ΣR/ΣG)变大,比(ΣR/ΣG)成为上述阈值以上,判定为AF区域的被摄体颜色为红色(或者色温较低)。
在此,上述阈值例如能够以如下方式进行设定。向无彩色的被摄体照射色度从白到红逐渐变化的照明光,对应每个色度取得摄像元件16的AF区域内的像素的输出信号。对利用对应每个色度取得的输出信号中的第一相位差像素p1和第二相位差像素p2的各输出信号而求出的相位差与利用在R光下能够作为相位差像素而使用的B像素p3、p5和B像素p4、p6的各输出信号而求出的相位差进行比较,求算利用B像素p3、p5和B像素p4、p6的各输出信号而求出的相位差与利用第一相位差像素p1和第二相位差像素p2的各输出信号而求出的相位差相比精度首次变高时的照明(色度)下的比(ΣR/ΣG),并将该比(ΣR/ΣG)设为阈值。优选为,预先在制品出厂前的调整时对应每个摄像装置求出该阈值,并存储于ROM47。
返回到图9,当在步骤S12中判别为比(ΣR/ΣG)是阈值以上(“是”的情况)时,AF处理部42利用AF区域内的B像素p3、p5和B像素p4、p6的各输出信号来检测相位差(步骤S14)。
由AF处理部42进行的相位差的检测以如下方式进行。如图12所示,在水平行La(第一行)的行方向上交替地配置有B像素p3和B像素p6,同样地,在从水平行La起3行下方的水平行Lb(第二行)的行方向上交替地配置有B像素p4和B像素p5。基于水平行La、Lb之间的纵向一对B像素p3、p4的各输出信号来检测第一相位差。即,根据在B像素p3和B像素p4的纵向一对B像素的输出信号的相关性成为最大时(纵向一对B像素的各输出信号的差的绝对值的累计值成为最小时)的各输出信号之间的左右方向上的移位量,求算第一相位差。同样地,根据在B像素p5和B像素p6的纵向一对B像素的输出信号的相关性成为最大时的各输出信号之间的左右方向上的移位量,求算第二相位差。并且,通过对如此求出的第一、第二相位差进行相加平均,而检测相位差。
如图12所示,纵向一对B像素p3和B像素p4中,B像素p4相对于B像素p3配置于向右方向偏离了1像素间距的位置,另一方面,纵向一对B像素p5和B像素p6中,B像素p5相对于B像素p6配置于向左方向偏离了1像素间距的位置,但是如上所述地求算第一、第二相位差,并对所求出的第一、第二相位差进行相加平均,从而能够算出将纵向一对B像素的左右方向上的偏离抵消后的、精度较高的相位差。另外,水平行La、Lb之间在垂直方向上分离了3像素量,但是能够避免产生由水平行La、Lb之间的距离引起的相位差的检测误差。
接下来,根据所检测出的相位差,算出摄影透镜12的焦点位置与摄像元件16的成像面之间的偏离量(散焦量)(步骤S16)。所算出的散焦量从AF处理部(散焦量计算部)42向CPU(调焦部)40输出。另外,相位差与散焦量的关系能够由一定的关系式表示,因此能够通过检测相位差而根据关系式算出散焦量。
当从AF处理部42输入散焦量时,CPU40以该散焦量成为零的方式经由透镜驱动部(调焦部)36使摄影透镜12内的聚焦透镜移动(步骤S18)。
由此,能够以聚焦透镜的焦点与AF区域内的被摄体对齐的方式进行调焦(焦点位置的调节)。
另一方面,当在步骤S12中判别为比(ΣR/ΣG)小于阈值(“否”的情况)时,AF处理部42利用AF区域内的第一相位差像素p1和第二相位差像素p2的各输出信号来检测相位差(步骤S20)。另外,在本实施方式中,第一相位差像素p1和第二相位差像素p2分别分配于G像素(参照图6A),但是也可以将第一相位差像素p1和第二相位差像素p2的像素的滤光片设为无色(白色或灰色)。
与步骤S14中的相位差检测同样地进行基于第一相位差像素p1和第二相位差像素p2的各输出信号的相位差检测。即,在如图13所示在水平行Lc(第三行)的行方向上以一定间隔交替地配置的第一相位差像素p1、第二相位差像素p2和在水平行Ld(第四行)的行方向上以一定间隔交替地配置的第二相位差像素p2、第一相位差像素p1中,基于水平行Lc、Ld之间的纵向一对第一相位差像素p1、第二相位差像素p2的各输出信号来检测第一相位差,基于与纵向一对第一相位差像素p1、第二相位差像素p2的上下关系相反的纵向一对第二相位差像素p2、第一相位差像素p1的各输出信号来检测第二相位差,并对第一、第二相位差进行相加平均,从而算出相位差。
然而,由于适用了在动画摄影时松开机械快门15且对应每一行进行依次复位、依次读出的滚动快门方式,因此对应每行而曝光时刻产生时间差,由于被摄体的移动等而产生被摄体图像的失真(滚动失真)。因此,在滚动快门方式的情况下,有时水平行Lc上的行图像和水平行Ld上的行图像相对地沿左右方向偏离。
然而,如上所述,对利用纵向一对第一相位差像素p1、第二相位差像素p2的各输出信号而检测出的第一相位差和利用纵向一对第二相位差像素p2、第一相位差像素p1的各输出信号而检测出的第二相位差进行相加平均,而检测相位差,因此能够检测将行图像的相对的偏离的影响抵消后的、精度良好的相位差。
由此,能够在松开了机械快门15的状态下(不使用机械快门15),使用以滚动快门方式读出的图像信号而检测相位差,能够进行动画摄影时的对焦,并且在静止画面摄影时也能够使对焦高速化。
接下来,求算AF区域内的R像素在右侧相邻的B像素(图12上的B像素p3、p5)的输出信号和R像素在左侧相邻的B像素(图12上的B像素p4、p6)的输出信号的比,根据该比来求算R像素在左侧相邻的第二相位差像素p2的来自R像素的混色率。算出利用所求出的混色率和步骤S20中检测出的相位差来进行校正后的散焦量(步骤S22)。另外,根据R像素在右侧相邻的B像素的输出信号和R像素在左侧相邻的B像素的输出信号的比来求出混色率,但是不限于此,也可以基于一方的B像素的输出信号来算出混色率。
另外,不限于上述混色率的计算方法,也可以预先存储来自与第二相位差像素p2相邻的R像素的混色率,利用该混色率和R像素的输出信号来算出混色量,并利用该混色量和相位差来算出散焦量。另外,混色量不限于来自R像素的混色量,可以将来自在上下左右相邻的其他颜色的像素的混色量分别相加而进行计算,也可以算出相对于第一相位差像素p1的混色量。
当如图14所示将对没有混色的情况下的相位差与散焦量的关系进行表示的关系式设为a时,关系式a由于混色而发生变化。例如,从关系式a变化为关系式b。因此,根据混色率而变更关系式,对散焦量进行校正。在图4所示的例子中,在检测出的相位差为x时,在没有混色的情况下,利用关系式a算出散焦量y,但是即使在检测出相同的相位差x的情况下也产生混色,当变化为关系式b时,算出散焦量y’。
另外,由于混色所影响的范围并不广,因此通过算出来自并非在所有方向上而是在以像素的最小间距相邻的、在水平方向和垂直方向上相邻的像素的混色率,能够提高处理效率。
当如此算出散焦量时,过渡到步骤S18,在此进行与散焦量相应的聚焦透镜的驱动控制。
动画摄影时的相位差AF反复进行步骤S10、S12、S14、S16和S18的处理或步骤S10、S12、S20、S22和S18的处理。
另外,在上述的实施方式中,根据混色率而变更关系式,但是也可以预先准备用于以混色率和相位差作为参数而读出散焦量的三维查找表,根据该三维查找表来读出散焦量。
[其他实施方式]
在上述的实施方式中,基于所检测出的相位差和混色率来算出散焦量,但是也可以算出向第二相位差像素p2或向第一相位差像素p1、第二相位差像素p2的来自周边像素的混色量,并减去根据第二相位差像素p2的输出信号或根据第一相位差像素p1、第二相位差像素p2的各输出信号而算出的混色量,取得没有混色的输出信号。在该情况下,能够根据图14的关系式a来算出散焦量。
另外,图10所示的AF区域设定为摄像区域中央部的长方形区域,但是由于B像素配置于摄像区域整体,因此在摄像区域内的任一位置设定AF区域也能够进行基于B像素的相位差AF。另外,图10所示的AF区域在水平地构筑摄像装置主体时成为在水平方向(左右方向:第一、第二方向)上较长的AF区域,但是也可以设为在垂直方向(上下方向:第三、第四方向)上较长的AF区域。例如,优选为,设置检测是横拍摄影还是垂直摄影的重力传感器(纵横检测部)等,当由纵横检测部检测出水平摄影时,基于在水平方向上较长的AF区域内的B像素的输出信号来检测相位差,当由纵横检测部检测出垂直摄影时,基于在垂直方向上较长的AF区域(相对于纵向构筑的摄像装置主体而言在水平方向上较长的AF区域)的B像素的输出信号来检测相位差。另外,在将相位差像素配置于摄像区域整面的情况下,与基于上述B像素的相位差检测同样地,即使将摄像区域内的任一位置设定为AF区域,也能够进行相位差检测。
另外,适用于本发明的摄像元件不限于具有图1所示的滤色器排列,只要R像素和B像素以最小间距相邻,且具有与R像素(第一R像素)在第一方向(左方向)相邻的B像素和与与不同于第一R像素第二R像素在与第一方向相反的第二方向(右方向)相邻的B像素的排列,则可以是任何排列。
另外,在上述实施方式中,判定被摄体颜色是否为红色或者色温是否较低,在判定为被摄体颜色为红色的情况下,使用来自第一B像素(B像素p3、p5)和第二B像素(B像素p4、p6)的输出信号来检测相位差,但是也可以替代此,而在判定为被摄体颜色为红色的情况下,根据来自B像素p3、p5(第一B像素)的输出信号来求算来自与该B像素在水平方向右侧相邻的R像素的混色率,并使用所求出的混色率,求算向同样地在水平方向右侧与R像素相邻的相位差像素p2的混色率。
入射光的波长越长,越容易向相邻像素泄漏,越容易产生混色,但是在被摄体颜色较红或者色温较低的情况下,几乎没有通过B像素上的蓝滤光片的光,几乎为来自相邻的R像素的混色成分,因此能够通过使用与R像素相邻配置的B像素的输出信号而高精度地算出混色率。这是在R像素和B像素在水平方向或者垂直方向上仅与G像素相邻的以往的通常的拜尔排列中不能实现的结构,是有效利用了滤色器排列的特征的结构。
另外,优选为,将来自在R像素所相邻的水平方向(第一方向或者第二方向)以外的方向相邻的其他颜色的像素的混色的影响也去除。例如,在图12中,相位差像素p2朝向附图在右侧与R像素相邻,但是除此之外,也可以在左侧与G像素相邻,在上侧与G像素相邻,在下侧与B像素相邻,从这些水平方向、垂直方向上的相邻像素也受到混色的影响,因此优选为将来自这些相邻像素混色的影响也去除。在该情况下,能够根据B像素p3或者p5的输出信号来求算其混色率而设为相位差像素p2的混色率,但是即使在该情况下,也能够相对于以往通常的拜尔排列以更高精度求算其混色率。即,在拜尔排列中,与R像素在水平方向、垂直方向上相邻的像素仅是G像素,考虑到根据该G像素的输出信号来求算混色率,但是由于该G像素在水平方向或者垂直方向上与2个R像素相邻,从R像素向G像素、从G像素向R像素在这双方产生混色而混合存在,因此在G像素中难以精度良好地算出来自周边像素的混色率,但是,如本发明那样,通过在B像素中算出来自周边的混色率,由于波长较短而从B像素向周围的像素的混色(光的泄漏)非常少,未混合有混色,因此能够精度良好地算出来自周边像素的混色成分。
另外,上述特征和效果即使在不进行被摄体颜色是否为红色或者色温是否较低的判定的情况下也能够得到。即,有效利用滤色器排列的特征和混色所影响的范围不广且来自以最小像素间距相邻的像素的混色的影响为主导这一情况,根据来自以最小像素间距相邻的B像素的输出信号来求算来自相邻的R像素的混色率,并设为与R像素相邻的相位差像素的混色率,从而能够精度良好地算出向相位差像素的混色率。
另外,滤色器排列不限于图4、5、6、12所示的排列,也可以是图15和图16所示那样的排列。
图15所示的滤色器排列包含由与6×6像素对应的正方排列图案构成的基本排列图案(由粗框表示的图案),该基本排列图案在水平和垂直方向上反复配置。即,该滤色器排列具有周期性地排列有R、G、B各色的滤光片(R滤光片、G滤光片、B滤光片)。
图16关于将图15所示的基本排列图案以3×3像素分割为4部分后的状态进行表示。
如图16所示,也能够理解为,基本排列图案成为由实线的框围成的3×3像素的A排列和由虚线的框围成的3×3像素的B排列在水平、垂直方向上交替地排列而成的排列。
A排列中,在中心配置有R滤光片,在4角配置有B滤光片,隔着中心的R滤光片而在上下左右配置有G滤光片。另一方面,B排列中,在中心配置有B滤光片,在4角配置有R滤光片,隔着中心的B滤光片而在上下左右配置有G滤光片。这些A排列和B排列中,R滤光片和B滤光片的位置关系颠倒,但是其他配置相同。
如图16所示,第一相位差像素p1配置于A排列的与在R滤光片的右侧相邻的G滤光片对应的像素位置,第二相位差像素p2配置于B排列的与在B滤光片的右侧相邻的滤光片对应的像素位置。
另外,如图16所示,关于基本排列图案的中央部的4像素,相邻而配置RB像素和BR像素,且在这些4像素的4边相邻有G像素。
因此,在具备了具有图15和图16所示的滤色器排列的摄像元件的摄像装置中,在非常红的被摄体、色温较低的情况下,也能够替代第一、第二相位差像素,使用通常的B像素的输出信号而精度良好进行相位差AF。
即,作为适用了本发明的摄像元件,不限于上述的实施方式,只要配置了第一、第二相位差像素,且具有与R像素(第一R像素)以最小间距相邻的第一方向(左方向)的B像素(第一B像素)和与不同于第一R像素的R像素(第二R像素)在与第一方向不同的第二方向(右方向)相邻的B像素(第二B像素),则可以是任一摄像元件。
作为摄像装置10的其他实施方式,例如能够列举具有相机功能的移动电话、智能手机、PDA(PersonalDigitalAssistants:个人数字助理)、便携式游戏机。以下,列举智能手机为例,参照附图详细地进行说明。
<智能手机的结构>
图17是对作为摄像装置10的其他实施方式的智能手机500的外观进行表示的图。图17所示的智能手机500具有平板状的壳体502,并在壳体502的一个面具备显示输入部520,该显示输入部520是作为显示部的显示面板521和作为输入部的操作面板522成为一体而成的。另外,壳体502具备扬声器531、麦克风532、操作部540和相机部541。另外,壳体502的结构不限于此,例如,也能够采用显示部和输入部独立而成的结构,或具有折叠构造、滑动机构的结构。
图18是对图17所示的智能手机500的结构进行表示的框图。如图18所示,作为智能手机的主要的结构要素,具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(GlobalPositioningSystem:全球定位系统)接收部570、运动传感器部580、电源部590和主控制部501。另外,作为智能手机500的主要的功能,具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的指示,对收纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信,进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是通过主控制部501的控制来显示图像(静止画面和动画)、文字信息等而视觉地向使用者传递信息并且检测对所显示的信息进行的使用者操作的所谓的触摸面板,具备显示面板521和操作面板522。优选为,在欣赏所生成的3D图像的情况下,显示面板521是3D显示面板。
显示面板521使用LCD(LiquidCrystalDisplay:液晶显示器)、OELD(OrganicElectro-LuminescenceDisplay:有机发光显示器)等作为显示设备。操作面板522是载置成能够目视确认在显示面板521的显示面上显示的图像并检测由使用者的手指、尖笔操作的一个或多个坐标的设备。当利用使用者的手指、尖笔对该装置进行操作时,将由于操作而产生的检测信号向主控制部501输出。接下来,主控制部501基于所接收的检测信号,检测显示面板521上的操作位置(坐标)。
如图17所示,智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520,但是成为操作面板522完全覆盖显示面板521那样的配置。在采用了该配置的情况下,操作面板522也可以具备对于显示面板521以外的区域也检测使用者操作的功能。换言之,操作面板522也可以具备对于与显示面板521重叠的重叠部分的检测区域(以下,称作显示区域)和对于除此以外的未与显示面板521重叠的外边缘部分的检测区域(以下,称作非显示区域)。
另外,也可以使显示区域的大小和显示面板521的大小完全一致,但是也没有必要必须使两者一致。另外,操作面板522也可以具备外边缘部分和除此以外的内侧部分这2个感应区域。此外,外边缘部分的宽度根据壳体502的大小等而适当设计。此外,作为在操作面板522所采用的位置检测方式,列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等,也能够采用其中任一种方式。
通话部530具备扬声器531和麦克风532,将通过麦克风532输入的使用者的声音转换为能够由主控制部501处理的声音数据而向主控制部501输出,或者对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外,如图17所示,例如,能够将扬声器531搭载于与设有显示输入部520的面相同的面,并将麦克风532搭载于壳体502的侧面。
操作部540是使用了键开关等的硬件键,接收来自使用者的指示。例如,如图28所示,操作部540是如下的按钮式开关:搭载在智能手机500的壳体502的显示部的下部、下侧面,当利用手指等按下时接通,当松开手指时通过弹簧等的回复力而成为断开状态。
存储部550存储主控制部501的控制程序、控制数据、与通信对方的名称、电话号码等建立对应而成的地址数据、所收发的电子邮件的数据、利用Web浏览下载到的Web数据、所下载的内容数据,另外临时存储流数据等。另外,存储部550由智能手机内置的内部存储部551和装拆自如的具有外部存储器插槽的外部存储部552构成。另外,构成存储部550的各个内部存储部551和外部存储部552使用闪存式(flashmemorytype)、硬盘式(harddisktype)、微型多媒体卡式(multimediacardmicrotype)、卡式存储器(例如,MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory:随机存取存储器)、ROM(ReadOnlyMemory:只读存储器)等存储介质而实现。
外部输入输出部560起到与连接于智能手机500的全部的外部设备的接口的作用,用于通过通信等(例如,通用串行总线(USB)、IEEE1394等)或网络(例如,互联网、无线LAN、蓝牙Bluetooth(注册商标)、RFID(RadioFrequencyIdentification:无线射频识别)、红外线通信(InfraredDataAssociation(红外数据协会):IrDA)(注册商标)、UWB(UltraWideband:超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而与其他外部设备直接或间接地连接。
作为与智能手机500连接的外部设备,例如有:有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard:客户识别模块卡)/UIM(UserIdentityModuleCard:用户识别模块卡)卡、经由音频/视频I/O(Input/Output:输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收传送后的数据向智能手机500的内部的各结构要素传递,并将智能手机500的内部的数据向外部设备传送。
GPS接收部570根据主控制部501的指示,接收从GPS卫星ST1~STn发送的GPS信号,执行基于所接收的多个GPS信号的测位运算处理,检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时,也能够使用该位置信息来检测位置。
运动传感器部580例如具备三轴加速度传感器等,根据主控制部501的指示来检测智能手机500的物理性移动。通过检测智能手机500的物理性移动,检测智能手机500移动的方向、加速度。该检测结果向主控制部501输出。
电源部590根据主控制部501的指示,向智能手机500的各部供给存储于蓄电池(未图示)的电力。
主控制部501具备微处理器,根据存储部550所存储的控制程序、控制数据而动作,并统一控制智能手机500的各部。另外,主控制部501为了通过无线通信部510进行声音通信、数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过使主控制部501根据存储部550所存储的应用软件进行动作而实现。作为应用处理功能,例如有:控制外部输入输出部560而与相对设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览网页的Web浏览功能和根据本发明所涉及的2D图像来生成3D图像的功能等。
另外,主控制部501具备基于接收数据、下载到的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部520的图像处理功能等。图像处理功能是指,主控制部501对上述图像数据进行解码,对该解码结果实施图像处理,而将图像显示于显示输入部520的功能。
此外,主控制部501执行对显示面板521的显示控制和检测通过操作部540、操作面板522进行的使用者操作的操作检测控制。
通过执行显示控制,主控制部501显示用于启动应用软件的图标、滚动条等软件键,或显示用于生产电子邮件的窗口。另外,滚动条是指,用于对于没有完全收纳于显示面板521的显示区域的大小的图像等接收使图像的显示部分移动的指示的软件键。
另外,通过执行操作检测控制,主控制部501检测通过操作部540进行的使用者操作,或者通过操作面板522接收对上述图标的操作、对上述窗口的输入栏的字符串的输入,或者接收通过滚动条进行的显示图像的滚动要求。
此外,通过执行操作检测控制,主控制部501具备如下的触摸面板控制功能:判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的未与显示面板521重叠的外边缘部分(非显示区域),并控制操作面板522的感应区域、软件键的显示位置。
另外,主控制部501也能够检测对操作面板522的手势操作,根据所检测出的手势操作,执行预先设定的功能。手势操作并非以往的单纯的触摸操作,而是指利用手指等描绘轨迹、或对多个位置同时进行指定、或将这些组合而从多个位置对至少一个位置描绘轨迹的操作。
相机部541是使用CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)、CCD(Charge-CoupledDevice:电荷耦合元件)等摄像元件来进行电子摄影的数码相机,具备与图3的框图所示的功能等同的功能。另外,相机部541能够通过主控制部501的控制,将通过摄像得到的图像数据转换为例如JPEG(JointPhotographiccodingExpertsGroup:联合图像专家组)等压缩后的图像数据,并记录于存储部550,或通过外部输入输出部560、无线通信部510而输出。在图17所示的智能手机500中,相机部541搭载于与显示输入部520相同的面,但是相机部541的搭载位置不限于此,也可以搭载在显示输入部520的背面,或搭载多个相机部541。另外,在搭载有多个相机部541的情况下,也能够对用于摄影的相机部541进行切换而单独地进行摄影,或同时使用多个相机部541而进行摄影。
另外,相机部541能够用于智能手机500的各种功能。例如,能够在显示面板521显示由相机部541取得的图像、作为操作面板522的操作输入之一而利用相机部541的图像。另外,在GPS接收部570检测位置时,也能够参照来自相机部541的图像来检测位置。此外,也能够参照来自相机部541的图像,不使用三轴加速度传感器或与三轴加速度传感器并用,而判断智能手机500的相机部541的光轴方向、判断当前的使用环境。当然,也能够在应用软件内利用来自相机部541的图像。
除此之外,也能够在静止画面或动画的图像数据附加由GPS接收部570取得的位置信息、由麦克风532取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580取得的姿势信息等等而记录于存储部550,或者通过外部输入输出部560、无线通信部510而输出。
[其他]
在本实施方式中,根据焦点检测区域的R像素的输出信号的累计值(ΣR)与G像素的输出信号的累计值(ΣG)的比(ΣR/ΣG)是否为预先设定的阈值以上,而进行焦点检测区域中的被摄体颜色是否为红色的判别,但是不限于此,也可以基于焦点检测区域的R像素的输出信号的累计平均值、G像素的输出信号的累计平均值和R像素的输出信号的累计平均值,根据焦点检测区域的平均的颜色是否属于颜色空间内的R的区域等而进行判别。
另外,本发明不限于上述的实施方式,在不脱离本发明的宗旨的范围内能够进行各种的变形,这是不言而喻的。
附图标记说明
10…摄像装置、12…摄影透镜、14…光圈、15…机械快门、16…摄像元件、24…数字信号处理部、30…液晶显示器、32…传感器驱动部、33…快门驱动部、34…光圈驱动部、36…透镜驱动部、40…中央处理装置(CPU)、42…AF处理部、47…ROM(EEPROM)、48…存储器、500…智能手机
Claims (18)
1.一种摄像装置,具备:
摄影透镜;
摄像元件,至少包含红像素即R像素、绿像素即G像素、蓝像素即B像素和对通过了所述摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与所述R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与所述R像素中的第二R像素在与所述第一方向相反的第二方向上相邻的第二B像素;
判别部,基于设定于所述摄像元件的焦点检测区域的输出信号来判别所述焦点检测区域中的被摄体颜色是否为红色;
相位差检测部,当由所述判别部判别为所述焦点检测区域中的被摄体颜色不是红色时,基于所述焦点检测区域内的所述第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差,当由所述判别部判别为所述焦点检测区域中的被摄体颜色是红色时,基于所述焦点检测区域内的所述第一B像素、第二B像素的各输出信号来检测各输出信号的相位差;及
调焦部,基于由所述相位差检测部检测出的相位差,对所述摄影透镜的焦点位置进行调节。
2.根据权利要求1所述的摄像装置,其中,
所述判别部算出所述摄像元件的预先设定的焦点检测区域的R像素的输出信号的累计值与G像素的输出信号的累计值的比,将所算出的所述比与预先设定的阈值进行比较而判别所述焦点检测区域中的被摄体颜色为红色。
3.根据权利要求1或2所述的摄像装置,其中,
所述第一相位差像素、第二相位差像素分别是配置有G滤光片或无色的滤光片的像素。
4.根据权利要求1或2所述的摄像装置,其中,
所述第一B像素和第二B像素在所述第一方向的一行上交替地排列,
所述相位差检测部基于在所述第一方向的第一行上排列的所述第一B像素的输出信号和在与所述第一行邻近的第二行上配置的第二B像素的输出信号来检测第一相位差,基于在所述第一方向的第一行上排列的所述第二B像素的输出信号和在所述第二行上配置的第一B像素的输出信号来检测第二相位差,对检测出的所述第一相位差、第二相位差进行平均而检测所述相位差。
5.根据权利要求1或2所述的摄像装置,其中,
所述第一相位差像素和第二相位差像素在所述第一方向的一行上交替地排列,
所述相位差检测部基于在所述第一方向的第三行上排列的所述第一相位差像素的输出信号和在与所述第三行邻近的第四行上配置的第二相位差像素的输出信号来检测第三相位差,基于在所述第一方向的第三行上排列的所述第二相位差像素的输出信号和在所述第四行上配置的第一相位差像素的输出信号来检测第四相位差,对检测出的所述第三相位差、第四相位差进行平均而检测所述相位差。
6.根据权利要求4所述的摄像装置,其中,具备:
滚动读出部,对应所述摄像元件的每一行依次读出信号;及
机械快门,遮断向所述摄像元件入射的光,
所述相位差检测部基于在所述机械快门打开的状态下由所述滚动读出部连续地读出的信号而连续地检测相位差。
7.根据权利要求1或2所述的摄像装置,其中,
具备散焦量计算部,所述散焦量计算部基于由所述相位差检测部检测出的相位差和从周边像素向所述第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率,求算所述摄影透镜的散焦量,
所述调焦部使所述摄影透镜移动至由所述散焦量计算部求出的散焦量成为零的位置。
8.根据权利要求1或2所述的摄像装置,其中,
所述相位差检测部基于从周边像素向所述第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率和周边像素的输出信号,对所述第一相位差像素、第二相位差像素的至少一方的相位差像素的输出信号进行校正,基于校正后的第一相位差像素、第二相位差像素的输出信号来检测所述相位差。
9.根据权利要求7所述的摄像装置,其中,
在所述第一相位差像素、第二相位差像素中的任一方的相位差像素的所述第一方向上相邻地配置R像素,
来自所述周边像素的混色率是从R像素向在所述第一方向上相邻地配置有R像素的相位差像素的混色率。
10.根据权利要求9所述的摄像装置,其中,
所述相位差检测部基于所述第一B像素的输出信号与第二B像素的输出信号的比来求算来自所述周边像素的混色率。
11.根据权利要求1或2所述的摄像装置,其中,
所述摄像元件在所述第一方向、第二方向上具有第一B像素、第二B像素,且在与所述第一方向、第二方向垂直的第三方向、第四方向上具有所述第一B像素、第二B像素,
所述相位差检测部基于所述第一方向、第二方向上的第一B像素、第二B像素或第三方向、第四方向上的第一B像素、第二B像素的输出信号来检测相位差。
12.根据权利要求11所述的摄像装置,其中,
所述第一方向、第二方向是水平地摆放摄像装置主体时的左右方向,
所述摄像装置具备检测是横拍摄影还是竖拍摄影的纵横检测部,
当由所述纵横检测部检测出横拍摄影时,所述相位差检测部基于所述第一方向、第二方向上的第一B像素、第二B像素的输出信号来检测相位差,
当由所述纵横检测部检测出竖拍摄影时,所述相位差检测部基于所述第三方向、第四方向上的第一B像素、第二B像素的输出信号来检测相位差。
13.根据权利要求1或2所述的摄像装置,其中,
所述摄像元件在所述第一方向、第二方向和与第一方向、第二方向垂直的第三方向、第四方向上具有与6×6像素对应的滤色器的基本排列图案,该基本排列图案在所述第一方向、第二方向和第三方向、第四方向上反复配置,
所述基本排列图案是将第一排列和第二排列分别配置于对角位置而构成的,所述第一排列与3×3像素对应,在中心和4角配置有G滤光片,隔着中心的G滤光片上下配置有B滤光片,左右排列有R滤光片,所述第二排列与3×3像素对应,在中心和4角配置有G滤光片,隔着中心的G滤光片上下配置有R滤光片,左右排列有B滤光片,
所述摄像元件的焦点检测区域的所述第一排列、第二排列的4角之一的具有G滤光片的像素分别构成为所述第一相位差像素、第二相位差像素。
14.一种摄像装置,具备:
摄影透镜;
摄像元件,至少包含红像素即R像素、绿像素即G像素、蓝像素即B像素和对通过了所述摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与所述R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与所述R像素中的第二R像素在与所述第一方向相反的第二方向上相邻的第二B像素,所述第一相位差像素、第二相位差像素中的至少一方的相位差像素在所述第一方向或者第二方向上相邻地配置R像素;
相位差检测部,基于设定于所述摄像元件的焦点检测区域内的所述第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差;及
调焦部,基于由所述相位差检测部输出的相位差,对所述摄影透镜的焦点位置进行调节,
所述相位差检测部基于所述第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算从周边像素向所述第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率,且基于所求出的所述混色率和所述周边像素的输出信号而对所述第一相位差像素、第二相位差像素的至少一方的相位差像素的输出信号进行校正。
15.根据权利要求14所述的摄像装置,其中,
具备判别部,所述判别部基于所述焦点检测区域的输出信号来判别所述焦点检测区域中的被摄体颜色是否为红色,
当由所述判别部判别为所述焦点检测区域中的被摄体颜色为红色时,所述相位差检测部根据所述第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算来自所述周边像素的混色率,
所述相位差检测部基于所述混色率和周边像素的输出信号而对所述第一相位差像素、第二相位差像素的至少一方的相位差像素的输出信号进行校正,基于进行了校正的所述第一相位差像素、第二相位差像素的输出信号来检测所述相位差。
16.一种摄像装置,具备:
摄影透镜;
摄像元件,至少包含红像素即R像素、绿像素即G像素、蓝像素即B像素和对通过了所述摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与所述R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与所述R像素中的第二R像素在与所述第一方向相反的第二方向上相邻的第二B像素,所述第一相位差像素、第二相位差像素中的至少一方的相位差像素在所述第一方向或者第二方向上相邻地配置R像素;
相位差检测部,基于设定于所述摄像元件的焦点检测区域内的所述第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差;
散焦量计算部,基于由所述相位差检测部检测出的相位差和从周边像素向所述第一相位差像素、第二相位差像素的至少一方的相位差像素的混色率来求算所述摄影透镜的散焦量;及
调焦部,使所述摄影透镜移动至由所述散焦量计算部求出的散焦量成为零的位置,
所述相位差检测部基于所述第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算来自所述周边像素的混色率。
17.根据权利要求16所述的摄像装置,其中,
具备判别部,所述判别部基于所述焦点检测区域的输出信号来判别所述焦点检测区域中的被摄体颜色是否为红色,
当由所述判别部判别为所述焦点检测区域中的被摄体颜色是红色时,所述相位差检测部根据所述第一B像素的输出信号和第二B像素的输出信号的至少一方的输出信号来求算来自所述周边像素的混色率,
所述散焦量计算部基于由所述相位差检测部检测出的相位差和来自所述周边像素的混色率来求算所述摄影透镜的散焦量。
18.一种自动调焦方法,包括:
信号获取工序,从摄像元件取得输出信号,所述摄像元件至少包含红像素即R像素、绿像素即G像素、蓝像素即B像素和对通过了摄影透镜的不同的第一区域、第二区域的被摄体图像进行光瞳分割而分别成像的第一相位差像素、第二相位差像素,并具有与所述R像素中的第一R像素以最小间距相邻的第一方向上的第一B像素和与所述R像素中的第二R像素在与所述第一方向相反的第二方向上相邻的第二B像素;
判别工序,基于由所述信号获取工序所取得的输出信号中的、设定于所述摄像元件的焦点检测区域的输出信号,判别所述焦点检测区域中的被摄体颜色是否为红色;
相位差检测工序,当由所述判别工序判别为所述焦点检测区域中的被摄体颜色不是红色时,基于所述焦点检测区域内的所述第一相位差像素、第二相位差像素的各输出信号来检测各输出信号的相位差,当由所述判别工序判别为所述焦点检测区域中的被摄体颜色是红色时,基于所述焦点检测区域内的所述第一B像素、第二B像素的各输出信号来检测各输出信号的相位差;及
调焦工序,基于由所述相位差检测工序检测出的相位差而对所述摄影透镜的焦点位置进行调节。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012137774 | 2012-06-19 | ||
JP2012-137774 | 2012-06-19 | ||
PCT/JP2013/061840 WO2013190899A1 (ja) | 2012-06-19 | 2013-04-23 | 撮像装置及び自動焦点調節方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104380168A CN104380168A (zh) | 2015-02-25 |
CN104380168B true CN104380168B (zh) | 2016-04-20 |
Family
ID=49768506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380032618.XA Expired - Fee Related CN104380168B (zh) | 2012-06-19 | 2013-04-23 | 摄像装置及自动调焦方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9237319B2 (zh) |
JP (1) | JP5697801B2 (zh) |
CN (1) | CN104380168B (zh) |
WO (1) | WO2013190899A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014080674A1 (ja) * | 2012-11-22 | 2014-05-30 | 富士フイルム株式会社 | 撮像装置、デフォーカス量演算方法、及び撮像光学系 |
CN104838646B (zh) * | 2012-12-07 | 2016-11-23 | 富士胶片株式会社 | 图像处理装置、图像处理方法、程序及记录介质 |
JP6104049B2 (ja) * | 2013-05-21 | 2017-03-29 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理用プログラム |
JP5775918B2 (ja) * | 2013-09-27 | 2015-09-09 | オリンパス株式会社 | 撮像装置、画像処理方法及び画像処理プログラム |
JP2015129846A (ja) * | 2014-01-07 | 2015-07-16 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6363857B2 (ja) * | 2014-03-24 | 2018-07-25 | キヤノン株式会社 | 撮像素子、撮像装置、画像処理方法、並びにプログラム |
US9432568B2 (en) * | 2014-06-30 | 2016-08-30 | Semiconductor Components Industries, Llc | Pixel arrangements for image sensors with phase detection pixels |
JP6584059B2 (ja) * | 2014-09-26 | 2019-10-02 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US10044959B2 (en) * | 2015-09-24 | 2018-08-07 | Qualcomm Incorporated | Mask-less phase detection autofocus |
WO2017057071A1 (ja) * | 2015-09-30 | 2017-04-06 | 富士フイルム株式会社 | 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置 |
US10264174B2 (en) * | 2015-12-08 | 2019-04-16 | Samsung Electronics Co., Ltd. | Photographing apparatus and focus detection method using the same |
CN106937107B (zh) * | 2015-12-29 | 2019-03-12 | 宁波舜宇光电信息有限公司 | 基于色差的摄像模组调焦方法 |
JP6655218B2 (ja) * | 2017-03-30 | 2020-02-26 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
US11849234B2 (en) * | 2019-08-09 | 2023-12-19 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device or imaging system |
JP2021110794A (ja) * | 2020-01-08 | 2021-08-02 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd | 制御装置、撮像装置、制御方法、及びプログラム |
JP6911250B2 (ja) * | 2020-01-08 | 2021-07-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像装置、制御方法、及びプログラム |
CN114845015A (zh) * | 2020-10-15 | 2022-08-02 | Oppo广东移动通信有限公司 | 图像传感器、控制方法、成像装置、终端及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122524A (ja) * | 2007-11-16 | 2009-06-04 | Nikon Corp | 焦点検出装置および撮像装置 |
CN102413280A (zh) * | 2010-09-17 | 2012-04-11 | 佳能株式会社 | 摄像设备及其控制方法 |
JP2012114797A (ja) * | 2010-11-26 | 2012-06-14 | Nikon Corp | 撮像装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02210995A (ja) | 1989-02-10 | 1990-08-22 | Fuji Photo Film Co Ltd | カラー固体撮像デバイス |
DE19616440A1 (de) | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
JP5151075B2 (ja) | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
EP2179581B1 (en) * | 2007-08-10 | 2015-11-11 | Canon Kabushiki Kaisha | Image-pickup apparatus and control method therof |
JP5109641B2 (ja) * | 2007-12-18 | 2012-12-26 | ソニー株式会社 | 撮像素子および撮像装置 |
US7745779B2 (en) | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP5251323B2 (ja) * | 2008-07-15 | 2013-07-31 | 株式会社ニコン | 撮像装置 |
JP5434761B2 (ja) * | 2010-04-08 | 2014-03-05 | 株式会社ニコン | 撮像デバイスおよび撮像装置 |
JP2011257565A (ja) | 2010-06-08 | 2011-12-22 | Canon Inc | 撮像装置 |
JP5642433B2 (ja) * | 2010-06-15 | 2014-12-17 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
JP2012022147A (ja) * | 2010-07-14 | 2012-02-02 | Olympus Corp | 位相差検出用情報取得装置、位相差検出装置、撮像装置 |
JP5513623B2 (ja) * | 2010-08-24 | 2014-06-04 | 富士フイルム株式会社 | 固体撮像装置 |
CN103988490B (zh) * | 2011-12-13 | 2018-05-22 | 索尼公司 | 图像处理装置、图像处理方法和记录介质 |
-
2013
- 2013-04-23 WO PCT/JP2013/061840 patent/WO2013190899A1/ja active Application Filing
- 2013-04-23 JP JP2014520997A patent/JP5697801B2/ja not_active Expired - Fee Related
- 2013-04-23 CN CN201380032618.XA patent/CN104380168B/zh not_active Expired - Fee Related
-
2014
- 2014-12-04 US US14/560,373 patent/US9237319B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122524A (ja) * | 2007-11-16 | 2009-06-04 | Nikon Corp | 焦点検出装置および撮像装置 |
CN102413280A (zh) * | 2010-09-17 | 2012-04-11 | 佳能株式会社 | 摄像设备及其控制方法 |
JP2012114797A (ja) * | 2010-11-26 | 2012-06-14 | Nikon Corp | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5697801B2 (ja) | 2015-04-08 |
US20150146052A1 (en) | 2015-05-28 |
JPWO2013190899A1 (ja) | 2016-05-26 |
WO2013190899A1 (ja) | 2013-12-27 |
CN104380168A (zh) | 2015-02-25 |
US9237319B2 (en) | 2016-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104380168B (zh) | 摄像装置及自动调焦方法 | |
CN104221369B (zh) | 摄像元件以及使用该摄像元件的摄像装置和摄像方法 | |
CN104365089B (zh) | 摄像装置及图像显示方法 | |
CN104620572B (zh) | 摄像装置及其控制方法 | |
CN104838313B (zh) | 摄像装置及其控制方法 | |
CN104641624B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
JP5753321B2 (ja) | 撮像装置及び合焦確認表示方法 | |
CN106464786B (zh) | 摄像装置 | |
CN104885440B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
CN104205827B (zh) | 图像处理装置及方法、以及摄像装置 | |
CN104737528B (zh) | 摄像装置以及图像显示方法 | |
CN104205809A (zh) | 固体摄像元件、摄像装置及固体摄像元件的驱动方法 | |
CN104871058A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
CN104782110A (zh) | 图像处理装置、摄像装置、程序及图像处理方法 | |
CN104755981B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
CN104221370A (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
JP5926391B2 (ja) | 撮像装置及び合焦確認表示方法 | |
CN104247412B (zh) | 图像处理装置、摄像装置、图像处理方法、记录介质以及程序 | |
CN104995904A (zh) | 摄像装置 | |
CN104272732B (zh) | 图像处理装置、方法及摄像装置 | |
CN105474626A (zh) | 摄像装置 | |
CN104641625A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
CN104813212A (zh) | 摄像装置及曝光确定方法 | |
CN104396227A (zh) | 摄像装置 | |
CN104221149A (zh) | 摄像元件以及摄像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160420 Termination date: 20190423 |
|
CF01 | Termination of patent right due to non-payment of annual fee |