CN101510040A - 图像处理装置、摄像装置及图像处理程序 - Google Patents

图像处理装置、摄像装置及图像处理程序 Download PDF

Info

Publication number
CN101510040A
CN101510040A CNA2009100074536A CN200910007453A CN101510040A CN 101510040 A CN101510040 A CN 101510040A CN A2009100074536 A CNA2009100074536 A CN A2009100074536A CN 200910007453 A CN200910007453 A CN 200910007453A CN 101510040 A CN101510040 A CN 101510040A
Authority
CN
China
Prior art keywords
pixel
mentioned
value
focus detection
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009100074536A
Other languages
English (en)
Other versions
CN101510040B (zh
Inventor
宇津木晓彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN101510040A publication Critical patent/CN101510040A/zh
Application granted granted Critical
Publication of CN101510040B publication Critical patent/CN101510040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明为一种图像处理装置、摄像装置及图像处理程序。具有：存储部，存储摄像元件的焦点检测用像素的位置，摄像元件具备具有与多种颜色成分分别对应的光谱特性的多个摄像用像素、及具有与多个摄像用像素不同的光谱特性的焦点检测用像素；像素内插部，在由摄像元件生成的图像中，使用焦点检测用像素附近的摄像用像素的像素值，生成焦点检测用像素的内插像素值；附近像素推测部，计算附近的摄像用像素具有与焦点检测用像素相同的光谱特性时的像素值、即评价像素值；高频成分计算部，使用焦点检测用像素的像素值和评价像素值，计算图像的高频成分；高频成分附加部，向内插像素值附加高频成分，计算焦点检测用像素的摄像用像素值。

Description

图像处理装置、摄像装置及图像处理程序
技术领域
本发明涉及到一种图像处理装置、摄像装置及图像处理程序。
背景技术
公知有如下摄像元件：在受光面的部分区域上配置焦点检测用的像素，输出通过摄像像素所拍摄的被拍摄体图像的图像信息的同时，输出焦点检测像素检测被拍摄体图像聚焦状态的检测信号(例如专利文献1)。
在专利文献1中公开了以下技术：为了内插焦点检测像素的位置下的摄像用的像素值，通过简单平均求出位于焦点检测像素附近的摄像像素的像素值。
专利文献1：JP特开2000-305010号公报
但是，在作为现有技术的专利文献1进行简单平均的内插方法中，在应内插的焦点检测像素的附近区域存在被拍摄体的轮廓、细线结构等结构时，会出现这些结构消失，或出现伪色、伪结构的现象，图像画质变差。
发明内容
鉴于上述现有技术的问题，本发明的目的在于提供一种在焦点检测像素位置上即使有轮廓、细线结构等也可高精度地内插摄像用像素值的技术。
本发明的图像处理装置具有：存储部，存储摄像元件的焦点检测用像素的位置，摄像元件具备具有与多种颜色成分分别对应的光谱特性的多个摄像用像素、及具有与多个摄像用像素不同的光谱特性的焦点检测用像素；像素内插部，在由摄像元件生成的图像中，使用焦点检测用像素附近的摄像用像素的像素值，生成焦点检测用像素的内插像素值；附近像素推测部，计算出评价像素值，该评价像素值是附近的摄像用像素具有与焦点检测用像素相同的光谱特性时的像素值；高频成分计算部，使用焦点检测用像素的像素值和评价像素值，计算出图像的高频成分；和高频成分附加部，向内插像素值附加高频成分，计算出焦点检测用像素的摄像用像素值。
此外优选的是，存储部存储加权系数，该加权系数用于使焦点检测用像素的光谱特性由多个摄像用像素的各自光谱特性的加权和表示，附近像素推测部使用加权系数以及焦点检测用像素附近的多个摄像用像素的像素值求出加权和，从而计算出评价像素值。
此外优选的是，附近像素推测部计算出附近的摄像用像素具有与自身具有的颜色成分不同的颜色成分时的像素值，使用该计算出的像素值和附近的摄像用像素的像素值，计算出评价像素值。
此外优选的是，焦点检测用像素是光瞳分割摄影光学系统的像素，有多个，高频成分计算部，将焦点检测用像素的像素值、及具有与焦点检测用像素不同的光瞳分割的其他焦点检测用像素的像素值相加得到的加法像素值，作为焦点检测用像素的像素值使用。
此外优选的是，高频成分计算部还具有颜色变动计算部，使用焦点检测用像素附近的多个摄像用像素，按照各颜色成分计算出颜色变动值，该颜色变动值是多个颜色成分的各自的像素值的变动大小，高频成分计算部使用颜色变动值计算焦点检测用像素的高频成分。
此外优选的是，高频成分计算部，计算出一种颜色成分的颜色变动值和所有颜色成分的颜色变动值的综合值的比率、即颜色成分变动率，并根据颜色成分变动率调整图像的高频成分，计算出焦点检测用像素具有一种颜色成分的光谱特性时的图像的高频成分、即高频颜色成分，高频成分附加部向内插像素值附加高频颜色成分，计算焦点检测用像素的摄像用像素值。
此外优选的是，颜色变动计算部，通过求出在焦点检测用像素附近具有第1颜色成分的多个摄像像素的像素值的波动，来计算第1颜色成分的颜色变动值，并通过将在焦点检测用像素附近具有第2颜色成分的多个摄像像素的像素值的波动，作为在具有第1颜色成分的多个摄像用像素的各个像素位置上内插具有第2颜色成分的多个焦点检测用像素的像素值而生成的值的波动来求出，从而计算出第2颜色成分的颜色变动值，所述具有第2颜色成分的多个摄像像素的像素密度比具有第1颜色成分的多个摄像用像素大。
此外优选的是，高频成分附加部在高频成分的大小小于规定值时，抑制高频成分的附加。
此外优选的是，规定值是多个摄像像素的像素值的变化率较小的平坦区域中的高频成分的推测误差的最大值。
此外优选的是，还具有方向变动计算部，使用焦点检测用像素附近的多个摄像用像素的像素值，计算出作为分别与多个方向相对的像素值的变化率的方向变动，像素内插部，根据相对于焦点检测用像素位于方向变动最小方向的摄像用像素的像素值，计算内插像素值。
此外优选的是，焦点检测用像素在规定的排列方向上一维排列，高频成分附加部，在相对于排列方向相交的方向上的方向变动小于规定值时，抑制高频成分的附加。
此外优选的是，焦点检测用像素有多个，并在规定的排列方向上一维排列，高频成分附加部，在排列方向上的方向变动大于规定值时，抑制高频成分的附加。
此外优选的是，具有：光学信息取得部，取得图像的摄影中使用的光学系统相关的信息；和像素值调整部，根据光学信息，调整焦点检测用像素的像素值或评价像素值中的至少一个，高频成分计算部，使用由像素值调整部调整了至少其中一个的焦点检测用像素的像素值和评价像素值，计算图像的高频成分。
此外优选的是，具有：光学信息取得部，取得图像的摄影中使用的光学系统相关的信息；和加权系数调整部，根据光学信息调整加权系数。
此外优选的是，光学信息取得部取得光学系统的F值、PO值、焦点检测用像素位置中的至少一个。
此外优选的是，具有饱和判断部，判断焦点检测用像素的像素值或焦点检测用像素附近的摄像用像素的像素值的饱和，高频成分附加部根据饱和判断部的判断结果，抑制高频成分的附加。
此外优选的是，高频成分附加部，在饱和判断部判断焦点检测用像素的像素值饱和、且高频成分为负时，抑制高频成分的附加。
此外优选的是，高频成分附加部，在饱和判断部判断焦点检测用像素附近的摄像用像素的像素值饱和、且高频成分为正时，抑制高频成分的附加。
本发明的摄像装置具有：摄像元件；和本发明的图像处理装置。
使用了本发明的图像处理程序，用于由计算机实现以下步骤：存储步骤，存储摄像元件的焦点检测用像素的位置，摄像元件具备具有与多种颜色成分分别对应的光谱特性的多个摄像用像素、及具有与多个摄像用像素不同的光谱特性的焦点检测用像素；像素内插步骤，在由摄像元件生成的图像中，使用焦点检测用像素附近的摄像用像素的像素值，生成焦点检测用像素的内插像素值；附近像素推测步骤，计算出评价像素值，该评价像素值是附近的摄像用像素具有与焦点检测用像素相同的光谱特性时的像素值；高频成分计算步骤，使用焦点检测用像素的像素值和评价像素值，计算出图像的高频成分；和高频成分附加步骤，向内插像素值附加高频成分，计算出焦点检测用像素的摄像用像素值。
根据本发明，在焦点检测像素位置上即使有轮廓、细线结构等也可高精度地内插摄像用像素值。
附图说明
图1是表示本发明的一个实施方式涉及的电子照相机10的结构的框图。
图2是表示摄像元件的单元的配置的图。
图3是本实施方式的电子照相机10进行的图像处理的流程图。
图4是纵向截断包括凸出结构的纵向5像素的像素结构的图。
图5是纵向截断具有细微的颜色结构的图像的图像结构的图。
具体实施方式
图1是本发明的一个实施方式涉及的电子照相机10的结构图。
电子照相机10包括：摄像透镜1、摄像元件2、A/D变换部3、缓冲存储器4、CPU 5、卡片接口(卡片I/F)6、操作部件8、存储部9、显示部11及图像处理部12。缓冲存储器4、CPU 5、卡片I/F 6、操作部件8、存储部9、显示部11及图像处理部12经由总线13连接为可传送信息。此外，图1仅示出电子照相机10的主要部分。例如在图1中，省略了根据CPU 5的指令向摄像元件2及A/D变换部3发出摄影指示的时序脉冲的时序发生器等。
摄像透镜1由多个光学透镜构成，将被拍摄体图像成像在摄像元件2的受光面。
摄像元件2适当选择CCD、CMOS的半导体图像传感器等，它们设置为：分别在位于其受光面上的多个摄像像素上，将R(红)、G(绿)、B(蓝)的任意一种原色穿透滤光器以Bayer(拜尔)排列设置。进一步，本实施方式的摄像元件2在受光面的部分区域上，具有在水平扫描方向上一维配置的多个焦点检测像素(AF像素)。这些AF像素存在二种，不设置摄像像素的原色穿透滤光器，且接收通过摄像透镜1的光学系统的光瞳的左侧或右侧的光束。因此，本实施方式中的AF像素分别输出与白色光的亮度对应的左侧或右侧的光瞳分割后的检测信号。图2表示由摄像元件2拍摄的图像数据中，以配置有AF像素的区域为中心的图像数据的一部分。各单元分别表示一个像素。各单元开头标记R、G及B表示具有各原色穿透滤光器的摄像像素。另一方面，标记X及Y表示对来自左侧或右侧的光束具有灵敏度的AF像素，它们交互地在水平扫描方向上一维排列。紧跟这些标记的2位号码表示像素的位置。
该摄像元件2接收CPU 5的指令，并根据时序发生器(未图示)发出的时序脉冲进行动作，取得由设置在前方的摄像透镜1成像的被拍摄体图像。从摄像元件2输出的图像信号由A/D变换部3变换为数字信号。数字的图像信号暂时记录到帧存储器(未图示)后，记录到缓冲存储器4中。并且，缓冲存储器4可适当选择半导体存储器中任意的非易失性存储器。
CPU 5在通过用户对操作部件8的电源按钮操作而接通电子照相机10的电源时，读入存储部9中存储的控制程序、图像处理程序，使电子照相机10初始化。CPU 5通过操作部件8接收到来自用户的指示时，根据控制程序，向时序发生器(未图示)输出被拍摄体的摄像指令，或使图像处理部12进行拍摄的图像的图像处理，或进行向卡片存储器7的记录、在显示部11上的显示等控制。CPU 5可使用一般的计算机的CPU。
卡片I/F 6上可装卸地安装卡片存储器7。缓冲存储器4中记录的图像根据CPU 5的指令由图像处理部12进行图像处理后，作为JPEG格式、YUV格式等的文件记录到卡片存储器7中。
操作部件8向CPU 5输出和用户进行的部件操作的内容对应的操作信号。操作部件8例如具有电源按钮、摄影模式等模式设定按钮及释放按钮等操作部件。此外，操作部件8也可是下述显示部11的画面上显示的接触面板式的按钮。
存储部9记录电子照相机10拍摄的图像数据，或存储CPU 5用于控制电子照相机19的控制程序、使图像处理部12进行的图像处理程序等各种程序等。进一步，存储部9也存储摄像元件2的AF像素的位置信息的数据、提前求出的图像处理程序中所使用的各种阈值及加法系数等数据。存储部9中存储的程序、数据可经由总线13从CPU 5中适当进行参照。存储部9可适当选择使用普通的硬盘装置、光磁盘装置等存储装置。
显示部11显示取景(スル—，预览)图像、拍摄的图像或模式设定画面等。显示部11可适当选择使用液晶显示器等。
图像处理部12是如下数字前端电路：在CPU 5的图像处理中根据指示进行轮廓加强处理、白平衡校正等图像处理，并且对AF像素的像素位置下的摄像像素值进行内插计算。
接着参照图3的流程图说明本实施方式涉及的电子照相机10。
由用户按下操作部件8的电源按钮后，CPU 5读入电子照相机10的存储部9中存储的控制程序及图像处理程序，使电子照相机10初始化。CPU 5在用户发出拍摄被拍摄体的指示前待机。由用户按下操作部件8的释放按钮后，CPU 5判断已经发出了拍摄指示，进行步骤S10～步骤S23的处理。此外，在本实施方式中，由于分别在各摄像像素上设置的原色穿透滤光器是Bayer排列的图案，因此标记X的AF像素的位置上内插绿色(G)的摄像像素值，标记Y的AF像素的像素位置上内插蓝色(B)的摄像像素值。以下说明分别内插Y44的蓝色拍摄像素值和X45的绿色摄像像素值的情况。内插其他AF像素中的摄像像素值的步骤也相同。
步骤S10：CPU 5向时序发生器(未图示)发出摄像指令。时序发生器(未图示)向摄像元件2发出时序脉冲，摄像元件2拍摄由摄像透镜1成像的被拍摄体。拍摄的图像数据经由A/D变换部3记录到缓冲存储器4。
步骤S11：CPU 5从缓冲存储器4读入在步骤S10中拍摄的图像数据，并且从存储部9读入AF像素的位置信息的数据、下述阈值及加法系数。CPU 5通过总线13将这些图像数据、AF像素的位置信息、阈值及加法系数传送到图像处理部12，使图像处理部12进行轮廓加强处理、白平衡校正等图像处理，并且通过内插计算求出AF像素位置摄像像素值。图像处理部12为了内插X45及Y44的AF像素下的摄像像素值，使用X45及Y44周边的摄像像素的像素值，通过以下公式(1)～(4)分别求出作为4个方向的像素值的变化率的方向变动H1～H4的值。此外，本实施方式中的4个方向是指水平扫描方向、垂直扫描方向、相对水平扫描方向呈45度及135度的方向。
水平扫描方向的方向变动H1＝
2×(|G34-G36|+|G54-G56|)+|R33-R35|+|R53-R55|+|B24-B26|+|B64-B66|       …(1)
垂直扫描方向的方向变动H2＝
2×(|G34-G54|+|G36-G56|)+|R33-R53|+|R35-R55|+|B24-B64|+|B26-B66|       …(2)
相对水平扫描方向呈45度的方向变动H3＝
2×(|G27-G36|+|G54-G63|)+|R35-R53|+|R37-R55|+|B26-B62|+|B28-B64|       …(3)
相对水平扫描方向呈135度的方向变动H4＝
2×(|G23-G34|+|G56-G67|)+|R33-R55|+|R35-R57|+|B22-B66|+|B24-B68|       …(4)
步骤S12：图像处理部12选择步骤S11中求出的方向变动H1～H4中最小值的方向变动的方向，使用位于该方向的摄像像素的像素值，并通过在下述公式(5)～(8)中与所选择的方向对应的公式，求出AF像素X45的位置下的G的摄像像素值GX45及AF像素Y44的位置下的B的摄像像素值BY44。这样一来，通过使用位于变动小的方向上的摄像像素的像素值，可较正确地内插X45及Y44等的AF像素的位置下的摄像像素值。
方向变动H1最小时
BY44＝(B24+B64)/2  …(5)
GX45＝(G34+G36+G54+G56)/4
方向变动H2最小时
BY44＝(B24+B64)/2  …(6)
GX45＝(G25+G65)/2
方向变动H3最小时
BY44＝(B26+B62)/2  …(7)
GX45＝(G36+G54)/2
方向变动H4最小时
BY44＝(B22+B66)/2  …(8)
GX45＝(G34+G56)/2
步骤S13：图像处理部12在作为AF像素的排列方向的水平扫描方向上，例如使用AF像素的Y44及X45的白色光的像素值W44及W45和下述公式(9)计算出AF像素的像素值的方向变动H5。
H5＝|W44-W45|  …(9)
图像处理部12判断该方向变动H5的值是否大于阈值th1。方向变动H5大于阈值th1时(是)，图像处理部12将内插了步骤S12中求出的BY44及GX45的值作为Y44及X45中的摄像像素值，更新图像数据。图像处理部12通过总线13将更新的图像数据记录到缓冲存储器4，并前进到步骤S23。另一方面，当方向变动H5在阈值th1以下时(否)，图像处理部12前进到步骤S14。此外，阈值th1例如处理12位图像时，为512左右的值即可。
步骤S14：图像处理部12判断步骤S11中求出的方向变动H2的值是否小于阈值th2。H2小于阈值th2时(是)，图像处理部12将内插了步骤S12中求出的BY44及GX45的值作为Y44及X45中的摄像像素值，更新图像数据。图像处理部12通过总线13将更新的图像数据记录到缓冲存储器4，并前进到步骤S23。另一方面，当方向变动H2在阈值th2以下时(否)，图像处理部12前进到步骤S15。此外，阈值th2例如处理12位图像时，为64左右的值即可。
步骤S15：图像处理部12使用位于附近的颜色成分R、G及B的摄像像素的像素值计算对来自右侧的光束具有灵敏度的Y44等AF像素中的白色光的平均像素值<W44>。具体而言，在步骤S12中，例如图像处理部12判断方向变动H2最小时，B的摄像像素的像素值使用公式(6)中的B24和B64。另一方面，对于R及G的像素值，使用下述公式(10)的4个公式内插计算B的摄像像素B24和B64的位置下的R及G的像素值。
RB24＝(R13+R15+R33+R35)/4  …(10)
GB24＝(G14+G23+G25+G34)/4
RB64＝(R53+R55+R73+R75)/4
GB64＝(G54+G63+G65+G74)/4
并且，图像处理部12使用从CPU 5传送的R、G及B的加权系数WR、WG及WB，通过公式(11)的加权和计算出摄像像素B24及B64的位置下的白色光的像素值W24及W64。此外，加权系数WR、WG及WB的求出方法稍后论述。
W24＝WR×RB24+WG×GB24+WB×B24  …(11)
W64＝WR×RB64+WG×GB64+WB×B64
并且，图像处理部12计算出Y44中的白色光的平均像素值<W44>＝(W24+W64)/2。
步骤S16：图像处理部12和步骤S15时一样，使用位于附近的颜色成分R、G及B的摄像像素的像素值，计算出对来自左侧的光束具有灵敏度的X45等的AF像素中的白色光的平均像素值<W45>等。在步骤S12中，当图像处理部12判断方向变动H12最小时，G的摄像像素的像素值使用公式(6)中的G25和G65。另一方面，对于R及B的像素值，使用下述公式(12)的4个公式内插计算G的摄像像素G25和G65的位置下的R及B的像素值。
RG25＝(R15+R35)/2  …(12)
BG25＝(B24+B26)/2
RG65＝(R55+R75)/2
BG65＝(B64+B66)/2
并且，图像处理部12通过公式(13)的加权和计算出摄像像素G25及G65的位置下的白色光的像素值W25及W65。
W25＝WR×RG25+WG×G25+WB×BG25  …(13)
W65＝WR×RG64+WG×G25+WB×BG65
并且，图像处理部12计算出X45中的白色光的平均像素值<W45>＝(W25+W65)/2。
步骤S17：图像处理部12使用在步骤S15及步骤S16中求出的白色光的平均像素值，求出摄像元件2的各AF像素中的白色光的像素值的高频成分。图像处理部12根据摄像元件2的各AF像素的像素值，先求出各AF像素的像素位置下的白色光的平均像素值。即，各AF像素的像素值是光瞳分割来自左侧或右侧的光束后的值。因此，为了获得各AF像素的位置下的白色光的像素值，需要彼此加算来自左侧及右侧的光束的像素值。因此，本实施方式的图像处理部12使用各AF像素的像素值及相邻的AF像素的像素值，例如通过以下公式(14)计算AF像素Y44、X45的位置下的白色光的平均像素值。
<W44>’＝W44+(W43+W45)/2  …(14)
<W45>’＝W45+(W44+W46)/2
并且，图像处理部12根据下述公式(15)求出Y44及X45的位置下的白色光的高频成分HFY44及HFX45：
HFY44＝<W44>’-<W44>  …(15)
HFX45＝<W45>’-<W45>
步骤S18：图像处理部12判断在步骤S17中求出的各AF像素的位置下的白色光的像素值的高频成分HF在该白色光的像素值中所占比例是否小于阈值th3(本实施方式中例如为10％左右)。高频成分HF小于阈值th3时(是)，图像处理部12将内插了步骤S12中求出的BY44及GX45的值作为Y44及X45中的摄像像素值，更新图像数据。图像处理部12通过总线13将更新的图像数据记录到缓冲存储器4，并前进到步骤S23。另一方面，高频成分HF在阈值th3以上时(否)，图像处理部12前进到步骤S19。此外，对阈值th3的值的说明与下述对加法系数WR、WG及WB的说明同时进行。
步骤S19：图像处理部12计算Y44、X45附近的各颜色成分R、G或B的拍摄像素的像素值的颜色变动VR、VGr、VB及VGb。其中，颜色变动VGr及VGb表示R或B的摄像像素位置下的G的颜色变动。图像处理部12根据下述公式(16)的2个公式求出颜色变动VR和VGr。
VR＝|R33-R53|+|R35-R55|+|R37-R57|
VGr＝|(G32+G34)/2-(G52+G54)/2|+|(G34+G36)/2-(G54+G56)/2|+|(G36+G38)/2-(G56+G58)/2|  …(16)
此外，本实施方式的图像处理部12求出R的摄像像素的位置R33、R35、R37、R53、R55及R57中的G的像素值的平均值后，计算VGr的值。
另一方面，图像处理部12根据下述公式(17)的二个公式求出颜色变动VB和VGb。
VB＝|B22-B62|+|B24-B64|+|R26-B66|
VGb＝|(G21+G23)/2-(G61+G63)/2|+|(G23+G25)/2-(G63+G63)/2|+|(G25+G27)/2-(G65+G67)/2|…(17)
此外，本实施方式的图像处理部12求出B的摄像像素的位置B22、B24、B26、B62、B64及B66中的G的像素值的平均值后，计算VGb的值。
步骤S20：图像处理部12使用步骤S19中计算出的颜色变动VR、VGr、VB及VGb，计算与颜色成分G及B的白色光相对的颜色变动率KWG及KWB。首先，图像处理部12根据颜色变动VR、VGr、VB及VGb求出下述公式(18)的颜色变动VR2、VG2及VB2。
VR2＝(VR+α)×(VGb+α)  …(18)
VB2＝(VB+α)×(VGr+α)
VG2＝(VGb+α)×(VGr+α)
其中，α是用于稳定颜色变动率的值的适当的常数，例如在处理12位图像时，α＝256左右的值即可。
并且，图像处理部12使用颜色变动VR2、VG2及VB2，计算出下述公式(19)的白色光中的颜色变动VW。
VW＝VR2+VG2+VB2  …(19)
因此，图像处理部12根据下述公式(20)计算颜色变动率KWG及KWB。
KWG＝VG2/VW  …(20)
KWB＝VB2/VW
步骤S21：图像处理部12使用在步骤S17中求出的各AF像素位置下的白色光的像素值的高频成分HF、及在步骤S20中计算出的颜色变动率KWG及KWB，通过下述公式(21)计算各AF像素位置下的颜色成分G及B的像素值的高频成分。
HFBY44＝HFY44×KWB  …(21)
HFGX45＝HFX45×KWG
步骤S22：图像处理部12将步骤S21中求出的各AF像素中的各颜色成分的高频成分附加到步骤S12中内插求出的摄像像素值。CPU 5例如根据下述公式(22)分别计算出Y44及X45的摄像像素值B’及G’。
B’Y44＝BY44+HFY44
G’X45＝GX45+HFX45  …(22)
图像处理部12将在Y44、X45等AF像素位置下内插求出的B’Y44及G’X45等像素值作为各位置下的摄像像素值，更新图像数据。图像处理部12通过总线13将更新的图像数据记录到缓冲存储器4。
步骤S23：CPU 5使缓冲存储器4中的图像数据为JPEG格式、YUV格式等的文件，通过总线13和卡片I/F 6记录到卡片存储器7，结束一系列的作业。
接着对加权系数WR、WG及WB的求出方法与阈值th3同时说明。
求该加法系数、阈值时，准备组装到产品中的摄像元件2或具有与该摄像元件2同样性能的摄像元件。改变各种波长频带向该摄像元件2照射基本相同亮度的照明，取得各波长频带下的摄像图像数据。并且，对各波长频带的摄像图像数据n，如公式(14)那样加上光瞳分割不同的AF像素的像素值，从而计算出白色光的像素值Wn。同时也提取AF像素附近的各颜色成分的摄像像素的像素值Rn、Gn、Bn。
并且，作为未知的加权系数WR、WG及WB的函数，对二次方误差E如下定义。
E＝∑n(WR×Rn+WG×Gn+WB×Bn-Wn)2
并且，求出使E最小的加权系数WR、WG及WB(求出使E分别用WR、WG或WB偏微分后的值为0的加权系数WR、WG及WB)。这样一来，通过求出加权系数WR、WG及WB，求出由各颜色成分R、G及B的摄像像素的光谱特性的加权和表示AF像素的光谱特性的加权系数。将这样求出的加权系数WR、WG及WB记录到电子照相机10的存储部9。
进一步，根据求出的加权系数WR、WG及WB，用下述公式针对各摄像像素数据n求出误差率Kn。
Kn＝|WR×Rn+WG×Gn+WB×Bn-Wn|/Wn
求出Kn的最大值，作为阈值th3记录到电子照相机10的存储部9。
图4表示发挥了本实施方式的效果的图像结构的一例。图4是纵向截断包括凸起结构(明亮的线或点)的纵向5像素的图像结构的图，横轴是垂直扫描方向(y坐标)，纵轴是光量或像素值。并且，凸起结构恰好位于在水平扫描方向上排列的AF像素列上。
图4的○标记是在G的摄像像素拍摄的像素值。但AF像素的位置下不存在G的摄像像素，因此无法获得该位置下的G像素值。因此，当恰巧AF像素的位置上有凸起结构时，仅通过AF像素附近的G的摄像像素的像素值无法重现图4的凸起结构。实际上，在步骤S12中，使用AF像素附近的G的摄像像素的像素值在AF像素的位置下内插求出的G的像素值(图4的●标记)未重现凸起结构。
另一方面，在AF像素的位置下，可获得白色光的像素值。但与普通的像素接收通过光瞳的全部区域的光线相比，AF像素仅接收通过光瞳的右侧或左侧的光，因此通过加上光瞳分割不同的相邻的AF像素，计算出普通的(通过了光瞳的全部区域的光的)白色光的像素值(公式(14))。
并且，在AF像素附近的G的摄像像素的位置上，内插生成其他颜色成分R及G，求出颜色成分R、G及B的加权和，从而在大多数情况下可以充分的精度求出白色光的像素值(公式(11)及公式(13))。
图4的□标记是如上求出的白色光的像素值的分布。多数情况下，白色光的像素值的高频成分和颜色成分G的像素值的高频成分成比例，因此根据白色光的像素值计算出的高频成分具有G的像素值的凸起结构成分的信息。因此，根据白色光的像素值的高频成分求出G的像素值的高频成分，对该值加上●标记的数据，从而获得☆标记的G的像素值，重现凸起结构(公式(21))。
此外，图5是表示具有细微颜色结构的图像在本实施方式中也可适当重现颜色结构的例子。在该颜色结构中，在AF像素排列的位置上正好有黄色的线，其周围是白色的。由于是黄色的线，因此在AF像素排列的位置上，颜色成分B的像素值变小，颜色成分R及G的像素值基本一样。○标记是G的摄像像素的像素值，△标记是B的摄像像素的像素值。●标记是在步骤S12的处理中根据G的像素值内插生成的像素值，▲标记是在步骤S12的处理中根据B的像素值内插生成的像素值。如图5所示，●标记及▲标记不具有凹陷结构。另一方面，□标记是在步骤S15或步骤S16中求出的白色光的像素值，其分布呈现凹陷结构。因此，如上所述，在AF像素列的位置中，B的像素值必须为小的值，因此▲标记的像素值是错误的。
因此，在图3的步骤S19及步骤S20中，求出AF像素附近的各颜色成分R、G及B的摄像像素的像素值的波动，计算出作为各颜色成分变动的比率的颜色变动率。大多情况下，颜色结构具有扩展性，将AF像素附近求出的颜色变动率作为AF像素位置下的颜色变动率没有问题。但由于颜色成分R、G及B的摄像像素的位置不同，因此仅对R、G、B的像素值的波动分别计算进行比较时，图像结构因位置不同而不同，受到较大影响。因此，在比较R和G的变动时，相对于R的摄像像素的像素值的波动(VR)，比较在R的摄像像素的位置下内插的G的像素值的波动(VGr)，由此可抑制因位置产生的影响(公式(16)。即，R的像素值的变动(VR2)：G的像素值的变动(VG2)＝VR：VGr。同样，B的像素值的变动(VB2)：G的像素值的变动(VG2)＝VB：VGb，它们的关系如公式(18)所示。如根据公式(19)估算白色光的像素值的变动(VW)，则与白色光的像素值的变动(VW)相对的B的像素值的颜色变动率KWB及G的像素值的颜色变动率KWG可根据公式(20)计算。并且，在步骤S21中，根据这些颜色变动率KWB及KWG，调整白色光的像素值的高频成分HF，可计算出G的像素值的高频成分HFG及B的像素值的高频成分HFB。
图5的图像的情况下，与白色光的像素值相对的B的像素值的颜色变动率KWB是接近1的值，对▲标记的内插求出的B的像素值附加了高频成分的HFB的像素值(图5的☆标记)，正确重现了凹陷结构。另一方面，与白色光的像素值相对的G的像素值的颜色变动率KWG是接近0的值，●标记的内插求出的B的像素值中基本没有附加高频成分HFG，因此不会变为凹陷结构，而保持一定的值的结构。
此外，在步骤S17的公式(14)中，使用在AF像素的排列方向上相邻的AF像素的像素值，计算各AF像素的位置下的白色光的像素值，因此失去了白色光的像素值的排列方向的分辨力。因此，在排列方向上有较强变动时，高频成分的计算变得不正确，但在步骤S13中，在这种情况下中止高频成分的附加。
并且，即使AF像素的排列方向上无变动，因各颜色成分的摄像像素的光谱特性的加权和及AF像素的光谱特性的偏差等，白色光的像素值的高频成分多少存在误差。在垂直扫描方向(与AF像素的排列方向相交的方向)有图像的大幅变动时，即使不附加高频成分，内插值的精度也是充分的，附加高频成分反而会因误差形成伪结构。因此，在步骤S14中，这种情况下抑制高频成分的附加。并且，计算出的高频成分足够小时，即使不附加，内插值的精度也充分，附加高频成分反而会因误差形成伪结构，因此在步骤S18中这种情况下抑制高频成分的附加。
在步骤S17的公式(14)中，通过求出光瞳分割不同的AF像素的像素值的和，计算通常的(通过光瞳全部区域的光的)白色光的像素值。但将AF像素值的和视作通常的白色光的像素值，是AF像素将光瞳严格地平分为二的情况。
另一方面，根据AF像素的设计，也存在不同的情况。例如存在如下设计情况：AF像素不接收光瞳的中间附近的光，由各AF像素接收光瞳全部区域的右侧3成左右的光和左侧3成左右的光。根据这种类型的AF像素，图像的相位差变大，因此可实现(F值在规定值以下时)较高的AF精度。
采用上述AF像素时，由公式(14)计算出的AF像素的像素值的和是与通常的白色光的像素值成比例的值，但其比例关系根据摄影光学系统的条件(F值、PO值、焦点检测用像素位置等)而不同。
因此，也可取得摄影光学条件，据此调整AF像素的像素值的和，从而可求出AF像素位置下的通常的白色光的像素值。
或者，通过调整作为用于推测AF像素附近的白色成分的加权系数的、WR、WG及WB，可使AF像素附近的白色成分的推测值相当于AF像素的像素值的和。根据该方法，AF像素的像素值的和、与通常的白色光的像素值的比例关系可多少取决于入射光的波长。
或者也可组合上述二种类型的调整。
此外，在AF像素将光瞳平分为二的设计中，因AF像素的结构上的限制、制造误差，也存在无法严格实现的情况，上述调整在这种情况下有效。
此外，当AF像素值饱和时，根据AF像素值推测的白色成分是比实际小的值，因此通过公式(15)计算出的高频成分是比实际小的值。这种情况下，特别将负的高频成分加到内插值时，出现生成伪图像结构的情况。因此，当AF像素值饱和、高频成分为负时，优选抑制高频成分的加法。
此外，当AF像素附近的摄像像素值饱和时，根据该像素值推测的附近的白色成分是比实际小的值，因此通过公式(15)计算出的高频成分是比实际大的值。这种情况下，将正的高频成分加到内插值时，出现生成伪图像结构的情况。因此，当AF像素附近的摄像像素值饱和、高频成分为正时，优选抑制高频成分的加法。
此外，在本实施方式中，AF像素的排列方向为水平扫描方向，但本发明不限于此，AF像素也可在垂直扫描方向或其他方向上排列。
此外，在本实施方式中，各AF像素是使来自左侧或右侧的光束光瞳分割的焦点检测像素，但本发明不限于此，各AF像素也可是具有对来自左侧及右侧的光束进行光瞳分割的像素的焦点检测像素。
此外，本发明涉及的图像处理装置中的处理也可适用于由计算机实现的程序。

Claims (20)

1.一种图像处理装置，其特征在于，具有：
存储部，存储摄像元件的焦点检测用像素的位置，上述摄像元件具备具有与多种颜色成分分别对应的光谱特性的多个摄像用像素、及具有与上述多个摄像用像素不同的光谱特性的焦点检测用像素；
像素内插部，在由上述摄像元件生成的图像中，使用上述焦点检测用像素附近的摄像用像素的像素值，生成上述焦点检测用像素的内插像素值；
附近像素推测部，计算出评价像素值，该评价像素值是上述附近的摄像用像素具有与上述焦点检测用像素相同的光谱特性时的像素值；
高频成分计算部，使用上述焦点检测用像素的像素值和上述评价像素值，计算出上述图像的高频成分；和
高频成分附加部，向上述内插像素值附加上述高频成分，计算出上述焦点检测用像素的摄像用像素值。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述存储部存储加权系数，该加权系数用于使上述焦点检测用像素的光谱特性由上述多个摄像用像素的各自光谱特性的加权和表示，
上述附近像素推测部使用上述加权系数以及上述焦点检测用像素附近的多个摄像用像素的像素值求出加权和，从而计算出上述评价像素值。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述附近像素推测部计算出上述附近的摄像用像素具有与自身具有的颜色成分不同的颜色成分时的像素值，使用该计算出的像素值和上述附近的摄像用像素的像素值，计算出上述评价像素值。
4.根据权利要求1所述的图像处理装置，其特征在于，
上述焦点检测用像素是光瞳分割摄影光学系统的像素，有多个，
上述高频成分计算部，将上述焦点检测用像素的像素值、及具有与上述焦点检测用像素不同的光瞳分割的其他焦点检测用像素的像素值相加得到的加法像素值，作为上述焦点检测用像素的像素值使用。
5.根据权利要求1所述的图像处理装置，其特征在于，
上述高频成分计算部还具有颜色变动计算部，使用上述焦点检测用像素附近的多个摄像用像素，按照上述各颜色成分计算出颜色变动值，该颜色变动值是上述多个颜色成分的各自的像素值的变动大小，
上述高频成分计算部使用上述颜色变动值计算上述焦点检测用像素的高频成分。
6.根据权利要求5所述的图像处理装置，其特征在于，
上述高频成分计算部，计算出一种颜色成分的上述颜色变动值和所有颜色成分的上述颜色变动值的综合值的比率、即颜色成分变动率，并根据上述颜色成分变动率调整上述图像的高频成分，计算出上述焦点检测用像素具有上述一种颜色成分的光谱特性时的上述图像的高频成分、即高频颜色成分，
上述高频成分附加部向上述内插像素值附加上述高频颜色成分，计算上述焦点检测用像素的摄像用像素值。
7.根据权利要求5所述的图像处理装置，其特征在于，
上述颜色变动计算部，通过求出在上述焦点检测用像素附近具有第1颜色成分的多个摄像像素的像素值的波动，来计算上述第1颜色成分的颜色变动值，并通过将在上述焦点检测用像素附近具有第2颜色成分的多个摄像像素的像素值的波动，作为在具有上述第1颜色成分的多个摄像用像素的各个像素位置上内插具有上述第2颜色成分的多个焦点检测用像素的像素值而生成的值的波动来求出，从而计算出上述第2颜色成分的颜色变动值，所述具有第2颜色成分的多个摄像像素的像素密度比具有上述第1颜色成分的多个摄像用像素大。
8.根据权利要求1所述的图像处理装置，其特征在于，
上述高频成分附加部在上述高频成分的大小小于规定值时，抑制上述高频成分的附加。
9.根据权利要求8所述的图像处理装置，其特征在于，
上述规定值是上述多个摄像像素的像素值的变化率较小的平坦区域中的高频成分的推测误差的最大值。
10.根据权利要求1所述的图像处理装置，其特征在于，
还具有方向变动计算部，使用上述焦点检测用像素附近的多个摄像用像素的像素值，计算出作为分别与多个方向相对的上述像素值的变化率的方向变动，
上述像素内插部，根据相对于上述焦点检测用像素位于上述方向变动最小方向的摄像用像素的像素值，计算上述内插像素值。
11.根据权利要求10所述的图像处理装置，其特征在于，
上述焦点检测用像素在规定的排列方向上一维排列，
上述高频成分附加部，在相对于上述排列方向相交的方向上的上述方向变动小于规定值时，抑制上述高频成分的附加。
12.根据权利要求10所述的图像处理装置，其特征在于，
上述焦点检测用像素有多个，并在规定的排列方向上一维排列，
上述高频成分附加部，在上述排列方向上的上述方向变动大于规定值时，抑制上述高频成分的附加。
13.根据权利要求1所述的图像处理装置，其特征在于，
具有：光学信息取得部，取得上述图像的摄影中使用的光学系统相关的信息；和
像素值调整部，根据上述光学信息，调整上述焦点检测用像素的像素值或上述评价像素值中的至少一个，
上述高频成分计算部，使用由上述像素值调整部调整了至少其中一个的上述焦点检测用像素的像素值和上述评价像素值，计算上述图像的高频成分。
14.根据权利要求2所述的图像处理装置，其特征在于，具有：
光学信息取得部，取得上述图像的摄影中使用的光学系统相关的信息；和
加权系数调整部，根据上述光学信息调整上述加权系数。
15.根据权利要求13或14所述的图像处理装置，其特征在于，
上述光学信息取得部取得上述光学系统的F值、PO值、焦点检测用像素位置中的至少一个。
16.根据权利要求1所述的图像处理装置，其特征在于，
具有饱和判断部，判断上述焦点检测用像素的像素值或上述焦点检测用像素附近的摄像用像素的像素值的饱和，
上述高频成分附加部根据上述饱和判断部的判断结果，抑制上述高频成分的附加。
17.根据权利要求16所述的图像处理装置，其特征在于，
上述高频成分附加部，在上述饱和判断部判断上述焦点检测用像素的像素值饱和、且上述高频成分为负时，抑制上述高频成分的附加。
18.根据权利要求16所述的图像处理装置，其特征在于，
上述高频成分附加部，在上述饱和判断部判断上述焦点检测用像素附近的摄像用像素的像素值饱和、且上述高频成分为正时，抑制上述高频成分的附加。
19.一种摄像装置，其特征在于，具有：
摄像元件；和
权利要求1所述的图像处理装置。
20.一种图像处理程序，用于由计算机实现以下步骤：
存储步骤，存储摄像元件的焦点检测用像素的位置，上述摄像元件具备具有与多种颜色成分分别对应的光谱特性的多个摄像用像素、及具有与上述多个摄像用像素不同的光谱特性的焦点检测用像素；
像素内插步骤，在由上述摄像元件生成的图像中，使用上述焦点检测用像素附近的摄像用像素的像素值，生成上述焦点检测用像素的内插像素值；
附近像素推测步骤，计算出评价像素值，该评价像素值是上述附近的摄像用像素具有与上述焦点检测用像素相同的光谱特性时的像素值；
高频成分计算步骤，使用上述焦点检测用像素的像素值和上述评价像素值，计算出上述图像的高频成分；和
高频成分附加步骤，向上述内插像素值附加上述高频成分，计算出上述焦点检测用像素的摄像用像素值。
CN200910007453.6A 2008-02-14 2009-02-13 图像处理装置、摄像装置及图像处理程序 Active CN101510040B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2008033510 2008-02-14
JP2008033510 2008-02-14
JP2008-033510 2008-02-14
JP2008126049 2008-05-13
JP2008-126049 2008-05-13
JP2008126049 2008-05-13
JP2009-013131 2009-01-23
JP2009013131 2009-01-23
JP2009013131A JP5200955B2 (ja) 2008-02-14 2009-01-23 画像処理装置、撮像装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN101510040A true CN101510040A (zh) 2009-08-19
CN101510040B CN101510040B (zh) 2014-06-04

Family

ID=40404964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910007453.6A Active CN101510040B (zh) 2008-02-14 2009-02-13 图像处理装置、摄像装置及图像处理程序

Country Status (4)

Country Link
US (1) US8243158B2 (zh)
EP (1) EP2091260A3 (zh)
JP (1) JP5200955B2 (zh)
CN (1) CN101510040B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404499A (zh) * 2010-09-08 2012-04-04 奥林巴斯映像株式会社 可连拍摄影的数字照相机
CN102857692A (zh) * 2011-06-30 2013-01-02 株式会社尼康 摄像装置、图像处理装置和图像处理方法
CN103391397A (zh) * 2012-05-07 2013-11-13 佳能株式会社 使用相位差方法进行焦点检测的焦点检测设备和摄像设备
CN103916575A (zh) * 2012-12-28 2014-07-09 佳能株式会社 摄像元件、摄像设备及其控制方法
CN104755981A (zh) * 2012-11-14 2015-07-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法和图像处理程序
CN105075235A (zh) * 2013-03-27 2015-11-18 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN105580349A (zh) * 2013-09-27 2016-05-11 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN106303212A (zh) * 2015-06-25 2017-01-04 奥林巴斯株式会社 拍摄装置和拍摄方法
TWI774418B (zh) * 2021-06-11 2022-08-11 大陸商廣州立景創新科技有限公司 相機模組、對焦調整系統及對焦方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
KR101725044B1 (ko) * 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
US8767117B2 (en) 2010-06-09 2014-07-01 Fujifilm Corporation Imaging device and method to correct the focus detection pixels using peripheral standard pixels and correcting defective peripheral standard pixels as well if found
JP5697433B2 (ja) * 2010-12-22 2015-04-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5954964B2 (ja) 2011-02-18 2016-07-20 キヤノン株式会社 撮像装置およびその制御方法
US8908062B2 (en) 2011-06-30 2014-12-09 Nikon Corporation Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program
JP2013125046A (ja) * 2011-12-13 2013-06-24 Nikon Corp 撮像装置及びカメラシステム
EP2624569B1 (en) 2012-02-06 2016-09-28 Harvest Imaging bvba Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing the same
KR101663947B1 (ko) * 2012-12-28 2016-10-12 캐논 가부시끼가이샤 촬상소자, 촬상장치, 그 제어 방법, 및 기억매체
JP6099536B2 (ja) * 2013-09-27 2017-03-22 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6525522B2 (ja) * 2014-07-10 2019-06-05 キヤノン株式会社 画像処理装置および画像処理方法
KR102224851B1 (ko) 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541653A (en) 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
JP2002525722A (ja) * 1998-09-15 2002-08-13 フェーズ・ワン・アクティーゼルスカブ 画像処理方法とシステム
US6819360B1 (en) 1999-04-01 2004-11-16 Olympus Corporation Image pickup element and apparatus for focusing
JP4007716B2 (ja) 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
JP2003250080A (ja) * 2002-02-22 2003-09-05 Canon Inc 撮影装置および撮影システム
JP2005175547A (ja) * 2003-12-05 2005-06-30 Canon Inc 傷補正回路
KR100636971B1 (ko) * 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 이미지센서의 포커스 데이타 생성 장치 및 방법
JP5023480B2 (ja) * 2005-12-02 2012-09-12 株式会社ニコン 電子カメラ
US7711261B2 (en) 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP4935162B2 (ja) * 2006-04-11 2012-05-23 株式会社ニコン 撮像装置、カメラおよび画像処理方法
JP4770560B2 (ja) 2006-04-11 2011-09-14 株式会社ニコン 撮像装置、カメラおよび画像処理方法
JP4935161B2 (ja) * 2006-04-11 2012-05-23 株式会社ニコン 撮像装置、カメラおよび画像処理方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404499B (zh) * 2010-09-08 2015-06-03 奥林巴斯映像株式会社 可连拍摄影的数字照相机
CN102404499A (zh) * 2010-09-08 2012-04-04 奥林巴斯映像株式会社 可连拍摄影的数字照相机
CN102857692A (zh) * 2011-06-30 2013-01-02 株式会社尼康 摄像装置、图像处理装置和图像处理方法
CN103391397B (zh) * 2012-05-07 2016-12-28 佳能株式会社 使用相位差方法进行焦点检测的焦点检测设备和摄像设备
CN103391397A (zh) * 2012-05-07 2013-11-13 佳能株式会社 使用相位差方法进行焦点检测的焦点检测设备和摄像设备
CN104755981A (zh) * 2012-11-14 2015-07-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法和图像处理程序
CN104755981B (zh) * 2012-11-14 2017-04-12 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN103916575A (zh) * 2012-12-28 2014-07-09 佳能株式会社 摄像元件、摄像设备及其控制方法
US9609223B2 (en) 2012-12-28 2017-03-28 Canon Kabushiki Kaisha Image pickup element, image pickup apparatus, and method and program for controlling the same
CN105075235A (zh) * 2013-03-27 2015-11-18 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN105075235B (zh) * 2013-03-27 2018-07-06 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
CN105580349A (zh) * 2013-09-27 2016-05-11 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105580349B (zh) * 2013-09-27 2018-08-14 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN106303212A (zh) * 2015-06-25 2017-01-04 奥林巴斯株式会社 拍摄装置和拍摄方法
CN106303212B (zh) * 2015-06-25 2019-04-09 奥林巴斯株式会社 拍摄装置和拍摄方法
TWI774418B (zh) * 2021-06-11 2022-08-11 大陸商廣州立景創新科技有限公司 相機模組、對焦調整系統及對焦方法

Also Published As

Publication number Publication date
US20090207264A1 (en) 2009-08-20
US8243158B2 (en) 2012-08-14
JP2009303194A (ja) 2009-12-24
EP2091260A2 (en) 2009-08-19
EP2091260A3 (en) 2010-09-15
CN101510040B (zh) 2014-06-04
JP5200955B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
CN101510040B (zh) 图像处理装置、摄像装置及图像处理程序
US6611289B1 (en) Digital cameras using multiple sensors with multiple lenses
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN103312970B (zh) 图像合成设备和图像合成方法
CN105359024B (zh) 摄像装置和摄像方法
CN102685511B (zh) 图像处理设备和图像处理方法
CN103444183B (zh) 彩色摄像元件及摄像装置
JP5448621B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2006146194A (ja) 複数の開口を有するフィルタを用いるオートフォーカス
US7269281B2 (en) Method for measuring object based on image and photographing apparatus
CN102006485B (zh) 图像处理装置及图像处理方法
JP5136209B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
JP2008011289A (ja) デジタルカメラ
US5872643A (en) Film image reproducing apparatus using a domestic light condition or an undomestic light condition for generation of a designated area
JP6198395B2 (ja) 撮像装置及びその制御方法
JP6257260B2 (ja) 撮像装置及びその制御方法
JP6056160B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
JP5412945B2 (ja) 撮像素子、画像処理装置、撮像装置及び画像処理プログラム
CN105359517B (zh) 图像处理装置和图像处理方法
JP2003322902A (ja) 撮像装置、及び輝度分布図表示方法
US7956911B2 (en) Digital photographing apparatus, and method and program for controlling the same
US20220385827A1 (en) Image processing device, image processing method, imaging device, and storage medium
JP5109804B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
JP7346021B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant