CN104662887B - 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备 - Google Patents

图像处理设备、图像处理方法和具有该图像处理设备的摄像设备 Download PDF

Info

Publication number
CN104662887B
CN104662887B CN201380049160.9A CN201380049160A CN104662887B CN 104662887 B CN104662887 B CN 104662887B CN 201380049160 A CN201380049160 A CN 201380049160A CN 104662887 B CN104662887 B CN 104662887B
Authority
CN
China
Prior art keywords
area
pixel
photographed images
sub
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380049160.9A
Other languages
English (en)
Other versions
CN104662887A (zh
Inventor
福田浩
福田浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104662887A publication Critical patent/CN104662887A/zh
Application granted granted Critical
Publication of CN104662887B publication Critical patent/CN104662887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Abstract

一种图像处理设备，其用于处理摄像元件的子像素的摄像信号、并且生成摄像图像的图像数据，其中，所述摄像元件包括多个单位像素，所述多个单位像素的每一个单位像素具有用于接收穿过调焦光学系统的不同部分光瞳区域的光的多个子像素，所述图像处理设备获取所述摄像图像的聚焦信息；基于所述获取的聚焦信息，在所述摄像图像上设置第一区域和不同于所述第一区域的第二区域；并且将从所述摄像元件所获取的所述子像素的摄像信号中的一部分相加，从而使得与所述第一区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量大于与所述第二区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量。

Description

图像处理设备、图像处理方法和具有该图像处理设备的摄像 设备
技术领域
本发明涉及一种图像处理设备、图像处理方法、程序和具有该图像处理设备的摄像设备，尤其涉及用于对视差图像或用于重调焦的图像数据进行处理的图像处理设备、图像处理方法和程序，以及具有该图像处理设备的摄像设备。
背景技术
提出了这样一种摄像设备，其中，该摄像设备将摄像镜头的出射光瞳分割成多个区域，并且可以同时拍摄与分割的光瞳区域相对应的多个视差图像。
PTL 1公开了一种具有二维摄像元件的摄像设备，其中，在该二维摄像元件中，一个像素对应于一个微透镜，并且像素由多个分割的光电转换单元形成。分割的光电转换单元配置成通过一个微透镜接收来自摄像镜头的出射光瞳的不同的部分光瞳区域的光，并且进行光瞳分割。根据通过对分割的光电转换单元中的每一个所接收到的被摄体光进行光电转换所生成的图像信号，可以形成与分割的部分光瞳区域相对应的多个视差图像。PTL 2公开了这样一种技术：通过对从分割的光电转换单元所输出的所有图像信号进行逐像素相加来生成摄像图像。
多个拍摄的视差图像相当于用作光强度的空间分布信息和角度分布信息的光场(LF)数据。NPL 1公开了这样一种重调焦技术，该技术通过使用所获取的LF数据在不同于摄像平面的虚拟聚焦平面上形成图像来在摄像之后改变摄像图像的聚焦位置。
文献列表
专利文献
PTL 1:美国专利4410804
PTL 2:日本特开2001-083407
非专利文献
NPL 1:Stanford Tech Report CTSR 2005-02,1(2005)
发明内容
技术问题
然而，存在下面的问题：由于LF数据由多个视差图像构成、并且除光强度的空间分布信息以外，还包含每一像素的角度分布信息，因而数据量大。
考虑到上述问题做出本发明，并且本发明的目地是提供一种可以保持必要信息、并且抑制LF数据的数据量的图像处理设备和方法。
问题的解决方案
根据本发明，提供一种图像处理设备，其用于对通过摄像元件所获取的子像素的摄像信号进行处理，并且生成通过所述摄像元件所拍摄的摄像图像的图像数据，其中，所述摄像元件通过排列多个像素来构成，所述多个像素中的每一个像素由用于接收穿过调焦光学系统的不同部分光瞳区域的光的多个子像素构成，所述图像处理设备包括：区域设置单元，用于在所述摄像图像上设置至少一个区域；相加处理单元，用于对所设置的区域的子像素的摄像信号进行相加处理；图像处理单元，用于基于所述区域设置单元所设置的区域的子像素的摄像信号来获得聚焦信息，控制所述区域设置单元以基于所获得的聚焦信息设置第一区域和不同于所述第一区域的第二区域，并且控制所述相加处理单元以对所设置的第一区域和第二区域的子像素的摄像信号进行不同程度的相加处理，从而生成第一图像数据和第二图像数据作为拍摄图像的图像数据。
发明的优点效果
根据本发明的图像处理设备，可以在保持必要信息的同时，抑制LF数据的数据量。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是应用根据本发明实施例的图像处理的摄像设备的框图。
图2是示意性示出根据本发明实施例的摄像元件中的像素阵列的图。
图3A和3B是示出根据本发明实施例的摄像元件的像素结构的图。
图4A、4B、4C和4D是示出在光学上大体相当于根据本发明实施例的摄像元件的像素结构的像素结构的图。
图5是概念性示出根据本发明实施例的摄像元件中的像素和光瞳分割之间的关系的图。
图6是概念性示出根据本发明实施例的摄像元件和光瞳分割之间的关系的图。
图7是概念性示出根据本发明实施例的摄像元件中的视差图像之间的图像移位量和离焦量的图。
图8是概念性示出根据本发明实施例的摄像元件中的子像素和可以获取的角度信息之间的关系的图。
图9A和9B是概念性示出根据本发明实施例的摄像元件中的重调焦处理的图。
图10是示出根据本发明第一实施例的图像处理操作的流程图的图。
图11是示意性示出根据本发明第一实施例的图像处理操作的流程的图。
图12是示出根据本发明实施例的摄像元件的读出电路的图。
图13是示出根据本发明第一实施例的记录数据的结构的图。
图14是示出本发明第一实施例中的第一区域和第二区域的另一设置例子的图。
图15是示出根据本发明第二实施例的图像处理操作的流程图的图。
图16是示意性示出根据本发明第二实施例的图像处理操作的流程的图。
具体实施方式
下面基于附图详细说明本发明的典型实施例。
实施例1
图1是示出用作应用根据本发明的图像处理设备和方法的摄像设备的照相机的结构的框图。该摄像设备具有如稍后所述的可以获取LF数据的摄像元件。
在该图中，第一透镜组101配置在调焦光学系统前面，并且保持为可在光轴方向上前后移动。光圈快门102通过调节开口直径，进行摄像时的光量调节，并且还具有作为用于对静止图像的摄像时的曝光时间进行调节的快门的功能。设置有第二透镜组103。光圈快门102和第二透镜组103在光轴方向上整体前后移动，从而通过与第一透镜组101的向后/向前操作的联动来实现变倍效果(缩放功能)。
第三透镜组105通过在光轴方向上的向后/向前运动来进行焦点调节。光学低通滤波器106是用于降低摄像图像的伪色和摩尔纹的光学元件。摄像元件107由二维CMOS光电传感器和外围电路构成，并且被配置在调焦光学系统的调焦平面上。
为了进行变倍操作，变焦致动器111转动凸轮筒(未示出)，并且在光轴方向上前后驱动第一透镜组101或者第三透镜组105。为了调节摄像光量，光圈快门致动器112控制光圈快门102的开口直径，并且控制静止图像的摄像时的曝光时间。为了进行焦点调节，调焦致动器114在光轴方向上前后驱动第三透镜组105。
尽管优选将使用氙气管的闪光照明设备作为用于在摄像时照明被摄体的电子闪光灯115，但是可以使用具有连续发光LED的照明设备。AF辅助光单元116通过光投影透镜将具有预定开口图案的掩模的图像投影至视野，从而提高对暗被摄体或者低对比度被摄体的焦点检测能力。
设置在照相机中的CPU 121进行对照相机机体的各种类型的控制。CPU 121具有算术运算单元、ROM、RAM、A/D转换器、D/A转换器和通信接口电路等。CPU 121装载并执行存储在ROM中的预定程序，从而驱动和控制对于照相机所设置的各种类型的电路、并且实现AF、摄像、图像处理和诸如记录等的一系列操作。因此，CPU 121是构成根据本发明的图像处理设备的单元，并且进行图像处理设备中的图像处理控制。
电子闪光灯控制单元122与摄像操作同步控制照明单元115的on/off。辅助光驱动单元123与焦点检测操作同步控制AF辅助光单元116的on/off。摄像元件驱动单元124控制摄像元件107的摄像操作，对所获取的摄像信号进行 A/D转换，并且发送至CPU 121。图像处理单元125对通过摄像元件107所获取的图像信号执行诸如伽马转换、颜色插值和JPEG压缩等的处理。
调焦驱动单元126基于焦点检测结果驱动调焦致动器114，并且在光轴方向上前后驱动第三透镜组105以进行焦点调节。光圈快门驱动单元128驱动光圈快门致动器112，并且控制光圈快门102的开口。变焦驱动单元129根据拍摄者的变焦操作，驱动变焦致动器111。
诸如LCD等的显示单元131显示与照相机的摄像模式有关的信息、摄像之前的预览图像、摄像之后用于确认的图像和焦点检测时的聚焦状态显示图像等。操作开关组132由电源开关、释放(摄像触发器)开关、变焦操作开关和摄像模式选择开关等构成。通过记录单元134，以预定记录格式将摄像图像记录在可拆卸的闪速存储器133中。
接着说明对于摄像设备所设置的摄像元件107。
图2示意性示出根据本实施例的摄像元件107的像素阵列和子像素阵列。
图2通过(4行×4列)的范围示出根据本实施例的二维CMOS传感器(摄像元件)的像素阵列。由于根据本实施例的摄像元件的每一像素被分成(4×4)子像素，因而图2示出在考虑子像素阵列时的(16行×16列的)子像素的范围。实际摄像元件不局限于图2所示的像素阵列(4行×4列)(16行×16列的子像素阵列)，但是可以以在光接收平面上配置许多像素的方式来构成，从而使得能够拍摄被摄体图像。通过假定下面的摄像元件来说明本实施例：在该摄像元件中，像素周期ΔX等于9.2μm、并且有效像素的数量NLF等于10.14百万像素 (＝横向上的3900列×垂直方向上的2600行)，而子像素周期Δx等于2.3μm，并且有效子像素的数量N等于162百万像素(＝横向上的15600列×垂直方向上的 10400行)。
在本实施例中，在图2所示的(2行×2列)的像素组200中，分别将具有R(红色)光谱灵敏度的像素200R配置在左上位置处，将具有G(绿色)光谱灵敏度的像素200G配置在右上位置和左下位置处，并且将具有B(蓝色)光谱灵敏度的像素200B配置在右下位置处。此外，在每一像素中，二维配置Nθ×Nθ(4行×4 列)的子像素201～216。
图3A示出在摄像元件的光接收侧(+z侧)观看的情况下，图2所示的摄像元件的一个像素200G的平面图。图3B示出在－y侧观看的情况下，沿图3A中的线3B-3B所截取的横断面图。
如图3A和3B所示，在本实施例的像素200G中，分别形成用于将入射光会聚至各像素的光接收平面的微透镜350，并且形成在x方向上分成Nθ个区域 (4分)和在y方向上分成Nθ个区域(4分)的光电转换单元301～316。光电转换单元301～316分别对应于子像素201～216。
光电转换单元301～316中的每一个可以是在p型层和n型层之间插入本征层的pin结构光电二极管、或者根据需要省略本征层的pn结光电二极管。
在各像素中，在微透镜350和光电转换单元301～316之间形成颜色滤波器360。可以针对每一子像素改变颜色滤波器的光谱透射率，或者可以根据需要省略颜色滤波器。
入射图3A和3B所示的像素200G的光通过微透镜350进行会聚，通过颜色滤波器360进行分色，并且在此后，通过光电转换单元301～316进行接收。
在光电转换单元301～316中，根据光接收量，通过对产生(pair production) 生成电子和空穴，并且通过耗尽层将其分开。此后，负电荷的电子被积累在 n型层(未示出)中，并且另一方面，通过与恒压源(未示出)连接的p型层，将空穴排出至摄像元件外部。
在本实施例中，如图3B所示，每隔两个光电转换单元在其右侧和左侧形成电容器部(FD：浮置扩散)320和传送栅极330。在电容器部(FD)320的微透镜350侧上形成配线层340。
积累在光电转换单元301～316的n型层(未示出)中的电子通过传送栅极 330被传送至电容器部(FD)320、转换成电压信号、并且作为光电转换信号输出。
在本实施例中，如图3A和3B所示，通过Nθ(4)个子微透镜351～354，以各子微透镜的光轴(顶点)在不同方向上偏离、并且相邻子微透镜相互处于线接触这样的形状，来形成微透镜350。图3B中的长短交替的虚线表示子微透镜的光轴(顶点)。将光电转换单元分成Nθ×Nθ(4×4)区域，并且将电容器部 (FD)320与光电转换单元301～316相邻配置。此外，在微透镜350和FD 320之间形成还用作遮光层的配线层340。将FD 320与光电转换单元301～316相邻地配置在通过微透镜所会聚的光没有入射的区域中。
图4A和4B示出通过图3A和图3B所示的包括各自的光轴(顶点)偏离的多个子微透镜的微透镜350和多个分割的光电转换单元301～316所构成的、本实施例的像素的示意性横断面图和示意性平面图。图4C和4D示出与本实施例中的像素的结构在光学上大体相当的像素结构的示意性横断面图和示意性平面图。如果以构成微透镜的所有子微透镜的光轴(顶点)相互重叠这样的方式重构图4A和4B所示的本实施例的像素结构，则该像素结构变成在光学上大体相当于图4C和4D所示的像素结构。可以在光学上抑制像素中心部分中的光电转换单元306、307、310和311之间的绝缘区域的影响、以及FD 320 和还用作遮光层的配线层340的区域的影响。
图5概念性示出如图4C和4D所示的像素结构的光电转换单元和光瞳分割之间的光学对应关系，其中，如图4C和4D所示的像素结构在光学上大体相当于本实施例中的像素结构，并且在该像素结构中，消除了像素中心部分中的绝缘区域和配线层。该图示出在+y侧观看在光学上大体相当于本实施例中的像素结构的如图4C和4D所示的像素结构的、沿线4C-4C所截取的横断面图的情况下的横断面，并且还示出调焦光学系统的出射光瞳平面。在图5中，为了获取与出射光瞳平面的坐标轴的对应关系，与图3A、3B和4A～4D 中的相比较，该横断面图的x轴和y轴被颠倒。
摄像元件配置在摄像镜头(调焦光学系统)的调焦平面附近。来自被摄体的光束穿过调焦光学系统的出射光瞳400，并且入射至各像素。部分光瞳区域501～516通过微透镜与Nθ×Nθ(4×4)分割的光电转换单元301～316(子像素 201～216)大体共轭，并且示出每一光电转换单元(子像素)的可接收光的部分光瞳区域。光瞳区域500是在合成所有Nθ×Nθ(4×4)分割的光电转换单元301～ 316(子像素201～216)的情况下，整个像素200G中的可接收光的光瞳区域。
在光瞳距离等于数十毫米时，由于微透镜350的直径等于数微米，因而微透镜350的光圈值等于数万，并且发生数十毫米水平的衍射模糊。因此，光电转换单元的光接收平面处的图像不会变成有效光瞳区域或者部分光瞳区域，而是变成光瞳强度分布(光接收比的入射角度的分布)。
图6概念性示出本实施例的摄像元件和光瞳分割之间的对应关系。穿过部分光瞳区域501～516中的不同部分光瞳区域的光束，以不同角度入射至摄像元件的像素，并且分别通过Nθ×Nθ(4×4)个分割光电转换单元301～316(子像素201～216)接收。因此，可以通过本实施例的摄像元件获取示出光强度的空间分布和角度分布的LF数据。本实施例中的LF数据是通过对多个像素进行配置所形成的摄像元件来获取的，其中，在每一个像素中，设置用于接收穿过调焦光学系统的不同部分光瞳区域的光束的多个子像素。
从LF数据中，通过从各像素的子像素201～216中选择特定子像素的信号，获取与调焦光学系统的部分光瞳区域501～516中的特定部分光瞳区域相对应的视差图像。例如，通过对于每一像素选择子像素209(光电转换单元309) 的信号，可以获取具有与调焦光学系统的部分光瞳区域509相对应的有效像素数量的分辨率的视差图像。这同样适用于其它子像素。因此，在本实施例中，通过对多个像素进行排列所构成的摄像元件来获取每一不同部分光瞳区域的多个(光瞳分割数量Np＝Nθ×Nθ个)视差图像，其中，每一个像素由用于接收穿过调焦光学系统的不同部分光瞳区域的光束的多个子像素构成。
通过对于每一像素将所有子像素201～216的信号相加，可以生成具有有效像素数量的分辨率的摄像图像。
接着说明从根据本实施例的摄像元件所获取的LF数据的离焦量和图像移位量之间的关系。
图7是概念性示出视差图像之间的图像移位量和离焦量之间的关系的图。根据本实施例的摄像元件(未示出)被配置在摄像平面800处，并且以与图 5和6相同的方式将调焦光学系统的出射光瞳400分割成Np(16)个部分光瞳区域501～516。
假定大小|d|等于从被摄体的聚焦位置到摄像平面的距离、被摄体的焦点在摄像平面的被摄体侧的状态是负的(d<0)、并且被摄体的焦点在摄像平面的对侧的状态是正的(d>0)，定义离焦量d。被摄体的焦点在摄像平面上的聚焦状态为d＝0。在图7中，示出被摄体701处于聚焦状态(d＝0)的例子，并且示出被摄体702处于其焦点在摄像平面的被摄体侧的状态(d<0)的例子。假定将被摄体的焦点在摄像平面的被摄体侧的状态(d<0)和被摄体的焦点在摄像平面的对侧的状态(d>0)总称为离焦状态(|d|>0)。
在被摄体的焦点在摄像平面的被摄体侧的状态下(d<0)，来自被摄体702 的光束中穿过部分光瞳区域509(501～516)的光束发生会聚，此后，散布至将光束的重心G09(G01～G16)的位置设置成中心、宽度为Γ09(Γ01～Γ16)的区域，并且该光束在摄像平面800处变成模糊图像。通过构成摄像元件中所配置的各像素的子像素209(201～216)接收模糊图像，并且生成视差图像。因此，在根据子像素209(201～216)的信号所生成的视差图像中，将被摄体702 作为以被摄体图像的模糊宽度Γ09(Γ01～Γ16)而模糊的模糊被摄体图像而记录在重心G09(G01～G16)的位置处。被摄体图像的模糊宽度Γ09(Γ01～Γ16)与离焦量d的大小|d|的增大大体成正比地增大。类似地，视差图像之间的被摄体图像的图像移位量p(＝光束的重心的位置之间的差：例如，G09-G12等)的大小|p|，也与离焦量d的大小|d|的增大大体成正比地增大。另外，在被摄体的焦点在摄像平面的对侧的状态下(d>0)，尽管视差图像之间的被摄体图像的图像移位方向与被摄体的焦点在摄像平面的被摄体侧的状态下(d<0)的图像移位方向相反，但是发生相同现象。在聚焦状态下(d＝0)，视差图像之间的被摄体图像的重心的位置一致(p＝0)，并且不会发生图像移位。
因此，在本发明的LF数据中，与LF数据的离焦量的大小的增大相关联，根据LF数据所生成的、针对每一不同部分光瞳区域的多个视差图像之间的图像移位量的大小增大。
在本实施例中，通过根据视差图像之间的图像移位量的大小与LF数据的离焦量的大小的增大相关联地增大这一关系、利用相关算术运算计算视差图像之间的图像移位量，来进行摄像平面相位差方法的焦点检测。尽管可以在 CPU 121的控制下，通过图像处理单元125进行这一计算，但是可以根据需要，通过使用与摄像元件分开构成的、相位差方法的焦点检测设备来进行焦点检测。可以通过使用LF数据来进行对比度方法的焦点检测。
接着说明使用从摄像元件所获取的上述LF数据的重调焦处理和这种情况下的重调焦可能范围。
图8概念性示出本实施例中的子像素和可以获取的角度信息之间的关系。假定子像素周期等于Δx、并且每一像素的子像素的分割数量Np等于 Np＝Nθ×Nθ，如该图所示，则像素周期为ΔX＝NθΔx。假定角分辨率等于Δθ、并且用于观察调焦光学系统的出射光瞳的角度等于θ，那么Δθ＝θ/Nθ。当使用近轴近似时，假定调焦光学系统的光圈值等于F，关系式基本成立。每一子像素212～209接收入射至像素的所有光束中的、从入射角度θ0到入射角度θ3的范围内的光束。具有角分辨率Δθ的宽度的入射角度的光束入射至每一子像素。
图9A示出本实施例中的重调焦处理的概念图。
在图9A中，通过线段示意性示出配置在摄像平面处的摄像元件的各像素 Xi(i＝0～NLF–1)。通过各子像素接收以角度θa(a＝0～NΘ-1)入射第i像素Xi的光束。假定所接收到的子像素信号是Li,a(a＝0～NΘ-1)。在本实施例的摄像元件中，可以获取用作光强度的空间分布和角度分布信息的LF数据，并且该LF 数据由每一不同部分光瞳区域的多个视差图像构成。
在摄像之后，可以根据LF数据生成不同于以下摄像平面的虚拟调焦平面图像(重调焦处理)，其中，摄像元件配置在该摄像平面处，并且从该摄像平面获取子像素信号Li,a。将所有子像素信号Li,a沿各角度θa、从摄像平面平行移动至虚拟调焦平面，以使其分配至虚拟调焦平面处的各虚拟像素，并且对其进行加权加法，从而使得可以生成虚拟调焦平面处的重调焦图像。对于在加权加法中所使用的系数，所有值都是正的，并且它们的和等于1。
图9B示出本实施例中的重调焦可能范围的概念图。假定通过δ表示容许模糊圆、并且调焦光学系统的光圈值等于F，光圈值F时的景深等于±Fδ。另一方面，(Nθ×Nθ)分割的窄部分光瞳区域的有效光圈值F09(F01～F16)等于 F09＝NθF，这样更暗。各视差图像的有效景深等于更深Nθ倍的±NθFδ。将聚焦范围加宽Nθ倍。在有效景深±NθFδ的范围中，由于获取了对于每一视差图像都处于聚焦的被摄体图像，因而在摄像之后，可以通过用于沿上述角度θa平行移动每一视差图像的重调焦处理，再次调整聚焦位置(重调焦)。在有效景深±NθFδ的范围外，由于仅获取了模糊的被摄体图像，因而不能再次调整聚焦位置(重调焦)。
因此，从在摄像之后可以再次调整聚焦位置(重调焦)的摄像平面的离焦量d受限，并且离焦量d的重调焦可能范围大体等于通过下面的公式(1)所示的范围：
|d|≤NθFδ...(1)
其中，通过δ＝2ΔX(像素周期ΔX的奈奎斯特频率1/(2ΔX)的倒数)等指定容许模糊圆δ。
接着通过使用图10～14，说明用于保持根据从本实施例的摄像元件所获取的LF数据进行重调焦所需的信息、并且生成数据量被抑制的压缩LF数据的图像处理方法。通过用作本发明的图像处理单元的CPU 121(程序)和图像处理单元125，执行参考图10所述的操作。尽管还通过图像处理单元125执行信号数据的加法(加法处理单元)，但是如果通过摄像元件107中的加法读出至少部分执行这一操作，则可以降低(可以分担)该处理的负荷。
图10是示出本实施例的图像处理操作的流程图的图。图11是示意性示出通过使用摄像图像来进行本实施例的图像处理操作的流程的图。在图11中， (A)～(F)分别对应于图10中的步骤(A)～(F)。该图示意性并且示例性示出设置在显示画面上、并且经过了不同图像处理的区域。图12示出根据本实施例的摄像元件的像素电路的结构和可以通过加法或者非加法读出像素中的子像素的光电转换信号的结构。尽管为了便于说明，图12仅示出一个像素中的子像素读出电路的结构，但是实际上，设备对于配置在光接收平面上的、并且用于摄像图像的所有像素，都具有相同的电路结构。下面顺着图10和11所示的附图标记A～F，说明本实施例的图像处理。
在步骤(A)，如图11中的1120所示，将要聚焦的焦点检测区域1100设置成摄像区域(设置单元)。
接着，读出焦点检测区域1100的LF数据，进行摄像平面相位差方法的焦点检测，并且计算焦点检测区域1100的离焦量d1100。根据所计算出的离焦量 d1100驱动镜头，从而使焦点检测区域1100中的被摄体图像处于聚焦状态。可以通过使用与摄像元件分开构成的、相位差方法的焦点检测设备来进行焦点检测区域1100的焦点检测。可以进行对比度方法的焦点检测，其中，所述对比度方法根据通过使用LF数据所生成的多个重调焦图像的对比度评价值，进行焦点检测。
在步骤(B)，如图11中的1130所示，设置包括焦点检测区域1100的第一区域1101a。读出所设置的第一区域1101a的LF数据，对于第一区域1101a的多个部分光瞳区域的每一个，进行相位差方法的焦点检测，并且计算离焦图(聚焦信息)。基于所计算出的离焦图，再次设置第一区域1101a，以包括离焦量d 的大小小于预定值(|d|≤d0)的区域。在再次设置第一区域1101a之后，将从摄像元件的整个区域中排除第一区域1101a的区域，设置为第二区域1102a。希望根据通过公式(1)所示的重调焦可能范围将预定值d0设置成d0＝NθFδ，从而使得第一区域1101a包括重调焦可能区域。然而，在需要时，可以根据摄像平面改变离焦量d的基准。
还可以以下面的方式来配置：根据需要，设置不包括焦点检测区域1100 的第二区域1102a，计算离焦图，并且基于所计算出的离焦图，再次设置第二区域、并且设置第一区域。也就是说，还可以以下面的方式来配置：再次设置第二区域1102a，以包括离焦量d的大小大于预定值d0(|d|>d0)的区域，并且将从摄像元件的整个区域中排除第二区域1102a的区域设置为第一区域 1101a。
因此，在本实施例中，根据LF数据的离焦量，选择第一区域1101a和第二区域1102a。
在运动被摄体等的摄像中优选设置处理速度的情况下，可以根据需要省略如上所述的用于进行离焦图的计算和第一区域1101a的重新设置的处理。
还可以以下面的方式来配置：在步骤(A)仅进行焦点检测区域1100的设置，并且在步骤(B)设置了第一区域1101a和第二区域1102a之后，驱动镜头，从而使得焦点检测区域1100中的被摄体图像处于聚焦状态。
在步骤(C)，如图11中的1160所示，生成与第一区域相对应的图像数据。首先，分别读出第一区域1101a的LF数据，作为每一像素的子像素201～216 的信号数据。原样使用读出信号数据作为与本实施例中的第一区域相对应的图像数据。
现通过使用图12来说明在对于本实施例中的摄像元件的各像素分别读出子像素的信号数据的情况下的读出操作控制。在该图中，P01～P16分别表示与子像素201～216(光电转换单元301～316)相对应的光电二极管(PD)。VDD和VSS表示电源电压。表示为了将光电转换信号从PD传送至FD而从垂直扫描电路1202所提供的传送栅极电压。和表示为了复位PD而从垂直扫描电路1202向复位线1208和1209所提供的复位栅极电压。和表示从垂直扫描电路1202向行选择线1210和1211所提供的行选择电压。表示负载电压。设置垂直输出线1204和1205以通过水平扫描电路1201将从 PD传送至FD的光电转换信号读出至水平输出线1207。
首先，为了复位每一子像素的PD，垂直扫描电路1202同时接通所有行的传送栅极电压以及复位栅极电压和此后，从垂直扫描电路1202同时切断传送栅极电压以及复位栅极电压和的时刻开始，积累操作开始。在积累操作中，每一子像素的PD(P01～P16)根据光接收量，将信号电荷积累在各子像素的PD(P01～P16)的n型层中。
与机械快门同步进行积累预定时间。此后，垂直扫描电路1202首先接通传送栅极电压并且然后再次断开，从而分别将子像素P01、P03、P09 和P11的信号电荷传送给相应FD。
接着，当垂直扫描电路1202接通行选择电压并且水平扫描电路1201 顺序选择垂直输出线1204和1205时，通过CDS(相关双采样)电路1203将信号电荷P01和P03顺序读出至水平输出线1207。此后，垂直扫描电路1202使得行选择电压恢复成OFF。类似地，通过接通行选择电压并且顺序选择垂直输出线1204和1205，通过CDS电路1203将信号电荷P09和P11顺序读出至水平输出线1207，并且行选择电压被恢复成OFF。
随后，通过接通传送栅极电压并且再次断开，将子像素P05、P07、 P13和P15的信号电荷分别传送至相应的FD。该信号电荷的读出操作与子像素P01、P03、P09和P11的读出操作相同。
随后，通过接通传送栅极电压并且再次断开，将子像素P02、P04、 P10和P12的信号电荷分别传送至相应的FD。该信号电荷的读出操作与子像素P01、P03、P09和P11的读出操作相同。
最后，通过接通传送栅极电压并且再次断开，将子像素P06、P08、 P14和P16的信号电荷分别传送至相应的FD。该信号电荷的读出操作与子像素P01、P03、P09和P11的读出操作相同。通过这些读出操作，可以分别读出一个像素的所有子像素的光电转换信号。
通过对第一区域1101a中的各像素执行读出操作，分别读出并生成子像素201～216的信号数据，作为没有相加第一区域1101a的图像数据的LF数据。
在步骤(D)，如图11中的1140所示，生成与第二区域相对应的图像数据。生成第二区域1102a的LF数据，作为摄像图像数据，其中，在摄像图像数据中，通过图像处理单元125的加法单元将读出的每一像素的子像素201～216 的信号数据相加，并且将所有子像素201～216的信号数据相加。CPU 121将与第一区域相对应的LF数据和对与第二区域相对应的所有子像素的信号数据进行了相加的图像数据合成，并且以例如稍后所述的图13所示的预定记录格式，将其作为最终摄像图像的图像数据存储在记录介质中。
在本实施例中，在第一区域中，根据用作摄像信号的LF数据，生成保持每一子像素的LF数据的(非相加)信号。另一方面，在第二区域中，生成用作将子像素的一部分或者所有LF数据相加的像素信号数据的压缩LF数据。如上所述，第一区域中的LF数据的相加的程度，小于第二区域中的LF数据的相加的程度。也就是说，以下面的方式将从摄像元件所获取的子像素的摄像信号中的一部分相加：与第一区域相对应的摄像图像的图像数据中每单位像素的子像素的摄像信号的数量，大于与第二区域相对应的摄像图像的图像数据中每单位像素的子像素的摄像信号的数量，并且然后生成摄像图像的图像数据。
也就是说，在本实施例中，使得在摄像图像的第一区域中对LF数据的相加的程度和在摄像图像的第二区域中对LF数据的相加的程度不同，生成第一图像数据和第二图像数据，并且获取最终摄像图像的第三图像数据。
说明根据本实施例的数据量的抑制效果。
由于有效像素的数量NLF的LF数据具有角度分布数据、以及光强度的空间分布数据，因而对于每一像素，通过光瞳分割的数量Np＝Nθ×Nθ的子像素数据构成LF数据。因此，有效子像素的数量N＝Nθ×Nθ×NLF的数据量 N＝Nθ×Nθ×NLF显著增大。
然而，在摄像之后可以重调焦的图像数据的离焦量d被限制成通过公式(1)所示的重调焦可能范围内的值。因此，在通过公式(1)所示的重调焦可能范围外的区域中，即使数据量增大、并且获取LF数据，也不能重调焦图像数据。
因此，在本实施例中，在包括离焦量d大体在重调焦可能范围内的区域的第一区域中，原样保持所获取的LF数据。在另一第二区域中，为了抑制数据量，生成压缩LF数据，其中，在压缩LF数据中，对于每一像素将子像素的LF数据相加，从而形成摄像数据。将第一区域的LF数据和第二区域的LF 数据合成，从而获取最终摄像图像的图像数据。因此，在保持重调焦所需的信息的同时，可以抑制数据量。
例如，在有效像素的数量等于10.14百万像素、光瞳分割的数量等于16 ＝4×4的摄像元件的情况下，LF数据所需的有效像素的数量约等于162百万像素，并且需要为有效像素的数量16倍大的大量数据。在将摄像元件的整个区域的25％区域设置成第一区域、将75％区域设置成第二区域、并且应用本实施例的情况下，在保持重调焦所需的信息的同时，可以将所获取的原始LF 数据的数据量抑制至原始LF数据的约30％的数据量。
在本实施例中，在不将子像素相加的情况下，原样保持与第一区域相对应的LF数据，对于每一单位像素，将所有子像素相加至与第二区域相对应的 LF数据，并且根据这些数据两者，生成最终摄像图像数据。然而，本发明不局限于此，但是，如果以对于与第一区域相对应的摄像图像的图像数据、每单位像素的子像素的摄像信号的数量大于对于与第二区域相对应的摄像图像的图像数据、每单位像素的子像素的摄像信号的数量的方式进行加法，则要相加的子像素的数量(每单位像素要保留的子像素的数量)和合成将没有限制。
图13示出在将根据本实施例的摄像图像的最终图像数据存储在记录设备等中的情况下的记录数据的结构。
在图13的例子中，对于如上所述的子像素的相加的程度被构成为不同的每一区域，作为来自摄像元件107的摄像图像的图像数据，存储区域不同。也就是说，通过记录摄像图像中的每一区域的图像数据的一组多个记录区域来构成摄像图像的最终图像数据的记录区域。将所设置区域的数量1301存储在摄像图像的最终图像数据的记录区域中。构成与每一区域的图像数据相对应的记录区域的构成要素由：所设置区域(1101a、1102a)的信息1302和 1305(示出每一区域中的最终摄像图像中的范围的坐标信息)、这些区域中的子像素的数量1303和1306(光瞳分割的数量)、以及根据这些区域中的子像素的数量的图像数据1304和1307构成。根据需要，还可以包括诸如所设置的焦点检测区域等的其它构成要素。在图1中的摄像设备的CPU 121的控制下，通过图像处理单元125和记录单元134的操作，向诸如闪速存储器133等的记录介质执行本实施例中的记录数据的生成和记录。
接着使用图11说明根据本实施例中的压缩LF数据生成重调焦图像数据的图像处理。同样，在CPU 121的控制下，通过图像处理单元125的操作来执行该图像处理。
在步骤(E)，如图11中的1170所示，在各区域中设置预定重调焦量，并且生成与各区域相对应的重调焦图像数据。在本实施例中，在第二区域中，由于将所有子像素相加，因而不执行重调焦处理，并且根据在步骤(C)所获取的第一区域的LF数据，生成根据第一区域的预定重调焦量的重调焦图像。
在步骤(F)，如图11中的1150所示，生成整个图像的最终重调焦图像数据。在本实施例中，通过合成在步骤(E)所生成的第一区域的重调焦图像和在步骤 (D)所生成的第二区域的图像数据，生成与整个摄像图像相对应的最终重调焦图像。
如图14所示，LF数据的区域设置不局限于第一区域1401b和第二区域 1402b，而是可以设置子像素的相加的程度不同于第一区域和第二区域的第三区域1403b和1404b。在图14中的第三区域1403b和1404b中，生成通过如下信号构成的(2×2)分割LF数据：四个子像素P01、P02、P05和P06的信号的相加信号A11、四个子像素P03、P04、P07和P08的信号的相加信号A12、四个子像素P09、P10、P13和P14的信号的相加信号A21、以及四个子像素P11、 P12、P15和P16的信号的相加信号A22。第三区域不必始终是一个区域，而且可以由诸如图14中的第三区域1403b和1404b等的多个区域构成。这同样适用于第一区域和第二区域。
在图像处理单元125中，可以对第一图像数据、第二图像数据和第三图像数据中的任何一个、或者它们的多个组合，进行暗校正、阴影校正和去马赛克校正等。
基于通过上述图像处理操作所生成的第三图像数据，通过显示单元131 显示图像。
本实施例是具有用于执行上述图像处理操作的图像处理单元的摄像设备的例子。本实施例是具有用于执行上述图像处理操作的图像处理单元的显示单元的例子。
利用上述结构，保持必要信息，并且可以显著抑制LF数据的数据量。
实施例2
接着说明本发明的第二实施例。本实施例是用于在根据LF数据生成视差图像数据的情况下实现数据量的抑制的实施例。
通过使用图15和16，说明用于保持为根据本实施例的LF数据生成多个视差图像所需的信息、并且生成抑制了数据量的压缩LF数据的图像处理操作。
以与第一实施例的图11相同的方式，图15示出本实施例的图像处理操作的流程图的图。图16是示意性示出通过使用摄像图像的本实施例的图像处理操作的流程、并且示意性示出在显示画面上所设置的区域的图，并且示出它们成为不同图像处理的对象的例子。在这些图中，通过相同附图标记表示与图10和11中相同的部分。同样通过CPU 121(程序)和图像处理单元125，执行参考图15和16所述的操作。尽管还通过图像处理单元125执行信号数据的加法，但是如果至少部分执行摄像元件107中的摄像信号的加法读出，则可以降低(可以分担)处理的负荷。
步骤(A)与图10中的步骤(A)相同。
在步骤(B1)，如图16中的1610所示，设置不包括焦点检测区域1100的第一区域1602c。读出所设置的第一区域1602c的LF数据，进行对于第一区域 1602c中的多个部分区域的每一个所进行的相位差方法的焦点检测，并且计算图像移位量图。基于所计算出的图像移位量图，再次设置第一区域1602c 以包括图像移位量p的大小大于预定值p0(|p|≥p0)的区域。在设置了第一区域 1602c之后，将从摄像元件的整个区域中排除第一区域1602c的区域设置为第二区域1601c。
还可以以下面的方式来配置：根据需要，设置包括焦点检测区域1100的第二区域1601c，计算图像移位量图，并且基于所计算出的图像移位量图，可以再次设置第二区域、并且设置第一区域。也就是说，还可以以下面的方式来配置：再次设置第二区域1601c，以包括图像移位量p的大小小于预定值 p0(|p|<p0)的区域，并且可以将从摄像元件的整个区域中排除第二区域1601c 的区域设置为第一区域1602c。
因此，在第二实施例中，根据LF数据的图像移位量来选择第一区域和第二区域。
在运动被摄体等的摄像中优先设置处理速度的情况下，可以根据需要，省略如上所述的用于进行图像移位量图的计算和第一区域1602c的重新设置的处理。
在步骤(C1)，如图16中的1620所示，分别读出子像素201～216的信号数据，作为第一区域1602c的LF数据。本实施例中用于分别读出各像素的子像素的信号数据的操作与第一实施例相同。
对于第一区域1602c的各像素，分别读出子像素201～216的信号数据，并且生成保持LF数据的图像数据。
在步骤(D1)，如图16中的1630所示，对于第二区域1601c的各像素，将所有子像素201～216的LF数据相加。本实施例中第二区域1601c的各像素中的子像素的LF数据的相加读出操作与第一实施例相同。
对于第二区域1601c的各像素，将所有子像素201～216的LF数据相加，并且生成摄像图像数据。
在本实施例中，在第一区域中，根据用作摄像信号的LF数据，生成原样保持LF数据的(非加法)信号。另一方面，在第二区域中，生成用作将所有子像素的LF数据的像素信号数据相加的压缩LF数据。如上所述，第二区域中的LF数据的相加的程度大于第一区域中的LF数据的相加的程度。
在根据LF数据生成多个视差图像(视点图像)的情况下，在图像移位量p 的大小小的区域中，假定图像移位量是视差不明显的量，对于这多个视差图像，可以使用同一摄像图像。
因此，在本实施例中，在包括与摄像图像的不同部分光瞳区域相对应的子像素之间的图像移位量p小于预定值p0的区域的第一区域中，为了抑制数据量，将各像素的子像素的LF数据相加，并且生成压缩LF数据。在其它第二区域中，通过原样保持所获取的LF数据，生成摄像数据。因此，通过本实施例的结构，保持生成多个视差图像所需的信息，并且可以抑制数据量。
下面通过使用图16说明本实施例中用于根据压缩LF数据生成多个视差图像的图像处理操作。
在步骤(E1)～步骤(E16)，如图16中的1631～1646所示，通过选择各像素的子像素201～216中的特定子像素的信号，根据在步骤(C1)所获取的第二区域的LF数据，生成多个第一区域的视差图像。通过将所生成的多个第一区域的视差图像和在步骤(D1)所生成的第二区域的摄像图像合成来生成多个视差图像。
由于第三图像数据的记录和显示与第一实施例中的相同，因而这里省略对其的说明。
通过上述结构，即使在本实施例中，也保持必要信息，并且可以显著抑制LF数据的数据量。
通过下面的方法实现上述实施例的图10和15所示的处理的功能：从存储器读出用于实现这些处理的功能的程序，并且CPU 121执行该程序。
本发明不局限于上述结构，并且可以通过专用硬件来实现图10和15所示的处理中的全部或者一部分的功能。可以由磁光盘装置、诸如闪速存储器等的非易失性存储器、诸如CD-ROM等的只读记录介质、或者除RAM以外的易失性存储器来构成上述存储器。还可以通过组合它们的计算机可读可写记录介质构成该存储器。
可以通过下面的方法执行这些处理：将用于实现图10和15所示的处理的功能的程序记录在计算机可读记录介质中，并且将记录在记录介质中的程序读出并存储在计算机系统中、并且执行。假定这里所述的“计算机系统”包括 OS和诸如外围装置等的硬件。具体地，本发明包含下面的情况：首先，将从存储介质读出的程序写至针对插入计算机中的功能扩展板或者与计算机连接的功能扩展单元所设置的存储器中，针对该功能扩展板或者功能扩展单元所设置的CPU等基于程序的指示来执行部分或者全部实际处理，并且通过这些处理实现上述实施例的功能。
“计算机可读记录介质”表示诸如软盘、磁光盘、ROM或者CD-ROM等的便携式介质、或者诸如内置在计算机系统等中的硬盘等的存储装置。此外，假定“计算机可读记录介质”表示保持该程序预定时间的介质。例如，可以是在通过诸如因特网等的网络或者诸如电话线等的通信线路发送该程序的情况下、用作服务器或者客户端的计算机系统中的易失性存储器(RAM)。
可以将该程序从通过传送介质或者通过传送介质中的传送波将该程序存储在存储装置等中的计算机系统发送至其它计算机系统。用于传送该程序的“传送介质”表示具有如因特网等的网络(通信网络)、如电话线等的通信线等信息传送功能的介质。
该程序可以是用于实现上述功能的一部分的程序。此外，该程序可以是所谓的差异文件(差异程序)，其可以通过与已被记录在计算机系统中的程序的组合来实现上述功能。
还可以使用诸如记录了该程序的计算机可读记录介质等的程序产品作为本发明的实施例。上述程序、记录介质、传送介质和程序产品也包含在本发明的范围内。
尽管以上参考附图详细说明了本发明的实施例，但是具体结构不局限于这些实施例，而且还包含不脱离本发明的主旨的范围内的设计等。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2012年9月21日提交的日本专利申请2012-208871的优先权，其全部内容通过引用包含于此。

Claims (16)

1.一种图像处理设备，其用于对通过摄像元件所获取的子像素的摄像信号进行处理，并且生成通过所述摄像元件所拍摄的摄像图像的图像数据，其中，所述摄像元件通过排列多个单位像素来构成，所述多个单位像素中的每一个单位像素由用于接收穿过调焦光学系统的不同部分光瞳区域的光的多个子像素构成，所述图像处理设备的特征在于包括：
设置单元，用于在所述摄像图像上设置第一区域和不同于所述第一区域的第二区域；
图像处理单元，用于通过以下方式将从所述摄像元件所获取的所述子像素的摄像信号中的一部分相加，即与所述第一区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量大于与所述第二区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量的方式，并且用于生成所述摄像图像的图像数据；以及
记录单元，用于以预定记录格式将所述摄像图像的图像数据记录在记录介质中。
2.根据权利要求1所述的图像处理设备，其中，还包括获取单元，所述获取单元用于获取所述摄像图像的聚焦信息，
其中，所述设置单元基于通过所述获取单元所获取的聚焦信息来设置所述第一区域和所述第二区域。
3.根据权利要求1所述的图像处理设备，其中，还包括获取单元，所述获取单元用于获取所述摄像图像的与不同部分光瞳区域相对应的子像素之间的图像移位量，
其中，所述设置单元基于通过所述获取单元所获取的图像移位量来设置所述第一区域和所述第二区域。
4.根据权利要求2所述的图像处理设备，其中，所述聚焦信息是所述摄像图像上的预定区域的离焦量的大小。
5.根据权利要求1所述的图像处理设备，其中，所述设置单元将所述第一区域设置为离焦量的大小小于预定值的区域，并且将所述第二区域设置为离焦量的大小大于所述预定值的区域。
6.根据权利要求3所述的图像处理设备，其中，所述设置单元将所述第一区域设置为图像移位量大于预定值的区域，并且将所述第二区域设置为图像移位量小于所述预定值的区域。
7.根据权利要求1所述的图像处理设备，其中，还包括重调焦图像生成单元，所述重调焦图像生成单元用于从所述记录介质读出所述摄像图像的图像数据，将所述摄像图像的图像数据中的与所述第一区域相对应的子像素的摄像信号相加，生成与所述第一区域相对应的重调焦图像数据，将所生成的重调焦图像数据和与所述第二区域相对应的摄像图像的图像数据合成，并且生成所述摄像图像的重调焦图像。
8.根据权利要求1所述的图像处理设备，其中，所述图像处理单元从所述记录介质读出所述摄像图像的图像数据，根据与所述第一区域相对应的摄像图像的图像数据生成视差图像数据，将每个所生成的视差图像数据和与所述第二区域相对应的摄像图像的图像数据合成，并且生成所述摄像图像的多个视差图像。
9.根据权利要求1所述的图像处理设备，其中，所述图像处理单元控制所述设置单元，在所述摄像图像中设置焦点检测区域，并且设置所述第一区域以包括所述焦点检测区域。
10.一种摄像设备，其包括：
摄像元件，其通过排列多个单位像素来构成，并且用于生成图像数据，其中，所述多个单位像素中的每一个单位像素由用于接收穿过调焦光学系统的不同部分光瞳区域的光的多个子像素构成，
其特征在于，还包括：
设置单元，用于在通过所述摄像元件生成的所述图像数据上设置第一区域和不同于所述第一区域的第二区域；
图像处理单元，用于通过以下方式将从所述摄像元件所获取的所述子像素的摄像信号中的一部分相加，即与所述第一区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量大于与所述第二区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量的方式，并且用于生成所述摄像图像的图像数据；以及
记录单元，用于以预定记录格式将所述摄像图像的图像数据记录在记录介质中。
11.根据权利要求10所述的摄像设备，其还包括显示单元和重调焦图像生成单元，其中，所述重调焦图像生成单元用于从所述记录介质读出所述摄像图像的图像数据，将所述摄像图像的图像数据中的与所述第一区域相对应的子像素的摄像信号相加，生成与所述第一区域相对应的重调焦图像数据，将所生成的重调焦图像数据和与所述第二区域相对应的摄像图像的图像数据合成，并且生成所述摄像图像的重调焦图像，其中，所述显示单元显示所述重调焦图像。
12.根据权利要求10所述的摄像设备，其还包括显示单元，其中，所述图像处理单元从所述记录介质读出所述摄像图像的图像数据，根据与所述第一区域相对应的摄像图像的图像数据生成视差图像数据，将每个所生成的视差图像数据和与所述第二区域相对应的摄像图像的图像数据合成，并且生成所述摄像图像的多个视差图像，并且所述显示单元显示所述多个视差图像。
13.一种摄像设备，其包括：
摄像元件，其通过排列多个单位像素来构成，其中，所述多个单位像素中的每一个单位像素由用于接收穿过调焦光学系统的不同部分光瞳区域的光的多个子像素构成，
其特征在于，还包括：
根据权利要求2所述的图像处理设备；以及
计算单元，用于基于所述摄像图像的预定区域的子像素的摄像信号来计算所述聚焦信息。
14.根据权利要求13所述的摄像设备，其中，所述计算单元通过相关算术运算来计算所述摄像图像的所述预定区域的视差图像之间的图像移位量，从而计算所述聚焦信息。
15.根据权利要求13所述的摄像设备，其中，所述计算单元基于根据所述摄像图像的子像素的摄像信号所生成的多个重调焦图像的对比度评价值来计算所述聚焦信息。
16.一种图像处理方法，其用于处理通过摄像元件所获取的子像素的摄像信号，并且生成通过所述摄像元件所拍摄的摄像图像的图像数据，其中，所述摄像元件通过排列多个单位像素来构成，所述多个单位像素中的每一个单位像素由用于接收穿过调焦光学系统的不同部分光瞳区域的光的多个子像素构成，所述图像处理方法包括以下步骤：
获取步骤，用于获取所述摄像图像的聚焦信息，
其特征在于，还包括：
设置步骤，用于基于在所述获取步骤中所获取的聚焦信息，在所述摄像图像上设置第一区域和不同于所述第一区域的第二区域；
图像处理步骤，用于通过以下方式将从所述摄像元件所获取的所述子像素的摄像信号中的一部分相加，即与所述第一区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量大于与所述第二区域相对应的摄像图像的图像数据中的每单位像素的子像素的摄像信号的数量的方式，并且用于生成所述摄像图像的图像数据；以及
记录步骤，用于以预定记录格式将所述摄像图像的图像数据记录在记录介质中。
CN201380049160.9A 2012-09-21 2013-09-11 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备 Active CN104662887B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-208871 2012-09-21
JP2012208871A JP6071374B2 (ja) 2012-09-21 2012-09-21 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置
PCT/JP2013/075216 WO2014046152A1 (en) 2012-09-21 2013-09-11 Image processing apparatus, image processing method, program, and image pickup apparatus having the image processing apparatus

Publications (2)

Publication Number Publication Date
CN104662887A CN104662887A (zh) 2015-05-27
CN104662887B true CN104662887B (zh) 2017-12-19

Family

ID=49301582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049160.9A Active CN104662887B (zh) 2012-09-21 2013-09-11 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备

Country Status (7)

Country Link
US (1) US9826139B2 (zh)
JP (1) JP6071374B2 (zh)
CN (1) CN104662887B (zh)
DE (1) DE112013004640B4 (zh)
GB (1) GB2521085B (zh)
HK (1) HK1208295A1 (zh)
WO (1) WO2014046152A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5960286B2 (ja) * 2012-12-19 2016-08-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014155806A1 (ja) * 2013-03-29 2014-10-02 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6608194B2 (ja) * 2014-07-09 2019-11-20 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
JP6478520B2 (ja) * 2014-08-11 2019-03-06 キヤノン株式会社 画像処理装置及びその制御方法、撮像装置及びその制御方法、プログラム、記憶媒体
JP6385241B2 (ja) * 2014-10-27 2018-09-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN104754229B (zh) * 2015-03-27 2019-01-15 联想(北京)有限公司 一种图像处理方法及电子设备
GB2543127B (en) 2015-07-30 2018-11-21 Canon Kk Control apparatus, image pickup apparatus, control method, program, and storage medium
EP3193305B1 (en) * 2016-01-12 2018-09-12 Continental Automotive GmbH Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle
JP6960755B2 (ja) * 2017-03-27 2021-11-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6297234B1 (ja) * 2017-06-26 2018-03-20 三菱電機株式会社 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体
CN107222734A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 一种图像采集装置及电子设备
JP7204357B2 (ja) * 2017-09-20 2023-01-16 キヤノン株式会社 撮像装置およびその制御方法
CN112771840B (zh) * 2018-09-28 2023-07-25 株式会社半导体能源研究所 图像处理方法和装置及摄像装置
CN112560539A (zh) * 2019-09-10 2021-03-26 中国电子技术标准化研究院 虹膜采集设备的分辨力测试方法、装置及系统
US11665330B2 (en) 2021-01-27 2023-05-30 Dell Products L.P. Dynamic-baseline imaging array with real-time spatial data capture and fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103380A (zh) * 2005-01-12 2008-01-09 皇家飞利浦电子股份有限公司 深度感知
CN101212566A (zh) * 2006-12-26 2008-07-02 奥林巴斯映像株式会社 编码方法、电子相机、记录有编码程序的记录介质以及解码方法
CN101978688A (zh) * 2008-03-21 2011-02-16 佳能株式会社 摄像设备及其控制方法
CN102652432A (zh) * 2009-12-09 2012-08-29 佳能株式会社 图像处理设备、图像处理方法和程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
US20070058874A1 (en) * 2005-09-14 2007-03-15 Kabushiki Kaisha Toshiba Image data compressing apparatus and method
JP4910462B2 (ja) * 2006-04-14 2012-04-04 株式会社ニコン カメラ
JP5293950B2 (ja) * 2008-03-04 2013-09-18 株式会社リコー 個人認証装置及び電子機器
JP5517435B2 (ja) * 2008-10-22 2014-06-11 キヤノン株式会社 自動合焦装置および自動合焦方法、ならびに、撮像装置
JP5310076B2 (ja) * 2009-02-23 2013-10-09 株式会社ニコン 画像処理装置、および画像処理プログラム
JP5045801B2 (ja) * 2009-09-09 2012-10-10 株式会社ニコン 焦点検出装置、撮影レンズユニット、撮像装置およびカメラシステム
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP2013090059A (ja) * 2011-10-14 2013-05-13 Sony Corp 撮像装置、画像生成システム、サーバおよび電子機器
JP6053329B2 (ja) * 2012-05-28 2016-12-27 キヤノン株式会社 撮像装置及びその制御方法
JP6016516B2 (ja) * 2012-08-13 2016-10-26 キヤノン株式会社 画像処理装置およびその制御方法、画像処理プログラム、並びに撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103380A (zh) * 2005-01-12 2008-01-09 皇家飞利浦电子股份有限公司 深度感知
CN101212566A (zh) * 2006-12-26 2008-07-02 奥林巴斯映像株式会社 编码方法、电子相机、记录有编码程序的记录介质以及解码方法
CN101978688A (zh) * 2008-03-21 2011-02-16 佳能株式会社 摄像设备及其控制方法
CN102652432A (zh) * 2009-12-09 2012-08-29 佳能株式会社 图像处理设备、图像处理方法和程序

Also Published As

Publication number Publication date
DE112013004640T5 (de) 2015-07-02
CN104662887A (zh) 2015-05-27
HK1208295A1 (zh) 2016-02-26
GB2521085B (en) 2018-12-19
US9826139B2 (en) 2017-11-21
JP6071374B2 (ja) 2017-02-01
GB2521085A (en) 2015-06-10
JP2014064213A (ja) 2014-04-10
DE112013004640B4 (de) 2021-07-01
WO2014046152A1 (en) 2014-03-27
US20150249782A1 (en) 2015-09-03
GB201506704D0 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
US9426349B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
CN103997599B (zh) 图像处理设备、图像拾取设备以及图像处理方法
JP4706882B2 (ja) 撮像装置
CN104041006B (zh) 图像生成方法以及图像生成设备
JP6789833B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN103688536B (zh) 图像处理装置、图像处理方法
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
WO2012108099A1 (ja) 撮像装置および撮像方法
JP2017005689A (ja) 画像処理装置および画像処理方法
CN103999449A (zh) 摄像元件
JP2014036362A (ja) 撮像装置、その制御方法、および制御プログラム
JP6254843B2 (ja) 画像処理装置およびその制御方法
JP2016111678A (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP2012124650A (ja) 撮像装置および撮像方法
CN106412532A (zh) 控制设备、摄像设备和控制方法
JP2018019348A (ja) 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6263221B2 (ja) 画像処理装置、画像処理方法、撮像装置および表示装置
JP2019092215A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6255753B2 (ja) 画像処理装置および撮像装置
JP2015186189A (ja) 撮像装置およびその制御方法ならびに画像再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1208295

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1208295

Country of ref document: HK