CN108141538A - 摄像装置及图像处理装置 - Google Patents

Abstract

摄像装置具备：摄像元件，其具有对被摄体进行拍摄的摄像区域，所述摄像区域为配置有第一像素和与所述第一像素不同的第二像素的区域，所述第一像素输出利用通过光电转换得到的电荷生成的信号，所述第二像素输出利用通过光电转换得到的电荷生成的信号；设定部，其设定所述摄像区域中的配置有所述第一像素的第一区域的摄像条件、和所述摄像区域中的配置有所述第二像素的与所述第一区域不同的第二区域的摄像条件；选择部，其从由所述设定部设定为第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域的所述第二像素中，选择用于对由所述设定部设定为第一摄像条件的所述第一区域的所述第一像素进行插补的像素，所述第二摄像条件与所述第一摄像条件不同；和生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了插补的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

Description

摄像装置及图像处理装置

技术领域

本发明涉及摄像装置及图像处理装置。

背景技术

已知一种搭载有能够针对画面的每个区域设定不同的摄像条件的摄像元件的摄像装置(参照专利文献1)。然而，在使用在摄像条件不同的区域内分别生成的图像数据的情况下，存在无法与使用在摄像条件相同的区域内生成的图像数据的情况设为相同的问题。

现有技术文献

专利文献

专利文献1：日本特开2006-197192号公报

发明内容

根据本发明的第1方式，摄像装置具备：摄像元件，其具有对被摄体进行拍摄的摄像区域，所述摄像区域为配置有第一像素和与所述第一像素不同的第二像素的区域，所述第一像素输出利用通过光电转换得到的电荷生成的信号，所述第二像素输出利用通过光电转换得到的电荷生成的信号；设定部，其设定所述摄像区域中的配置有所述第一像素的第一区域的摄像条件、和所述摄像区域中的配置有所述第二像素的与所述第一区域不同的第二区域的摄像条件；选择部，其从由所述设定部设定为第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域的所述第二像素中，选择用于对由所述设定部设定为第一摄像条件的所述第一区域的所述第一像素进行插补的像素，所述第二摄像条件与所述第一摄像条件不同；和生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了插补的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

根据本发明的第2方式，摄像装置具备：第一摄像元件，其具有对被摄体进行拍摄的第一摄像区域，所述第一摄像区域为配置有第一像素和与所述第一像素不同的第二像素的区域，所述第一像素输出利用通过光电转换得到的电荷生成的信号，所述第二像素输出利用通过光电转换得到的电荷生成的信号；与所述第一摄像元件不同的第二摄像元件，其具有对被摄体进行拍摄的第二摄像区域，所述第二摄像区域为配置有输出利用通过光电转换得到的电荷生成的信号的第三像素的区域；选择部，其从所述第二像素和所述第三像素中选择用于对所述第一像素进行插补的像素；和生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了插补的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。

根据本发明的第3方式，摄像装置具备：摄像元件，其具有对被摄体进行拍摄的摄像区域，所述摄像区域为配置有第一像素和与所述第一像素不同的第二像素的区域，所述第一像素输出利用通过光电转换得到的电荷生成的信号，所述第二像素输出利用通过光电转换得到的电荷生成的信号；设定部，其设定所述摄像区域中的配置有所述第一像素的第一区域的摄像条件、和所述摄像区域中的配置有所述第二像素的与所述第一区域不同的第二区域的摄像条件；选择部，其从由所述设定部设定为第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域的所述第二像素中，选择用于对从由所述设定部设定为第一摄像条件的所述第一区域的所述第一像素输出的信号进行信号处理的像素，所述第二摄像条件与所述第一摄像条件不同；和生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了信号处理的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

根据本发明的第4方式，摄像装置具备：第一摄像元件，其具有对被摄体进行拍摄的第一摄像区域，所述第一摄像区域为配置有利用通过光电转换得到的电荷生成信号的第一像素、和利用通过光电转换得到的电荷生成信号的与所述第一像素不同的第二像素的区域；与所述第一摄像元件不同的第二摄像元件，其具有对被摄体进行拍摄的第二摄像区域，所述第二摄像区域为配置有利用通过光电转换得到的电荷生成信号的第三像素的区域；选择部，其从所述第二像素和所述第三像素中选择用于对从所述第一像素输出的信号进行信号处理的像素；和生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了信号处理的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。

根据本发明的第5方式，图像处理装置具备：选择部，其对于用于对配置在被设定为第一摄像条件的、摄像元件的摄像区域中的第一区域内的第一像素进行插补的像素，是从配置在被设定为与所述第一摄像条件不同的第二摄像条件的所述摄像区域中的第二区域内的第二像素、和配置在被设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域内的所述第二像素中选择的；和生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了插补的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

根据本发明的第6方式，图像处理装置具备：选择部，其对于用于对配置在第一摄像元件的第一摄像区域内的第一像素进行插补的像素，是从配置在所述第一摄像区域内的与所述第一像素不同的第二像素、和配置在与所述第一摄像元件不同的第二摄像元件的第二摄像区域内的第三像素中选择的；和生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了插补的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。

根据本发明的第7方式，图像处理装置具备：选择部，其对于用于对从配置在被设定为第一摄像条件的、摄像元件的摄像区域中的第一区域内的第一像素输出的信号进行信号处理的像素，是从配置在被设定为与所述第一摄像条件不同的第二摄像条件的所述摄像区域中的第二区域内的第二像素、和配置在被设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域内的所述第二像素中选择的；和生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了信号处理的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

根据本发明的第8方式，图像处理装置具备：选择部，其对于用于对从配置在第一摄像元件的第一摄像区域内的第一像素输出的信号进行信号处理的像素，是从配置在所述第一摄像区域内的与所述第一像素不同的第二像素、和配置在与所述第一摄像元件不同的第二摄像元件的第二摄像区域内的第三像素中选择的；和生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了信号处理的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。

附图说明

图1是例示实施方式的相机的结构的框图。

图2是层叠型摄像元件的剖视图。

图3是说明摄像芯片的像素排列和单位区域的图。

图4是说明单位区域内的电路的图。

图5是示意性表示成像于相机的摄像元件的被摄体的像的图。

图6是例示摄像条件的设定画面的图。

图7中，图7的(a)是例示实时取景(live view)图像中的第一区域的边界附近的图，图7的(b)是将边界附近放大后的图，图7的(c)是关注像素及参照像素的放大图，图7的(d)是处理用图像数据中的对应参照像素的放大图。

图8中，图8的(a)是例示从像素输出的光电转换信号的排列的图，图8的(b)是说明G色成分的图像数据的插补的图，图8的(c)是例示插补后的G色成分的图像数据的图。

图9中，图9的(a)是从图8的(a)提取了R色成分的图像数据后的图，图9的(b)是说明色差成分Cr的插补的图，图9的(c)是说明色差成分Cr的图像数据的插补的图。

图10中，图10的(a)是从图8的(a)提取了B色成分的图像数据后的图，图10的(b)是说明色差成分Cb的插补的图，图10的(c)是说明色差成分Cb的图像数据的插补的图。

图11是例示摄像面中的焦点检测用像素的位置的图。

图12是将焦点检测像素线的一部分区域放大后的图。

图13是将聚焦点放大后的图。

图14中，图14的(a)是例示表示想要检测的对象物的模板图像的图，图14的(b)是例示实时取景图像及搜索范围的图。

图15是例示用于实时取景图像的图像数据的摄像定时与处理用图像数据的摄像定时的关系的图，图15的(a)是例示交替拍摄实时取景图像和处理用图像数据的情况的图，图15的(b)是例示在实时取景图像的显示开始时拍摄处理用图像数据的情况的图，图15的(c)是例示在实时取景图像的显示结束时拍摄处理用图像数据的情况的图。

图16是说明针对每个区域设定摄像条件并进行拍摄的处理的流程的流程图。

图17中，图17的(a)～图17的(c)是例示摄像元件的摄像面中的第一区域及第二区域的配置的图。

图18是例示变形例2的相机的结构的框图。

图19是例示变形例6的摄像系统的结构的框图。

图20是说明向移动设备供给程序的图。

具体实施方式

作为搭载本实施方式的图像处理装置的电子设备的一例，举出数码相机为例进行说明。相机1(图1)构成为能够针对摄像元件32a中的摄像面的每个区域以不同的条件进行拍摄。图像处理部33在摄像条件不同的区域内分别进行适当的处理。参照附图对这种相机1的具体情况进行说明。

＜相机的说明＞

图1是例示一个实施方式的相机1的结构的框图。在图1中，相机1具有摄像光学系统31、摄像部32、图像处理部33、控制部34、显示部35、操作部件36、和记录部37。

摄像光学系统31将来自被摄场景的光束导向摄像部32。摄像部32包含摄像元件32a及驱动部32b，对由摄像光学系统31成像的被摄体的像进行光电转换。摄像部32能够在摄像元件32a中的摄像面的整个区域内以相同的条件进行拍摄，或者针对摄像元件32a中的摄像面的每个区域以不同的条件进行拍摄。关于摄像部32详见后述。驱动部32b生成为了使摄像元件32a进行存储控制所需的驱动信号。从控制部34向驱动部32b发送针对摄像部32的电荷蓄积时间等摄像指示。

图像处理部33包含输入部33a和处理部33b。向输入部33a输入由摄像部32获得的图像数据。处理部33b在不同的区域间以使摄像条件不同的方式进行了主拍摄的情况下，使用与主图像数据分开拍摄的图像数据对主图像数据进行规定的图像处理而生成图像。在图像处理中，例如包括颜色插补处理、像素缺陷修正处理、轮廓强调处理、降噪(Noisereduction)处理、白平衡调整处理、伽马修正处理、显示亮度调整处理、色度调整处理等。

控制部34例如由CPU构成，控制基于相机1的整体动作。例如，控制部34基于由摄像部32获得的光电转换信号进行规定的曝光运算，决定适当曝光所需的摄像元件32a的电荷蓄积时间(曝光时间)、摄像光学系统31的光圈值、ISO感光度等曝光条件而向驱动部32b发出指示。另外，根据对相机1设定的摄像场景模式和检测到的被摄体要素的种类来决定调整色度、对比度、锐度等的图像处理条件并向图像处理部33发出指示。关于被摄体要素的检测详见后述。

控制部34中包含物体检测部34a、设定部34b、摄像控制部34c、和AF运算部34d。这些部分能够通过控制部34执行储存在未图示的非易失性存储器内的程序而以软件的方式实现，但也可以通过ASIC等来构成这些部分。

物体检测部34a通过进行公知的物体识别处理，从由摄像部32获得的图像中检测人物(人物的脸)、狗、猫等动物(动物的脸)、植物、自行车、汽车、电车等交通工具、建筑物、静止物体、山、云等风景、预先规定的特定物体等被摄体要素。设定部34b将摄像部32的摄像画面划分成包含如上所述方式检测到的被摄体要素在内的多个区域。

设定部34b还对多个区域设定摄像条件。摄像条件包括上述曝光条件(电荷蓄积时间、增益、ISO感光度、帧频等)和上述图像处理条件(例如白平衡调整用参数、伽马修正曲线、显示亮度调整参数、色度调整参数等)。此外，摄像条件既能对多个区域全部设定相同的摄像条件，还能对多个区域间设定不同的摄像条件。

摄像控制部34c应用由设定部34b针对每个区域设定的摄像条件来控制摄像部32(摄像元件32a)、图像处理部33。由此，能够使摄像部32针对多个区域的每个区域以各不相同的曝光条件进行拍摄，能够使图像处理部33针对多个区域的每个区域以各不相同的图像处理条件进行图像处理。构成区域的像素的数量是多少都可以，例如既可以是1000像素也可以是1像素。另外，在区域之间像素的数量也可以不同。

AF运算部34d在摄像画面的规定位置(称为聚焦点)控制对于对应的被摄体进行对焦的自动对焦(Auto Focus：AF)动作。AF运算部34d基于运算结果发送用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。AF运算部34d为了自动对焦而进行的处理也称为焦点检测处理。关于焦点检测处理详见后述。

显示部35再生显示由图像处理部33生成的图像和经过图像处理后的图像、由记录部37读取的图像等。显示部35也进行操作菜单画面、和用于设定摄像条件的设定画面等的显示。

操作部件36由释放按钮和菜单按钮等各种操作部件构成。操作部件36向控制部34发送与各操作对应的操作信号。操作部件36中还包含设置于显示部35的显示面的触摸操作部件。

记录部37根据来自控制部34的指示在由未图示的存储卡等构成的记录介质中记录图像数据等。另外，记录部37根据来自控制部34的指示读取记录在记录介质中的图像数据。

＜层叠型摄像元件的说明＞

作为上述摄像元件32a的一例，对层叠型摄像元件100进行说明。图2是摄像元件100的剖视图。摄像元件100具备摄像芯片111、信号处理芯片112、和存储芯片113。摄像芯片111层叠在信号处理芯片112上。信号处理芯片112层叠在存储芯片113上。摄像芯片111及信号处理芯片112、信号处理芯片112及存储芯片113分别通过连接部109而电连接。连接部109例如为凸块或电极。摄像芯片111拍摄来自被摄体的光学图像并生成图像数据。摄像芯片111将图像数据从摄像芯片111向信号处理芯片112输出。信号处理芯片112对从摄像芯片111输出的图像数据实施信号处理。存储芯片113具有多个存储器并存储图像数据。此外，摄像元件100也可以由摄像芯片及信号处理芯片构成。在摄像元件100由摄像芯片及信号处理芯片构成的情况下，用于存储图像数据的存储部既可以设置于信号处理芯片，也可以与摄像元件100分开设置。

如图2所示，入射光主要向着由空心箭头表示的Z轴正方向入射。另外，如坐标轴所示，将与Z轴正交的纸面左方向作为X轴正方向，将与Z轴及X轴正交的纸面近前方向作为Y轴正方向。在之后的几张图中，将图2的坐标轴作为基准显示坐标轴，以便于理解各个图的方向。

摄像芯片111例如为CMOS图像传感器。摄像芯片111具体为背面照射型CMOS图像传感器。摄像芯片111具有微透镜层101、彩色滤光片层102、钝化层103、半导体层106、及布线层108。摄像芯片111向着Z轴正方向依次配置有微透镜层101、彩色滤光片层102、钝化层103、半导体层106、及布线层108依次配置。

微透镜层101具有多个微透镜L。微透镜L将所入射的光聚到后述的光电转换部104。彩色滤光片层102具有多个彩色滤光片F。彩色滤光片层102具有分光特性不同的多种彩色滤光片F。具体而言，彩色滤光片层102具有主要使红色成分的光透过的分光特性的第一滤光片(R)、主要使绿色成分的光透过的分光特性的第二滤光片(Gb、Gr)、和主要使蓝色成分的光透过的分光特性的第三滤光片(B)。彩色滤光片层102例如根据拜耳阵列而配置有第一滤光片、第二滤光片及第三滤光片。钝化层103由氮化膜或氧化膜构成，保护半导体层106。

半导体层106具有光电转换部104及读出电路105。半导体层106在作为光的入射面的第一面106a与第一面106a的相反侧的第二面106b之间具有多个光电转换部104。半导体层106沿X轴方向及Y轴方向排列有多个光电转换部104。光电转换部104具有将光转换成电荷的光电转换功能。另外，光电转换部104蓄积基于光电转换信号的电荷。光电转换部104例如为光电二极管。半导体层106在与光电转换部104相比更靠第二面106b侧具有读出电路105。半导体层106沿X轴方向及Y轴方向排列有多个读出电路105。读出电路105由多个晶体管构成，读取通过由光电转换部104进行光电转换而得到的电荷生成的图像数据并将其向布线层108输出。

布线层108具有多个金属层。金属层例如为Al布线、Cu布线等。向布线层108输出由读出电路105读取的图像数据。图像数据经由连接部109从布线层108向信号处理芯片112输出。

此外，连接部109也可以针对每个光电转换部104设置。另外，连接部109也可以以多个光电转换部104为单位设置。在连接部109针对多个光电转换部104的每一个而设置的情况下，连接部109的间距也可以比光电转换部104的间距大。另外，连接部109也可以设置在配置有光电转换部104的区域的周边区域内。

信号处理芯片112具有多个信号处理电路。信号处理电路对从摄像芯片111输出的图像数据进行信号处理。信号处理电路例如是放大图像数据的信号值的放大电路、进行图像数据的噪声降低处理的相关双采样电路以及将模拟信号转换成数字信号的模拟/数字(A/D)转换电路等。信号处理电路也可以针对每个光电转换部104设置。

另外，信号处理电路也可以针对多个光电转换部104的每一个而设置。信号处理芯片112具有多个贯穿电极110。贯穿电极110例如为硅贯穿电极。贯穿电极110将设置于信号处理芯片112的电路互相连接。贯穿电极110也可以设置在摄像芯片111的周边区域和存储芯片113。此外，也可以将构成信号处理电路的一部分元件设置在摄像芯片111。例如，在模拟/数字转换电路的情况下，也可以将进行输入电压与基准电压的比较的比较器设置在摄像芯片111，并将计数器电路和锁存电路等电路设置在信号处理芯片112。

存储芯片113具有多个存储部。存储部存储由信号处理芯片112实施信号处理后的图像数据。存储部例如为DRAM等易失性存储器。存储部也可以针对每个光电转换部104而设置。另外，存储部也可以针对多个光电转换部104的每一个而设置。存储于存储部内的图像数据被输出至后级的图像处理部。

图3是说明摄像芯片111的像素排列和单位区域131的图。尤其表示从背面(摄像面)侧观察摄像芯片111的样子。在像素区域内呈矩阵状排列有例如2000万个以上的像素。在图3的例子中，相邻的2像素×2像素的4像素形成一个单位区域131。图中的网格线表示相邻的像素被分组来形成单位区域131的概念。形成单位区域131的像素的数量并不限于此，既可以是1000个左右、例如32像素×32像素，也可以更多或更少，还可以是1像素。

如像素区域的局部放大图所示，图3的单位区域131包含由绿色像素Gb、Gr、蓝色像素B及红色像素R这4像素构成的所谓拜耳阵列。绿色像素Gb、Gr是具有绿色滤光片作为彩色滤光片F的像素，接收入射光中的绿色波段的光。同样地，蓝色像素B是具有蓝色滤光片作为彩色滤光片F的像素并接收蓝色波段的光，红色像素R是具有红色滤光片作为彩色滤光片F的像素并接收红色波段的光。

在本实施方式中，以每一个区块至少包含一个单位区域131的方式定义多个区块。即，一个区块的最小单位变成一个单位区域131。如上所述，在作为形成一个单位区域131的像素的数量而取得的值中，最小的像素数量是1个像素。因此，在以像素单位定义一个区块的情况下，能够定义一个区块的像素的数量中的最小像素数量变成1个像素。各个区块能够分别以不同的控制参数来控制各个区块所包含的像素。各个区块以相同的摄像条件控制该区块内的所有单位区域131、即该区块内的所有像素。也就是说，在某个区块所包含的像素组与另一个区块所包含的像素组之间，能够获得摄像条件不同的光电转换信号。控制参数的例子是帧频、增益、间除率、将光电转换信号相加的相加行数或相加列数、电荷的蓄积时间或蓄积次数、数字化的位数(字长)等。摄像元件100不仅能够自由地进行行方向(摄像芯片111的X轴方向)的间除，还能自由地进行列方向(摄像芯片111的Y轴方向)的间除。进一步地，控制参数也可以是图像处理中的参数。

图4是说明单位区域131内的电路的图。在图4的例子中，通过相邻的2像素×2像素的4像素来形成一个单位区域131。此外，如上所述，单位区域131所包含的像素的数量并不限于此，既可以是1000像素以上，也可以最小是1个像素。通过符号A～D表示单位区域131的二维位置。

单位区域131所包含的像素的复位晶体管(RST)构成为能够针对每个像素单独地通断。在图4中，设有使像素A的复位晶体管通断的复位布线300，使像素B的复位晶体管通断的复位布线310与上述复位布线300分开设置。同样地，使像素C的复位晶体管通断的复位布线320与上述复位布线300、310分开设置。对于其它像素D，也设有用于使复位晶体管通断的专用的复位布线330。

关于单位区域131所包含的像素的传输晶体管(TX)，也构成为能够按每个像素单独地通断。在图4中，使像素A的传输晶体管通断的传输布线302、使像素B的传输晶体管通断的传输布线312、使像素C的传输晶体管通断的传输布线322分开设置。对于其它像素D，也设有用于使传输晶体管通断的专用的传输布线332。

进一步地，单位区域131所包含的像素的选择晶体管(SEL)也构成为能够按每个像素单独地通断。在图4中，使像素A的选择晶体管通断的选择布线306、使像素B的选择晶体管通断的选择布线316、使像素C的选择晶体管通断的选择布线326分开设置。对于其它像素D，也设有用于使选择晶体管通断的专用的选择布线336。

此外，电源布线304由单位区域131所包含的像素A至像素D共用地连接。同样地，输出布线308由单位区域131所包含的像素A至像素D中共用地连接。另外，电源布线304由多个单位区域间共用地连接，但输出布线308按每个单位区域131单独设置。负载电流源309向输出布线308供给电流。负载电流源309既可以设置在摄像芯片111侧，也可以设置在信号处理芯片112侧。

通过使单位区域131的复位晶体管及传输晶体管独立地通断，能够对单位区域131所包含的像素A至像素D控制包括电荷的蓄积开始时间、蓄积结束时间、传输定时在内的电荷蓄积。另外，通过使单位区域131的选择晶体管独立地通断，能够经由共用的输出布线308输出各像素A至像素D的光电转换信号。

在此，关于单位区域131所包含的像素A至像素D，公知一种对于行及列以规定的顺序控制电荷蓄积的所谓卷帘快门方式。若通过卷帘快门方式针对每一行在选择像素之后指定列，则在图4的例子中以“ABCD”的顺序输出光电转换信号。

通过像这样以单位区域131为基准构成电路，能够针对每个单位区域131控制电荷蓄积时间。换言之，能够在单位区域131之间使基于不同帧频的光电转换信号分别输出。另外，在摄像芯片111中，通过在使一部分区块所包含的单位区域131进行电荷蓄积(拍摄)的期间内使其它区块所包含的单位区域131休息，能够仅在摄像芯片111的规定的区块内进行拍摄，并使其光电转换信号输出。进一步地，还能在帧间切换进行电荷蓄积(拍摄)的区块(存储控制的对象区块)，在摄像芯片111的不同区块内依次进行拍摄，并使光电转换信号输出。

如上所述，与单位区域131分别对应地设有输出布线308。由于摄像元件100层叠有摄像芯片111、信号处理芯片112及存储芯片113，所以通过使这些输出布线308应用使用了连接部109的芯片间的电连接，能够不使各芯片在面方向增大地缠绕布线。

＜摄像元件的区块控制＞

在本实施方式中，以能够在摄像元件32a中的多个区块的每一个设定摄像条件的方式构成。控制部34(摄像控制部34c)使上述多个区域与上述区块对应，并以在每个区域内设定的摄像条件进行拍摄。

图5是示意性表示成像于相机1的摄像元件32a的被摄体的像的图。相机1在进行摄像指示之前对被摄体像进行光电转换而获得实时取景图像。实时取景图像是指以规定的帧频(例如60fps)重复拍摄的监视器用图像。

控制部34在通过设定部34b划分区域之前在摄像芯片111的整个区域(即整个摄像画面)设定相同的摄像条件。相同的摄像条件是指对摄像画面整体设定共用的摄像条件，例如即使在顶点值有不足0.3级左右的偏差也视为相同。在摄像芯片111的整个区域内设定为相同的摄像条件基于与被摄体亮度的测光值相应的曝光条件、或由用户手动设定的曝光条件来确定。

在图5中，在摄像芯片111的摄像面成像有包含人物61a、汽车62a、包63a、山64a、和云65a、66a在内的像。人物61a用两手抱着包63a。在人物61a的右后方停着汽车62a。

＜区域的划分＞

控制部34基于实时取景图像如下所述地将实时取景图像的画面划分成多个区域。首先，通过物体检测部34a从实时取景图像中检测被摄体要素。被摄体要素的检测使用公知的被摄体识别技术。在图5的例子中，物体检测部34a将人物61a、汽车62a、包63a、山64a、云65a、和云66a作为被摄体要素来检测。

其次，通过设定部34b将实时取景图像的画面划分成包含上述被摄体要素的区域。在本实施方式中，将包含人物61a的区域作为第一区域61，将包含汽车62a的区域作为第二区域62，将包含包63a的区域作为第三区域63，将包含山64a的区域作为第四区域64，将包含云65a的区域作为第五区域65，并将包含云66a的区域作为第六区域66来进行说明。

＜每个区块的摄像条件的设定＞

当通过设定部34b将画面划分成多个区域时，控制部34使显示部35显示如图6例示的设定画面。在图6中显示实时取景图像60a，并在实时取景图像60a的右侧显示摄像条件的设定画面70。

在设定画面70中，作为摄像条件的设定项目的一例而从上开始依次举出了帧频、快门速度(TV)、增益(ISO)。帧频是每秒获得的实时取景图像或由相机1录制的视频的帧数。增益是ISO感光度。摄像条件的设定项目除了图6所例示的之外也可以适当添加。在所有设定项目超出设定画面70的情况下，也可以通过使设定项目上下滚动来显示其它设定项目。

在本实施方式中，控制部34以通过设定部34b划分后的区域中的由用户选择的区域作为摄像条件的设定(变更)的对象。例如，在能够进行触摸操作的相机1中，用户在显示有实时取景图像60a的显示部35的显示面上单击操作想要设定(变更)摄像条件的主要被摄体的显示位置。控制部34例如在单击操作了人物61a的显示位置的情况下，将在实时取景图像60a中包含人物61a的区域61作为摄像条件的设定(变更)对象区域，并强调显示区域61的轮廓。

在图6中，强调显示(加粗显示、变亮显示、变色显示、以虚线显示、闪烁显示等)轮廓的区域61示出成为摄像条件的设定(变更)对象的区域。在图6的例子中，显示强调了区域61的轮廓后的实时取景图像60a。这种情况下，区域61是摄像条件的设定(变更)对象。例如，在能够进行触摸操作的相机1中，当由用户单击操作快门速度(TV)的显示71时，控制部34在画面内显示针对强调显示的区域(区域61)的快门速度的当前设定值(符号68)。

在以后的说明中以触摸操作为前提进行相机1的说明，但也可以通过构成操作部件36的按钮等的操作进行摄像条件的设定(变更)。

当由用户单击操作快门速度(TV)的上图标71a或下图标71b时，设定部34b使快门速度的显示68根据上述单击操作从当前设定值增减，并且以根据上述单击操作来变更与强调显示的区域(区域61)对应的摄像元件32a的单位区域131(图3)的摄像条件的方式向摄像部32(图1)发送指示。确定图标72是用于使所设定的摄像条件确定的操作图标。设定部34b对帧频和增益(ISO)的设定(变更)也与快门速度(TV)的设定(变更)的情况同样地进行。

此外，以设定部34b基于用户的操作来设定摄像条件的方式进行了说明，但并不限定于此。设定部34b也可以不基于用户的操作而是根据控制部34的判断来设定摄像条件。例如，在包含作为图像中的最大亮度或最小亮度的被摄体要素的区域内，当发生了高光溢出或暗部缺失时，设定部34b也可以根据控制部34的判断以消除高光溢出或暗部缺失的方式设定摄像条件。

对于未强调显示的区域(除了区域61以外的其它区域)维持已设定的摄像条件。

控制部34也可以代替强调显示成为摄像条件的设定(变更)对象的区域的轮廓而高亮显示对象区域整体、或者提高对象区域整体的对比度显示、或者使对象区域整体闪烁显示。另外，也可以将对象区域用框包围起来。包围对象区域的框的显示可以是双边框或一层框，包围的框的线种、颜色和亮度等显示方式也可以适当变更。另外，控制部34也可以进行在对象区域的附近指示成为箭头等的摄像条件的设定的对象的区域的显示。控制部34也可以使成为摄像条件的设定(变更)的对象的对象区域以外较暗地显示、或降低对象区域以外的对比度地来显示。

如以上所说明的那样，在设定了每个区域的摄像条件之后，当对构成操作部件36的未图示的释放按钮、或指示拍摄开始的显示(释放图标)进行操作时，通过控制部34控制摄像部32而对上述划分后的区域分别设定的摄像条件进行拍摄(主拍摄)。此外，在以下说明中，将划分后的区域分别作为第一区域61～第六区域66(参照图7的(a))，并在第一区域61～第六区域66设定第一摄像条件～第六摄像条件。然后，图像处理部33对由摄像部32获得的图像数据进行图像处理。该图像数据是记录在记录部37内的图像数据，以后称为主图像数据。此外，摄像部32在获得主图像数据时，在与主图像数据不同的定时获得对主图像数据进行图像处理、或进行用于拍摄主图像数据的各种检测处理和设定处理时所使用的图像数据(以下称为处理用图像数据)。另外，关于图像处理的具体说明详见后述。

＜处理用图像数据＞

处理用图像数据是在主图像数据中对某个区域(例如第一区域61)中的与其它区域构成边界的边界附近的区域(以下称为边界部)所包含的关注像素实施图像处理时使用的。另外，处理用图像数据是在焦点检测处理、被摄体检测处理、摄像条件设定处理时使用的。控制部34的设定部34b在摄像元件32a将比第一区域61大的区域设定为用于对用于第一区域61的处理用图像数据(以后称为第一处理用图像数据)进行拍摄的区域(以下称为处理用摄像区域)。这种情况下，设定部34b例如将摄像元件32a的摄像面的整个区域设定为处理用摄像区域。进一步地，设定部34b将对第一区域61设定的摄像条件即第一摄像条件设定为第一处理用图像数据的摄像条件。同样地，设定部34b在摄像元件32a的摄像面的整个区域内分别设定用于第二～第六处理用图像数据的处理用摄像区域。设定部34b将对第二区域62～第六区域66设定的各摄像条件分别设定为针对第二～第六处理用图像数据各自的摄像条件。

此外，关于用于拍摄处理用图像数据的定时，详见后述说明。

以下，对将处理用图像数据用于图像处理的情况、用于焦点检测处理的情况、用于被摄体检测处理的情况、和用于曝光条件设定处理的情况分开进行说明。

1.用于图像处理的情况

对将处理用图像数据用于图像处理的情况进行说明。图像处理部33的处理部33b在针对在划分后的区域之间应用不同的摄像条件而获得的主图像数据的图像处理是规定的图像处理的情况下，使用处理用图像数据对位于区域的边界部的主图像数据进行图像处理。规定的图像处理是参照关注位置周围(以后称为关注范围)的多个参照位置的数据来计算图像中作为处理对象的关注位置的数据的处理，例如，像素缺陷修正处理、颜色插补处理、轮廓强调处理、噪声降低处理等符合条件。

图像处理是因为在划分后的区域之间摄像条件不同，所以为了缓和图像处理后的图像中呈现的不协调感而进行的。通常，在关注位置位于划分后的区域的边界部的情况下，有时在关注范围的多个参照位置，应用了与关注位置的数据相同的摄像条件后的数据、和应用了与关注位置的数据不同的摄像条件后的数据混在一起。在本实施方式中，与直接参照应用了不同摄像条件的参照位置的数据来计算关注位置的数据相比，优选参照应用了相同摄像条件的参照位置的数据来计算关注位置的数据，基于这种想法如下所述地进行图像处理。

图7的(a)是例示实时取景图像60a中的包含第一区域61和与第一区域61构成边界的第四区域64的规定范围80的图。在该例中，至少对包含人物的第一区域61设定有第一摄像条件，并对包含山的第四区域64设定有第四摄像条件。图7的(b)是将图7的(a)的规定范围80放大后的图。用白底表示来自与设定有第一摄像条件的第一区域61对应的摄像元件32a上的像素的图像数据，并用网格表示来自与设定有第四摄像条件的第四区域64对应的摄像元件32a上的像素的图像数据。在图7的(b)中，来自关注像素P的图像数据位于第一区域61上且是第一区域61与第四区域64的边界81的附近部分、即边界部。将以关注像素P为中心的关注范围90(例如3×3像素)所包含的关注像素P周围的像素(在该例中为8像素)作为参照像素Pr。图7的(c)是关注像素P及参照像素Pr1～Pr8的放大图。关注像素P的位置是关注位置，包围关注像素P的参照像素Pr1～Pr8的位置是参照位置。此外，在以下说明中，在将参照像素总称的情况下标记附图标记Pr。

图像处理部33的处理部33b直接使用参照像素Pr的图像数据进行图像处理。即，处理部33b使用关注像素P的所有参照像素Pr的所有数据进行插补等图像处理等。然而，当在关注像素P中于拍摄时应用的第一摄像条件与在关注像素P周围的参照像素Pr中于拍摄时应用的第四摄像条件不同时，处理部33b不使用主图像数据上的第四摄像条件的图像数据。在图7的(c)中，用白底表示从设定有第一摄像条件的关注像素P及参照像素Pr1～Pr6输出的图像数据，并用斜线表示从设定有第四摄像条件的参照像素Pr7及Pr8输出的图像数据。在本实施方式中，处理部33b不将第四摄像条件的图像数据、即用斜线表示的从参照像素Pr7、Pr8输出的图像数据用于图像处理。进一步地，代替以第四摄像条件拍摄的主图像数据的参照像素Pr7、Pr8的图像数据，处理部33b将设定第一摄像条件而生成的第一处理用图像数据的参照像素Pr7、Pr8的图像数据用于图像处理。

图7的(d)表示来自与第一处理用图像数据中的图7的(c)所示的主图像数据的关注像素P及参照像素Pr对应的像素、即在摄像元件32a的摄像面上的坐标值相同的像素的图像数据。由于第一处理用图像数据被以第一摄像条件来拍摄，所以在图7的(d)中用白底表示从关注像素P和参照像素Pr输出的像素数据。代替主图像数据中的参照像素Pr7、Pr8的图像数据，处理部33b选择第一处理用图像数据中的参照像素Pr7、Pr8的图像数据。处理部33b参照主图像数据中的参照像素Pr1～Pr6的图像数据、和第一处理用图像数据中的参照像素Pr7、Pr8来计算主图像数据的关注像素P的图像数据。即，处理部33b使用被设定了相同的摄像条件而拍摄到的不同的图像数据来计算关注像素P的图像数据。

第一摄像条件与第四摄像条件不同的情况的例子如下所示。

(例1)

举出在第一摄像条件与第四摄像条件之间仅使ISO感光度不同，且第一摄像条件的ISO感光度为100而第四摄像条件的ISO感光度为800的情况为例。主图像数据中的关注像素P以第一摄像条件(ISO感光度100)来获得。这种情况下，图像处理部33的处理部33b使用参照像素Pr中的以第一摄像条件获得的主图像数据的参照像素Pr1～Pr6的图像数据、和以ISO感光度100获得的第一处理用图像数据的参照像素Pr7、Pr8(图7的(d))的图像数据，来进行图像处理。处理部33b不使用以第一摄像条件获得的参照像素Pr中的以第四摄像条件(ISO感光度800)获得的参照像素Pr7、Pr8的图像数据。

(例2)

举出在第一摄像条件与第四摄像条件之间仅使快门速度不同，且第一摄像条件的快门速度为1/1000秒而第四摄像条件的快门速度为1/100秒的情况为例。主图像数据中的关注像素P以第一摄像条件(快门速度1/1000秒)来获得。这种情况下，图像处理部33的处理部33b使用参照像素Pr中的以快门速度1/1000秒获得的主图像数据的参照像素Pr1～Pr6的图像数据、和以快门速度1/1000秒获得的第一处理用图像数据的参照像素Pr7、Pr8的图像数据，来进行图像处理。处理部33b不使用以第四摄像条件(快门速度1/100秒)获得的主图像数据的参照像素Pr7、Pr8的图像数据。

(例3)

举出在第一摄像条件与第四摄像条件之间仅使帧频不同(电荷蓄积时间相同)，且第一摄像条件的帧频为30fps而第四摄像条件的帧频为60fps的情况为例。主图像数据中的关注像素P以第一摄像条件(30fps)来获得。这种情况下，图像处理部33的处理部33b使用参照像素Pr中的以30fps获得的主图像数据的参照像素Pr1～Pr6的图像数据、和以30fps获得的第一处理用图像数据的参照像素Pr7、Pr8的图像数据，来进行图像处理。处理部33b不使用以第四摄像条件(60fps)获得的主图像数据的参照像素Pr7、Pr8的图像数据。

另一方面，当在关注像素P中于拍摄时应用的第一摄像条件与在关注像素P周围的所有参照像素Pr中应用的摄像条件相同时，图像处理部33的处理部33b将以第一摄像条件获得的参照像素Pr的数据用于图像处理。即，处理部33b将参照像素Pr的数据直接用于图像处理。

此外，如上所述，即使在摄像条件中多少有点差异，也视为相同的摄像条件。

此外，处理部33b并不限定于使用以第一摄像条件获得的参照像素Pr的图像数据、和以第一摄像条件获得的第一处理用图像数据的参照像素Pr的图像数据对以第一摄像条件获得的关注像素P的图像数据进行图像处理。例如，处理部33b也可以不使用主图像数据的参照像素Pr1～Pr8的图像数据，而是使用第一处理用图像数据的参照像素Pr1～Pr8的图像数据对以第一摄像条件获得的关注像素P的图像数据进行图像处理。即，处理部33b只要使用以与拍摄了关注像素P时设定的摄像条件相同的摄像条件所拍摄的参照像素Pr的图像数据对关注像素P的图像数据实施图像处理即可。

＜图像处理的例示＞

例示使用处理用图像数据进行的图像处理。

(1)摄像像素缺陷修正处理

在本实施方式中，摄像像素缺陷修正处理是在拍摄时进行的图像处理之一。通常，作为固体摄像元件的摄像元件100有时会在制造过程中或制造后产生像素缺陷而输出异常电平的数据。于是，图像处理部33的处理部33b通过对从产生了像素缺陷的摄像像素输出的图像数据实施图像处理，以使产生了像素缺陷的摄像像素的位置上的图像数据不显眼。

对摄像像素缺陷修正处理的一例进行说明。图像处理部33的处理部33b例如在主图像数据中将预先记录于非易失性存储器(未图示)内的像素缺陷的位置的像素作为关注像素P(处理对象像素)，并将以关注像素P为中心的关注范围90(例如3×3像素)所包含的关注像素P周围的像素(在该例中为8像素)作为参照像素Pr。

图像处理部33的处理部33b计算参照像素Pr中的图像数据的最大值、最小值，并在从关注像素P输出的图像数据超过这些最大值或最小值时，进行以上述最大值或最小值置换从关注像素P输出的图像数据的Max(最大)、Min(最小)滤波处理。对于来自在非易失性存储器(未图示)内记录有位置信息的所有产生了像素缺陷的摄像像素的图像数据进行这种处理。

在本实施方式中，当被应用了与在拍摄时应用于关注像素P的摄像条件(在图7的例子中为第一摄像条件)不同的摄像条件的像素包含于上述参照像素Pr(图7的Pr7、Pr8)时，图像处理部33的处理部33b选择第一处理用图像数据的参照像素Pr(图7的Pr7、Pr8)的图像数据。之后，图像处理部33的生成部33c使用主图像数据的参照像素Pr1～Pr6的图像数据和第一处理用图像数据的参照像素Pr7、Pr8的图像数据来进行上述的Max、Min滤波处理。

(2)颜色插补处理

在本实施方式中，颜色插补处理是在拍摄时进行的图像处理之一。如图3所例示的那样，摄像元件32a的摄像芯片111以拜耳阵列排列有绿色像素Gb、Gr、蓝色像素B及红色像素R。图像处理部33的处理部33b由于与配置在各像素位置上的彩色滤光片F的颜色成分不同的颜色成分的图像数据不足，所以进行参照周边的像素位置的图像数据而生成缺少的颜色成分的图像数据的颜色插补处理。

对颜色插补处理的一例进行说明。图8的(a)是例示从摄像元件32a输出的图像数据的排列的图。与各像素位置对应地按照拜耳阵列的规则而具有R、G、B中的某一颜色成分。

＜G色插补＞

进行G色插补的图像处理部33的处理部33b将R色成分及B色成分的位置依次作为关注位置，并参照关注位置周围的参照位置的四个G色成分的图像数据来生成关注位置上的G色成分的图像数据。例如，在图8的(b)的用粗框(第二行第二列)表示的关注位置上生成G色成分的图像数据的情况下，参照位于关注位置附近的四个G色成分的图像数据G1～G4。图像处理部33(生成部33c)例如将(aG1+bG2+cG3+dG4)/4作为关注位置上的G色成分的图像数据。此外，a～d是根据参照位置与关注位置之间的距离和图像结构而设置的加权系数。

在图8的(a)～图8的(c)中，例如，相对于粗线在左及上的区域应用了第一摄像条件，并相对于粗线在右及下的区域应用了与第一摄像条件不同的摄像条件。图像处理部33的处理部33b由于在图8的(b)中与用斜线表示的G色成分的图像数据G4对应的参照位置上应用了与应用于关注位置的第一摄像条件不同的摄像条件，所以对于图像数据G4使用第一处理用图像数据的参照像素Pr的图像数据。这样，图像处理部33的处理部33b使用均应用了第一摄像条件的参照像素G1～G4的图像数据来计算关注位置上的G色成分的图像数据。

图像处理部33的处理部33b通过在图8的(a)中的B色成分的位置及R色成分的位置上分别生成G色成分的图像数据，如图8的(c)所示，能够在各像素位置上得到G色成分的图像数据。

＜R色插补＞

图9的(a)是从图8的(a)提取了R色成分的图像数据后的图。图像处理部33的处理部33b基于图8的(c)所示的G色成分的图像数据和图9的(a)所示的R色成分的图像数据来计算图9的(b)所示的色差成分Cr的图像数据。

图像处理部33的处理部33b例如在图9的(b)的用粗框(第二行第二列)表示的关注位置上生成色差成分Cr的图像数据的情况下，参照位于关注位置附近的四个色差成分的图像数据Cr1～Cr4。图像处理部33(处理部33b)例如将(eCr1+fCr2+gCr3+hCr4)/4作为关注位置上的色差成分Cr的图像数据。此外，e～h是根据参照位置与关注位置之间的距离和图像结构而设置的加权系数。

同样地，图像处理部33的处理部33b例如在图9的(c)的用粗框(第二行第三列)表示的关注位置上生成色差成分Cr的图像数据的情况下，参照位于关注位置附近的四个色差成分的图像数据Cr2、Cr4～Cr6。图像处理部33的处理部33b例如将(qCr2+rCr4+sCr5+tCr6)/4作为关注位置上的色差成分Cr的图像数据。此外，q～t是根据参照位置与关注位置之间的距离和图像结构而设置的加权系数。这样，对于所有像素生成色差成分Cr的图像数据。

在图9的(a)～图9的(c)中，例如，相对于粗线在左及上的区域应用了第一摄像条件，并相对于粗线在右及下的区域应用了与第一摄像条件不同的摄像条件。在图9的(b)中与用斜线表示的色差成分Cr的图像数据Cr2对应的参照位置上应用了与应用于关注位置(第二行第二列)的第一摄像条件不同的摄像条件。图像处理部33(处理部33b)对于图像数据Cr2使用第一处理用图像数据的参照像素Pr的图像数据。之后，图像处理部33的处理部33b计算关注位置上的色差成分Cr的图像数据。

另外，在图9的(c)中与用斜线表示的色差成分Cr的图像数据Cr4及Cr5对应的参照位置上应用了与应用于关注位置(第二行第三列)的摄像条件不同的第一摄像条件。图像处理部33(处理部33b)对于图像数据Cr4及Cr5使用处理用图像数据的参照像素Pr的图像数据。之后，图像处理部33的处理部33b计算关注位置上的色差成分Cr的图像数据。

图像处理部33的处理部33b通过在各像素位置上得到色差成分Cr的图像数据之后使其与各像素位置对应地与图8的(c)所示的G色成分的图像数据相加，能够在各像素位置上得到R色成分的图像数据。

＜B色插补＞

图10的(a)是从图8的(a)提取了B色成分的图像数据后的图。图像处理部33的处理部33b基于图8的(c)所示的G色成分的图像数据和图10的(a)所示的B色成分的图像数据来计算图10的(b)所示的色差成分Cb的图像数据。

图像处理部33的处理部33b例如在图10的(b)的用粗框(第三行第三列)表示的关注位置上生成色差成分Cb的图像数据的情况下，参照位于关注位置附近的四个色差成分的图像数据Cb1～Cb4。图像处理部33的处理部33b例如将(uCb1+vCb2+wCb3+xCb4)/4作为关注位置上的色差成分Cb的图像数据。此外，u～x是根据参照位置与关注位置之间的距离和图像结构而设置的加权系数。

同样地，图像处理部33的处理部33b例如在图10的(c)的用粗框(第三行第四列)表示的关注位置上生成色差成分Cb的图像数据的情况下，参照位于关注位置附近的四个色差成分的图像数据Cb2、Cb4～Cb6。图像处理部33的处理部33b例如将(yCb2+zCb4+αCb5+βCb6)/4作为关注位置上的色差成分Cb的图像数据。此外，y、z、α、β是根据参照位置与关注位置之间的距离和图像结构而设置的加权系数。这样，对于所有像素生成色差成分Cb的图像数据。

在图10的(a)～图10的(c)中，例如，相对于粗线在左及上的区域应用了第一摄像条件，并相对于粗线在右及下的区域应用了与第一摄像条件不同的摄像条件。图像处理部33的处理部33b由于在图10的(b)中与用斜线表示的色差成分Cb的图像数据Cb1及Cb3对应的参照位置上应用了与应用于关注位置(第三行第三列)的摄像条件不同的第一摄像条件，所以对于数据Cb1及Cb3使用处理用图像数据的参照像素Pr的图像数据。之后，图像处理部33的生成部33c计算关注位置上的色差成分Cb的图像数据。

在图10的(c)中计算关注位置(第三行第四列)上的色差成分Cb的图像数据的情况下，在与位于关注位置附近的四个色差成分的图像数据Cb2、Cb4～Cb6对应的参照位置上应用了与关注位置相同的摄像条件。图像处理部33的生成部33c计算关注位置上的色差成分Cb的图像数据。

图像处理部33的处理部33b通过在各像素位置上得到色差成分Cb的图像数据之后使其与各像素位置对应地与图8的(c)所示的G色成分的图像数据相加，能够在各像素位置上得到B色成分的图像数据。

(3)轮廓强调处理

对轮廓强调处理的一例进行说明。图像处理部33的处理部33b例如在一帧图像中进行使用以关注像素P(处理对象像素)为中心的规定大小的内核的公知的线性滤波器(Linear filter)运算。在作为线性滤波器的一例的锐化滤波器的内核大小为N×N像素的情况下，关注像素P的位置是关注位置，包围关注像素P的(N²－1)个参照像素的位置是参照位置。

此外，内核大小也可以是N×M像素。

图像处理部33的处理部33b例如一边从帧图像的上部的水平线向着下部的水平线在各水平线上将关注像素从左向右偏移，一边进行以线性滤波器运算结果置换关注像素P中的数据的滤波处理。

在本实施方式中，图像处理部33的处理部33b在应用了与应用于关注像素P的第一摄像条件不同的摄像条件的像素包含于上述参照像素Pr的情况下，对于应用了与第一摄像条件不同的摄像条件的像素使用第一处理用图像数据的参照像素Pr的图像数据。之后，图像处理部33的生成部33c进行上述的线性滤波器处理。

(4)噪声降低处理

对噪声降低处理的一例进行说明。图像处理部33的处理部33b例如在一帧图像中进行使用以关注像素P(处理对象像素)为中心的规定大小的内核的公知的线性滤波器(Linear filter)运算。在作为线性滤波器的一例的平滑滤波器的内核大小为N×N像素的情况下，关注像素P的位置是关注位置，包围关注像素P的(N²－1)个参照像素的位置是参照位置。

此外，内核大小也可以是N×M像素。

图像处理部33的处理部33b例如一边从帧图像的上部的水平线向着下部的水平线在各水平线上将关注像素从左向右偏移，一边进行以线性滤波器运算结果置换关注像素P中的数据的滤波处理。

在本实施方式中，图像处理部33的处理部33b在应用了与拍摄时应用于关注像素P的第一摄像条件不同的摄像条件的像素包含于上述参照像素Pr的情况下，对于应用了与第一摄像条件不同的摄像条件的像素使用第一处理用图像数据的参照像素Pr的图像数据。之后，图像处理部33的处理部33b进行上述的线性滤波器处理。

此外，在上述说明中，对设定部34b将摄像元件32a的摄像面的整个区域设定为处理用摄像区域的情况进行了说明，但本实施方式并不限定于该例。设定部34b也可以将摄像元件32a的摄像面的一部分区域设定为处理用摄像区域。例如，设定部34b将与主图像数据的第一区域61对应的区域设定为处理用摄像区域，并应用第一摄像条件。这种情况下，设定部34b将第一区域61和与该第一区域61的外周相比向例如规定的像素数量左右的外侧扩展后的外侧区域设定为处理用摄像区域。对于除了与第一区域61对应的处理用摄像区域以外的区域，处理部33b使其与第二区域62～第六区域66分别对应地在摄像元件32a的摄像面上划分区域，并应用第二摄像条件～第六摄像条件。换言之，设定部34b在包含设定有第一摄像条件的区域和设定有其它摄像条件的区域在内的摄像面上的处理用摄像区域内应用第一摄像条件，并在除处理用摄像区域以外的区域内应用与第一摄像条件不同的摄像条件。

此外，关于第二～第六处理用图像数据，设定部34b也分别同样地使用设定为比第二区域62～第六区域66大的区域的处理用摄像区域来使摄像部32进行拍摄。

或者，设定部34b也可以从将摄像元件32a的摄像面的整个区域设定为处理用摄像区域而拍摄到的图像数据中提取与在主图像数据中设定的各区域和该各区域的上述外侧区域有关的图像数据，并将其作为各处理用图像数据。例如，设定部34b在设定有第一摄像条件且利用摄像元件32a的摄像面的整个区域而拍摄到的图像数据中，将从主图像数据的第一区域61和该第一区域61的外侧区域内提取的图像数据生成为第一处理图像数据。关于第二处理用图像数据～第六处理用图像数据，设定部34b只要也从应用第二摄像条件～第六摄像条件且利用摄像面的整个区域而拍摄到的各个图像数据中分别提取来自与第二区域62～第六区域66对应的区域的图像数据，并将其作为处理用图像数据即可。

另外，设定部34b并不限定于与在主图像数据中设定的各区域对应地设定处理用摄像区域。也可以在摄像元件32a的摄像面的一部分区域预先设定有处理用摄像区域。例如，在摄像元件32a的摄像面的中央部附近设定有处理用摄像区域的情况下，当以肖像照的方式使人物位于画面的中央来拍摄时，能够在主要被摄体位于其中的可能性较高的区域内生成处理用图像数据。这种情况下，处理用摄像区域的大小既能基于用户的操作而变更，也可以以预先设定的大小来固定。

2.进行焦点检测处理的情况

对将处理用图像数据用于焦点检测处理的情况进行说明。设定部34b使用在摄像元件32a的摄像面的整个区域内设定相同的摄像条件而拍摄到的处理用图像数据，进行焦点检测处理。这是由于在AF动作的聚焦点即焦点检测区被划分成摄像条件不同的第一区域及第二区域的情况下，有基于AF运算部34d的焦点检测处理的精度下降之虞。例如，在图像中检测像偏移量(相位差)的焦点检测用的图像数据之中，有时应用了不同摄像条件的图像数据会混在一起。在本实施方式中，相较于直接使用应用了不同摄像条件的图像数据来进行像偏移量(相位差)的检测，优选使用不存在因摄像条件的差异而导致的图像数据间的差异的图像数据来进行像偏移量(相位差)的检测，基于这种想法进行使用处理用图像数据的焦点检测处理。

＜焦点检测处理的例示＞

本实施方式的AF动作例如在与用户从摄像画面中的多个聚焦点之中选择的聚焦点对应的被摄体上对焦。控制部34的AF运算部34d检测因从摄像光学系统31的不同光瞳区域通过的光束而导致的多个被摄体像的像偏移量(相位差)，由此计算摄像光学系统31的散焦量。控制部34的AF运算部34d使摄像光学系统31的聚焦透镜向将散焦量设为零(允许值以下)的位置即对焦位置移动。

图11是例示摄像元件32a的摄像面中的焦点检测用像素的位置的图。在本实施方式中，沿着摄像芯片111的X轴方向(水平方向)离散地并排设有焦点检测用像素。在图11的例子中，以规定的间隔设有15条焦点检测像素线160。构成焦点检测像素线160的焦点检测用像素输出焦点检测用的光电转换信号。在摄像芯片111中除焦点检测像素线160以外的像素位置上设有通常的摄像用像素。摄像用像素输出实时取景图像和记录用的光电转换信号。

图12是将与图11所示的聚焦点80A对应的上述焦点检测像素线160的一部分区域放大后的图。在图12中，例示了红色像素R、绿色像素G(Gb、Gr)及蓝色像素B、和焦点检测用像素S1及焦点检测用像素S2。红色像素R、绿色像素G(Gb、Gr)及蓝色像素B按照上述的拜耳阵列的规则而配置。

关于红色像素R、绿色像素G(Gb、Gr)及蓝色像素B所例示的正方形的区域表示摄像用像素的受光区域。各摄像用像素接收从摄像光学系统31(图1)的出射光瞳通过的光束。即，红色像素R、绿色像素G(Gb、Gr)及蓝色像素B分别具有正方形的掩模开口部，从这些掩模开口部通过的光到达摄像用像素的受光部。

此外，红色像素R、绿色像素G(Gb、Gr)及蓝色像素B的受光区域(掩模开口部)的形状并不限于四边形，例如也可以是圆形。

针对焦点检测用像素S1及焦点检测用像素S2所例示的半圆形的区域表示焦点检测用像素的受光区域。即，焦点检测用像素S1在图12中于像素位置的左侧具有半圆形的掩模开口部，从该掩模开口部通过的光到达焦点检测用像素S1的受光部。另一方面，焦点检测用像素S2在图12中于像素位置的右侧具有半圆形的掩模开口部，从该掩模开口部通过的光到达焦点检测用像素S2的受光部。这样，焦点检测用像素S1及焦点检测用像素S2分别接收从摄像光学系统31(图1)的出射光瞳的不同区域通过的一对光束。

此外，摄像芯片111中的焦点检测像素线160的位置并不限定于图11所例示的位置。另外，关于焦点检测像素线160的数量，也不限定于图11的例子。进一步地，焦点检测用像素S1及焦点检测用像素S2中的掩模开口部的形状并不限定于半圆形，例如也可以将摄像用像素R、摄像用像素G、摄像用像素B中的四边形受光区域(掩模开口部)设为沿横向进行划分后的长方形。

另外，摄像芯片111中的焦点检测像素线160也可以沿着摄像芯片111的Y轴方向(垂直方向)并排设有焦点检测用像素。像图12那样将摄像用像素和焦点检测用像素呈二维状排列的摄像元件是公知的，省略这些像素的具体图示及说明。

此外，在图12的例子中，对焦点检测用像素S1、S2分别接收焦点检测用的一对光束中的一方的结构、即所谓1PD结构进行了说明。取而代之的是，也可以设为焦点检测用像素分别接收焦点检测用的一对光束双方的结构、即所谓2PD结构。通过设为2PD结构，能够将从焦点检测用像素得到的光电转换信号作为记录用的光电转换信号来使用。

控制部34的AF运算部34d基于从焦点检测用像素S1及焦点检测用像素S2输出的焦点检测用的光电转换信号来检测基于从摄像光学系统31(图1)的不同区域通过的一对光束的一对像的像偏移量(相位差)。然后，基于像偏移量(相位差)来运算散焦量。这种基于光瞳分割相位差方式的散焦量运算由于在相机的领域是公知的，所以省略具体说明。

聚焦点80A(图11)是在图7的(a)所例示的实时取景图像60a中在与第一区域61的规定范围80对应的位置由用户选择的。图13是将聚焦点80A放大后的图。白底的像素表示设定有第一摄像条件，网格的像素表示设定有第四摄像条件。在图13中由框170包围的位置与焦点检测像素线160(图11)对应。

控制部34的AF运算部34d通常直接使用基于用框170表示的焦点检测用像素的图像数据来进行焦点检测处理。然而，在应用了第一摄像条件的图像数据和应用了第四摄像条件的图像数据在由框170包围的图像数据中混在一起的情况下，控制部34的AF运算部34d使用应用了第一摄像条件的第一处理用图像数据来进行焦点检测处理。这种情况下，控制部34的AF运算部34d使用第一处理用图像数据中的与由框170包围而成的范围对应的图像数据。

第一摄像条件与第四摄像条件不同的情况的例子如下所示。

(例1)

举出在第一摄像条件与第四摄像条件之间仅使ISO感光度不同，且第一摄像条件的ISO感光度为100而第四摄像条件的ISO感光度为800的情况为例。由框170包围的图像数据的一部分以第一摄像条件(ISO感光度100)来获得，剩下的以第四摄像条件(ISO感光度800)来获得。这种情况下，控制部34的AF运算部34d使用应用了第一摄像条件的第一处理用图像数据中的与由框170包围而成的范围对应的图像数据来进行焦点检测处理。

(例2)

举出在第一摄像条件与第四摄像条件之间仅使快门速度不同，且第一摄像条件的快门速度为1/1000秒而第四摄像条件的快门速度为1/100秒的情况为例。由框170包围的图像数据的一部分以第一摄像条件(快门速度1/1000秒)来获得，剩下的以第四摄像条件(快门速度1/100秒)来获得。这种情况下，控制部34的AF运算部34d使用应用了第一摄像条件(快门速度1/1000秒)的第一处理用图像数据中的与由框170包围而成的范围对应的图像数据来进行焦点检测处理。

(例3)

举出在第一摄像条件与第四摄像条件之间仅使帧频不同(电荷蓄积时间相同)，且第一摄像条件的帧频为30fps而第四摄像条件的帧频为60fps的情况为例。由框170包围的图像数据的一部分以第一摄像条件(30fps)来获得，剩下的以第四摄像条件(60fps)来获得。这种情况下，控制部34的AF运算部34d使用应用了第一摄像条件(30fps)的第一处理用图像数据中的与由框170包围而成的范围对应的图像数据来进行焦点检测处理。

另一方面，控制部34的AF运算部34d在由框170包围的图像数据中所应用的摄像条件相同的情况下可以不使用处理用图像数据。也就是说，控制部34的AF运算部34d直接使用基于用框170表示的焦点检测用像素的图像数据来进行焦点检测处理。

此外，如上所述，即使在摄像条件中多少有点差异，也视为相同的摄像条件。

在以上说明中例示了使用光瞳分割相位差方式的焦点检测处理，但在基于被摄体像的对比度的大小而使摄像光学系统31的聚焦透镜向对焦位置移动的对比度检测方式的情况下，也能同样地进行。

在使用对比度检测方式的情况下，控制部34一边使摄像光学系统31的聚焦透镜移动，一边在聚焦透镜的各个位置上基于从与聚焦点对应的摄像元件32a的摄像用像素输出的图像数据来进行公知的焦点评价值运算。然后，将使焦点评价值最大化的聚焦透镜的位置作为对焦位置来求出。

控制部34通常直接使用从与聚焦点对应的摄像用像素输出的图像数据来进行焦点评价值运算。然而，在应用了第一摄像条件的图像数据和应用了与第一摄像条件不同的摄像条件的图像数据在与聚焦点对应的图像数据中混在一起的情况下，控制部34使用应用了第一摄像条件的第一处理用图像数据来进行焦点评价值运算。

此外，在上述说明中，对设定部34b将摄像元件32a的摄像面的整个区域设定为处理用摄像区域的情况进行了说明，但本实施方式并不限定于该例。设定部34b也可以将摄像元件32a的摄像面的一部分区域设定为处理用摄像区域。例如，设定部34b将包含框170的范围、与包含聚焦点的范围对应的区域、或摄像元件32a的摄像面的中央部附近设定为处理用摄像区域。

或者，设定部34b也可以从将摄像元件32a的摄像面的整个区域设定为处理用摄像区域而拍摄到的图像数据中提取包含框170的范围或与包含聚焦点的范围对应的区域，并将其作为各处理用图像数据。

3.进行被摄体检测处理的情况

图14的(a)是例示表示想要检测的对象物的模板图像的图，图14的(b)是例示实时取景图像60a及搜索范围190的图。控制部34的物体检测部34a从实时取景图像中检测对象物(例如图5的作为被摄体要素之一的包63a)。控制部34的物体检测部34a可以将实时取景图像60a的整个范围作为检测对象物的范围，但为了减轻检测处理，也可以将实时取景图像60a的一部分作为搜索范围190。

控制部34的物体检测部34a在搜索范围190被以摄像条件不同的多个区域分割的情况下，使用在摄像元件32a的整个区域内设定相同的摄像条件而拍摄到的处理用图像数据来进行被摄体检测处理。

通常，在用于被摄体要素的检测的搜索范围190包含两个区域的边界的情况下，在搜索范围190的图像数据之中，有时应用了不同摄像条件的图像数据会混在一起。在本实施方式中，与直接使用应用了不同摄像条件的图像数据来进行被摄体要素的检测相比，优选使用搜索范围190内不存在因摄像条件的差异而导致的图像数据间的差异的图像数据来进行被摄体要素的检测，并基于这种想法进行使用处理用图像数据的被摄体检测处理。

对在图5所例示的实时取景图像60a中检测作为人物61a的携带物品的包63a的情况进行说明。控制部34的物体检测部34a在包含人物61a的区域的附近设定搜索范围190。此外，也可以将包含人物61a的第一区域61设定为搜索范围。此外，如上所述，在第三区域63内设定有第三摄像条件。

控制部34的物体检测部34a在搜索范围190未被摄像条件不同的两个区域分割的情况下，直接使用构成搜索范围190的图像数据进行被摄体检测处理。然而，假设在应用了第一摄像条件的图像数据和应用了第三摄像条件的图像数据在搜索范围190的图像数据中混在一起的情况下，控制部34的物体检测部34a使用处理用图像数据。这种情况下，控制部34的被摄体检测部34a使用以应用于与包63a对应的第三区域63的第三摄像条件拍摄到的第三处理用图像数据来进行被摄体检测处理。此外，作为进行焦点检测处理的情况，所设定的摄像条件与上述的(例1)～(例3)相同。

也可以对用于检测像人物的脸那样的特定被摄体的搜索范围、和用于摄像场景的判定的区域来应用上述搜索范围190的图像数据。

另外，并不限于对上述搜索范围190的图像数据使用模板图像的图案匹配法所用的搜索范围，在检测基于图像的颜色和边缘等的特征量时的搜索范围内也可以同样地应用。

另外，通过像实时取景图像那样使用获得时刻不同的多帧图像数据来实施公知的模板匹配处理，也可以应用于从之后获得的帧图像中搜索与先获得的帧图像中的跟踪对象物类似的区域的、移动体的跟踪处理。在这种情况下，当控制部34在设定于之后获得的帧图像中的搜索范围内将不同的摄像条件混在一起应用时，控制部34使用处理用图像数据中的搜索范围的图像数据进行跟踪处理。

再者，使用获得时刻不同的多帧图像数据来检测公知的运动矢量的情况也是同样的。当控制部34在图像数据中的用于检测运动矢量的检测区域内将不同的摄像条件混在一起应用时，使用处理用图像数据中的用于检测运动矢量的检测区域的图像数据来检测运动矢量。

此外，在上述说明中，对设定部34b将摄像元件32a的摄像面的整个区域设定为处理用摄像区域的情况进行了说明，但本实施方式并不限定于该例。设定部34b也可以将摄像元件32a的摄像面的一部分区域设定为处理用摄像区域。例如，设定部34b将包含搜索范围190的范围、与包含用于检测运动矢量的检测范围的范围对应的区域、或摄像元件32a的摄像面的中央部附近设定为处理用摄像区域。

或者，设定部34b也可以从将摄像元件32a的摄像面的整个区域设定为处理用摄像区域而拍摄到的图像数据中提取包含搜索范围190的范围、或包含用于检测运动矢量的检测范围的范围，并生成各处理用图像数据。

4.设定摄像条件的情况

控制部34的设定部34b划分摄像画面的区域，在划分后的区域之间设定有不同的摄像条件的状态再次重新测光来确定曝光条件的情况下，对于位于区域的边界附近的图像数据使用处理用图像数据。例如，在设定于摄像画面中央部的测光范围内包含划分后的区域的边界的情况下，有时在测光范围的图像数据之中，混有应用了不同摄像条件的图像数据。在本实施方式中，与直接使用应用了不同摄像条件的图像数据来进行曝光运算处理相比，优选使用不存在因摄像条件的差异而导致的图像数据间的差异的图像数据来进行曝光运算处理，并基于这种想法进行使用处理用图像数据的曝光运算处理。

控制部34的设定部34b在测光范围未被摄像条件不同的多个区域分割的情况下，直接使用构成测光范围的图像数据来进行曝光运算处理。然而，假设在应用了第一摄像条件的图像数据和应用了第四摄像条件的图像数据在测光范围的图像数据中混在一起的情况下(例如包含图7的边界部80的区域)，控制部34的设定部34b使用处理用图像数据。这种情况下，控制部34的设定部34b使用以应用于第一区域61的第一摄像条件拍摄到的第一处理用图像数据来进行曝光运算处理。此外，作为进行焦点检测处理的情况，所设定的摄像条件与上述的(例1)～(例3)相同。

并不限于进行上述曝光运算处理时的测光范围，在如下测光范围内也是同样的：在确定白平衡调整值时进行的测光(测色)范围、在确定是否需要由发出摄影辅助光的光源进行摄影辅助光的发光时进行的测光范围、以及在确定上述光源的摄影辅助光的发光量时进行的测光范围。

另外，在将摄像画面划分后的区域之间使图像信号的读取分辨率不同的情况下，对于在决定针对每个区域的读取分辨率时进行的摄像场景的判定所用的区域也能同样地处理。

此外，在上述说明中，对设定部34b将摄像元件32a的摄像面的整个区域设定为处理用摄像区域的情况进行了说明，但本实施方式并不限定于该例。设定部34b也可以将摄像元件32a的摄像面的一部分区域设定为处理用摄像区域。例如，设定部34b将与包含测光范围的范围对应的区域、或摄像元件32a的摄像面的中央部附近设定为处理用摄像区域。

或者，设定部34b也可以从将摄像元件32a的摄像面的整个区域设定为处理用摄像区域而拍摄到的图像数据中提取包含测光范围的范围，并生成各处理用图像数据。

对生成在上述各种处理时使用的处理用图像数据的定时进行说明。以下，分成生成用于图像处理的处理用图像数据的定时、和生成用于焦点检测处理、被摄体检测处理及曝光条件设定处理(以下称为检测、设定处理)的处理用图像数据的定时来进行说明。

＜用于图像处理的处理用图像数据的生成＞

摄像控制部34c使摄像部32在与拍摄主图像数据的定时不同的定时拍摄处理用图像数据。在本实施方式中，摄像控制部34c使摄像部32在实时取景图像的显示时或操作部件36的操作时拍摄处理用图像数据。进一步地，摄像控制部34c在指示处理用图像数据的拍摄时输出与由设定部34b设定于处理用图像数据的摄像条件有关的信息。以下，分成实时取景图像的显示时的处理用图像数据的拍摄、和操作部件36的操作时的处理用图像数据的拍摄来进行说明。

(1)实时取景图像的显示时

摄像控制部34c在由用户进行了指示实时取景图像的显示开始的操作之后，使摄像部32进行处理用图像数据的拍摄。这种情况下，摄像控制部34c在实时取景图像的显示期间按每个规定的周期使摄像部32拍摄处理用图像数据。例如，摄像控制部34c在拍摄实时取景图像的帧频中的例如偶数帧的定时、或拍摄了10帧实时取景图像后的下一定时，代替实时取景图像的拍摄的指示而将指示处理用图像数据的拍摄的信号向摄像部32输出。

这时，摄像控制部34c以由设定部34b设定的摄像条件使摄像部32拍摄处理用图像数据。

使用图15对用于实时取景图像的图像数据的摄像定时与处理用图像数据的摄像定时的关系进行例示。图15的(a)表示每隔一帧交替进行实时取景图像的拍摄与处理用图像数据的拍摄的情况。此外，通过用户的操作对第一区域61～第三区域63(图7的(a))设定有第一摄像条件～第三摄像条件。这时，为了用于针对主图像数据的第一区域61～第三区域63分别进行的处理，拍摄设定有第一摄像条件的第一处理用图像数据D1、设定有第二摄像条件的第二处理用图像数据D2、和设定有第三摄像条件的第三处理用图像数据D3。

摄像控制部34c指示摄像部32进行第N帧实时取景图像LV1的拍摄，控制部34使显示部35显示由拍摄得到的实时取景图像LV1。在第N+1帧的摄像定时，摄像控制部34c指示摄像部32进行应用了第一摄像条件的第一处理用图像数据D1的拍摄。摄像控制部34c将拍摄到的第一处理用图像数据D1记录在规定的记录介质(未图示)内。这种情况下，控制部34使显示部35显示在第N帧的摄像定时拍摄到的实时取景图像LV1来作为第N+1帧实时取景图像。即，继续前一帧的实时取景图像LV1的显示。

在第N+2帧实时取景图像LV2的摄像定时，摄像控制部34c指示摄像部32进行第N+2帧实时取景图像LV2的拍摄。控制部34从显示部35的实时取景图像LV1的显示切换成由第N+2帧的拍摄得到的实时取景图像LV2的显示。在第N+3帧的摄像定时，摄像控制部34c使摄像部32拍摄应用了第二摄像条件的第二处理用图像数据D2，并记录拍摄到的第二处理用图像数据D2。这种情况下，控制部34也即使在显示部35显示在第N+2帧的摄像定时拍摄到的实时取景图像LV2，以作为第N+3帧实时取景图像。

在第N+4帧，与第N、第N+2帧的情况相同，摄像控制部34c使摄像部32拍摄实时取景图像LV3，控制部34使显示部35显示拍摄到的实时取景图像LV3。在第N+5帧，摄像控制部34c使摄像部32进行应用了第三摄像条件的第三处理用图像数据D3的拍摄。这时，控制部34同样使第N+4帧实时取景图像LV3在显示部35上继续显示。在之后的帧，控制部34重复进行第N～第N+5帧的处理。

此外，在设定部34b基于物体检测部34a的检测结果或AF运算部34d的运算结果来变更摄像条件的情况下，摄像控制部34c只要在拍摄处理用图像数据的定时(图15的(a)的第N+1、N+3、N+5帧)应用重新设定的摄像条件并使摄像部32进行拍摄即可。

此外，摄像控制部34c也可以在开始实时取景图像的显示之前使摄像部32拍摄处理用图像数据。例如，在由用户打开了相机1的电源的定时、或进行了指示实时取景图像的显示开始的操作的情况下，向摄像部32输出指示处理用图像数据的拍摄的信号。当第一～第三处理用图像数据的拍摄结束时，摄像控制部34c指示摄像部32进行实时取景图像的拍摄。

例如，如图15的(b)所示，摄像控制部34c在拍摄第一～第三帧的定时分别拍摄第一摄像条件的第一处理用图像数据D1、第二摄像条件的第二处理用图像数据D2、第三摄像条件的第三处理用图像数据D3。在第四帧之后，摄像控制部34c拍摄实时取景图像LV1、LV2、LV3、……，且控制部34使显示部35依次显示实时取景图像LV1、LV2、LV3、……。

另外，摄像控制部34c也可以在实时取景图像的显示期间在用户进行了结束实时取景图像的显示的操作的定时使摄像部32拍摄处理用图像数据。即，当从操作部件36输入与指示实时取景图像的显示结束的操作对应的操作信号时，摄像控制部34c向摄像部32输出指示实时取景图像的拍摄结束的信号。当摄像部32结束实时取景图像的拍摄时，摄像控制部32c将指示处理用图像数据的拍摄的信号向摄像部32输出。

例如，如图15的(c)所示，在于第N帧进行了结束实时取景图像的显示的操作的情况下，摄像控制部34c在第N+1～第N+3帧分别拍摄第一摄像条件的第一处理用图像数据D1、第二摄像条件的第二处理用图像数据D2、第三摄像条件的第三处理用图像数据D3。这种情况下，控制部34在第N+1～第N+3帧的期间内既可以使显示部35显示在第N帧拍摄到的实时取景图像LV1，也可以不进行实时取景图像的显示。

另外，关于实时取景图像的所有帧，摄像控制部34c也可以拍摄处理用图像数据。这种情况下，设定部34b在摄像元件32a的摄像面的整个区域内设定各帧互不相同的摄像条件。控制部34将所生成的处理用图像数据作为实时取景图像而显示在显示部35上。

在实时取景图像的显示期间，当拍摄中的图像的构图发生了变化时，摄像控制部34c也可以拍摄处理用图像数据。例如，当控制部34(设定部34b)基于实时取景图像检测到的被摄体要素的位置与在前一帧检测到的被摄体要素的位置相比较而偏移了规定的距离以上时，摄像控制部34c只要指示处理用图像数据的拍摄即可。

(2)操作部件36的操作

作为用于拍摄处理用图像数据的操作部件36的操作，可以列举由用户进行的释放按钮的半按即指示拍摄准备的操作、和释放按钮的全按操作即指示主拍摄的操作等。

(2-1)释放按钮的半按

当由用户进行释放按钮的半按操作、即指示拍摄准备的操作时，从操作部件36输出操作信号。该操作信号在由用户对释放按钮进行半按操作的期间内被从操作部件36输出。控制部34的摄像控制部34c当从操作部件36输入与指示拍摄准备的操作的开始对应的操作信号时，向摄像部32输出指示处理用图像数据的拍摄的信号。即，根据由用户指示拍摄准备的操作的开始，摄像部32拍摄处理用图像数据。

此外，摄像控制部34c也可以在由用户进行的释放按钮的操作例如通过从半按操作向全按操作过渡而结束的定时，使摄像部32拍摄处理用图像数据。即，也可以在不再从操作部件36输入与指示拍摄准备的操作对应的操作信号的定时，摄像控制部34c向摄像部32输出指示拍摄的信号。

另外，摄像控制部34c也可以在由用户进行释放按钮的半按操作的期间内使摄像部32拍摄处理用图像数据。这种情况下，摄像控制部34c能够按每个规定的周期将指示拍摄的信号向摄像部32输出。由此，在由用户进行释放按钮的半按操作的期间内能够拍摄处理用图像数据。或者，摄像控制部34c也可以配合着拍摄实时取景图像的定时将指示拍摄的信号向摄像部32输出。这种情况下，摄像控制部34c只要在拍摄实时取景图像的帧频中的例如偶数帧的定时、或拍摄了10帧实时取景图像后的下一定时将指示处理用图像数据的拍摄的信号向摄像部32输出即可。

另外，在实时取景图像的显示期间拍摄处理用图像数据的情况下，也可以不基于释放按钮的半按操作进行处理用图像数据的拍摄。

(2-2)释放按钮的全按操作

当由用户进行释放按钮的全按操作、即指示主拍摄的操作时，从操作部件36输出操作信号。控制部34的摄像控制部34c当从操作部件36输入与指示主拍摄的操作对应的操作信号时，向摄像部32输出指示主拍摄的信号。在通过主拍摄进行了主图像数据的拍摄之后，摄像控制部34c输出指示处理用图像数据的拍摄的信号。即，在由用户进行了指示拍摄的操作之后，摄像部32通过主拍摄进行了主图像数据的拍摄之后拍摄处理用图像数据。

此外，摄像控制部34c也可以使摄像部32在拍摄主图像数据之前拍摄处理用图像数据。另外，在实时取景图像的显示期间拍摄处理用图像数据的情况下，也可以不基于释放按钮的半按操作进行处理用图像数据的拍摄。

此外，用于拍摄处理用图像数据的操作部件36的操作并不限定于释放按钮的半按操作和全按操作。例如，在由用户进行了除释放按钮的操作以外的与拍摄有关的操作的情况下，摄像控制部34c也可以指示处理用图像数据的拍摄。作为与拍摄有关的操作，例如有变更摄像倍率的操作、变更光圈的操作、与焦点调节有关的操作(例如聚焦点的选择)等。当变更的操作结束且新设定确定时，摄像控制部34c使摄像部32拍摄处理用图像数据。由此，即使是在新设定之下进行主拍摄的情况下，也能生成以与主拍摄相同的条件拍摄到的处理用图像数据。

此外，在对菜单画面上进行操作的情况下，摄像控制部34c也可以拍摄处理用图像数据。这是由于在从菜单画面进行与拍摄有关的操作的情况下，为了主拍摄进行新设定的可能性很高。这种情况下，在开着菜单画面的期间内，摄像部32进行处理用图像数据的拍摄。处理用图像数据的拍摄既可以按每个规定的周期进行，也可以以拍摄实时取景图像时的帧频来拍摄。

在进行与拍摄无关的操作、例如用于再生显示图像的操作、再生显示期间的操作、或用于对时(对表)的操作的情况下，摄像控制部34c不输出指示处理用图像数据的拍摄的信号。即，摄像控制部34c不使摄像部32进行处理用图像数据的拍摄。由此，在进行用于主拍摄的新设定的可能性很低、或者进行主拍摄的可能性很低的情况下，能够设为不拍摄处理用图像数据。

另外，在操作部件36具有用于指示处理用图像数据的拍摄的专用按钮的情况下，当由用户操作专用按钮时，摄像控制部34c指示摄像部32进行处理用图像数据的拍摄。在操作部件36具有在用户操作专用按钮的期间内继续输出操作信号的结构的情况下，摄像控制部34c既可以在进行专用按钮的操作的期间内按每个规定的周期使摄像部32拍摄处理用图像数据，也可以在专用按钮的操作结束的时候拍摄处理用图像数据。由此，能够在用户所期望的定时拍摄处理用图像数据。

另外，也可以在打开了相机1的电源的情况下，摄像控制部34c指示摄像部32进行处理用图像数据的拍摄。

在本实施方式的相机1中，既可以全部应用所例示的各方式来拍摄处理用图像数据，也可以至少进行一个方式，还可以进行由用户从各方式中进行选择的方式。用户的选择例如能够从显示在显示部35上的菜单画面来进行。

＜用于检测/设定处理的处理用图像数据的生成＞

摄像控制部34c在与生成用于上述图像处理的处理用图像数据的定时相同的各种定时拍摄用于检测/设定处理的处理用图像数据。即，能够将相同的图像数据既作为用于检测/设定处理的处理用图像数据来使用，也作为用于图像处理的处理用图像数据来使用。以下，对在与生成用于图像处理的处理用图像数据的定时不同的定时生成用于检测/设定处理的处理用图像数据的情况进行说明。

在由用户进行了释放按钮的全按操作的情况下，摄像控制部34c使摄像部32在进行主图像数据的拍摄之前进行处理用图像数据的拍摄。这种情况下，能够将使用在即将进行主拍摄之前拍摄到的最新的处理用图像数据检测到的结果或设定的结果反映在主拍摄中。

即使是进行与拍摄无关的操作、例如用于再生显示图像的操作、再生显示期间的操作、或用于对时的操作的情况下，摄像控制部34c也拍摄处理用图像数据。这种情况下，摄像控制部34c既可以生成一帧处理用图像数据，也可以生成多帧处理用图像数据。

此外，在以上说明中，举出了将处理用图像数据用于图像处理、焦点检测处理、被摄体检测处理及曝光设定处理的情况为例，但并不限定于在所有处理中都使用处理用图像数据，在上述处理的至少一个处理中使用的情况也包含于本实施方式。关于将处理用图像数据用于哪个处理，只要用户能够从显示在显示部35上的菜单画面进行选择、确定即可。

＜流程图的说明＞

图16是说明在每个区域内设定摄像条件并进行拍摄的处理流程的流程图。当对相机1的主开关进行开启操作时，控制部34使执行图16所示的处理的程序启动。在步骤S10中，控制部34使显示部35开始实时取景显示，并进入步骤S20。

具体而言，控制部34向摄像部32指示实时取景图像的获得开始，并使显示部35依次显示所获得的实时取景图像。如上所述，这时候在摄像芯片111的整个区域即整个画面设定有相同的摄像条件。

此外，在实时取景显示期间执行了进行AF动作的设定的情况下，控制部34的AF运算部34d通过进行焦点检测处理，来控制在与规定的聚焦点对应的被摄体要素上对焦的AF动作。

另外，在实时取景显示期间未执行进行AF动作的设定的情况下，控制部34的AF运算部34d在之后被指示了AF动作时进行AF动作。

在步骤S20中，控制部34的物体检测部34a从实时取景图像中检测被摄体要素并进入步骤S30。在步骤S30中，控制部34的设定部34b将实时取景图像的画面划分成包含被摄体要素的区域并进入步骤S40。

在步骤S40中，控制部34在显示部35进行区域的显示。控制部34如图6所例示的那样使划分后的区域中的成为摄像条件的设定(变更)对象的区域强调显示。另外，控制部34使显示部35显示摄像条件的设定画面70并进入步骤S50。

此外，控制部34在由用户的手指对显示画面上的其它主要被摄体的显示位置进行了单击操作的情况下，将包含该主要被摄体的区域变更为成为摄像条件的设定(变更)对象的区域并使其强调显示。

在步骤S50中，控制部34判定是否需要AF动作。控制部34例如在如下情况下将步骤S50做出肯定判定并进入步骤S70，即，因被摄体移动而导致焦点调节状态发生了变化的情况、通过用户操作而变更了聚焦点的位置的情况、或通过用户操作而指示了AF动作的执行的情况。控制部34在焦点调节状态未变化、未通过用户操作来变更聚焦点的位置、且也未通过用户操作来指示AF动作的执行的情况下，将步骤S50做出否定判定并进入步骤60。

在步骤S70中，控制部34使AF动作进行并返回步骤S40。返回步骤S40后的控制部34基于在AF动作之后获得的实时取景图像来重复与上述处理相同的处理。

在步骤S60中，控制部34的设定部34b根据用户操作来设定针对强调显示的区域的摄像条件，并进入步骤S80。即，在多个区域的每一个设定摄像条件。此外，关于与步骤S60中的用户操作相应的显示部35的显示变化和摄像条件的设定，如上所述。

在步骤S80中，控制部34判定在实时取景图像的显示期间是否进行处理用图像数据的拍摄。若设定了在实时取景图像的显示期间进行处理用图像数据的拍摄，则将步骤S80做出肯定判定并进入步骤S90。若未设定在实时取景图像的显示期间进行处理用图像数据的拍摄，则将步骤S80做出否定判定并进入后述的步骤S100。

在步骤S90中，控制部34的摄像控制部34c指示摄像部32在实时取景图像的拍摄过程中以规定的周期并以所设定的每个摄像条件进行处理用图像数据的拍摄，并进入步骤S100。此外，这时拍摄到的处理用图像数据被存储于存储介质(未图示)内。在步骤S100中，控制部34判定摄像指示的有无。控制部34在对构成操作部件36的释放按钮、或指示拍摄的显示图标进行了操作的情况下，将步骤S100做出肯定判定并进入步骤S110。控制部34在未进行摄像指示的情况下，将步骤S100做出否定判定并返回步骤S60。

在步骤S110中，控制部34进行处理用图像数据和主图像数据的拍摄处理。即，摄像控制部34c以由步骤S60设定的不同的每个摄像条件来拍摄处理用图像数据，并且以用在步骤S60中于上述每个区域内设定的摄像条件进行主拍摄的方式控制摄像元件32a来获得主图像数据，并进入步骤S120。此外，在拍摄用于检测/设定处理的处理用图像数据的情况下，在主图像数据的拍摄之前进行处理用图像数据的拍摄。另外，在由步骤S90拍摄了处理用图像数据的情况下，也可以不在步骤S110中进行处理用图像数据的拍摄。

在步骤S120中，控制部34的摄像控制部34c向图像处理部33发送指示，使用由步骤S90或步骤S110得到的处理用图像数据对通过上述拍摄而得到的主图像数据进行规定的图像处理，并进入步骤S130。图像处理包括上述像素缺陷修正处理、颜色插补处理、轮廓强调处理、噪声降低处理。

在步骤S130中，控制部34向记录部37发送指示，使未图示的记录介质记录图像处理后的图像数据，并进入步骤S140。

在步骤S140中，控制部34判断是否进行了结束操作。在进行了结束操作的情况下，控制部34将步骤S140做出肯定判定并结束图16的处理。在未进行结束操作的情况下，控制部34将步骤S140做出否定判定并返回步骤S20。在返回了步骤S20的情况下，控制部34重复上述的处理。

此外，上述例子是以由步骤S60设定的摄像条件进行主拍摄，并使用由步骤S90或S110得到的处理用图像数据对主图像数据进行处理。然而，在拍摄实时取景图像时于各区域内设定不同的摄像条件的情况下，焦点检测处理、被摄体检测处理和摄像条件设定处理基于在步骤S90中在实时取景图像的显示期间内得到的处理用图像数据来进行。

在以上说明中，作为摄像元件32a例示了层叠型摄像元件100，但只要能够在摄像元件(摄像芯片111)中的多个区块的每一个设定摄像条件即可，不需要构成为层叠型摄像元件。

根据上述的一个实施方式能够取得以下作用效果。

(1)相机1具备输入部33a和处理部33b。输入部33a输入主图像数据和处理用图像数据，该主图像数据是通过在摄像部32的摄像面的第一区域内设定第一摄像条件、并在摄像面的第二区域内设定与第一摄像条件不同的第二摄像条件而拍摄到的，该处理用图像数据是通过在第一区域及第二区域内设定第三摄像条件而拍摄到的。处理部33b使用处理用图像数据对主图像数据中的与第一区域对应的第一部分图像数据实施图像处理。由此，相机1能够在摄像条件不同的各区域分别适当地生成图像。即，能够从在各区域生成的图像数据中适当地生成主图像数据。例如，能够抑制因每个区域的摄像条件的差异而表现在所生成的主图像数据上的不连续性和不协调感。

(2)处理部33b使用处理用图像数据对第一部分图像数据中的与第一区域和第二区域的边界部80对应的边界部数据实施图像处理。由此，相机1能够使用在摄像条件不同的区域分别生成的图像数据适当地进行图像处理。例如，能够抑制因区域的边界上的摄像条件的差异而表现在图像处理后的主图像数据上的不连续性和不协调感。

(3)处理部33b使用处理用图像数据中的至少与第二区域对应的图像数据对主图像数据的边界部数据实施图像处理。由此，相机1能够使用在摄像条件不同的区域分别生成的图像数据适当地进行图像处理。例如，能够抑制因区域的边界上的摄像条件的差异而表现在图像处理后的主图像数据上的不连续性和不协调感。

(4)处理部33b在对主图像数据的边界部80的数据的关注像素P使用关注像素P周边的参照像素Pr、且是与第一区域及第二区域对应的参照像素Pr来实施图像处理时，对于与第二区域对应的参照像素Pr，将与主图像数据中的参照像素Pr的位置对应的位置上的处理用图像数据用于图像处理。由此，相机1能够使用在摄像条件不同的区域分别生成的图像数据适当地进行图像处理。例如，能够抑制因区域的边界上的摄像条件的差异而表现在图像处理后的主图像数据上的不连续性和不协调感。

(5)处理部33b对于主图像数据中的与第一区域对应的参照像素Pr，将参照像素Pr的位置上的主图像数据进一步用于图像处理。由此，相机1能够使用在摄像条件不同的区域分别生成的图像数据适当地进行图像处理。

(6)处理部33b对于主图像数据中的与第一区域对应的参照像素Pr，将与主图像数据中的参照像素Pr的位置对应的位置上的处理用图像数据进一步用于图像处理。由此，相机1能够使用在摄像条件不同的区域分别生成的图像数据适当地进行图像处理。例如，能够抑制因区域的边界上的摄像条件的差异而表现在图像处理后的图像上的不连续性和不协调感。

(7)摄像控制部34c控制摄像部32进行主拍摄的定时和进行处理用图像数据的拍摄的定时。由此，能够获得用于主图像数据的图像处理的处理用图像数据。

(8)摄像控制部34c使摄像部32在实时取景图像的拍摄的帧之间进行处理用图像数据的拍摄，并至少拍摄一帧处理用图像数据。通过在实时取景图像的拍摄过程中拍摄了处理用图像数据，能够在拍摄主图像数据时进行使用处理用图像数据的适当的图像处理。

(9)摄像控制部34c每当在以拍摄准备状态使摄像部32开始实时取景图像的拍摄之前、或使摄像部32开始了实时取景图像的拍摄之后进行规定帧数的实时取景图像的拍摄时，都进行处理用图像数据的拍摄并至少拍摄一帧处理用图像数据。通过在实时取景图像的拍摄过程中拍摄了处理用图像数据，能够在拍摄主图像数据时进行使用处理用图像数据的适当的图像处理。

(10)摄像控制部34c在有指示主拍摄的操作时，在摄像部32进行主拍摄之前或进行了主拍摄之后使摄像部32至少拍摄一帧处理用图像数据。在从实时取景图像的拍摄向主拍摄过渡的阶段拍摄处理用图像数据，并能在拍摄主图像数据时进行使用处理用图像数据的适当的图像处理。在主拍摄之后拍摄处理用图像数据的情况下，能够以不错过按快门的最佳定时的方式进行主拍摄。

(11)摄像控制部34c在基于摄像部32的主拍摄结束之后、且显示部35再次显示实时取景图像之前，使摄像部32至少拍摄一帧处理用图像数据。由此，能够为新的主拍摄做准备并准备处理用图像数据。

(12)摄像控制部34c在有包含主拍摄的准备的指示及主拍摄的指示在内的与拍摄有关的指示的操作时，使摄像部32进行处理用图像数据的拍摄。由此，在主拍摄时摄像条件变更为现状的可能性很高的情况下，通过预先拍摄处理用图像数据，能够在拍摄主图像数据时进行使用处理用图像数据的适当的图像处理。

(13)摄像控制部34c在进行指示主拍摄的准备的操作的期间内使摄像部32至少拍摄一帧处理用图像数据。由此，在主拍摄之前拍摄处理用图像数据，并能在拍摄主图像数据时进行使用处理用图像数据的适当的图像处理。

(14)摄像控制部34c在有指示主拍摄的操作时，在摄像部32进行主拍摄之前或主拍摄之后使摄像部32至少拍摄一帧处理用图像数据。由此，在主拍摄之前拍摄处理用图像数据，并能在拍摄主图像数据时进行使用处理用图像数据的适当的图像处理。在主拍摄之后拍摄处理用图像数据的情况下，能够以不错过按快门的最佳定时的方式进行主拍摄。

(15)摄像控制部34c在有指示处理用图像数据的拍摄的操作时，使摄像部32至少拍摄一帧处理用图像数据。由此，像用户判断为摄像条件变化的可能性很高的情况等那样，通过在用户所期望的定时操作专用按钮，能够拍摄适合对主图像数据进行图像处理的处理用图像数据。

(16)摄像部32在摄像面的一部分区域内进行处理用图像数据的拍摄。由此，对于主图像数据中的需要进行图像处理的区域，能够获得处理用图像数据。

(17)摄像部32在摄像面的中央部或所指示的位置的区域内进行处理用图像数据的拍摄。由此，对于主图像数据中的需要进行图像处理的区域，能够获得处理用图像数据。

(18)摄像部32在将处理用图像数据的拍摄进行多帧时使摄像条件在多帧中共用或不同。由此，即使是摄像条件在划分后的多个区域之间不同的情况下，也能拍摄用于各个区域的处理用图像数据。

(19)设定部34b在使摄像条件在处理用图像数据的多帧中不同的情况下，基于在多帧中的前一帧所获得的处理用图像数据来确定下一帧的摄像条件。由此，即使是摄像条件在实时取景图像的显示期间发生变化的情况下，也能拍摄适合图像处理的处理用图像数据。

(20)设定部34b在有指定摄像条件的操作时，设定所指定的摄像条件并进行处理用图像数据的拍摄。由此，对于应用了用户所期望的摄像条件的主图像数据，能够拍摄适合图像处理的处理用图像数据。

如下所述的变形也包含在本发明的范围内，还能将一个或多个变形例与上述实施方式组合。

(变形例1)

图17的(a)～图17的(c)是例示摄像元件32a的摄像面中的第一区域及第二区域的配置的图。根据图17的(a)的例子，第一区域由偶数列构成，第二区域由奇数列构成。即，摄像面被划分成偶数列和奇数列。

根据图17的(b)的例子，第一区域由奇数行构成，第二区域由偶数行构成。即，摄像面被划分成奇数行和偶数行。

根据图17的(c)的例子，第一区域通过奇数列中的偶数行的区块、和偶数列中的奇数行的区块构成。另外，第二区域通过偶数列中的偶数行的区块、和奇数列中的奇数行的区块构成。即，摄像面被划分成方格花纹状。在第一区域内设定第一摄像条件，在第二区域内设定与第一摄像条件不同的第二摄像条件。

在图17的(a)～图17的(c)的任一情况下，通过从进行了一帧拍摄的摄像元件32a读取的光电转换信号，分别生成基于从第一区域读取的光电转换信号的第一图像以及基于从第二区域读取的光电转换信号的第二图像。根据变形例1，第一图像及第二图像被以相同的视角来拍摄，并包含共用的被摄体像。

在变形例1中，控制部34将第一图像用于显示，并将第二图像用作处理用图像数据。具体而言，控制部34使第一图像作为实时取景图像显示在显示部35上。另外，控制部34将第二图像作为处理用图像数据来使用。即，通过处理部33b使用第二图像进行图像处理，通过物体检测部34a使用第二图像进行被摄体检测处理，通过AF运算部34d使用第二图像进行焦点检测处理，通过设定部34b使用第二图像进行曝光运算处理。

此外，也可以将获得第一图像的区域和获得第二图像的区域在每一帧都进行变更。例如，也可以在第N帧将来自第一区域的第一图像作为实时取景图像、将来自第二区域的第二图像作为处理用图像数据进行拍摄，而在第N+1帧将第一图像作为处理用图像数据、将第二图像作为实时取景图像进行拍摄，并在之后的帧重复该动作。

1.作为一例，控制部34以第一摄像条件拍摄实时取景图像，并将该第一摄像条件设定为适合显示部35的显示的条件。第一摄像条件在整个摄像画面内相同。另一方面，控制部34以第二摄像条件拍摄处理用图像数据，并将该第二摄像条件设定为适合焦点检测处理、被摄体检测处理、及曝光运算处理的条件。第二摄像条件也在整个摄像画面内相同。

此外，在适合焦点检测处理、被摄体检测处理及曝光运算处理的条件各不相同的情况下，控制部34也可以使在第二区域内设定的第二摄像条件在每一帧都不同。例如，将第一帧的第二摄像条件作为适合焦点检测处理的条件，将第二帧的第二摄像条件作为适合被摄体检测处理的条件，将第三帧的第二摄像条件作为适合曝光运算处理的条件。在这些情况中，各帧的第二摄像条件在整个摄像画面内相同。

2.作为另一例，控制部34也可以使第一摄像条件在摄像画面内不同。控制部34的设定部34b在设定部34b划分的包含被摄体要素的每个区域内设定不同的第一摄像条件。另一方面，控制部34将第二摄像条件在整个摄像画面内设为相同的。控制部34虽然将第二摄像条件设定为适合焦点检测处理、被摄体检测处理、及曝光运算处理的条件，但在适合焦点检测处理、被摄体检测处理、及曝光运算处理的条件各不相同的情况下，也可以使在第二区域内设定的摄像条件在每一帧都不同。

3.另外，作为另一例，控制部34也可以一方面将第一摄像条件在整个摄像画面内设为相同的，一方面又使第二摄像条件在摄像画面内不同。例如，在设定部34b针对划分后的包含被摄体要素的每个区域内设定不同的第二摄像条件。在这种情况下，当适合焦点检测处理、被摄体检测处理、及曝光运算处理的条件各不相同时，也可以使在第二区域内设定的摄像条件在每一帧都不同。

4.再者，作为另一例，控制部34使第一摄像条件在摄像画面内不同，并使第二摄像条件在摄像画面内不同。例如，在设定部34b针对划分的包含被摄体要素的每个区域内设定不同的第一摄像条件，并同时设定部34b针对划分的包含被摄体要素的每个区域内设定不同的第二摄像条件。

在图17的(a)～图17的(c)中，也可以使第一区域与第二区域的面积比不同。控制部34例如基于用户的操作或控制部34的判断而将第一区域的比率设定得比第二区域高，或将第一区域与第二区域的比率如图17的(a)～图17的(c)所例示的那样相同地设定，亦或将第一区域的比率设定得比第二区域低。通过在第一区域和第二区域使面积比不同，能够使第一图像与第二图像相比更高清，或使第一图像及第二图像的分辨率相同，亦或使第二图像与第一图像相比更高清。

例如在图17的(c)的由粗线包围而成的区域X中，通过将来自第二区域的区块的图像信号相加后平均，而使第一图像与第二图像相比更高清。由此，能够获得与随着摄像条件的变化使处理用摄像区域扩大或缩小的情况相同的图像数据。

(变形例2)

在上述实施方式中，对控制部34的设定部34b基于实时取景图像检测被摄体要素、并将实时取景图像的画面划分成包含被摄体要素的区域的例子进行了说明。在变形例2中，控制部34在具备与摄像元件32a分开的测光用传感器的情况下，也可以基于来自测光用传感器的输出信号来划分区域。

图18是表示变形例2的主要部分的结构的框图。相机1除了图1所示的实施方式中的结构之外还具备测光用传感器38。控制部34基于来自测光用传感器38的输出信号而划分成前景和背景。具体而言，将由摄像元件32b获得的实时取景图像划分成与根据来自测光用传感器38的输出信号判断为前景的区域对应的前景区域、和与根据来自测光用传感器38的输出信号判断为背景的区域对应的背景区域。

控制部34进一步针对前景区域如图17的(a)～图17的(c)所例示的那样在摄像元件32a的摄像面配置第一区域及第二区域。另一方面，控制部34针对背景区域仅在摄像元件32a的摄像面配置第一区域。控制部34将第一图像用于显示，并将第二图像用于检测。

根据变形例2，通过使用来自测光用传感器38的输出信号，能够进行由摄像元件32b获得的实时取景图像的区域划分。另外，对于前景区域，能够得到显示用的第一图像和检测用的第二图像；对于背景区域，能够仅得到显示用的第一图像。即使是被摄体的拍摄环境在实时取景图像的显示期间发生了变化的情况下，也能通过使用来自测光用传感器38的输出进行区域划分而再次重新设定前景区域和背景区域。此外，并不限定于用测光用传感器38检测被摄体的拍摄环境的例子，例如也可以基于检测对相机1施加的加速度的加速度传感器等的输出来进行与被摄体的拍摄环境相应的区域划分。

(变形例3)

在变形例3中，图像处理部33设为在上述的图像处理(例如噪声降低处理)中不损坏被摄体要素的轮廓。通常，在进行降噪的情况下采用平滑滤波处理。在使用平滑滤波器的情况下，除了降噪效果之外有时被摄体要素的边界也会模糊。

于是，图像处理部33的处理部33b例如通过除噪声降低处理之外或与噪声降低处理一起进行对比度调整处理来补偿上述被摄体要素的边界的模糊。在变形例3中，图像处理部33的处理部33b设定像描画S字那样的曲线(所谓S字变换)来作为浓度变换(灰度变换)曲线。图像处理部33的处理部33b通过进行使用S字变换的对比度调整，分别放大亮数据和暗数据的灰度部分来分别增加亮数据(及暗数据)的灰度数，并且压缩中间灰度的图像数据来减少灰度数。由此，作为图像亮度为中等程度的图像数据的数量减少、且被分类为亮/暗的某一方的数据增加的结果是，能够补偿被摄体要素的边界的模糊。

根据变形例3，通过使图像的明暗清楚明确，能够补偿被摄体要素的边界的模糊。

(变形例4)

也可以具备多个图像处理部33，且并列进行图像处理。例如，一边对在摄像部32的区域A拍摄到的图像数据进行图像处理，一边对在摄像部32的区域B拍摄到的图像数据进行图像处理。多个图像处理部33既可以进行相同的图像处理，也可以进行不同的图像处理。即，能够对区域A及区域B的图像数据应用相同的参数等来进行同样的图像处理，或对区域A及区域B的图像数据应用不同的参数等来进行不同的图像处理。

在具备多个图像处理部33的情况下，也可以通过一个图像处理部对应用了第一摄像条件的数据进行图像处理，并通过其它图像处理部对应用了第二摄像条件的数据进行图像处理。图像处理部的数量并不限于上述两个，例如也可以设为与能设定的摄像条件的数量相同。即，各个图像处理部在应用了不同摄像条件的每个区域负责图像处理。根据变形例4，能够使基于每个区域的不同摄像条件的拍摄、和针对在上述每个区域得到的图像的图像数据的图像处理同时进行。

(变形例5)

在上述说明中，以相机1为例进行了说明，但也可以通过像智能手机那样具备相机功能的高性能手机250(图20)、或平板终端等移动设备来构成。

(变形例6)

在上述实施方式中，以将摄像部32和控制部34构成为单独的电子设备的相机1为例进行了说明。取而代之的是，例如也可以将摄像部32与控制部34分开设置，并构成从控制部34经由通信来控制摄像部32的摄像系统1B。

以下，说明从具备控制部34的控制装置1002对具备摄像部32的摄像装置1001进行控制的例子。

图19是例示变形例6的摄像系统1B的结构的框图。在图19中，摄像系统1B由摄像装置1001和显示装置1002构成。摄像装置1001除了在上述实施方式中说明的摄像光学系统31和摄像部32之外，还具备第一通信部1003。另外，显示装置1002除了在上述实施方式中说明的图像处理部33、控制部34、显示部35、操作部件36及记录部37之外，还具备第二通信部1004。

第一通信部1003及第二通信部1004例如能够通过众所周知的无线通信技术或光通信技术等来进行双向的图像数据通信。

此外，也可以构成为通过有线电缆将摄像装置1001与显示装置1002进行有线连接，且第一通信部1003及第二通信部1004进行双向的图像数据通信。

摄像系统1B通过控制部34进行经由第二通信部1004及第一通信部1003的数据通信而进行针对摄像部32的控制。例如，通过在摄像装置1001与显示装置1002之间发送和接收规定的控制数据，如上所述，显示装置1002基于图像将画面划分成多个区域，或在划分后的每个区域内设定不同的摄像条件，亦或在各个区域读取光电转换后的光电转换信号。

根据变形例6，由于在摄像装置1001侧获得并向显示装置1002发送的实时取景图像显示在显示装置1002的显示部35上，所以用户能够在处于远离摄像装置1001的位置上的显示装置1002进行远程操作。

显示装置1002例如能够通过像智能手机那样的高性能手机250构成。另外，摄像装置1001能够通过具备上述层叠型摄像元件100的电子设备构成。

此外，对在显示装置1002的控制部34中设置物体检测部34a、设定部34b、摄像控制部34c、和AF运算部34d的例子进行了说明，但关于物体检测部34a、设定部34b、摄像控制部34c、及AF运算部34d的一部分，也可以设置在摄像装置1001中。

(变形例7)

向上述的相机1、高性能手机250、或平板终端等移动设备的程序供给例如像图20所例示的那样，能够通过红外线通信或近距离无线通信从储存有程序的个人电脑205向移动设备发送。

针对个人电脑205的程序供给既可以在个人电脑205中组装储存有程序的CD-ROM等记录介质204来进行，也可以通过经由网络等通信线路201的方法向个人电脑205加载。在经由通信线路201的情况下，在与该通信线路连接的服务器202的存储装置203等中储存有程序。

另外，还能经由与通信线路201连接的无线LAN的接入点(未图示)向移动设备直接发送程序。进一步地，也可以将储存有程序的存储卡等记录介质204B组装在移动设备中。这样，程序能够作为经由记录介质或通信线路等提供的各种方式的电脑程序产品来供给。

只要不破坏本发明的特征，本发明并不限定于上述实施方式，关于在本发明的技术思想的范围内想到的其它方式，也包含在本发明的范围内。

上述的实施方式及变形例也包含如下所述的摄像装置及图像处理装置。

(1-1)一种摄像装置，其具备：摄像元件，其具有对被摄体进行拍摄的摄像区域，上述摄像区域为配置有第一像素和与上述第一像素不同的第二像素的区域，上述第一像素输出利用通过光电转换得到的电荷生成的信号，上述第二像素输出利用通过光电转换得到的电荷生成的信号；设定部，其设定上述摄像区域中的配置有上述第一像素的第一区域的摄像条件、和上述摄像区域中的配置有上述第二像素的与上述第一区域不同的第二区域的摄像条件；选择部，其从由上述设定部设定为第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为与上述第二摄像条件不同的第三摄像条件的上述第二区域的上述第二像素中，选择用于对由上述设定部设定为第一摄像条件的上述第一区域的上述第一像素进行插补的像素，上述第二摄像条件与上述第一摄像条件不同；和生成部，其使用从利用从由上述选择部选择的上述第二像素输出的信号进行了插补的、被设定为上述第一摄像条件的上述第一区域的上述第一像素输出的信号，来生成在上述摄像区域拍摄到的被摄体的至少一部分的图像。

(1-2)根据(1-1)所述的摄像装置，上述选择部根据上述第一摄像条件与上述第二摄像条件的差、和上述第一摄像条件与上述第三摄像条件的差，从由上述设定部设定为上述第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为上述第三摄像条件的上述第二区域的上述第二像素中，选择用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-3)根据(1-2)所述的摄像装置，将上述第一摄像条件与上述第二摄像条件的差、和上述第一摄像条件与上述第三摄像条件的差进行比较，上述选择部将被设定为上述差小的摄像条件的上述第二区域的上述第二像素选择为用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-4)根据(1-1)所述的摄像装置，上述选择部根据上述第一摄像条件与上述第二摄像条件的差异、和上述第一摄像条件与上述第三摄像条件的差异，从由上述设定部设定为上述第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为上述第三摄像条件的上述第二区域的上述第二像素中，选择用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-5)根据(1-4)所述的摄像装置，将上述第一摄像条件与上述第二摄像条件的差异、和上述第一摄像条件与上述第三摄像条件的差异进行比较，上述选择部将被设定为上述差异小的摄像条件的上述第二区域的上述第二像素选择为用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-6)根据(1-1)至(1-5)中任一项所述的摄像装置，具备存储从上述第二像素输出的信号的存储部，上述设定部在对上述第二区域设定上述第二摄像条件之前，将上述第二区域设定为上述第三摄像条件，上述存储部存储从由上述设定部设定为上述第三摄像条件的上述第二区域的上述第二像素输出的信号。

(1-7)根据(1-6)所述的摄像装置，上述设定部在对上述第二区域设定了上述第三摄像条件之后，对上述第一区域设定上述第一摄像条件。

(1-8)根据(1-1)至(1-5)中任一项所述的摄像装置，具备存储从上述第二像素输出的信号的存储部，上述设定部在对上述第二区域设定了上述第二摄像条件之后，将上述第二区域设定为上述第三摄像条件，上述存储部存储从由上述设定部设定为上述第二摄像条件的上述第二区域的上述第二像素输出的信号。

(1-9)根据(1-8)所述的摄像装置，上述设定部在对上述第二区域设定上述第三摄像条件之前，对上述第一区域设定上述第一摄像条件。

(1-10)根据(1-1)至(1-9)中任一项所述的摄像装置，上述第一像素具有对经由具有第一分光特性的滤光片入射的光进行光电转换的第一光电转换部，上述第二像素具有对经由具有与上述第一分光特性不同的第二分光特性的滤光片入射的光进行光电转换的第二光电转换部。

(1-11)根据(1-1)至(1-10)中任一项所述的摄像装置，上述第一区域配置有多个上述第一像素，上述第二区域配置有多个上述第二像素。

(1-12)根据(1-1)至(1-10)中任一项所述的摄像装置，上述第一区域配置有一个上述第一像素，上述第二区域配置有一个上述第二像素。

(1-13)一种摄像装置，其具备：第一摄像元件，其具有对被摄体进行拍摄的第一摄像区域，上述第一摄像区域为配置有第一像素和与上述第一像素不同的第二像素的区域，上述第一像素输出利用通过光电转换得到的电荷生成的信号，上述第二像素输出利用通过光电转换得到的电荷生成的信号；与上述第一摄像元件不同的第二摄像元件，其具有对被摄体进行拍摄的第二摄像区域，上述第二摄像区域为配置有输出利用通过光电转换得到的电荷生成的信号的第三像素的区域；选择部，其从上述第二像素和上述第三像素中选择用于对上述第一像素进行插补的像素；和生成部，其使用从利用从由上述选择部选择的像素输出的信号进行了插补的上述第一像素输出的信号，来生成在上述第一摄像区域拍摄到的被摄体的至少一部分的图像。

(1-14)根据(1-13)所述的摄像装置，其具备设定部，上述设定部设定上述第一摄像区域中的配置有上述第一像素的第一区域的摄像条件、上述第一摄像区域中的配置有上述第二像素的与上述第一区域不同的第二区域的摄像条件、和配置有上述第三像素的上述第二摄像区域的摄像条件。

(1-15)根据(1-14)所述的摄像装置，上述选择部从由上述设定部设定为第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为与上述第二摄像条件不同的第三摄像条件的上述第二摄像区域的上述第三像素中，选择用于对由上述设定部设定为第一摄像条件的上述第一区域的上述第一像素进行插补的像素，上述第二摄像条件与上述第一摄像条件不同。

(1-16)根据(1-15)所述的摄像装置，上述选择部根据上述第一摄像条件与上述第二摄像条件的差、和上述第一摄像条件与上述第三摄像条件的差，从由上述设定部设定为上述第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为上述第三摄像条件的上述第二摄像区域的上述第三像素中，选择用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-17)根据(1-16)所述的摄像装置，上述选择部从由上述设定部设定为上述第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为上述第三摄像条件的上述第二摄像区域的上述第三像素中，将被设定为上述第二摄像条件和上述第三摄像条件中与上述第一摄像条件的差较小的那一方的区域的像素选择为用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-18)根据(1-15)所述的摄像装置，上述选择部根据上述第一摄像条件与上述第二摄像条件的差异、和上述第一摄像条件与上述第三摄像条件的差异，从由上述设定部设定为上述第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为上述第三摄像条件的上述第二摄像区域的上述第三像素中，选择用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-19)根据(1-18)所述的摄像装置，上述选择部从由上述设定部设定为上述第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为上述第三摄像条件的上述第二摄像区域的上述第三像素中，将被设定为上述第二摄像条件和上述第三摄像条件中与上述第一摄像条件的差异较小的那一方的区域的像素选择为选择用于对由上述设定部设定为上述第一摄像条件的上述第一区域的上述第一像素进行插补的像素。

(1-20)根据(1-13)至(1-19)中任一项所述的摄像装置，上述第一像素具有对经由具有第一分光特性的滤光片入射的光进行光电转换的第一光电转换部，上述第二像素及上述第三像素具有对经由具有与上述第一分光特性不同的第二分光特性的滤光片入射的光进行光电转换的第二光电转换部。

(1-21)根据(1-13)至(1-20)中任一项所述的摄像装置，上述第一区域配置有多个上述第一像素，上述第二区域配置有多个上述第二像素。

(1-22)根据(1-13)至(1-20)中任一项所述的摄像装置，上述第一区域配置有一个上述第一像素，上述第二区域配置有一个上述第二像素。

(1-23)一种摄像装置，其具备：摄像元件，其具有对被摄体进行拍摄的摄像区域，上述摄像区域为配置有第一像素和与上述第一像素不同的第二像素的区域，上述第一像素输出利用通过光电转换得到的电荷生成的信号，上述第二像素输出利用通过光电转换得到的电荷生成的信号；设定部，其设定上述摄像区域中的配置有上述第一像素的第一区域的摄像条件、和上述摄像区域中的配置有上述第二像素的与上述第一区域不同的第二区域的摄像条件；选择部，其从由上述设定部设定为第二摄像条件的上述第二区域的上述第二像素、和由上述设定部设定为与上述第二摄像条件不同的第三摄像条件的上述第二区域的上述第二像素中，选择用于对从由上述设定部设定为第一摄像条件的上述第一区域的上述第一像素输出的信号进行信号处理的像素，上述第二摄像条件与上述第一摄像条件不同；和生成部，其使用从利用从由上述选择部选择的上述第二像素输出的信号进行了信号处理的、被设定为上述第一摄像条件的上述第一区域的上述第一像素输出的信号，来生成在上述摄像区域拍摄到的被摄体的至少一部分的图像。

(1-24)一种摄像装置，其具备：第一摄像元件，其具有对被摄体进行拍摄的第一摄像区域，上述第一摄像区域为配置有利用通过光电转换得到的电荷生成信号的第一像素、和利用通过光电转换得到的电荷生成信号的与上述第一像素不同的第二像素的区域；与上述第一摄像元件不同的第二摄像元件，其具有对被摄体进行拍摄的第二摄像区域，上述第二摄像区域为配置有利用通过光电转换得到的电荷生成信号的第三像素的区域；选择部，其从上述第二像素和上述第三像素中选择用于对从上述第一像素输出的信号进行信号处理的像素；和生成部，其使用从利用从由上述选择部选择的像素输出的信号进行了信号处理的上述第一像素输出的信号，来生成在上述第一摄像区域拍摄到的被摄体的至少一部分的图像。

(1-25)一种图像处理装置，其具备：选择部，其对于用于对配置在被设定为第一摄像条件的、摄像元件的摄像区域中的第一区域内的第一像素进行插补的像素，是从配置在被设定为与上述第一摄像条件不同的第二摄像条件的上述摄像区域中的第二区域内的第二像素、和配置在被设定为与上述第二摄像条件不同的第三摄像条件的上述第二区域内的上述第二像素中选择的；和生成部，其使用从利用从由上述选择部选择的上述第二像素输出的信号进行了插补的、被设定为上述第一摄像条件的上述第一区域的上述第一像素输出的信号，来生成在上述摄像区域拍摄到的被摄体的至少一部分的图像。

(1-26)一种图像处理装置，其具备：选择部，其对于用于对配置在第一摄像元件的第一摄像区域内的第一像素进行插补的像素，是从配置在上述第一摄像区域内的与上述第一像素不同的第二像素、和配置在与上述第一摄像元件不同的第二摄像元件的第二摄像区域内的第三像素中选择的；和生成部，其使用从利用从由上述选择部选择的像素输出的信号进行了插补的上述第一像素输出的信号，来生成在上述第一摄像区域拍摄到的被摄体的至少一部分的图像。

(1-27)一种图像处理装置，其具备：选择部，其对于用于对从配置在被设定为第一摄像条件的、摄像元件的摄像区域中的第一区域内的第一像素输出的信号进行信号处理的像素，是从配置在被设定为与上述第一摄像条件不同的第二摄像条件的上述摄像区域中的第二区域内的第二像素、和配置在被设定为与上述第二摄像条件不同的第三摄像条件的上述第二区域内的上述第二像素中选择的；和生成部，其使用从利用从由上述选择部选择的上述第二像素输出的信号进行了信号处理的、被设定为上述第一摄像条件的上述第一区域的上述第一像素输出的信号，来生成在上述摄像区域拍摄到的被摄体的至少一部分的图像。

(1-28)一种图像处理装置，其具备：选择部，其对于用于对从配置在第一摄像元件的第一摄像区域内的第一像素输出的信号进行信号处理的像素，是从配置在上述第一摄像区域内的与上述第一像素不同的第二像素、和配置在与上述第一摄像元件不同的第二摄像元件的第二摄像区域内的第三像素中选择的；和生成部，其使用从利用从由上述选择部选择的像素输出的信号进行了信号处理的上述第一像素输出的信号，来生成在上述第一摄像区域拍摄到的被摄体的至少一部分的图像。

另外，上述的实施方式及变形例也包含如下所述的图像处理装置及摄像装置。

(2-1)一种图像处理装置，其具备：输入部，其输入第一图像数据和第二图像数据，该第一图像数据是通过对摄像部的摄像面的第一区域设定第一摄像条件并对上述摄像面的第二区域设定与上述第一摄像条件不同的第二摄像条件而拍摄到的，该第二图像数据是通过对上述第一区域及上述第二区域设定第三摄像条件而拍摄到的；和处理部，其使用上述第二图像数据对上述第一图像数据中的与上述第一区域对应的第一部分图像数据实施图像处理。

(2-2)在(2-1)所述的图像处理装置中，上述处理部使用上述第二图像数据对上述第一部分图像数据中的与上述第一区域和上述第二区域的边界部对应的边界部数据实施上述图像处理。

(2-3)在(2-2)所述的图像处理装置中，上述处理部使用上述第二图像数据中的至少与上述第二区域对应的第二部分图像数据对上述第一部分图像数据的上述边界部数据实施上述图像处理。

(2-4)在(2-3)所述的图像处理装置中，上述处理部在使用上述像素周边的参照像素且是与上述第一区域及上述第二区域对应的上述参照像素对上述第一图像数据的上述边界部数据的像素来实施上述图像处理时，对于与上述第二区域对应的上述参照像素，将与上述第一图像数据中的上述参照像素的位置对应的位置上的上述第二部分图像数据用于上述图像处理。

(2-5)在(2-4)所述的图像处理装置中，上述处理部对于上述第一图像数据中的与上述第一区域对应的上述参照像素，将上述参照像素的位置上的上述第一部分图像数据进一步用于上述图像处理。

(2-6)在(2-4)所述的图像处理装置中，上述处理部对于上述第一图像数据中的与上述第一区域对应的上述参照像素，将与上述第一图像数据中的上述参照像素的位置对应的位置上的上述第二图像数据进一步用于上述图像处理。

(2-7)在(2-1)至(2-6)中任一项所述的图像处理装置中，上述第三摄像条件与上述第一摄像条件相等。

(2-8)在(2-1)至(2-7)中任一项所述的图像处理装置中，上述摄像部具有多个摄像像素，上述处理部至少将摄像像素缺陷修正处理、色彩校正处理、轮廓强调处理、或噪声降低处理作为上述图像处理来实施。

(2-9)一种摄像装置，其具备：摄像部，其通过对摄像面的第一区域设定第一摄像条件并对上述摄像面的第二区域设定与上述第一摄像条件不同的第二摄像条件，来进行第一拍摄以拍摄第一图像数据，并通过对上述第一区域及上述第二区域设定第三摄像条件而进行第二拍摄以拍摄第二图像数据；和处理部，其使用上述第二图像数据对上述第一图像数据中的与上述第一区域对应的第一部分图像数据实施图像处理。

(2-10)在(2-9)所述的摄像装置中，上述处理部使用上述第二图像数据对上述第一部分图像数据中的与上述第一区域和上述第二区域的边界部对应的边界部数据实施上述图像处理。

(2-11)在(2-10)所述的摄像装置中，上述处理部使用上述第二图像数据中的至少与上述第二区域对应的第二部分图像数据对上述第一部分图像数据的上述边界部数据实施上述图像处理。

(2-12)在(2-11)所述的摄像装置中，上述处理部在对上述第一图像数据的上述边界部数据的像素使用上述像素周边的参照像素、且是与上述第一区域及上述第二区域对应的上述参照像素来实施上述图像处理时，对于与上述第二区域对应的上述参照像素，将与上述第一图像数据中的上述参照像素的位置对应的位置上的上述第二部分图像数据用于上述图像处理。

(2-13)在(2-12)所述的摄像装置中，上述处理部对于上述第一图像数据中的与上述第一区域对应的上述参照像素，将上述参照像素的位置上的上述第一部分图像数据进一步用于上述图像处理。

(2-14)在(2-12)所述的摄像装置中，上述处理部对于上述第一图像数据中的与上述第一区域对应的上述参照像素，将与上述第一图像数据中的上述参照像素的位置对应的位置上的上述第二图像数据进一步用于上述图像处理。

(2-15)在(2-9)至(2-14)中任一项所述的摄像装置中，上述第三摄像条件与上述第一摄像条件相等。

(2-16)在(2-9)至(2-15)中任一项所述的摄像装置中，上述处理部至少将上述摄像部具有的摄像像素的缺陷修正处理、色彩校正处理、轮廓强调处理、或噪声降低处理作为上述图像处理来实施。

(2-17)在(2-9)至(2-16)中任一项所述的摄像装置中，进一步具备控制部，该控制部控制上述摄像部进行上述第一拍摄的定时和进行上述第二拍摄的定时。

(2-18)在(2-17)所述的摄像装置中，进一步具备显示处理部，该显示处理部使显示部显示基于由上述摄像部拍摄到的图像数据的图像，上述摄像部在拍摄准备状态下进行拍摄多帧上述图像数据的第三拍摄，上述显示处理部使上述显示部显示上述第三拍摄所拍摄到的上述多帧图像。

(2-19)在(2-18)所述的摄像装置中，上述控制部使上述摄像部在上述第三拍摄的帧之间进行上述第二拍摄，至少拍摄一帧上述第二图像数据。

(2-20)在(2-19)所述的摄像装置中，上述控制部每当在以上述拍摄准备状态使上述摄像部开始上述第三拍摄之前、或使上述摄像部开始了上述第三拍摄之后进行规定帧数的上述第三拍摄时，都进行上述第二拍摄并至少拍摄一帧上述第二图像数据。

(2-21)在(2-19)所述的摄像装置中，上述控制部在有指示上述第一拍摄的操作时，在上述摄像部进行上述第一拍摄之前或进行了上述第一拍摄之后使上述摄像部至少拍摄一帧上述第二图像数据。

(2-22)在(2-21)所述的摄像装置中，上述控制部在基于上述摄像部的上述第一拍摄结束之后、且上述显示处理部使上述显示部显示上述第三拍摄所拍摄到的上述多帧图像之前，使上述摄像部至少拍摄一帧上述第二图像数据。

(2-23)在(2-17)至(2-21)中任一项所述的摄像装置中，上述控制部在有包含上述第一拍摄的准备的指示及上述第一拍摄的指示在内的与拍摄有关的指示的操作时，使上述摄像部进行上述第二拍摄以拍摄上述第二图像数据。

(2-24)在(2-23)所述的摄像装置中，上述控制部在进行指示上述第一拍摄的准备的操作的期间内使上述摄像部至少拍摄一帧上述第二图像数据。

(2-25)在(2-23)所述的摄像装置中，上述控制部在有指示上述第一拍摄的操作时，在上述摄像部进行上述第一拍摄之前或上述第一拍摄之后使上述摄像部至少拍摄一帧上述第二图像数据。

(2-26)在(2-17)至(2-25)中任一项所述的摄像装置中，上述控制部在有指示上述第二图像数据的拍摄的操作时，使上述摄像部进行上述第二拍摄并至少拍摄一帧上述第二图像数据。

(2-27)在(2-17)至(2-26)中任一项所述的摄像装置中，进一步具备检测部，该检测部对上述摄像部拍摄被摄体时的环境的变化进行检测，在上述所拍摄的被摄体的环境发生了变化的情况下，上述控制部基于上述检测部的输出使上述摄像部拍摄上述第二图像数据。

(2-28)在(2-11)至(2-26)中任一项所述的摄像装置中，上述摄像部在上述摄像面的一部分区域内进行上述第二图像数据的拍摄。

(2-29)在(2-28)所述的摄像装置中，上述摄像部在上述摄像面的中央部或所指示的位置的区域内进行上述第二图像数据的拍摄。

(2-30)在(2-11)至(2-28)中任一项所述的摄像装置中，上述摄像部在进行多帧上述第二拍摄的情况下，使上述第三摄像条件在上述多帧中共用或不同。

(2-31)在(2-30)所述的摄像装置中，上述摄像部在使上述第三摄像条件在上述多帧中不同的情况下，根据基于在上述多帧中的前一帧获得的上述第二图像数据而设定的上述第三摄像条件，来拍摄下一帧的上述第二图像数据。

(2-32)在(2-11)至(2-31)中任一项所述的摄像装置中，上述摄像部在有指定摄像条件的操作时，将上述指定的摄像条件设定为上述第三摄像条件并进行上述第二图像数据的拍摄。

下述优先权基础申请的公开内容作为引用文而援引至此。

日本专利申请2015年第195137号(2015年9月30日申请)

附图标记说明

1……相机

1B……摄像系统

32……摄像部

32a、100……摄像元件

33……图像处理部

33a……输入部

33b……处理部

34……控制部

34a……物体检测部

34b……设定部

34c……摄像控制部

34d……AF运算部

35……显示部

38……测光用传感器

90……关注范围

100……层叠型摄像元件

1001……摄像装置

1002……显示装置

P……关注像素

Pr……参照像素

Claims (28)

1.一种摄像装置，其特征在于，具备：

摄像元件，其具有对被摄体进行拍摄的摄像区域，所述摄像区域为配置有第一像素和与所述第一像素不同的第二像素的区域，所述第一像素输出利用通过光电转换得到的电荷生成的信号，所述第二像素输出利用通过光电转换得到的电荷生成的信号；

设定部，其设定所述摄像区域中的配置有所述第一像素的第一区域的摄像条件、和所述摄像区域中的配置有所述第二像素的与所述第一区域不同的第二区域的摄像条件；

选择部，其从由所述设定部设定为第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域的所述第二像素中，选择用于对由所述设定部设定为第一摄像条件的所述第一区域的所述第一像素进行插补的像素，所述第二摄像条件与所述第一摄像条件不同；和

生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了插补的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

2.根据权利要求1所述的摄像装置，其特征在于，所述选择部根据所述第一摄像条件与所述第二摄像条件的差、和所述第一摄像条件与所述第三摄像条件的差，从由所述设定部设定为所述第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为所述第三摄像条件的所述第二区域的所述第二像素中，选择用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

3.根据权利要求2所述的摄像装置，其特征在于，将所述第一摄像条件与所述第二摄像条件的差、和所述第一摄像条件与所述第三摄像条件的差进行比较，所述选择部将被设定为上述中差小的摄像条件的所述第二区域的所述第二像素选择为用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

4.根据权利要求1所述的摄像装置，其特征在于，所述选择部根据所述第一摄像条件与所述第二摄像条件的差异、和所述第一摄像条件与所述第三摄像条件的差异，从由所述设定部设定为所述第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为所述第三摄像条件的所述第二区域的所述第二像素中，选择用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

5.根据权利要求4所述的摄像装置，其特征在于，将所述第一摄像条件与所述第二摄像条件的差异、和所述第一摄像条件与所述第三摄像条件的差异进行比较，所述选择部将被设定为上述差异小的摄像条件的所述第二区域的所述第二像素选择为用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

6.根据权利要求1～5中任一项所述的摄像装置，其特征在于，具备存储从所述第二像素输出的信号的存储部，

所述设定部在对所述第二区域设定所述第二摄像条件之前，将所述第二区域设定为所述第三摄像条件，

所述存储部存储从由所述设定部设定为所述第三摄像条件的所述第二区域的所述第二像素输出的信号。

7.根据权利要求6所述的摄像装置，其特征在于，所述设定部在对所述第二区域设定了所述第三摄像条件之后，对所述第一区域设定所述第一摄像条件。

8.根据权利要求1～5中任一项所述的摄像装置，其特征在于，具备存储从所述第二像素输出的信号的存储部，

所述设定部在对所述第二区域设定了所述第二摄像条件之后，将所述第二区域设定为所述第三摄像条件，

所述存储部存储从由所述设定部设定为所述第二摄像条件的所述第二区域的所述第二像素输出的信号。

9.根据权利要求8所述的摄像装置，其特征在于，所述设定部在对所述第二区域设定所述第三摄像条件之前，对所述第一区域设定所述第一摄像条件。

10.根据权利要求1～9中任一项所述的摄像装置，其特征在于，所述第一像素具有对经由具有第一分光特性的滤光片入射的光进行光电转换的第一光电转换部，

所述第二像素具有对经由具有与所述第一分光特性不同的第二分光特性的滤光片入射的光进行光电转换的第二光电转换部。

11.根据权利要求1～10中任一项所述的摄像装置，其特征在于，所述第一区域配置有多个所述第一像素，

所述第二区域配置有多个所述第二像素。

12.根据权利要求1～10中任一项所述的摄像装置，其特征在于，所述第一区域配置有一个所述第一像素，

所述第二区域配置有一个所述第二像素。

13.一种摄像装置，其特征在于，具备：

第一摄像元件，其具有对被摄体进行拍摄的第一摄像区域，所述第一摄像区域为配置有第一像素和与所述第一像素不同的第二像素的区域，所述第一像素输出利用通过光电转换得到的电荷生成的信号，所述第二像素输出利用通过光电转换得到的电荷生成的信号；

与所述第一摄像元件不同的第二摄像元件，其具有对被摄体进行拍摄的第二摄像区域，所述第二摄像区域为配置有输出利用通过光电转换得到的电荷生成的信号的第三像素的区域；

选择部，其从所述第二像素和所述第三像素中选择用于对所述第一像素进行插补的像素；和

生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了插补的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。

14.根据权利要求13所述的摄像装置，其特征在于，具备设定部，所述设定部设定所述第一摄像区域中的配置有所述第一像素的第一区域的摄像条件、所述第一摄像区域中的配置有所述第二像素的与所述第一区域不同的第二区域的摄像条件、和配置有所述第三像素的所述第二摄像区域的摄像条件。

15.根据权利要求14所述的摄像装置，其特征在于，所述选择部从由所述设定部设定为第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为与所述第二摄像条件不同的第三摄像条件的所述第二摄像区域的所述第三像素中，选择用于对由所述设定部设定为第一摄像条件的所述第一区域的所述第一像素进行插补的像素，所述第二摄像条件与所述第一摄像条件不同。

16.根据权利要求15所述的摄像装置，其特征在于，所述选择部根据所述第一摄像条件与所述第二摄像条件的差、和所述第一摄像条件与所述第三摄像条件的差，从由所述设定部设定为所述第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为所述第三摄像条件的所述第二摄像区域的所述第三像素中，选择用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

17.根据权利要求16所述的摄像装置，其特征在于，所述选择部从由所述设定部设定为所述第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为所述第三摄像条件的所述第二摄像区域的所述第三像素中，将被设定为所述第二摄像条件和所述第三摄像条件中与所述第一摄像条件的差较小的那一方的区域的像素选择为用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

18.根据权利要求15所述的摄像装置，其特征在于，所述选择部根据所述第一摄像条件与所述第二摄像条件的差异、和所述第一摄像条件与所述第三摄像条件的差异，从由所述设定部设定为所述第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为所述第三摄像条件的所述第二摄像区域的所述第三像素中，选择用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

19.根据权利要求18所述的摄像装置，其特征在于，所述选择部从由所述设定部设定为所述第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为所述第三摄像条件的所述第二摄像区域的所述第三像素中，将被设定为所述第二摄像条件和所述第三摄像条件中与所述第一摄像条件的差异较小的那一方的区域的像素选择为用于对由所述设定部设定为所述第一摄像条件的所述第一区域的所述第一像素进行插补的像素。

20.根据权利要求13～19中任一项所述的摄像装置，其特征在于，所述第一像素具有对经由具有第一分光特性的滤光片入射的光进行光电转换的第一光电转换部，

所述第二像素及所述第三像素具有对经由具有与所述第一分光特性不同的第二分光特性的滤光片入射的光进行光电转换的第二光电转换部。

21.根据权利要求13～20中任一项所述的摄像装置，其特征在于，所述第一区域配置有多个所述第一像素，

所述第二区域配置有多个所述第二像素。

22.根据权利要求13～20中任一项所述的摄像装置，其特征在于，所述第一区域配置有一个所述第一像素，

所述第二区域配置有一个所述第二像素。

23.一种摄像装置，其特征在于，具备：

摄像元件，其具有对被摄体进行拍摄的摄像区域，所述摄像区域为配置有第一像素和与所述第一像素不同的第二像素的区域，所述第一像素输出利用通过光电转换得到的电荷生成的信号，所述第二像素输出利用通过光电转换得到的电荷生成的信号；

设定部，其设定所述摄像区域中的配置有所述第一像素的第一区域的摄像条件、和所述摄像区域中的配置有所述第二像素的与所述第一区域不同的第二区域的摄像条件；

选择部，其从由所述设定部设定为第二摄像条件的所述第二区域的所述第二像素、和由所述设定部设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域的所述第二像素中，选择用于对从由所述设定部设定为第一摄像条件的所述第一区域的所述第一像素输出的信号进行信号处理的像素，所述第二摄像条件与所述第一摄像条件不同；和

生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了信号处理的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

24.一种摄像装置，其特征在于，具备：

第一摄像元件，其具有对被摄体进行拍摄的第一摄像区域，所述第一摄像区域为配置有利用通过光电转换得到的电荷生成信号的第一像素、和利用通过光电转换得到的电荷生成信号的与所述第一像素不同的第二像素的区域；

与所述第一摄像元件不同的第二摄像元件，其具有对被摄体进行拍摄的第二摄像区域，所述第二摄像区域为配置有利用通过光电转换得到的电荷生成信号的第三像素的区域；

选择部，其从所述第二像素和所述第三像素中选择用于对从所述第一像素输出的信号进行信号处理的像素；和

生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了信号处理的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。

25.一种图像处理装置，其特征在于，具备：

选择部，其对于用于对配置在被设定为第一摄像条件的、摄像元件的摄像区域中的第一区域内的第一像素进行插补的像素，是从配置在被设定为与所述第一摄像条件不同的第二摄像条件的所述摄像区域中的第二区域内的第二像素、和配置在被设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域内的所述第二像素中选择的；和

生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了插补的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

26.一种图像处理装置，其特征在于，具备：

选择部，其对于用于对配置在第一摄像元件的第一摄像区域内的第一像素进行插补的像素，是从配置在所述第一摄像区域内的与所述第一像素不同的第二像素、和配置在与所述第一摄像元件不同的第二摄像元件的第二摄像区域内的第三像素中选择的；和

生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了插补的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。

27.一种图像处理装置，其特征在于，具备：

选择部，其对于用于对从配置在被设定为第一摄像条件的、摄像元件的摄像区域中的第一区域内的第一像素输出的信号进行信号处理的像素，是从配置在被设定为与所述第一摄像条件不同的第二摄像条件的所述摄像区域中的第二区域内的第二像素、和配置在被设定为与所述第二摄像条件不同的第三摄像条件的所述第二区域内的所述第二像素中选择的；和

生成部，其使用从利用从由所述选择部选择的所述第二像素输出的信号进行了信号处理的、被设定为所述第一摄像条件的所述第一区域的所述第一像素输出的信号，来生成在所述摄像区域拍摄到的被摄体的至少一部分的图像。

28.一种图像处理装置，其特征在于，具备：

选择部，其对于用于对从配置在第一摄像元件的第一摄像区域内的第一像素输出的信号进行信号处理的像素，是从配置在所述第一摄像区域内的与所述第一像素不同的第二像素、和配置在与所述第一摄像元件不同的第二摄像元件的第二摄像区域内的第三像素中选择的；和

生成部，其使用从利用从由所述选择部选择的像素输出的信号进行了信号处理的所述第一像素输出的信号，来生成在所述第一摄像区域拍摄到的被摄体的至少一部分的图像。