CN107493423A - 图像处理装置、图像处理方法和记录介质 - Google Patents

Abstract

提供图像处理装置、图像处理方法和记录介质，能够对在多个拍摄条件下拍摄的1帧的图像的拍摄条件进行简单处理。在一次拍摄时，按照每个图像区域使拍摄条件不同来进行拍摄(S1～S23)，存储1帧的图像数据(S25)，针对1帧的图像数据提取图像关联信息(S31、S33)，进行1帧的图像数据与每个图像区域的图像关联信息的关联(S31～S35)，在拍摄图像上重叠每个图像区域的图像关联信息(S39、S41)。

Description

图像处理装置、图像处理方法和记录介质

技术领域

本发明涉及将图像数据和与该图像数据有关的图像关联信息关联起来进行处理的图像处理装置和图像处理方法。

背景技术

在数字照相机等摄像装置中，进行1帧拍摄时的拍摄条件(例如快门速度、光圈值、ISO感光度等)是一个。但是，近年来，如日本公开特许2011-044966号公报(以下称为“专利文献1”)所示，提出了如下方案：按照摄像元件的每个像素或每行改变曝光时间，由此按照每个像素或每个区域以不同的快门速度进行拍摄。并且，日本公开特许2011-130167号公报(以下称为“专利文献2”)提出了如下的摄像装置：针对拍摄到的1帧的图像，按照每个像素或每个图像区域施加不同的图像处理增益，生成实质上以不同的感光度(ISO感光度)拍摄的图像。这样，提出了在多个拍摄条件下拍摄1帧的方案。

并且，还对多张图像进行合成而生成1帧的图像。例如，市面上提供如下的摄像装置：使快门速度或焦点位置等拍摄条件不同并取得多个图像，对该多个图像进行合成，由此具有扩张了动态范围的HDR合成、加深了焦点深度的深度合成等功能。这样在各种拍摄条件下对1帧的图像数据进行摄像并进行合成，由此，能够得到赋予了通常拍摄中无法得到的效果的图像。

并且，在市售的数字照相机、对数字照相机的图像进行处理的图像处理装置等中，能够将拍摄条件等与图像有关的信息作为图像数据的关联信息(元数据)来实施处理并进行记录。进而，在数字照相机中，在再现显示实时取景图像或已拍摄图像时，有时重叠显示这些关联信息。

发明内容

发明要解决的课题

如上所述，提出了在1帧拍摄时在多个拍摄条件下进行拍摄的方案，但是，以往完全没有考虑如何显示并记录多个拍摄条件。因此，用户无法确认如何设定并记录拍摄条件等。

本发明是鉴于这种情况而完成的，其目的在于，提供能够对在多个拍摄条件下拍摄的1帧的图像的拍摄条件进行简单处理的图像处理装置和图像处理方法。

用于解决课题的手段

本发明的第1方式的图像处理装置具有：记录部，其记录图像数据，一帧的上述图像数据具有多个图像区域，该多个图像区域对应于在分别不同的拍摄条件下取得的部分图像；以及图像关联信息处理部，其针对1帧的上述图像数据，将与上述图像区域有关的图像区域信息和上述图像区域的图像关联信息关联起来进行处理。

本发明的第2方式的图像处理方法具有以下步骤：使拍摄条件不同而进行拍摄，存储1帧的图像数据；针对上述1帧的图像数据提取图像关联信息；进行上述1帧的图像数据与每个图像区域的上述图像关联信息之间的关联。

本发明的第3方式的记录介质记录有图像处理程序，该图像处理程序使计算机执行以下步骤：使拍摄条件不同而进行拍摄，存储1帧的图像数据；针对上述1帧的图像数据提取图像关联信息；进行上述1帧的图像数据与每个图像区域的上述图像关联信息之间的关联。

发明效果

根据本发明，能够提供能够对在多个拍摄条件下拍摄的1帧的图像的拍摄条件进行简单处理的图像处理装置和图像处理方法。

附图说明

图1是示出本发明的第1实施方式的照相机的主要电气结构的框图。

图2是示出本发明的第1实施方式的照相机的动作的流程图。

图3A和图3B是说明本发明的第1实施方式的照相机中的前帘电子快门、赋予与其同等效果的增益施加的图。

图4A和图4B是示出本发明的第1实施方式的照相机中、多个拍摄条件的显示的一例的图。

图5A和图5B是示出本发明的第1实施方式的照相机中、在多个拍摄条件下拍摄时的图像输出信息处理的一例的图。

图6A和图6B是示出本发明的第1实施方式的照相机中、在多个拍摄条件下拍摄时的图像输出信息处理的另一例的图。

图7A和图7B是说明本发明的第1实施方式的照相机中、在多个拍摄条件下拍摄的情况下的关联信息的记录的图。

图8是示出本发明的第2实施方式的照相机的动作的流程图。

图9是示出本发明的第2实施方式的照相机中、多个拍摄条件的显示的一例的图。

具体实施方式

下面，作为本发明的优选实施方式，对应用于数字照相机的例子进行说明。该照相机具有摄像部，通过该摄像部将被摄体像转换为图像数据，根据该转换后的图像数据，在配置于主体的背面的显示部中实时取景显示被摄体像。拍摄者通过观察实时取景显示，决定构图和快门时机。在释放操作时，在记录介质中记录图像数据。当选择再现模式后，能够在显示部中再现显示记录介质中记录的图像数据。

并且，该照相机的摄像元件具有电子快门，在摄像元件面中，能够按照规定的每个区域使快门速度(换言之为曝光时间)不同(参照后述图3A和图3B)。即，在进行1帧的拍摄时，能够在多个拍摄条件下进行拍摄。在本实施方式中，在进行实时取景显示时，能够按照各个区域显示拍摄条件(参照后述图4A和图4B)。并且，在图像数据中记录拍摄条件时，也能够按照每个区域记录拍摄条件(参照后述图7B)。

图1是示出本发明的第1实施方式的照相机的主要电气结构的框图。本实施方式中的照相机具有摄像部10、图像处理部20、系统控制部21、以及总线30和与其连接的各部等。另外，在本实施方式中，摄像部10中包含的镜头12和光圈13与照相机主体一体地构成，但是，不限于一体型的结构，当然也可以设置在与镜头更换式照相机对应的更换镜头内。

在摄像部10内具有镜头12、光圈13、快门14、图像传感器15。镜头12是用于形成光学像的光学镜头，具有对焦透镜和变焦透镜。在镜头12的光轴上设置光圈13。通过驱动控制部11使该光圈13的开口径变化，对穿过光圈13的光量进行控制。

并且，在镜头12的光轴上设置快门14。该快门14是机械式快门，快门14对穿过镜头12的光束的穿过时间、即入射到图像传感器15的入射时间(曝光时间、快门速度)进行控制。另外，在进行实时取景显示时，快门14成为开放状态。并且，光圈13通常设定为开放F值。

图像传感器15设置在镜头12的光轴上的、形成被摄体的光学像的位置附近。图像传感器15包含CMOS图像传感器或CCD图像传感器等摄像元件，按照每个像素将由镜头2形成的被摄体的光学像转换为像素信号，将该像素信号输出到总线30。总线30是用于在各块之间进行信号的发送接收的信号线。图像传感器15作为摄像元件发挥功能。该摄像元件能够按照每个像素或每行来改变快门速度(参照后述图3A和图3B)。

镜头12、光圈13、快门14、图像传感器15与驱动控制部11连接。驱动控制部11根据来自系统控制部21的控制信号，进行镜头12的对焦透镜的驱动控制，进行光圈13的光圈值控制，进行快门14的开闭控制(快门速度控制)。并且，驱动控制部11具有图像传感器15的摄像控制电路，进行图像传感器15的电荷蓄积控制、像素信号的读出控制等。

图像处理部20是图像处理用的处理器，与总线30连接，具有图像关联信息处理部200、增益施加部26、图像合成部27、显影处理部28、显示图像生成部29。图像关联信息处理部200具有区域信息处理部201、拍摄条件处理部202、图像输出信息处理部203、图像数据生成部204。

图像关联信息处理部200是上述处理器的一部分，作为如下的图像关联信息处理部发挥功能：针对在多个拍摄条件下拍摄的1帧的图像数据，将与在不同拍摄条件下进行拍摄的图像区域有关的图像区域信息(例如由图4B、图5A的边界线LINE决定的图像区域、由图6A、图7A所示的块决定的图像区域)和图像区域的图像关联信息关联起来进行处理。

在多个拍摄条件下拍摄的1帧的图像数据是由摄像元件进行摄像得到的图像数据。作为图像关联信息，对快门速度进行处理(参照后述图3A和图3B)。图像关联信息是每个图像区域的拍摄条件，是快门速度、ISO感光度、焦距、曝光控制值(EV值)中的至少一方。图像关联信息是根据每个图像区域中包含的像素输出而计算的值，是像素输出的统计值(直方图、EV值)、曝光偏移量(EV值)、被摄体距离中的至少一方。

区域信息处理部201是上述处理器的一部分，能够自动地或根据用户的指示将图像传感器15的摄像面分割成多个区域。在1帧的图像数据(在后述第2实施方式中包含合成图像)中，在拍摄条件和图像输出信息按照每个像素地址或图像区域而不同的情况下，提取这些像素地址或图像区域的信息，与拍摄条件和图像输出信息关联起来。

拍摄条件处理部202是上述处理器的一部分，在1帧的图像数据(在后述第2实施方式中包含合成图像)中，在拍摄条件按照每个像素地址或图像区域而不同的情况下，提取这些每个像素地址或图像区域的拍摄条件。拍摄条件处理部202提取快门速度、感光度(增益)、焦距(变焦信息)、光圈值等作为拍摄条件，并且，还可以提取拍摄日、闪光灯发光有/无、曝光控制信息(不足/适当/过度)、艺术滤镜的设定、WB(白平衡)设定值作为拍摄条件。系统控制部21按照每个区域，根据被摄体亮度等计算这些拍摄条件，所以，拍摄条件处理部202提取由系统控制部21计算出的拍摄条件。拍摄条件处理部202提取出的拍摄条件的例子使用图4A和图4B在后面叙述。

图像输出信息处理部203是上述处理器的一部分，在1帧的图像数据(在后述第2实施方式中包含合成图像)中，在图像输出信息按照每个像素地址或图像区域而不同的情况下，提取这些每个像素地址或图像区域的图像输出信息。提取表示被摄体亮度值的分布的直方图信息、曝光(从适当曝光的偏移、EV值)作为图像输出信息，并且，作为AF(AutoFocus)，如果采用像面相位差AF，则能够提取被摄体距离的信息。图像输出信息处理部203提取出的图像输出信息的例子使用5A和图5B在后面叙述。

图像数据生成部204是上述处理器的一部分，将区域信息和拍摄条件/图像输出信息关联起来，将该关联起来的数据与图像数据一起记录在外部存储器23中。图像数据和与其关联的数据的数据构造使用图7B在后面叙述。图像数据生成部204作为如下的图像数据生成部发挥功能：将利用图像关联信息处理部与图像数据关联起来的图像区域信息和图像区域的图像关联信息作为图像数据的元数据进行记录。

增益施加部26具有增益施加电路，对从图像传感器15输出的图像数据施加增益值。根据增益值，像素输出增倍。增益施加部26不仅能够对1帧的图像数据的全部像素统一施加增益值，还能够按照由区域信息处理部201分割后的每个区域施加不同的增益值。增益施加部26作为按照每个像素或每行或每列对图像输出施加增益的增益施加部发挥功能，作为图像关联信息，对增益值进行处理。

另外，不限于利用增益施加部26对图像数据施加增益值，也可以在图像传感器15中对图像数据施加增益值。即，也可以在图像传感器15的内部具有增益施加电路，在图像传感器15中对像素信号施加增益值。

图像合成部27具有图像合成电路，对多帧的图像数据进行合成。作为该合成处理，具有相加合成处理、平均合成处理、较亮合成处理、较暗合成处理、HDR合成处理(变更曝光量并拍摄的图像的合成)、深度合成处理(使焦点位置偏移并拍摄的图像的合成)、将多个图像数据粘贴在图像区域中而合成一帧的组合照片(相片故事)等。图像合成部27作为对多帧的图像数据进行合成的图像合成部发挥功能，在多个拍摄条件下拍摄的1帧的图像数据是由图像合成部合成的图像数据。

显影处理部28具有显影处理电路，对从图像传感器15读出的图像数据、或暂时保存在内部存储器22中的图像数据实施显影处理。作为显影处理，具有去马赛克处理、噪声去除处理、WB平衡处理、轮廓强调处理等。并且，显影处理部28还进行JPEG或MPEG等的图像数据压缩解压缩处理。在图像传感器15和显示部24的像素数不同的情况下，还进行增减像素数以使得与显示部24的像素数一致的尺寸调整处理。

显示图像生成部29具有显示图像生成电路，生成实时取景图像、摄影图像的再现显示用的图像，并且生成操作菜单图像等。在显示部24中显示该生成的图像。进而，在本实施方式中，生成在实时取景或再现图像上重叠了图像输出信息处理部203提取出的拍摄关联信息的图像，在显示部24中进行显示。

另外，在本实施方式中，图像处理部20是由进行图像处理运算的运算电路、CPU(Central Processing Unit)和存储了程序的存储器构成的专用的图像处理用处理器。其中，增益施加部26、图像合成部27、显影处理部28、显示图像生成部29由运算电路构成，其余由CPU通过程序来执行。但是不限于该结构，例如也可以构成为，根据图像处理程序在数字信号处理器(DSP)等通用的信号处理用处理器中展开图像处理运算。并且，也可以由后述系统控制部21根据程序来执行。

内部存储器22具有可电改写的易失性存储器例如DRAM(Dynamic Random AccessMemory)、以及可电改写的非易失性存储器例如闪存。内部存储器22记录并保持图像数据和进行照相机整体的控制的控制程序等。内部存储器22作为记录图像数据的记录部发挥功能。

外部存储器23具有SD卡或CF卡等移动性存储介质，该存储介质相对于照相机主体拆装自如。能够在外部存储器23中进行图像数据的记录，并且，还一起记录与所述图像数据关联的数据。本装置的利用者能够从照相机主体上取出外部存储器23，利用其他装置进行图像数据的再现。

显示部24是配置在照相机主体的背面部的TFT(Thin Film Transistor)液晶显示器、能够经由目镜部进行观察的EVF(电子取景器：Electronic View Finder)，显示与本装置的操作有关的信息、图像数据、与图像数据有关的信息等。显示部24作为在图像数据上重叠显示图像区域信息和图像关联信息的显示部发挥功能。

输入部25具有按钮、开关类和触摸面板等操作部件，检测该操作部件的操作状态，将检测结果输出到系统控制部21。系统控制部21根据针对该输入部25的输入状态，进行照相机的控制。通过触摸面板等，能够进行后述区域的指定。并且，还能够按照每个区域进行拍摄条件的设定(例如快门速度、ISO感光度的设定)、图像处理的设定(WB的设定、噪声去除处理、艺术滤镜)。输入部25作为受理来自拍摄者的拍摄条件的输入的拍摄条件输入部发挥功能，根据来自拍摄条件输入部的信号，按照多个图像区域中的每个图像区域设定拍摄条件。

系统控制部21具有CPU(Central Processing Unit)及其周边电路和存储器等。CPU根据存储器中存储的程序对照相机1内的各部进行控制，由此执行照相机的整体控制。

接着，使用图2所示的流程图对本实施方式的照相机的动作进行说明。系统控制部21内的CPU根据内部存储器22中存储的程序对照相机内的各部进行控制，由此实现该流程图。

开始图2的流程图后，首先，显示实时取景(S1)。这里，设光圈13为开放光圈值，并且使快门14成为开放状态，根据来自图像传感器15的图像数据在显示部24中显示被摄体像。驱动控制部11进行的图像传感器15的读出在通常模式下进行。

接着，进行AE和AF(测距)(S3)。这里，为了进行AE(Auto Exposure：自动曝光控制)，根据来自图像传感器15的图像数据检测被摄体亮度。并且，进行AF(Auto Focus)。在图像传感器15采用像面相位差成像器的情况下，在全部像素区域内进行测距。以与下一个步骤中指定的每个区域关联的单位进行被摄体亮度和测距。

进行AE/AF后，接着，进行区域指定(S5)。将与图像传感器15的摄像面对应的画面分割成多个区域。关于分割，用户通过触摸面板等输入部25的操作部件将图像分割成区域。并且，关于区域的指定，除了用户的手动设定以外，也可以根据被摄体亮度和测距结果自动进行。在图4B所示的例子中，用户通过使分割线LINE上下移动来进行指定。能够按照所指定的每个区域设定拍摄条件和图像处理(参照S7～S13)。

进行区域指定后，接着，进行快门速度的设定(S7)。如使用图3A和图3B说明的那样，本实施方式中的图像传感器15能够按照每个区域(每个像素)改变快门速度。因此，按照步骤S5中设定的每个区域来设定快门速度。在设定时，可以根据每个区域的被摄体亮度自动决定快门速度以使其成为最佳，并且，也可以由用户手动设定。

设定快门速度后，接着，进行ISO感光度的设定(S9)。这里，增益施加部26按照步骤S5中设定的每个区域施加与ISO感光度对应的增益值。另外，如上所述，在图像传感器15具有按照每个区域设定增益的功能的情况下，也可以在图像传感器15中进行ISO感光度的设定。

进行ISO感光度的设定后，接着，进行WB(白平衡)的设定(S11)。这里，显影处理部28按照步骤S5中设定的每个区域进行WB的设定。在画面内映出各种色温的光源的情况下，结合该光源而按照每个区域设定WB，由此，能够成为自然感觉的照片。

进行WB的设定后，接着，进行图像处理的设定(S13)。按照步骤S5中设定的图像的每个区域，根据用户的喜好对噪声降低的设定和艺术滤镜的设定进行变更。

进行图像处理的设定后，接着，进行拍摄条件处理(S15)。这里，拍摄条件处理部202按照步骤S5中设定的每个区域提取由系统控制部21设定的拍摄条件。

进行拍摄条件的处理后，接着，进行图像输出信息处理(S17)。这里，图像输出信息处理部203按照步骤S5中设定的每个区域，从实时取景的图像中提取图像输出信息。如上所述，图像输出信息存在表示被摄体亮度分布的直方图、表示从适当曝光值起的偏移的EV值等。

进行图像输出信息处理后，接着，进行区域信息处理(S19)。这里，在按照每个区域(每个像素)设定的拍摄条件(步骤S15)以及图像输出信息(步骤S17)不同的情况下，与这些拍摄条件、图像输出信息进行关联。

进行区域信息处理后，接着，进行显示图像的生成(S21)。这里，显示图像生成部29生成在实时取景图像上重叠了图像区域信息和拍摄条件/图像输出信息的图像。另外，设为与所设定的拍摄条件等对应的实时取景图像。例如，在快门速度向比适当更靠高速侧偏移的情况下，使图像传感器15的电子快门向高速侧偏移，生成实时取景图像即可。

进行显示图像的生成后，接着，进行实时取景显示(S23)。这里，将显示图像生成部29在步骤S21中生成的图像显示为实时取景图像。用户能够掌握按照多个区域中的每个区域设定了什么样的拍摄条件，并且能够掌握按照每个区域成为什么样的输出。

进行实时取景显示后，接着，判定是否是释放接通(S23)。用户在观察显示部24中显示的实时取景图像而成为满意的构图的情况下，并且在观察重叠在实时取景图像上的每个图像区域的拍摄条件/图像输出信息并调节拍摄条件等而成为满意的图像的情况下，全按释放按钮。当与释放按钮的全按对应的释放开关接通后，开始拍摄。在释放开关未接通的情况下，返回步骤S3，执行所述动作。该情况下，输入部25检测用户对操作部件的操作状态，反映检测结果。

在步骤S23中的判定结果为开始拍摄后，系统控制部21对光圈13的光圈值进行控制，对快门14的快门速度进行控制，对图像传感器15的摄像进行控制。另外，在使每个区域的快门速度不同的情况下，在快门14的基础上，一并使用图像传感器15的电子快门。即，利用快门14对最长的快门速度进行控制，通过电子快门对比最长的快门速度短的快门速度的区域进行控制。关于快门速度以外的拍摄条件，也根据所设定的条件执行摄像动作。

经过由快门速度决定的曝光时间后，进行图像数据的读出(S25)。这里，驱动控制部11从图像传感器15读出图像数据，将其输出到总线30，并且暂时存储在内部存储器22中。另外，在步骤S1和S23中的实时取景图像的显示时，读出的像素数较少，但是，步骤S23中判定为释放接通的情况下的真正拍摄中，与实时取景显示时相比，增多像素数，得到高精细的图像数据。

进行图像数据的读出后，接着，对图像数据施加增益(S27)。这里，增益施加部26对图像数据施加增益。在按照每个区域(每个像素)设定了不同增益的情况下，根据设定来施加增益。另外，在从图像传感器15读出图像数据时，在能够施加增益的情况下，也可以在步骤25中的从图像传感器15读出时施加增益。

施加增益后，接着，进行显影处理(S29)。这里，显影处理部28对图像数据进行显影。在按照每个区域(每个像素)设定了不同图像处理设定(WB、艺术滤镜等)的情况下，根据设定来进行图像处理。

进行显影处理后，进行拍摄条件处理(S31)。这里，拍摄条件处理部202从系统控制部21提取拍摄时的拍摄条件(快门速度、增益等)。并且，从显影处理部28提取图像数据中设定的图像处理设定。此时，在进行了测距的情况下，也可以提取焦点位置信息作为拍摄条件。在进行区域指定而使拍摄条件按照每个区域(每个像素)而不同的情况下，提取每个区域的拍摄条件。

进行拍摄条件处理后，接着，进行图像输出信息处理(S33)。这里，图像输出信息处理部203根据图像数据计算所设定的每个区域(每个像素)的图像输出信息(直方图信息、曝光(从适当曝光起的偏移、EV值)、噪声值)。在未进行区域指定的情况下，也可以计算图像整体的图像输出信息。

进行图像输出信息处理后，接着，进行区域信息处理(S35)。这里，在用户手动指定区域或自动设定区域的情况下、且在按照每个区域(每个像素)在不同拍摄条件下拍摄的情况下，区域信息处理部201按照这些多个区域中的每个区域(每个像素)将拍摄条件和图像输出信息关联起来，作为图像数据的元数据分配给头数据(EXIF数据等)。

进行区域信息处理后，接着，进行图像数据的记录(S37)。这里，将图像数据记录在外部存储器23中。并且，在图像数据的记录时，也一并记录步骤S35中分配给头数据的图像数据的元数据。

进行图像数据的记录后，进行显示图像的生成(S39)。这里，显示图像生成部29生成在拍摄到的图像数据上重叠了每个区域(每个像素)的拍摄条件或图像输出信息的图像。

生成显示图像后，接着，显示再现图像(S41)。这里，在显示部24中显示步骤S39中生成的图像作为再现图像。在显示了再现图像时，也可以根据用户的指示来显示每个区域的拍摄条件或图像输出信息。由此，用户能够在需要时确认信息。

接着，使用图3A和图3B对基于图像传感器15的前帘电子快门的拍摄条件的控制进行说明。在图3A中，纵轴方向对应于图像传感器15的摄像面的上下方向，横轴方向对应于时刻。在时刻T1，从图像下端侧的像素行朝向图像上端侧的像素行依次开始曝光。当曝光到达像素行Tc后，使开始时刻延迟到T2，当成为时刻T2后，与图像下端侧同样，朝向图像上端侧的像素行依次再次开始曝光。

然后，当成为时刻T3后，从图像下端侧的像素行朝向图像上端侧的像素行依次结束曝光。其结果，如图3A所示，在图像下端侧，曝光时间成为Td(对应于快门速度)，另一方面，在图像上端侧，曝光时间成为Tu(对应于快门速度)。这样，通过使用前帘电子快门，在画面的上侧和下侧，能够使拍摄条件(该情况下为快门速度)不同，在1帧的拍摄时，能够在多个拍摄条件下进行拍摄。

另外，在图3A所示的例子中，不使曝光开始时点线性变化，而在像素行Tc中，在对应的定时偏移，另一方面，使曝光结束时点线性变化。但是不限于此，也可以使曝光开始时点线性变化，而不使曝光结束时点线性变化，并且，还可以不使曝光开始时点和曝光结束时点双方线性变化。并且，在图3A所示的例子中，使快门速度变化的像素行Tc仅为一处，但是不限于此，当然也可以是2处以上。并且，在快门速度变化位置(行)Tc，代替切换快门速度，也可以使快门速度在Tc的前后平缓地变化。该情况下，在像素行Tc的前后，图像的明亮度的变化不会剧烈，能够成为自然感觉的照片。

接着，使用图3B对利用施加增益值控制与图3A相同的效果的例子进行说明。在本实施方式中，增益施加部26施加图3B所示的增益值。但是不限于此，也可以在图像传感器15内设置增益施加电路，通过该电路施加图3B所示的增益值。

在图3B中，纵轴方向对应于图像传感器15的摄像面的上下方向，横轴方向表示施加的增益值。对从图像下端侧读出的像素行的像素值施加增益Gd。对从比增益值变化位置(行)Gc更靠上端侧读出的像素行的像素值施加增益Gu。

通过施加增益Gu，能够得到与图3A所示的以快门速度Tu进行曝光相同的效果，并且，通过施加增益Gd，能够得到与以快门速度Td进行曝光相同的效果。即，在1帧的拍摄时，能够在多个拍摄条件下进行拍摄。

另外，与电子快门的情况同样，也可以在增益值变化位置(行)Gc的前后使施加增益值平缓地变化。该情况下，在增益值变化位置(行)Gc的前后，图像的明亮度的变化不会剧烈，能够成为自然感觉的照片。

接着，使用图4A和图4B对通过拍摄条件处理来提取拍摄条件(S15、S31)、并根据该拍摄条件生成的图像显示(S23、S41)进行说明。另外，除了原来的图像数据不同以外，两个图像显示成为同样的显示。

图4A示出通过通常拍摄而得到的图像、即在单一拍摄条件下拍摄的情况下的图像。在该图4A所示的例子中，图像的下侧较暗。图4B是通过使图3A和图3B所示的快门速度和增益值根据图像区域而不同、从而生成的图像。即，是使图像的下侧的快门速度比上侧的快门速度长、提高了增益值的情况。

在图4A所示的例子中，将ISO感光度设定为200，将快门速度(SS)设定为1/1000。另一方面，在图4B所示的例子中，在画面的上侧，将ISO感光度设定为200，将快门速度(SS1)设定为1/1000，在画面的下侧，将ISO感光度设定为400，将快门速度(SS2)设定为1/100。这样，将画面分成上下2个区域，在各个区域中显示拍摄条件，由此，用户能够直观地掌握拍摄条件。并且，也可以在图像上重叠显示表示拍摄条件(设定值)从图像的哪个位置起变化的显示(LINE)。

关于图4B所示的图像，可以利用再现图像进行显示(图2的S41)，并且，也可以利用实时取景图像进行显示(图2的S23)。如果进行实时取景显示，则能够在事前想到完成的图像，在不满意的情况下，能够观察实时取景图像并进行调整。并且，如果利用再现图像进行显示，则能够确认完成品，在不满意的情况下，能够再次调整快门速度等进行拍摄。并且，在调整时，除了对快门速度等拍摄条件进行变更以外，还可以通过使LINE的位置上下偏移来进行调整。

另外，假设在与真正拍摄不同的拍摄条件下生成实时取景图像的情况。例如，假设如下情况：在真正拍摄中、在LINE的上下的区域中使快门速度不同来进行拍摄的情况下，在实时取景中，将快门速度在LINE的上下的区域中设定为共通的值，并且设定不同的增益值，模拟真正拍摄中得到的图像进行显示。该情况下，拍摄者在实时取景中希望掌握的拍摄条件是真正拍摄中的拍摄条件(LINE的上下的区域中设定的快门速度)，所以，优选即使在实时取景时在与真正拍摄不同的拍摄条件下进行拍摄，也显示真正拍摄时的拍摄条件。在该变形例中，摄像元件进行在多个拍摄条件下拍摄1帧的图像数据的真正拍摄动作，在真正拍摄前的实时取景图像数据上重叠显示真正拍摄动作时的图像区域信息和图像关联信息。

接着，使用图5A和图5B对提取图像输出信息(S17、S33)并根据该图像输出信息生成的图像显示(S23、S41)进行说明。另外，除了原来的图像数据不同以外，两个图像显示成为同样的显示。

图5A是如下例子：作为图像输出信息，计算相对于适当曝光的偏移量EV1、EV2并进行显示，并且计算表示亮度分布的直方图并进行显示。在画面的右上方，计算比边界线LINE更靠上侧的图像区域的被摄体亮度的输出平均值，计算相对于适当曝光的偏移EV，作为EV1进行显示。该情况下，如果是适当曝光，则EV为0，如果过度(过剩)，则EV为+，如果不足(缺少)，则EV为-。

在画面的右下方，计算比边界线LINE更靠下侧的图像区域的相对于适当曝光的偏移EV，作为EV2进行显示。在图5A所示的例子中，EV2＝-2，表示相对于适当曝光、曝光量缺少2级。

在画面的左侧的稍微上侧示出直方图HIS_1。该直方图HIS_1以直方图的方式显示比边界线LINE更靠上侧的图像区域的被摄体亮度。并且，在画面的左下侧示出直方图HIS_2。该直方图HIS_2以直方图的方式显示比边界线LINE更靠下侧的图像区域的被摄体亮度。在直方图中，被摄体越亮，则曲线的山越向右侧位移，被摄体越暗，则曲线的山越向左侧位移。用户通过对各图像区域的直方图进行比较，能够直观地理解被摄体亮度的分布。另外，用户能够对边界线LINE的位置进行变更。

如下所述进行图像输出信息的计算和显示。区域信息处理部201提取各个区域的区域信息，图像输出信息处理部203计算各个区域的像素输出。如果是表示从适当曝光起的偏移的EV值，则计算像素输出的平均值相对于适当曝光(如果是JPEG255LSB，则设118LSB为适当曝光)偏移几级。并且，在以直方图的方式进行显示的情况下，计算各个区域的像素输出的统计分布。

显示图像生成部29根据区域信息处理部201和图像输出信息处理部203的计算结果(EV值或直方图的曲线图)，生成重叠在实时取景或再现图像上的图像。由此，用户能够使各个区域的曝光与图像合并，能够掌握图像的特征。如果是实时取景，则能够一边确认EV值和直方图，一边如图4B所示调整各个图像区域的曝光，进行控制以使得成为满意的图像。

图5B示出计算图像输出信息并进行显示的另一例。在该例子中，以曲线方式显示对各水平方向的亮度电平进行平均的结果。即，在像素行方向(画面水平方向)上，按照每1行对亮度电平进行平均，表示为从适当曝光电平起的偏移。例如，图5B的画面中的Lp是像素行P的亮度电平平均值，为+1.4EV左右。曲线L是连接各像素行的亮度电平的平均值的线。并且，关于各行的平均值，也可以进一步捆束多行而进行平均，或者在各行的平均值中加入滤波处理，加入使曲线L平滑的处理。

另外，在图5B中，横轴利用EV值显示从适当曝光起的偏移量，但是不限于此，也可以显示亮度值，并且还可以利用快门速度(Tv值)进行显示。如果利用快门速度进行显示，则在利用所述前帘电子快门对图像区域的拍摄条件进行变更的情况下是非常便利的。在前帘电子快门时，作为参考，能够通过设定变更来切换快门速度显示(Tv值)和EV值显示(以及亮度值)。

在图5B中，在横轴为亮度电平表记的情况下，表记像素方向(水平方向)的平均电平，在快门速度表记的情况下，设横轴为Tv值，例如，以成为适当曝光的Tv值为基准，设较亮部分为负，设较暗部分为正，成为前帘电子快门设定时的指标即可。关于Tv值，只要是与曝光时间有关的表记即可，也可以是秒、照相机内部的设定值本身。并且，在图5B中，利用1级单位表记刻度，但是，刻度宽度和刻度间隔也可以根据被摄体而变化。

接着，使用图6A和图6B对图像区域的设定的另一例进行说明。在图4A、4B和图5A、5B所示的例子中，用户通过触摸操作使水平方向上延伸的边界线LINE上下移动。在图6A所示的例子中，也可以将画面分成多个块，对各个块进行分析，自动分割图像区域。也可以按照分割后的每个图像区域提取拍摄信息和图像输出信息。在图6A的例子中，各块由多个像素构成，但是，也可以按照每1个像素设定图像区域，按照每1个像素提取拍摄信息和像素输出信息并进行记录。但是，该情况下，信息量庞大。因此，在本实施方式中，如图6A所示，通过分割成由多个(x，y)像素构成的数十像素的块来压缩信息量。

在图6B所示的例子中，根据被摄体距离进行区域分割。在该例子中，图像传感器15具有像面相位差AF功能(能够利用图像传感器的各像素检测距离信息)，能够掌握各块的被摄体的焦点信息(从照相机起的被摄体距离信息)。区域信息处理部201根据各块的被摄体距离信息进行图像区域的分割。

在图6B所示的例子中，照片是对焦于花进行拍摄的(被摄体距离与花不同的花以外的区域是脱焦拍摄的，在1帧的图像中，在不同的拍摄条件(焦点条件)下进行拍摄)。区域信息处理部201将其分成用虚线表示近前的花的部分的区域AREA和背景的部分(区域AREA以外的部分)这2个图像区域。然后，针对各个区域显示图像输出信息、这里为被摄体距离，针对近前的区域AREA显示50cm作为距离2，针对区域AREA以外的背景部分显示∞(无限远)作为距离1。

并且，不仅显示图像输出信息(被摄体距离)，还可以与图像数据一起，按照每个图像区域将图像输出信息关联起来进行记录。由此，在拍摄后，也能够作为拍摄时的被摄体的信息进行活用。

接着，使用图7A和图7B对按照每个图像区域将拍摄条件/图像输出信息关联起来进行记录的情况进行说明。图7A示出在拍摄条件处理部202和图像输出信息处理部203中存储拍摄条件和图像输出信息的情况下的区域的划分方法。即，在图7A所示的例子中，将图像传感器15的摄像面在X方向上分割成N个(整数)、在Y方向上分割成M个(整数)，在各个区域中包含多个像素。在各区域内提取拍摄条件、像素输出信息。

图7B示意地示出图像文件的数据构造。即，图7B示出如下的数据构造的一例：如图7A所示的各块那样，区域信息处理部201输出图像区域信息，将由拍摄条件处理部202提取出的拍摄条件和由图像输出信息处理部203提取出的图像输出信息关联起来进行记录。

图像文件IF将与图像数据(像素输出数据)ID关联的元数据MD关联起来记录在内部存储器22或外部存储器23中。元数据MD记录了照相机的机型名、镜头的名称、拍摄日期时间等各种信息。

如图7B所示，在元数据MD中，按照每个图像区域信息即块的排列信息将拍摄条件和图像输出信息关联起来进行记录。在一般的图像文件中，针对1帧图像数据，记录一个拍摄条件作为元数据。但是，在本实施方式中，在按照每个图像区域具有不同的拍摄条件和图像输出信息的情况下，能够记录每个图像区域的信息。这样，能够将各图像区域的拍摄条件和像素输出信息与图像数据关联起来进行处理、存储。

另外，在本实施方式中，示出在图像文件IF的元数据存储区域中记录图像区域信息、图像关联信息的例子，但是不限于此。例如，也可以作为与图像文件IF不同的关联数据文件来记录图像区域信息、图像关联信息(例如，以在相同文件夹内保存图像文件IF和关联数据文件的方式进行记录)。并且，例如，在按照每1个像素记录了图像关联信息的情况下，图像关联信息的数据量增大，其结果、图像文件IF的数据量增大，数据处理的效率恶化(图像数据的再现、复制、移动等数据处理的时间增加)。这种情况下，如果能够将图像文件IF和关联数据文件作为不同文件来处理，则在图像区域信息、图像关联信息的数据量较大的情况下也能够高效地进行数据处理。

这样，在本发明的第1实施方式中，在1帧的图像中根据区域而在不同的拍摄条件下进行拍摄的情况下，将各个图像区域中的图像关联信息(拍摄条件和图像输出信息)与图像数据关联起来(图2的S15、S17、S19)。因此，能够容易地确认每个图像区域的图像关联信息。

接着，使用图8和图9对本发明的第2实施方式进行说明。在第1实施方式中，将1帧的图像分割成多个区域，在按照每个区域使拍摄条件不同的情况下，也显示各自的拍摄条件和图像输出信息，并且与图像数据关联起来记录在外部存储器23等中。与此相对，在第2实施方式中，对多帧的图像进行合成而生成1帧的图像，显示各个帧的拍摄条件和图像输出信息，并且与图像数据关联起来记录在外部存储器23等中。

第2实施方式的照相机的结构与图1所示的第1实施方式相同，所以省略详细说明。第2实施方式的照相机的动作将图2所示的流程图置换为图8所示的流程图。该流程图假设设定了拍摄多帧的图像并对图像进行合成的图像合成模式的情况。作为图像合成模式，存在如下的相片故事：拍摄多帧的图像数据，以在1帧中配置各帧的方式进行合成，好像表示一个故事(例如参照日本公开特许2014-068273)。并且，除了相片故事以外，还存在深度合成、多重曝光、HDR合成等对图像进行合成的模式。另外，在本实施方式中，不按照每1帧进行图像区域指定，而是对在各种条件下合成的图像的每个区域的条件进行显示和记录。

进入图8所示的流程图后，首先，进行实时取景显示(S51)。这里，与步骤S1同样，设光圈13为开放光圈值，并且使快门14成为开放状态，根据来自图像传感器15的图像数据在显示部24中显示被摄体像。

进行实时取景显示后，接着，进行拍摄条件的设定(S53)。这里，取入用户设定的拍摄条件。在相片故事的情况下，按照各个帧自动或手动设定快门速度、光圈值、ISO感光度、图像处理条件(例如艺术滤镜)等拍摄条件。在深度合成、多重曝光、HDR合成等的情况下，设定最初的帧后，在第2帧以后，根据预定的条件来设定拍摄条件。例如，在深度合成中，自动或手动设定用于合成对焦于图像整体的图像所需要的多个焦点位置(对焦透镜的控制设定)。在HDR合成中，自动或手动设定多个曝光设定的拍摄(快门速度、ISO感光度或光圈值)，以使得能够合成期望动态范围的图像。

进行拍摄条件的设定后，接着，判定释放是否接通(S55)。这里，根据来自输入部25的释放按钮的检测信号，判定释放是否接通。在该判定结果为未按压释放按钮的情况下，返回步骤S51。

另一方面，在步骤S55中的判定结果为释放接通的情况下，读出图像(S57)。释放接通后，系统控制部21对光圈13的光圈值进行控制，对快门14的快门速度进行控制，对图像传感器15的摄像进行控制。然后，经过由快门速度决定的曝光时间后，驱动控制部11从图像传感器15读出图像数据，将其输出到总线30。

进行图像的读出后，接着，对图像数据施加增益(S59)。这里，增益施加部26对图像数据施加增益。另外，在从图像传感器15读出图像数据时，在能够施加增益的情况下，也可以在步骤57中的从图像传感器15读出时施加增益。

进行增益施加后，接着，进行显影处理(S61)。这里，显影处理部28对图像数据进行显影。

进行显影处理后，接着，进行拍摄条件处理(S63)。这里，拍摄条件处理部202从系统控制部21提取拍摄时的拍摄条件(快门速度、增益等)。并且，从显影处理部28提取图像数据中设定的图像处理设定。在拍摄条件的提取时，与是第几帧的拍摄关联起来进行存储。作为拍摄条件，例如提取增益、快门速度、焦距(变焦位置)、闪光灯发光的有无、光圈值、曝光控制信息(不足/适当/过度)、拍摄日(按压了释放的日期时间)等中的至少一方。

进行拍摄条件处理后，接着，进行图像输出信息处理(S65)。这里，图像输出信息处理部203根据图像数据计算图像输出信息。作为图像输出信息，例如提取直方图信息、曝光(从适当曝光起的偏移、EV值)、噪声值、被摄体距离等中的至少一方。

进行图像输出信息处理后，接着，记录图像数据(S67)。这里，将步骤S57中读出的1帧的图像数据记录在内部存储器22或外部存储器23中。例如，在深度合成等需要速拍性的情况下，优选能够高速进行数据的写入和读出的内部存储器22。并且，如相片故事那样不要求速拍性的情况下，利用外部存储器23进行记录。并且，在1帧的图像数据的记录时，将步骤S63的拍摄条件处理中提取出的拍摄条件和步骤S65的图像输出信息处理中提取出的图像输出信息与图像数据关联起来，生成图像文件并进行记录。

记录图像数据后，接着，判定是否达到必要张数(S69)。在图像合成模式中，有时已经决定了必要的合成张数。在已经决定的情况下，在该步骤中，判定必要张数的拍摄是否完成。在未决定必要张数的情况下，用户能够继续进行拍摄直到完成拍摄为止，在该步骤中判定拍摄是否完成。在该步骤的判定结果为未达到必要张数的情况下，返回步骤S51，设定下一帧的拍摄条件并进行拍摄。另外，在深度合成等、开始拍摄后连拍预定张数的情况下，也可以跳过步骤S55中的判定，进入下一个步骤S57。

步骤S69中的判定结果达到必要张数后，接着，进行图像合成(S71)。在拍摄完成后，图像合成部27对拍摄到的多张图像进行合成，将合成图像存储在内部存储器22中。例如，如果是相片故事，则按照帧分割后的各帧的尺寸进行图像尺寸的变更，进行在1帧中嵌入图像的处理(参照图9)。并且，如果是HDR合成，则根据被摄体的明亮度对变更曝光而拍摄的多帧的相同像素地址的输出进行加权，进行合成。如果是深度合成，则偏移焦点位置来进行多帧的拍摄，对图像进行合成以减小图像的各位置的焦点偏移。

进行图像合成后，接着，进行区域信息处理(S73)。在第1实施方式中，将1帧分割成图像区域，但是，在第2实施方式中，对多帧进行图像合成，各帧分别对应于图像区域。在该步骤中，提取各帧的拍摄条件和图像输出信息，与各帧的图像数据进行关联。

例如，在设定了相片故事作为合成模式的情况下，区域信息处理部201提取各帧的地址信息(例如在帧为四角形的情况下，是顶点的坐标)作为图像区域信息，拍摄条件处理部202和图像输出信息处理部203分别提取分配给该帧的图像数据的拍摄条件和图像输出信息，与各帧关联起来。并且，在设定了HDR合成模式、例如对以曝光为-1EV、0EV、+1EV的方式拍摄的图像进行合成的情况下，在合成图像中，也可以按照图7A所示的每个块，提取最初对哪个曝光的图像数据进行加权而进行了合成，来作为拍摄条件。在设定了深度合成模式的情况下，也可以提取图像的各块最初对在哪个焦点位置拍摄的图像进行加权而进行了合成，来作为各块的拍摄条件(拍摄距离)。

进行区域信息处理后，接着，记录图像数据(S75)。这里，将步骤S71中合成的图像数据和步骤S73、S75中关联起来的元数据作为图像文件记录在外部存储器23中。

进行图像数据的记录后，接着，进行显示图像的生成(S77)。这里，显示图像生成部29生成在图像数据上重叠了各帧的拍摄条件/图像输出信息的图像。

生成显示图像后，接着，进行再现图像的显示(S79)。这里，在显示部24中显示步骤S77中生成的显示图像作为再现图像。显示再现图像后，结束本流程。

这样，在本顺序中，拍摄多个图像以用于合成(S57)，提取各帧的拍摄条件和图像输出信息并进行记录(S63～S67)。然后，进行图像合成而生成1帧的图像后(S71)，在该合成图像中提取每个图像区域(即图7A所示的各块)的拍摄条件和图像输出信息(S73)。记录该提取出的拍摄条件和图像输出信息，并且能够进行显示(S75～S79)。因此，在本实施方式中，在从多帧进行合成的情况下，也能够容易地确认图像区域的图像关联信息。

另外，在本顺序中，在多帧的拍摄完成后执行合成处理，但是不限于此，也可以一边进行拍摄一边依次合成，进行图像信息处理部中的处理。通过进行这种处理，能够确认合成中途的图像信息(各帧的拍摄条件和图像输出信息)，并且能够调整其他帧的拍摄条件来进行拍摄。并且，即使是上述以外的拍摄条件，只要是一般的摄像装置得到的信息，则能够同样进行处理。即使是上述以外的图像输出条件，只要是一般的图像处理装置得到的数值信息，则能够同样进行处理。

接着，使用图9对设定了相片故事作为图像合成模式的情况下的图像关联信息(拍摄条件和图像输出信息)的显示进行说明。在图9所示的例子中，拍摄3张图像，将这3张图像分别嵌入画面的左侧、右上侧、右下侧，生成1帧的合成图像。在各个图像中，作为拍摄条件和图像输出信息，在图像上重叠显示ISO感光度、快门速度(SS)、光圈值(F值)、焦距、所使用的艺术滤镜的种类。因此，在根据多个图像生成1帧的合成图像的情况下，也能够容易地确认各个图像的拍摄条件和图像输出信息。

如以上说明的那样，在第2实施方式中，在对多张图像进行合成而生成1帧的图像的情况下，也将各个图像的图像关联信息(拍摄条件和图像输出信息)与图像数据关联起来(图8的S63、S65、S73)。因此，能够容易地确认多个图像的各个图像关联信息。

如以上说明的那样，在本发明的各实施方式中，设置：记录部(例如图1的内部存储器22)，其记录图像数据；以及图像关联信息处理部(例如图像关联信息处理部200)，其针对在多个拍摄条件下拍摄的1帧的图像数据，将与在不同拍摄条件下进行拍摄的图像区域有关的图像区域信息和图像区域的图像关联信息关联起来进行处理。具体而言，1帧的图像数据是按照1帧的图像的每个图像区域在不同拍摄条件下拍摄(参照第1实施方式)、或在不同拍摄条件下拍摄多张图像并合成为1帧的图像的图像(参照第2实施方式)的图像数据。这样，在各实施方式中，通过图像关联信息处理部200将每个图像区域的图像关联信息与图像数据关联起来，所以，能够容易地确认每个图像区域的图像关联信息。

并且，在本发明的各实施方式中，具有在图像数据上重叠显示图像区域信息和图像关联信息的显示部(例如显示部24)。图像区域信息例如是表示由图4B、图5A的边界线LINE分割的图像内的区域的信息，并且是如图6A、图7A所示利用块表示的区域的信息。在后者的情况下，能够分别利用(x，y)坐标显示块。在各实施方式中，利用显示部在图像上重叠显示图像关联信息，所以，能够直观地掌握图像关联信息。

并且，在本发明的各实施方式中，在多个拍摄条件下拍摄的1帧的图像数据是由摄像元件(例如图像传感器15)进行摄像得到的图像数据。因此，在利用摄像装置进行拍摄时(也包含实时取景)，如上所述，能够容易地确认图像关联信息。

并且，在本发明的各实施方式中，摄像元件能够按照每个像素或每行使快门速度可变，作为图像关联信息，对快门速度进行处理。如上所述，在摄像元件具有电子快门的情况下，能够按照每个像素或每行使快门速度变化。因此，能够按照每个图像区域使快门速度变化。

并且，在本发明的各实施方式中，图像关联信息是每个图像区域的拍摄条件，是快门速度、ISO感光度、焦距、曝光控制值(例如EV值)中的至少一方。并且，图像关联信息是根据每个图像区域中包含的像素输出而计算的值，是像素输出的统计值(例如直方图、EV值)、曝光偏移量(例如EV值)、被摄体距离中的至少一方。这样，在本发明的各实施方式中，能够利用各种信息作为图像关联信息，能够按照每个图像区域确认信息。

并且，在本发明的各实施方式中，具有按照每个像素或每行或每列对图像输出施加增益的增益施加部，作为图像关联信息，对增益值进行处理。因此，能够按照每个图像区域使增益变化。

并且，在本发明的各实施方式中，具有对多帧的图像数据进行合成的图像合成部(例如图1的图像合成部27)，在多个拍摄条件下拍摄的1帧的图像数据是由图像合成部合成的图像数据。因此，针对在多个拍摄条件下拍摄的图像，能够容易地确认各个拍摄条件。

并且，在本发明的各实施方式中，具有图像数据生成部(例如图1的图像数据生成部204)(例如，图7B)，该图像数据生成部将利用图像关联信息处理部与图像数据关联起来的图像区域信息和图像区域的图像关联信息作为图像数据的元数据进行记录。将图像关联信息作为图像数据的元数据进行记录，所以，能够容易地进行关联，能够简单地进行显示。

并且，在本发明的各实施方式中，具有受理来自拍摄者的拍摄条件的输入的拍摄条件输入部(例如图1的输入部25)，根据来自拍摄条件输入部的信号，按照多个图像区域中的每个图像区域设定拍摄条件。因此，用户能够手动设定拍摄条件。

并且，在本发明的各实施方式中，使拍摄条件不同来进行拍摄，存储1帧的图像数据(例如图2的S25、图8的S71)，针对1帧的图像数据提取图像关联信息(例如图2的S31、S33、图8的S63、S65)，进行1帧的图像数据与每个图像区域的图像关联信息的关联(例如图2的S35、图8的S73)。因此，能够容易地确认每个图像区域的图像关联信息。

并且，在本发明的各实施方式中，关于1帧的图像数据，在一次拍摄时，按照每个图像区域使拍摄条件不同(例如图2的S3～S23)，或者，1帧的图像数据对通过多次拍摄而取得的图像数据进行图像合成(图8的S51～S69)。因此，在利用各种拍摄方法设定了多个拍摄条件的情况下，也能够容易地确认每个图像区域的图像关联信息。

另外，在本发明的各实施方式中，设图像处理部20为与系统控制部21分开的结构，但是，也可以一起构成两者的全部或一部分。例如，也可以通过系统控制部21内的CPU来执行图像关联信息处理部200。

并且，在本发明的各实施方式中，关于图像处理部20和系统控制部21的全部或一部分，可以是根据由Verilog记述的程序语言生成的门电路等硬件结构，并且，可以利用使用了DSP(Digital Signal Processor)等软件的硬件结构。这些当然可以适当组合。

并且，在本发明的各实施方式中，作为拍摄用的设备，使用数字照相机进行了说明，但是，作为照相机，可以是数字单反照相机，也可以是无反照相机，还可以是小型数字照相机，还可以是摄像机、摄影机这样的动态图像用的照相机，进而，还可以是内置于便携电话、智能手机、便携信息终端、个人计算机(PC)、平板型计算机、游戏设备等中的照相机、医疗用照相机、显微镜等科学设备用的照相机、汽车搭载用照相机、监视用照相机。任意情况下，只要是能够改变拍摄条件进行拍摄的设备，则能够应用本发明。

并且，例如，在对已拍摄的多帧的图像数据、即将拍摄条件和像素输出信息等作为元数据进行记录的图像数据进行合成的图像处理装置(个人计算机(PC)等)中也能够应用本发明。并且，即使不具有摄像部，只要是将对多个图像进行合成后的1帧的图像数据的每个图像区域(每个像素)的拍摄条件和图像输出信息与图像数据关联起来进行处理的装置，则能够应用本专利。

并且，如果是智能手机、显微镜、内窥镜等具有图像处理装置的装置，则同样能够应用本发明。例如，如果是显微镜等，则可以在改变光源的波长并拍摄了多帧的图像的情况下，在将改变波长而拍摄到的多帧的图像作为1帧的图像数据进行处理时，记录各帧的拍摄时的波长的信息作为测定信息。

并且，关于本说明书中说明的技术中主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也收纳在记录介质或记录部中。关于记录在该记录介质、记录部中的记录方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。

并且，关于权利要求书、说明书和附图中的动作流程，为了简便而使用“首先”、“接着”等表现顺序的词语进行了说明，在没有特别说明的部位，不是必须按照该顺序进行实施。

本发明不限于上述实施方式，能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且，通过上述实施方式所公开的多个结构要素的适当组合，能够形成各种发明。例如，也可以删除实施方式所示的全部结构要素中的若干个结构要素。进而，还可以适当组合不同实施方式中的结构要素。

Claims (16)

1.一种图像处理装置，其具有：

记录部，其记录图像数据，一帧的上述图像数据具有多个图像区域，该多个图像区域对应于在分别不同的拍摄条件下取得的部分图像；以及

图像关联信息处理部，其针对1帧的上述图像数据，将与上述图像区域有关的图像区域信息和上述图像区域的图像关联信息关联起来进行处理。

2.根据权利要求1所述的图像处理装置，其中，

上述图像处理装置具有显示部，该显示部在上述图像数据上重叠显示上述图像区域信息和上述图像关联信息。

3.根据权利要求1或2所述的图像处理装置，其中，

上述图像处理装置具有摄像元件，

在上述多个拍摄条件下拍摄的1帧的图像数据是由上述摄像元件进行摄像得到的图像数据。

4.根据权利要求3所述的图像处理装置，其中，

上述摄像元件能够按照每个像素或每行改变快门速度，作为上述图像关联信息，对快门速度进行处理。

5.根据权利要求1所述的图像处理装置，其中，

上述图像关联信息是每个上述图像区域的拍摄条件，是快门速度、ISO感光度、焦距、曝光控制值中的至少一方。

6.根据权利要求1所述的图像处理装置，其中，

上述图像关联信息是根据每个上述图像区域中包含的像素输出而计算的值，是像素输出的统计值、曝光偏移量、被摄体距离中的至少一方。

7.根据权利要求1所述的图像处理装置，其中，

上述图像处理装置具有增益施加部，该增益施加部按照每个像素或每行或每列对图像输出施加增益，作为上述图像关联信息，对增益值进行处理。

8.根据权利要求1所述的图像处理装置，其中，

上述图像处理装置具有图像合成部，该图像合成部对多帧的图像数据进行合成，

在上述多个拍摄条件下拍摄的1帧的图像数据是由上述图像合成部合成的图像数据。

9.根据权利要求1所述的图像处理装置，其中，

上述图像处理装置具有图像数据生成部，该图像数据生成部将利用上述图像关联信息处理部与图像数据关联起来的上述图像区域信息和上述图像区域的图像关联信息作为上述图像数据的元数据进行记录。

10.根据权利要求1所述的图像处理装置，其中，

上述图像处理装置具有拍摄条件输入部，该拍摄条件输入部受理来自拍摄者的拍摄条件的输入，

根据来自上述拍摄条件输入部的信号，按照多个上述图像区域中的每个上述图像区域设定拍摄条件。

11.根据权利要求3所述的图像处理装置，其中，

上述摄像元件进行在多个拍摄条件下拍摄1帧的图像数据的正式拍摄动作，

在上述正式拍摄前的实时取景图像数据上重叠显示上述正式拍摄动作时的上述图像区域信息和上述图像关联信息。

12.根据权利要求1所述的图像处理装置，其中，

上述图像区域信息是由边界线决定的图像区域或由块决定的图像区域的信息。

13.一种图像处理方法，其具有以下步骤：

使拍摄条件不同而进行拍摄，存储1帧的图像数据；

针对上述1帧的图像数据提取图像关联信息；以及

进行上述1帧的图像数据与每个图像区域的上述图像关联信息之间的关联。

14.根据权利要求13所述的图像处理方法，其中，

按照每个上述图像区域使拍摄条件不同，通过一次拍摄而取得上述1帧的图像数据。

15.根据权利要求13所述的图像处理方法，其中，

对通过多次拍摄而取得的图像数据进行图像合成，由此生成上述1帧的图像数据。

16.一种记录图像处理程序的记录介质，该图像处理程序使计算机执行以下步骤：

使拍摄条件不同而进行拍摄，存储1帧的图像数据；

针对上述1帧的图像数据提取图像关联信息；以及

进行上述1帧的图像数据与每个图像区域的上述图像关联信息之间的关联。