CN109391770A - 图像处理装置及图像处理方法 - Google Patents

Abstract

图像处理装置及图像处理方法，图像处理装置具备对从摄像单元取得的图像数据实施图像处理的数据处理部。所述数据处理部包括：图像取得部，其从所述摄像单元依次取得图像数据；图像分析部，其根据所述图像取得部取得的至少2帧的图像数据，更新各区域校正映射图，该各区域校正映射图针对所述摄像单元的摄像范围中设定的多个区域分别具有校正信息；记录用图像数据生成部，其生成记录用图像数据，该记录用图像数据是根据所述各区域校正映射图对所述图像取得部取得的1帧的图像数据进行校正而得到的。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法。

背景技术

在近年来的摄像装置中，存在具备HDR图像记录功能的装置，该HDR图像记录功能通过将曝光条件不同的多个图像合成而取得比本来的摄像装置的规格更宽的动态范围的图像。例如，在日本特开2015-15622号公报中，公开了具有这样的HDR图像记录功能的摄像装置的一个例子。

该HDR图像是通过对时间上连续的多个帧的图像数据改变图像取得条件(摄影参数)来进行合成而制作的。在摄影时除了利用多个帧的图像数据而进行合成之外，如果通过实时取景而采取同样的措施，则在观察对象物时也能够得到同样的效果，能够改善辨认性。并且，实时取景图像从连续的多个帧的图像数据获得，因此将相邻的时机的多个帧的图像数据相加，由此可获得好像改变了摄影参数的图像数据。在该实时取景时，如果能够以各种条件而取得图像，则在利用其结果而确认对象物的特征(图像分析)时信息量增加，从而能够更准确地判断场景、对象物的特征。因此，虽然可通过其结果来进行图像合成，但即便不进行图像合成也能够获得优异的画质的图像。为了根据各种状况而确定摄影时的参数，优选应用多个信息。在此，提供一种图像处理装置及图像处理方法，利用图像观察时获得的丰富的信息而判断摄像的状况，获得与摄影的状况、被摄体对应的最佳的图像。

发明内容

本发明的图像处理装置包括数据处理部，该数据处理部对从摄像单元取得的图像数据实施图像处理。所述数据处理部包括：图像取得部，其从所述摄像单元依次取得图像数据；图像分析部，其根据所述图像取得部取得的至少2帧的图像数据而更新各区域校正映射图，该各区域校正映射图针对所述摄像单元的摄像范围中设定的多个区域分别具有校正信息；以及记录用图像数据生成部，其生成记录用图像数据，该记录用图像数据是根据所述各区域校正映射图对所述图像取得部取得的1帧的图像数据进行校正而得到的。

本发明的图像处理方法是对从摄像单元取得的图像数据实施图像处理的方法。所述图像处理方法包括如下步骤：从所述摄像单元依次取得图像数据；根据所取得的至少2帧的图像数据而更新各区域校正映射图，该各区域校正映射图针对所述摄像单元的摄像范围中设定的多个区域分别具有校正信息；以及生成记录用图像数据，该记录用图像数据是根据所述各区域校正映射图对所取得的1帧的图像数据进行校正而得到的。

本发明的另一图像处理装置包括数据处理部，该数据处理部对从摄像单元取得的图像数据实施图像处理。所述数据处理部具备：图像取得部，其从所述摄像单元依次取得图像数据；以及图像分析部，其根据所述图像取得部取得的至少2帧的图像数据，对所述摄像单元的摄像范围中设定的多个区域分别分析图像。

本发明的另一图像处理方法是对从摄像单元取得的图像数据实施图像处理的方法。所述图像处理方法包括如下步骤：从所述摄像单元依次取得图像数据；以及根据所取得的至少2帧的图像数据，对所述摄像单元的摄像范围中设定的多个区域分别分析图像。

附图说明

图1是表示包括第一实施方式的图像处理装置的摄像系统的结构的框图。

图2A表示图1所示的摄像系统中的摄影的处理的流程图的前半部分。

图2B表示图1所示的摄像系统中的摄影的处理的流程图的后半部分。

图3是表示图1所示的摄像系统中的摄像开始时的动作的时序图。

图4对利用各区域校正映射图的图像校正的方法进行图解而示出。

图5是表示各区域校正映射图的结构的图。

图6A是表示静态图像文件的结构的图。

图6B是表示动态图像文件的结构的图。

图7是表示包括第二实施方式的图像处理装置的摄像系统的结构的框图。

图8A表示图7所示的摄像系统中的摄影的处理的流程图的前半部分。

图8B表示图7所示的摄像系统中的摄影的处理的流程图的后半部分。

图9是表示图7所示的摄像系统中的摄像开始时的动作的时序图。

图10是表示包括第三实施方式的图像处理装置的摄像系统的结构的框图。

图11A表示图10所示的摄像系统中的摄影的处理的流程图的前半部分。

图11B表示图10所示的摄像系统中的摄影的处理的流程图的后半部分。

图11C是图11A所示的各区域校正映射图的更新的处理的流程图。

图11D是生成图11B所示的动态图像的记录用图像数据的处理的流程图。

图11E是生成图11B所示的静态图像的记录用图像数据的处理的流程图。

图12是表示图10所示的摄像系统中的摄像开始时的动作的时序图。

图13A是表示静态图像文件的结构的图。

图13B是表示动态图像文件的结构的图。

图14是表示包括第4实施方式的图像处理装置的摄像系统的结构的框图。

图15A表示图14所示的摄像系统中的摄影的处理的流程图的前半部分。

图15B表示图14所示的摄像系统中的摄影的处理的流程图的后半部分。

图15C是图15A所示的摄影条件的变更的处理的流程图。

图15D是生成图15B所示的动态图像的记录用图像数据的处理的流程图。

图15E是生成图15B所示的静态图像的记录用图像数据的处理的流程图。

图16是表示图14所示的摄像系统中的摄像开始时的动作的时序图。

具体实施方式

[第一实施方式]

下面，参照附图而对第一实施方式进行说明。图1是表示包括第一实施方式的图像处理装置的摄像系统的结构的框图。图1所示的摄像系统100例如由数码相机、智能手机、带照相机功能的便携式电话机这样的具有摄像功能的各种设备构成。此外，除了图1之外，本申请在图7、图10、图14中也示出框图，附图以便于说明各个实施方式的方式实现了特定化，实施方式中本质上的区别较小，并有效地利用摄影之前的信息。

通过将刚发出摄影指示之后的时间上连续的多个帧的图像数据合成而制作HDR图像。因此，严格来讲，不能说HDR图像捕捉了某一决定性瞬间。

本实施方式考虑这样的实际情况，目的在于在某一瞬间的时刻取得辨认性高的高画质的记录图像。

摄像系统100具备：摄像单元130，其生成图像数据；图像处理装置110，其从摄像单元130取得图像数据而进行处理；显示器140，其从图像处理装置110取得图像等的信息而显示；记录单元150，其从图像处理装置110取得图像等的信息而记录；及操作器160，其用于操作摄像系统100。

摄像系统100的这些构成要件即摄像单元130、图像处理装置110、显示器140、记录单元150、操作器160分别例如通过硬件和软件的组合而构成。摄像系统100的各个构成要件既可以通过单一的硬件或软件而构成，也可以通过多个硬件或多个软件而构成。

图像处理装置110、摄像单元130、显示器140、记录单元150、操作器160构成为，图像处理装置110能够在与摄像单元130、显示器140、记录单元150、操作器160之间分别进行信息的通信。信息的通信既可以通过有线而进行，也可以通过无线而进行。

图像处理装置110、摄像单元130、显示器140、记录单元150、操作器160在图1中作为彼此分体的要件而示出，但也可以由图像处理装置110具备摄像单元130、显示器140、记录单元150和操作器160中的一个或几个或全部。

摄像单元130构成为依次生成图像数据并输出。

图像处理装置110具有如下功能：从摄像单元130依次取得图像数据，并根据需要而对所取得的图像数据实施图像处理。

显示器140构成为显示从图像处理装置110提供的信息。

记录单元150构成为记录从图像处理装置110提供的信息，并将所保持的信息提供给图像处理装置110。

操作器160构成为可由用户操作摄像系统100。当然，摄像系统100也有时如监视照相机这样，以特定的条件来操作。

下面，对图像处理装置110、摄像单元130、显示器140、记录单元150、操作器160的结构进行详细说明。

<摄像单元130>

摄像单元130具有摄像部132，该摄像部132根据进来的光而依次形成1张光学图像，并依次输出与所形成的1张光学图像对应的1帧的电图像数据。摄像部132具有成像光学系统132a、摄像元件132b、对焦调节部132c。成像光学系统132a具有光圈和透镜等，将进来的光聚光并且使其入射到摄像元件132b。并且，成像光学系统132a包括用于调节对焦状态的对焦透镜。摄像元件132b例如包括CMOS影像传感器或CCD影像传感器，并取得通过成像光学系统132a而形成的光学像的图像数据(RAW图像数据)。摄像元件132b包括相位差检测像素，以可检测到摄影的对象物为止的距离。并且，本实施方式中的摄像元件132b构成为可在与成像光学系统132a的光轴垂直的平面内移动。对焦调节部132c按照从数据处理部112供给的对焦控制信号，将成像光学系统132a的对焦透镜在其光轴方向上驱动或驱动摄像元件132b。

摄像单元130还具有摄影条件变更部134，该摄影条件变更部134按照从图像处理装置110供给的摄影条件的信息而变更摄像部132的摄影条件。摄影条件变更部134具有例如通过调节成像光学系统132a的光圈或摄像元件132b的曝光时间，从而变更曝光的功能。摄影条件变更部134除了曝光之外，还具备变更其他的摄影条件的功能。

虽然未图示，但摄像单元130还具有检测摄像单元130的姿势的姿势探测传感器。姿势探测传感器例如由陀螺传感器构成。

<显示器140>

显示器140例如由液晶显示器、有机EL显示器构成。例如，显示器140依次显示从图像处理装置110供给的图像数据。并且，显示器140除了显示图像数据，还将从图像处理装置110供给的各种信息一并显示。

<操作器160>

操作器160是可供用户操作摄像系统100的设备。操作器160例如具有释放按钮、动态图像按钮、设定按钮、选择键、起动停止按钮、触摸面板等。释放按钮是用于指示静态图像摄影的操作要件。动态图像按钮是用于指示动态图像摄影的开始及结束的操作要件。设定按钮是用于使显示器140显示摄像系统100的设定画面的操作要件。选择键是例如进行设定画面上的項目的选择及确定的操作要件。起动停止按钮是用于指示图像处理装置110的起动及停止的操作要件。触摸面板是与显示器140的显示画面一体地设置，用于检测显示画面上的由用户进行的触摸操作的操作要件。通过触摸面板可进行与释放按钮、动态图像按钮、设定按钮、选择键、起动停止按钮相同的操作。并且，操作器160还可以具备在此记载的要件以外的其他的操作要件，例如具有与手势探测、无线应答、远程指示等对应的操作要件。

<记录单元150>

记录单元150例如由闪存构成。记录单元150具有记录从图像处理装置110供给的图像文件的功能。记录单元150具有记录静态图像文件的静态图像记录部152和记录动态图像文件的动态图像记录部154。记录单元150还具有表示被摄体与校正信息的关系的被摄体分类数据库(DB)156，具有根据需要而将被摄体分类数据库156的信息提供给图像处理装置110的功能。

该被摄体分类数据库156是为了判断被摄体与校正信息的关系而对被摄体进行属于哪一种的分类的要件，其具备辞典，以表示这样的被摄体可以这样分类。当然，被摄体分类数据库156也可以是例如在进行明亮的被摄体为属于这一类、暗的被摄体为属于这一类这样的分类时，仅设定其阈值并进行记录而制成的数据库。被摄体分类数据库156也可以是反映颜色成分的数据库，例如这样的特征的情况下为红色或蓝色。最为高级的情况是，将“由于这是海鸥，因此以这样的形态在空中飞翔，以这样的形态静止”这样的形状信息、颜色分布信息与“海鸥”这样的名称信息关联。关于这样的被摄体分类数据库的制作，可利用人脸检测技术来实施。被摄体分类数据库还可以是能够根据羽毛的形状这样变化这一“飞行方式”这样的运动信息来检索“海鸥”的数据库，这可通过机器学习而更新、刷新，进而也可以如后述那样，插入摄影师喜欢的特定的场景、特定构图的该人脸这样的场景、构图信息。根据这样制作出的数据库，能够根据图像来判断对象物为何物。最为典型的是，可产生“因为这是海鸥，因此想再现为白色”、“因为这是向日葵花，因此校正为黄色”这样的想法。但是，蓝天中逆光的“海鸥”并不白，因此在该情况下，还可使其反映场景判断结果等。最为简单的是，也希望进行“由于此处过于明亮，因此通过校正为暗一点来强调本来的颜色”这样的校正，因此如上述那样，也可以是只能进行“此处为暗”、“此处为明亮”这样的分类的数据库。可以是使用户记住有特色的被摄体，并可实现“校正为使其以这样的对比度、灰度、颜色表现来再现”这样的自定义的数据库。这样的数据库可通过机器学习而制作并执行，在用户几次均瞄准相同的被摄体的情况下，可输入该被摄体的特征，并且，此时如果检测摄影者坚持操作的摄影参数调整用的操作部件或判断操作量而进行蓄积，则在类似的状况下(构图、光的加减等)，能够判断并学习优选获得何种特色图像。用户所删除的图像等不符合其需求，因此判断并处理为不可以作为示教图像而学习的图像来进行学习即可。可以利用执行这样的处理的程序，进行数据库自定义。简单地讲，被摄体分类数据库156具备各种被摄体特有的图像上的特征的信息，并关联着其为何物且应如何处理的信息即可，并可表现为具有分别适合各种被摄体的校正信息。

进而，记录单元150可以保持在摄像系统100的控制中使用的各种信息、与用户相关的信息。通过这样的数据库，在图像区域内可知道此处为这样的特征的部分，因此可制作后述的各区域校正映射图。

<图像处理装置110>

图像处理装置110具有数据处理部112，该数据处理部112通常由集成电路构成，集成为容易利用各种功能的结构，并从摄像单元130取得图像，对其取得的图像数据实施由与状况、图像等对应的特定的程序确定的或与用户的指示对应的图像处理。图像处理装置110还具有控制数据处理部112的控制部114、感测用户操作或摄影环境等的取得各种信息的各种传感器116、提供日期时间信息的时钟118。该控制部114按照操作、所取得的数据种类，根据记录在记录单元等的程序而进行控制，执行整体的序列。

<数据处理部112>

数据处理部112构成为对从摄像单元130取得的图像数据实施图像处理。数据处理部112构成为通过从摄像单元130取得的图像数据而生成记录用图像数据，并将其输出到记录单元150。例如，数据处理部112也可以构成为通过图像处理而生成对焦控制信号，并将其输出到摄像单元130。

数据处理部112是执行图像处理的一般处理的部分，是调整颜色、对比度的再现性而调整显示、摄影图像的画质，或进行由各种滤镜之外的其他要件执行的校正、曝光修整等的部分。数据处理部112进行由光学系统引起的变形、像差的校正等，为此还参照光学性能。在此，对与本实施方式有较大关系的单元进行明确记载，当然也有诸多的除此之外的功能。将结构简略化而将说明简单化。在此，特别记载的数据处理部112具有从摄像单元130取得图像数据的图像取得部112a；对通过图像取得部112a而取得的图像数据进行分析的图像分析部112b；根据通过图像取得部112a而取得的图像数据和通过图像分析部112b分析的分析结果而生成显示用、观察用、欣赏用、记录用的图像数据的记录用图像数据生成部112d。该部分是处理图像数据的部分，需要快速地进行各种运算，与传感器类、控制部、其他部件之间存在某种程度的区别。

<图像取得部112a>

图像取得部112a除了单纯地从摄像单元130取得图像数据之外，在静态图像摄影时、动态图像摄影时、实时取景显示时、自动对焦用的信号取出时等，可切换读出数据的模式，进而改变形成摄像数据(图像数据)时的光信号蓄积等、曝光时间等或根据需要而将像素分割读出或混合读出等。图像取得部112a在用户确认对象物等的情况下使用的实时取景时依次取得图像数据而毫无延迟地显示到显示器140。图像取得部112a将进行这样的图像处理而得的图像数据依次输出到图像分析部112b。

<图像分析部112b>

图像分析部112b存储各区域校正映射图。图像分析部112b具有如下的功能：将各区域校正映射图存储到记录单元150，并在需要时从记录单元150读出各区域校正映射图，以代替其本身存储各区域校正映射图的情况。各区域校正映射图的信息还反映在所分析的图像本身以外的图像上。

各区域校正映射图具有摄像单元130的摄像区域的位置信息和针对多个区域的各个区域的校正信息。各区域校正映射图针对用被摄体分类数据库156对摄像单元130的摄像结果进行分析并分类而得的每个图像区域，具有该区域在画面内的位置(分布)信息，各区域校正映射图是根据关于多个区域的各个区域的图像特征不断记录所期待的作画表现而制作的图，作为校正信息，具有按照每个区域的图像特征对该区域所需要的图片制作(颜色的表现、灰度、噪声、对比度等)判断哪些处理是否有效而得的判断结果。

换言之，可以说各区域校正映射图是对如下图像进行分析而映射化的图，该图像与从摄像单元130输出的例如实时取景显示时相继捕获的各帧的图像数据对应，通过变更该捕获图像的摄影参数，能够增加图像内的对象物判断的信息量，提高精度，对于图像的各个区域中的每个区域的希望表现成这样的目标图像，判断与当前会取得的图像的差异，并能够取得解除、减轻该差异这样的对策的信息(校正信息)。当然，在检测对象物后，对于不需要辨认性的对象物，可以不进行校正。本实施方式的目的在于增加改变摄影条件而识别对象物时的信息量，还可利用于警告或显示检测到某种情况的用途。能够以每秒30帧或60帧的速度获得实时取景图像，因此信息量非常多，实时性也高。从较小的单位来讲，该区域针对各个像素具有减少与理想的差异的校正信息，另外，从稍宽的单位来讲，该区域针对具有相同特征的图像的区域，具有减少与理想的差异的校正信息。如果将此依次反映到实时取景图像的显示等中，则可进行对图像的各个区域最佳化的适应型的图像处理。即，通过本实施方式，可提供图像处理装置110，在该图像处理装置110中，对从摄像单元130取得的图像数据实施图像处理的数据处理部112具有图像分析部112b，该图像分析部112b根据通过图像取得部112a按照不同的摄影条件而取得的至少2种帧的图像数据，对摄像单元130的摄像范围中设定的多个区域分别分析图像。

图像分析部112b根据通过图像取得部112a而取得的时间上连续的多个帧的图像数据，将这些相加而进行图像分析。在实时取景图像的情况下，相当快速地读出图像数据，因此能够获得大量的信息，故能够将其有效利用。通过相加而能够累计光的信号，因此有时未曾看见的图像也能看见，能够判断通过累计而噪声被抵消，从而噪声消失的情况。根据需要，在改变摄像条件的情况下，还能够缩短蓄积时间，将像素混合，获得焦点对准的信息、远近的信息，如人的人脸检测技术这样判断特定的图案的像在何处。通过一张一张(按每个帧)得到的图像之差，能够进行成帧的变化、对象物的变化等的分析，也能够进行其运动等的分析。在对象物变化的情况下，映射图与假设的场景不同，因此无法使用，因此更新各区域校正映射图。但是，在一些变化的情况下，基于电子抖动校正这样的观点或被摄体跟踪这样的观点，有时能够将对应的部分重叠而合成，此时可以不更新映射图。

在此，更新各区域校正映射图是指，将各区域校正映射图的信息重写为有用的信息。即，复位各区域校正映射图，换言之，删除各区域校正映射图的信息不属于如下情况：虽然重写各区域校正映射图的信息，但因重写之后的信息的不同而更新各区域校正映射图的情况。并且，也有根据更新各区域校正映射图时的重写前后的信息的不同而获得成帧的变化、其图案、对象物的运动的特征等的信息。通过该各区域校正合成映射图，可获得如下效果：可将显示图像、观察图像、记录图像等最佳化，对显示在图像内的特定的对象物容易进行判断。如果利用预先得到的图像而得知各区域的特征，则还可以实现在后续图像中利用其结果而提高图像分析的性能的表现。

在摄影对象未发生变化的情况下，想必在此后摄影的图像中能够有效利用(摄影之前)那时的信息，那么对制作校正映射图是有意义的。既有能够用一张(幅，帧)图像分析的信息，也有如暗的场景这样用多个帧分析的信息。根据需要，也可以利用在不同的摄像模式下得到的图像。例如，在反映知道远近分布的图像信息的情况下，可将其利用于区域划分。这是虽然进行反映但与相加不同的处理，并且是利用多张(幅，帧)的信息的例子。

为了更新各区域校正映射图，图像分析部112b具有将各区域校正映射图的更新中所需的规定的一定帧数的图像数据暂时地蓄积的功能。图像分析部112b所蓄积的一定帧数的图像数据可以在每次从图像取得部112a输入新的1帧的图像数据时更新，而在蓄积不足的情况下可以不更新。关于分析，既可以在每次进行该蓄积时进行，也可以在蓄积之后进行，但在每次蓄积时进行分析的情况下，能够分析更多的特征。关于蓄积，当改变场景时被更新，并且，如果存在无法分析的区域或被切换成另外的摄像模式的情况下等被更新。在图像分析部112b所蓄积的一定帧数的图像数据当中，最旧的1帧的图像数据被废弃即删除，与此代替地，蓄积即存储新输入的1帧的图像数据。通过这样的设计，能够在最接近摄影的时机进行图像分析。

图像分析部112b可以代替暂时地蓄积规定的一定帧数的图像数据的功能，而具备使记录单元150暂时地蓄积规定的一定帧数的图像数据，并在需要时从记录单元150读出规定的一定帧数的图像数据的功能。

各区域校正映射图的更新中使用的多个帧的图像数据可以是至少2帧的图像数据。并且，各区域校正映射图的更新中使用的图像数据可以是时间上连续的多个帧的图像数据当中的几个帧的图像数据。并且，那些几个帧的图像数据可以在时间上不连续。

图像分析部112b具有相加部112c，该相加部112c对为了更新各区域校正映射图而由图像分析部112b蓄积的多个帧的图像数据例如进行相加处理。相加在图像中信息量不足时进行即可，可以判断场景而将不同的摄影条件(超解像用的像素错位、扩大动态范围的曝光错位)下的图像数据利用于相加。由图像取得部112a进行这样的控制即可。即，通过包括有蓄积、无蓄积等的摄影条件的变更，增加所得到的图像数据的信息量，从而改善识别对象物时的检测的容易性，并由此能够进一步改善图像的辨认性、图像判断、分析的性能。在此“信息量”是指，假设对有限的数据量的数据进一步增加数据量、即便是有限的数据量，但通过判断多次而提高判断精度等的情况。在获得好几次信息的情况下，在摄像时(图像数据取得时)变更了各种条件的情况下，更能获得具有有意义的差分的信息量，因此本实施方式的效果进一步得到提高。

在此，为了便于说明，将为了更新各区域校正映射图而对图像数据进行处理的图像分析部112b内的部分称为“相加部112c”，而相加部112c所进行的处理不限于相加处理，相加部112c也可以进行相加处理以外的处理。上述的“例如进行相加处理的相加部112c”是指这样的意思。

相加部112c对包括在i帧(i为2以上的自然数)图像数据中的任意j帧(j＝2，…，i)图像数据的每个像素或每个区域进行相加处理。例如，相加部112c对在时间上连续的3帧图像数据进行2帧图像数据的相加处理和3帧图像数据的相加处理。在以2帧不足的情况下，将第三帧也加上而进行分析即可。

相加处理中使用的j帧(j<i)的图像数据既可以是在时间上连续的图像数据，也可以是在时间上不连续的图像数据。并且，在时间上连续的图像数据当中具有难以用来分析的帧的情况下，例如具有自动对焦用的帧的情况下，可以不将该难以用来分析的图像数据作为用于进行相加处理的图像数据。当然，也可以将该难以用来分析的图像数据作为用于进行相加处理的图像数据。

相加部112c具有暂时地蓄积通过相加处理而得到的图像数据的功能。相加部112c也可以代替这样的功能而具备如下的功能：将通过相加处理而得到的图像数据暂时地蓄积在记录单元150中，并在需要时从记录单元150读出通过相加处理而得到的图像数据。

即便不进行相加，只要能够分析此处为何色、此处为何色的情况、此处为何种灰度、此处为何种灰度这样的情况，则不需要进行相加，但在诸多的情况下，图像的动态范围广，因此很多情况下通过一次的摄像难以掌握整体。例如，在隧道中外面的图像过于明亮，隧道的壁面的图像过于暗，因此即便对外面的图像不进行相加，也能够判断外面为绿色的森林，但要判断到隧道壁面是灰色还是米色，图像的蓄积量还是不足，因此进行相加。并不是将整体相加，可以仅将所需的部分相加。在该情况下，在相加之后最佳的数据残留在整个画面，进而可进行将整体统一的综合判断。

这样，能够取得各区域校正数据。即，关于隧道的部分，可以提高增益，以接近所得到的数据，也可以进行其颜色成分的平衡调整。关于隧道外的部分，在其为绿色的情况下，进行颜色强调等，以能够识别其是绿色即可。在因为过于明亮而看起来像绿色的感觉减少的情况下，可以进行降低增益的校正。并且，当各个部分分别过于主张特征时，变成似乎贴了彩色纸这样的不自然的显色，因此可以追加进行使它们保持平衡而看起来自然的处理。此时，对各个部的明暗变化进行分析，对整个图像实施明暗平衡，以接近其分析结果即可。

在本说明书中，记载为应用被摄体分类数据库，但无需这样地将对象物识别并分类到此处为隧道中、此处为隧道外等，也可以只是能分类成“因为暗而数据量少，因此需要提高增益的部分”和“因为明亮而无需提高增益，构成绿色的部分”等。并且，通过信息相加，随机发生的噪声被平均化，因此在相加结果中图像不发生变化，在相加前信息中图像发生变化的情况下，可将此判断为噪声。即，在这样的情况下，被摄体分类数据库成为“暗的部分”，“各区域校正映射图”是用于使记录用图像数据生成部112d能够进行“该暗的部分暗也无妨，因此降低对比度，以看不到噪声”这样的处理的映射图。

在以下的说明中，为了容易区别作为相加处理对象的图像数据和通过相加处理而得到的图像数据，适当地将作为相加处理对象的图像数据称为原图像数据，将通过相加处理而得到的图像数据称为相加图像数据。

图像分析部112b根据连续地得到的图像数据的1帧和根据需要而在其基础上进一步对图像进行相加而得的相加图像数据等，更新各区域校正映射图。

因为暗而无法充分地得到画面各区域具备何种特征这样的信息的情况下，如果进行合成则可得到信息量，而在亮度均匀的情况下，有时不需要合成。在灰度等微妙的情况下等，有时进行相加则其梯度更容易明白，除了暗的时候之外，进行相加而判断也是有意义的。

例如，图像分析部112b根据包括在i帧原图像数据中的1帧原图像数据和通过j帧(j＝2，…，i)原图像数据的相加处理而得到的(i-1)帧相加图像数据，更新各区域校正映射图。作为一个具体例，图像分析部112b根据包括在3帧原图像数据中的1帧原图像数据和通过2帧原图像数据的相加处理而得到的1帧相加图像数据和通过3帧原图像数据的相加处理而得到的1帧相加图像数据，更新各区域校正映射图。

在此例举了在各区域校正映射图的更新中使用包括在i帧原图像数据中的1帧原图像数据和通过j帧原图像数据的各个相加处理而得到的1帧相加图像数据的例子，但也可以使用更多帧的图像数据。例如，在前面的具体例中，在各区域校正映射图的更新中，也可以使用包括在3帧原图像数据中的2帧以上的原图像数据、通过2帧原图像数据的相加处理而得到的2帧以上的相加图像数据、通过3帧原图像数据的相加处理而得到的1帧相加图像数据。

通过对摄像单元130的摄像范围重新设定多个区域，并对这些多个区域分别重新设定校正信息，而进行各区域校正映射图的更新。

首先，图像分析部112b根据至少1帧的原图像数据和至少1帧的相加图像数据，对摄像单元130的摄像范围设定多个区域。摄像单元130的摄像范围与通过由摄像单元130输出的各个帧的图像数据而表现的图像的范围对应。

多个区域的设定例如通过如下方式进行：对原图像数据和相加图像数据适用图像识别技术，从而确定与图像数据(原图像数据或相加图像数据)对应的图像内拍摄到的被摄体，并在与图像数据对应的图像上，求出所确定的被摄体各自所占的区域的位置信息。

被摄体的确定例如按照对原图像数据和相加图像数据设定的多个微小区域中的颜色信息、对比度信息、灰度信息中的至少一个而进行。并且，各个被摄体所占的各个区域的位置信息例如由在与图像数据对应的图像上设定其区域界限的像素的坐标信息来构成。或者，各个区域的位置信息由属于该区域的像素的坐标信息来构成。

接下来，图像分析部112b参照记录于记录单元150的被摄体分类数据库156而取得对所确定的各个被摄体适合的校正信息。由此，得到与各个被摄体对应的各个区域的校正信息。

接着，图像分析部112b根据这样得到的多个区域的位置信息和校正信息，将多个区域的位置信息和属于多个区域的各个区域的像素的校正信息重写。换言之，图像分析部112b对与从摄像单元130输出的各个帧的图像数据对应的图像中的各个像素重写校正信息。

由此，针对摄像范围中设定的多个区域分别具有校正信息的各区域校正映射图被更新。

图5示意性地表示各区域校正映射图400的结构。如图5所示，各区域校正映射图400具有与对摄像范围设定的多个区域A、B、…分别相关联的多个各区域信息410A、410B、…。

各区域信息410A、410B、…分别包括区域A、B、…的位置信息420A、420B、…和区域A、B、…的图像特征信息430A、430B、…和区域A、B、…的校正信息440A、440B、…。

位置信息420A、420B、…例如由如下坐标信息构成，该坐标信息是在与从摄像单元130输出的各个帧的图像数据对应的图像上，设定区域A、B、…的界限的像素的坐标信息或属于区域A、B、…的像素的坐标信息。

图像特征信息430A、430B、…例如包括颜色、对比度、灰度等信息。

校正信息440A、440B、…例如包括增益、对比度校正量、彩度强调量等信息。

<记录用图像数据生成部112d>

记录用图像数据生成部112d生成根据各区域校正映射图而对图像取得部112a取得的1帧的图像数据进行校正而得的记录用图像数据。通过这样的设计，可记录如下的图像：既是切取决定性的一瞬间的图像，又是整体并不均匀地表现而是带着突显的外观较好的图像。

此时，关于图像数据，当记载为图像数据被记录的情况下容易明白，但也可以利用于记录并显示、又被删除的观察用的用途。并且，在对1帧的图像进行校正时，不单纯地进行“校正”，也可以对图像的特定区域赋予其他的信息。例如，对于无论怎么校正也无法看到的暗的场所的图案等，也可以有从预先得到的图像中仅将该部分拿过来而合成的方法。

记录用图像数据生成部112d还生成记录在记录单元150的图像文件，并将其输出到记录单元150。图像文件除了记录用图像数据之外，还包括各种附随信息等。记录用图像数据生成部112d对于静态图像摄影而生成静态图像文件，对于动态图像摄影生成动态图像文件。

图6A示意性地表示通过记录用图像数据生成部112d而生成的静态图像文件300s的结构。如图6A所示，静态图像文件300s具有图像数据310s、缩略图320s、附随信息330s。

静态图像文件300s的图像数据310s由1帧的记录用图像数据构成。

缩略图320s例如由作为图像数据310s的1帧记录用图像数据的缩小图像数据构成。

附随信息330s包括摄影时信息。摄影时信息包括日期时间、感光度、快门速度、光圈、焦点位置等信息。

附随信息330s还包括各区域处理内容。各区域处理内容表示在生成作为图像数据310s的1帧记录用图像数据时对摄像范围的多个区域实施的图像处理的内容，各区域校正映射图的信息例如包括多个区域的位置信息、对各个区域适用的校正信息等。

在动态图像摄影中生成静态图像的情况下，附随信息330s可包括与该静态图像对应的动态图像的信息。

进而，例如在具有通过搭载于摄像单元130的麦克风而取得的声音信息的情况下，附随信息330s可包括该声音信息。

图6B示意性地表示通过记录用图像数据生成部112d而生成的动态图像文件300m的结构。如图6B所示，动态图像文件300m具有图像数据310m、缩略图320m、附随信息330m。

动态图像文件300m的图像数据310m由时间上连续的多个帧的记录用图像数据构成。

缩略图320m例如由包括在图像数据310m中的多个帧的记录用图像数据的例如最初的帧的缩小图像数据构成。

附随信息330m包括摄影时信息。摄影时信息包括日期时间、感光度、帧频、光圈、焦点位置等信息。

附随信息330m还包括各区域处理内容。各区域处理内容表示在生成包括在图像数据310m中的各个帧的记录用图像数据时对摄像范围的多个区域实施的图像处理的内容，包括针对各个帧的图像数据的各区域校正映射图的信息，例如多个区域的位置信息、对各区域适用的校正信息等。

在动态图像摄影中记录了静态图像的情况下，附随信息330m可以包括与该动态图像对应的静态图像的信息。

进而，例如具有通过搭载于摄像单元130的麦克风而取得的声音信息的情况下，可以包括该声音信息。

<控制部114>

控制部114例如可以由CPU、ASIC等控制电路构成。与控制部114相同的功能，既可通过软件而实现，也可通过硬件和软件的组合而实现。并且，控制部114的一部分功能可通过与控制部114独立地设置的要件而实现。

控制部114除了对数据处理部112进行控制，还对与图像处理装置110处于通信状态的摄像单元130、显示器140、记录单元150和操作器160进行控制。即，控制部114对摄像系统100的动作进行综合控制。

下面，对由控制部114进行的控制的几个情况进行说明，但控制部114所进行的控制不限于这些控制。当然，控制部114也可以进行下面未陈述的控制。

控制部114通过数据处理部112而使摄像单元130依次输出图像数据。并且，控制部114使数据处理部112从摄像单元130依次取得图像数据。控制部114还使数据处理部112将所取得的图像数据可视化而依次输出到显示器140。并且，此时，控制部114通过数据处理部112而使显示器140依次显示依次输入的图像数据。

并且，控制部114使数据处理部112对所取得的图像数据进行图像处理。此时，控制部114从各种传感器116取得各种信息，将取得的各种信息提供给数据处理部112，从而使数据处理部112进行适当的图像处理。控制部114例如使数据处理部112根据图像处理的结果而生成对焦控制信号，并将其输出到摄像单元130。

控制部114根据由指示图像的记录的用户对操作器160的操作或特定的条件，使记录用图像数据生成部112d生成记录用图像数据。下面，对控制部114所进行的控制，分为静态图像记录的情况和动态图像记录的情况而进行说明。

(静态图像记录)

在图像的记录的指示为静态图像摄影的指示的情况下，控制部114使记录用图像数据生成部112d生成1帧的记录用图像数据。之后，控制部114使记录用图像数据生成部112d生成包括所生成的1帧的记录用图像数据的静态图像文件。

此时，控制部114使记录用图像数据生成部112d将摄影时信息包括在静态图像文件中。如上述那样，摄影时信息包括日期时间、感光度、快门速度、光圈、焦点位置等信息。例如，控制部114根据由指示图像的记录的用户对操作器160的操作，而从时钟118取得日期时间信息，将所取得的日期时间信息提供给记录用图像数据生成部112d，从而使记录用图像数据生成部112d将该日期时间信息包括在静态图像文件中。由此，清楚何时进行了摄影，证据性等变高。并且，在本实施方式中，通过一次摄影能够得到良好的图像，因此其精度也较高。

进而，控制部114使记录用图像数据生成部112d将各区域处理内容(在1帧的记录用图像数据的生成中使用的各区域校正映射图的信息)包括在静态图像文件中。

接着，控制部114使记录用图像数据生成部112d将所生成的静态图像文件输出到记录单元150。控制部114还通过数据处理部112而使记录单元150将所输入的静态图像文件记录到静态图像记录部152。

(动态图像记录)

在图像的记录的指示是动态图像摄影的开始的指示的情况下，控制部114使记录用图像数据生成部112d依次生成记录用图像数据。之后，控制部114根据由指示动态图像摄影结束的用户对操作器160的操作，使记录用图像数据生成部112d结束记录用图像数据的生成，并且，接着生成动态图像文件，该动态图像文件包括所生成的时间上连续的多个帧的记录用图像数据。

此时，控制部114使记录用图像数据生成部112d将摄影时信息包括在动态图像文件中。例如，控制部114根据由指示图像的记录的用户对操作器160的操作，从时钟118取得日期时间信息作为摄影开始日期时间信息，并且，根据由指示图像记录结束的用户对操作器160的操作，从时钟118取得日期时间信息作为摄影结束日期时间信息，并将所取得的摄影开始日期时间信息和摄影结束日期时间信息提供给记录用图像数据生成部112d，从而使记录用图像数据生成部112d将摄影开始日期时间信息和摄影结束日期时间信息包括在动态图像文件中。

进而，控制部114使记录用图像数据生成部112d将各区域处理内容(1帧的记录用图像数据的生成中使用的各区域校正映射图的信息)包括在动态图像文件中。

接着，控制部114使记录用图像数据生成部112d将所生成的动态图像文件输出到记录单元150。控制部114还通过数据处理部112使记录单元150将所输入的动态图像文件记录到动态图像记录部154。

接下来，对本实施方式的图像处理装置110的动作进行说明。图2A和图2B表示包括本实施方式的图像处理装置110的摄像系统100中的摄影的处理的流程图。图2A和图2B的处理以控制部114为主体而进行。

图2A和图2B的流程图表示从准备起动而待机的等待状态到将图像处理装置110起动并使图像处理装置110停止而返回到等待状态为止的情况。在以下的说明中，假设在图2A和图2B的处理的期间，摄像单元130、显示器140、记录单元150和操作器160均被起动。

在等待状态中，当由用户操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的起动，使图像处理装置110进行起动。

在起动图像处理装置110之后，在步骤S101中，控制部114判断摄像系统100的当前的动作模式是否为摄影模式。控制部114存储通过用户对操作器160的操作而设定的摄像系统100的动作模式。控制部114按照所存储的动作模式而判断当前的动作模式是否为摄影模式。在步骤S101中，在判断为动作模式是摄影模式的情况下，使处理转移到步骤S102。相反地，在步骤S101中，在判断为摄像系统100的动作模式不是摄影模式的情况下，使处理转移到步骤S109。

在步骤S109中，控制部114进行摄影模式以外的其他的处理。在其他的处理之后，使处理转移到步骤S141。

其他的处理例如包括再现模式的处理。在该情况下，控制部114判断当前的动作模式是否为再现模式。在判断为动作模式不是再现模式的情况下，使处理转移到步骤S141。在判断为动作模式是再现模式的情况下，控制部114使摄像系统100进行再现的处理。之后，使处理转移到步骤S141。

在步骤S102中，控制部114使数据处理部112的图像取得部112a从摄像单元130取得图像数据。之后，使处理转移到步骤S103。

在步骤S103中，控制部114使数据处理部112将所取得的图像数据输出到显示器140。并且，控制部114通过数据处理部112而使显示器140显示与所输入的图像数据对应的图像。之后，使处理转移到步骤S104。

在动作模式为摄影模式的期间，反复进行步骤S102的处理和步骤S103的处理。换言之，在动作模式为摄影模式的期间，进行包括步骤S102的处理和步骤S103的处理的循环处理。由此，从摄像单元130输出的图像数据依次显示在显示器140。就是说，显示器140上显示实时取景图像。

在步骤S104中，控制部114使数据处理部112判断摄像单元130的姿势是否稳定。例如，虽然在图1中未图示，但姿势探测传感器例如陀螺传感器搭载于摄像单元130，数据处理部112根据姿势探测传感器的输出信号而判断摄像单元130的姿势是否稳定。在步骤S104中，在判断为摄像单元130的姿势稳定的情况下，使处理转移到步骤S105。相反地，在步骤S104中，判断为摄像单元130的姿势不稳定的情况下，使处理转移到步骤S121。

在步骤S105中，控制部114使数据处理部112判断被摄体变化是否小。例如，数据处理部112将本次的循环处理中在步骤S102中取得的1帧的图像数据和上一次的循环处理中在步骤S102中取得的1帧的图像数据进行比较，并根据其比较结果而判断被摄体变化是否小。例如，数据处理部112对这样的时间上连续的2帧的图像数据进行相关分析。接着，数据处理部112将通过相关分析而得到的相关值与预先设定的阈值进行比较，如果相关值为阈值以上，则判断为被摄体变化小，相反地，如果相关值小于阈值，则判断为被摄体变化不小。在步骤S105中，在判断为被摄体变化小的情况下，使处理转移到步骤S106。相反地，在步骤S105中，在判断为被摄体变化不小的情况下，使处理转移到步骤S107。

在步骤S106中，控制部114使数据处理部112判断是否符合更新各区域校正映射图的条件。如上述那样，根据多个帧的图像数据而更新各区域校正映射图。更新各区域校正映射图的一个条件是将各区域校正映射图的更新中所需的规定的一定帧数的图像数据蓄积到图像分析部112b。例如，在蓄积有规定的一定帧数的图像数据的情况下，数据处理部112判断为符合更新条件，相反地，在未蓄积有规定的一定帧数的图像数据的情况下，判断为不符合更新条件。在步骤S106中，在判断为符合更新各区域校正映射图的条件的情况下，使处理转移到步骤S111。相反地，在步骤S106中，在判断为不符合更新各区域校正映射图的条件的情况下，使处理转移到步骤S107。

在步骤S111中，控制部114使图像分析部112b的相加部112c对为了更新各区域校正映射图而由图像分析部112b蓄积的多个帧的图像数据进行相加处理。如上述那样，将作为相加处理对象的图像数据称为原图像数据，将通过相加处理而得到的图像数据称为相加图像数据。相加图像数据与原图像数据相比，由被摄体引起的成分增大，由噪声引起的成分降低。之后，使处理转移到步骤S112。

在步骤S112中，控制部114使图像分析部112b判断各区域颜色特征。图像分析部112b例如对图像数据的各个数据中设定的多个微小区域分别进行颜色的判断，按照其判断结果而进行微小区域的分类。此时，可利用将原图像数据和相加图像数据比较而得到的信息。之后，使处理转移到步骤S113。

在步骤S113中，控制部114使图像分析部112b放大原图像数据。在以下的说明中，将放大的原图像数据称为放大图像数据。放大图像数据与原图像数据相比，由被摄体引起的成分和由噪声引起的成分均增大。之后，使处理转移到步骤S114。

在步骤S114中，控制部114使图像分析部112b判断各区域噪声特征。图像分析部112b通过对相加图像数据和放大图像数据进行比较，从而例如对图像数据的各个数据中设定的多个微小区域，分别判断属于该微小区域的像素的数据是主要由被摄体引起的数据，还是主要由噪声引起的数据，并按照其判断结果而进行各个微小区域的分类。例如，在相加图像数据和放大图像数据中属于该微小区域的像素的数据大不相同的情况下，图像分析部112b判断为这些像素的数据是主要由噪声引起的数据，相反地，属于该微小区域的像素的数据并不是大不相同的情况下，判断为这些像素的数据是主要由被摄体引起的数据。之后，使处理转移到步骤S115。

在步骤S115中，控制部114使图像分析部112b更新各区域校正映射图。图像分析部112b对摄像单元130的摄像范围重新设定多个区域，并对这些多个区域的各个区域重新设定校正信息，从而更新各区域校正映射图。各区域校正映射图的更新例如以下这样进行。

首先，图像分析部112b通过对原图像数据和相加图像数据的图像识别技术，而确定与原图像数据对应的图像内拍摄到的被摄体。接下来，图像分析部112b在与原图像数据对应的图像上求出所确定的被摄体各自所占的区域的位置信息。由此，按照所确定的被摄体，确定对应于与原图像数据对应的图像的、对摄像单元130的摄像范围设定的多个区域。

接下来，图像分析部112b参照记录在记录单元150的被摄体分类数据库156，对所确定的各个被摄体取得适当的校正信息。由此，得到与各个被摄体对应的各区域的校正信息。

接着，图像分析部112b根据这样得到的多个区域的位置信息和校正信息，将各区域校正映射图的各区域信息即多个区域的位置信息、多个区域的图像特征信息和多个区域的校正信息重写。

由此，按照被摄体而对摄像范围设定的多个区域分别具有校正信息的各区域校正映射图被更新。之后，使处理转移到步骤S107。

在步骤S107中，控制部114使数据处理部112判断被摄体变化是否大。例如，数据处理部112对本次的循环处理中在步骤S102中取得的1帧的图像数据和上一次的循环处理中在步骤S102中取得的1帧的图像数据进行比较，并根据其比较结果而判断被摄体变化是否大。该判断例如通过与步骤S105相同的处理而进行。在步骤S107中，在判断为被摄体变化大的情况下，使处理转移到步骤S108。相反地，在步骤S107中，在判断为被摄体变化不大的情况下，使处理转移到步骤S121。

在步骤S108中，控制部114使图像分析部112b将各区域校正映射图复位。图像分析部112b将各区域校正映射图的各区域信息全部删除。与此同时，图像分析部112b还将为了更新各区域校正映射图而暂时地蓄积的多个帧的图像数据全部废弃。之后，使处理转移到步骤S121。

在步骤S121中，控制部114判断是否指示动态图像摄影的开始。例如，当由用户操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的开始。在步骤S121中，在判断为指示了动态图像摄影的开始的情况下，使处理转移到步骤S122。在步骤S121中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S131。

在步骤S122中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d从图像分析部112b读取各区域校正映射图，并按照各区域校正映射图，生成校正了在步骤S102中取得的1帧原图像数据而得的记录用图像数据。记录用图像数据生成部112d还依次蓄积在各次的循环处理中生成的记录用图像数据，直到指示动态图像摄影的结束为止。之后，使处理转移到步骤S123。

在步骤S123中，控制部114判断是否指示动态图像摄影的结束。例如，当由用户再次操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的结束。在步骤S123中，在判断为指示了动态图像摄影的结束的情况下，使处理转移到步骤S124。相反地，在步骤S123中，判断为未指示动态图像摄影的结束的情况下，使处理转移到步骤S125。

在步骤S124中，控制部114使记录用图像数据生成部112d生成动态图像文件。如参照图6A所说明的那样，动态图像文件具有图像数据、缩略图和附随信息。图像数据由时间上连续的多个帧的记录用图像数据构成，该记录用图像数据在直到指示动态图像摄影结束为止的期间内、在步骤S122中被蓄积到记录用图像数据生成部112d。控制部114还使记录用图像数据生成部112d将所生成的动态图像文件输出到记录单元150。控制部114还通过数据处理部112使记录单元150将所输入的动态图像文件记录到动态图像记录部154。之后，使处理转移到步骤S141。

在步骤S125中，控制部114判断是否指示了静态图像摄影。例如，当由用户操作了操作器160的释放按钮时，控制部114判断为指示了静态图像摄影。在步骤S125中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S132。步骤S125中在判断为未指示静态图像摄影的情况下，使处理转移到步骤S141。

如上述那样，在步骤S121中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S131。在步骤S131中，控制部114判断是否指示了静态图像摄影。该判断例如通过与步骤S125相同的处理而进行。在步骤S131中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S132。在步骤S131中，在判断为未指示静态图像摄影的情况下，使处理转移到步骤S141。

在步骤S132中，控制部114通过数据处理部112而使摄像单元130按照各区域校正映射图而进行摄影。因此，控制部114使图像分析部112b按照各区域校正映射图而求出最佳的摄影条件例如最佳的曝光条件等，将该最佳的摄影条件的信息输出到摄像单元130的摄影条件变更部134。摄影条件变更部134按照所输入的摄影条件的信息而变更摄像部132的摄影条件例如曝光等。由此，摄像单元130输出按照各区域校正映射图的最佳的摄影条件下的摄影时的图像数据。并且，控制部114使数据处理部112的图像取得部112a从摄像单元130取得按照各区域校正映射图的最佳的摄影条件下的摄影时的图像数据。之后，使处理转移到步骤S133。

在步骤S133中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d从图像分析部112b读取各区域校正映射图，并按照各区域校正映射图而生成校正了在步骤S132中取得的1帧的图像数据而得的记录用图像数据。之后，使处理转移到步骤S134。

在步骤S134中，控制部114使记录用图像数据生成部112d生成静态图像文件。如参照图6A所说明的那样，静态图像文件具有图像数据、缩略图和附随信息。图像数据由在步骤S132中通过记录用图像数据生成部112d而生成的1帧的记录用图像数据而构成。控制部114还使记录用图像数据生成部112d将所生成的静态图像文件输出到记录单元150。控制部114还通过数据处理部112而使记录单元150将所输入的静态图像文件记录到静态图像记录部152。之后，使处理转移到步骤S141。

在步骤S141中，控制部114判断是否指示了图像处理装置110的停止。例如，当由用户再次操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的停止。在步骤S141中，在判断为未指示图像处理装置110的停止的情况下，使处理返回到步骤S101。相反地，在步骤S141中，在判断为指示了图像处理装置110的停止的情况下，控制部114使图像处理装置110停止，图像处理装置110再次返回到等待状态。

图3是表示这样进行的摄影的动作的时序图。图3将开始动态图像摄影时的前后的动作和进行静态图像摄影时的前后的动作相结合而示出。

在图3中，“摄像速率”表示摄像的时机。并且，“摄像帧”表示各次的摄像中的图像数据和曝光设定。“实时取景帧”表示显示在显示器140上的图像。

“相加图像”表示通过由相加部112c进行的相加处理而生成的相加数不同的多个相加图像数据。在此，相加数表示在相加处理中使用的原图像数据的帧数。“相加数0”表示未进行相加处理的原图像数据，“相加数1”表示通过2帧的原图像数据的相加处理而生成的相加图像数据，“相加数2”表示通过3帧的原图像数据的相加处理而生成的相加图像数据。

“校正映射图”表示存储在图像分析部112b、并根据原图像数据及相加图像数据而更新的各区域校正映射图。“记录帧”表示按照各区域校正映射图进行校正而得的图像数据。

“摄影”表示指示动态图像摄影的开始或静态图像摄影的时机。动态图像摄影和静态图像摄影中，直到“摄影”的指示为止，“摄像帧”的图像数据均通过适当曝光下的摄影而取得。并且，根据适当曝光下的摄影时的图像数据而生成“实时取景帧”的图像数据。

在“摄影”表示动态图像摄影的开始的指示的情况下，在动态图像摄影开始之后，“摄像帧”的图像数据在适当曝光下的摄影中生成。并且，根据该图像数据，生成“实时取景帧”的图像数据。并且，该图像数据按照各区域校正映射图而被校正，生成“记录帧”的校正图像数据。

相对于此，在“摄影”表示静态图像摄影的指示的情况下，刚指示静态图像摄影之后的“摄像帧”的图像数据在按照各区域校正映射图的最佳曝光下的摄影中生成。在静态图像摄影之前，停止实时取景帧的生成。因此，该图像数据不用于“实时取景帧”的图像数据的生成。并且，该图像数据按照各区域校正映射图而被校正，从而生成“记录帧”的校正图像数据。

图4对使用了各区域校正映射图的图像校正的方法进行图解而示出。图4所示的摄影图像例包括天空、山、森林和叶子的被摄体。在该摄影图像例中，以将天空适当曝光的方式进行摄影，因此山、森林和叶子的亮度低，难以识别。对该摄影图像例，在每个微小区域中，根据该微小区域的图像特征而确定被摄体。由此，最终求出天空、山、森林和叶子的各个被摄体所占的区域。属于这样求出的各个区域的像素的数据按照适合与各个区域对应的被摄体的校正信息被校正。由此，得到属于天空、山、森林和叶子的各个被摄体的区域的像素的数据被适当校正后的校正图像例。在该校正图像例中，与属于天空的区域的像素的数据相比，属于山、森林和叶子的区域的像素的数据的亮度被强调。其结果是，校正图像例在将天空的曝光保持为适当曝光的情况下，能够容易地识别在摄影图像例中难以识别的山、森林和叶子。

如以上所说明的那样，根据本实施方式的图像处理装置，形成按照各个被摄体所占的每个区域被适当校正而得的高画质的记录图像。但是，该记录图像例如具有较宽的动态范围的表现，并不是如HDR图像那样根据在不同的时刻取得的多个图像数据而形成，而是根据在某一瞬间的时刻取得的1帧的图像数据而形成。因此，通过本实施方式的图像处理装置而形成的记录图像，不可能被篡改，可视为具有较高的可靠性的记录信息。并且，通过使用变更了相加数的图像数据，从而能够利用仅由原图像数据无法判别的信息而生成各区域校正映射图。例如，可将在原图像数据中因亮度过低而无法识别的被摄体从相加图像数据中识别出。

本实施方式的控制部114所进行的各个处理可作为使计算机执行的程序而存储。其程序可存储到磁盘、光盘、半导体存储器等外部存储装置的记录介质而发布。并且，计算机读入存储在该外部存储装置的记录介质中的程序，按照该读入的程序而进行动作，从而能够执行上述的控制部114所进行的各个处理。

[第二实施方式]

接下来，参照附图而对第二实施方式进行说明。图7是表示包括第二实施方式的图像处理装置的摄像系统的结构的框图。在图7中，赋予了与图1所示的部件相同的参照符号的部件是相同的部件，省略其具体说明。下面，以不同部分为重点进行说明。即，在以下的说明中未涉及到的部分与第一实施方式相同。此外，在图7之外，本申请中在图1、图10、图14中也示出框图，附图以便于说明各个实施方式的方式实现了特定化，实施方式中本质上的区别较小，并有效地利用摄影之前的信息。

本实施方式与第一实施方式相同，其目的在于在某一瞬间的时刻取得辨认性高的高画质的记录图像。

在本实施方式的图像处理装置110中，数据处理部112使摄像单元130以适当的规定规则反复变更摄影条件而进行摄影，并依次输出在各个摄影条件下的摄影时的图像数据。换言之，数据处理部112使摄影条件变更部134按照摄像元件132b的摄像速率而变更摄像部132的摄影条件。

图像取得部112a从摄像单元130依次取得以适当的规定规则反复变更的摄影条件下的摄影时的图像数据。图像取得部112a还具有HDR图像数据生成部112e，该HDR图像数据生成部112e根据一次摄影条件例如曝光条件下的摄影时的图像数据而生成HDR图像。即，改变了摄影条件，因此此时的实时取景图像具有比通常的实时取景图像信息量更多的效果。与此相应地，可用于校正的参考的数据增加。例如，有时仅通过第一实施方式的相加则得不到明亮的信息。如果将该摄影条件变化直接可视化则会闪烁，因此通过对一次摄影条件例如曝光条件下的摄影时的多个帧的图像数据实施合成处理而生成HDR图像数据。通过这样的合成处理而生成的HDR图像数据具有较宽的动态范围。

在此，一次摄影条件下的摄影时的图像数据是指，在反复的摄影条件的变更中，与构成一次反复单位的多个摄影条件对应的多个帧的图像数据。例如，在摄影条件按第一摄影条件和第二摄影条件反复变更的情况下，一次摄影条件下的摄影时的图像数据是由第一摄影条件下的摄影时的1帧的图像数据和第二摄影条件下的摄影时的1帧的图像数据构成的2帧的图像数据。

接下来，对本实施方式的图像处理装置110的动作进行说明。图8A和图8B表示包括本实施方式的图像处理装置110的摄像系统100中的摄影处理的流程图。在图8A和图8B中，赋予了与图2A和图2B中所示的块相同的参照符号的块表示相同的处理，省略其具体说明。

图8A和图8B的流程图表示从准备起动而待机的等待状态到起动图像处理装置110并使图像处理装置110停止而返回到等待状态为止的情况。在以下的说明中，与第一实施方式的说明同样地，假设在图8A和图8B的处理的期间，摄像单元130、显示器140、记录单元150和操作器160均被起动。

在等待状态中，当由用户操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的起动，使图像处理装置110起动。

在起动图像处理装置110之后，在步骤S101中，控制部114判断摄像系统100的当前的动作模式是否为摄影模式。该判断以与第一实施方式相同的方式进行。在步骤S101中，在判断为动作模式为摄影模式的情况下，使处理转移到步骤S102a。相反地，在步骤S101中，在判断为摄像系统100的动作模式不是摄影模式的情况下，使处理转移到步骤S109。

在步骤S109中，控制部114进行摄影模式以外的其他的处理。其他的处理如第一实施方式中说明的处理。在其他的处理之后，使处理转移到步骤S141。

在步骤S102a中，控制部114使摄像单元130在第一摄影条件下进行摄影，并使数据处理部112的图像取得部112a从摄像单元130取得在第一摄影条件下摄影时的第一图像数据。第一摄影条件在此为比适当曝光高的曝光条件。因此，第一图像数据是比适当曝光高的曝光条件下的摄影中生成的图像数据。在以下的说明中，将第一图像数据又称为曝光过度的图像数据。之后，使处理转移到步骤S102b。

在步骤S102b中，控制部114使摄像单元130在第二摄影条件下进行摄影，并使数据处理部112的图像取得部112a从摄像单元130取得第二摄影条件下摄影时的第二图像数据。在此，第二摄影条件为比适当曝光低的曝光条件。因此，第二图像数据是在比适当曝光低的曝光条件下的摄影中生成的图像数据。在以下的说明中，将第二图像数据又称为曝光不足的图像数据。之后，使处理转移到步骤S102c。

在步骤S102c中，控制部114使HDR图像数据生成部112e对通过图像取得部112a而取得的第一图像数据和第二图像数据进行合成处理，并生成HDR图像数据。之后，使处理转移到步骤S103a。

在步骤S103a中，控制部114使数据处理部112将通过HDR图像数据生成部112e而生成的HDR图像数据输出到显示器140。并且，控制部114通过数据处理部112而在显示器140显示与所输入的HDR图像数据对应的HDR图像。之后，使处理转移到步骤S104。

在动作模式为摄影模式的期间，反复进行步骤S102a～S102c的处理和步骤S103a的处理。由此，使显示器140显示HDR图像的实时取景图像。

在步骤S104中，控制部114使数据处理部112判断摄像单元130的姿势是否稳定。该判断以与第一实施方式相同的方式进行。在步骤S104中，在判断为摄像单元130的姿势稳定的情况下，使处理转移到步骤S105。相反地，在步骤S104中，在判断为摄像单元130的姿势不稳定的情况下，使处理转移到步骤S121。

在步骤S105中，控制部114使数据处理部112判断被摄体变化是否小。该判断以与第一实施方式相同的方式进行。在步骤S105中，在判断为被摄体变化小的情况下，使处理转移到步骤S106。相反地，在步骤S105中，在判断为被摄体变化不小的情况下，使处理转移到步骤S107。

在步骤S106中，控制部114使数据处理部112判断是否符合更新各区域校正映射图的条件。该判断以与第一实施方式相同的方式进行。在步骤S106中，在判断为符合更新各区域校正映射图的条件的情况下，使处理转移到步骤S111a。相反地，在步骤S106中，在判断为不符合更新各区域校正映射图的条件的情况下，使处理转移到步骤S107。

在步骤S111a中，控制部114使图像分析部112b的相加部112c对原图像数据进行相加处理。此外，作为相加处理对象的原图像数据主要是第二图像数据即曝光不足的图像数据，对第一图像数据即曝光过度的图像数据进行相加处理的必要性较小。该相加处理无需必须进行，可以省略。之后，使处理转移到步骤S112a。

在步骤S112a中，控制部114使图像分析部112b判断各区域颜色特征。图像分析部112b例如对图像数据的各个数据中设定的多个微小区域分别进行颜色的判断，并按照其判断结果而进行微小区域的分类。此时，可以利用将原图像数据(第一图像数据和第二图像数据)比较而得到的信息，还可以利用将原图像数据和相加图像数据比较而得到的信息。之后，使处理转移到步骤S113a。

在步骤S113a中，控制部114使图像分析部112b放大原图像数据。在以下的说明中，将放大的原图像数据称为放大图像数据。放大图像数据与原图像数据相比，由被摄体引起的成分和由噪声引起的成分均被增大。此外，作为放大对象的原图像数据主要是第二图像数据即曝光不足的图像数据，对第一图像数据即曝光过度的图像数据进行放大处理的必要性较小。之后，使处理转移到步骤S114a。

在步骤S114a中，控制部114使图像分析部112b判断各区域噪声特征。图像分析部112b将原图像数据(第一图像数据和第二图像数据)和相加图像数据(主要是被相加的第二图像数据)和放大图像数据(即被放大的第二图像数据)比较，从而例如对图像数据的各个数据中设定的多个微小区域分别判断属于该微小区域的像素的数据主要由被摄体引起还是主要由噪声引起，并按照其判断结果而进行各微小区域的分类。之后，使处理转移到步骤S115。

在步骤S115中，控制部114使图像分析部112b更新各区域校正映射图。各区域校正映射图的更新以与第一实施方式相同的方式进行。之后，使处理转移到步骤S107。

在步骤S107中，控制部114使数据处理部112判断被摄体变化是否大。该判断以与第一实施方式相同的方式进行。在步骤S107中，在判断为被摄体变化大的情况下，使处理转移到步骤S108。相反地，在步骤S107中，在判断为被摄体变化不大的情况下，使处理转移到步骤S121。

在步骤S108中，控制部114使图像分析部112b复位各区域校正映射图。图像分析部112b将各区域校正映射图的各区域信息全部删除。与此相伴地，图像分析部112b还将为了更新各区域校正映射图而暂时地蓄积的多个帧的图像数据全部废弃。之后，使处理转移到步骤S121。

在步骤S121中，控制部114判断是否指示了动态图像摄影的开始。例如，当由用户操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的开始。在步骤S121中，在判断为指示了动态图像摄影的开始的情况下，使处理转移到步骤S122a。在步骤S121中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S131。

在步骤S122a中，控制部114通过数据处理部112而使摄像单元130在适当的摄影条件例如适当的曝光条件下摄影。通过摄像单元130进行的摄影以与第一实施方式相同的方式进行。

控制部114又使图像分析部112b根据通过适当的曝光条件下的摄影而生成的图像数据来更新各区域校正映射图。各区域校正映射图的更新以与第一实施方式相同的方式进行。

控制部114还使记录用图像数据生成部112d生成记录用图像数据，并将所生成的记录用图像数据蓄积。记录用图像数据的生成和蓄积以与第一实施方式相同的方式进行。之后，使处理转移到步骤S123。

在步骤S123中，控制部114判断是否指示了动态图像摄影的结束。例如，当由用户再次操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的结束。在步骤S123中，在判断为指示了动态图像摄影的结束的情况下，使处理转移到步骤S124。相反地，在步骤S123中，在判断为未指示动态图像摄影的结束的情况下，使处理转移到步骤S125。

在步骤S124中，控制部114使记录用图像数据生成部112d生成动态图像文件，并通过数据处理部112而使动态图像记录部154记录所生成的动态图像文件。动态图像文件的生成和记录以与第一实施方式相同的方式进行。之后，使处理转移到步骤S141。

在步骤S125中，控制部114判断是否指示了静态图像摄影。例如，当由用户操作了操作器160的释放按钮时，控制部114判断为指示了静态图像摄影。在步骤S125中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S132。在步骤S125中，在判断为未指示静态图像摄影的情况下，使处理转移到步骤S141。

如上述那样，在步骤S121中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S131。在步骤S131中，控制部114判断是否指示了静态图像摄影。该判断例如通过与步骤S125相同的处理进行。在步骤S131中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S132。在步骤S131中，在判断为未指示静态图像摄影的情况下，使处理转移到步骤S141。

在步骤S132中，控制部114通过数据处理部112使摄像单元130按照各区域校正映射图而进行摄影。按照各区域校正映射图而进行的摄影以与第一实施方式相同的方式进行。并且，控制部114使图像取得部112a从摄像单元130取得按照各区域校正映射图的最佳摄影条件下的摄影时的图像数据。之后，使处理转移到步骤S133。

在步骤S133中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据的生成以与第一实施方式相同的方式进行。之后，使处理转移到步骤S134。

在步骤S134中，控制部114使记录用图像数据生成部112d生成静态图像文件，并使静态图像记录部152记录所生成的静态图像文件。静态图像文件的生成和记录以与第一实施方式相同的方式进行。之后，使处理转移到步骤S141。

在步骤S141中，控制部114判断是否指示了使图像处理装置110停止。例如，由用户再次操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的停止。在步骤S141中，在判断为未指示图像处理装置110的停止的情况下，使处理返回到步骤S101。相反地，在步骤S141中，在判断为指示了图像处理装置110的停止的情况下，控制部114图像处理装置110的停止，图像处理装置110重新返回到等待状态。

图9是表示这样进行的摄影的动作的时序图。图9将动态图像摄影开始时的前后的动作和静态图像摄影时的前后的动作相结合而示出。

在图9中，“摄像速率”表示摄像的时机。并且，“摄像帧”表示每次摄像时的图像数据和曝光设定。在此，“曝光过度”表示第一图像数据即比适当曝光高的曝光条件下摄影时的图像数据，“曝光不足”表示第二图像数据即比适当曝光低的曝光条件下摄影时的图像数据。“实时取景帧”表示显示在显示器140上的HDR图像。

“分析图像”表示作为图像分析对象的图像数据。“过度图像”表示“曝光过度”的图像数据或对“曝光过度”的图像数据进行相加处理而得的图像数据。并且，“不足图像”表示“曝光不足”的图像数据或对“曝光不足”的图像数据进行相加处理而得的图像数据。

“校正映射图”表示存储在图像分析部112b的各区域校正映射图。“记录帧”表示按照各区域校正映射图进行校正而得的图像数据。

“摄影”表示指示动态图像摄影的开始或静态图像摄影的时机。动态图像摄影和静态图像摄影的任意摄影中，直到指示“摄影”为止，“摄像帧”的图像数据由在交替变更的曝光条件下的摄影中交替地生成的“曝光过度”的图像数据和“曝光不足”的图像数据构成。并且，根据这些的“曝光过度”的图像数据和“曝光不足”的图像数据，生成“实时取景帧”的图像数据。

在“摄影”表示动态图像摄影的开始的指示的情况下，在动态图像摄影开始之后，“摄像帧”的图像数据在适当曝光下的摄影中生成。并且，根据该图像数据，生成“实时取景帧”的图像数据。进而，按照各区域校正映射图而校正该图像数据，并生成“记录帧”的校正图像数据。

相对于此，在刚指示静态图像摄影之后的“摄像帧”的图像数据在按照各区域校正映射图的最佳曝光下的摄影中生成。在静态图像摄影之前，停止实时取景帧的生成。因此，该图像数据不用于“实时取景帧”的图像数据的生成。进而，按照各区域校正映射图而校正该图像数据，并生成“记录帧”的校正图像数据。在此，由于方便，利用按摄影之前的时机得到的图像信息反映出实时取景图像的分析，但本发明当然不限于此，也可以得到摄影之后的分析结果而反映到摄影图像中。既可以在记录前反映，也可以在显示时实施图像处理而反映。

如以上说明的那样，在本实施方式的图像处理装置中，与第一实施方式同样地，各个被摄体所占的每个区域形成适当地校正的高画质的记录图像。但是，该记录图像并不是如HDR图像那样根据在不同的时刻取得的多个图像数据而形成的，而是根据在某一瞬间的时刻取得的1帧的图像数据而形成的。因此，通过本实施方式的图像处理装置而形成的记录图像不可能被篡改，可视为具有较高的可靠性的记录信息。

本实施方式的控制部114所进行的各个处理也与第一实施方式相同，也可以作为能够使计算机执行的程序而进行存储。

[第三实施方式]

接下来，参照附图，对第三实施方式进行说明。图10是表示包括第三实施方式的图像处理装置的摄像系统的结构的框图。在图10中，赋予了与图1所示的部件相同的参照符号的部件是相同的部件，省略其详细的说明。下面，以不同部分为重点进行说明。即，在以下的说明中未提及的部分是与第一实施方式相同的部分。此外，在图10之外，本申请在图1、图7、图14中也示出框图，附图以便于说明各个实施方式的方式实现了特定化，实施方式中本质上的区别较小，并有效地利用摄影之前的信息。

HDR图像是通过将刚指示摄影之后的时间上连续的多个帧的图像数据合成而制作的。合成的多个帧的图像数据是在曝光条件不同的多次的图像数据取得中得到的。曝光条件以规定的规则变更。为了得到适当的图像，开始设置曝光条件，为了确定各种参数，优选应用尽量多的信息。摄影参数除了曝光条件(作为光圈、感光度、快门速度、曝光时间、时刻而在辅助光照射中利用)之外，还有焦点条件、变焦条件等。

本实施方式的目的在于考虑这样的实际情况而得到与被摄体对应的最佳的图像。

<摄像单元130>

摄像单元130具有按照从图像处理装置110供给的摄影条件的信息而变更摄像部132的摄影条件的摄影条件变更部134。摄影条件变更部134例如具有通过调节成像光学系统132a的光圈或摄像元件132b的曝光时间而变更曝光的功能。

例如，为了生成HDR图像，摄影条件变更部134以适当的规定规则反复变更摄影条件例如摄像元件132b的曝光时间。由此，摄像单元130依次输出以适当的规定规则反复变更的摄影条件下的图像数据取得时的图像数据。

<数据处理部112>

数据处理部112构成为使摄像单元130在指定的摄影条件下取得图像数据，并输出该图像数据。例如，数据处理部112为了生成HDR图像数据，使摄像单元130以适当的规定规则反复变更摄影条件例如摄像元件132b的曝光时间而取得图像数据，并依次输出各个摄影条件下的图像数据取得时的图像数据。

并且，数据处理部112构成为对从摄像单元130取得的图像数据实施图像处理，从而生成各种信息。例如，数据处理部112构成为根据从摄像单元130取得的图像数据生成实时取景用图像数据，并将其输出到显示器140。数据处理部112还构成为根据从摄像单元130取得的图像数据生成记录用图像数据，并将其输出到记录单元150。数据处理部112还构成为通过图像处理而生成对焦控制信号，并将其输出到摄像单元130。

<图像取得部112a>

图像取得部112a从摄像单元130依次取得图像数据。并且，图像取得部112a能够在静态图像摄影时、动态图像摄影时、实时取景显示时、自动对焦用的信号取出时等切换读出数据的模式，进而，改变形成摄像数据(图像数据)时的光信号蓄积等曝光时间等，或根据需要而将像素分割读出、混合读出等。图像取得部112a还在由用户确认对象物的情况下等使用的实时取景时，依次取得图像数据而毫无延迟地显示到显示器140。图像取得部112a依次取得进行这样的图像处理而得的图像数据，并将所取得的图像数据依次输出到图像分析部112b。

图像取得部112a从摄像单元130依次取得以适当的规定规则反复变更的摄影条件下的图像数据取得时的图像数据。图像取得部112a还具有HDR图像数据生成部112e，该HDR图像数据生成部112e根据一次摄影条件例如曝光条件下的图像数据取得时的图像数据而生成HDR图像。

HDR图像由在变更摄影条件的同时在图像数据取得中得到的图像数据生成，因此与通常的图像相比包括更多的信息。即，HDR图像中与其相应地包括更多的可在校正中参考的数据。如果将变更摄影条件而在图像数据取得时的图像数据直接可视化会进行闪烁，因此HDR图像数据是通过对一次摄影条件例如曝光条件下的图像数据取得时的多个帧的图像数据实施合成处理而生成的。通过这样的合成处理而生成的HDR图像数据具有较宽的动态范围。

为了生成实时取景用的HDR图像数据，数据处理部112使摄像单元130以适当的规定规则反复变更摄影条件而取得图像数据，并依次输出各个摄影条件下的图像数据取得时的图像数据。换言之，数据处理部112使摄影条件变更部134按照摄像元件132b的摄像速率而变更摄像部132的摄影条件。

图像取得部112a从摄像单元130依次取得以适当的规定规则反复变更的摄影条件下的图像数据取得时的图像数据。HDR图像数据生成部112e通过对所取得的一次摄影条件例如曝光条件下的图像数据取得时的多个帧的图像数据实施合成处理，从而生成HDR图像。

在此，一次摄影条件下的图像数据取得时的图像数据是指，在以规定规则反复的摄影条件的变更中，与构成一次反复单位的多个摄影条件对应的多个帧的图像数据。例如，在以第一摄影条件和第二摄影条件反复变更摄影条件的情况下，一次摄影条件下的图像数据取得时的图像数据是由第一摄影条件下的图像数据取得时的1帧的图像数据和第二摄影条件下的图像数据取得时的1帧的图像数据构成的2帧的图像数据。

<记录用图像数据生成部112d>

记录用图像数据生成部112d根据通过图像取得部112a而取得的图像数据来生成至少1帧的记录用图像数据。例如，记录用图像数据生成部112d在静态图像的摄影时生成至少1帧的记录用图像数据，并在动态图像的摄影中生成时间上连续的多个帧的记录用图像数据。

在静态图像的摄影时及动态图像的摄影中，数据处理部112使摄像单元130基于各区域校正映射图变更摄影条件而取得图像数据，并依次输出各个摄影条件下的图像数据取得时的图像数据。

记录用图像数据生成部112d将基于这样的各区域校正映射图变更摄影条件而进行的图像数据取得中通过图像取得部112a取得的、不同的摄影条件下的图像数据取得时的多个帧的图像数据合成，而生成1帧的记录用图像数据。

记录用图像数据生成部112d还对记录用图像数据进行基于各区域校正映射图的校正。

通过这样的一连串的处理，能够得到与被摄体对应的最佳的图像。

此时，当记载为图像数据被记录的情况下容易明白，但还可用于被记录并显示，又被删除的观察用的用途。并且，在对1帧的图像进行校正时，不仅仅单纯地进行“校正”，也可以对图像的特定区域赋予其他的信息。例如，对于无论如何校正都看不到的暗的场所的图案等，也可以执行从预先得到的图像中仅将该部分拿过来合成的方法。

记录用图像数据生成部112d还生成记录到记录单元150的图像文件，并将其输出到记录单元150。图像文件除了记录用图像数据之外，还包括各种附随信息等。记录用图像数据生成部112d针对静态图像摄影生成静态图像文件，针对动态图像摄影则生成动态图像文件。

图13A示意性地示出通过记录用图像数据生成部112d而生成的静态图像文件300s的结构。如图13A所示，静态图像文件300s具有图像数据310s、缩略图320s、附随信息330s、各合成原图像附随信息340As、340Bs。

静态图像文件300s的图像数据310s由如下的1帧的记录用图像数据构成，该1帧的记录用图像数据是将在基于各区域校正映射图变更摄影条件而进行的图像数据取得时的多个帧的图像数据合成而生成的。在图13A的例子中，记录用图像数据是将2帧的图像数据合成而生成的数据。当然，记录用图像数据也可以是将3以上的帧的图像数据合成而生成的数据。

缩略图320s例如由图像数据310s的缩小图像数据构成，该图像数据310s为1帧的记录用图像数据。

各合成原图像附随信息340As、340Bs包括为了生成记录用图像数据而合成的合成原图像的摄影时信息。摄影时信息包括日期时间、感光度、快门速度、光圈、焦点位置等信息。

附随信息330s包括各区域处理内容。各区域处理内容表示在生成图像数据310s即1帧的记录用图像数据时对摄像范围的多个区域实施的图像处理的内容，包括各区域校正映射图的信息，例如，多个区域的位置信息、对各个区域适用的校正信息等。

在静态图像在动态图像摄影中生成的情况下，附随信息330s可以包括与该静态图像对应的动态图像的信息。

进而，例如在具有通过搭载于摄像单元130的麦克风而取得的声音信息的情况下，附随信息330s可以包括该声音信息。

图13B示意性地表示通过记录用图像数据生成部112d而生成的动态图像文件300m的结构。如图13B所示，动态图像文件300m具有图像数据310m、缩略图320m、，附随信息330m、各合成原图像附随信息340Am、340Bm。

动态图像文件300m的图像数据310m由时间上连续的多个帧的记录用图像数据而构成。各帧的记录用图像数据是将基于各区域校正映射图变更摄影条件而进行的图像数据取得时的多个帧的图像数据合成而生成的数据。在图13B的例子中，各个帧的记录用图像数据是将2帧的图像数据合成而生成的数据。当然，各个帧的记录用图像数据也可以是将3帧以上的图像数据合成而生成的数据。

缩略图320m例如由图像数据310m中包含的多个帧的记录用图像数据中例如最初的帧的缩小图像数据构成。

各合成原图像附随信息340Am、340Bm包括为了生成各个帧的记录用图像数据而合成的合成原图像的摄影时信息。摄影时信息包括日期时间、感光度、帧频、光圈、焦点位置等信息。

附随信息330m还包括各区域处理内容。各区域处理内容表示在生成图像数据310m中包含的各个帧的记录用图像数据时对摄像范围的多个区域施加的图像处理的内容，包括针对各个帧的图像数据的各区域校正映射图的信息，例如多个区域的位置信息、对各个区域适用的校正信息等。

在动态图像摄影中记录有静态图像的情况下，附随信息330m可以包括与该动态图像对应的静态图像的信息。

进而，例如在具有通过搭载于摄像单元130的麦克风而取得的声音信息的情况下，可包括该声音信息。

<控制部114>

控制部114通过数据处理部112而使摄像单元130依次输出图像数据。并且，控制部114使数据处理部112从摄像单元130依次取得图像数据。控制部114还使数据处理部112将通过HDR图像数据生成部112e而生成的HDR图像数据可视化而依次输出到显示器140。并且，此时，控制部114通过数据处理部112而使显示器140依次显示依次所输入的HDR图像数据。

并且，控制部114使数据处理部112对所取得的图像数据进行图像处理。此时，控制部114从各种传感器116取得各种信息，将所取得的各种信息提供给数据处理部112，从而使数据处理部112进行适当的图像处理。控制部114例如使数据处理部112根据图像处理的结果而生成对焦控制信号，并将其输出到摄像单元130。

接下来，对本实施方式的图像处理装置110的动作进行说明。图11A和图11B表示包括本实施方式的图像处理装置110的摄像系统100中的摄影处理的流程图。图11A和图11B的处理是将控制部114作为主体而进行的。

图11A和图11B的流程图表示从准备起动而待机的等待状态到起动图像处理装置110并停止图像处理装置110而返回到等待状态为止的情况。在以下的说明中，假设在图11A和图11B的处理的期间，摄像单元130、显示器140、记录单元150和操作器160均被起动。

在等待状态中，当由用户操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的起动，并使图像处理装置110起动。

在起动图像处理装置110之后，在步骤S201中，控制部114判断摄像系统100的当前的动作模式是否为摄影模式。控制部114存储通过用户对操作器160的操作而设定的摄像系统100的动作模式。控制部114按照所存储的动作模式而判断当前的动作模式是否为摄影模式。在步骤S201中，在判断为动作模式是摄影模式的情况下，使处理转移到步骤S202a。相反地，在步骤S201中，在判断为摄像系统100的动作模式不是摄影模式的情况下，使处理转移到步骤S209。

在步骤S209中，控制部114进行摄影模式以外的其他的处理。其他的处理如第一实施方式中所说明的那样。在其他的处理之后，使处理转移到步骤S241。

在步骤S202a中，控制部114通过数据处理部112而使摄像单元130在第一摄影条件下取得图像数据，使图像取得部112a从摄像单元130取得第一摄影条件下的图像数据取得时的第一图像数据。在此，第一摄影条件是比适当曝光高的曝光条件。因此，第一图像数据是在比适当曝光高的曝光条件下的图像数据取得中生成的图像数据。在以下的说明中，将第一图像数据称为曝光过度的图像数据。之后，使处理转移到步骤S202b。

在步骤S202b中，控制部114通过数据处理部112而使摄像单元130在第二摄影条件下取得图像数据，使图像取得部112a从摄像单元130取得第二摄影条件下的图像数据取得时的第二图像数据。在此，第二摄影条件是比适当曝光低的曝光条件。因此，第二图像数据是在比适当曝光低的曝光条件下的图像数据取得中生成的图像数据。在以下的说明中，将第二图像数据又称为曝光不足的图像数据。之后，使处理转移到步骤S202c。

在步骤S202c中，控制部114使HDR图像数据生成部112e对通过图像取得部112a而取得的第一图像数据和第二图像数据进行合成处理，并生成HDR图像数据。之后，使处理转移到步骤S203。

在步骤S203中，控制部114使数据处理部112将通过HDR图像数据生成部112e而生成的HDR图像数据输出到显示器140。并且，控制部114通过数据处理部112而使与所输入的HDR图像数据对应的HDR图像显示到显示器140。之后，使处理转移到步骤S204。

在动作模式为摄影模式的期间，反复进行步骤S202a～S202c的处理和步骤S203的处理。由此，将从摄像单元130依次输出的HDR图像数据依次显示到显示器140。就是说，显示器140上显示HDR图像的实时取景图像。

在步骤S204中，控制部114使数据处理部112判断摄像单元130的姿势是否稳定。例如，虽然在图10中未图示，但姿势探测传感器例如陀螺传感器搭载于摄像单元130，数据处理部112根据姿势探测传感器的输出信号而判断摄像单元130的姿势是否稳定。在步骤S204中，在判断为摄像单元130的姿势稳定的情况下，使处理转移到步骤S205。相反地，在步骤S204中，在判断为摄像单元130的姿势不稳定的情况下，使处理转移到步骤S221。

在步骤S205中，控制部114使数据处理部112判断被摄体变化是否小。例如，数据处理部112对本次的循环处理中在步骤S202a～S202c中取得的1帧的图像数据和上一次的循环处理中在步骤S202a～S202c中取得的1帧的图像数据进行比较，并根据其比较结果而判断被摄体变化是否小。例如，数据处理部112对这样的时间上连续的2帧的图像数据进行相关分析。接着，数据处理部112将通过相关分析而得到的相关值与预先设定的阈值进行比较，在相关值为阈值以上的情况下，判断为被摄体变化小，相反地，在相关值小于阈值的情况下，判断为被摄体变化不小。在步骤S205中，在判断为被摄体变化小的情况下，使处理转移到步骤S206。相反地，在步骤S205中，在判断为被摄体变化不小的情况下，使处理转移到步骤S207。

在步骤S206中，控制部114使数据处理部112判断是否符合更新各区域校正映射图的条件。如上述那样，根据多个帧的图像数据而更新各区域校正映射图。更新各区域校正映射图的一个条件是将各区域校正映射图的更新中所需的规定的一定帧数的图像数据蓄积到图像分析部112b。例如，在蓄积有规定的一定帧数的图像数据的情况下，数据处理部112判断为符合更新条件，相反地，在未蓄积有规定的一定帧数的图像数据的情况下，判断为不符合更新条件。在步骤S206中，在判断为不符合更新各区域校正映射图的条件的情况下，使处理转移到步骤S207。相反地，在步骤S206中，在判断为符合更新各区域校正映射图的条件的情况下，使处理转移到更新各区域校正映射图的步骤S210。

在此，参照图11C而对各区域校正映射图的更新进行说明。图11C是步骤S210中的各区域校正映射图的更新处理的流程图。

在步骤S211中，控制部114使图像分析部112b的相加部112c对原图像数据进行相加处理。此外，作为相加处理对象的原图像数据主要是第二图像数据即曝光不足的图像数据，对第一图像数据即曝光过度的图像数据进行相加处理的必要性较小。这是因为，第一图像数据即曝光过度的图像数据通过相加处理而容易成为过度范围。该相加处理无需必须进行，也可以省略。之后，使处理转移到步骤S212。

在步骤S212中，控制部114使图像分析部112b判断各区域颜色特征。图像分析部112b例如对图像数据的各个数据中设定的多个微小区域分别进行颜色的判断，并按照其判断结果而进行微小区域的分类。此时，可以利用将原图像数据比较而得到的信息，还可以利用将原图像数据和相加图像数据比较而得到的信息。之后，使处理转移到步骤S213。

在步骤S213中，控制部114使图像分析部112b将原图像数据放大。在以下的说明中，将放大的原图像数据称为放大图像数据。放大图像数据与原图像数据相比，由被摄体引起的成分和由噪声引起的成分均被增大。此外，作为放大对象的原图像数据主要是第二图像数据即曝光不足的图像数据，对第一图像数据即曝光过度的图像数据进行放大处理的必要性较小。这是因为，第一图像数据即曝光过度的图像数据通过放大处理而容易成为过度范围。之后，使处理转移到步骤S214。

在步骤S214中，控制部114使图像分析部112b判断各区域噪声特征。图像分析部112b将原图像数据和相加图像数据和放大图像数据进行比较，从而例如对图像数据的各个数据中设定的多个微小区域，分别判断属于该微小区域的像素的数据是主要由被摄体引起的数据还是主要由噪声引起的数据，并按照其判断结果而不断进行各微小区域的分类。之后，使处理转移到步骤S215。

在步骤S215中，控制部114使图像分析部112b更新各区域校正映射图。图像分析部112b对摄像单元130的摄像范围重新设定多个区域，并对这些多个区域的各个区域重新设定校正信息，从而将各区域校正映射图更新。各区域校正映射图的更新以在第一实施方式中说明的方式进行。之后，使处理转移到图11A所示的步骤S207。

在图11A所示的步骤S207中，控制部114使数据处理部112判断被摄体变化是否大。例如，数据处理部112对本次的循环处理中在步骤S202a～S202c中取得的1帧的图像数据和上一次的循环处理中在步骤S202a～S202c中取得的1帧的图像数据进行比较，并根据其比较结果而判断被摄体变化是否大。该判断例如通过与步骤S205相同的处理而进行。在步骤S207中，在判断为被摄体变化大的情况下，使处理转移到步骤S208。相反地，在步骤S207中，在判断为被摄体变化不大的情况下，使处理转移到步骤S221。

在步骤S208中，控制部114使图像分析部112b复位各区域校正映射图。图像分析部112b将各区域校正映射图的各区域信息全部删除。与此相伴地，图像分析部112b还将为了更新各区域校正映射图而暂时地蓄积的多个帧的图像数据全部废弃。之后，使处理转移到步骤S221。

在步骤S221中，控制部114判断是否指示了动态图像摄影的开始。例如，当由用户操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的开始。在步骤S221中，在判断为指示了动态图像摄影的开始的情况下，使处理转移到动态图像用的记录用图像数据的生成的步骤S250。在步骤S221中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S231。

在步骤S250中，控制部114使数据处理部112生成动态图像的1帧的记录用图像数据。之后，使处理转移到步骤S223。

在此，参照图11D而对动态图像的记录用图像数据的生成进行说明。图11D是步骤S250中的动态图像的记录用图像数据的生成处理的流程图。

在步骤S251中，控制部114通过数据处理部112而使摄像单元130在适当的摄影条件例如适当的曝光条件下取得图像数据。图像取得部112a取得从摄像单元130输出的图像数据，并将所取得的图像数据输出到图像分析部112b。图像分析部112b蓄积所输入的图像数据。之后，使处理转移到步骤S252。

在步骤S252中，控制部114使图像分析部112b判断是否需要基于各区域校正映射图变更摄影条件而取得图像数据。在步骤S252中，在判断为不需要变更摄影条件而取得图像数据的情况下，使处理转移到步骤S253。相反地，在步骤S252中，在判断为需要变更摄影条件而取得图像数据的情况下，使处理转移到步骤S254。

在步骤S253中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d从图像分析部112b读出各区域校正映射图。并且，记录用图像数据生成部112d读出在步骤S251中蓄积在图像分析部112b的图像数据。并且，记录用图像数据生成部112d根据各区域校正映射图而校正读出的图像数据，从而生成1帧的记录用图像数据。之后，使处理转移到步骤S258。

在步骤S254中，控制部114通过数据处理部112而使摄像单元130变更摄影条件例如曝光条件而取得图像数据。图像取得部112a取得从摄像单元130输出的图像数据，并将所取得的图像数据输出到图像分析部112b。图像分析部112b将所输入的图像数据蓄积。之后，使处理转移到步骤S255。

在步骤S255中，控制部114使数据处理部112判断是否结束了变更摄影条件而进行的图像数据的取得。通过判断是否结束了合成中所需的帧的图像数据的取得，来判断是否结束了变更摄影条件而进行的图像数据的取得。在步骤S255中，在判断为未结束变更摄影条件而进行的图像数据的取得的情况下，使处理返回到步骤S254。相反地，在步骤S255中，在判断为结束了变更摄影条件而进行的图像数据的取得的情况下，使处理转移到步骤S256。

在步骤S256中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d读出在步骤S251和步骤S254中蓄积在图像分析部112b的多个帧的图像数据。图像分析部112b通过将所读出的多个帧的图像数据合成而生成1帧的记录用图像数据。之后，使处理转移到步骤S257。

在步骤S257中，控制部114使记录用图像数据生成部112d校正记录用图像数据。记录用图像数据生成部112d从图像分析部112b读出各区域校正映射图。并且，记录用图像数据生成部112d根据所读出的各区域校正映射图而校正在步骤S256中生成的记录用图像数据。之后，使处理转移到步骤S258。

在步骤S256中为了生成记录用图像数据而合成的图像数据包括在根据各区域校正映射图而变更的摄影条件下的图像数据取得时的图像数据，因此在步骤S256中生成的记录用图像数据反映各区域校正映射图的信息。因此，无需必须执行步骤S257中的校正处理，可进行省略。

在步骤S258中，控制部114使记录用图像数据生成部112d蓄积记录用图像数据。记录用图像数据生成部112d蓄积在步骤S253中生成的记录用图像数据、在步骤S256中生成的记录用图像数据或在步骤S256中生成之后在步骤S257中校正的记录用图像数据。之后，使处理转移到图11B所示的步骤S223。此外，如后述那样，参照图11D而说明的动态图像的记录用图像数据的生成继续进行，直到指示结束动态图像摄影为止。

在此，说明了如下的例子：最初取得在适当的摄影条件下的图像数据取得时的图像数据，之后根据需要，取得在根据各区域校正映射图而变更的摄影条件下的图像数据取得时的图像数据，但本发明不限于此。也可以从最初开始取得在基于各区域校正映射图的摄影条件下的图像数据取得时的图像数据。在该情况下，记录用图像数据由如下的1帧的合成图像数据构成，该1帧的合成图像数据是在基于各区域校正映射图的摄影条件下的图像数据取得时的1帧的图像数据，或是将基于各区域校正映射图变更摄影条件而进行的图像数据取得时的多个帧的图像数据合成而得的。

此外，“基于各区域校正映射图变更摄影条件而取得图像数据”是指，在步骤S251和步骤S254中进行的一连串的图像数据取得，与为了取得HDR图像数据而在步骤S202a、S202b中进行的“以规定规则反复变更的摄影条件下的图像数据取得”是不同的。

在图11B所示的步骤S223中，控制部114判断是否指示了动态图像摄影的结束。例如，当由用户再次操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的结束。在步骤S223中，在判断为指示了动态图像摄影的结束的情况下，使处理转移到步骤S224。相反地，在步骤S223中，在判断为未指示动态图像摄影的结束的情况下，使处理转移到步骤S225。

在步骤S224中，控制部114使记录用图像数据生成部112d生成动态图像文件。如参照图13A所说明的那样，动态图像文件具有图像数据、缩略图、附随信息、各合成原图像附随信息。图像数据由时间上连续的多个帧的记录用图像数据构成，该多个帧的记录用图像数据在直到指示结束动态图像摄影为止的期间，在步骤S258中蓄积到记录用图像数据生成部112d。控制部114还使记录用图像数据生成部112d将所生成的动态图像文件输出到记录单元150。控制部114还通过数据处理部112而使记录单元150将所输入的动态图像文件记录到动态图像记录部154。之后，使处理转移到步骤S241。

在步骤S225中，控制部114判断是否指示了静态图像摄影。例如，当由用户操作了操作器160的释放按钮时，控制部114判断为指示了静态图像摄影。在步骤S225中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S260。在步骤S225中，在判断为未指示静态图像摄影的情况下，使处理转移到步骤S241。

如上述，在步骤S221中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S231。在步骤S231中，控制部114判断是否指示了静态图像摄影。该判断例如通过与步骤S225相同的处理而进行。在步骤S231中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S260。在步骤S231中，在判断为未指示静态图像摄影的情况下，使处理转移到步骤S241。

在步骤S260中，控制部114使数据处理部112生成静态图像的记录用图像数据。之后，使处理转移到步骤S233。

在此，参照图11E而对静态图像的记录用图像数据的生成进行说明。图11E是步骤S260中的静态图像的记录用图像数据的生成处理的流程图。

在步骤S261中，控制部114通过数据处理部112而使摄像单元130在适当的摄影条件例如适当的曝光条件下取得图像数据。图像取得部112a取得从摄像单元130输出的图像数据，并将所取得的图像数据输出到图像分析部112b。图像分析部112b蓄积所输入的图像数据。之后，使处理转移到步骤S262。

在步骤S262中，控制部114使图像分析部112b判断是否需要基于各区域校正映射图变更摄影条件而取得图像数据。在步骤S262中，在判断为无需变更摄影条件而取得图像数据的情况下，使处理转移到步骤S263。相反地，在步骤S262中，在判断为需要变更摄影条件而取得图像数据的情况下，使处理转移到步骤S264。

步骤S263中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d从图像分析部112b读出各区域校正映射图。并且，记录用图像数据生成部112d读出在步骤S261中蓄积到图像分析部112b的图像数据。并且，记录用图像数据生成部112d根据各区域校正映射图而校正所读出的图像数据，从而生成1帧的记录用图像数据。之后，使处理转移到步骤S268。

在步骤S264中，控制部114通过数据处理部112而使摄像单元130变更摄影条件例如曝光条件而取得图像数据。图像取得部112a取得从摄像单元130输出的图像数据，并将所取得的图像数据输出到图像分析部112b。图像分析部112b蓄积所输入的图像数据。之后，使处理转移到步骤S265。

在步骤S265中，控制部114使数据处理部112判断是否结束了变更摄影条件而进行的图像数据的取得。在步骤S265中，在判断为未结束变更摄影条件而进行的图像数据的取得的情况下，使处理返回到步骤S264。相反地，在步骤S265中，在判断为结束了变更摄影条件而进行的图像数据的取得的情况下，使处理转移到步骤S266。

在步骤S266中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d读出在步骤S261和步骤S264中蓄积到图像分析部112b的多个帧的图像数据。图像分析部112b将所读出的多个帧的图像数据合成而生成1帧的记录用图像数据。之后，使处理转移到步骤S267。

在步骤S267中，控制部114使记录用图像数据生成部112d校正记录用图像数据。记录用图像数据生成部112d从图像分析部112b读出各区域校正映射图。并且，记录用图像数据生成部112d根据所读出的各区域校正映射图而校正在步骤S266中生成的记录用图像数据。由上述的原因，该校正处理无需必须进行，可以省略。之后，使处理转移到图11B所示的步骤S233。

在此，对如下的例子进行了说明：最初取得在适当的摄影条件下的图像数据取得时的图像数据，之后根据需要，取得在根据各区域校正映射图而变更的摄影条件下的图像数据取得时的图像数据，但本发明不限于此。也可以与动态图像的记录用图像数据的生成相同地，从最初开始取得在基于各区域校正映射图的摄影条件下的图像数据取得时的图像数据。

在图11B所示的步骤S233中，控制部114使记录用图像数据生成部112d生成静态图像文件，并将所生成的静态图像文件记录到静态图像记录部152。静态图像文件的生成和记录以与第一实施方式相同的方式进行。之后，使处理转移到步骤S241。

在图11B所示的步骤S233中，控制部114使记录用图像数据生成部112d生成静态图像文件。如参照图13A所说明的那样，静态图像文件具有图像数据、缩略图、附随信息、各合成原图像附随信息。图像数据由在步骤S267中通过记录用图像数据生成部112d而生成的1帧的记录用图像数据构成。控制部114还使记录用图像数据生成部112d将所生成的静态图像文件输出到记录单元150。控制部114还通过数据处理部112而使记录单元150将所输入的静态图像文件记录到静态图像记录部152。之后，使处理转移到步骤S241。

在步骤S241中，控制部114判断是否指示了图像处理装置110的停止。例如，当由用户再次操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的停止。在步骤S241中，在判断为未指示图像处理装置110的停止的情况下，使处理返回到步骤S201。相反地，在步骤S241中，在判断为指示了图像处理装置110的停止的情况下，控制部114使图像处理装置110停止，图像处理装置110重新返回到等待状态。

图12是表示这样进行的摄影动作的时序图。图12表示静态图像摄影时的前后的动作。

在图12中，“摄像速率”表示摄像的时机。并且，“摄像帧”表示各次的摄像中的图像数据和曝光设定。在此，“曝光过度”表示第一图像数据即比适当曝光更高的曝光条件下的图像数据取得时的图像数据，“曝光不足”表示第二图像数据即比适当曝光更低的曝光条件下的图像数据取得时的图像数据。并且，“适当曝光”表示在适当曝光下的图像数据取得时的图像数据，“变更曝光”表示根据各区域校正映射图而变更的曝光下的图像数据取得时的图像数据。

“实时取景帧”表示显示在显示器140上的图像。“HDR”表示对“曝光过度”的图像数据和“曝光不足”的图像数据进行合成处理而生成的HDR图像。

“分析图像”表示作为图像分析对象的图像数据。“过度图像”表示“曝光过度”的图像数据或对“曝光过度”的图像数据例如进行相加处理而得的图像数据。并且，“不足图像”表示“曝光不足”的图像数据或对“曝光不足”的图像数据例如进行相加处理而得的图像数据。

“校正映射图”表示存储在图像分析部112b中的“各区域校正映射图”。“记录帧”表示将“适当曝光”的图像数据和“变更曝光”的图像数据合成而生成的记录图像数据。

“摄影”表示指示静态图像摄影的时机。到指示“摄影”为止，“摄像帧”的图像数据由交替地变更的曝光条件下的图像数据取得中交替地生成的“曝光过度”的图像数据和“曝光不足”的图像数据构成。并且，根据这些“曝光过度”的图像数据和“曝光不足”的图像数据而生成“实时取景帧”的图像数据。

相对于此，在刚指示静态图像摄影之后，“摄像帧”的图像数据由适当曝光下的图像数据取得时的“适当曝光”的图像数据和根据各区域校正映射图而变更的曝光下的图像数据取得时的“变更曝光”的图像数据构成。在静态图像摄影之前，停止实时取景帧的生成。因此，该图像数据不用于“实时取景帧”的图像数据的生成。通过对“适当曝光”的图像数据和“变更曝光”的图像数据进行合成处理，生成“记录帧”的“记录图像”的图像数据。并且，可根据需要，根据“各区域校正映射图”而校正“记录图像”的图像数据。

如以上说明的那样，根据本实施方式的图像处理装置，根据各区域校正映射图而变更摄影条件(例如曝光条件)，从而得到与被摄体对应的最佳的图像，该各区域校正映射图具有与摄影中的被摄体相关的校正信息。并且，通过将基于各区域校正映射图变更摄影条件而进行的图像数据取得时的图像数据合成，进而根据各区域校正映射图而校正所合成的图像数据，从而能够得到与被摄体对应的最佳的图像。

例如，对各被摄体进行数次在最佳的曝光条件下的图像数据取得，并将在这些图像数据取得中得到的图像数据合成，从而形成以本来的色调色彩鲜艳地、清楚且明了地记录各被摄体的记录图像。

本实施方式的控制部114所进行的各个处理可作为使计算机执行的程序而进行存储。该程序可存储到磁盘、光盘、半导体存储器等外部存储装置的记录介质中而发布。并且，计算机读入存储在该外部存储装置的记录介质中的程序，按照该读入的程序而进行动作，从而执行上述控制部114所进行的各个处理。

[第4实施方式]

接下来，参照附图对第4实施方式进行说明。图14是表示包括第4实施方式的图像处理装置的摄像系统的结构的框图。在图14中，赋予了与图10所示的部件相同的参照符号的部件是相同的部件，省略其详细说明。下面，以不同部分为重点进行说明。即，在以下的说明中未提及的部分是与第三实施方式相同的部分。此外，图14之外，在本申请的图1、图7、图10中也示出框图，附图以便于说明各个实施方式的方式实现了特定化，实施方式中本质上的区别较小，并有效地利用摄影之前的信息。

本实施方式与第三实施方式相同地，其目的在于取得与被摄体对应的最佳的图像。

在本实施方式中，图像取得部112a代替HDR图像数据生成部112e而具有LV图像数据生成部112f。在本实施方式中，图像取得部112a从摄像单元130依次取得以一定的、适当的规定规则反复变更的摄影条件下的图像数据取得时的图像数据。LV图像数据生成部112f根据在一次摄影条件下的图像数据取得时的图像数据而生成实时取景图像。通过对一次摄影条件下的图像数据取得时的多个帧的图像数据施加合成处理而生成LV图像数据。

从图像数据的生成方法来讲，可以说本实施方式中的LV图像数据与HDR图像数据类似，但本实施方式中的LV图像数据表示包括HDR图像数据的概念更广的图像数据。即，当然，该LV图像数据可以是HDR图像数据，也可以是与HDR图像数据不同种类的图像数据。

并且，摄像单元130具有照明部136，该照明部136射出用于对被摄体进行照明的照明光。照明部136具有光源部136a、照明光学系统136b、照明控制部136c。

光源部136a构成为选择性地射出多种照明光。因此，光源部136a例如具有发出不同种类的照明光的多个光源。例如，光源部136a具有白色光光源、紫色光光源、蓝色光光源、绿色光光源、红色光光源、红外光光源等。这些光源除了白色光光源之外，可以是激光二极管等窄带光光源。光源部136a还可射出将从多个光源发出的光组合而成的照明光。

照明光学系统136b具有光圈和透镜等，将从光源部136a入射的照明光的特性适当调整，而向摄像单元130的外部射出照明光。例如，照明光学系统136b将照明光的强度分布均匀化或调整照明光的扩散角。照明光学系统136b还具有被特定的光例如蓝色光激励而发出荧光的荧光体。

照明控制部136c控制光源部136a和照明光学系统136b。例如，照明控制部136c选择在光源部136a内点亮的光源，调节点亮的光源的输出光量，调节照明光学系统136b内的透镜的位置等。

通过摄影条件变更部134而控制照明控制部136c。换言之，摄影条件变更部134除了进行摄像部132的摄影条件例如曝光的变更之外，还进行上述的照明部136的各种调整，例如照明光的选择、照明光的输出调整等。即，本实施方式中，照明条件不仅限于与摄像部132相关的各种调整，还包括照明部136的各种调整。

接下来，对本实施方式的图像处理装置110的动作进行说明。图15A和图15B表示包括本实施方式的图像处理装置110的摄像系统100中的摄影处理的流程图。在图15A和图15B中，赋予了与图11A和图11B所示的块相同的参照符号的块表示相同的处理，省略其详细的说明。

图15A和图15B的流程图表示从准备起动而待机的等待状态到起动图像处理装置110并停止图像处理装置110而返回到等待状态为止的情况。在以下的说明中，与第三实施方式的说明相同地，假设在图15A和图15B的处理期间，摄像单元130、显示器140、记录单元150和操作器160均被起动。

在等待状态中，在由用户操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的起动，并使图像处理装置110起动。

在起动图像处理装置110之后，在步骤S201中，控制部114判断摄像系统100的当前的动作模式是否为摄影模式。该判断以与第三实施方式相同的方式进行。在步骤S201中，在判断为动作模式为摄影模式的情况下，使处理转移到步骤S202a’。相反地，在步骤S201中，在判断为摄像系统100的动作模式不是摄影模式的情况下，使处理转移到步骤S209。

在步骤S209中，控制部114进行摄影模式以外的其他的处理。其他的处理如第一实施方式中说明的那样。在其他的处理之后，使处理转移到步骤S241。

在步骤S202a’中，控制部114使摄像单元130在第一摄影条件下取得图像数据，并使数据处理部112的图像取得部112a从摄像单元130取得在第一摄影条件下的图像数据取得时的第一图像数据。控制部114还使图像取得部112a暂时地蓄积所取得的第一图像数据。之后，使处理转移到步骤S202b’。

在步骤S202b’中，控制部114使摄像单元130在第二摄影条件下取得图像数据，并使数据处理部112的图像取得部112a从摄像单元130取得在第二摄影条件下的图像数据取得时的第二图像数据。控制部114还使图像取得部112a暂时地蓄积所取得的第二图像数据。之后，使处理转移到步骤S202c’。

在本实施方式中，第二摄影条件无需必须与第一摄影条件不同。就是说，第二摄影条件可以与第一摄影条件相同。

在步骤S202c’中，控制部114使LV图像数据生成部112f对通过图像取得部112a而取得的第一图像数据和第二图像数据进行合成处理，并生成LV图像数据。之后，使处理转移到步骤S203’。

在步骤S203’中，控制部114使数据处理部112将LV图像数据生成部112f中生成的LV图像数据输出到显示器140。并且，控制部114通过数据处理部112使与所输入的LV图像数据对应的LV图像显示到显示器140。之后，使处理转移到步骤S204。

在动作模式为摄影模式的期间，反复进行步骤S202a’～S202c’的处理和步骤S203’的处理。由此，在显示器140显示LV图像的实时取景图像。

在步骤S204中，控制部114使数据处理部112判断摄像单元130的姿势是否稳定。该判断以与第三实施方式相同的方式进行。在步骤S204中，在判断为摄像单元130的姿势稳定的情况下，使处理转移到步骤S205。相反地，在步骤S204中，在判断为摄像单元130的姿势不稳定的情况下，使处理转移到步骤S221。

在步骤S205中，控制部114使数据处理部112判断被摄体变化是否小。该判断以与第三实施方式相同的方式进行。在步骤S205中，在判断为被摄体变化小的情况下，使处理转移到步骤S206。相反地，在步骤S205中，在判断为被摄体变化不小的情况下，使处理转移到步骤S207。

在步骤S206中，控制部114使数据处理部112判断是否符合更新各区域校正映射图的条件。该判断以与第三实施方式相同的方式进行。在步骤S206中，在判断为符合更新各区域校正映射图的条件的情况下，使处理转移到步骤S210。步骤S210的各区域校正映射图的更新的处理如在第三实施方式中说明的那样。之后，使处理转移到摄影条件的变更的步骤S270。相反地，在步骤S206中，在判断为不符合更新各区域校正映射图的条件的情况下，使处理转移到步骤S207。

在此，参照图15C对摄影条件的变更进行说明。图15C是步骤S270中的摄影条件的变更处理的流程图。

在步骤S271中，控制部114使图像分析部112b判断是否需要根据各区域校正映射图而变更第一摄影条件。在步骤S271中，在判断为需要变更第一摄影条件的情况下，使处理转移到步骤S272。相反地，在步骤S271中，在判断为无需变更第一摄影条件的情况下，使处理转移到步骤S273。

在步骤S272中，控制部114通过数据处理部112而使摄影条件变更部134变更第一摄影条件。控制部114使图像分析部112b根据各区域校正映射图而求出变更之后适用的新的第一摄影条件，将新的第一摄影条件的信息输出到摄像单元130的摄影条件变更部134。摄影条件变更部134按照所输入的新的第一摄影条件的信息而变更第一摄影条件。之后，使处理转移到步骤S273。

在步骤S273中，控制部114使图像分析部112b判断是否需要根据各区域校正映射图而变更第二摄影条件。在步骤S273中，在判断为需要变更第二摄影条件的情况下，使处理转到步骤S274。相反地，在步骤S273中，在判断为无需更新第二摄影条件的情况下，使处理转移到图15B所示的步骤S207。

在步骤S274中，控制部114通过数据处理部112而使摄影条件变更部134变更第二摄影条件。控制部114使图像分析部112b根据各区域校正映射图而求出在变更后适用的新的第二摄影条件，并将新的第二摄影条件的信息输出到摄像单元130的摄影条件变更部134。摄影条件变更部134按照所输入的新的第二摄影条件的信息而变更第一摄影条件。之后，使处理转移到图15A所示的步骤S207。

在步骤S270的摄影条件的变更处理例如在实时取景的图像数据的取得中进行。由此，在实时取景的图像数据的取得中开始基于各区域校正映射图变更摄影条件而取得图像数据。

此外，在此之前也进行变更摄影条件而进行的图像数据取得，但在此之前的变更摄影条件而进行的图像数据取得不相当于“基于各区域校正映射图变更摄影条件而进行的图像数据取得”。

步骤S270的摄影条件的变更处理不限于在实时取景的图像数据的取得中进行，也可以在其他的时机进行，例如，可以根据由指示图像的记录的用户对操作器160的操作，即在由用户指示图像的记录的同时进行。在该情况下，在记录图像时开始基于各区域校正映射图变更摄影条件而取得图像数据。

因此，图像的记录的指示可以是判断摄影条件的变更时的一个条件。摄影条件的变更处理例如通过如下方式进行：由用户预先设定在实时取景中想要看到的图像、想要记录的图像，并在接收到图像的记录的指示时，参照该设定。

在图像的记录的指示是静态图像摄影的指示的情况下，可将被变更的摄影条件在刚记录静态图像之后恢复成原来的摄影条件，也可以在记录静态图像之后仍然继续保持被变更的摄像条件。

或者，步骤S270的摄影条件的变更处理可在动态图像的摄影中进行。在该情况下，关于基于各区域校正映射图变更摄影条件而进行的图像数据取得，在动态图像的图像数据的取得中开始。

动态图像的摄影中的摄影条件的变更既可自动地进行，也可以手动地进行。动态图像的摄影中的摄影条件的手动变更例如通过如下过程进行：建议变更摄影条件的消息显示到显示器140，探测到由受理了该建议的用户对操作器160的操作的控制部114，使数据处理部112将指示摄影条件的变更的信息输出到摄影条件变更部134。

在图15A所示的步骤S207中，控制部114使数据处理部112判断被摄体变化是否大。该判断以与第三实施方式相同的方式进行。在步骤S207中，在判断为被摄体变化大的情况下，使处理转移到步骤S208。相反地，在步骤S207中，在判断为被摄体变化不大的情况下，使处理转移到步骤S221。

在步骤S208中，控制部114使图像分析部112b复位各区域校正映射图。各区域校正映射图的复位以与第三实施方式相同的方式进行。之后，使处理转移到步骤S221。

在步骤S221中，控制部114判断是否指示动态图像摄影的开始。例如，当由用户操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的开始。在步骤S221中，在判断为指示了动态图像摄影的开始的情况下，使处理转移到步骤S280。在步骤S221中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S231。

在步骤S280中，控制部114使数据处理部112生成动态图像的1帧的记录用图像数据。之后，使处理转移到步骤S223。

在此，参照图15D对动态图像的记录用图像数据的生成进行说明。图15D是步骤S280中的动态图像的记录用图像数据的生成处理的流程图。

在步骤S281中，控制部114使图像分析部112b取得第一摄影条件下的图像数据取得时的第一图像数据。第一图像数据通过步骤S202a’的处理而暂时地蓄积到图像取得部112a。图像分析部112b将其从图像取得部112a读出，从而取得第一图像数据。控制部114还使图像分析部112b暂时地蓄积所取得的第一图像数据。之后，使处理转移到步骤S282。

在步骤S282中，控制部114使图像分析部112b取得在第二摄影条件下的图像数据取得时的第二图像数据。第二图像数据通过步骤S202b’的处理而暂时地蓄积到图像取得部112a。图像分析部112b将其从图像取得部112a读出，从而取得第二图像数据。控制部114还使图像分析部112b暂时地蓄积所取得的第二图像数据。之后，使处理转移到步骤S283。

在步骤S283中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d将在步骤S281和步骤S282中蓄积到图像分析部112b的第一图像数据和第二图像数据读出。图像分析部112b通过将所读出的第一图像数据和第二图像数据合成而生成1帧的记录用图像数据。之后，使处理转移到步骤S284。

在步骤S284中，控制部114使记录用图像数据生成部112d校正记录用图像数据。记录用图像数据生成部112d从图像分析部112b读出各区域校正映射图。并且，记录用图像数据生成部112d根据所读出的各区域校正映射图而校正在步骤S283中生成的记录用图像数据。基于在第三实施方式中陈述的理由，该校正处理无需必须进行，可进行省略。即，通过本实施方式，可提供如下的图像处理装置110：对从摄像单元130取得的图像数据实施图像处理的数据处理部112具有图像分析部112b，该图像分析部112b根据图像取得部112a在不同的摄影条件下取得的至少2种帧的图像数据(包括有蓄积，无蓄积)，对摄像单元130的摄像范围中设定的多个区域分别分析图像。之后，使处理转移到步骤S285。

在步骤S285中，控制部114使记录用图像数据生成部112d蓄积记录用图像数据。记录用图像数据生成部112d蓄积在步骤S283中生成的记录用图像数据或在步骤S283中生成之后在步骤S284中校正的记录用图像数据。之后，使处理转移到图15B所示的步骤S223。此外，参照图15D而说明的记录用图像数据的生成继续进行，直到指示使动态图像摄影结束为止。

在图15B所示的步骤S223中，控制部114判断是否指示了动态图像摄影的结束。例如，当由用户再次操作了操作器160的动态图像按钮时，控制部114判断为指示了动态图像摄影的结束。在步骤S223中，在判断为指示了动态图像摄影的结束的情况下，使处理转移到步骤S224。相反地，在步骤S223中，在判断为未指示动态图像摄影的结束的情况下，使处理转移到步骤S225。

在步骤S224中，控制部114使记录用图像数据生成部112d生成动态图像文件，并将所生成的动态图像文件通过数据处理部112而记录到动态图像记录部154。动态图像文件的生成和记录以与第三实施方式相同的方式进行。之后，使处理转移到步骤S241。

在步骤S225中，控制部114判断是否指示了静态图像摄影。例如，当由用户操作了操作器160的释放按钮时，控制部114判断为指示了静态图像摄影。在步骤S225中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S290。在步骤S225中，在判断为未指示静态图像摄影的情况下，使处理转移到步骤S241。

如上述那样，在步骤S221中，在判断为未指示动态图像摄影的开始的情况下，使处理转移到步骤S231。在步骤S231中，控制部114判断是否指示了静态图像摄影。该判断例如通过与步骤S225相同的处理而进行。在步骤S231中，在判断为指示了静态图像摄影的情况下，使处理转移到步骤S290。在步骤S231中，在判断为未指示静态图像摄影的情况下，使处理转移到步骤S241。

在步骤S290中，控制部114使数据处理部112生成静态图像的记录用图像数据。之后，使处理转移到步骤S233。

在此，参照图15E而对静态图像的记录用图像数据的生成进行说明。图15E是步骤S290中的静态图像的记录用图像数据的生成处理的流程图。

在步骤S291中，控制部114使图像分析部112b取得第一摄影条件下的图像数据取得时的第一图像数据。第一图像数据通过步骤S202a’的处理而暂时地蓄积到图像取得部112a。图像分析部112b将其从图像取得部112a读出，从而取得第一图像数据。控制部114还使图像分析部112b暂时地蓄积所取得的第一图像数据。之后，使处理转移到步骤S292。

在步骤S292中，控制部114使图像分析部112b取得第二摄影条件下的图像数据取得时的第二图像数据。第二图像数据通过步骤S202b’的处理而暂时地蓄积到图像取得部112a。图像分析部112b将其从图像取得部112读出，从而取得第二图像数据。控制部114还使图像分析部112b暂时地蓄积所取得的第二图像数据。之后，使处理转移到步骤S293。

在步骤S293中，控制部114使记录用图像数据生成部112d生成记录用图像数据。记录用图像数据生成部112d读出在步骤S291和步骤S292中蓄积到图像分析部112b的第一图像数据和第二图像数据。图像分析部112b将所读出的第一图像数据和第二图像数据合成，从而生成1帧的记录用图像数据。之后，使处理转移到步骤S294。

在步骤S294中，控制部114使记录用图像数据生成部112d校正记录用图像数据。记录用图像数据生成部112d从图像分析部112b读出各区域校正映射图。并且，记录用图像数据生成部112d根据所读出的各区域校正映射图而校正在步骤S293中生成的记录用图像数据。基于在第三实施方式中陈述的理由，该校正处理无需必须进行，可以省略。之后，使处理转移到图15B所示的步骤S233。

在图15B所示的步骤S233中，控制部114使记录用图像数据生成部112d生成静态图像文件，并将所生成的静态图像文件记录到静态图像记录部152。静态图像文件的生成和记录以与第三实施方式相同的方式进行。之后，使处理转移步骤S241。

在步骤S241中，控制部114判断是否指示了图像处理装置110的停止。例如，当由用户再次操作了操作器160的起动停止按钮时，控制部114判断为指示了图像处理装置110的停止。在步骤S241中，在判断为未指示图像处理装置110的停止的情况下，使处理返回到步骤S201。相反地，在步骤S241中，在判断为指示了图像处理装置110的停止的情况下，控制部114使图像处理装置110停止，图像处理装置110重新返回到等待状态。

图16是表示这样进行的摄影的动作的时序图。图16表示静态图像摄影时的前后的动作。

在图16中，“摄像速率”表示摄像的时机。并且，“摄像帧”表示各次摄像时的图像数据和摄影条件。在此，“摄影条件A”表示在摄影条件A下的图像数据取得时的图像数据，“摄影条件B”表示在摄影条件B下的图像数据取得时的图像数据，“摄影条件C”表示在摄影条件C下的图像数据取得时的图像数据。

“实时取景帧”表示显示在显示器140的LV图像。“LV-AB”表示将在摄影条件A下的图像数据取得时的图像数据和在摄影条件B下的图像数据取得时的图像数据合成而生成的实时取景图像。并且，“LV-AC”表示将在摄影条件A下的图像数据取得时的图像数据和在摄影条件C下的图像数据取得时的图像数据合成而生成的实时取景图像。

“分析图像”表示作为图像分析对象的图像数据。“图像A”表示在摄影条件A下的图像数据取得时的图像数据或对这些图像数据例如进行相加处理而得的图像数据。并且，“图像B”表示在摄影条件B下的图像数据取得时的图像数据或对这些图像数据例如进行相加处理而得的图像数据。

“校正映射图”表示存储到图像分析部112b的“各区域校正映射图”。“记录帧”表示将“摄影条件A”的图像数据和“摄影条件C”的图像数据合成而生成的记录图像数据。

最初，“摄像帧”的图像数据由在交替地变更的摄影条件A和摄影条件B下的图像数据取得中交替地生成的“摄影条件A”的图像数据和“摄影条件B”的图像数据构成。并且，根据这些“摄影条件A”的图像数据和“摄影条件B”的图像数据，作为“实时取景帧”的图像数据而生成“LV-AB”的图像数据。

在此，为了便于说明，假设第一摄影条件为“摄影条件A”，假设第二摄影条件为“摄影条件B”。即，假设在第一摄影条件下的图像数据取得时的第一图像数据为“摄影条件A”的图像数据，在第二摄影条件下的图像数据取得时的第二图像数据为“摄影条件B”的图像数据。

根据“摄影条件A”的图像数据和“摄影条件B”的图像数据而生成“分析图像”即“图像A”和“图像B”，并根据这些而更新“各区域校正映射图”。并且，根据“各区域校正映射图”，第二摄影条件从“摄影条件B”变更为“摄影条件C”。即，在第二摄影条件下的图像数据取得时的第二图像数据从“摄影条件B”的图像数据变更为“摄影条件C”的图像数据。

其结果是，这之后的“摄像帧”的图像数据变化成在交替地变更的摄影条件A和摄影条件C下的图像数据取得中交替地生成的“摄影条件A”的图像数据和“摄影条件C”的图像数据。由此，“实时取景帧”的图像数据从“LV-AB”的图像数据变化成“LV-AC”的图像数据。

在此，在变更摄影条件之前交替地生成的“摄影条件A”的图像数据和“摄影条件B”的图像数据为“以规定规则反复变更的摄影条件下的图像数据取得时的图像数据”，在变更摄影条件之后交替地生成的“摄影条件A”的图像数据和“摄影条件C”的图像数据为“基于各区域校正映射图变更摄影条件而进行的图像数据取得时的图像数据”。

“摄影”表示指示静态图像摄影的时机。对指示“摄影”时的“摄像帧”的图像数据即“摄影条件A”的图像数据和“摄影条件C”的图像数据进行合成处理，从而生成“记录帧”的“记录图像”的图像数据。并且，根据需要，根据“各区域校正映射图”而校正“记录图像”的图像数据。

下面，对摄影条件A～C的几个例子进行进行说明。但是，摄影条件A～C不限于在此记载的例子。

(a)摄影条件A是适当曝光与背景匹配的曝光，摄影条件B是比适当曝光更低的曝光，摄影条件C是与被摄体匹配的曝光，例如比摄影条件B更接近适当曝光的曝光。

通过设为这样的摄影条件A～C，例如，在变更摄影条件之前的“LV-AB”的图像中难以识别被摄体，但在变更摄影条件之后的“LV-AC”的图像中能够容易地识别被摄体。并且，能够得到那样的“记录图像”。

(b)摄影条件A和摄影条件B是由白色光实现的照明，摄影条件C是由紫色光和绿色光的窄带光实现的照明。

紫色光和绿色光具有容易被血液中的血红蛋白吸收的特性。换言之，对血红蛋白来讲，紫色光和绿色光是特殊的光。不限于紫色光和绿色光，对特定的物质呈现出特征性的变化的光被广泛地称为特殊光。紫色光被表层血管中的血液吸收的倾向较大，绿色光被深层血管中的血液吸收的倾向较大。

并且，如激光这样波段非常窄的光被称为窄带光。已知利用这样的特殊光的窄带光而进行的观察为窄带成像(Narrow Band Imaging)(NBI)。在利用了紫色光和绿色光的窄带光的窄带光观察中得到将血管强调显示的图像。

通过设为这样的摄影条件A～C，例如，变更摄影条件之前的“LV-AB”的图像是通过白色光观察而得到的一般的图像，在变更摄影条件之后的“LV-AC”的图像是在一般的图像上重叠将血管强调显示的图像而得的图像。并且，得到那样的“记录图像”。

(c)摄影条件A是由白色光实现的照明，摄影条件B是由紫色光和绿色光的窄带光实现的照明，摄影条件C是由波段不同的2种红外光实现的照明。

已知利用了由2种红外光实现的照明的观察为红外成像(Infra Red Imaging)(IRI)。在该红外光观察中得到将粘膜深部的血管、血流信息强调显示的图像。

通过设为这样的摄影条件A～C，例如，变更摄影条件之前的“LV-AB”的图像成为在一般的图像上重叠将血管强调显示的图像而得的图像，变更摄影条件之后的“LV-AC”的图像成为在一般的图像上重叠将粘膜深部的血管、血流信息强调显示的图像而得的图像。并且，得到那样的“记录图像”。

如上述在(a)～(c)中陈述的摄影条件A～C仅为一例，摄影条件A～C不限于这些。

并且，在此，对第二摄影条件从“摄影条件B”变更为“摄影条件C”的例子进行了说明，但也可以是第一摄影条件从“摄影条件A”变更为“摄影条件D”。进而，第一摄影条件和第二摄影条件的变更不限于1次，也可以随着各区域校正映射图的更新而随时进行。

如以上说明的那样，根据本实施方式的图像处理装置，通过将基于各区域校正映射图变更摄影条件而进行的图像数据取得时的图像数据合成，进而根据各区域校正映射图而校正所合成的图像数据，从而得到与被摄体对应的最佳图像。

在实时取景的图像数据的取得中进行基于各区域校正映射图的摄影条件变更的情况下，得到与被摄体对应的最佳的实时取景图像。

本实施方式的控制部114所进行的各个处理也与第三实施方式同样地，作为可使计算机执行的程序而存储。

在以上的实施方式中，用摄影之前的信息来分析图像，并将分析结果反映到摄影中，但也可以利用摄影时的数据。根据需要，也可以利用摄影之后的图像数据。暂时存储所拍摄的结果，并在进行本记录时，利用从图像得到的信息即可。

在实施例中，作为“部”(部分、单元)所记载的部分可以将专用的电路、多个通用的电路组合而构成，也可以根据需要，将按照预先程序化的软件而进行动作的微型计算机、CPU等处理器或FPGA等定序器组合而构成。并且，也可以是由外部的装置来执行其控制的一部或全部的设计，在该情况下，介入有有线、无线的通信电路。通信通过蓝牙、WiFi、电话线等来进行即可，也可以通过USB等来进行。也可以将专用的电路、通用的电路、控制部作为一体而构成ASIC。特定的机械性功能部(可在用户移动而摄影时替换成机器人等)由各种致动器构成，也可以根据需要而由移动用的连结机制构成，也可以通过驱动器电路而使致动器进行动作。由微型计算机、ASIC等来按照特定的程序而控制该驱动器电路。关于这样的控制，可根据由各种传感器、其周边电路所输出的信息而进行详细的校正、调整等。

以上，参照附图对本发明的实施方式进行了说明，但本发明不限于这些实施方式，可在不脱离其主旨的范围内实施各种变形、变更。在此所述的各种变形、变更还包括将上述的实施方式适当组合的实施。

Claims (26)

1.一种图像处理装置，其包括数据处理部，该数据处理部对从摄像单元取得的图像数据实施图像处理，其中，

所述数据处理部包括：

图像取得部，其从所述摄像单元依次取得图像数据；

图像分析部，其根据所述图像取得部取得的至少2帧的图像数据而更新各区域校正映射图，该各区域校正映射图针对所述摄像单元的摄像范围中设定的多个区域分别具有校正信息；以及

记录用图像数据生成部，其生成记录用图像数据，该记录用图像数据是根据所述各区域校正映射图对所述图像取得部取得的1帧的图像数据进行校正而得到的。

2.根据权利要求1所述的图像处理装置，其中，

所述图像分析部具有对所述至少2帧的图像数据进行相加处理的相加部，所述图像分析部根据包括在所述至少2帧的图像数据中的1帧的图像数据和通过相加处理而得到的至少1帧的图像数据，更新所述各区域校正映射图。

3.根据权利要求1所述的图像处理装置，其中，

所述数据处理部使显示器依次显示与依次取得的图像数据对应的图像。

4.根据权利要求1所述的图像处理装置，其中，

所述记录用图像数据生成部生成包括所述记录用图像数据的图像文件，所述数据处理部使记录单元记录所述图像文件。

5.根据权利要求4所述的图像处理装置，其中，

所述图像处理装置还包括提供日期时间信息的时钟和控制所述数据处理部的控制部，所述控制部从所述时钟取得所述日期时间信息，使所述记录用图像数据生成部将所取得的所述日期时间信息包括在所述图像文件中。

6.根据权利要求5所述的图像处理装置，其中，

所述控制部使包括所述多个区域的位置信息和对所述多个区域分别适用的校正信息在内的所述各区域校正映射图的信息，包括在所述图像文件中。

7.根据权利要求1所述的图像处理装置，其中，

所述数据处理部使所述摄像单元反复变更摄影条件而进行摄影，并依次输出各个摄影条件下的摄影时的图像数据。

8.根据权利要求7所述的图像处理装置，其中，

所述图像取得部依次取得反复变更的摄影条件下的摄影时的图像数据，

所述图像取得部具有HDR图像数据生成部，该HDR图像数据生成部根据一次摄影条件下的摄影时的图像数据而生成HDR图像数据。

9.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置还包括：显示器，其依次显示通过所述图像取得部而依次取得的图像；及所述操作器，其能够供用户至少指示图像的记录。

10.根据权利要求9所述的图像处理装置，其中，

所述图像处理装置还包括记录单元，该记录单元记录所述记录用图像数据。

11.根据权利要求10所述的图像处理装置，其中，

所述图像处理装置还包括所述摄像单元，该摄像单元依次输出图像数据。

12.一种图像处理方法，对从摄像单元取得的图像数据实施图像处理，其中，

所述图像处理方法包括如下步骤：

从所述摄像单元依次取得图像数据；

根据所取得的至少2帧的图像数据而更新各区域校正映射图，该各区域校正映射图针对所述摄像单元的摄像范围中设定的多个区域分别具有校正信息；以及

生成记录用图像数据，该记录用图像数据是根据所述各区域校正映射图对所取得的1帧的图像数据进行校正而得到的。

13.一种图像处理装置，其包括数据处理部，该数据处理部对从摄像单元取得的图像数据实施图像处理，其中，

所述数据处理部具备：

图像取得部，其从所述摄像单元依次取得图像数据；以及

图像分析部，其根据所述图像取得部取得的至少2帧的图像数据，对所述摄像单元的摄像范围中设定的多个区域分别分析图像。

14.根据权利要求13所述的图像处理装置，其中，

所述数据处理部根据指示图像的记录的用户对操作器的操作，使所述摄像单元开始基于各区域校正映射图变更摄影条件而取得图像数据。

15.根据权利要求13所述的图像处理装置，其中，

所述数据处理部还具有记录用图像数据生成部，该记录用图像数据生成部根据所述图像取得部取得的图像数据而生成至少1帧的记录用图像数据，并根据各区域校正映射图而校正所述记录用图像数据。

16.根据权利要求15所述的图像处理装置，其中，

所述记录用图像数据生成部生成包括所述记录用图像数据的图像文件，所述数据处理部使记录单元记录所述图像文件。

17.根据权利要求16所述的图像处理装置，其中，

所述图像处理装置还包括控制所述数据处理部的控制部，所述控制部使所述各区域校正映射图的信息包括在所述图像文件中。

18.根据权利要求13所述的图像处理装置，其中，

所述图像分析部具有对所述至少2帧的图像数据进行相加处理的相加部，并根据包括在所述至少2帧的图像数据中的1帧的图像数据和通过相加处理而得到的至少1帧的图像数据，来分析图像。

19.根据权利要求13所述的图像处理装置，其中，

所述数据处理部为了取得实时取景的图像数据，使所述摄像单元反复变更摄影条件而取得图像数据，并依次输出各个摄影条件下的图像数据取得时的图像数据。

20.根据权利要求19所述的图像处理装置，其中，

所述图像取得部依次取得反复变更的摄影条件下的图像数据取得时的图像数据，

所述图像取得部具有HDR图像数据生成部，该HDR图像数据生成部根据一次摄影条件下的图像数据取得时的图像数据而生成HDR图像数据。

21.根据权利要求19所述的图像处理装置，其中，

所述数据处理部在实时取景的图像数据的取得中，使所述摄像单元开始基于各区域校正映射图变更摄影条件而取得图像数据。

22.根据权利要求13所述的图像处理装置，其中，

所述摄像单元可切换多个种类的照明光而进行射出，

所述数据处理部使所述摄像单元切换照明光的种类而射出照明光，从而基于各区域校正映射图变更摄影条件而取得图像数据。

23.根据权利要求13所述的图像处理装置，其中，

所述图像处理装置还包括：显示器，其依次显示通过所述图像取得部而依次取得的图像；操作器，其能够供用户至少指示图像的记录。

24.根据权利要求23所述的图像处理装置，其中，

所述图像处理装置还包括记录单元，该记录单元记录所述图像数据。

25.根据权利要求24所述的图像处理装置，其中，

所述图像处理装置还包括所述摄像单元，该摄像单元依次输出所述图像数据。

26.一种图像处理方法，对从摄像单元取得的图像数据实施图像处理，

所述图像处理方法包括如下步骤：

从所述摄像单元依次取得图像数据；以及

根据所取得的至少2帧的图像数据，对所述摄像单元的摄像范围中设定的多个区域分别分析图像。