CN103179341A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和程序。一种图像处理装置包括：合成处理单元，通过把基于通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像包括在用于合成处理的图像中来生成用于显示的合成图像，并根据用于显示的合成图像中的贯通图像的合成布置状态把记录时间点的捕捉图像合成到用于合成处理的图像中；和显示控制单元，对用于显示的合成图像执行显示控制。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及一种能够实现合成图像的生成的图像处理装置、该图像处理装置的图像处理方法和用于生成合成图像的程序。

背景技术

作为用于提高数字照相机的附加值的功能，存在通过合成拍摄及记录的多个静止图像生成合成图像的功能。

作为现有技术中与合成图像相关的技术，如日本未审专利申请公开No.2011-96134中所公开，提出了一种显示整体图像和个体被摄体的脸部图像以便同时被看见的技术。

另外，日本未审专利申请公开No.2005-217978提出了一种能够在预测合成之后的图像的同时进行拍摄的照片打印装置。

发明内容

然而，日本未审专利申请公开No.2011-96134中公开的技术不是这样的技术：合成由用户在不同的视角成像的图像。

另外，日本未审专利申请公开No.2005-217978不具有这样的技术：用户在成像期间实时地合成多个图像。

换句话说，未公开这样的技术：当用户使用成像装置在各种视角任意地执行成像时，在成像期间实时地合成多个图像。

因此，希望能够使用户例如在以各种视角执行成像的同时实时地创建合成图像，以方便生成非常满意的合成图像。具体地讲，在这种情况下，希望通过能够在检查合成的状态的同时进行成像来容易地获得喜欢的合成图像。

根据本发明的实施例，提供了一种图像处理装置，包括：合成处理单元，通过把基于通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像包括在用于合成处理的图像中来生成用于显示的合成图像，并根据用于显示的合成图像中的贯通图像的合成布置状态把记录时间点的捕捉图像合成到用于合成处理的图像中；和显示控制单元，对用于显示的合成图像执行显示控制。

根据本发明的另一实施例，提供了一种图像处理方法，包括：通过经把基于通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像包括在用于合成处理的图像中生成用于显示的合成图像，显示用于显示的合成图像；以及根据用于显示的合成图像中的贯通图像的合成布置状态把记录时间点的捕捉图像合成到用于合成处理的图像中。

根据本发明的另一实施例，提供了一种使运算处理装置执行该图像处理方法的程序。

如上的根据本发明的技术在监视显示器上呈现通过把贯通图像包括在用于合成处理的图像中获得的用于显示的合成图像以便在成像期间呈现给用户(拍摄者)。

用于合成处理的图像是在合成处理过程中的图像，并且例如是通过把一个图像与背景图像进行合成或把该图像合成到背景图像的一部分上获得的图像。另外，用于显示的合成图像是通过把当前贯通图像合成到用于合成处理的图像上而呈现给用户的用于显示的图像。

通过把贯通图像合成到用于合成处理的图像的一部分上以便显示为用于显示的合成图像，用户能够在他们观看显示器时在释放操作之前确定通过释放操作(用于捕捉静止图像的快门操作)将会获得何种合成图像。

当通过释放操作等指示记录时间时，通过根据用于显示的合成图像中的贯通图像的合成布置状态把捕捉图像信号合成到用于合成处理的图像中，生成用户所希望的合成图像(在合成处理过程中的图像)。

根据本发明，存在这样的效果：用户能够确定通过实时地合成当前贯通图像与例如在不同角度捕捉的图像获得的图像，并由此能够容易地获得用户的喜欢的合成图像。

附图说明

图1是根据本发明实施例的成像装置的方框图；

图2A至2C是根据本发明实施例的相册模式的指令操作屏幕的说明性示图；

图3A至3C是根据本发明实施例的相册模式操作的说明性示图；

图4A至4C是根据本发明实施例的另一相册模式操作的说明性示图；

图5A至5C是根据本发明实施例的另一相册模式操作的说明性示图；

图6A至6C是根据本发明实施例的另一相册模式操作的说明性示图；

图7A至7C是根据本发明实施例的在相册编辑模式中的图像内容的变化的说明性示图；

图8是根据本发明实施例的成像装置的控制单元的处理的流程图；

图9是根据本发明实施例的在相册模式中的处理的流程图；

图10是根据本发明实施例的在相册模式中的处理的流程图；

图11A至11C是根据本发明实施例的包括脸部的图像的布置的说明性示图；

图12是根据本发明实施例的基于中断处理的释放处理的流程图；

图13是根据本发明实施例的成像装置的另一结构例子的方框图；

图14是根据本发明实施例的成像装置的另一结构例子的方框图；

图15A和15B是根据本发明实施例的显示图像的修改例子的说明性示图；

图16A和16B是根据本发明实施例的合成图像的另一例子的说明性示图；和

图17是应用于信息处理装置的实施例的方框图。

具体实施方式

以下，将按照下面的次序描述实施例。需要注意的是，在实施例中，将描述包括本发明的图像处理装置的成像装置的例子，但稍后也将会描述本发明的图像处理装置被实现为信息处理装置的例子。

<1.成像装置的结构>

<2.相册模式操作的概述>

<3.相册模式处理>

<4.相册编辑模式处理>>

<5.成像装置的修改例子>

<6.信息处理装置中的应用例子和程序>

需要注意的是，在实施例中使用的术语的含义如下。

“成像”表示通过使用图像传感器对被摄体光执行光电转换并随后执行预定信号处理来获得捕捉图像信号(捕捉图像数据)。

将通过这种“成像”作为帧图像获得的一个捕捉图像的数据作为静止图像记录在记录介质上被定义为“静止图像数据的记录”。另外，也存在这样的情况：记录或传送作为合成图像数据的静止图像被定义为“合成图像数据的记录”或“合成图像数据的传送”。

“贯通图像”通常是在执行所谓的快门操作(释放操作)之前在待机时间期间为用户显示的被摄体监测图像。换句话说，它是从通过“成像”获得的每个帧(这些帧可以是间断的帧)生成的被摄体场景的运动图像显示图像。

1.成像装置的结构

根据实施例的成像装置1的结构例子显示在图1中。成像装置1是所谓的数字静止照相机，并包括权利要求中所提及的成像处理装置。另外，在根据本发明的一个实施例中，图像处理装置可以由成像装置1的控制单元2使用软件来实现，所以控制单元2通过基于权利要求中所提及的程序执行处理来执行作为权利要求中所提及的成像处理方法的操作。另外，在根据本发明的另一个实施例中，图像处理装置也可以通过硬件部件来实现。

成像装置1包括控制单元2、存储器单元3、操作单元4、记录单元5、显示单元6和成像单元10，如图1中所示。

显示单元6是为用户(拍摄者)执行各种显示的显示单元，并形成为具有形成在例如成像装置1的壳体上的显示装置(诸如，LCD(液晶显示器)或有机EL(场致发光)显示器)。需要注意的是，可使用LCD、有机EL显示器等形成取景器。

显示单元6包括如上所述的这种显示装置和使显示装置执行显示的显示器驱动器。显示器驱动器基于控制整个成像装置1的控制单元2的指令使显示装置执行各种显示。显示器驱动器使例如捕捉并记录在记录介质上的静止图像或运动图像被显示以便再现，或者使来自在释放待机期间成像的每个帧的捕捉图像数据的作为运动图像的贯通图像(被摄体监测图像)被显示在显示装置的屏幕上。另外，显示器驱动器使各种操作菜单、图标、消息等被显示在屏幕上作为GUI(图形用户界面)。

操作单元4用作输入用户的操作的输入单元，并根据输入操作将信号传送给控制单元2。

操作单元4被实现为布置在成像装置1的壳体上的各种操作工具、形成在显示单元6上的触摸面板等。

作为壳体上的操作工具，提供再现菜单激活按钮、决定按钮、十字键、取消按钮、变焦键、滑动键、快门按钮(释放按钮)等。

另外，各种操作也可被设置为可通过触摸面板或通过使用显示单元6上显示的图标、菜单等操作触摸面板来实现。

成像单元10对从被摄体入射的光执行光电转换，然后获得捕捉图像信号(捕捉图像数据)。为此，成像单元10包括透镜部分11、成像元件12、模拟信号处理部分13、A/D转换部分14、聚焦驱动部分15、光圈驱动部分16和变焦驱动部分17。

透镜部分11包括透镜(诸如，盖透镜、变焦透镜和聚焦透镜)和光阑机构。来自被摄体的光被透镜部分11收集到成像元件12。

成像元件12被设计为例如CCD(电荷耦合装置)、CMOS(互补金属氧化物半导体)等类型的成像元件。

模拟信号处理部分13对由成像元件12获得的电信号执行模拟信号处理(诸如，ISO增益调整等)，然后输出信号作为捕捉图像信号。

捕捉图像信号被A/D转换部分14转换成作为数字数据(捕捉图像数据)的捕捉图像信号，然后被提供给控制单元2。

聚焦驱动部分15基于控制单元2的控制驱动透镜部分11中的聚焦透镜以执行聚焦操作。

光圈驱动部分16基于控制单元2的控制驱动透镜部分11中的光阑机构以执行曝光调整。

变焦驱动部分17基于控制单元2的控制驱动透镜部分11中的变焦透镜以执行变焦操作。

存储器单元3总地表示ROM(只读存储器)、RAM(随机存取存储器)、闪存等。

存储器单元3的RAM(随机存取存储器)在控制单元2的各种数据处理期间作为工作区域临时存储数据、程序等。例如，在按压快门按钮时处理的图像数据首先被存储在存储器单元3的RAM中，然后被写到记录单元5上。

除了控制单元2控制每个单元的OS(操作系统)之外，存储器单元3的ROM和闪存(非易失性存储器)还存储用于各种操作的应用程序和内容文件(诸如，图像文件)等。用于执行在本例子中稍后描述的相册模式和相册编辑模式的程序被存储在存储器单元3的ROM和闪存中。

记录单元5包括例如非易失性存储器，并用作存储静止图像数据、运动图像数据等的图像文件(内容文件)、图像文件的属性信息、缩略图图像等的存储区域。关于合成图像，合成管理信息也以Exif数据等的形式被记录在记录单元5上。

以例如JPEG(联合图像专家组)、TIFF(标记图像文件格式)、GIF(图形交换格式)等形式存储这种图像文件。

能够以各种方式考虑记录单元5的实际形式。记录单元5可以是例如内置在成像装置1中的闪存，或者可以是能够连接到成像装置1或从成像装置1拆下的存储卡(例如，便携式闪存)和执行存储卡的记录再现访问的卡记录再现单元。另外，作为内置在成像装置1中的形式，记录单元可被实现为HDD(硬盘驱动器)等。

用于执行在本例子中稍后描述的相册模式和相册编辑模式的程序可被存储在记录单元5中。

控制单元2被形成为操作处理装置，诸如CPU。控制单元2通过使存储在例如存储器单元3中的程序被执行而全面地控制整个成像装置1。

例如，控制单元2控制用于从成像单元10提供的捕捉图像数据的编码处理的每个必需单元的操作、根据用户的操作的成像和记录操作、记录的图像文件的再现操作、照相机操作(诸如，变焦、聚焦、曝光调整)等。

另外，在本实施例的情况下，控制单元2执行稍后描述的相册模式和相册编辑模式的图像处理和控制处理。

为此，控制单元2包括如附图中所示的成像控制部分2a、图像信号处理部分2b、显示控制部分2c、合成处理部分2d、输出处理部分2e和布置确定部分2f，在本发明的一个实施例中，这些部分作为软件功能块实现。在根据本发明的另一个实施例中，这些部分作为硬件部件实现。

成像控制部分2a工作，以便控制单元2控制成像装置1的成像操作所需的操作。

例如，成像控制部分2a通过控制聚焦驱动部分15而执行自动聚焦操作。另外，成像控制部分2a根据图像信号处理部分2b中的光的量的检测驱动光圈驱动部分16以执行曝光调整。作为曝光调整，它被设计为设置成像元件12的快门速度、模拟信号处理部分13的增益等。另外，成像控制部分2a通过控制变焦驱动部分17而执行变焦操作。以这种方式，成像控制部分2a根据用户的操作或自动调整执行成像的操作控制。

通过对从成像单元10提供的捕捉图像数据执行压缩处理或编码成一定的记录格式(例如，JPEG编码等)，图像信号处理部分2b执行生成静止图像和运动图像的图像文件的处理。另外，图像信号处理部分2b还执行基于捕捉图像数据生成显示单元6上显示的贯通图像的显示数据的处理。

显示控制部分2c控制显示单元6上的显示操作。例如，显示控制部分使贯通图像的显示操作被执行，或者使从记录单元5再现的图像被显示。另外，显示控制部分控制用于用户界面的菜单、图标、消息等的显示的执行。

在本例子中，显示控制部分2c在相册模式中控制在合成处理部分2d中生成的用于显示的合成图像的显示。另外，在相册编辑模式中，显示控制部分使显示单元6显示用于显示或编辑合成图像的用户界面图像、编辑的合成图像等。

合成处理部分2d执行用于生成合成图像的处理。

在相册模式中，通过使从通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像处于生成的或选择的用于合成处理的图像中(例如，通过将贯通图像插入在用于合成处理的图像中)，合成处理部分生成用于显示的合成图像。

另外，合成处理部分2d根据将贯通图像合成到用于显示的合成图像中的布置状态执行将根据记录时刻的捕捉图像信号合成到用于合成处理的图像中的处理。对于成像装置1提及的根据记录时刻的捕捉图像信号是例如在由用户执行释放操作的时刻拍摄的捕捉图像信号。需要注意的是，在记录时刻的捕捉图像信号不必局限于根据释放拍摄的捕捉图像信号。该信号仅仅是在某一时刻应该经受合成处理的捕捉图像信号。

稍后将描述具体处理例子。

“用于合成处理的图像”是在合成处理过程中的图像，并且例如是通过将另一图像合成到某一背景图像或背景图像的一部分中获得的图像。

另外，“用于显示的合成图像”是在将当前贯通图像合成到用于合成处理的图像上之后用于显示以便呈现给用户的图像。

输出处理部分2e控制记录和传送静止图像的操作。在图1的结构中，输出处理部分2e控制将作为一帧的捕捉图像数据获得的静止图像数据和在相册模式中生成的合成图像记录在记录单元5上作为图像文件(静止图像数据和合成图像数据的记录)。

例如，输出处理部分将在合成处理部分2d中在一个时间点生成的用于合成处理的图像输出给记录单元5作为生成的合成图像数据，并使该数据被记录为图像文件。另外，输出处理部分还执行控制，以便包括与合成图像数据的背景图像相关的信息的合成管理信息被与合成图像数据关联地记录在记录单元5上。

布置确定部分2f确定用于合成处理的图像内的贯通图像的布置状态(布置位置和尺寸)。换句话说，通过在用于合成处理的图像上布置贯通图像获得的图像用作用于显示的合成图像，但在用于合成处理的图像上确定贯通图像的位置和尺寸。

根据其图像用作贯通图像的捕捉图像信号的内容或者基于模板确定布置状态。当根据捕捉图像的内容(贯通图像的内容)确定布置状态时，例如，当存在脸部图像时，根据脸部的朝向确定布置位置。在稍后描述的具体处理例子中，根据脸部的朝向设置布置，但除此之外，还考虑：当宠物(诸如，狗或猫)的图像被包括在用作贯通图像的捕捉图像中时，例如，图像的布置位置位于用于合成处理的图像的下部，或者在山或云的图像的情况下，该图像布置在用于合成处理的图像的上部。

另外，关于尺寸，假设脸部的图像例如被设置为具有相对较大的尺寸的例子。

另外，还根据深度信息执行背景图像的确定和背景图像上的图像的调换。例如，它是布置设置处理，诸如将远景的捕捉图像设置为背景。例如，它是这样的处理：确定背景图像的深度是否比贯通图像的深度深，并且当贯通图像的深度较深时，贯通图像被确定为背景图像。

另外，布置确定部分2f还根据已经布置在用于合成处理的图像中的布置图像确定用于合成处理的图像内的贯通图像和布置图像的布置状态。如果例如某个图像已经布置在用于合成处理的图像的左上侧，则贯通图像布置在用于合成处理的图像的右上侧。另外，根据稍后描述的模板顺序地调节布置位置也是根据布置图像确定贯通图像的布置状态的处理的例子。

根据由布置确定部分2f以这种方式确定的布置状态，合成处理部分2d在用于合成处理的图像上执行贯通图像的合成布置，并由此生成用于显示的合成图像。

利用这种结构，权利要求中所提及的图像处理装置至少由显示控制部分2c和合成处理部分2d构成，该图像处理装置形成在作为控制单元2的操作处理装置中。另外，还可通过增加布置确定部分2f和输出处理部分2e构成权利要求中所提及的图像处理装置。

作为与稍后描述的相册模式相关的处理，下面的控制处理由图像处理装置执行。

相册模式开启的指令检测

基于来自操作单元4的用户操作信息检测相册模式开启的指令。

图像尺寸的改变

评估值(基于微笑检测+环境声音+运动检测+1:1.6的黄金比例评估)被施加于在相册模式中捕捉的图像，并且按照评估值的次序重新调整原始图像、缩略图图像等的尺寸。

相似图像的自动选择

当从在相册模式中由成像单元10获得的捕捉图像数据生成的贯通图像和在相册模式中捕捉的图像之间的相似性高时，执行这样的处理，即选择它们中的一个图像并且舍弃另一个图像。

在合成期间的背景图像的选择

捕捉图像的焦距和景深由聚焦驱动部分15和光圈驱动部分16检测，并被设置为图像的深度。当焦距和景深是相同的参数时，基于变焦驱动部分17的变焦数据确定该深度。变焦数据被保留在Exif厂商标记中。然后，执行控制，以选择例如在相册模式中的贯通图像和在相册模式中捕捉的图像之中具有最深的深度的图像作为在合成期间的背景图像。

在合成期间的图像位置的选择

执行控制，以便在图像处理中检测到捕捉图像中的人的脸部的朝向，并且脸部的朝向布置为面对合成图像的中心，该合成图像是在相册模式中的贯通图像和在相册模式中捕捉的图像之中的检测到脸部的朝向的图像的合成图像。

图像的合成

通过合成在相册模式中的贯通图像和在相册模式中捕捉的图像生成用于显示的合成图像，并且用于显示的合成图像被显示在显示单元6上。

另外，根据释放时刻的捕捉图像在相册模式中被合成到用于合成处理的图像上，并且用于合成处理的图像的更新继续进行。

贯通图像的合成位置的显示

使用诸如突出显示等的技术执行强调显示，以便当通过合成贯通图像获得的合成的图像被显示为用于显示的合成图像时，能够容易地发现在合成之后的贯通图像的合成的区域。

合成图像的改变指令的检测和合成图像编辑

在相册编辑模式下，检测来自操作单元4的关于位置、尺寸、背景图像、合成图像中的每个图像的将要被舍弃的相似图像的改变指令，并根据该改变指令改变合成图像。

合成管理信息的生成和记录

作为合成图像的合成管理信息（该合成管理信息是球，在该球中，例如能够自由地描述用户评论、Exif的厂商标记。关于更多细节，请参照由照相机和影像产品协会(CIPA)和日本电子信息技术产业协会(JEITA)规定的“Image File Format Standard for digital stillcameras Exif version 2.3(CIPA DC-008-2010)”），生成包括“使用的捕捉图像”、“背景图像”、“背景图像的深度”、“每个使用的捕捉图像中的人的数量和脸部的朝向”、“使用的模板”等的信息，然后，该信息被与合成图像关联地记录在记录单元5上。

以前的合成图像的追加的合成

参照上述合成管理信息，使用以前合成并记录在记录单元5上的合成图像在相册模式中执行追加的合成。换句话说，使用以前的合成图像作为用于合成处理的图像，执行用于显示的合成图像的生成以及释放时的捕捉图像的合成，该用于显示的合成图像与贯通图像合成。

2.相册模式操作的概述

在本实施例的成像装置1中，准备用于生成合成图像的相册模式(合成成像模式)。

在相册模式中，通过在用户实时地检查合成状态的同时执行成像能够生成合成图像。

在详细描述相册模式中的处理之前，首先，使用图2A至7C描述相册模式操作。

图2A显示拍摄者使用成像装置1执行成像的状态。存在用作用户(拍摄者)周围的被摄体的“人”、“山”、“森林”和“池塘”。

像通常的数字静止照相机一样，成像装置1具有成像模式和再现模式，并且用户能够在成像模式下执行成像并且在再现模式下执行成像并记录的图像的再现显示。

图2B显示在成像模式下在显示单元6上显示贯通图像的状态。在成像装置1的用户搜索被摄体(视角)的状态(在释放操作之前)下，贯通图像42被显示在显示单元6上。

在本例子中，特别地通过将模式从一般成像模式切换到相册模式，可执行相册模式成像。如图2C中所示，例如，相册模式开启按钮49被显示在显示单元6上作为触摸面板操作按钮。当用户操作相册模式开启按钮49时，成像装置1开始在相册模式中工作。当然，可利用成像装置1的壳体上的操作键或者利用具有菜单的形式的触摸操作执行指示相册模式的操作。这同样适用于结束相册模式的操作。

当模式切换到相册模式时，贯通图像42的部分区域被设置为用于显示的合成图像帧W，并且用于显示的合成图像50被显示在显示单元6上，如图3B中所示。如前所述，用于显示的合成图像50是通过将当前贯通图像合成到在合成处理过程中的“用于合成处理的图像”上以便呈现给用户的用于显示的图像。

首先，当如图3A中所示用户使用成像装置1拍摄作为被摄体的“山”的照片时，“山”被显示为贯通图像42。

虽然稍后在处理例子中描述，但在相册模式的起初，不存在用于合成处理的图像，或者在过去成像并记录的合成图像或静止图像被选择并用作用于合成处理的图像。

图3A至3C显示这样的例子：起初不存在用于合成处理的图像以便生成新的合成图像。在这种情况下，假设背景图像首先被决定为用于合成处理的图像。

在相册模式中，控制单元2中存储用于合成处理的图像(在合成处理过程中的图像数据)，并且基于用于合成处理的图像而生成用于显示的合成图像50并显示在显示单元6上。

基本上，用于合成处理的图像是通过起初将贯通图像的图像数据设置为背景图像而包括背景图像的图像。

生成与用于合成处理的图像对应的用于显示的合成图像50，并且示出用于显示的合成图像帧W，如图3B中所示。因此，在这个时间点，用于显示的合成图像50仅是具有背景50BK的贯通图像的图像。

作为另一触摸面板操作按钮，用于结束相册模式的相册模式关闭按钮41也被显示在显示单元6上。当用户希望结束相册模式时，他们可操作相册模式关闭按钮41。

假设：例如，用户通过选择“山”作为被摄体来执行释放操作。

然后，根据释放操作执行记录一帧图像的静止图像数据的处理，并且图3C的图像文件Pic001被记录在记录单元5上。同时，记录作为缩略图图像和屏幕缩小（screen nail）图像的低分辨率图像。缩略图图像是低分辨率图像。屏幕缩小图像是具有比缩略图的分辨率高的中等水平的分辨率的图像。

关于合成处理，在图像文件Pic001被记录时，该图像被设置为用于合成处理的图像的背景图像。另外，还生成并记录作为与此次创建的合成图像(该合成图像是在这个时间点的用于合成处理的图像)相关的合成管理信息的背景图像的信息。背景图像的信息可以是背景图像数据或指示图像文件Pic001被设置为背景图像的信息。另外，还包括背景图像的深度的信息。

接下来，用户使成像装置1对准“人”，如图4A中所示。显示单元6上显示的贯通图像42是“人”的图像，如图4B中所示。在这种情况下，在用于显示的合成图像帧W中显示的用于显示的合成图像50是贯通图像50TR与背景图像50BK合成的图像。由于因为贯通图像42顺序显示在每个时间点捕捉的帧图像的事实而导致贯通图像42是运动图像，所以通过被合成到用于显示的合成图像50上而显示的贯通图像50TR也是运动图像。

另外，在用于显示的合成图像50中，贯通图像50TR的当前区域被突出显示，以便用户能够清楚地识别(在附图中，斜线指示突出显示)。

突出显示被视为强调显示的例子，但除此之外，考虑各种强调显示的技术，包括例如通过粗线或加强颜色表示贯通图像50TR的区域的帧部分、改变贯通图像50TR的色调、以闪烁的方式显示、降低除贯通图像50TR之外的部分的亮度等。

利用图4B的用于显示的合成图像50，用户能够确定通过释放操作将会生成何种合成图像。

这里，假设用户在图4B的状态下执行释放操作。

然后，根据释放操作执行记录一帧图像的静止图像数据的处理，并且图4C的图像文件Pic002被记录在记录单元5上。同时，低分辨率图像被记录为缩略图图像和屏幕缩小图像。

关于合成处理，随着图像文件Pic002的记录，通过拍摄“人”获得的图像(即，在释放时间点的捕捉图像数据的一帧)被合成到用于合成处理的图像中。

此时，根据在释放时间点的用于显示的合成图像50中的贯通图像50TR的合成布置的状态(就背景图像50BK上的贯通图像50TR的位置和尺寸而言的合成布置的状态)，捕捉图像数据被合成到用于合成处理的图像中。换句话说，用于合成处理的图像被更新为类似图4B的用于显示的合成图像50一样的图像。

接下来，用户使成像装置1对准“森林”，如图5A中所示。显示单元6上显示的贯通图像42是森林的图像，如图5B中所示。

此时，用于合成处理的图像是通过把“山”的图像的背景与在图4B的前一释放操作时间点的“人”的图像合成而获得的图像。因此，在图5B的情况下，在用于显示的合成图像帧W中显示的用于显示的合成图像50包括背景图像50BK和以前成像并捕捉的已合成的图像50A，以及当前成像的贯通图像50TR的显示。贯通图像50TR被突出显示。

利用图5B的用于显示的合成图像50，用户能够确定通过释放操作将会生成何种合成图像。

假设用户在图5B的状态下执行另一释放操作。

然后，根据释放操作执行记录一帧图像的静止图像数据的处理，并且图5C的图像文件Pic003被记录在记录单元5上。同时，低分辨率图像被记录为缩略图图像和屏幕缩小图像。

关于合成处理，随着图像文件Pic003的记录，通过拍摄“森林”获得的图像(也就是说，在释放时间点的捕捉图像数据的一帧)被合成到用于合成处理的图像中。

接下来，用户使成像装置1对准“池塘”，如图6A中所示。显示单元6上显示的贯通图像42是“池塘”的图像，如图6B中所示。

此时，用于合成处理的图像是这样的图像：在该图像中，在图4B的前一释放操作时的“人”的图像和在图5B的释放操作时的“森林”的图像被合成到“山”的图像的背景上。因此，在图6B的情况下，在用于显示的合成图像帧W中显示的用于显示的合成图像50包括背景图像50BK和在以前时间点成像并合成的已合成的图像50A和50B，以及当前成像的贯通图像50TR的显示。贯通图像50TR被突出显示。

假设用户在图6B的状态下执行另一释放操作。

然后，根据释放操作执行记录一帧图像的静止图像数据的处理，并且图6C的图像文件Pic004被记录在记录单元5上。同时，低分辨率图像被记录为缩略图图像和屏幕缩小图像。

关于合成处理，随着图像文件Pic004的记录，通过拍摄“池塘”获得的图像(也就是说，在释放时间点的捕捉图像数据的一帧)被合成到用于合成处理的图像中。

此时，例如，存储在控制单元2中的用于合成处理的图像(也就是说，上述背景图像和其它图像被合成到背景图像的一些部分上并经受合成处理的图像的内容)被形成为图7A中显示的用于合成处理的图像60。

在这种情况下，首先成像并记录的图像文件Pic001的图像用作背景图像60BK。另外，其后成像并记录的图像文件Pic002、Pic003和Pic004分别被合成到背景图像60BK上作为图像60A、60B和60C。

控制单元2输出用于合成处理的图像60作为在某一时间点的一条合成图像数据。例如，控制单元执行记录已合成图像数据的处理，并使该数据被记录在记录单元5上作为合成图像文件Pic-M。

如上所述，用户在使用用于显示的合成图像50检查与直至那时捕捉的图像合成的贯通图像的同时继续成像，并且作为结果，能够获得如图7A中所示的合成图像(Pic-M)。

在用于显示的合成图像50中，用于贯通图像50TR的合成的布置位置和范围由控制单元2基于模板等自动设置。

另外，在用于合成处理的图像60中，用于在释放操作的捕捉图像数据的合成的位置和范围是在用于显示的合成图像50中设置的贯通图像50TR的位置和范围。

例如，用户能够通过事先选择模板等在某种程度上指定喜欢的合成布置状态。

然而，可利用稍后描述的相册编辑模式的操作任意地改变合成位置的状态，例如图7B和7C中所示。

3.相册模式处理

将描述以上的用于实现相册模式处理的控制单元2的处理。控制单元2使用图1中显示的功能块(2a至2e)执行以下描述的图8、9和10的处理。

首先，图8显示特别地与相册模式相关的处理作为在针对成像装置1接通电源之后执行的处理。将不会描述与其它一般数字静止照相机的操作相关的处理。

在步骤F101中接通电源之后，控制单元2在步骤F102中进入成像模式。

在步骤F103中，控制单元2检查相册模式的轮询处理。当用户执行相册模式的指令操作时，在步骤F103中检测相册模式的轮询处理，并且控制单元2前进至步骤F104和下面的步骤。也就是说，例如，用户操作图2C的相册模式开启按钮49的情况。

在步骤F113中，控制单元2监测相册编辑模式的轮询处理。当用户执行相册编辑模式的指令操作而未给出相册模式的指令时，基于已发生相册编辑模式的轮询处理的事实执行步骤F113至F120的处理。稍后将对此进行描述。

当指示相册模式时，控制单元2在步骤F104中执行模板选择处理。模板是设置在背景图像上合成图像时的布置位置和范围的合成图像。模板的数量可以仅为一个，但可以预先准备各种模板以便用户能够选择它们中的一个。例如，可设置用于旅行、婚礼、运动日等的模板。

考虑这样的设置：例如，在用于婚礼的模板中，具有白色裙子的图像布置在模板的中心，在用于旅行的模板中，图像按照时间顺序方式布置，等等。

控制单元2可在步骤F104中使显示单元6在显示单元6上显示各种模板的列表，然后执行使用户选择一个模板的处理。

在步骤F104中选择模板作为将要使用的一个模板之后，处理流程前进至步骤F105。

控制单元2在步骤F105中确定是否将要创建新的合成图像。在这种情况下，控制单元2在显示单元6上进行显示以使用户选择创建新的合成图像或使用记录的图像，然后根据操作输入确定是否将要创建新的合成图像。

当用户选择创建新的合成图像时，随着没有变化地在步骤F106中相册模式开启，处理流程转移至步骤F109的合成处理。

另一方面，当用户选择使用以前记录的图像而非创建新的合成图像时，控制单元2前进至步骤F107。以前记录的图像是例如记录在记录单元5上的静止图像数据或以前的合成图像数据。

当使用某一静止图像数据(图像文件Pic00x)时，能够使用该静止图像数据作为背景图像执行合成处理。

当使用在以前创建的某一合成图像数据时，此时新捕捉的图像能够被合成到该合成图像数据(背景图像和已合成图像)上。

然后，控制单元2在步骤F107中使用户选择将要使用的图像数据。在这种情况下，控制单元2使显示单元6显示记录在记录单元5上的图像数据的列表，并且使用户选择一个。

在用户执行选择操作之后，控制单元2在步骤F108中执行选择的图像(静止图像数据或合成图像数据)的读取。在合成图像数据的情况下，还读取合成管理信息。

然后，随着在步骤F106中相册模式开启，流程转移至步骤F109的合成处理。

在图9和10中详细描述在相册模式开启之后的步骤F109的合成处理。

首先，在图9的步骤F201中，控制单元2确定在用于合成处理的图像60中是否存在除了贯通图像之外的一个或多个图像。

在将要创建新的合成图像的情况下，还不存在用于合成处理的图像60。如图3B中所述，在该时间点仅存在用作贯通图像的捕捉图像数据。在这种情况下，流程从步骤F201前进至F202，并且用作贯通图像的捕捉图像数据被设置为背景图像60BK。

然后，对于用于显示的合成图像50，控制单元2显示如图3B中所示的背景图像50BK被设置为贯通图像的图像。换句话说，控制单元2将贯通图像42的一部分设置为用于显示的合成图像帧W，并使得显示仅具有该贯通图像的用于显示的合成图像50。

(为了描述起见，标号“60BK”被给予如图7A至7C中所示的用于合成处理的图像60中的背景图像，并且标号“50BK”被给予如图3B、4B、5B和6B中所示的用于显示的合成图像中的“背景图像”。)

在这种情况下，流程前进至图10的步骤F219，并且该状态(例如，图3B的状态)继续，直至在步骤F219中检测到释放指令的轮询处理或者在步骤F226中检测到相册模式关闭的指令为止。

当用户在某一时间点执行释放操作并且控制单元2在步骤F219中检测到存在释放请求的轮询处理时，控制单元2使流程从步骤F219前进至F220以执行释放处理。换句话说，拍摄与释放操作的时间点对应的捕捉图像数据的一帧作为静止图像，并且执行记录所需的信号处理(压缩编码等)。

然后，在步骤F221中记录该静止图像数据。换句话说，静止图像数据的所述一帧被记录在记录单元5上作为图像文件Pic00x。

另外，在步骤F222中，用于合成处理的图像被保存在存储器单元3中。直至那时，处于用于合成处理的图像60的背景图像60BK被设置为贯通图像的状态，并且不存在确认的用于合成处理的图像60。因此，在这种情况下，具有与此时的释放处理相关的图像数据作为背景图像60BK的用于合成处理的图像60被保存在存储器单元3中。

另外，在步骤F223中，通过使背景图像60BK的深度信息作为合成管理信息的一部分，控制单元2使存储器单元3存储背景图像60BK的信息。背景图像60BK的信息可以是背景图像60BK自己的图像数据，或是指定设置为背景图像的图像文件Pic00x的信息。另外，对于深度信息，如上所述可使用在成像操作期间的景深的值的焦距值或变焦值。

当在步骤F224中未监测到合成图像的指令并且在步骤F226中未监测到相册模式关闭的指令时，流程返回至步骤F201。

在创建新的合成图像的情况下，在如上所述首次根据释放操作执行步骤F220至F223之后，背景图像60BK被设置为用于合成处理的图像60，因此，用于显示的合成图像50变为如图4B中所示。换句话说，用于显示的合成图像形成合成了背景图像50BK和贯通图像50TR的图像。

另外，当选择使用以前的静止图像数据并且开始相册模式时，在图8的步骤F108中读取的静止图像数据变为第一用于合成处理的图像60。在这种情况下，在开始用于显示的合成图像50的显示时显示图4B的图像。换句话说，该图像是合成了背景图像50BK和当前贯通图像50TR的图像。

另外，当选择以前创建的合成图像并且启动相册模式时，图8的步骤F108中读取的合成图像数据变成第一用于合成处理的图像60。在这种情况下，在开始显示用于显示的合成图像50时，用于显示的合成图像50是如图5B或6B中所示的图像。换句话说，该图像是合成了背景图像50BK、已合成的图像50A和当前贯通图像50TR的图像。

在这种情况下，换句话说，在用于合成处理的图像60中设置至少背景图像60BK的状态下，控制单元在步骤F201中确定在用于合成处理的图像60中存在除了贯通图像之外的一个或多个图像。

然后，控制单元2前进至步骤F203，然后比较当前贯通图像和存在于用于合成处理的图像60中并在以前被捕捉的每个图像之间的相似性。

在图4B的情况下，例如，比较贯通图像42(50TR)和与背景图像50BK对应的用于合成处理的图像60中的背景图像60BK的相似性。

在图5B的情况下，比较贯通图像42(50TR)和与背景图像50BK对应的用于合成处理的图像60中的背景图像60BK的相似性，并且比较贯通图像42(50TR)和与已合成的图像50A对应的用于合成处理的图像60中的图像60A的相似性。

然后，如果作为相似性计算的值等于或低于设置的阈值，则确定这些图像不相似，并且流程前进至步骤F206。

如果作为相似性计算的值超过设置的阈值，则基于确定当前贯通图像42与用于合成处理的图像60中的图像相似，流程前进至步骤F204。这适用于这样的情况：用户将成像装置1设置为与在以前的成像期间的视角相同的视角。例如，当在显示图4B的用于显示的合成图像50之后用户使成像装置1对准作为被摄体的“山”时，贯通图像是“山”的图像。然后，确定用于合成处理的图像60中的背景图像BK(“山”的图像)与当前贯通图像(“山”的图像)相似。

在这种情况下，控制单元2在步骤F204中计算每个图像的评估值。然后，确定当前贯通图像的评估值是否等于或高于相似的以前的捕捉图像的评估值。

考虑计算评估值的各种技术，但当存在脸部图像时，例如，考虑根据微笑的检测或根据其合成的评估、聚焦状态或对比度状态的评估等给出分数。

如果当前贯通图像的评估值等于或高于以前的捕捉图像的评估值，则控制单元2前进至步骤F205，并执行用于合成处理的图像60上的图像的调换。换句话说，从用于合成处理的图像60删除与贯通图像相似的以前的捕捉图像，并且当前贯通图像的一帧的图像数据被插入在用于合成处理的图像60中。

在执行步骤F203、F204和F205的处理之后，当用户随后设置相似的并且喜欢的图像作为被摄体时，虽然它是已经被捕捉并被包括在用于合成处理的图像60中的图像，但自动执行交换此时的贯通图像的处理。因此，即使没有用户的特定释放操作，被评估为用户的所希望的视角的图像中的最好的图像也被包括在用于合成处理的图像60中(随后的合成图像)。

另一方面，如果当前贯通图像的评估值低，则不执行该交换，并且流程前进至步骤F204→F224(改变合成图像的指示的监测)→F226(相册模式关闭的指令的监测)→F201。在这种情况下，通过执行步骤F204→F219→F224→F226→F201，可将步骤F219的释放请求的监测添加到其中。

接下来，在步骤F206中，控制单元2确定在当前贯通图像中是否包括脸部图像。

如果未包括脸部图像，则控制单元2在步骤F208中将贯通图像的缩略图图像(低分辨率图像)移至存储器单元3作为将要在用于显示的合成图像50的生成处理中使用的数据。

另一方面，如果在当前贯通图像中包括脸部图像，则控制单元2在步骤F207中将贯通图像的屏幕缩小图像(具有中等分辨率的图像)移至存储器单元3作为将要在用于显示的合成图像50的生成处理中使用的数据。

使用缩略图图像和屏幕缩小图像的原因在于：减小对用于显示的合成图像50的生成处理施加的负荷。另外，当包括脸部图像时使用屏幕缩小图像的原因在于：在分辨率太低的多数情况下难以评估脸部图像。

控制单元2在步骤F209中确定背景图像60BK的深度是否比贯通图像的深度深。控制单元2使用聚焦驱动部分15和光圈驱动部分16检测捕捉图像的焦距和景深，并把这些值设置为图像的深度。当焦距和景深是相同的参数时，基于变焦驱动部分17的变焦数据确定该深度。

另外，在创建新的合成图像的情况下，将以前在步骤F223中设置的深度信息(焦距、景深、变焦值等)与当前贯通图像的深度信息进行比较。在使用以前的捕捉图像的情况下，将在图8的步骤F108中读取的合成管理信息中的背景图像的深度信息与当前贯通图像的深度信息进行比较。

如果当前贯通图像的深度更深，则流程前进至步骤F210，并且背景图像60BK被改变为当前贯通图像。

因此，控制单元2执行自动控制，以便贯通图像和在相册模式中捕捉的图像之中具有最深的深度的任何图像被选择为在相册模式中用于合成的背景图像。

步骤F210的处理可仅应用于创建新的合成图像的情况。换句话说，在使用以前的捕捉图像的情况下，也考虑不执行步骤F210(不改变背景图像60BK)。

在步骤F211中，控制单元2确定除背景图像BK的尺寸之外的图像的尺寸。

控制单元2基于从每个图像的“微笑检测的特征量的评估、在成像期间的体积水平、运动矢量和1:1.6的黄金比例”获得的综合值等确定各个图像的尺寸。

另外，控制单元2基于综合值执行每个图像的原始图像或缩略图图像的尺寸的重新调整，以便通过从完全尺寸图像排除背景图像60BK获得的整个图像的总尺寸具有固定比例(例如，完全尺寸的70%)。

在步骤F212中，控制单元2对排除了背景图像60BK的图像(图像60A、贯通图像等)进行脸部检测，并提取具有脸部的图像。

当存在包括脸部图像的图像时，控制单元2在步骤F213中检测提取的图像中具有最大尺寸的脸部图像的朝向。

然后，在步骤F214中，控制单元2执行定位，以便脸部的朝向面对着合成图像的中心。

例如，图11A显示在贯通图像42中包括脸部图像的情况。如果例如该图像被包括在合成图像中，则优选如图11B中所示将脸部设置为面对图像的中心线CT的合成。

因此，当在这个例子中脸部面朝着左侧时，脸部布置在图像的中心线的右侧。

图11B显示作为用于显示的合成图像50显示在显示单元6上的状态。用于显示的合成图像50的贯通图像50TR布置在用于显示的合成图像50的中心线CT的右侧。

在步骤F215中，控制单元2基于在模板中决定的预定布置次序确定未检测到脸部图像的图像的合成布置区域。

在图10的步骤F216中，控制单元2执行使用于显示的合成图像50的数据中的贯通图像变为突出显示图像的处理，以便用户能够容易地察觉用于显示的合成图像50中的贯通图像50TR的合成范围。

然后，在步骤F217中，控制单元2以PinP(画中画)的形式将包括贯通图像作为突出显示图像的用于显示的合成图像50嵌入在贯通图像42中，并在步骤F218中将结果提供给显示单元6。

因此，执行像例如图4B、5B和6B中一样的显示。

其后，控制单元2根据步骤F219的释放操作的检测执行步骤F220至F223的处理。

当例如在图4B的状态下检测到用户的释放操作时，执行释放处理(F220)，执行记录静止图像数据的处理，并且捕捉图像被记录在记录单元5上作为静止图像数据Pic002(图4C)(F221)。同时，还记录缩略图图像和屏幕缩小图像。

另外，在图4B的用于显示的合成图像50中的布置状态下，此次的捕捉图像被合成到用于合成处理的图像60上。换句话说，在存储器单元3上重写用于合成处理的图像60并更新用于合成处理的图像60(F222)。在这种情况下，根据用于显示的合成图像50中的贯通图像50TR的合成布置区域(位置和尺寸)，与这个释放处理相关的图像被合成到用于合成处理的图像60中。还存储指示已合成的图像的信息(例如，在步骤F222中记录的静止图像数据Pic002的文件名等)和合成布置区域的信息。例如，在合成中使用的捕捉图像的标签的软件被嵌入在用于合成处理的图像(之后的合成图像的)的第OXO131号EXIF标签中。

当直至那时已在步骤F205、F210等改变背景图像60BK时，执行步骤F223。换句话说，当已改变背景图像60BK时，执行背景图像数据及其深度信息的更新和保存。

通过执行以上处理，控制单元2执行生成在图3A至7C中描述的合成图像的操作，并且用户能够在观看包括贯通图像的用于显示的合成图像50并想象合成图像的同时在某一时间点执行释放操作，并执行把在释放时间点生成的图像添加到合成图像的操作。

在相册模式中，用户还能够编辑合成图像。通过用户执行某一操作，在步骤F224中发生用于合成处理的图像60的改变的轮询处理。然后，控制单元2前进至步骤F225以根据用户的操作的输入执行用于合成处理的图像60的改变(编辑)。控制单元2检测改变当前的用于合成处理的图像60中的每个图像的位置、尺寸、背景图像、将要被舍弃的相似图像的指令，以根据用户的操作改变合成图像。

作为具体操作例子，控制单元2使显示单元6没有变化地以完全尺寸在此时显示用于合成处理的图像60。对于该图像，用户利用在触摸面板上的操作选择图像，并执行触摸操作，诸如将图像拖至他们想要移动该图像的位置或者指示图像的放大或缩小。可替代地，用户执行将设计的图像拖至屏幕上的垃圾箱的操作。另外，通过选择背景部分并将该部分拖至图像的框，用户执行指示背景的调换等的操作。响应于用户的操作，控制单元2改变合成图像。

例如，通过根据用户的操作改变在图7A中用背景图像60BK合成的图像60A、60B等的布置区域(位置和尺寸)，图7A的状态能够改变为图7B和7C的状态。同样的情况适用于稍后描述的相册编辑模式的处理，但设置步骤F224和F225的处理的原因在于也能够在相册模式中实现与在以下描述的相册编辑模式下相同的处理。

当用户在某一时间点操作相册模式关闭按钮41时，控制单元2在步骤F226中检测到相册模式关闭的轮询处理。

在这种情况下，控制单元2结束图9和10的处理，也就是说，图8的步骤F109的处理。

然后，控制单元2在图8的步骤F110中确定是否曾经存在合成处理。这里提及的是否曾经存在合成处理是指是否已执行图10的步骤F222或步骤F225的处理。当甚至执行一次步骤F222或步骤F225的处理时，控制单元2前进至步骤F111，并将合成图像记录在记录单元5上。

换句话说，此时保存在存储器单元3中的用于合成处理的图像60被输出到记录单元5作为此次在相册模式中生成的最终的合成图像(记录合成图像数据的处理)。然后，该图像被记录为一个合成图像文件Pic-M。另外，还与其关联地记录合成管理信息。例如，作为背景图像60BK的信息，存储指示利用背景图像数据自身设置的图像文件或背景图像的信息和深度信息。另外，作为合成图像中所包括的图像(60A、60B等)的信息，例如，还存储指示与图像对应的静止图像数据Pic00x的信息和合成布置区域的信息(关于背景图像的位置和尺寸)，这些信息被包括在合成管理信息中。

另外，合成图像中的每个图像(60BK、60A、60B等)的评估值(在图9的步骤F204中使用的评估值)、存在或不存在脸部图像的信息、脸部的朝向、人(脸部图像)的数量的信息等也可被包括在合成管理信息中。

另外，指示使用的模板的信息也可被包括在合成管理信息中。

当然，当下次使用合成图像执行在相册模式中的处理时以及当通过被传送到其它装置而执行处理时，这种合成管理信息是有用的。

为了记录合成管理信息，能够使用Exif的预定区域。例如，指示在相册模式中的布置的程序被记录在Exif的EOI中。

在如上记录合成图像数据和合成管理信息之后，控制单元2通过在步骤F112中将相册模式设置为关闭来结束流程(返回到步骤F102)。

另外，当在步骤F110中确定未执行合成处理时，控制单元2可通过在步骤F112中将相册模式设置为关闭来返回到步骤F102。

作为如上所述的在相册模式中的处理，考虑如下的修改例子。

在以上的图9和10中显示的处理中，执行响应于释放指令的轮询请求的处理作为步骤F219至F223，但可执行该处理作为中断处理，例如如图12中所示。

换句话说，在图9和10中的步骤F202至F218之中的任意时间点执行图12的处理。

在图12中，控制单元2在步骤F301中通过操作单元4执行是否存在图像记录(释放)的轮询处理的读取处理。

在步骤F302中，控制单元2执行释放处理。

在步骤F303中，控制单元2将捕捉图像记录在记录单元5上(将静止图像数据记录在记录单元5上)。

在步骤F304中，控制单元2把捕捉并记录的静止图像数据及其缩略图与用于合成处理的图像进行合成，并将结果保存在存储器单元3中。另外，在合成中使用的静止图像数据的信息也被保存在存储器单元3中。

在步骤F305中，控制单元2检查保存在存储器单元3中的图像的数量是否为一。换句话说，控制单元2检查用于合成处理的图像60是否仅是此次存储的图像(在还未合成多个图像的状态下)。

当用于合成处理的图像60包括一个图像时，控制单元在步骤F306中设置该图像作为背景图像60BK。另外，还保存与背景图像60BK相关的信息(背景图像数据自身、缩略图图像、深度信息等)。

在在图9和10的在相册模式中的处理中，如上使用中断处理，可执行响应于释放指令的处理。

根据在图8、9、10和12中描述的实施例的在相册模式中的处理，获得下面的效果。

首先，用户能够通过以PinP的形式在贯通图像中进行显示来检查通过实时地合成在不同视角捕捉的图像与当前贯通图像获得的图像。在想象相应地生成的合成图像的同时，能够执行成像，并且用户所希望的合成图像的创建变得容易。

另外，当以前成像并记录的图像与贯通图像相似时，可通过自动选择一个图像并合成来防止在合成中使用不必要的照片。

另外，通过检测图像的深度并将具有最深的深度的图像设置为背景图像能够减少编辑的工作，并且能够获得更高质量的合成图像。

另外，通过基于以前捕捉并记录的每个图像和贯通图像的评估值改变对图像给予优先级的图像的尺寸，能够创建具有有效的对比度的合成图像。

另外，通过检测人的脸部的朝向并自动布置脸部的朝向以面朝着图像的中心，能够创建平衡的合成图像。

另外，通过具有确定图像的布置的多个模板并由用户使用操作单元4选择一个模板，自适应于成像场景的图像的布置变得容易，并且能够创建进一步与状况匹配的合成图像。

另外，通过执行强调显示(诸如，突出显示)以容易地察觉用于显示的合成图像50中的贯通图像50TR的已合成的区域，能够提高用于显示的合成图像50中的贯通图像50TR的可见性。

另外，通过在在相册模式中的图像处理(用于显示的合成图像50的生成处理)中使用低分辨率图像(诸如，缩略图图像、屏幕缩小图像等)而不使用主要图像，能够提高处理速度。

另外，与图像关联地在处理中使用的合成管理信息与合成图像关联地被存储在存储器单元3中或者记录在记录单元5上。因此，甚至当在相册模式中的成像的中间断开电源之后，也能够迅速地恢复在相册模式中的成像。另外，在相册模式中使用以前记录的合成图像的处理中，能够有效地使用合成管理信息，并且与以前创建的合成图像的附加的合成也变得容易。

4.相册编辑模式处理

基于上述在相册模式中的操作能够创建合成图像，但通过根据模板和脸部图像的处理在某种程度上自动地设置将要在成像期间被合成到背景图像上的图像的布置和尺寸。从自动处理，用户获得在非常容易地执行成像的同时创建合成图像的优点，但另一方面，存在想要进一步根据其偏好布置图像或设置背景图像的用户。

因此，准备了相册编辑模式。甚至在上述相册模式期间，也能够进一步执行用户的编辑操作作为图10的步骤F224和F225。

将描述图8中显示的在相册编辑模式中的处理。

如上所述，通过由用户在成像模式下执行指示相册编辑模式的操作，控制单元2在步骤F113中识别相册编辑模式的轮询请求。在这种情况下，控制单元2执行步骤F114至F120的处理。

当在步骤F113中存在相册编辑模式的轮询处理的请求时，控制单元2在步骤F114中选择将要编辑的合成图像。例如，控制单元2显示记录在记录单元5上的合成图像的列表，并需要来自用户的选择输入。然后，控制单元将由用户指定的合成图像设置为将要编辑的合成图像。

然后，选择的合成图像被从记录单元5读取到存储器单元3。

在步骤F115中，控制单元2根据来自操作单元4的用户输入的指令在存储器单元3上执行合成图像改变处理。

图7B和7C显示编辑操作的例子。当图7A的合成图像被选择为将要编辑的对象时，假设用户执行改变图像60A和60B的位置和尺寸的操作。控制单元2根据该操作编辑合成图像，并将该图像改变为像例如图7B一样的合成图像。

另外，当图7A的合成图像被选择为将要编辑的对象时，用户执行将图像60C设置为背景图像的操作。根据该操作，控制单元2编辑该合成图像，以便原始图像60C被设置为背景图像60BK并且原始背景图像60BK被设置为图像60C，如图7C中所示。

除了该例子之外，例如，能够从合成图像删除由用户指定的图像。

具体地讲，如同在上述相册模式下改变用于合成处理的图像的处理中一样，控制单元2使将要编辑的合成图像被显示在显示单元6上。从该显示，用户通过触摸面板操作选择合成图像内的图像，并执行拖拽至希望移至的位置的操作和用于指示放大或缩小的触摸操作。可替代地，执行将指定的图像拖至屏幕上的垃圾箱的操作。另外，通过选择背景部分并将该部分拖至图像的框，执行指示背景的调换的操作。响应于用户操作，控制单元2编辑合成图像。

在步骤F115的处理中执行这种合成图像编辑。

在执行所希望的编辑操作之后，用户执行把相册编辑模式设置为关闭的操作。控制单元2在步骤F116中读取是否存在相册编辑模式关闭的轮询处理的请求，并且当存在相册编辑模式关闭的轮询处理时，控制单元前进至步骤F117。然后，控制单元检查合成图像中是否曾经存在任何改变。

甚至在相册编辑模式下，如果在没有具体地指示任何改变的用户的操作的情况下诸如在相册编辑模式关闭中不存在添加到合成图像的改变，则控制单元2也通过在步骤F120中设置为相册编辑模式关闭来结束处理，并返回到步骤F102。

另一方面，在步骤F115的处理中，当任何改变被添加到合成图像时，控制单元2前进至步骤F118，并把在存储器单元3上编辑的合成图像记录在记录单元5上。换句话说，记录在记录单元5上的合成图像被更新。然后，在步骤F120中，处理结束并且相册编辑模式关闭，并返回到步骤F102。

通过如上执行相册编辑模式的处理，用户能够使用操作单元4指示位置、尺寸、背景图像和合成图像中的将要被舍弃的相似图像，并根据他自己的或她自己的意图改变合成图像。

例如，在成像期间能够容易地创建合成图像，并且其后，根据用户的偏好，能够改变合成图像的布局并且能够替换背景图像。

甚至在上述相册模式下，也能够执行用户的编辑操作作为图10的步骤F225。图10的步骤F225与图8的在相册编辑模式下的步骤F115相同。差别仅在于：将要编辑的图像是还未被记录的用于合成处理的图像60。

因此，甚至当在相册模式中执行成像时，用户也能够任意地指定合成图像的内容。

5.成像装置的修改例子

以上，描述了应用于成像装置1的实施例，但考虑就成像装置1的结构、在相册模式中的显示形式和合成图像的形式而言的各种修改例子。

图13显示成像装置1的另一结构例子。相同的标号被给予与图1中的部分相同的部分，并且将会省略其描述。

在这个例子中，成像装置1不包括显示单元6，而是具有外部接口18。因此，该成像装置经外部接口18具有与外部显示装置20的通信连接。

外部接口18与包括显示装置的外部装置(显示装置20)(诸如，个人计算机系统、电视接收机或移动终端装置)执行各种有线或无线数据通信。

成像装置1使用外部接口18通过与外部装置的通信把显示数据(诸如，用于显示的合成图像50等)传送到外部装置，或者能够从外部装置把各种信息输入到成像装置1。

在这种情况下，控制单元2把通过在相册模式中合成贯通图像42与用于显示的合成图像50获得的显示数据传送给显示装置20。然后，数据的图像被显示在显示装置20上。

上述相册模式的操作还以这种形式实现。

当然，像图1中一样具有显示单元6的成像装置1可包括外部接口18，并且与用于显示的合成图像50合成的贯通图像42可以被显示在外部显示装置20上。

图14也显示成像装置1的另一结构例子。相同的标号被给予与图1中的部分相同的部分，并且将会省略其描述。

这是不包括记录单元5的成像装置1的例子。在这种情况下的成像装置1具有网络通信单元19。

网络通信单元19通过各种网络(例如，互联网、家庭网络、LAN(局域网)等)执行通信。控制单元2能够通过网络通信单元19与网络上的服务器、终端等执行各种数据通信。

在这种情况下，控制单元2能够在相册模式中执行进一步使用通过网络通信单元19下载的静止图像数据、以前的合成图像数据等的添加合成的操作。换句话说，能够对于网络上的图像执行图8的步骤F107和F108中的图像的选择、图像数据的读取等。

因此，用户能够选择在互联网上提供并允许使用的静止图像或合成图像，并进一步添加合成到相册模式中的图像中。

另外，在这种结构中，执行传送合成图像数据的处理。例如，创建的合成图像能够经网络通信单元19被传送给外部服务器等以便被记录在外部服务器上。换句话说，通过执行传送合成图像数据的处理，合成图像能够被上传到网络上的服务器等。

当然，除了图1的记录单元5之外，该成像装置还可包括网络通信单元19。

另外，通过像图13中一样包括外部接18，成像装置能够从连接的外部装置输入在相册模式中使用的图像，或作为传送合成图像数据的处理把创建的合成图像数据传送给外部装置以便被记录在外部装置上。

接下来，图15A和15B显示作为包括在相册模式中显示的用于显示的合成图像50的显示形式的另一例子。

在以上使用图3A至6C描述的例子中，通过被合成到贯通图像42的一部分中，用于显示的合成图像50被显示在显示单元6上。

然而，由于贯通图像50TR被包括在用于显示的合成图像50中，所以仅用于显示的合成图像50可被显示在显示单元6上。这显示在图15A中。

图15A显示这样的例子：显示单元6的整个屏幕被设置为用于显示的合成图像帧W并且示出用于显示的合成图像50。用户必须观看贯通图像以便确定被摄体，并且为了实现这一点，可观看被合成到用于显示的合成图像50的背景图像50BK上的贯通图像50TR。

以这种方式，控制单元2可使得仅显示包括贯通图像50TR的用于显示的合成图像50以用于在相册模式中的显示。

因此，用户能够更清楚地察觉正在创建的合成图像的图像。

接下来，图15B是存在两个显示单元6A和6B的例子。例如，它是这样的情况：成像装置1包括两个显示单元6A和6B。可替代地，可假设为如图13中所示作为外部装置的显示装置20提供两个显示屏幕。另外，还假设：成像装置1包括显示单元6并如图13中所示经外部接18连接到显示装置20。

考虑：在用户能够在相册模式中的成像期间观看两个显示单元6A和6B的情况下，控制单元2使贯通图像42被显示在显示单元6A上并仅使包括贯通图像50TR的用于显示的合成图像50被显示在显示单元6B上，如图15B中所示。显示单元6B的整个屏幕被设置为用于显示的合成图像帧W，并显示通过把贯通图像50TR合成到背景图像50BK上获得的图像作为用于显示的合成图像50。

以这种方式，用户能够在相册模式中察觉具有高分辨率的贯通图像42和用于显示的合成图像50。

接下来，图16A和16B显示背景图像的修改例子。

在上述例子中，利用一个静止图像设置合成图像中的背景图像60BK。然而，多个静止图像可被设置为背景图像。

图16A是设置两个背景图像60Bka和60BKb并且其它图像60A和60B被合成到它们上的合成图像的例子。

当用户在图8的步骤F107中选择多条记录的静止图像数据时，例如，在合成处理中布置并使用所述多个背景图像60Bka和60BKb。

可替代地，在在相册模式中的自动处理中，控制单元2可执行布置具有较深的深度信息的两个图像作为背景图像的处理。

另外，图16B是这样的例子：并非捕捉图像而是已经被记录的图像被设置为背景图像60BK。例如，图案图像、动画、图像等被记录在记录单元5上(或者通过下载等获取图案图像、动画、图像等)，并且用户从中选择任意的背景图像。

因此，在相册模式中，选择的图案图像等被设置为背景图像60BK，并且捕捉图像60A、60B、60C、60D等被合成到背景图像60BK上。

通过以这种方式设置背景图像，能够生成更多样的合成图像。

以上，描述了各种修改例子，但除了它们之外还考虑其它修改例子。

在相册模式中的处理中，也通过释放操作记录一般静止图像数据(上述图像文件Pic001等)，但也考虑在相册模式中不记录一般静止图像的处理。

另外，当在相册模式中响应于释放操作记录静止图像数据时，也考虑不记录低分辨率图像(诸如，缩略图图像、屏幕缩小图像等)的例子。

另外，低分辨率图像被设置为用在用于显示的合成图像50的合成处理中，但可在通常作为捕捉图像获得的具有高分辨率的图像的状态下执行该合成处理。

6.信息处理装置中的应用例子和程序

在实施例中，举例说明了包括权利要求中所提及的图像处理装置的成像装置1，但本发明的图像处理装置能够实现于各种装置中，而不限于所谓的数字静止照相机。

本发明的技术能够应用于例如具有成像功能的移动电话、摄像机装置、移动终端装置和其它种类的装置。

另外，利用不具有成像功能的信息处理装置(例如，个人计算机、移动电话、移动终端装置、图像装置等)能够实现本发明的图像处理装置。

图17是根据本发明实施例的作为不具有成像功能的信息处理装置的图像处理装置80的方框图。

图像处理装置80包括图像输入单元81、控制单元82、存储器单元83、操作单元84、记录单元85和显示单元86。

图像输入单元81从能够通过有线或无线通信执行数据通信的外部成像装置70接收捕捉图像信号(捕捉图像数据)并被输入捕捉图像信号(捕捉图像数据)。

显示单元86以与图1的显示单元6相同的方式为用户执行各种显示。

操作单元84以与图1的操作单元4相同的方式用作输入用户的操作的输入装置并根据输入操作把信号传送给控制单元82。

记录单元85包括例如非易失性存储器、HDD等，以与图1的记录单元5相同的方式用作存储静止图像数据、运动图像数据等的图像文件(内容文件)、图像文件的属性信息、缩略图图像等的存储区域。关于合成图像，合成管理信息也以Exif数据等的形式被记录在记录单元85上。

存储器单元83如同图1的存储器单元3一样总地称作ROM、RAM、闪存等，并用作控制单元82的工作区域或用于存储应用程序等。

控制单元82用作操作处理装置(诸如，CPU)，并包括图像信号处理部分82b、显示控制部分82c、合成处理部分82d、输出处理部分82e和布置确定部分82f作为由软件或硬件实现的功能。这些部分与图1的图像信号处理部分2b、显示控制部分2c、合成处理部分2d、输出处理部分2e和布置确定部分2f相同。

在这种结构的图像处理装置80中，在输入由外部成像装置70捕捉的图像数据的同时，通过控制单元82执行上述相册模式处理和相册编辑模式处理来实现与以上针对成像装置1描述的操作相同的操作。

例如，用户能够通过使用成像装置70和单独的图像处理装置80执行成像来容易地执行合成图像的创建。

此外，在图17的图像处理装置80的情况下，可如图13中所述通过提供外部接口18来使用外部显示装置20或者从外部装置输入静止图像数据。另外，如图14中所述，通过提供网络通信单元19，还可从网络下载图像数据或上传合成图像。

根据实施例的程序是使运算处理装置(诸如，CPU)执行上述相册模式处理和相册编辑模式处理的程序。

换句话说，该程序使运算处理装置生成包括从通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像的用于显示的合成图像，并在用于合成处理的图像上显示用于显示的合成图像。

另外，该程序使运算处理装置根据用于显示的合成图像中的贯通图像的合成布置状态执行把根据记录定时的捕捉图像信号合成到用于合成处理的图像中的处理。

另外，该程序使运算处理装置执行输出在某一时间点(诸如，释放时间点)的用于合成处理的图像作为生成的合成图像数据的处理。

另外，该程序使运算处理装置根据操作输入执行改变合成图像数据中的图像的内容的编辑处理。

使用该程序，可实现由运算处理装置执行上述相册模式处理和相册编辑模式处理的装置。

该程序能够被预先记录在装置(诸如，计算机装置、成像装置等)中所包括的作为记录介质的HDD或具有CPU的微型计算机中的ROM中。

可替代地，该程序能够临时地或永久地存储(记录)在可移动记录介质(诸如，软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、蓝光盘、磁盘、半导体存储器或存储卡)上。能够提供这种可移动记录介质作为所谓的封装软件。

另外，该程序能够从可移动记录介质被安装在个人计算机等，或者经网络(诸如，LAN(局域网)或互联网)被从下载站点下载。

另外，该程序适合被广泛地提供给执行用于生成合成图像的在相册模式和相册编辑模式下的操作的成像装置或图像处理装置。

本技术还能够采用下面的结构。

(1)一种图像处理装置，包括：合成处理单元，通过把基于通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像包括在用于合成处理的图像中来生成用于显示的合成图像，并根据用于显示的合成图像中的贯通图像的合成布置状态把记录时间点的捕捉图像合成到用于合成处理的图像中；和显示控制单元，对用于显示的合成图像执行显示控制。

(2)如以上(1)所述的图像处理装置，还包括：布置确定单元，根据捕捉图像信号的内容确定用于合成处理的图像内的贯通图像的布置状态，其中合成处理单元按照由布置确定单元确定的布置状态把贯通图像合成到用于合成处理的图像上以生成用于显示的合成图像。

(3)如以上(2)所述的图像处理装置，其中根据已经布置在用于合成处理的图像中的已布置图像，布置确定单元还确定用于合成处理的图像内的已布置图像和贯通图像的布置状态。

(4)如以上(1)至(3)中任何一项所述的图像处理装置，其中所述显示控制单元执行使贯通图像被显示并使已与贯通图像合成的用于显示的合成图像被显示的处理。

(5)如以上(1)至(4)中任何一项所述的图像处理装置，其中所述用于合成处理的图像是通过把静止图像设置为背景图像而获得的图像，并且合成处理单元把通过成像获得的静止图像或从记录介质读出的静止图像设置为用于合成处理的图像中的背景图像。

(6)如以上(1)至(5)中任何一项所述的图像处理装置，其中所述合成处理单元把从记录介质读出的合成图像设置为用于合成处理的图像。

(7)如以上(1)至(6)中任何一项所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，并且合成处理单元基于贯通图像和背景图像之间的比较处理的结果执行改变背景图像的处理。

(8)如以上(7)所述的图像处理装置，其中所述比较处理是用于获得图像之间的相似性的比较处理、图像评估值的比较处理和图像深度的比较处理中的至少一种。

(9)如以上(1)至(8)中任何一项所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，并且合成处理单元通过把贯通图像合成到设置在用于合成处理的图像的背景图像上的合成布置区域中来生成用于显示的合成图像，并且基于模板信息设置用于合成处理的图像中的背景图像上的合成布置区域。

(10)如以上(2)或(3)所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，合成处理单元通过把贯通图像合成到由布置确定单元设置在用于合成处理的图像的背景图像上的合成布置区域中来生成用于显示的合成图像，并且当在用于合成处理的图像中所包括的除背景图像之外的图像或贯通图像中包括人的脸部图像时，布置确定单元判别脸部图像中的脸部的朝向，并使用判别结果设置在用于合成处理的图像中的背景图像上的合成布置区域。

(11)如以上(2)、(3)或(10)中任何一项所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，并且合成处理单元通过把贯通图像合成到由布置确定单元设置在用于合成处理的图像的背景图像上的合成布置区域中来生成用于显示的合成图像，并使用低分辨率图像执行用于显示的合成图像的生成。

(12)如以上(1)至(11)中任何一项所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，并且合成处理单元把贯通图像合成到用于合成处理的图像的背景图像上，并通过与其它区域相比进一步强调的方式显示贯通图像的区域来生成用于显示的合成图像。

(13)如以上(1)至(12)中任何一项所述的图像处理装置，还包括：输出处理单元，输出在某一时间点的用于合成处理的图像作为生成的合成图像数据，其中合成处理单元根据合成成像模式的指令开始生成用于显示的合成图像，并且输出处理单元输出在它被指示结束合成成像模式时的用于合成处理的图像作为生成的合成图像数据。

(14)如以上(1)至(13)中任何一项所述的图像处理装置，还包括：记录单元，把数据记录在记录介质上；和输出处理单元，输出在某一时间点的用于合成处理的图像作为生成的合成图像数据，其中输出处理单元控制生成的合成图像数据被记录到记录介质上。

(15)如以上(14)所述的图像处理装置，其中输出处理单元还控制包括与合成图像数据的背景图像相关的信息的合成管理信息以与合成图像数据关联地记录在记录介质上。

(16)如以上(1)至(15)中任何一项所述的图像处理装置，还包括：传送单元，把数据传送到外部装置；和输出处理单元，输出在某一时间点的用于合成处理的图像作为生成的合成图像数据，其中输出处理单元控制从传送单元传送和输出生成的合成图像数据。

(17)如以上(1)至(16)中任何一项所述的图像处理装置，还包括显示单元，其中显示控制单元控制用于显示的合成图像被显示在显示单元上。

(18)如以上(1)至(17)中任何一项所述的图像处理装置，其中所述合成处理单元根据操作输入执行改变合成图像数据中的图像的内容的编辑处理。

本发明包含与2011年12月21日提交给日本专利局的日本优先权专利申请JP 2011-279199中公开的主题相关的主题，该专利申请通过引用包含于此。

本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。

Claims (20)

1.一种图像处理装置，包括：

合成处理单元，通过把基于通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像包括在用于合成处理的图像中来生成用于显示的合成图像，并根据用于显示的合成图像中的贯通图像的合成布置状态把记录时间点的捕捉图像合成到用于合成处理的图像中；和

显示控制单元，对用于显示的合成图像执行显示控制。

2.如权利要求1所述的图像处理装置，还包括：

布置确定单元，根据捕捉图像信号的内容确定用于合成处理的图像内的贯通图像的布置状态，

其中合成处理单元按照由布置确定单元确定的布置状态把贯通图像合成到用于合成处理的图像上以生成用于显示的合成图像。

3.如权利要求2所述的图像处理装置，其中根据已经布置在用于合成处理的图像中的已布置图像，布置确定单元还确定用于合成处理的图像内的已布置图像和贯通图像的布置状态。

4.如权利要求1所述的图像处理装置，其中所述显示控制单元执行使贯通图像被显示并使已与贯通图像合成的用于显示的合成图像被显示的处理。

5.如权利要求1所述的图像处理装置，其中所述用于合成处理的图像是通过把静止图像设置为背景图像而获得的图像，并且

合成处理单元把通过成像获得的静止图像或从记录介质读出的静止图像设置为用于合成处理的图像中的背景图像。

6.如权利要求1所述的图像处理装置，其中所述合成处理单元把从记录介质读出的合成图像设置为用于合成处理的图像。

7.如权利要求1所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，并且

合成处理单元基于贯通图像和背景图像之间的比较处理的结果执行改变背景图像的处理。

8.如权利要求7所述的图像处理装置，其中所述比较处理是用于获得图像之间的相似性的比较处理、图像评估值的比较处理和图像深度的比较处理中的至少一种。

9.如权利要求1所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，并且

合成处理单元通过把贯通图像合成到设置在用于合成处理的图像的背景图像上的合成布置区域中来生成用于显示的合成图像，并且基于模板信息设置用于合成处理的图像中的背景图像上的合成布置区域。

10.如权利要求2所述的图像处理装置，

其中所述用于合成处理的图像是至少包括背景图像的图像，

合成处理单元通过把贯通图像合成到由布置确定单元设置在用于合成处理的图像的背景图像上的合成布置区域中来生成用于显示的合成图像，并且

当在用于合成处理的图像中所包括的除背景图像之外的图像或贯通图像中包括人的脸部图像时，布置确定单元判别脸部图像中的脸部的朝向，并使用判别结果设置在用于合成处理的图像中的背景图像上的合成布置区域。

11.如权利要求2所述的图像处理装置，其中所述用于合成处理的图像是至少包括背景图像的图像，并且

合成处理单元通过把贯通图像合成到由布置确定单元设置在用于合成处理的图像的背景图像上的合成布置区域中来生成用于显示的合成图像，并使用低分辨率图像执行用于显示的合成图像的生成。

12.如权利要求1所述的图像处理装置，

其中所述用于合成处理的图像是至少包括背景图像的图像，并且

合成处理单元把贯通图像合成到用于合成处理的图像的背景图像上，并通过与其它区域相比进一步强调的方式显示贯通图像的区域来生成用于显示的合成图像。

13.如权利要求1所述的图像处理装置，还包括：

输出处理单元，输出在某一时间点的用于合成处理的图像作为生成的合成图像数据，

其中合成处理单元根据合成成像模式的指令开始生成用于显示的合成图像，并且

输出处理单元输出在它被指示结束合成成像模式时的用于合成处理的图像作为生成的合成图像数据。

14.如权利要求1所述的图像处理装置，还包括：

记录单元，把数据记录在记录介质上；和

输出处理单元，输出在某一时间点的用于合成处理的图像作为生成的合成图像数据，

其中输出处理单元控制生成的合成图像数据被记录到记录介质上。

15.如权利要求14所述的图像处理装置，其中输出处理单元还控制包括与合成图像数据的背景图像相关的信息的合成管理信息以与合成图像数据关联地记录在记录介质上。

16.如权利要求1所述的图像处理装置，还包括：

传送单元，把数据传送到外部装置；和

输出处理单元，输出在某一时间点的用于合成处理的图像作为生成的合成图像数据，

其中输出处理单元控制从传送单元传送和输出生成的合成图像数据。

17.如权利要求1所述的图像处理装置，还包括：

显示单元，

其中显示控制单元控制用于显示的合成图像被显示在显示单元上。

18.如权利要求1所述的图像处理装置，其中所述合成处理单元根据操作输入执行改变合成图像数据中的图像的内容的编辑处理。

19.一种图像处理方法，包括：

通过经把基于通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像包括在用于合成处理的图像中生成用于显示的合成图像，显示用于显示的合成图像；以及

根据用于显示的合成图像中的贯通图像的合成布置状态把记录时间点的捕捉图像合成到用于合成处理的图像中。

20.一种使运算处理装置执行下述处理的程序：

通过经把基于通过对从被摄体入射的光执行光电转换获得的捕捉图像信号生成的贯通图像包括在用于合成处理的图像中生成用于显示的合成图像，显示用于显示的合成图像；以及

根据用于显示的合成图像中的贯通图像的合成布置状态把记录时间点的捕捉图像合成到用于合成处理的图像中。

Images