CN103685938A - 图像编辑装置以及图像编辑方法 - Google Patents

Abstract

本发明提供图像编辑装置以及图像编辑方法，即便反复进行将组合照片的一部分图像进行重新组合的组合照片编辑，图像劣化也较小。对构成组合照片的图像进行第1图像处理，生成第1图像（S123），在生成该第1图像后，对第1图像进行第2图像处理，生成第2图像（S129，S131），根据组合照片的组合位置对第2图像进行合成，生成组合照片（S133），将组合照片和第1图像记录为1个图像文件（S137）。

Description

图像编辑装置以及图像编辑方法

技术领域

本发明涉及对由多个照片构成的组合照片等图像进行编辑的图像编辑装置以及图像编辑方法。

背景技术

以往，进行数字图像信号的灰度处理，为了得到没有灰度跳跃的图像记录而进行了各种研究（例如，参照日本公开专利2005-051337号公报、日本公开专利平09-233339号公报）。此外，由于当反复使用图像时图像会逐渐劣化，因此进行了劣化防止对策（参照日本公开专利2010-276765号公报、日本公开专利2001-143055号公报）。

发明内容

发明要解决的问题

有时反复对J PEG等数字化后的图像以相同的位数强化对比度和彩度或者设为反差弱的变换。该情况下，例如在要处理的数值是整数的情况下，当进行乘法或除法时小数点以下被舍去，发生数值的位数减少，在梯度等中，值变得不再连续，发生所谓的灰度跳跃现象。

有时在进行了多个图像的对比度和彩度等的调整后，在进行组合并暂时生成了组合照片后，进行用其他置换图像来置换一部分图像而重新生成组合照片的组合照片编辑。该情况下，假定再次进行对比度和彩度等的调整。如前所述，存在当反复进行对比度和彩度的调整时，发生灰度跳跃，组合照片的画质劣化的情况。

本发明就是鉴于上述情况而完成的，其目的在于提供图像编辑装置以及图像编辑方法，即便反复进行将组合照片的一部分图像重新组合的组合照片编辑，图像劣化也较小。

用于解决问题的手段

本发明的图像编辑装置，对组合多张图像而构成的组合照片图像进行编辑，该图像编辑装置具有：第1图像处理部，其对上述图像进行第1图像处理，生成第1图像；第2图像处理部，其对上述第1图像进行第2图像处理，生成第2图像；组合照片处理部，其根据组合照片的组合位置对上述第2图像进行合成，生成组合照片；记录部，其记录上述第1图像和上述组合照片的图像；以及控制部，其在进行了上述第1图像处理后，通过上述组合照片处理部根据组合照片的组合位置对实施了上述第2图像处理的第2图像进行合成，生成组合照片，并将上述组合照片和上述第1图像记录为1个图像文件。

本发明的图像编辑方法，对组合多张图像而构成的组合照片图像进行编辑，该图像编辑方法包含以下步骤：对上述图像进行第1图像处理，生成第1图像；在生成上述第1图像后，对上述第1图像进行第2图像处理，生成第2图像；根据组合照片的组合位置对上述第2图像进行合成，生成组合照片；以及将上述组合照片和上述第1图像记录为1个图像文件。

发明的效果

根据本发明，能够提供图像编辑装置和图像编辑方法，即便反复进行对由多个图像构成的组合照片的一部分图像重新组合的组合照片编辑，图像劣化也较小。

附图说明

图1是示出本发明一个实施方式的相机的主要电气结构的框图。

图2是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出通过触摸实时取景来进行图像编辑的情形的图。

图3是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出通过触摸实时取景来进行图像编辑的情形的图。

图4是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出确定编辑帧的情形的图。

图5是示出本发明一个实施方式的相机中画面分割的例子的图。

图6是示出本发明一个实施方式的相机的主要动作的流程图。

图7是示出本发明一个实施方式的相机的主要动作的流程图。

图8是示出本发明一个实施方式的相机的图像处理的动作的流程图。

图9是示出本发明一个实施方式的相机的基本图像处理的动作的流程图。

图10是示出本发明一个实施方式的相机的特殊图像处理的动作的流程图。

图11是示出本发明一个实施方式的相机的组合照片生成的动作的流程图。

图12A～图12C是示出本发明一个实施方式的相机中图像解析的变更例的图。

图13是示出本发明一个实施方式的相机的静态图像记录的动作的流程图。

图14是示出本发明一个实施方式的相机的组合照片操作的动作的流程图。

图15是示出本发明一个实施方式的相机的组合照片操作的动作的流程图。

图16A～图16C是示出本发明一个实施方式的相机中组合照片操作存储器的结构的图。

图17是示出本发明一个实施方式的相机的再现/编辑的动作的流程图。

图18是示出本发明一个实施方式的相机的组合照片编辑的动作的流程图。

图19是示出本发明一个实施方式的相机的组合照片生成记录的动作的流程图。

图20是示出本发明一个实施方式的相机中，组合照片的重新组合前的文件结构的图。

图21是示出本发明一个实施方式的相机中，组合照片的重新组合前的文件结构的图。

图22是示出本发明一个实施方式的相机中，替换图像的色调调整的曲线图。

具体实施方式

下面按照附图使用应用本发明的相机来说明优选实施方式。本发明的一个优选实施方式的相机是数字相机，其具有摄像部，通过该摄像部将被摄体像转换为图像数据，根据该转换后的图像数据，在配置于主体背面的显示部中对被摄体像进行实时取景显示。摄影者观察实时取景显示，从而确定构图和快门时机。当进行了释放操作时，将图像数据记录于记录介质中。当选择了再现模式时，能够在显示部中再现显示被记录于记录介质中的图像数据。

此外，显示部能够将画面分割为多个部分，生成组合多个图像而构成的组合照片，并进行显示。能够将该组合照片内的一部分照片置换为实时取景图像或在记录介质中所记录的摄影完毕的图像。该情况下，将进行了预处理的副图像（构成组合照片的各个图像）作为个别的数据，并将组合照片的图像作为主图像，存储由这些主图像和副图像构成的图像文件（参照图11的S127、S137、图20、图21）。由于副图像被个别地存储，因此即便反复进行将组合照片的一部分图像与其他图像置换的组合照片编辑，画质也不会劣化。

图1是示出本发明一个实施方式的相机的主要电气结构的框图。该相机由相机主体100和可在该相机主体100上拆装的更换式镜头200构成。另外，在本实施方式中，将摄影镜头设为更换式镜头，但不限于此，当然也可以是在相机主体上固定摄影镜头的类型的数字相机。

更换式镜头200由摄影镜头201、光圈203、驱动器205、微型计算机207、闪存209构成，在与后述的相机主体100之间具有接口（以下称为I/F）300。

摄影镜头201由用于形成被摄体像的多个光学透镜构成，是单焦点镜头或变焦镜头。在该摄影镜头201的光轴的后方配置有光圈203，光圈203的开口直径可变，用以限制通过了摄影镜头201的被摄体光束的光量。此外，摄影镜头201可凭借驱动器205在光轴方向上移动，根据来自微型计算机207的控制信号，对摄影镜头201

的焦点位置进行控制，在是变焦镜头的情况下，还对焦距进行控制。此外，驱动器205还进行光圈203的开口直径的控制。

与驱动器205连接的微型计算机207与I/F300和闪存209连接。微型计算机207按照在闪存209中存储的程序工作，与后述的相机主体100内的微型计算机121进行通信，根据来自微型计算机121的控制信号进行更换式镜头200的控制。

闪存209除了所述程序之外，还存储有更换镜头200的光学特性和调整值等各种信息。I/F300是用于进行更换式镜头200内的微型计算机207与相机主体100内的微型计算机121相互之间的通信的接口。

在相机主体100内部，在摄影镜头201的光轴上配置有机械快门101。该机械快门101控制被摄体光束的通过时间，采用公知的焦平面快门等。在该机械快门101的后方，在通过摄影镜头201形成被摄体像的位置处配置有摄像元件103。

在摄像元件103中，构成各像素的光电二极管二维地配置成矩阵状，各光电二极管产生与受光量相应的光电转换电流，通过与各光电二极管连接的电容器蓄积该光电转换电流的电荷。在各像素的前表面配置有拜耳排列的RGB滤色器。另外，摄像元件103不限于拜耳排列，例如可以是Foveon（注册商标）那样的层叠形式。

摄像元件103与模拟处理部105连接，该模拟处理部105对从摄像元件103读取的光电转换信号（模拟图像信号）降低复位噪声后进行波形整形，进而进行增益提升以成为适当亮度。

模拟处理部105与A/D转换部107连接，该A/D转换部107对模拟图像信号进行模拟-数字转换，将数字图像信号（以下称之为图像数据）输出到总线110。另外，在本说明书中，将在图像处理部109进行图像处理之前的原始的图像数据称作RAW数据。

总线110是用于将在相机主体100内部读取或生成的各种数据转发到相机主体100内部的转发路径。总线110除了与所述A/D转换部107连接之外，还连接着图像处理部109、AE（Auto Exposure：自动曝光）处理部111、AF（Auto Focus：自动对焦）处理部113、图像压缩解压缩部115、通信部117、微型计算机121、SDRAM（Synchronous DRAM：同步DRAM）127、存储器接口（以下称为存储器I/F）129和显示驱动器133。

图像处理部109具有进行基本的图像处理的基本图像处理部109a、在设定了艺术滤镜的情况下用于实施特殊效果的特殊图像处理部109b、用于进行组合多个照片构成1张图像的组合照片的编辑处理的组合照片处理部109c、以及对图像进行解析的被摄体检测部109d。

基本图像处理部109a对RAW数据实施光学黑（OB）减法处理、白平衡（WB）校正、拜耳数据情况下进行的同时化处理、色彩再现处理、伽马校正处理、色彩矩阵运算、降噪（NR）处理、边缘强化处理等。在仅为1张摄影、且未设定艺术滤镜的情况下，仅凭该基本图像处理部109a的处理即可完成图像处理。

另外，特殊图像处理部109b根据所设定的特殊效果（艺术滤镜），对由基本图像处理部处理后的图像实施降低周边亮度的针孔效果、使图像模糊并与原图像合成的柔焦处理、与噪声图像合成的噪声效果、在亮点描绘十字图案的十字滤镜效果、使得周边部模糊的微缩效果等各种特殊效果。

组合照片处理部109c组合多个图像生成1张图像（组合照片）。在图像组合时，从闪存125读入模板（参照后述图5），使用基本图像处理部109a内的伽马校正进行亮度变更，以使得图像亮度相同。此外，为了统一整体的白平衡（WB），使用基本图像处理部109a内的色彩再现处理来变更WB。此外，在合成后使用特殊图像处理部109b来应用针孔效果等特殊效果，进行组合图像或置换图像的修正等。

组合照片处理部109c实现作为第1图像处理部的功能，该第1图像处理部对构成组合照片的图像进行第1图像处理，生成第1图像。此外，实现作为第2图像处理部的功能，该第2图像处理部对第1图像进行第2图像处理，生成第2图像。此外，组合照片处理部109c实现作为组合照片处理部的功能，该组合照片处理部根据组合照片的组合位置来合成第2图像，生成组合照片。

作为第1图像处理部发挥作用的组合照片处理部109c对图像尺寸进行缩放，将图像旋转并对图像进行裁剪（参照图11的S123）。另外，也可以不需要进行这3个处理的全部而只进行一部分处理，此外，只要是在组合照片生成前进行的基本图像处理，也可以追加其他的处理。此外，作为第2图像处理部发挥作用的组合照片处理部109c进行图像的颜色校正、亮度校正（参照图11的S129、S131）。另外，不需要进行这两个处理的全部，此外，也可以追加例如画质调整等在基本图像处理后进行的处理。

被摄体检测部109d利用模式匹配等来解析图像，检测人脸或宠物等被摄体。在能够检测到被摄体的情况下，取得图像内被摄体的种类、大小、位置、可靠性等信息。被摄体检测部109d与组合照片处理部109c协作作为解析部发挥作用，该解析部解析图像的特征部并输出解析结果（参照图11的S125）。图像的特征部是直方图、被摄体检测结果、主要被摄体的大小、位置、颜色这些特征中的至少一个。

AE处理部111根据经由总线110输入的图像数据测定被摄体亮度，并经由总线110将该被摄体亮度信息输出给微型计算机121。为进行被摄体亮度的测定也可以设定专用的测光传感器，但在本实施方式中，根据图像数据计算被摄体亮度。

AF处理部113从图像数据中提取出高频成分的信号，通过累计处理取得对焦评价值，并经由总线110输出给微型计算机121。在本实施方式中，通过所谓的对比度法进行摄影镜头201的对焦。在本实施方式中以基于对比度法的AF控制为例进行了说明，但也可以在光路上设置相位差传感器，或者在摄像元件上设置相位差传感器，通过基于相位差AF的AF控制进行对焦。

图像压缩解压缩部115在将图像数据记录到记录介质131时，将从SDRAM127读出的图像数据在静态图像的情况下按照JPEG方式等对其进行压缩，在动态图像的情况下按照MPEG等各种压缩方式对其进行压缩。微型计算机121对JPEG图像数据或MPEG图像数据附加构成JPEG文件、MPO（Multi Picture Object，多图像对象）文件或MPEG文件所需的文件头，生成JPEG文件、MPO文件、MPEG文件，将该生成的文件通过存储器I/F129记录于记录介质131中。另外，在本实施方式中，利用MPO文件记录由组合照片的图像（主图像）和组合照片的各个图像（副图像）构成的图像文件。后面在图20、图21中对该文件结构进行说明。

此外，图像压缩解压缩部115还进行用于图像再现显示的JPEG图像数据和MPEG图像数据的解压缩。在进行解压缩时，读出在记录介质131中记录的文件，在图像压缩解压缩部115中实施解压缩处理，然后将解压缩后的图像数据暂时存储于SDRAM127中。另外，在本实施方式中，作为图像压缩方式，采用的是JPEG压缩方式和MPEG压缩方式，然而压缩方式不限于此，也可以采用TIFF、H.264等其他压缩方式。

通信部117利用基于USB、LAN等的有线通信、无线通信等与外部进行通信。通过通信部117更新或追加在闪存125内存储的用于组合照片的分割的模板。

微型计算机121实现作为该相机主体的控制部的功能，总括地控制相机的各种动作时序。微型计算机121除了与所述I/F300连接以外，还连接着操作部123和闪存125。

微型计算机121作为控制部发挥作用，在进行了第1图像处理后，该控制部通过组合照片处理部109c根据组合照片的组合位置来合成实施了第2图像处理后的第2图像，而生成组合照片，将组合照片和第1图像记录为1个图像文件。该功能例如是通过图11所示的流程图来执行的。

操作部123包括电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部件，操作部123检测这些操作部件的操作状态，将检测结果输出给微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户的操作对应的各种动作时序。电源按钮是用于指示该数字相机的电源的接通/断开的操作部件。按下电源按钮时，该数字相机的电源接通，再次按下电源按钮时，该数字相机的电源断开。

释放按钮由通过半按下而打开的第一释放开关和从半按下状态进一步按下而成为全按下时打开的第二释放开关构成。微型计算机121在第一释放开关打开时，执行AF动作和AF动作等摄影准备动作时序。此外，在第二释放开关打开时，执行控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，将该图像数据记录于记录介质131的一系列摄影动作时序，来进行摄影。

动态图像按钮是用于指示动态图像摄影的开始和结束的操作按钮，最初对动态图像按钮进行操作时开始动态图像摄影，再次进行操作则结束动态图像摄影。再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，从记录介质131读出摄影图像的图像数据，并在显示面板135中再现显示摄影图像。删除按钮例如是用于在一览显示再现图像时或显示组合照片时等，指定图像并进行删除的操作按钮。放大按钮是用于在再现显示时放大显示图像的操作按钮。

菜单按钮是用于在显示面板135中显示菜单画面的操作按钮。在菜单画面上能够进行各种相机设定。作为相机设定，例如有通常摄影模式和组合照片等摄影模式的设定、自然、鲜艳、平淡、肖像、艺术滤镜等完成效果的设定。作为艺术滤镜，具有波普艺术效果、玩具相机效果、梦幻对焦效果、黑白效果、透视画效果、水晶效果等。此外，在菜单画面上还能够进行组合照片的样式、组合照片的置换图像的选择、组合照片编辑时是否记录编辑前的图像等各种设定。另外，在组合照片的情况下，根据样式和组合图像选择状况来变更实时取景（LV）的显示（参照图7的S47）。

此外，操作部123中设有触摸输入部123a。显示面板135可进行触摸操作，触摸输入部123a检测用户触摸的位置等，输出给微型计算机121。

闪存125存储有用于执行微型计算机121的各种动作时序的程序。微型计算机121根据该程序进行相机整体的控制。

SDRAM127是用于暂时存储图像数据等的可进行电改写的易失性存储器。该SDRAM127暂时存储从A/D转换部107输出的图像数据以及在图像处理部109和图像压缩解压缩部115等中进行了处理的图像数据。

存储器I/F129与记录介质131连接，进行将图像数据和在图像数据中附加的文件头等数据写入记录介质131以及从记录介质131读取这些数据的控制。记录介质131作为记录第1图像（参照图11的S123，图20、21的副图像P11～P14等）和组合照片的图像（参照图11的S133，图20、21的主图像P1、P2）（图11的S137）的记录部发挥作用。记录介质131例如是可在相机主体100上自由拆装的存储卡等记录介质，但不限于此，也可以是内置于相机主体100内的硬盘等。

显示驱动器133与显示面板135连接，根据从SDRAM127和记录介质131中读出并由图像压缩解压缩部115解压缩后的图像数据，在显示面板135上显示图像。显示面板135配置于相机主体100的背面等，进行图像显示。图像显示包括在刚结束摄影后短时间显示所记录的图像数据的记录浏览显示、在记录介质131中记录的静态图像和动态图像的图像文件的再现显示以及实时取景显示等动态图像显示。另外，作为显示部可采用液晶显示面板（LCD）、有机EL等各种显示面板。

下面使用图2至图5说明本实施方式的相机的组合照片的编辑动作。图2示出选择了组合照片模式，并将显示面板135的画面分割为4部分的情况下的实时取景显示。另外，分割画面内的斜线（人物肘部附近的二重线、腿部后方的二重线）表示被摄体正在运动。此外，图2的左侧表示被摄体的情形，右侧表示显示面板135的显示状态。

首先，在图2中，如135a所示，在分割为4部分的画面内的左上画面进行实时取景显示。用户在希望作为组合照片的图像而取入的情况下，若触摸了显示面板135的左上部，则如135b所示，确定摄影，在下一画面（右上画面）进行实时取景显示。接着，135c是确定了右上画面的摄影的情形，135d表示确定了左下画面的摄影的情形。当确定了右下画面的摄影时（参照135e），摄影结束，能够取得组合照片。

在图2所示例子中，通过触摸显示面板135来确定摄影，按照左上→右上→左下→右下的顺序进行了实时取景显示。但也可以不按照该顺序进行实时取景显示。例如也可以如图3所示，在左上画面进行实时取景显示时（参照图3的135f），若触摸了未进行实时取景显示的左下画面，则在该画面进行实时取景显示（参照图3的135g）。另外，后面会使用图14的步骤S161、S163说明该摄影帧的具体变更操作。

此外也可以是，在图2中，虽然在实时取景显示中触摸了显示面板135时确定了摄影，但也可以当在所确定的画面中再次进行了触摸时，返回实时取景画面。在图3所示的显示面板135h中，在3个画面（左上、右上、左下画面）示出了确定了摄影的情形，但是，若触摸该确定了摄影的左下画面，则显示面板135j的左下画面成为实时取景显示画面。

此外，在本实施方式中，即使在确定了所有的摄影，完成了组合照片之后，也能将其中一部分图像置换为其他图像。例如在图4中，示出在确定了4张图像的情况下，用户为了使用其他图像置换右下画面的图像而进行指定的情形。在本实施方式中，通过进行触摸，而显示该图像的外框，表示是替换对象图像。

在图2至图4所示的组合照片的例子中，分割为左上、右上、左下、右下4个部分，但画面的分割不限于此。例如图5所示，也可以分割为各种形状。该分割的形状（模板、样式）可预先存储于闪存125中，能够根据用户的喜好进行设定。

下面使用图6和图7所示的流程图，说明本实施方式的相机的主要处理。另外，图6～图11、图13～图15、图17～图22D所示的流程图是由微型计算机121依照在闪存125中存储的程序控制各部分来执行的。

在对操作部123内的电源按钮进行操作使电源接通后，图6所示的主流程开始动作。开始动作后，首先执行初始化（S1）。作为初始化，进行机械性初始化以及各种标记等的初始化等电气初始化。作为各种标记之一，将表示是否处于动态图像记录之中的记录中标记重置为关闭（参照步骤S13、S15）。

进行了初始化后，接下来判定是否按下了再现按钮（S3）。在此，检测操作部123内再现按钮的操作状态并进行判定。该判定结果为按下了再现按钮的情况下，执行再现/编辑（S5）。在此，从记录介质131中读出图像数据，在LCD135中显示静态图像和动态图像的一览。用户通过对十字键进行操作，从一览中选择图像，通过OK键确定图像。此外，在该步骤中，还进行组合照片的编辑。后面使用图17说明该再现/编辑的详细动作。

在执行了步骤S5的再现/编辑后，或者步骤S3的判定结果为未按下再现按钮的情况下，判定是否进行相机设定（S7）。在操作了操作部123内的菜单按钮时，在菜单画面中进行相机设定。因此，在该步骤中根据是否进行了该相机设定来进行判定。

在步骤S7的判定结果为相机设定的情况下，进行相机设定（S9）。如上所述，能够在菜单画面中进行各种相机设定。如上所述，作为相机设定例如有通常摄影模式和组合照片等摄影模式的设定、自然、鲜艳、平淡、肖像、艺术滤镜等完成效果的设定。作为艺术滤镜，有波普艺术效果、玩具相机效果、梦幻对焦效果、黑白效果、透视画效果、水晶效果等。此外，还能够进行组合照片的样式、组合照片的置换图像的选择、在组合照片编辑时是否记录编辑前的图像、选择用于将已记录的图像嵌入到组合照片的预定帧中的图像等各种设定。

在步骤S9中进行了相机设定后，或者步骤S7的判定结果为并非相机设定的情况下，接下来进行是否按下了动态图像按钮的判定（S11）。在此，微型计算机121从操作部123输入动态图像按钮的操作状态并进行判定。

在步骤S11的判定结果为按下了动态图像按钮的情况下，判定记录中标记（S13）。在动态图像摄影中，记录中标记被设定为打开（1），在未拍摄动态图像的情况下被重置为关闭（0）。在该步骤中，将标记反转，即在设定了打开（1）的情况下，使其反转为关闭（0），在设定了关闭（0）的情况下，使其反转为打开（1）。

在步骤S13中进行了记录中标记的反转后，接下来判定是否为动态图像记录中（S15）。在此，根据在步骤S13中被反转的记录中标记是被设定为打开还是被设定为关闭来进行判定。

在步骤S15的判定结果为动态图像记录中的情况下，生成动态图像文件（S19）。在后述的步骤S61中进行动态图像的记录，但在该步骤中，生成动态图像记录用的动态图像文件，进行准备以能够记录动态图像的图像数据。

另一方面，在判定结果为并非动态图像记录中的情况下，关闭动态图像文件（S17）。由于对动态图像按钮进行操作而结束了动态图像摄影，因而在该步骤中关闭动态图像文件。在关闭动态图像文件时，在动态图像文件的文件头记录帧数等，从而将动态图像文件设为能够再现的状态，结束文件写入。

在步骤S17中关闭了动态图像文件后，或者在步骤S19中生成了动态图像文件后，或者步骤S11的判定结果为未按下动态图像按钮的情况下，接下来判定是否在组合照片模式下对操作部进行了操作（S21）。如上所述，在步骤S9的相机设定中，能够进行组合照片模式的设定。在该步骤中，判定是否在设定了该组合照片模式的状态下操作了操作部123的操作部。

在步骤S21的判定结果为在组合照片模式下对操作部进行了操作的情况下，执行组合照片操作（S23）。在该组合照片操作中，在进行了用于进行组合照片的编辑的各种操作例如摄影帧变更、取消操作、恢复操作、暂时保存操作、暂时保存读入操作等操作时，执行该组合照片操作。后面使用图14和图15说明该组合照片操作的详细动作。

在步骤S23中执行了再现/编辑后，或者步骤S21的判定结果为未在组合照片模式下对操作部进行操作的情况下，判定是否半按下了释放按钮，换言之判定第一释放开关是否从关闭变为了打开（S31）。该判定是通过由操作部123检测与释放按钮联动的第一释放开关的状态，并根据该检测结果来进行的。在检测的结果为第一释放开关从关闭转变到打开的情况下判定结果为“是”，另一方面，在维持打开状态或关闭状态的情况下，判定结果为“否”。

在步骤S31的判定结果为释放按钮被半按下，从关闭转变为第一释放的情况下，执行AE、AF动作（S33）。在此，AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度，根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。

此外，在步骤S33中进行AF动作。在此，驱动器205通过更换式镜头200内的微型计算机207使摄影镜头201的焦点位置移动，以使得由AF处理部113取得的对焦评价值成为峰值。因此，在未进行动态图像摄影的情况下，若半按下了释放按钮，则在该时刻进行摄影镜头201的对焦。此后进入步骤S35。

在步骤S31的判定结果为释放按钮未从关闭转变为第一释放的情况下，接下来判定是否释放按钮被全按下而使第二释放开关打开（S37）。在该步骤中，通过操作部123检测与释放按钮联动的第二释放开关的状态，根据该检测结果进行判定。

在步骤S37的判定结果为全按下了释放按钮而使第二释放开关打开的情况下，进行基于机械快门101的静态图像摄影（S39）。在此，以在步骤S33中运算得到的光圈值来控制光圈203，并以运算得到的快门速度来控制机械快门101的快门速度。然后，在经过了与快门速度相应的曝光时间后，从摄像元件103读出图像信号，将由模拟处理部105和A/D转换部107进行了处理后的RAW数据输出到总线110。

在进行了基于机械快门101的摄影后，接下来进行图像处理（S41）。在此，读出通过基于机械快门101的摄影而由摄像元件103取得的RAW数据，通过图像处理部109进行图像处理。后面使用图8说明该图像处理的详细动作。

进行了图像处理后，接下来进行静态图像记录（S43）。在此，将实施了图像处理后的静态图像的图像数据记录于记录介质131。另外，在以组合照片进行了摄影的情况下，当希望取消（删除）组合照片内的一部分图像时，能够通过取消操作进行删除。后面使用图13说明该静态图像记录的详细动作。

进行了静态图像记录后，接下来进行是否为组合照片模式的判定（S45）。如上所述，组合照片模式是在菜单画面等中设定的，在该步骤中判定是否设定了该组合照片模式。

在步骤S45的判定结果为设定了组合照片模式的情况下，进行实时取景（LV）显示的变更（S47）。在设定了组合照片模式的情况下，根据样式（模板、参照图5）和图像的张数，变更实时取景显示。在始终对所有帧进行实时取景显示的情况下，在摄影图像以外的部分进行实时取景显示。此外，在逐帧地进行实时取景显示的情况下（参照图2的显示方式），摄影后向下一帧（例如在图2的显示面板135a～135e中，按照左上→右上→左下→右下的顺序）切换实时取景显示。无论何种情况下，所拍摄的帧都显示摄影图像。此外，也可以使用OSD（屏幕直接显示），以能够知道是摄影完毕的图像还是实时取景图像的方式进行显示，还可以是以能够知道摄影顺序的方式显示摄影完毕的图像。此后进入步骤S35。

在步骤S37的判定结果为并非第二释放操作的情况下，即第二释放开关并非打开的情况下，接着进行AE（S51）。从所述步骤S31经过S37的情况是未对释放按钮进行任何操作的情况，该情况下在后述的步骤S57中进行实时取景显示。在步骤S51中，进行用于进行实时取景显示的曝光控制。即，计算出为了以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO灵敏度。

在进行了AE后，接下来进行基于电子快门的摄影（S53）。在此，使用摄像元件103的电子快门取得图像数据。接着对所取得的图像数据进行图像处理（S55）。此处的图像处理用于实时取景显示，并且在设定了特殊效果的情况下，还进行与所设定的特殊效果对应的图像处理。后面使用图8说明该图像处理的详细动作。

进行了图像处理后，在显示面板135中进行实时取景显示（S57）。由于在步骤S53中取得了图像数据，并且在步骤S55中进行了图像处理，因而在该步骤中进行实时取景显示的更新。摄影者能够通过观察该实时取景显示，来确定构图和快门释放时机。

在步骤S57中进行了实时取景显示后，进行是否为动态图像记录中的判定（S59）。在此，判定记录中标记是否打开。在该判定的结果为动态图像记录中的情况下，进行动态图像记录（S61）。在此，对从摄像元件103读出的摄像数据进行图像处理，使其成为动态图像用的图像数据，并记录于动态图像文件中。然后进入步骤S35。

在步骤S35中，进行是否为电源断开的判定。在该步骤中，判定是否再次按下了操作部123的电源按钮。在该判定结果为并非电源断开的情况下，返回步骤S3。另一方面，在判定结果为电源断开的情况下，进行主流程的结束动作，然后结束主流程。

这样，在本发明一个实施方式的主流程中，在设定了组合照片模式的情况下，能够进行再现/编辑（S23），并且在进行了释放按钮的全按下（第二释放操作）时进行摄影，并且进行实时取景显示的变更。

接着，使用图8所示的流程图说明步骤S41、S55的图像处理。进入图像处理的流程后，首先进行基本图像处理（S71）。在此，基本图像处理部109a对从摄像元件103读出并通过A/D转换部107进行了A/D转换的图像数据实施光学黑（OB）减法、白平衡（WB）校正、同时化处理、色彩再现处理、亮度变更处理、边缘强化处理、降噪（NR）处理等。后面使用图9说明该基本图像处理的详细动作。

进行了基本图像处理后，接下来判定是否设定了艺术滤镜（S73）。由于在所述相机设定（S9）中设定艺术滤镜，因此判定在该步骤中是否设定了艺术滤镜。

在步骤S73的判定结果为设定了艺术滤镜的情况下，进行特殊图像处理（S75）。在此，根据所设定的艺术滤镜的种类实施特殊图像处理。后面使用图10说明该特殊图像处理的详细动作。

在进行了特殊图像处理后或者步骤S73的判定结果为未设定艺术滤镜的情况下，接下来进行是否为组合照片的判定（S77）。在该判定的结果为设定了组合照片模式的情况下，进行组合照片生成（S79）。在该组合照片生成中，进行图像缩放和旋转等预处理，并进行颜色变更和亮度变更，然后根据样式（模板）进行图像的合成，生成组合照片。后面使用图11说明该组合照片生成的详细动作。

在进行了组合照片生成后或者步骤S77的判定结果为未设定组合照片模式的情况下，返回原流程。

这样，在本实施方式的图像处理中，进行基本图像处理，并根据需要进行特殊图像处理，然后在设定了组合照片模式的情况下，进行组合照片生成。

接着，使用图9所示的流程图说明步骤S71（图8）的基本图像处理的详细动作。进入基本图像处理的流程后，首先进行光学黑（OB）运算（S81）。在该步骤中，通过基本图像处理部109a内的OB运算部，从构成图像数据的各像素的像素值分别减去由摄像元件103的暗电流等导致的光学黑体值。

进行了OB运算后，接下来进行白平衡（WB）校正（S83）。在该步骤中，根据预先设定的白平衡模式，通过基本图像处理部109a内的WB校正部对图像数据进行WB校正。具体而言，从相机主体的闪存125中读出与用户设定的白平衡模式相应的R增益和B增益，对拜耳排列的图像数据乘以该值由此进行校正。或者在自动白平衡的情况下，根据RAW数据等计算出R增益和B增益，使用这些值进行校正。

接着进行同时化处理（S85）。在该步骤中，通过基本图像处理部109a内的同时化处理部将进行了白平衡校正的图像数据转换为各像素由RGB数据构成的数据。具体而言，通过插补由周边求出该像素中不存在的数据，并转换为RGB数据。但是，例如在RAW数据已经是与RGB数据相同的形式（由Foveon传感器得到的RAW数据等）的情况下，无需进行同时化处理。

在进行了同时化处理后，接下来进行色彩再现处理（S87）。在该步骤中，通过基本图像处理部109a内的色彩再现处理部进行对图像数据乘以与所设定的白平衡模式相应的色彩矩阵系数的线性转换，校正图像数据的颜色。色彩矩阵系数存储于闪存125中，因此需读出来使用。

在进行了颜色再现处理后，接下来进行亮度变更处理（S89）。在该步骤中，通过基本图像处理部109a内的伽马处理部读出在闪存125中存储的伽马表，对图像数据进行伽马校正处理。即，利用RGB进行伽马转换，颜色转换为YCbCr后，使用Y进一步进行伽马转换。

在进行了伽马转换后，接下来进行边缘强化（S91）。在该步骤中，由基本图像处理部109a内的边缘强调处理部通过带通滤波器对进行了伽马转换的图像数据提取边缘成分，根据边缘强化度乘以系数并与图像数据相加，由此对图像数据的边缘进行强化。

然后进行NR（噪声去除）（S93）。在该步骤中，对图像进行频率分解，根据频率进行降低噪声的处理。进行了降噪处理后返回原流程。

接着，使用图10所示的流程图说明步骤S75（图8）的特殊图像处理的详细动作。

进入特殊图像处理的流程后，首先判定是否设定了玩具相机效果作为艺术滤镜模式（S101）。在该判定结果为设定了玩具相机效果的情况下，附加阴影效果（S103）。在此，特殊图像处理部109b根据与中心的距离生成使得亮度逐渐降低的增益图（增益值在1以下），对每个像素乘以与像素相应的增益，由此对图像周边赋予阴影效果。

在进行了阴影附加后或者步骤S101的判定结果并非玩具相机效果的情况下，接下来判定是否设定了梦幻对焦作为艺术滤镜模式（S105）。在该判定结果为设定了梦幻对焦的情况下，进行柔焦处理（S107）。在此，特殊图像处理部109b使原图像模糊，按照预定比例（例如模糊的图像：模糊前的图像=2:3的比例）将该模糊的图像与模糊前的图像合成。

在进行了柔焦处理后或者步骤S105的判定结果并非梦幻对焦的情况下，接下来判定是否设定了黑白效果作为艺术滤镜模式（S109）。该判定结果为设定了黑白效果的情况下，进行噪声重叠处理（S111）。在此，特殊图像处理部109b对图像数据实施噪声附加处理。噪声附加处理是将预先生成的噪声图形图像与被摄体图像相加的处理。可以根据随机数等生成噪声图形图像。

在进行了噪声重叠处理后或者步骤S109的判定结果并非黑白效果的情况下，接下来判定是否设定了透视画效果作为艺术滤镜模式（S113）。在该判定结果为设定了透视画效果的情况下，进行模糊处理（S115）。在此，特殊图像处理部109b进行以原图像的AF目标为中心，按照上下或左右或距离逐渐模糊的处理。

在进行了模糊处理后或者步骤S113的判定结果并非透视画效果的情况下，接下来判定是否设定了水晶效果作为艺术滤镜模式（S117）。在该判定结果为设定了水晶效果的情况下，进行十字滤光处理（S119）。在此，特殊图像处理部109b从图像中检测亮点，以该亮点为中心描绘具备呈十字状或多根放射状的形状演绎光耀的效果的十字图形。

在进行了十字滤光处理后或者步骤S117的判定结果为未设定水晶效果的情况下，结束特殊图像处理的流程，返回原流程。

接着，使用图11所示的流程图说明步骤S79（图8）的组合照片生成的详细动作。如上所述，在图8所示的图像处理的流程中，首先进行基本图像处理，接着进行特殊图像处理，然后进行该组合照片生成。在该组合照片生成中，将图像合成到图5所示的样式（模板）中。进行该合成时，大体上若存在未在步骤S121～S127中实施过预处理的帧，则实施预处理。实施了预处理后，进行颜色变更和亮度变更等，执行在样式中嵌入图像的图像处理，然后进行图像记录。

进入组合照片生成的流程后，首先进行是否存在未执行预处理的帧的判定（S121）。在此，判定对于要合成的全部帧的图像是否已完成在步骤S128以后的处理中不需要每次执行的缩放/旋转/裁剪、图像解析等预处理。

当步骤S121的判定结果为存在未实施预处理的帧时，接下来进行缩放/旋转/裁剪（S123）。此时，为了嵌入到图5所示的样式中，组合照片处理部109c配合帧来进行图像缩放、旋转和裁剪等处理。

在进行了缩放后，接下来进行图像解析（S125）。对进行合成的原图像（置换图像）进行解析，取得图像特征（例如亮度分布和颜色分布等）。可以使用完成了基本图像处理等图像处理的图像进行解析，此外，也可以解析作为其原始数据的RAW数据。

在进行了图像解析后，接下来进行帧图像存储（S127）。在此，将进行了步骤S123、S125的预处理的图像存储于SDRAM127中。图16A示出了SDRAM127的显示/记录用组合图像存储区域，区域R1是与组合到组合照片中的帧数量相当的区域，区域R2是与组合到组合照片中的帧数量相当的退避区域。在该步骤S127中，将进行了预处理的图像的图像数据和图像解析结果存储于帧图像区域R1内的对应的区域（帧图像区域1～帧图像区域n中的某个）。

在进行了帧图像的存储后，或者步骤S121中的判定结果为不存在未实施预处理的帧的情况下，接下来进行颜色变更（S129）。在此，组合照片处理部109c校正CbCr，使得进行合成的图像成为大致相同的颜色。此时，使用各帧图像区域的数据进行处理，但并不变更SDRAM127的帧图像区域R1内的数据。这是为了以后以MPO形式保存数据。后面使用图20、图21来说明该MPO形式的数据保存。

作为颜色变更的校正方法，例如使图像的CbCR偏移，使得进行合成的所有图像的颜色分布（在CbCr平面的分布）的峰值成为各峰值的平均值。使用图12B、12C说明该校正方法。图12B的曲线图（b-1）表示图像1和图像2的色差（Cb），图12C的曲线图（c-1）表示色差（Cr）。若分别针对图像1、2使色差偏移以使得颜色分布的峰值成为平均值（参照图12B的曲线图（b-2）、图12C的曲线图（c-2）），则两个图像的色差变得大致相同（参照图12B的曲线图（b-3）和图12C的曲线图（c-3））。

在步骤S129中进行了颜色变更后，接下来进行亮度变更（S131）。在此，组合照片处理部109c进行校正以使得进行合成的图像的亮度变得相同。作为校正方法，例如进行校正以使得各图像的平均值与进行合成的所有图像的亮度分布的平均值大致一致。此时，若通过亮度伽马（仅亮度成分的伽马）进行转换，则在大幅变更了亮度的情况下，颜色看起来会不自然。因此，例如也可以进行RGB转换，在RGB颜色空间进行伽马校正。

使用图12A说明亮度变更的例子。图12A的曲线图（a-1）表示图像1和图像2的亮度。在RGB颜色空间对二者进行表转换（参照曲线图（a-2））。根据曲线图（a-1）可知，图像2整体上低亮度成分较多，因此通过表转换提升低亮度侧的亮度。转换后如曲线图（a-3）所示，图像1和图像2成为大致同样的亮度分布。

在步骤S131中进行了亮度变更后，接下来进行合成（S133）。在此，组合照片处理部109c将背景图像上的各图像合成。即，将图像嵌入合成到图5所示的样式的各位置，从而生成组合照片。

在进行了合成后，接下来附加特殊效果（S135）。在此，对合成后的图像附加阴影或模糊等特殊效果。另外，在图8的步骤S75中对各图像附加特殊效果，而在该步骤中，附加对于合成图像的特殊效果。

在附加了特殊效果后，接下来进行图像存储（S137）。在此，将合成结果存储于显示/记录用组合图像记录区域。进行了图像存储后返回原流程。

这样，在组合照片生成的流程中，在未实施预处理的情况下，实施缩放等处理和图像解析（S123、S125），将该预处理后的图像数据存储于SDRAM127的帧图像区域R1中（S127），对预处理完毕的图像进行颜色变更和亮度变更（S129、S131），然后，合成组合照片图像（S133），进行图像记录（S137）。由于将进行了预处理并在进行颜色变更和亮度变更之前的图像数据存储于帧图像区域R1中，因而在生成了组合照片之后，能够在与置换图像替换时读出预处理时的图像数据，能够进行适当的颜色变更和亮度变更。

此外，在组合照片生成的流程中，将进行了缩放、旋转、裁剪等预处理的图像与图像解析结果存储为帧图像（副图像）（参照S123～S127）。此外，使用进行了颜色变更和亮度变更的图像，实施合成处理，生成组合照片的图像（主图像），进行图像记录（S129～S137）。由于个别地存储构成组合照片的各个副图像，因此即便反复置换构成组合照片的一部分图像，组合照片的图像也不会劣化。

因此，在组合照片生成的流程中，在生成组合照片，并将该组合照片与副图像（第1图像）记录为1个图像文件后，能够利用与副图像（第1图像）不同的置换图像来置换构成组合照片的图像的一部分，生成新的组合照片。该情况下，通过第1图像处理部对置换图像进行图像处理（即，步骤S123），进而通过第2图像处理部进行图像处理（即，步骤S129、131），由组合照片处理部使用实施了该图像处理后的置换图像，以及由第2图像处理部（步骤S129，S131）对记录在图像文件中的置换图像以外的副图像（第1图像）进行了图像处理后的第2图像，来重新生成组合照片。后面使用图20、图21来说明该组合照片的生成。

接着，使用图13所示的流程图说明步骤S43（图7）的静态图像记录的详细动作。该静态图像记录是在基于所述机械快门101的摄影（S39）、图像处理（S43）之后接着执行的，进行用于将进行了图像处理的图像数据记录于记录介质131中的处理。

当进入了静态图像记录的流程后，首先进行是否为组合照片模式的判定（S141）。在该判定结果为并非组合照片模式的情况下，是通常模式，进行记录浏览显示（S157）。在此，在预定时间的期间在显示面板135中暂时地显示记录在记录介质131中的图像。由此用户能够确认摄影图像。

当进行了记录浏览显示后，接下来进行静态图像记录（S159）。在组合照片以外，对进行了图像处理的图像进行JPEG压缩并记录于记录介质131中。但是不限于此，也可以通过非压缩形式（例如TIFF等）进行记录，还可以采取其他压缩形式。此外，也可以记录RAW图像。

在步骤S141的判定结果为是组合照片模式的情况下，判定是否进行摄影图像记录（S143）。在组合照片模式中，将各图像嵌入到图5所示的样式中，但也可以是，即使在设定了组合照片模式的情况下，也记录不嵌入到样式中的图像。在该步骤中，在图6的步骤S9的相机设定中，判定用户是否将是否记录组合照片的各帧的设定设为了打开。

在步骤S143的判定结果为摄影图像记录的情况下，进行静态图像记录（S145）。在此，与步骤S159同样地，不作为组合照片而作为单独的摄影图像进行摄影，通过JPEG等进行压缩等并记录于记录介质131中。

在步骤S145进行了静态图像记录后或者步骤S143的判定结果为并非摄影图像记录的情况下，接下来进行组合是否完成的判定（S147）。在此，判定是否拍摄了满足预先设定的样式的数量的图像并进行了合成。例如在使用图2、图3说明的组合照片中，判定是否拍摄了4张照片并进行了合成。此外，例如在合成4张图像的情况下，拍摄了两张图像并从记录图像中选择了两张图像的情况也判定为组合完成。

在步骤S147的判定结果为组合完成的情况下，进行记录浏览显示（S149）。在此，组合照片的所有图像都已齐全，因而在显示面板135上对该组合照片进行记录浏览显示。另外，在记录浏览显示中，也可以是与后述的再现流程同样地，能够进行放大显示。

在进行了记录浏览显示后，接下来判定是否进行了取消操作（S151）。用户观察记录浏览显示时，有时希望删除一部分照片并进行替换。因此，在本实施方式中，进行记录浏览显示，在预定时间（例如3秒）内进行了取消操作的情况下，能够取消所指定的帧，进行重新摄影。另外，作为取消操作，既可以通过触摸面板来指定，也可以通过删除按钮进行取消。

在步骤S151的判定结果为进行了取消操作的情况下，进行组合照片操作（S155）。在组合照片操作的子程序中，执行取消操作（参照后述的图14的S165～S173）。

另一方面，在步骤S151的判定结果为未进行取消操作的情况下，进行组合照片记录（S153）。在此，将完成的组合照片的合成图像数据记录于记录介质131中。

在步骤S153中进行了组合照片记录后、或者在步骤S155中进行了组合照片操作后、或者步骤S147的判定结果为未完成组合、或者在步骤S159中进行了静态图像记录后，返回原流程。

这样，在静态图像记录流程中，在凑齐由样式确定的图像张数之前不进行组合照片的记录（S147→否），在凑齐张数后进行组合照片的记录（S153）。此外，在组合照片完成后，通过进行取消操作（S151），也能够进行组合照片中的指定的图像的删除。

接着，使用图14和图15所示的流程图说明步骤S23（图6）和步骤S155（图13）的组合照片操作的详细动作。如上所述，该组合照片操作是在进行了用于进行组合照片的编辑的各种操作时执行的。

在进入组合照片操作后，首先进行是否进行了摄影帧变更操作的判定（S161），在该判定的结果为进行了摄影帧变更操作的情况下，进行摄影帧的变更（S163）。如图3的显示面板135f、135g中所说明的那样，对于将摄影图像嵌入到组合照片的样式中的哪个框中，能够适当进行变更。在通过十字键和OK按钮的操作或者触摸面板操作等进行了变更要摄影的帧的操作时，变更要摄影的帧。此时，为了知道对哪个帧进行摄影，可以在帧上显示框，或者显示图标，或者将摄影帧以外的帧显示得较暗，或者降低摄影帧以外的帧的彩度。在触摸了实时取景显示中的帧的情况下，执行释放操作（第一释放和第二释放或仅第一释放）。在利用多个帧进行实时取景显示的情况下，使用释放按钮选择要摄影的帧。

在步骤S163中进行了摄影帧的变更后或者步骤S161的判定结果为不存在摄影帧的变更操作的情况下，接下来判定是否进行了取消操作（S165）。如在静态图像记录的流程中说明的那样，对于完成的组合照片，有时希望删除一部分图像来置换图像。因此，在本实施方式中，在通过十字键选择了所拍摄的帧并按下删除按钮时或者在通过触摸面板将所拍摄的帧拖曳至垃圾箱图标时等，取消所拍摄的帧。在该步骤S165中，判定是否进行了这些操作。

在步骤S165的判定结果为进行了取消操作的情况下，接下来判定触摸操作中帧尺寸是否较小（S167）。判定在通过触摸操作进行了取消操作的情况下，要取消的帧的尺寸（纵横尺寸或面积）是否较小（例如面积在1平方厘米以下）。因为若帧尺寸较小则属于误操作。

在步骤S167的判定结果为触摸操作中帧尺寸大于预定值的情况下，接下来使图像退避（S169），进行实时取景显示的变更（S171）。有时在通过取消操作删除了图像的情况下，还希望将其恢复。因此，为了能够实现恢复（即取消操作的取消），将进行了删除指定的摄影图像（组合照片的帧的图像）暂时退避到存储器内的其他区域，将该帧视作未摄影状态，变更实时取景显示。后面使用图16B、图16C说明该图像退避。

在进行了实时取景显示后，进行组合照片生成（S173）。已使用图11说明了该组合照片生成的子程序。由于通过取消操作指定的图像已被删除，因此在该步骤中使用剩余图像重新生成组合照片。

在步骤S173中进行了组合照片生成后、或者步骤S167的判定结果为触摸操作中帧尺寸较小时、或者步骤S165的判定结果为未进行取消操作的情况下，接下来进行是否进行恢复操作的判定（S175）。在通过十字键选择了希望恢复的帧并操作删除按钮，或者通过触摸操作进行了将垃圾箱图标拖曳至希望恢复的帧的操作等时，通过操作部123或触摸面板123a的操作进行恢复操作。

步骤S175的判定结果为进行了恢复操作的情况下，接下来恢复图像（S177），进行实时取景显示的变更（S179）。此时，将被退避的图像恢复到原来的位置，视作对该帧进行了摄影，变更实时取景显示。

在进行了实时取景显示的变更后，进行组合照片生成（S181）。已使用图11说明了该组合照片生成的子程序。由于通过恢复操作指定的图像已被恢复，因此在该步骤中包括所恢复的图像在内重新生成组合照片。

在步骤S181中进行了组合照片生成后或者步骤S175的判定结果为未进行恢复操作的情况下，接下来进行是否进行暂时保存操作的判定（图15的S183）。在短时间的期间内进行多次摄影并进行组合照片的生成的情况下，能够连续地进行摄影。但是在使用早晨、中午、夜间等隔着时间间隔拍摄的图像生成组合照片的情况下，若能暂时保存制作过程中的图像则较为方便。因此在本实施方式中，能够实现构成组合照片的图像的暂时保存。作为恢复操作，是通过菜单画面或触摸面板操作等，通过暂时保存菜单的选择操作和图标的选择操作等进行的。

在步骤S183的判定结果为进行了暂时保存操作的情况下，进行组合数据的记录（S185）。此时，将当前的组合照片的状态、即通过哪个样式拍摄了哪个照片等记录于闪存125或记录介质131中。作为记录的组合数据，至少具有样式（与模板有关的信息）、摄影得到的照片数据、照片数据和模板上的关联信息。

在进行了组合数据的记录后，接下来进行组合照片的重置（S187）。在记录后，重置所拍摄的组合照片的信息，设为与第1张摄影同样的状态、即将实时取景显示和SDRAM127重置等的状态。

在步骤S187中进行了组合照片的重置后或者步骤S183的判定结果为未进行暂时保存操作的情况下，接下来判定是否进行了暂时保存读入操作（S189）。该操作是在步骤S183、S185中暂时保存了组合照片的组合数据的情况下，进行该暂时保存的组合数据的读出。作为操作，例如通过菜单画面或触摸面板等进行暂时保存读入菜单或图标的选择操作。

在步骤S189的判定结果为进行了暂时保存读入操作的情况下，接下来进行是否为摄影过程中的判定（S191）。存在正在对组合照片进行摄影的过程中进行暂时保存读入操作的情况。这种情况下，由于必须暂时中断当前进行的组合照片摄影，因而在步骤S191～S195中进行应对。在该步骤中，判定是否为组合照片摄影模式且对模板拍摄了1张以上。

在步骤S191的判定结果为是组合照片摄影中的情况下，接下来确认是否进行暂时保存（S193）。这种情况下，在显示面板135中显示是否暂时保存摄影过程中的当前状态的确认画面并询问用户。在该判定结果为进行暂时保存的情况下，进行组合数据的记录（S195）。在此，为了暂时保存当前状态，记录与步骤S185同样的组合数据。

在步骤S195中进行了组合数据记录后、或者步骤S193的判定结果为不进行暂时保存时、或者步骤S191的判定结果为并非摄影过程中的情况下，接下来读入组合数据（S197），进行实时取景显示（S199），进行组合照片生成（S201）。在此，读出在步骤S185中暂时保存的组合数据，与步骤S171和S179同样地进行实时取景显示的变更，与步骤S173和S181同样地进行组合照片的生成。

在步骤S201中进行了组合照片的生成后或者步骤S189的判定结果为未进行暂时保存读入操作的情况下，结束组合照片操作的动作，返回原流程。

这样，在组合照片操作的流程中，能够在样式的帧中变更要进行摄影的帧（S163），还能够删除并恢复帧（S169、S177）。并且，在组合照片摄影中也能够暂时保存数据，还能够读出该暂时保存的数据，继续组合照片摄影。

接下来使用图16B说明在组合照片操作的流程中说明的图像退避（S169）和图像恢复（S177）。

图16B示出SDRAM127的显示/记录用组合图像存储区域。图16B的左侧栏示出在由4张构成的组合照片内拍摄了3张图像的状态。即，在帧图像区域R1内记录有帧图像1～帧图像3的数据。

在图16B中拍摄了3张图像的状态下，若对图像2进行了取消操作（图14的S165为“是”），则帧图像区域R1的帧图像2的数据被复制为退避图像区域R2的帧图像2，删除帧图像区域R1的帧图像2的位置的数据（参照图16B中央处的栏）。

接着，当对帧图像2进行了恢复操作时（图14的S175为“是”），退避图像区域R2的帧图像2的数据被复制到帧图像区域R1的帧图像2的位置处。然后，删除退避图像区域R2的帧图像2的位置的数据（参照图16B右侧的栏）。

这样，在本实施方式中设置有预先记录帧图像的数据的帧图像区域R1和用于退避数据的退避图像区域R2。而且，在进行了取消操作后，在退避图像区域R2中进行存储，在进行了恢复操作后，复制到帧图像区域R1中。因此能够简单地恢复曾被消除的图像。

另外，在本实施方式中，在取消操作和恢复操作时会复制数据。但是不限于此，也可以通过指针进行管理。图16C示出通过指针进行管理的例子。

在图16C所示的例子中，在SDRAM127的显示/记录用组合图像记录区域中设置有存储参照指针的参照指针区域R3和帧图像区域R1。首先，在对4张图像中的3张进行了摄影的时刻，在参照指针区域R3中，作为有效图像记录有与帧图像1～帧图像3对应的地址（参照图16C左侧的栏）。

在对帧图像2进行了取消操作后，虽然在帧图像区域R1中仍然记录着帧图像2，但是从参照指针区域R3中删除帧图像2的地址（参照图16C中央的栏）。

接着，在对帧图像2进行了恢复操作后，在帧图像区域R1中仍然记录着帧图像2，此外在参照指针区域R3中恢复了帧图像2的地址（参照图16C右侧的栏）。

接下来，使用图17所示的流程图说明步骤S5（图6）的再现/编辑的详细动作。如上所述，该再现/编辑是在从记录介质131中读出摄影完毕的图像数据并进行再现时执行的。

在进入再现/编辑流程后，首先进行一览显示（S211），进行图像选择（S213）。在此，对在记录介质131中所记录的图像文件的缩略图进行一览显示。用户从一览显示中选择图像。

在进行了图像选择后，接下来进行所选择的图像是否为动态图像的判定（S215）。由于作为图像记录有静态图像和动态图像，因而根据图像形式进行判定。

在步骤S215的判定结果为所选择的图像是动态图像的情况下，读入帧数（S217）。在动态图像文件中记录有帧数，因此读入该信息。接着将计数器i初始化为1（S219）。该计数器i对帧数进行计数。

接下来对第i帧进行再现/显示（S221），对计数器i加1（S223），判定计数器i是否小于帧数（S225）。在此，从第1帧起依次读出动态图像的图像数据，并显示于显示面板135中。进行动态图像的再现，直到计数器i达到在步骤S217中读出的帧数为止。此后进入步骤S227。

步骤S215的判定结果为在步骤S213中选择的图像为静态图像的情况下，读入图像（S229）并显示（S231）。在此，读出在记录介质131中记录的静态图像的图像数据，进行解压缩处理，并显示于显示面板135中。

在进行了显示后，接下来判定是否进行了放大操作（S233），在该判定结果为进行了放大操作的情况下进行放大显示（S235）。在静态图像显示过程中，例如通过操作放大按钮等来进行放大显示。此时，在组合照片的情况下，放大显示各帧或放大显示特定的1个帧。

在步骤S235中进行了放大显示后或者步骤S233的判定结果为未进行放大操作的情况下，接下来判定是否处于放大中且进行了显示位置变更操作（S237），在该判定结果为进行了变更操作的情况下，进行放大位置变更（S239）。在处于放大显示中且进行了显示位置的变更操作、例如十字键操作的情况下，变更在图像中进行放大显示的部分。在组合照片的情况下，限制为仅能够在放大中的帧内变更显示位置。在不存在限制的情况下，设为与通常图像相同的显示。

在步骤S239中进行了放大位置变更后或者步骤S237的判定结果为放大中且未进行显示位置变更操作的情况下，接下来判定是否为组合照片且进行了显示帧变更操作（S241），在进行了变更操作的情况下，进行显示帧的变更（S243）。在是组合照片的情况下，若为放大显示中且存在显示帧变更操作、例如功能按钮（Fn按钮）操作等，则切换进行放大显示的帧。此时，预先存储在各帧的放大位置，在指示了再次显示当前所显示的帧的情况下，放大显示相同的位置。

在步骤S243中进行了显示帧变更后或者步骤S241的判定结果为是组合照片且不存在显示帧变更操作的情况下，接下来进行是否为组合照片且进行了编辑操作的判定（S245），在该判定的结果为进行了编辑操作的情况下，进行组合照片编辑（S247）。在是组合照片的情况下，通过从菜单画面选择组合照片编辑，或者通过触摸操作选择编辑图标等，能够编辑当前正在再现的组合照片中的帧。后面使用图18说明该组合照片编辑的详细动作。

在步骤S247进行了组合照片编辑后或者步骤S245的判定结果为是组合照片且未进行过编辑操作的情况下，接下来判定是否显示结束（S249）。当操作了显示结束按钮时或对显示结束图标等进行了触摸操作时，结束显示。在该步骤S249的判定结果并未显示结束的情况下，返回步骤S233，继续进行显示。另一方面，结果为显示结束的情况下，进入步骤S227。

在步骤S249的判定结果为显示结束时、或者步骤S225中的判定结果为动态图像的计数器i超过了帧数的情况下，接下来判定是否结束再现（S227）。若再次操作了再现按钮，则结束再现。在该步骤的判定结果并未再现结束的情况下，返回步骤S211，继续再现模式。另一方面，在判定结果为再现结束的情况下，结束该再现/编辑的流程，返回原流程。

这样，在再现/编辑流程中，执行动态图像的再现、静态图像的放大显示、组合照片的编辑操作等。另外，在本实施方式中，仅进行了组合照片的编辑，但也可以除此之外还对动态图像进行编辑。

接下来，使用图18所示的流程图说明步骤S247（图17）的组合照片编辑的详细动作。如上所述，在从记录介质131中读出完成的组合照片图像的数据，利用其他记录图像或新拍摄取得的图像来置换组合照片中的图像时，执行该组合照片编辑。

在进入了组合照片编辑的流程后，首先进行组合图像的读入（S251）。读入组合图像，将主图像和副图像存储于SDRAM127的各存储区域。在此，主图像为所合成的组合照片的图像数据，副图像为进行了预处理（参照图11的S123、S125）的图像数据。副图像以对应于各帧的方式存储于图16A～图16C所示的帧图像区域。

在进行了组合图像的读入后，接着进行编辑帧的指定（S253）。在此，用户指定用其他图像置换构成组合照片的多个帧内的哪一个帧。

在进行了编辑帧的指定后，接下来判定是否与记录图像进行置换（S255）。如上所述，在进行编辑时，能够选择记录完毕的图像或新摄影的图像。在选择记录完毕的图像的情况下，显示记录完毕的图像的一览表，并从中进行选择。另一方面，在新摄影的情况下，转移到摄影待机状态，通过执行摄影时的实时取景显示和摄影动作时序来取得。通过菜单画面或图标显示，选择与记录图像进行置换还是与摄影图像进行置换。

在步骤S255中的判定结果为与记录图像进行置换的情况下，接下来进行一览显示（S257），进行图像选择（S259）。在此，与步骤S211、S213（图17）同样地，对在记录介质131中记录的图像文件的缩略图进行一览显示。用户操作十字键和OK按钮等从一览显示中选择进行置换的图像。

在进行了图像选择后，接下来进行图像读入（S261）。在此，从记录介质131中读出在步骤S259中所选择的图像数据。

在步骤S255中的判定结果为进行置换的图像并非记录图像的情况下、即进行置换的图像为新摄影的图像时，接下来判定是否释放操作从关闭变为第一释放（S273）。在此，判定是否半按下了释放按钮。通过释放按钮的半按下，转移到摄影准备状态。在步骤S273的判定结果为释放操作从关闭转变为第一释放的情况下，接着进行AE/AF（S275）。在此，与步骤S33（图7）同样地，执行AE动作和AF动作。在进行了AE/AF后返回步骤S273。

在步骤S273中的判定结果为释放操作并未从关闭转变为第一释放的情况下，接下来判定释放操作是否为第二释放（S277）。在此，判定是否全按下了释放按钮。在该判定结果为释放操作并非第二释放的情况下进行AE（S281），进行基于电子快门的摄影（S283），进行图像处理（S285），进行实时取景显示（S287）。该步骤S281～S287的动作与所述图7的步骤S51～S57相同，因而省略详细说明。在进行了实时取景显示后，返回步骤S273。

在步骤S277中的判定结果为是第二释放操作的情况下，接下来进行基于机械快门101的摄影（S279）。即，用户观察实时取景显示，进行释放按钮的全按下，从而能够取得与组合照片的帧进行置换的图像。在基于机械快门101的摄影中结束了曝光后，取得RAW数据。

在步骤S261中读出图像数据后或者步骤S279中基于机械快门101的摄影结束后，接下来判定图像数据的形式是否为RAW数据（S263）。在步骤S279中取得的图像数据为RAW数据，而从记录介质131中读出的图像数据包含RAW和JPEG等各种形式。在是RAW数据的情况下，在步骤S265～S269中进行基本图像处理和特殊图像处理。在是JPEG数据的情况下，由于已进行了图像处理，因而跳过这些处理。

在步骤S263的判定结果为是RAW数据的情况下，接下来进行基本图像处理（S263）。该基本图像处理为图9所示的流程，因此省略详细说明。在进行了基本图像处理后，判定是否设定了艺术滤镜（S267），该判定结果为设定了艺术滤镜的情况下，进行特殊图像处理（S269）。该特殊图像处理为图10所示的流程，因此省略详细说明。

在步骤S269中进行了特殊图像处理后、或者步骤S263的判定结果为并非RAW数据、或者步骤S267的判定结果为未设定艺术滤镜的情况下，接下来进行组合照片生成记录（S271）。在步骤S261中读入指定为置换图像的记录图像的图像数据，或在步骤S279中取得了作为置换图像而新摄影得到的摄影图像的图像数据，因而在该步骤中，将组合照片的1个帧的图像置换为置换图像而生成组合照片。使用图19说明该组合照片生成记录的详细动作。

这样，在组合照片编辑的流程中，从记录图像中选择组合照片中进行置换的图像（S257～S261），或者通过重新摄影来取得图像（S279）。然后使用组合照片和置换图像，重新生成组合照片（S271）。

下面使用图19所示的流程图说明步骤S271的组合照片生成记录的详细动作。进入了该组合照片生成记录的流程后，首先进行组合照片生成（S291）。在此，执行在图11说明的流程。即，对构成组合照片的各帧进行了预处理后，通过进行颜色变更和亮度变更等来调整各帧，使得没有不协调感。此外，进行画质调整，使得因压缩率差异等导致的画质差异不显著。进行了各帧的颜色、亮度、画质的调整后，进行合成以生成组合照片。

在进行了组合照片生成后，接下来进行静态图像记录（S293）。此时，将在步骤S291中生成的组合照片的数据记录于记录介质131中。

接着，使用图20和图21来说明在图11的流程时提及的MPO文件。图20示出文件的结构与记录于该结构中的图像之间的关系。该MPO文件被记录在SDRAM127或记录介质131中。在图20的左侧示出文件结构。区域F1中记录有主图像文件头。在该主图像文件头中记录有表示记录副图像的地址的副图像偏移、组合位置与副图像之间的对应关系、组合照片的样式的信息。

在文件结构的区域F2中记录有主图像数据。主图像是组合照片P1，该图像数据被记录在区域F2中。此外，在区域F3、F5、F7、F9中分别记录副图像1、2、3、4的文件头，在区域F4、F6、F8、F10中分别记录副图像1、2、3、4的数据。在副图像的文件头中例如记录步骤S125（图11）中的解析结果。

区域F2中所记录的主图像数据是组合照片P1的图像数据，此外，记录在区域F4、F6、F8、F10中的副图像数据是构成组合照片P1的副图像P11、P12、P13、P14的图像数据。这样，在记录部（SDRAM127，记录介质131）中，副图像（第1图像）和组合位置（在主图像文件头中记录）被记录为1个图像文件。此外，在记录部中，副图像（第1图像）和解析结果被记录为1个图像文件。

在对构成组合照片P1的一部分副图像进行替换的情况下，使用这些副图像变更灰度和彩度，并将该变更后的副图像组合。在记录重新组合的图像时，以相同的形式保存被组合的图像和变更灰度、彩度前的图像。

图21示出将副图像P13重新组合为副图像P13a的例子。即，在图20所示的例中，使用副图像P11、P12、P13、P14这4张图像生成了组合照片P1。在图21中，使用副图像P11、P12、P13a、P14这4张图像生成了组合照片P2。在生成该组合照片P2时，由于使用副图像P11、P12、P13a、P14重新变更灰度和彩度，因此即便多次进行重新组合，也能够维持画质。

在以往的图像编辑处理中，有时反复对JPEG等数字化后的图像进行以相同的位数强化对比度和彩度或者设为反差弱的变换。该情况下，例如在要处理的数值是整数的情况下，当进行了乘法或除法时小数点以下被舍去，发生数值的位数减少，在梯度等中，值变得不再连续，发生所谓的灰度跳跃现象。

此外，在以往的图像编辑处理中，有时在进行了多个图像的对比度和彩度等的调整后，进行组合而暂时生成了组合照片后，进行用其他置换图像来置换一部分图像而重新生成组合照片的组合照片编辑。该情况下，假定再次进行对比度和彩度等的调整。存在当反复进行对比度和彩度的调整时，发生灰度跳跃，组合照片的画质劣化的情况。

在上述现有技术中，如果在重新组合构成组合照片的图像的一部分图像时反复进行乘法和除法运算，则图像数据的小数点以下被舍去。图22的（t-1）～（t-3）示出在将原图像向下进行灰度变更后，恢复到原来的亮度的例子。图22的（t-1）～（t-3）示出小数点以下被舍去的情况，A的部分与原来的图像的特性不一致，发生了灰度跳跃的现象。

与此相对，在本实施方式中，将生成组合照片前的副图像独立于组合照片来进行记录。该情况下，如图22的（s-1）～（s-3）所示，当在暂时将原来的图像向下进行了灰度变更后又恢复到原来的亮度时，两者的特性一致。

这样，在本实施方式中，当记录组合照片时，记录组合照片作为主图像，记录被缩放为与被组合的图像相同图像尺寸的图像（未进行灰度和彩度的变更）作为副图像。然后，在进行组合照片编辑时，读入副图像，校正灰度和彩度。因此，即便反复进行组合照片的编辑，也能够获得感觉自然的组合照片。此外，由于将进行了不依赖于图像的组合的缩放处理等预处理的图像记录为副图像，因此除了主要能够防止文件尺寸过大外，还能够缩短重新组合处理时间。

如以上说明的那样，本发明一个实施方式的图像编辑装置对构成组合照片的图像进行第1图像处理，生成第1图像（图11的S123），在生成该第1图像后，对第1图像进行第2图像处理，生成第2图像（图11的S129、S131），根据组合照片的组合位置来合成第2图像，而生成组合照片（图11的S133），将组合照片和第1图像记录为1个图像文件（图11的S137）。这样，由于不仅仅是组合照片，还将第1图像与组合照片一起记录为1个图像文件，因此具有即便反复对组合照片的一部分图像进行重新组合，图像劣化也较小的效果。

另外，在本发明的一个实施方式中，说明了将本发明用于相机的例子，但不限于此，还可以将本发明应用于用于使用摄影完毕的图像来生成组合照片的图像编辑装置、个人计算机等不具备摄影功能的图像编辑装置。

此外，在本发明的一个实施方式中使用相机作为用于摄影的设备进行了说明，但作为相机既可以是数字单反相机也可以是紧凑型相机，还可以是摄像机、摄影机等动态图像用相机，进而还可以是在移动电话、智能手机或便携信息终端（PDA：PersonalDigital Assist，个人数字助理）、游戏设备等中内置的相机。无论何种情况，只要是用于能够拍摄组合照片的摄影的设备，就能应用本发明。

此外，关于权利要求书、说明书以及附图中的动作流程，为了方便起见使用“首先”、“接下来”等表现顺序的词语进行了说明，然而在没有特别说明的情况下，并不表示必须按照该顺序进行实施。

本发明不仅限于上述实施方式，能够在实施阶段中不脱离其主旨的范围内对构成要素进行变形并使其具体实现。此外，通过上述实施方式中公开的多个构成要素的适当组合，能够形成各种发明。例如可以删除实施方式所示的所有构成要素中的几个构成要素。进而，还可以适当组合不同实施方式中的构成要素。

Claims (8)

1.一种图像编辑装置，其对组合多张图像而构成的组合照片图像进行编辑，该图像编辑装置具有：

第1图像处理部，其对上述图像进行第1图像处理，生成第1图像；

第2图像处理部，其对上述第1图像进行第2图像处理，生成第2图像；

组合照片处理部，其根据组合照片的组合位置对上述第2图像进行合成，生成组合照片；

记录部，其记录上述第1图像和上述组合照片的图像；以及

控制部，其在进行了上述第1图像处理后，通过上述组合照片处理部根据组合照片的组合位置对实施了上述第2图像处理的第2图像进行合成，生成组合照片，并将上述组合照片和上述第1图像记录为1个图像文件。

2.根据权利要求1所述的图像编辑装置，其中，

上述记录部将上述第1图像和上述组合位置记录为1个图像文件。

3.根据权利要求1所述的图像编辑装置，其中，

上述控制部在生成上述组合照片，并将上述组合照片与上述第1图像记录为1个图像文件后，利用与上述第1图像不同的置换图像来置换作为构成上述组合照片的图像的一部分的被置换图像而生成新的组合照片的情况下，通过上述第1图像处理部对上述置换图像进行图像处理，并且通过上述第2图像处理部进行图像处理，使用实施了该图像处理后的置换图像、和通过上述第2图像处理部对记录在上述图像文件中的上述被置换图像以外的上述第1图像进行图像处理后的第2图像，通过上述组合照片处理部重新生成组合照片。

4.根据权利要求1所述的图像编辑装置，其中，

上述第1图像处理部对图像尺寸进行缩放，或者对图像进行旋转，或者对图像进行裁剪。

5.根据权利要求1所述的图像编辑装置，其中，

上述第2图像处理部进行图像的颜色校正、亮度校正中的至少一种。

6.根据权利要求1所述的图像编辑装置，其中，

该图像编辑装置还具有解析部，该解析部对上述图像的特征部进行解析并输出解析结果，

上述记录部将上述第1图像和解析结果记录为1个图像文件。

7.根据权利要求6所述的图像编辑装置，其中，

上述特征部是直方图、被摄体检测结果、主要被摄体的大小、位置、颜色特征中的至少一方。

8.一种图像编辑方法，对组合多张图像而构成的组合照片图像进行编辑，该图像编辑方法具有以下步骤：

对上述图像进行第1图像处理，生成第1图像；

在生成上述第1图像后，对上述第1图像进行第2图像处理，生成第2图像；

根据组合照片的组合位置对上述第2图像进行合成，生成组合照片；以及

将上述组合照片和上述第1图像记录为1个图像文件。

Images