CN111953909B - 图像处理设备、图像处理方法和存储介质 - Google Patents

Abstract

本发明提供图像处理设备、图像处理方法和存储介质。图像处理设备包括控制单元，其被配置为将所述合成单元对多个图像进行合成而生成的所述合成图像记录在记录介质上，如果通过所述合成单元生成的所述合成图像是通过对多个拍摄图像进行合成而生成，并且，在所述合成图像满足预定条件的情况下，将第一类型数据附加到所记录的合成图像，以及在所述合成图像不满足所述预定条件的情况下，将第二类型数据附加到所记录的合成图像，其中，所述控制单元被配置为在所述合成单元生成的所述合成图像是通过对记录在所述记录介质上的多个拍摄图像进行合成来生成的情况下，无论是否满足所述预定条件，都附加所述第二类型数据。

Description

图像处理设备、图像处理方法和存储介质

技术领域

本发明涉及可以对多个图像进行合成的图像处理设备。

背景技术

诸如数字照相机和配备有照相机的移动电话等的摄像设备可以将摄像条件附加至与拍摄图像数据有关的属性信息，并且将结果记录为单个图像文件。日本特开2012-094978讨论了如下的技术，该技术用于在记录通过在摄像期间对多个图像进行合成的多次曝光摄像获得的合成图像数据时，将多次曝光的次数作为元数据记录在文件头中。根据日本特开2012-094978，多次曝光的次数用于判断图像数据是通过多次曝光摄像获得的图像中的图像数据。

发明内容

然而，根据上述现有技术，仅可以识别图像是否是在涉及作为多次曝光摄像的一个类型的合成的摄像模式中所拍摄的图像。并未考虑在涉及各种类型的合成的摄像模式中或者通过各种合成处理序列所生成的图像，也未考虑用于识别与图像有关的属性信息的通用补充信息。各种类型的合成类型包括在编辑期间的合成。

本发明旨在提供一种可以基于合成处理的有无以及合成处理的类型来适当地判断并处理图像的图像处理设备。

根据本发明的方面，一种图像处理设备，包括：合成单元，其被配置为对多个图像进行合成以生成合成图像；以及控制单元，其被配置为将所述合成单元生成的所述合成图像记录在记录介质上，控制单元还被配置为：如果通过所述合成单元生成的所述合成图像是通过对多个拍摄图像进行合成而生成，并且，在所述合成图像满足预定条件的情况下，将第一类型数据附加到所记录的合成图像，以及，在所述合成图像不满足所述预定条件的情况下，将第二类型数据附加到所记录的合成图像，其中，所述控制单元被配置为在所述合成单元生成的所述合成图像是通过对记录在所述记录介质上的多个拍摄图像进行合成来生成的情况下，无论是否满足所述预定条件，都附加所述第二类型数据。

通过以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是示出根据典型实施例的图像处理设备的块结构图。

图2是示出图像数据文件的数据结构的示例的图。

图3是示出合成信息部的数据结构的示例的图。

图4是根据典型实施例的图像处理设备的整体流程图。

图5是根据典型实施例的摄像模式中的流程图。

图6是根据典型实施例的回放模式中的流程图。

图7A、图7B和图7C是示出根据典型实施例的图像列表的显示示例的图。

图8是根据典型实施例的编辑处理的流程图。

具体实施方式

下面将参考附图详细描述本发明的典型实施例。将通过使用摄像设备作为示例来描述根据本发明典型实施例的图像处理设备。然而，图像处理设备的示例可以包括诸如个人计算机(PC)等的通用图像处理设备、以及数字照相机和数字摄像机。能够显示图像文件列表的任何设备(诸如移动电话、智能电话、平板终端和汽车导航设备等)也是可能的。根据本典型实施例的图像处理设备涵盖了这样的设备的产品形式。

图1是示出作为根据本典型实施例的图像处理设备的示例的摄像设备100的功能结构的框图。控制单元101包括作为计算机的中央处理单元(CPU)，并且用作控制整个摄像设备100的控制单元。

控制单元101从作为存储介质的只读存储器(ROM)102中读取用于操作包括在摄像设备100中的组成单元的计算机程序，将该计算机程序加载到随机存取存储器(RAM)103中，并执行该计算机程序。ROM 102是可重写非易失存储器。ROM 102存储CPU执行所用的操作程序以及包括在摄像设备100中的组成单元的操作所用的参数。RAM 103是可重写易失性存储器。RAM 103被用作用于通过包括在摄像设备100中的组成单元的操作所输出的数据的临时存储区域。

摄像光学系统104包括透镜、光圈和用于驱动这些光学构件的驱动单元，并且将来自被摄体的光聚焦于摄像单元105。摄像单元105包括诸如电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器等的图像传感器。图像传感器用作用于对由摄像光学系统104形成的光学图像进行光电转换以形成模拟图像信号并生成拍摄图像的摄像部。包括在摄像单元105中的模-数转换(A/D)转换单元将模拟图像信号A/D转换为数字图像数据，该数字图像数据被存储在RAM 103中。虽然在本典型实施例中，图像处理设备中包括摄像部，但是图像处理设备可以在无需摄像部的情况下配置成。

图像处理单元107对RAM 103中所存储的图像数据应用各种类型的图像处理。图像处理的示例包括白平衡调整、颜色插值、缩小/放大和滤波。记录介质108是可拆卸地安装到摄像设备100的存储卡。记录介质108用作记录RAM 103中所存储的图像数据的记录单元。这里，控制单元101还用作用于将拍摄图像或合成图像作为记录图像记录在记录介质108上的记录控制单元。将图像处理单元107处理后的图像数据以及摄像单元105A/D转换后的图像数据作为记录图像数据记录在记录介质108上。在摄像单元105的摄像期间，图像处理单元107还使用基于预先设置的摄像模式的方法，对通过摄像获得并从摄像单元105输出的多个图像数据进行合成处理。

例如，控制单元101根据基于表示用户使用操作单元111设置的摄像模式的信号或者控制单元101在摄像期间根据图像判断的摄像场景而确定的摄像模式来向图像处理单元107发出指示。由此，进行基于摄像模式的合成处理。这里，控制单元101还通过判断摄像模式来确定表示与合成相关的图像的类型的类型数据，并且将与通过图像处理单元107的合成处理产生的合成图像有关的图像数据与所确定的类型数据相关联地记录在记录介质108上。例如，在本典型实施例中，图像处理单元107生成包括至少部分地符合通用标准(可交换图像文件格式(Exif)标准)而配置的头信息的图像文件。将类型数据记录在符合头信息的标准的数据区域中，从而将记录在同一图像文件的图像数据部中的图像数据与类型数据相关联。

图像处理单元107基于控制单元101的指示对所输入的多个图像数据进行合成处理。要被合成的数据的至少一部分可以是从ROM 102或记录介质108中读取的数据。图像处理单元107还基于通过用户使用操作单元111设置的合成处理方法，在回放期间对ROM 102或记录介质108中所记录的多个图像数据进行合成。以下将描述摄像模式、相应合成处理以及在回放期间的各种类型的合成处理。

显示单元109包括诸如液晶显示器(LCD)等的显示装置，并且提供通过摄像单元105获得的拍摄图像的实时取景显示。显示单元109还显示诸如文本数据和图像数据等的数据以及诸如菜单等的图形用户界面。

距离图获得单元110例如利用飞行时间(ToF)方法或使用立体照相机，通过生成距离图来获得与被摄体的距离分布相关的信息。诸如距离图、与拍摄图像相关的视差图像之间的图像偏移量分布以及散焦量分布等的数据表示在被摄体的深度方向上的深度信息的分布。表示深度信息的分布的数据在下文中将被称为距离图数据。将获得的距离图数据作为数字数据存储在RAM 103中。存在许多用于生成图数据的传统方法，并且可以使用这些方法中的任意方法。

操作单元111包括诸如按钮、拨盘、触摸面板和滑动杆等的各种物理操作构件。操作单元111接受用户操作并向控制单元101输出指示信号。

通信单元106是用于与外部设备通信的无线局域网(LAN)接口。通信单元106可以是诸如有线LAN接口和通用串行总线(USB)接口等的任何类型的接口，只要可以与外部设备进行通信即可。可以经由通信单元106，相对于外部设备(诸如PC或智能电话等)发送和接收图像文件。

(图像文件的数据结构)

图2示出由摄像设备100生成并管理的图像文件的数据结构。在本典型实施例中，使用符合Exif标准的文件格式。例如，图像数据文件(图像文件)201是在摄像单元105的摄像期间生成的、经由通信单元106获得的、或者存储在记录介质108或ROM 102中的。当摄像设备100处理图像数据文件201时，可以将图像数据文件201临时复制到RAM 103。

图像数据文件201在开头包括表示图像开始的标记SOI 202，随后是作为头区域的应用标记APP1 203(APP1区域)。

应用标记APP1 203包括APP1大小204、APP1标识符代码205、表示图像的生成日期和时间的DateTime(日期时间)206、表示图像数据生成日期和时间的DateTimeOriginal(原始日期时间)207、表示图像之间的关系的关联信息208、摄像及其它信息209和缩略图图像210。

DateTime 206和DateTimeOriginal 207存储RAM 103中存储的摄像日期和时间信息。关联信息208描述例如表示要被合成的多个拍摄图像相关的预定信息。预定信息可以是首先记录的相关图像的图像编号或者表示特定摄像模式的信息。

摄像及其它信息209的示例包括摄像日期和时间、摄像参数(诸如曝光时间、光圈值、国际标准化组织(ISO)速度、焦距和有无辅助光源等)以及根据本典型实施例的合成信息部2091。合成信息部2091存储在本典型实施例中生成并处理的合成相关信息。

要被记录的实际图像数据包括量化表DQT 211、Huffman表DHT 212、帧开始标记SOF 213、扫描开始标记SOS 214和包含压缩数据的图像数据部215，并且以表示图像数据结束的标记EOI 216终止。

在本典型实施例中描述的文件结构适合于Exif标准的结构，并且由此可以符合Exif标准。然而，根据本典型实施例的包括合成信息的各种类型的信息的记录结构不必限于Exif标准的结构。例如，各种类型的信息可以被记录在除图像数据文件201之外的文件中，或者被记录在包括在摄像设备100中的特殊数据库中。

图3示出合成信息部2091中存储的信息的示例。在本典型实施例中，为了优化合成处理、恢复和基于人工智能(AI)学习的目的，基于实际合成图像以及与实际合成图像相关的信息，记录与实际合成有关的各种类型的信息。通过外部设备或者网络服务器上的应用，由随后阶段的图像处理单元107来记录各种类型的信息。在通用Exif区域中存储这样的信息的至少一部分可以提供与各种Exif符合设备的兼容性，并且使得即使通用应用也能够参考。

合成信息部2091包括描述图像识别信息301、合成类型信息302、与合成图像有关的源图像数信息303、合成图像信息304以及与合成图像有关的源图像信息305的各个区域。

图像识别信息301是表示主要与合成相关的图像类型的类型数据。存储包括“非合成图像”、“一般合成图像”以及“摄像时获得的合成图像”的分类信息中的任何一个。

“摄像时获得的合成图像”是要应用于通过仅对在摄像期间从图像传感器获得的一系列多个源图像(临时记录图像)进行合成所获得的图像的分类(不需要使用全部这一系列多个源图像)。该分类应用于在获得全部源图像时特定摄像条件(诸如光圈值、被摄体距离、光源和透镜焦距等)和被摄体范围(摄像视场)各自可以被视为大致恒定的合成图像。在“摄像时获得的合成图像”的情况下，附加表示“摄像时获得的合成图像”的第一类型数据“3”作为图像识别信息301。

“一般合成图像”是要应用于在不限制合成方法的情况下通过对多个拍摄图像(源图像)进行合成所获得的合成图像的分类。在“一般合成图像”的情况下，附加表示“一般合成图像”的第二类型数据“2”作为图像识别信息301。

“非合成图像”是要应用于不被视为分类为“一般合成图像”或“摄像时获得的合成图像”的合成图像的图像的分类。例如，该分类应用于被视为未被合成的图像。在“非合成图像”的情况下，附加表示“非合成图像”的第三类型数据“1”作为图像识别信息301。除了上述值“1”至“3”之外的值可以被准备并被用作图像识别信息301。例如，如果可应用的分类不清楚，则可以附加类型数据“0”。

(合成模式和分类)

接着，将描述附加至在涉及合成处理的各种摄像模式中获得的图像以及在回放期间通过各种类型的合成处理获得的合成图像的图像识别信息301的示例。在本典型实施例中，如上所述，如果用于在摄像期间合成的多个图像具有实质上相同的特定摄像条件和视角(摄像视场)，则生成第一类型数据“3”。如果用于合成的多个图像在摄像条件或视角方面实质上不同，则生成第二类型数据“2”。在非合成图像的情况下，生成第三类型数据“1”。

在下文中，将在不同定时或者通过不同摄像光学系统拍摄多个图像的摄像模式称为多次拍摄摄像模式(multi-shot imaging mode)。在多次拍摄摄像模式中的合成的模式的示例中包括在摄像期间进行高动态范围(HDR)合成的模式(在下文中称为摄像时HDR合成模式)。在摄像时HDR合成模式中，多个源图像的除了ISO速度和快门速度之外的摄像条件可以被视为大致恒定。由此，附加第一类型数据“3”作为图像识别信息301。如此处所采用的，摄像时HDR合成包括以不同曝光(ISO速度和/或快门速度)拍摄多个图像，使用各自不同的伽马值来使图像显像，并且对显像结果进行合成。摄像时HDR合成模式是基于图像的亮度值来提取具有不同曝光条件的多个图像中的适当图像并对该适当图像进行合成的模式。

在多次拍摄摄像模式中的合成的模式中包括在回放期间图像处理设备或PC应用进行HDR处理的模式(回放时HDR合成模式)。在回放时HDR合成模式中，附加第二类型数据“2”作为图像识别信息301。原因是合成图像不是在摄像期间合成的图像。另一个原因是多个源图像的诸如ISO速度和快门速度等的摄像条件中的一些不被视为恒定。在回放期间通过图像处理设备或PC应用进行的HDR处理的示例包括基于曝光的差异，使用各自不同的伽马值对用户选择的图像进行显像，并且对显像结果进行合成。

作为在多次拍摄摄像模式中的合成的模式其中之一，例如在进行HDR绘画式摄像的HDR绘画式摄像模式中，也将第二类型数据“2”作为如上所述的图像识别信息301附加至所获得的合成图像。HDR绘画式摄像模式是基于使用不同曝光(ISO速度和/或快门速度)的多个图像，通过进行灰度处理来生成类似绘画的合成图像的模式。

在作为合成的模式其中之一的拍摄多个图像并生成合成图像以实现多次拍摄降噪功能的摄像模式中，将第一类型数据“3”作为图像识别信息301附加至所获得的合成图像。原因是视角(被摄体范围或摄像视场)和摄像条件可以被视为大致恒定。多次拍摄降噪功能是指基于检测到的照相机抖动量来对在同一摄像条件下拍摄的多个图像进行对齐并对图像进行合成以获得降噪合成图像的摄像功能。多次拍摄降噪功能用于具有许多噪声的暗被摄体。

还将第一类型数据“3”作为图像识别信息301附加至在手持夜景摄像模式中获得的合成图像，在该手持夜景摄像模式中，在不使用闪光发光的情况下通过手持摄像多次拍摄夜景图像。再次，原因是视角(被摄体范围或摄像视场)和摄像条件可以被视为大致恒定。

在合成的模式其中之一中，可以通过手持摄像在使用和不使用闪光发光的情况下连续拍摄夜景图像。在这种情况下，也附加第一类型数据“3”作为图像识别信息301。原因是为了防止在附加了与“不使用闪光发光的夜景手持摄像”的情况中的不同的图像识别信息的情况下的混淆。原则上可以将第一类型数据“3”作为图像识别信息301附加至在使用闪光发光的情况下通过夜景手持摄像所获得的合成图像。

接着，将描述创意滤镜摄像模式。创意滤镜摄像模式是指在记录之前对拍摄图像赋予特殊图像处理效果的摄像模式。

如果在摄像期间的摄像模式是粗糙单色摄像模式、软焦点摄像模式、透视画式摄像模式、玩具照相机摄像模式、油画式摄像模式、水彩画式摄像模式、鱼眼式摄像模式、美肤摄像模式或者模糊背景摄像模式，则附加第三类型数据“1”作为图像识别信息301。还将第三类型数据“1”作为图像识别信息301附加至在如下的编辑模式(应用)中获得的图像，在该编辑模式(应用)中，对回放期间的图像应用与在上述模式中拍摄图像时进行的图像处理等效的图像处理。附加第三类型数据“1”的原因是，在这样的摄像模式和编辑模式(应用)中进行的合成处理不使用多个拍摄图像(源图像)，而在一些模式中的图像处理涉及图像的合成。

粗糙单色摄像模式是如下的摄像模式，在该摄像模式中，对图像进行拍摄，在拍摄图像上叠加随机噪声，并且对所得到的图像应用单色处理以提供类似于黑白胶片的效果。软焦点摄像模式是如下的摄像模式，在该摄像模式中，例如对图像进行拍摄，对拍摄图像应用低通滤波器(LPF)，并且以恒定比率对所得到的图像和原始拍摄图像进行合成。透视画式摄像模式是如下的摄像模式，在该摄像模式中，例如对图像进行拍摄，对拍摄图像应用LPF，并且对所得到的图像和原始拍摄图像部分地进行合成。由此，拍摄图像被部分地模糊，以生成经受了如同将实际被摄体转化为透视画并拍摄透视画图像的图像效果的图像。

玩具照相机摄像模式是如下的摄像模式，在该摄像模式中，例如对图像进行拍摄，并对拍摄图像应用如同使用玩具照相机拍摄图像的图像效果。在玩具照相机摄像模式中进行的图像处理的示例包括对应用了LPF的图像和原始图像进行合成以再现软焦点效果，并且进行亮度转换和颜色转换以再现诸如更亮的磨光、不自然的色调和渐晕等的效果。油画式摄像模式是如下的摄像模式，在该摄像模式中，例如对图像进行拍摄，对拍摄图像应用图像处理，并且对所得到的图像和原始图像进行合成以产生类似于油画的合成图像的效果。

水彩画式摄像模式是如下的摄像模式，在该摄像模式中，例如对图像进行拍摄，对拍摄图像应用图像处理，并且对所得到的图像和原始图像进行合成以产生类似于水彩画的合成图像的效果。鱼眼式摄像模式是如下的摄像模式，在该摄像模式中，例如对图像进行拍摄，并且逐个区域地对像素进行合成(插值)，以导致类似鱼眼镜头的失真，由此产生如同使用鱼眼镜头拍摄图像的效果。美肤摄像模式是如下的摄像模式，在该摄像模式中，对肤色部分应用高降噪(NR)以降低分辨率，从而使得皮肤看起来具有更光滑的质感。模糊背景摄像模式是如下的摄像模式，在该摄像模式中，例如使用不同光圈值拍摄两个图像，基于两个图像之间的差异来将主被摄体和背景分开，并且使背景模糊。在这种情况下，要被合成的源图像的数量是一个，而拍摄多个图像来确定要被模糊的区域。模糊背景摄像模式可以通过打开光圈来实现。

日期叠加摄像模式是在图像上叠加日期文本数据的摄像模式。

合成的模式中包括多次曝光摄像模式(多次合成模式)。在多次曝光摄像模式中，附加第二类型数据“2”作为图像识别信息301。原因是摄像条件和视角这两者可以由用户自由地设置，并且因此不被视为恒定。然而，如果控制单元101判断为在拍摄多个图像时的摄像条件和视角可以被视为恒定，则附加第一类型数据“3”作为图像识别信息301。原因是通过检测三脚架的使用，有时可以判断为摄像条件保持不变。在通过连续拍摄来实现多次曝光摄像模式(多次合成模式)的典型实施例中，由于视角和摄像条件可以被视为大致恒定，因此可以始终附加第一类型数据“3”作为图像识别信息301。多次曝光摄像模式的示例包括相加模式、相加平均模式、相对亮(comparative light)模式和相对暗(comparative dark)模式。相加模式是拍摄多个图像并将原始图像(raw image)简单相加的多次曝光摄像模式。相加平均模式是拍摄多个图像并将原始图像简单相加并平均的多次曝光摄像模式。相加平均模式旨在例如改善非常暗的图像的信噪比(S/N)。相对亮模式是如下的多次曝光摄像模式，在该多次曝光摄像模式中，拍摄多个图像，通过进行用于使用同一坐标处的不是较低像素值的像素值的相对亮合成处理，来对原始图像进行合成。

相对暗模式是如下的多次曝光摄像模式，在该多次曝光摄像模式中，拍摄多个图像，通过进行用于使用同一坐标处的不是较高像素值的像素值的相对暗合成处理，来对原始图像进行合成。

合成的模式中包括全景摄像模式、深度合成摄像模式和星空肖像摄像模式。在这样的模式中，附加第二类型数据“2”作为图像识别信息301。原因是对具有不同视角的源图像进行合成。全景摄像模式是通过用户平摇摄像设备100来以多个视角对图像进行拍摄并对拍摄图像进行合成的模式。由此对以多个不同视角拍摄的多个图像进行合成并连结，以生成更宽角度的图像。在全景摄像模式中获得的广角合成图像可以包括全方位(360°)图像。

在深度合成摄像模式和星空肖像摄像模式中，附加第一类型数据“3”作为图像识别信息301。原因是，在深度合成摄像模式的情况下，仅焦点改变，并且视角可以被视为大致恒定，并且除了焦点之外的摄像条件也可以被视为大致恒定。对于星空肖像摄像模式的情况这同样适用，其中视角可以被视为大致恒定并且除了焦点之外的摄像条件也可以被视为大致恒定。

深度合成摄像模式是如下的摄像模式，在该摄像模式中，以不同焦点拍摄多个图像，并且基于由距离图获得单元110获得的距离图来对多个图像的聚焦区域进行合成，以生成具有比拍摄图像的深度更深的深度的图像。星空肖像摄像模式是如下的摄像模式，该摄像模式用于在使用闪光发光拍摄图像的闪光摄像之后，在不使用闪光发光的情况下依次拍摄多个图像(例如，两个图像)，并且对这三个图像进行合成。

合成的模式中包括星空轨迹摄像模式。在星空轨迹摄像模式中，附加第一类型数据“3”作为图像识别信息301。原因是视角(被摄体范围或摄像视场)和摄像条件可以被视为恒定。星空轨迹摄像模式是指拍摄多个星空图像并且通过相对亮合成来对这多个星空图像进行合成的摄像模式。

现在，假设摄像单元105是堆叠式传感器，例如具有图像传感器和信号处理单元一体化的多层结构的堆叠式传感器。即使堆叠式传感器在内部对图像进行合成，来自堆叠式传感器的输出也可以是具有与一般非合成图像大致相同的数据格式的单个图像数据。在这种情况下，由此附加第三类型数据“1”作为图像识别信息301。

另一方面，如果堆叠式传感器通过使用堆叠式传感器中的存储器在内部对使用相同摄像条件拍摄的多个图像进行合成，则附加第一类型数据“3”作为图像识别信息301。

合成的模式中包括所谓的超分辨率摄像模式的模式，在该模式中，在稍微偏移位置的情况下对多个拍摄图像进行合成，以获得增加的分辨率。在这种情况下，附加第一类型数据“3”作为图像识别信息301。原因是，在超分辨率摄像模式的情况下，视角以及除了焦点之外的摄像条件这两者可以被视为大致恒定。

合成类型信息302是表示对合成图像进行合成所用的合成处理模式的类型、合成处理和合成条件的信息。合成类型信息302基于与诸如如上所述的多次曝光模式、相加模式、相对亮模式、HDR合成模式和全景合成模式等的多个合成模式相对应的类型数据，存储与实际图像数据相对应的信息中的至少一个。

源图像数信息303是与为了生成图像数据文件201的图像数据而获得的图像的数量有关的信息。源图像数信息303包括与拍摄图像(源图像)的数量、表示合成图像所使用的源图像的数量的被合成图像的数量以及被使用的图像的编号有关的信息。拍摄图像的数量表示为了生成实际图像数据而拍摄的图像的总数。拍摄图像的数量包括例如由于照相机抖动而导致的低图像质量、因而未被最终的合成图像使用的图像的数量。已被合成的图像的数量表示为了生成图像数据实际所使用的并且被存储在图像数据文件201的图像数据部215中的图像的数量。被使用的图像的编号是包括与在生成实际图像数据时被合成的各个图像相关的并且被计入已被合成的图像的数量中的一系列图像编号的信息。

合成图像信息304记录同与合成所使用的图像的摄像条件相关的统计值有关的信息。在图3中，将合成所使用的图像的曝光时间中的曝光时间的最大值记录为曝光时间的统计值。将合成所使用的多个图像的光圈值的平均值、ISO速度的平均值、焦距的平均值分别记录为光圈值、ISO速度和焦距的统计值。

要记录在合成图像信息304中的与摄像条件相关的统计值不限于各自一种类型。可以根据数据收集和应用的目的，来记录诸如最大值、最小值、合计值、平均值和方差等的多个类型的统计值。在本典型实施例中，合成图像信息304仅存储与合成所使用的图像有关的摄像参数的统计值。然而，这不是限制性的，并且合成图像信息304可以存储与包括为了生成图像数据而拍摄的并且未被合成使用的图像的统计值的统计值有关的一个类型或多个类型的信息。

源图像信息305是与为了生成图像数据文件201的图像数据而拍摄的图像的摄像参数有关的信息。按顺序记录各拍摄图像的诸如曝光时间、光圈值、ISO速度和焦距等的摄像参数。利用所存储的这样的信息，可以收集与为了生成场景的合成图像而获得使用何种摄像参数拍摄了多少图像有关的信息。

(摄像设备的整体操作)

以下将参考图4的流程图描述根据本典型实施例的摄像设备100的整体操作，其中图4的流程图用于描述根据本典型实施例的摄像设备100的整体操作。通过控制单元101读取ROM 102中所存储的程序并且进行运算处理和控制，来实现包括图4的流程图的以下流程图。

(整体过程)

在步骤S401中，用户操作包括在操作单元111中的电源开关，以接通摄像设备100的电源，并且控制单元101初始化标志和控制变量。控制单元101还获得摄像模式信息，并进行判断和设置。如果设置了涉及合成处理的摄像模式，则控制单元101还获得与合成要使用的图像的数量N有关的设置信息，并且进行判断和设置。在步骤S402中，控制单元101判断包括在操作单元111中的模式变化开关的设置位置。如果模式变化开关被设置为摄像模式(在步骤S402中为“是”)，则处理前进到步骤S403。如果模式变化开关被设置为除摄像模式之外的模式(在步骤S402中为“否”)，则处理前进到步骤S404。以下将描述步骤S403中的摄像模式处理的详情。

在步骤S404中，控制单元101判断模式变化开关是否被设置为回放模式。如果模式变化开关被设置为回放模式(在步骤S404中为“是”)，则处理前进到步骤S405。如果模式变化开关被设置为除回放模式之外的模式(在步骤S404中为“否”)，则处理前进到步骤S406。以下将描述步骤S405中的回放模式处理的详情。在步骤S406中，控制单元101执行与选择的其它模式相对应的处理。在执行之后，处理前进到步骤S407。其它模式的示例包括发送和接收记录介质108中所存储的文件的通信模式。

在步骤S407中，控制单元101判断电源开关的设置位置。如果电源开关被设置为通电(在步骤S407中为“否”)，则处理返回到步骤S402。如果电源开关被设置为断电(在步骤S407中为“是”)，则处理前进到步骤S408。在步骤S408中，控制单元101进行预定结束处理。结束处理包括以下处理：控制单元101将显示单元109的显示改变为结束状态，并且关闭镜头挡板以保护摄像单元105。控制单元101还将参数和设置值(包括标志和控制变量)以及设置模式记录在非易失存储器中，然后切断不需要供电的部分的电源。

(摄像和记录处理)

图5示出根据本典型实施例的摄像设备100的摄像和记录处理的流程图。

(摄像模式处理)

图5是示出图4的步骤S403中的摄像模式处理的详情的流程图。

如果摄像模式开始，则在步骤S501中，控制单元101通过依次向显示单元109输出拍摄图像以在显示单元109上依次显示拍摄图像，来提供实时取景显示。

在步骤S502中，控制单元101判断用户是否按下快门开关SW1(未示出)。如果按下快门开关SW1(在步骤S502中为“是”)，则处理前进到步骤S503。如果未按下快门开关SW1(在步骤S502中为“否”)，则处理返回到步骤S502，即，控制单元101等待直到快门开关SW1被按下为止。在步骤S503中，控制单元101进行摄像准备操作。具体地，控制单元101测量距离并针对被摄体调整摄像透镜的焦点。控制单元101还测量光，并且确定光圈值和曝光时间。基于光测量结果，控制单元101还适当地设置闪光发光量。

在步骤S504中，控制单元101判断用户是否按下快门开关SW2(未示出)。如果按下快门开关SW2(在步骤S504中为“是”)，则处理前进到步骤S506。如果未按下快门开关SW2(在步骤S504中为“否”)，则处理前进到步骤S505。在步骤S505中，控制单元101判断是否继续按下快门开关SW1。如果释放了快门开关SW1的按下(在步骤S505中为“否”)，则处理返回到步骤S502。如果继续按下快门开关SW1(在步骤S505中为“是”)，则处理返回到步骤S504。

在步骤S506中，控制单元101从控制单元101中的实时时钟(RTC)获得开始拍摄图像的日期和时间，并且将日期和时间存储至RAM 103中。在步骤S507中，控制单元101将合成处理标志i设置为0。

在步骤S508中，控制单元101基于RAM 103或ROM 102中存储的光测量数据和光圈值来打开具有光圈功能的光学系统104中的快门，由此开始对摄像单元105的图像传感器进行曝光。

在步骤S509中，控制单元101从摄像单元105输出图像数据，并且通过使用图像处理单元107进行诸如压缩和编码处理等的图像处理。在步骤S510中，控制单元101判断设置的摄像模式是否是涉及合成处理的摄像模式。换言之，在步骤S510中，控制单元101用作用于判断要在摄像模式中进行的或者要通过如下所述的合成单元进行的合成方法的判断单元。

如果摄像模式不是涉及合成处理的摄像模式(在步骤S510中为“否”)，则处理前进到步骤S511。在步骤S511中，控制单元101确定附加表示正常图像(非合成图像)的第三类型数据“1”作为记录在头区域中的图像识别信息301，并且存储该图像识别信息301(生成头信息)。

这里，控制单元101用作用于生成与例如同摄像模式的设置相关联的合成类型相对应的类型数据的类型数据生成单元。如上所述，如果图像处理单元107不对图像进行合成，则控制单元101确定附加第三类型数据(“1”作为图像识别信息301)。在步骤S512中，控制单元101将头信息和图像数据记录在记录介质108上。这里，控制单元101用作用于将与合成类型相对应的类型数据与记录图像相关联地记录在作为根据Exif标准的头区域的APP1203中的记录控制单元。在步骤S512之后，处理返回到步骤S501。

在步骤S510中，如果判断为设置的摄像模式是涉及合成处理的摄像模式(在步骤S510中为“是”)，则处理前进到步骤S513。在步骤S513中，控制单元101在预先设置的摄像模式中对图像进行合成。这里，控制单元101用作用于通过多个类型的方法对多个拍摄图像进行合成以生成合成图像的合成单元。在步骤S514中，控制单元101判断合成所使用的拍摄图像的数量是否达到了预设的图像数量N。如果拍摄图像的数量尚未达到N(在步骤S514中为“否”)，则处理返回到步骤S508。在步骤S508中，控制单元101进行新的曝光操作。如果拍摄图像的数量达到N(在步骤S514中为“是”)，则处理前进到步骤S515。在步骤S515中，控制单元101获得文件名以及摄像日期和时间。在步骤S516中，控制单元101生成用于记录这样的数据以及与作为头区域的APP1 203中的合成类型相对应的类型数据的头信息。

在步骤S516中，控制单元101基于设置的摄像模式确定要与图像数据相关联地记录的类型数据。如上所述，如果通过合成单元对图像进行合成，则控制单元101基于合成类型生成至少两个类型的类型数据(“2”或“3”作为图像识别信息301)中的一个。控制单元101还从至少三个类型的类型数据(包括针对通过图像处理单元107对图像进行合成和不对图像进行合成的情况的类型数据)中确定适当的分类。在步骤S517中，控制单元101在显示单元109上显示合成图像，并且在记录介质108上记录合成图像。这里，控制单元101用作用于将类型数据与记录图像相关联地记录在作为根据Exif标准的头区域的APP1 203中的记录单元。

这里，如果类型数据是预定类型数据(图像识别信息301是“3”)，则控制单元101至少将合成所使用的拍摄图像的数量和合成所使用的拍摄图像的摄像条件(诸如曝光时间等)记录在同一区域APP1 203中。在步骤S517之后，处理返回到步骤S501。

在如上所述的典型实施例中，每次曝光结束时都对图像进行合成。然而，将理解，可以在拍摄N个图像之后进行合成处理。

(回放模式处理)

图6是示出图4的步骤S405中的回放模式处理的详情的流程图。用户经由模式变化开关给出回放指示来开始回放模式。可替代地，如果摄像设备100在设置了回放模式的状态下被通电并被启动，则开始该流程图的处理。

在步骤S601中，控制单元101最初从记录介质108获得初始图像信息。初始图像是指最新图像或者通过前次回放显示的图像。在计算图像总数并且生成以下要描述的搜索列表之前获得初始图像信息，这使得能够紧接着在摄像设备100进入回放模式之后进行初始图像的图像显示。这可以避免在诸如计算图像总数等的处理期间不显示的问题。

在步骤S602中，控制单元101判断在步骤S601中是否适当地获得初始图像信息。进行这样的判断的原因是可能存在没有图像或者由于介质缺陷而导致未能获得初始图像信息的情况。如果成功获得初始图像信息，则判断为存在至少一个图像。如果存在图像(在步骤S602中为“是”)，则处理前进到步骤S603。如果不存在图像(在步骤S602中为“否”)，则处理前进到步骤S609。

在步骤S603中，控制单元101基于在步骤S601中获得的初始图像信息从记录介质108读取初始图像。在步骤S604中，控制单元101进行文件分析处理以分析并获得与读取的初始图像有关的摄像信息和诸如合成信息等的属性信息。

这里，控制单元101用作用于获得与记录图像相关联地记录的与合成类型相对应的类型数据、表示合成类型的信息、合成所使用的拍摄图像的数量、以及合成所使用的拍摄图像的摄像条件的类型数据获得单元。控制单元101还检查图像数据是否被破坏。

在步骤S605中，控制单元101显示读取的初始图像，并且适当地将诸如摄像信息和合成信息等的属性信息连同初始图像一起选择性地进行显示。以下将参考图7A、图7B和图7C描述这样的选择性显示。如果步骤S604中的文件分析处理的结果表明图像数据是不适当的数据(如初始图像的文件被部分地破坏)，则控制单元101也提供错误显示。

在步骤S606中，控制单元101开始计算记录在记录介质108上的图像的总数，以获得图像总数。该处理可以与图像显示处理异步地运行，并且可以在无需等待处理完成的情况下显示下一图像。这样的处理使得即使在记录介质108上记录了许多图像并且需要花费长时间来计算图像总数的情况下也能够阅览这些图像。

在步骤S607中，控制单元101分析记录介质108中的所有图像，并且开始生成作为搜索的结果的搜索列表。搜索列表是预先获得并以集中方式管理附加至图像的属性信息的列表。搜索列表的生成使得能够例如总地处理具有某种属性的图像作为要回放的对象或者作为要删除的对象。如同计算图像总数一样，用于生成搜索列表的处理可以与图像显示处理异步地运行，并且可以显示下一图像。在步骤S608中，控制单元101进入等待从用户输入回放的状态。

如果在步骤S602中不存在图像，则在步骤S609中，控制单元101经由显示单元109提供不存在图像的显示(包括“不存在图像”的消息显示)。处理前进到步骤S608。

(画面显示)

接着，将描述根据本典型实施例的用于显示图像数据的方法。图7A示出当在摄像设备100上运行图像显示应用时显示在显示单元109上的画面的示例。

图7A示出列出了RAM 103中存储的图像数据Image1至Image12的状态。图像数据Image1至Image12是从例如数字照相机或移动电话获得的图像数据。可以从网络上的服务器下载图像数据Image1至Image12。可以使用图像数据Image1至Image12的缩略图来代替图像数据本身。如果在图7A的状态下用户选择(点击)显示切换按钮401，则画面转变为图7B的画面。

如图7B所示，在附加了合成相关信息的各图像数据的缩略图上叠加针状图标(在下文中，针图标)。换言之，针对具有合成相关信息的图像文件显示针图标。该画面示例示出了图像数据Image1、Image3、Image4、Image6、Image7、Image8、Image10和Image11包括图像识别信息301(诸如“1”、“2”和“3”等)和作为合成相关信息的合成类型信息302的描述。

将理解，不一定需要将针图标整体叠加在缩略图上。针图标可以被部分地叠加或者不被叠加而是显示在缩略图附近，只要可以将具有和不具有合成相关信息的图像文件区分开即可。在图7B所示的画面上，针图标被叠加在描述了合成相关信息的图像数据上。通过观察该画面，用户可以容易地检查附加了合成相关信息的图像数据。

如果用户在图7B的状态下进一步点击了显示切换按钮401，则画面转变为图7C的画面。如图7C所示，一些针图标被替换为与图像识别信息301和/或合成类型信息302相对应的图标或字符。这可以促进图像识别信息301和/或合成类型信息302的识别。

例如，在图像数据Image1、Image4、Image10和Image11上叠加表示全景合成的“P”或表示全景合成的图标。这旨在表示合成类型信息302是“全景合成”，即，图像数据Image1、Image4、Image10和Image11是通过使用全景合成获得的合成图像数据。

在图像数据Image6和Image8上叠加表示HDR合成的“HDR”或表示HDR合成的图标。这旨在表示合成类型信息302是“HDR合成”，即，图像数据Image6和Image8是通过HDR合成获得的合成图像数据。

在图像数据Image 7上叠加表示相加合成的“相加”或表示相加合成的图标。这旨在表示合成类型信息302是“相加合成”，即，图像数据Image7是通过相加合成获得的合成图像数据。图像数据Image3上的针图标保持不变。这表示图像数据Image3不包括合成类型信息302的描述。如果合成所使用的拍摄图像的数量和合成所使用的拍摄图像的摄像条件与记录图像相关联地记录在记录介质108上，则可以选择性地显示拍摄图像的数量或摄像条件二者至少之一。具体地，如果类型数据是“3”，则将合成所使用的拍摄图像的数量和合成所使用的拍摄图像的摄像条件与记录图像相关联地记录在记录介质108上。

如上所述，在图7C的画面上，在图像数据上叠加与合成类型信息302相对应的字符或图标。这使得用户能够容易地检查哪个图像数据是通过哪个合成类型进行合成的、拍摄图像的数量以及合成所使用的拍摄图像的摄像条件。如果用户在图7C的画面上点击显示切换按钮401，则画面转变为图7A的画面。换言之，每次点击显示切换按钮401时，顺次切换上述三个类型的画面。

在上述的典型实施例中，每次操作显示切换按钮401时，显示模式以图7A、图7B、图7C、图7A、……的顺序循环。然而，可以从显示菜单直接指定显示模式中的一个，并且相应地可以显示图像数据。

还可以显示以下信息中的至少一个：图像识别信息301、合成类型信息302、表示合成所使用的拍摄图像的数量的源图像数信息303、合成图像信息304以及与合成图像有关的表示拍摄图像的摄像条件的源图像信息305。用户可以通过观察这样的显示，来理解摄影师的意图和构思。

(回放期间的图像处理)

现在，将描述图像回放期间图像处理单元107进行图像处理的操作。例如，假设控制单元101从ROM 102或记录介质108读取图像数据，并且在显示单元109的显示装置上显示图像数据。基于在这样的状态下用户经由操作单元111给出的针对图像处理的指示，控制单元101将与显示单元109上显示的图像相对应的图像数据输入至图像处理单元107，并且使图像处理单元107进行图像处理。这里，控制单元101基于通过图像处理单元107进行的图像处理，来重写与图像处理的对象图像数据有关的头信息。具体地，考虑如下情况：图像处理单元107对存储第一类型数据“3”作为图像识别信息301的图像文件的图像数据，基于要被处理的图像数据的像素值，执行要进行的图像处理(诸如灰度转换处理、颜色转换处理、缺陷校正处理以及滤波处理等)。

在这种情况下，控制单元101还将表示摄像时获得的合成图像的第一类型数据“3”作为图像识别信息301存储在存储处理后图像数据的图像文件中。现在，考虑如下情况：针对存储第一类型数据“3”作为图像识别信息301的图像文件的图像数据，进行涉及某种与其它源图像的合成处理或者与文本数据、帧、图标或计算机图形(CG)的合成处理的图像处理。在这种情况下，控制单元101将表示一般合成图像的第二类型数据“2”作为图像识别信息301存储在存储处理后图像数据的图像文件中。控制单元101的这种操作可以在摄像设备100内部确保与通过第一类型数据“3”表示的摄像时获得的合成图像有关的信息的可靠性。与此相对，如果对存储第二类型数据“2”作为图像识别信息301的图像文件的图像数据进行上述类型的图像处理中的任意图像处理，则控制单元101将表示一般合成图像的第二类型数据“2”作为图像识别信息301存储在存储处理后图像数据的图像文件中。

现在，考虑如下情况：针对存储第三类型数据“1”作为图像识别信息301的图像文件的图像数据，进行用于生成被分类为一般合成图像(“2”)或非合成图像(“1”)的图像的图像处理。在这种情况下，控制单元101基于分类来确定与处理后图像数据相对应的图像识别信息301。具体地，控制单元101判断对回放图像进行的图像处理是否是合成处理，并且判断合成处理的方法。基于这些判断，控制单元101然后确定要被记录在存储处理后图像数据的图像文件中的图像识别信息301，并且将图像识别信息301记录在包含处理后图像数据的图像文件的合成信息部2091中。如果执行了基于要被处理的图像数据的像素值进行的其它图像处理(诸如灰度转换处理、颜色转换处理、缺陷校正处理和滤波处理等)，则控制单元101在存储处理后图像数据的图像文件中存储表示非合成图像的第三类型数据“1”作为图像识别信息301。

如上所述，根据本典型实施例，将诸如存储在合成信息部2091中的信息等的信息与图像数据一起记录，这使得用户或计算机能够基于合成处理的有无以及合成处理的类型来适当地判断和处理图像。例如，可以收集包括HDR合成图像的图像文件，并且可以通过AI来分析在图像文件的合成信息部2091中记录的信息以学习各种摄像条件。然后，学习结果可以被用作用于基于场景和构图来学习曝光差异的参考信息。为了该目的，还可以使用素材图像的曝光时间和ISO速度。

在星空轨迹摄像的情况下，可以根据附加至合成图像的表示总曝光时间段的标签来估计多长时间的摄像产生何种水平的轨迹。总曝光时间段包括拍摄图像的曝光时间和拍摄图像的摄像操作之间的非曝光时间段。该估计免去用户设置无用的长摄像时间。

针对照相机训练用途，在文件中记录与合成失败有关的信息(诸如在摄像设备100判断为在摄像期间合成失败的情况下、在云服务器判断为合成失败的情况下以及在用户判断为合成失败情况下等，并且给出低评级)。这种信息可用于确定下一次的摄像条件。

例如，如果失败的原因被认为是照相机抖动，则控制单元101视为用户容易使照相机抖动，并且可以针对随后的摄像进行诸如自动设置更短曝光时间等的改进。

还可以使用诸如存储在合成信息部2091中的信息等的信息来确定合成图像的图像处理参数。

当应用对合成联合图像专家组(JPEG)图像应用图像处理时，参考合成信息部2091中的信息。

用于存储针对各ISO速度的NR参数并基于拍摄图像时使用的ISO速度应用NR参数的应用可以更改在合成图像的情况下的参数确定所用的逻辑。

例如，应用可以基于被合成的图像的数量和源图像的ISO速度来切换NR参数。例如，针对ISO 3200的NR参数用于ISO 3200非合成图像，针对ISO 2500的NR参数用于两个ISO3200图像的合成图像，并且针对ISO 1600的NR参数用于四个ISO 3200图像的合成图像。

在Exif结构的APP1中嵌入上述合成信息部2091，或者特别是摄像条件数据，可以确保与现有Exif符合设备和软件的高兼容性。

(在回放期间的记录图像的编辑处理)

在本典型实施例中，用户可以在回放期间通过操作操作单元111，来编辑在记录介质108上记录的并被显示在显示画面上的图像，并且将编辑后图像记录在记录介质108上。图8是示出编辑处理的详情的流程图。同样通过控制单元101读取ROM 102中所存储的程序并且进行运算处理和控制，来实现该流程图。

在步骤S800中，控制单元101最初经由操作单元111从用户接受要编辑的图像和编辑处理的设置。通过在观看显示单元109的情况下操作操作单元111，用户从记录在记录介质108上的多个图像中选择要编辑的图像，并且还指定对要编辑的图像进行的编辑处理。根据本典型实施例的编辑处理可以是合成处理、剪切处理或颜色转换处理。用户从这样的处理选项中选择要执行的编辑处理。如果指定了合成处理，则用户选择多个图像作为要编辑的图像。

在步骤S801中，控制单元101判断在步骤S800中设置的编辑处理是否是合成处理。如果要执行合成处理作为编辑处理(在步骤S801中为“是”)，则处理前进到步骤S802。如果要执行除合成处理之外的处理(在步骤S801中为“否”)，则处理前进到步骤S807。在步骤S807中，控制单元101执行在步骤S800中设置的除合成处理之外的编辑处理。

在步骤S802中，控制单元101判断与在步骤S800中选择要编辑的图像有关的图像数据是否是原始图像数据。如果判断为图像数据是原始图像数据(在步骤S802中为“是”)，则处理前进到步骤S803。如果判断为图像数据不是原始图像数据(在步骤S802中为“否”)，则处理前进到步骤S806。

在步骤S803中，控制单元101判断要通过合成处理来编辑的多个原始图像数据是否具有相同视角(摄像视场)。目的是通过对要编辑的多个原始图像数据进行合成来判断是否满足“摄像时获得的合成图像”的条件。在本典型实施例中，如果要编辑的多个原始图像数据是通过连续拍摄所拍摄的图像，则控制单元101判断为视角相同。如果判断为视角相同(在步骤S803中为“是”)，则处理前进到步骤S804。如果判断为视角不相同(在步骤S803中为“否”)，则处理前进到步骤S806。在步骤S804中，控制单元101从要通过合成处理来编辑的多个原始图像数据中读取摄像条件，并且判断摄像条件是否相同。如上所述，要经过相同性判断的摄像条件是用于判断要被分类为“摄像时获得的合成图像”的图像的特定摄像条件(诸如光圈值、被摄体距离、光源和透镜焦距等)。如果判断为要编辑的多个原始图像数据的摄像条件相同(在步骤S804中为“是”)，则处理前进到步骤S805。如果判断为摄像条件不相同(在步骤S804中为“否”)，则处理前进到步骤S806。

在步骤S805中，控制单元101通过使用图像处理单元107对要编辑的多个原始图像数据进行合成处理，由此生成合成图像。由于生成的合成图像满足针对要被分类为“摄像时获得的合成图像”的合成图像的条件，因此控制单元101附加第一类型数据“3”作为图像识别信息301，并且将合成图像记录在记录介质108上。这里，通过不仅附加图像识别信息301还附加其它Exif信息来记录合成图像。由于合成图像是“摄像时获得的合成图像”，因此通过附加合成图像信息304以及与合成图像有关的源图像信息305来记录合成图像。

在步骤S806中，控制单元101通过使用图像处理单元107对要编辑的多个图像数据(原始图像数据或显像后图像数据)进行合成处理，由此生成合成图像。控制单元101然后将表示分类“一般合成图像”的第二类型数据“2”作为图像识别信息301附加至所生成的合成图像，并且在记录介质108上记录结果。这里，通过不仅附加图像识别信息301还附加其它Exif信息来记录合成图像。由于合成图像是“一般合成图像”，因此可以通过附加或者不附加合成图像信息304以及与合成图像有关的源图像信息305来记录合成图像。

如上所述，在步骤S803和S804中，控制单元101判断要生成的合成图像是否满足针对要被分类为“摄像时获得的合成图像”的合成图像的条件。如果满足针对要被分类为“摄像时获得的合成图像”的合成图像的条件，则处理前进到步骤S805。如果不满足该条件，则处理前进到步骤S806。

如果在步骤S802中与要编辑的图像有关的图像数据是原始图像数据，则控制单元101判断是否满足针对要被分类为“摄像时获得的合成图像”的合成图像的条件，并且基于判断结果附加图像识别信息301。另一方面，如果图像数据不是原始图像数据，则无论是否满足针对要被分类为“摄像时获得的合成图像”的合成图像的条件，控制单元101都将表示“一般合成图像”的第二类型数据“2”作为图像识别信息301附加至所生成的合成图像。原因如下。为了显像处理，原始图像数据包含诸如在摄像期间的摄像条件等的详情信息。由于记录了在摄像期间获得的未显像数据，因此在回放期间的合成可以生成与在摄像期间合成的合成图像等效的合成图像。在本典型实施例中，如果对记录介质108上记录的拍摄图像进行合成并通过合成原始图像来生成合成图像，则基于是否满足针对“摄像时获得的合成图像”的条件来切换要附加哪种类型数据，即表示“摄像时获得的合成图像”的第一类型数据“3”或者表示“一般合成图像”的第二类型数据“2”。另一方面，如果通过合成普通显像图像来生成合成图像，则在无需判断条件的情况下(即，无论是否满足条件)附加表示“一般合成图像”的第二类型数据“2”。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附的权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (8)

1.一种图像处理设备，包括：

合成单元，其被配置为对多个图像进行合成以生成合成图像；以及

控制单元，其被配置为将所述合成单元生成的所述合成图像记录在记录介质上，控制单元还被配置为：

如果通过所述合成单元生成的所述合成图像是在摄像模式下通过对多个拍摄图像进行合成而生成，并且，

在用于合成的所述多个图像具有实质上相同的预定摄像条件和视角的情况下，将第一类型的合成分类数据作为表示合成分类的识别信息附加到所记录的合成图像，以及

在用于合成的所述多个图像不具有实质上相同的预定摄像条件和视角的情况下，将第二类型的合成分类数据作为所述识别信息附加到所记录的合成图像，

其中，所述控制单元被配置为在所述合成单元生成的所述合成图像是在回放模式下通过对记录在所述记录介质上的多个拍摄图像进行合成来生成的情况下，无论用于合成的所述多个图像是否具有实质上相同的预定摄像条件和视角，都将所述第二类型的合成分类数据作为所述识别信息附加到所记录的合成图像。

2.根据权利要求1所述的图像处理设备，其中，所述控制单元被配置为在记录附加有所述第一类型数据的所述合成图像时，控制记录使得合成所使用的拍摄图像的数量以及合成所使用的拍摄图像的摄像条件与所述第一类型数据一起被记录。

3.根据权利要求1所述的图像处理设备，其中，所述控制单元被配置为进行控制使得所述第一类型数据或所述第二类型数据被记录在图像数据的头区域中。

4.根据权利要求3所述的图像处理设备，其中，所述控制单元被配置为进行控制使得：所述第一类型数据或所述第二类型数据被记录在与可交换图像文件格式标准即Exif标准相对应的图像数据文件的应用标记部1区域即APP1区域中。

5.根据权利要求1所述的图像处理设备，其中，所述预定摄像条件包括光圈值、被摄体距离、光源和透镜焦距。

6.根据权利要求1所述的图像处理设备，其中，所述控制单元被配置为：在通过所述合成单元生成的所述合成图像是通过对记录在所述记录介质上的所述多个拍摄图像进行合成而生成，并且，在根据通过连续拍摄所获得的多个原始图像数据来生成所述合成图像的情况下，控制所述合成图像的记录使得基于用于合成的所述多个图像是否具有实质上相同的预定摄像条件和视角来附加所述第一类型的合成分类数据或所述第二类型的合成分类数据。

7.一种图像处理方法，包括：

在拍摄多个图像、在摄像模式下对多个拍摄图像进行合成以生成合成图像、并且将所述合成图像记录在记录介质上时，在用于合成的所述多个图像具有实质上相同的预定摄像条件和视角的情况下，将第一类型的合成分类数据作为表示合成分类的识别信息附加到所记录的合成图像，而在用于合成的所述多个图像不具有实质上相同的预定摄像条件和视角的情况下，将第二类型的合成分类数据作为所述识别信息附加到所记录的合成图像；以及

在回放模式下对记录在所述记录介质上的多个拍摄图像进行合成以生成合成图像的情况下，无论用于合成的所述多个图像是否具有实质上相同的预定摄像条件和视角，都将所述第二类型的合成分类数据作为所述识别信息附加到所记录的合成图像。

8.一种非暂时性计算机可读存储介质，其存储有程序，所述程序用于使计算机进行根据权利要求7所述的图像处理方法。

Images