CN117337559A - 控制设备、控制方法和程序 - Google Patents

Abstract

提供一种适用于多个时间顺序图像数据的合成处理的用户界面。一种控制设备，包括用户界面控制部分，用户界面控制部分执行控制以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像。开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。

Description

控制设备、控制方法和程序

技术领域

本技术涉及控制设备、控制方法和程序，并且更具体地，涉及图像合成处理的用户界面。

背景技术

通过执行合成多个图像的图像合成处理来创建各种图像是公知的。

PTL 1公开了一种不需要技巧来合成图像的技术，以使用长时间曝光容易地提供前帘同步/后帘同步/多发光的图像效果，并且还公开了一种用于该技术的用户界面。

[引用列表]

[专利文献]

[PTL 1]

日本专利公开号2009-232385

发明内容

[技术问题]

为了执行合成处理，用户执行选择要经受合成处理的多个图像数据的操作。如果要进行合成的图像数据增加，则用户界面画面可能变得复杂，或者每个图像的可视性或可操作性可能恶化。

因此，本公开的一个目的是提出一种用户界面，利用该用户界面，提高了用于合成图像的操作中的可视性或可操作性。

[针对问题的解决方案]

根据本技术的控制设备包括用户界面控制部分，用户界面控制部分执行控制以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像。开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。

至少同时显示所述合成时间范围内的所述开头图像和所述最后图像，以允许用户检查所述开头图像和所述最后图像。

在根据本技术的上述控制设备中，用户界面控制部分可以执行控制以在不涉及画面转变的情况下在一个画面中并排显示开头图像和最后图像。

同时显示开头图像和最后图像以彼此进行比较，而不涉及例如画面滚动。

在根据本技术的上述控制设备中，用户界面控制部分可以执行控制以显示通过对包括在开头图像到最后图像的合成范围中的多个图像的合成处理而获得的合成图像的快门速度。

由于合成了时间顺序图像，因此合成图像的快门速度与合成范围中包括的各图像的快门速度不同。显示快门速度。

在根据本技术的上述控制设备中，用户界面控制部分可以根据改变开头图像或最后图像的操作来改变开头图像或最后图像的设定。

这允许用户可选地选择开头图像和最后图像中的一个或两者。

在根据本技术的上述控制设备中，用户界面控制部分可以显示图像组的时间轴，并且进一步可以将对所指示的时间轴执行的操作作为改变开头图像或最后图像的操作。

例如，显示表示图像组的时间轴的滑动条以由用户操作。

在根据本技术的上述控制设备中，用户界面控制部分可以根据操作改变要显示为开头图像或最后图像的图像。

例如，通过再现操作或逐帧前进操作来切换开头图像和最后图像。

在根据本技术的上述控制设备中，用户界面控制部分可以根据快门速度输入操作来设定开头图像或最后图像。

提供了例如可以输入快门速度的用户界面画面。

在根据本技术的上述控制设备中，用户界面控制部分可以执行控制以在显示的开头图像或最后图像上显示固定区域，在该固定区域中，在合成处理期间在各图像间固定帧内位置。

当合成多个图像时，将拍摄图像中的特定被摄体区域确定为固定区域。固定区域的帧内位置(像素位置)在要合成的各图像中被固定在相同的像素位置中。

在根据本技术的上述控制设备中，用户界面控制部分可以根据指定在合成处理期间在各图像间要固定帧内位置的固定区域的操作，执行在开头图像或最后图像的帧中设定固定区域的处理。

即，可以根据用户操作将拍摄图像中的特定被摄体区域设定为固定区域。

在根据本技术的上述控制设备中，用户界面控制部分可以执行控制以在显示的开头图像或最后图像上显示在合成处理期间在各图像间要固定帧内位置的候选固定区域，并且可以根据候选固定区域指定操作在开头图像或最后图像的帧中设定固定区域。

例如，呈现图像上的候选固定区域，使得用户可以指定该候选者。

在根据本技术的上述控制设备中，用户界面控制部分可以执行控制以在显示的开头图像或最后图像上显示在合成处理期间在各图像间要固定帧内位置的候选固定区域或固定区域，并且进一步显示作为固定区域的适合性程度。

例如，使用数值或显示形式的差异来向用户呈现固定区域或候选固定区域的适合性程度。

在根据本技术的上述控制设备中，用户界面控制部分可以执行用户界面控制以允许选择合成处理的方法，并可以根据合成处理方法选择操作来设定合成处理的方法。

用于多个图像的合成处理的方法的示例包括相加平均模式、变亮模式和加权模式。提供了通过其可以选择合成处理方法的用户界面。

在根据本技术的上述控制设备中，用户界面控制部分可以执行控制以与开头图像和最后图像同时显示合成图像。

除了开头图像和最后图像之外，还显示作为由开头图像和最后图像指示的合成范围的合成处理的结果而生成的合成图像。

在根据本技术的上述控制设备中，用户界面控制部分可以执行控制以与开头图像和最后图像同时显示用于给出执行合成处理的命令的操作元件。

在显示开头图像和最后图像的画面上，可以给出用于实际合成处理的命令。

在根据本技术的上述控制设备中，图像组中包括的图像数据可以是在图像拍摄时的曝光时段连续的图像数据。

例如，时间顺序图像数据是其中没有设置非曝光时段的图像数据的序列。

在根据本技术的上述控制设备中，图像组的每个图像数据可以是RAW(原始)图像数据。

对通过图像拍摄获得的RAW图像数据组执行图像合成。即，在显影处理之前合成多个图像数据。

在根据本技术的上述控制设备中，图像组中包括的图像数据可以是通过连续拍摄静止图像或视频拍摄而获得的时间顺序图像数据。

即，图像数据是作为通过一次连续图像拍摄获得的静止图像的序列的多个帧的图像数据，或者构成通过视频拍摄获得的视频的帧的图像数据。

根据本技术的上述控制设备还可以包括合成处理部分，合成处理部分合成在通过用户界面控制部分设定的开头图像到最后图像的合成范围中包括的多个图像。

例如，在通过用户界面画面设定的范围上执行合成处理。

根据本技术的控制方法包括：通过控制设备执行用户界面控制以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像，开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。这为合成处理提供了用户界面。

根据本技术的程序使计算处理设备控制上述用户界面。因此，可以实现上述控制设备。

附图说明

图1是根据本技术的实施例的合成处理和用户界面的说明图。

图2是根据实施例的图像拍摄设备的框图。

图3是根据实施例的信息处理设备的框图。

图4是图像数据的显影处理的说明图。

图5示出了根据实施例的合成处理和显影处理的说明图。

图6示出了根据实施例的合成处理和显影处理的说明图。

图7是根据实施例的使曝光时段连续的添加处理的说明图。

图8是根据实施例的拍摄其曝光时段连续的RAW图像数据的说明图。

图9是根据实施例的UI画面的画面构成的说明图。

图10是实施例中的UI画面示例的说明图。

图11是根据实施例的在UI画面上设置固定区域的说明图。

图12是根据第一实施例的UI控制处理的流程图。

图13是根据第二实施例的UI控制处理的流程图。

图14是根据第二实施例的候选固定区域及其适合性程度的显示的说明图。

图15是根据第二实施例的适合性程度显示的说明图。

图16示出了根据第二实施例的通过指定固定区域来改变合成范围的说明图。

图17是根据实施例的合成模式的示例的说明图。

具体实施方式

以下，将按以下顺序解释实施例。

<1.概述>

<2.图像拍摄设备的配置>

<3.信息处理设备的配置>

<4.合成处理和显影处理>

<5.UI处理示例>

<6.根据第一实施例的UI控制示例>

<7.根据第二实施例的UI控制示例>

<8.合成模式的示例>

<9.结论和修改>

应当注意，本公开使用与图像合成处理相关的术语“合成范围”。“合成范围”是指时间范围。在本公开中，术语“合成处理”是指合成多个时间顺序帧的图像数据的处理。在这种情况下，将在合成处理中合成的多个帧的图像数据的范围称为合成范围。此外，在时间上位于合成范围的开头的图像数据的图像被称为“开头图像”，而在时间上位于合成范围的末端的图像数据的图像被称为“最后图像”。

合成范围通过用户的操作确定。或者，可以自动确定合成范围。

此外，术语”图像组“是指可以被设置为包括在合成范围中的多个时间顺序帧的图像数据。图像组的全部或一部分的区间被设置为上述”合成范围“。

另外，在本公开中，对于多个图像数据的表述“时间顺序”可以意味着是完全连续的。然而，该表述不限于该含义，并且该表述的含义如此广泛，以致于只要图像数据在时间上具有连续性，则多个时间顺序图像数据就可以是图像数据的间歇序列。例如，具有通过连续拍摄静止图片或一般视频记录而获得的多个帧的每个图像数据也被认为是“多个时间顺序图像数据”。此外，作为当图像拍摄设备的用户不是进行连续拍摄而是进行单次拍摄(拍摄一张静止图片)若干次时所获得的多张静止图片的各图像数据，由于可以识别帧的序列，因此也被认为是“多个时间顺序图像数据”。

简而言之，其时间序列被识别的多个图像数据对应于“多个时间顺序图像数据”。

主要说明合成RAW图像的例子，但本发明并不局限于该例子。要合成的图像数据可以是包括JPEG(联合图像专家组)格式的任何格式的图像数据。

RAW图像是指在图像拍摄设备等中没有部分或完全经历显影处理的图像。另外，将形成一个图像(一个帧)作为RAW图像的图像数据称为RAW图像数据。

具体地，尽管存在被称为RAW图像数据的各种图像数据，但是在本实施例中，使用具有与图像拍摄元件(图像传感器)的颜色阵列相同的颜色阵列的图像数据作为RAW图像数据的示例。注意，RAW图像数据还包括作为相同故障校正的结果的、具有与图像拍摄元件的颜色阵列相同的颜色阵列的图像数据。

例如，在图像传感器输出R(红)、G(绿)和B(蓝)像素信号的情况下，RAW图像数据是R、G和B格式的图像数据。注意，RAW图像数据还可以包括除了R、G和B之外还具有W(白色)像素值的图像数据。此外，在图像传感器具有Bayer阵列的情况下，包含G1(绿色1)、G2(绿色2)、R(红色)和B(蓝色)像素值的图像数据是RAW图像数据。此外，在一些图像数据格式中，G1、G2、R和B像素值被组合为四个单独的通道。例如，G1、G2、R和B构成各自的帧，然后，分别压缩其通道，从而获得图像数据。换句话说，图像数据是例如作为G1图像数据、G2图像数据、R图像数据和B图像数据的图像数据。这也包括在RAW图像数据的例子中。

另外，通过将从图像拍摄元件读出的图像数据转换为亮度值和色度值的格式而获得的并且没有经过颜色再现/锐度处理的图像数据有时也被称为RAW图像数据。这是本公开中的一种RAW图像数据。为了在说明中进行区分，将这种RAW图像数据称为”YC-RAW图像数据“。

<1.概述>

例如，假设根据实施例的控制设备被安装作为图像拍摄设备(相机)或编辑图像的信息处理设备中的控制部分。或者，其中安装有该控制部分的图像拍摄设备或信息处理设备可以被认为是根据本公开的控制设备。

这种类型的控制设备执行控制以提供用于包括多个时间顺序图像数据的图像组的合成处理的用户界面(也被表示为“UI”)画面。

图1示意性地示出了从作为图像拍摄操作的结果的多条RAW图像数据R#1到R#n的输入到多条RAW图像数据的合成处理的完成的处理。

注意，本实施例的可能的合成处理包括通过帧位置匹配来叠加多个图像数据的合成处理和通过特定被摄体位置匹配来叠加多个图像数据的合成处理。

例如，多个RAW图像数据(R#1～R#n)是作为通过连拍而连续拍摄的静止图像的图像数据，或者作为视频而成像的帧的图像数据。多个图像数据构成具有时间顺序帧的关系的图像组。

控制设备向想要进行多个RAW图像数据(R#1～R#n)的合成处理的用户提供UI画面100。

在UI画面100上，用户检查图像，并通过指定开头图像和最后图像来设置合成范围。

根据在UI画面100上执行的设置来执行合成处理。

因此，例如生成合成RAW图像数据。

可以从多个RAW图像数据生成一个合成RAW图像数据，或者可以从多个RAW图像数据生成数量少于多个RAW图像数据的多个RAW图像数据。

例如，当输入十个(十帧)时间顺序RAW图像数据作为图像组时，可以选择性地使用要合成的RAW图像数据。例如，合成所有十个图像数据以生成RAW图像数据，或者合成十个图像数据中的七个以生成RAW图像数据。

此外，可以对合成RAW图像数据执行显影处理。因此，例如，可以获得诸如JPEG之类的预定格式的图像数据。预定格式的图像数据当然不限于JPEG图像数据。预定格式的示例包括HEIF(高效图像文件格式)、YUV422和YUV420。

以下给出的实施例的说明主要描述其中将多个时间顺序RAW图像数据合成来生成合成RAW图像数据的示例。

例如，将顺序记录的多个RAW图像数据合成，以生成一个合成RAW图像数据。在这种情况下，可以获得与长时间曝光效果等效的效果。另外，假定可以定义要合成的RAW图像数据的数量，从而以与用于RAW图像数据的图像拍摄的快门速度不同的任何快门速度来创建合成RAW图像数据。

另外，与正常显影处理一样，可以对作为合成处理的结果而获得的合成RAW图像数据执行例如透镜校正、NR(噪声降低)、去马赛克、颜色再现和锐度处理。

<2.图像拍摄设备的配置>

将参考图2说明图像拍摄设备1的配置示例。

图像拍摄设备1包括执行用于图像合成的UI控制的UI控制部分30。包括UI控制部分30的图像拍摄设备1或被包括在UI控制部分30中的处理器(相机控制部分18)可以被视为根据本公开的控制设备的示例。

例如，图像拍摄设备1包括透镜系统11、图像拍摄元件部分12、记录控制部分14、显示部分15、通信部分16、操作部分17、相机控制部分18、存储器部分19、图像处理部分20、缓冲存储器21、驱动器部分22和传感器部分23。

例如，透镜系统11包括诸如变焦透镜或聚焦透镜之类的透镜以及光圈机构。利用透镜系统11，来自被摄体的光(入射光)被引导并聚集到图像拍摄元件部分12上。

图像拍摄元件部分12包括例如CMOS(互补金属氧化物半导体)型或CCD(电荷耦合器件)型的图像传感器12a(图像拍摄元件)。

图像拍摄元件部分12对通过在图像传感器12a处接收的光的光电转换而获得的电信号执行例如CDS(相关双采样)处理或AGC(自动增益控制)处理，并且进一步对电信号执行A/D(模拟/数字)转换。此外，图像拍摄元件部分12将图像拍摄信号作为数字数据输出到后级的图像处理部分20和相机控制部分18。

图像处理部分20例如通过DSP(数字信号处理器)等形成为图像处理处理器。

图像处理部分20对从图像处理部分20提供的数字信号(图像拍摄信号)，即RAW图像数据，执行各种信号处理。

要注意，在一些情况下，RAW图像数据是指对通过从图像拍摄元件部分12提供的数字信号进行特定处理而得到的诸如上述YC-RAW图像数据之类的图像数据。或者，在一些情况下，可以将不是YC-RAW图像数据而是通过作为预处理执行将R、G、B的黑电平钳位在预定电平的钳位处理、或者对从图像拍摄元件部分12提供的图像拍摄信号进行R、G、B颜色通道校正处理而得到的图像数据称为RAW图像数据。

在其它情况下，已经执行了透镜校正或噪声降低的图像数据可以被称为RAW图像数据。

在本实施例中，图像处理部分20具有由合成处理部分31和显影处理部分32实现的信号处理功能。

合成处理部分31进行合成处理，该合成处理通过合成均构成一帧图像的多个RAW图像数据来生成合成RAW图像数据，这将在后面进行说明。

应当注意，合成处理部分31还可以对由显影处理部分32显影的图像数据执行合成处理，如下所述。

显影处理部分32通过对RAW图像数据或由合成处理部分31生成的合成RAW图像数据进行显影处理，进行生成预定格式的图像数据的显影处理。例如，显影处理部分32进行透镜校正、噪声降低、同步处理、YC生成处理、颜色再现/锐度处理等。

在同步处理中，执行用于将所有R、G和B颜色分量赋予每个像素上的图像数据的颜色分离处理。例如，在图像拍摄元件具有Bayer阵列滤色器的情况下，执行去马赛克作为颜色分离处理。

在YC生成处理中，从R、G和B图像数据生成(分离)亮度信号(Y)和颜色信号(C)。

在颜色再现/锐度处理中，执行通常被称为图像处理的用于调节等级、亮度、色调、对比度等的处理。

显影处理部分32中的上述处理是广义上的显影处理。特别地，颜色再现/锐度处理是狭义的显影处理。从经过了狭义的显影处理的图像数据中，去除了原始RAW图像数据的部分信息。因此，在随后的图像编辑中的自由度较窄。

在本公开中，将没有经过狭义的显影处理的图像数据认为是RAW图像数据或YC-RAW图像数据。

图像处理部分20通过在如上所述的显影处理部分32中进行广义的显影处理，生成预定格式的图像数据。

在这种情况下，可以执行分辨率转换或文件形成处理。在文件形成处理中，例如，对图像数据执行用于记录或用于通信的压缩和编码、格式化、或元数据生成或添加，由此生成用于记录或用于通信的文件。

例如，JPEG、TIFF(标记图像文件格式)、GIF(图形交换格式)、HEIF、YUV422或YUV420格式的图像文件被生成为静止图片图像文件。另外，可以生成用于记录MPEG-4兼容的视频/声音的MP4格式的图像文件。

应当注意，可以生成未经历显影处理的RAW图像数据的图像文件。

缓冲存储器21包括例如D-RAM(动态随机存取存储器)。缓冲存储器21用于在图像处理部分20中的上述合成处理或显影处理期间临时保存图像数据。

记录控制部分14例如在包括非易失性存储器的记录介质中记录和再现数据。记录控制部分14执行例如将诸如视频数据和静止图片数据之类的图像文件记录到记录介质中的处理。

记录控制部分14的实际形态有很大的变化。例如，记录控制部分14可以形成为包括在图像拍摄设备1中的闪存及其写入/读取电路。可选地，记录控制部分14可以是可附接到图像拍摄设备1/可从其拆卸的记录介质，其例如是对存储器卡(例如，便携式闪存)进行记录和再现访问的卡记录和再现部分。可选地，包括在图像拍摄设备1中的记录控制部分14可以被实现为HDD(硬盘驱动器)。

显示部分15是对用户进行各种显示的显示部分。例如，显示部分15是取景器或显示面板，其包括设置在图像拍摄设备1的外壳上的诸如液晶面板(LCD：液晶显示器)或有机EL(电致发光)显示器之类的显示设备。

显示部分15根据来自相机控制部分18的命令在显示屏幕上执行各种显示。

例如，显示部分15显示由记录控制部分14从记录介质读出的图像数据的再现图像。

另外，显示部分15可以被提供有其分辨率已经被图像处理部分20转换以用于显示的拍摄图像的图像数据，并且根据来自相机控制部分18的命令基于拍摄图像的图像数据执行显示。结果，显示了通常称为直通图像(对象监视图像)的图像，直通图像是在构图确认或移动记录期间的拍摄图像。

另外，根据来自相机控制部分18的命令，显示部分15在屏幕上显示各种操作菜单、图标、消息，即，GUI(图形用户界面)显示。

通信部分16与外部设备进行有线/无线数据通信或网络通信。例如，通信部分16将包括拍摄的图像数据或元数据的静止图片文件或视频文件发送并输出到例如外部信息处理设备、显示设备、记录设备或再现设备。

另外，通信部分16用作网络通信部分，以使用诸如因特网、家庭网络或LAN(局域网)之类的各种网络执行通信，并且例如与网络上的服务器或终端交换数据。

另外，通过通信部分16，图像拍摄设备1可以通过短距离无线通信或红外通信(例如蓝牙(注册商标)、Wi-Fi(注册商标)或NFC(近场通信))，与PC、智能电话或平板终端执行相互信息通信。另外，图像拍摄设备1可以被配置为经由有线连接通信与另一设备相互通信。

因此，通过通信部分16，图像拍摄设备1可以将拍摄的图像或元数据发送到稍后描述的信息处理设备70。

操作部分17集体地表示用户进行各种操作和输入的输入设备。更具体地说，操作部分17表示设置在图像拍摄设备1的壳体上的操作元件(例如，键、拨盘、触摸面板和触摸板)。

通过操作部分17检测用户操作，并且将与输入的操作相对应的信号发送到相机控制部分18。

相机控制部分18包括微型计算机(计算处理设备)，该微型计算机包括CPU(中央处理单元)。

存储器部分19存储用于相机控制部分18中的处理的信息等。图中所示的存储器部分19例如全面地表示ROM(只读存储器)、RAM(随机存取存储器)、闪存等。

存储器部分19可以是作为相机控制部分18的微计算机芯片中的存储器区域，或者可以包括单独的存储器芯片。

相机控制部分18通过执行存储在存储器部分19中的ROM或闪存中的程序来整体控制图像拍摄设备1。

例如，相机控制部分18控制必要部分的操作，诸如图像拍摄元件部分12的快门速度的控制、用于图像处理部分20中的各种信号处理的命令、基于用户操作的图像拍摄操作或记录操作、记录的图像文件的再现操作、透镜主体的变焦、诸如聚焦或光圈调整之类的透镜系统11的操作、以及用户界面的操作。

在相机控制部分18中，例如，UI控制部分30的功能由软件实现。UI控制部分30控制显示部分15、与图像拍摄设备1连接的外部显示设备、或者可以与图像拍摄设备执行通信的外部显示设备，以显示UI画面100。此外，UI控制部分30执行检测UI画面100上的用户操作的处理。通过UI画面100，允许用户确认用于合成处理的图像，并执行各种设置操作，这将在稍后详细说明。

UI控制部分30(相机控制部分18)根据通过UI画面100执行的用于合成处理的设置来控制合成处理部分31中的合成处理。

注意，上述图像处理部分20的功能可以通过相机控制部分18中的软件来实现。

作为用于相机控制部分18的CPU中的各种数据处理的工作区域，存储器部分19中的RAM用于临时存储数据和程序等。

存储器部分19中的ROM和闪存(非易失性存储器)用于存储允许CPU控制这些部分的OS(操作系统)、诸如图像文件之类的内容文件、以及用于各种操作的应用程序、固件和各种设置信息等。

驱动器部分22例如包括用于变焦透镜驱动马达的马达驱动器、用于驱动聚焦透镜的马达驱动器和用于光圈机构的马达驱动器。

这些马达驱动器被配置为根据来自相机控制部分18的命令向相应的驱动器施加驱动电流以移动聚焦透镜和变焦透镜以及打开/关闭光圈机构的光圈叶片。

传感器部分23综合地表示安装在图像拍摄设备中的各种传感器。

在例如安装IMU(惯性测量单元)作为传感器部分23的情况下，可以利用三轴(即，俯仰、偏航、滚转)角速度(陀螺仪)传感器检测角速度，并且可以利用加速度传感器检测加速度。

或者，例如，可以安装位置信息传感器、照度传感器、测距传感器等作为传感器部分23。

在拍摄图像中，作为元数据附加各种信息，例如，由传感器部分23检测出的位置信息、距离信息、照度信息、IMU数据等、以及由相机控制部分18管理的时刻和日期信息。

<3.信息处理设备的配置>

接下来，将参考图3解释信息处理设备70的配置示例。

信息处理设备70例如是能够处理信息，或者特别地能够处理图像的计算机设备。具体而言，信息处理设备70是个人计算机(PC)、诸如智能电话或平板电脑之类的便携式终端设备、蜂窝电话、视频编辑器、或视频再现设备。可选地，信息处理设备70可以是被形成为云计算中的计算设备或服务器设备的计算机设备。

此外，信息处理设备70包括执行用于合成处理的UI控制的UI控制部分30。包括UI控制部分30的信息处理设备70或包括UI控制部分30的处理器(CPU 71)可以被视为根据本公开的控制设备的示例。

信息处理设备70的CPU 71例如根据存储在作为EEP-ROM(电可擦除可编程只读存储器)的ROM 72或非易失性存储器部分74中的程序，或者根据从存储部分79加载到RAM 73的程序，执行各种处理。此外，CPU 71执行各种处理所需的数据也适当地存储在RAM 73中。

图像处理部分20具有在关于图像拍摄设备1的说明中先前已经说明的合成处理部分31和显影处理部分32的功能。

图像处理部分20中的合成处理部分31和显影处理部分32可以作为CPU 71的功能而提供。

或者，图像处理部分20可以被实现为CPU、GPU(图形处理单元)、GPGPU(图形处理单元上的通用计算)或与CPU 71分离的AI(人工智能)处理器。

在CPU 71中，UI控制部分30的功能例如由软件实现。UI控制部分30控制显示部分77或者能够与信息处理设备70通信的外部或远程显示设备，以显示UI画面100。此外，UI控制部分30执行检测UI画面100上的用户操作的处理。通过UI画面100，允许用户检查用于合成处理的图像，并执行设置操作。

UI控制部分30(CPU 71)根据通过UI画面100执行的合成处理设定来控制合成处理部分31中的合成处理。

CPU 71、ROM 72、RAM 73、非易失性存储器部分74以及图像处理部分20通过总线83彼此相互连接。在总线83上还连接有输入/输出接口75。

包括操作元件或操作设备的输入部分76连接到输入/输出接口75。例如，假设输入部分76是诸如键盘、鼠标、键、拨盘、触摸面板、触摸板、或遥控器之类的各种操作元件或操作设备。

利用输入部分76，检测用户操作，并且由CPU 71解释与输入的操作相对应的信号。

麦克风也可以用作输入部分76。用户发出的语音可以作为操作信息输入。

另外，包括LCD、有机EL面板等的显示部分77和包括扬声器等的声音输出部分78整体地或单独地连接到输入/输出接口75。

显示部分77是进行各种显示的显示部分。例如，显示部分77包括例如设置在信息处理设备70的外壳上的显示设备，或者连接到信息处理设备70的单独的显示设备。

显示部分77根据来自CPU 71的命令在显示屏幕上执行要经受各种图像处理的图像和要处理的视频的显示。另外，显示部分77根据来自CPU 71的命令指示各种操作菜单、图标和消息。即，显示部分77提供作为GUI的显示。

在一些情况下，包括HDD、固态存储器等的存储部分79和包括调制解调器等的通信部分80连接到输入/输出接口75。

存储部分79能够存储要处理的数据和各种程序。

在信息处理设备70作为根据本公开的控制设备发挥功能的情况下，能够将能够经受合成处理的图像数据(例如RAW图像数据)、合成RAW图像数据、以及通过将合成RAW图像数据显影而获得的JPEG图像数据等存储在存储部分79中。

另外，用于UI控制处理、合成处理、显影处理等的程序被存储在存储部分79中。

通信部分80通过诸如因特网之类的传输路径执行通信处理，并且通过有线/无线通信或总线通信与其它设备执行通信。

通过通信部分80进行与图像拍摄设备1的通信，或者更具体地，接收拍摄的图像。

如果需要，驱动器81也连接到输入/输出接口75。诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质82适当地附接到输入/输出接口75。

利用驱动器81，可以从可移除记录介质82读出诸如图像文件或各种计算机程序之类的数据文件。所读出的数据文件被存储在存储部分79中，或者通过显示部分77和声音输出部分78输出包括在数据文件中的图像和声音。另外，如果需要，从可移除记录介质82读出的计算机程序等被安装到存储部分79中。

例如，通过由通信部分80执行的网络通信或通过可移除记录介质82，可以将用于根据本实施例的处理的软件安装到信息处理设备70中。或者，可以将这样的软件预先存储在ROM 72或存储部分79中。

<4.合成处理和显影处理>

这里，将说明由图像拍摄设备1或信息处理设备70的图像处理部分20对图像数据执行的合成处理和显影处理。

例如，图像处理部分20可以通过合成多条RAW图像数据来生成一条或多条合成RAW图像数据，以便编辑图像拍摄之后的快门速度。

首先，图4示意性地示出了由图像处理部分20的显影处理部分32执行的显影处理的流程。

例如，从图像拍摄元件部分12输入的图像数据是RAW图像数据，或者是已经经过预处理的RAW图像数据，这未被描绘。

注意，RAW图像数据是假定使用图像拍摄设备1而从图4中的图像拍摄元件部分12输入的图像数据。在信息处理设备70的情况下，RAW图像数据例如可以是从存储部分79读出的数据。

在广义的显影处理中，例如，执行步骤ST1：透镜校正，步骤ST2：NR(噪声降低)，步骤ST3：去马赛克，以及步骤St4：作为狭义的显影处理的颜色再现/锐度处理。

结果，例如，JPEG图像数据被生成为已经经过上述显影处理的图像数据。

此外，如果在去马赛克之后执行步骤ST5：YC转换，则获得YC-RAW图像数据。

图5A、5B、6A、6B和6C描述了在显影处理部分32中执行的显影处理和在合成处理部分31中执行的合成处理之间的关系的例子。

在图5A的合成处理例子I中，合成JPEG图像数据。图5A示出了均作为RAW图像数据的显影处理(步骤ST1、ST2、ST3和ST4)的结果而生成的多个JPEG图像数据(J#1至J#n)。步骤ST10：对所述多个JPEG图像数据(J#1至J#n)执行合成处理，从而生成合成JPEG图像数据。

在图5B的合成处理例子II中，合成RAW图像数据。

图5B示出了作为要合成的图像数据的多个RAW图像数据(R#1～R#n)。例如，步骤ST10：对多个RAW图像数据(R#1～R#n)进行合成处理。因此，获得了合成RAW图像数据。

另外，对合成RAW图像数据执行包括步骤ST1、ST2、ST3和ST4的显影处理。因此，JPEG图像数据被生成为合成图像。

在如图5B所示合成RAW图像数据的情况下，提供了以下有益效果。

例如，在如图5A所示合成均经过了显影处理的多个JPEG图像数据(J#1～J#n)的情况下，指出以下几点。

首先，对于要合成的多个图像数据中的每一个，需要广义的显影处理(步骤ST1、ST2、ST3和ST4)。例如，如果应当保存每个JPEG图像数据(J#1至J#n)，则不存在问题。然而，在应当仅保存合成图像的情况下，处理负荷增加。

另外，通过针对各图像数据优化的信号处理来进行显影处理。因此，信号处理对于合成图像数据不一定是最佳的。

此外，由于合成图像已经经过了显影处理，因此其可编辑性受到限制。具体地说，这是因为RAW图像数据中包含的原始信息的一部分通过在步骤ST4：颜色再现/锐度处理中去除颜色信息等而被删除。

另一方面，在如图5B所示合成RAW图像数据的情况下，在合成之后仅执行一次显影处理就足够了。因此，降低了信号处理负荷。另外，由于在显影处理中可以使用针对合成之后获得的合成RAW图像数据而优化的参数，因此可以改善例如显影图像数据或上述JPEG图像数据的图像质量。

另外，在没有进行涉及颜色再现/锐度处理等的图像处理的合成RAW图像数据中，不会发生由于图像处理而导致的信息丢失。因此，合成RAW图像数据具有例如关于颜色再现的高可编辑性。

如上所述，当合成多个RAW图像数据时，可以执行针对合成图像进行优化并且带来高效率的信号处理。

接下来，图6A中的合成处理示例III是使用YC-RAW图像数据的合成处理的示例。

注意，为了与YC-RAW图像数据进行区分，在图6A、6B和6C中，为了便于说明，将图像拍摄元件部分12获得的R、G和B格式的RAW图像数据表示为“RGB-RAW图像数据”。此外，将从RGB-RAW图像数据生成的合成RAW图像数据表示为“合成RGB-RAW图像数据”。

图6A中示出了多个YC-RAW图像数据(YCR#1至YCR#n)。即，通过对RGB-RAW图像数据执行步骤ST1、ST2、ST3和ST5来获得多条YC-RAW图像数据。

步骤ST10：对多个YC-RAW图像数据(YCR#1至YCR#n)执行合成处理，从而生成合成YC-RAW图像数据。此外，对合成YC-RAW图像数据执行步骤ST4：颜色再现/锐度处理，从而，例如，JPEG图像数据被生成为合成图像。

在图6B的合成处理示例IV中，对多个RGB-RAW图像数据(R#1至R#n)执行步骤ST10：合成处理，由此生成合成RGB-RAW图像数据，并且进一步执行步骤ST1、ST2、ST3和ST5以生成合成YC-RAW图像数据。

在图6C的合成处理例子V中，从多个YC-RAW图像数据恢复RGB-RAW图像数据(R#1至R#n)，然后合成。对从多个YC-RAW图像数据恢复的多个RGB-RAW图像数据(R#1至R#n)执行步骤ST10：合成处理，从而生成合成RGB-RAW图像数据，并且进一步地，执行步骤ST1、ST2、ST3和ST4以生成作为合成图像的JPEG图像数据。

如上面例子中那样的使用YC-RAW图像数据的合成处理是可能的。由于没有对YC-RAW图像数据执行颜色再现/锐度处理，所以在YC-RAW图像数据中不会丢失原始RAW图像数据中的信息。因此，可以获得与图5A和5B中的RAW图像数据的合成中的那些效果类似的有益效果。

在图5A、5B、6A、6B和6C中的上述示例的每一个中，对于步骤ST10：合成处理，执行步骤ST15：UI处理。UI处理是由UI控制部分30执行的处理。UI处理包括UI画面100上的显示控制、使用UI画面100的用户操作的检测、以及基于显示控制和检测的关于合成处理的设置。

通过UI处理，用户可以执行用于每个示例中的图像合成的期望设置。

这里，将解释编辑要在上述合成处理中实现的快门速度的概念。

假定在上述例子中要合成的图像数据(例如多个RGB-RAW图像数据(R#1至R#n)、多个JPEG图像数据(J#1至J#n)或多个YC-RAW图像数据(YCR#1至YCR#n))是包括时间顺序记录的图像的图像组的图像数据。

因此，通过将拍摄一个(一帧)图像数据时使用的快门速度乘以合成图像的数量，获得所生成的合成图像的快门速度。

例如，当在快门速度＝1/100秒下合成100个连续拍摄的RAW图像数据时，获得快门速度＝1秒的合成图像。

在这种概念下，可以在图像拍摄之后编辑快门速度。

注意，不一定在不中断曝光时段的情况下拍摄多个时间顺序图像数据。例如，图像传感器12a的图像拍摄操作涉及曝光时段和用于读取曝光的电荷的读取时段。因此，所拍摄的视频的帧的曝光时段在严格意义上是不连续的。

因此，编辑快门速度的表述在严格意义上是不正确的，但是在合成处理中编辑快门速度不一定意味着在严格意义上编辑快门速度。在合成了曝光时段不连续的多个RAW图像数据的情况下，可以认为快门速度在伪意义上被编辑。

然而，可以实现更严格意义上的快门速度的编辑，并且可以实现严格意义上的快门速度的编辑。

为了以更严格的意义实现快门速度的编辑，可以执行加法处理。在加法处理中，使多个RAW图像数据的曝光时段连续，或者抑制曝光时段的中断。具体地，在多个RAW图像数据的每一个中，将与图像传感器12a的非曝光时段相对应的曝光量与图像传感器12a的曝光时段期间的曝光量相加。

参照图7进行说明。在图7中，曝光时段Ta和用于读取由曝光产生的电荷的读取时段Tb被描绘为图像传感器12a的图像拍摄操作。注意，在实际中，为了简化图示和说明，存在既不进行曝光也不进行读取的时段和复位时段，但这些时段包含在读取时段Tb中。

作为曝光时段Ta和读取时段Tb中的操作的结果，获得一帧图像数据。当执行连续图像拍摄或视频拍摄时，重复曝光时段Ta和读取时段Tb。

然而，在读取时段Tb中，在图像传感器12a中不执行曝光。这样，在合成多个RAW图像数据时，合成图像数据并不是严格意义上的简单地降低快门速度(即，使曝光时间较长)的合成图像数据。

因此，执行将作为读取时段期间的像素信息的曝光量与像素值相加的处理，由此生成具有不间断曝光时段Ta的图像数据。

在一个例子中，考虑曝光时段Ta和读取时段Tb的时段长度比、和前一帧和后一帧的进行相加处理之前的像素值的变化量，进行一帧中的像素值的插值计算，使得得到在读取时段Tb期间进一步进行曝光时会得到的像素值。此外，对每个像素值执行加法处理，从而获得RAW图像数据R#1、R#2、R#3、...。

因此，RAW图像数据R#1、R#2、R#3、...可以成为曝光时段Ta未被中断的多个RAW图像数据。

从RAW图像数据R#1、R#2、R#3、...生成的JPEG图像数据或YC-RAW图像数据也可以成为曝光时段Ta不间断的连续图像数据。

为了得到可以进行严格意义上的快门速度编辑的图像数据，对图像拍摄元件部分12设置多个图像传感器12a1和12a2。在该情况下，可以不进行上述加法处理而得到曝光时段Ta不被中断的多个RAW图像数据。

如图8所示，例如从图像传感器12a1的输出获得RAW图像数据R#1。接着，从图像传感器12a2的输出获得RAW图像数据R#2。

这里，图像传感器12a1和图像传感器12a2同步，同时各自的曝光定时彼此偏离。即，如图8所示，图像传感器12a2的曝光时段Ta在图像传感器12a1的曝光时段Ta的结束定时开始，图像传感器12a1的曝光时段Ta在图像传感器12a2的曝光时段Ta的结束定时开始。

结果，从图像传感器12a1和12a2交替获得的RAW图像数据R#1、R#2、R#3、R#4、...是具有连续曝光时段的图像数据。从RAW图像数据R#1、R#2、R#3、...生成的JPEG图像数据或YC-RAW图像数据也可以成为曝光时段Ta不间断的连续图像数据。

另外，即使在使用一个图像传感器12a的情况下，当几乎可以忽略由读取时段Tb引起的曝光时段的中断时，或者当期望的图像中不包括运动对象时，在不执行上述相加处理的情况下执行合成处理，从而可以通过合成处理实现实际上足够的快门速度编辑。换句话说，可以对曝光时段的中断的影响大的图像拍摄设备或图像拍摄场景执行相加处理。

<5.UI处理示例>

在下文中，将解释UI处理的示例。

根据实施例的UI处理的示例向用户提供了用于合成和编辑图像的良好可操作性。

图9描绘了UI画面100的画面构成的示例。

例如，UI画面100包括输入选择区域2、调整区域3、开头图像区域4、最后图像区域5和合成图像区域6。这是一个示例。可以提供任何其它区域，或者可以省略这些区域中的任何一个。

例如，上述区域同时显示在一个画面上。特别地，期望在不涉及画面滚动或页面馈送的情况下显示这些区域。

输入选择区域2是为了选择编辑对象、或者选择要经受作为图像编辑的合成处理的图像组而设置的区域。

调整区域3是为了汇集(pool)稍后将说明的固定地区、指定固定地区并进行显影设定而设置的区域。

开头图像区域4是为了显示被确定为合成处理的开头图像的图像、选择开头图像以及指定固定区域而设置的区域。

最后图像区域5是为了显示被确定为合成处理的最后图像的图像、选择最后图像以及指定固定区域而设置的区域。

合成图像区域6是为了选择合成模式(合成处理方法)、进行合成处理之后的显影设定、显示作为合成结果或显影结果的图像、以及进行输出设定和输出操作而设置的区域。

使用上述UI画面100的用户界面具有以下特性(a)至(f)。

(a)具有用于包括多个时间顺序图像的图像组的输入界面。

例如，用户可以通过在输入选择区域2中的显示或操作来选择RAW图像数据的图像组或JPEG图像数据的图像组，使得图像组可以成为UI画面100上的设定操作对象。

另外，不仅可以形成通过在图像拍摄等时的连续图像拍摄来打包多个图像的图像组，而且可以形成包括由用户逐个选择的多个图像的图像组。

因此，在输入选择区域2中显示可选择的图像组或单独图像，使得用户可以进行选择。

(b)具有UI画面上的要处理的图像的显示框。

例如，设置图像显示区域的两个或更多个框，使得可以相互比较并检查用于指示合成范围的开头图像和最后图像。开头图像区域4和最后图像区域5对应于显示框。

注意，RAW图像可以被选择为要在开头图像区域4和最后图像区域5中显示的图像，但是，当RAW图像数据被原样显示时，图像的可视性不好。因此，在RAW图像数据是要对其执行图像显示的图像数据的情况下，期望执行用于显示容易看见的图像的处理。

例如，对RAW图像数据自动地执行基于允许用户容易地编辑RAW图像数据的显影设定的显影处理，并且显示结果图像数据。

或者，显示与RAW图像数据相关联的显影图像数据。例如，假设当执行图像拍摄时，JPEG图像数据或缩略图图像数据与RAW图像数据一起被记录。在这种情况下，即使RAW图像数据被选择为编辑对象，也在开头图像区域4和最后图像区域5中显示与RAW图像数据相对应的JPEG图像数据和缩略图图像数据。

(c)可以执行合成编辑。

在开头图像区域4中，可以选择或变更开头图像。此外，在最后图像区域5中，可以选择或变更最后图像。该选择或变更是为了编辑合成范围。

另外，可以在开头图像或最后图像中指定固定区域。固定区域是在要合成的多个图像数据的各图像中帧内位置固定的区域。例如，特定被摄体的区域被确定为固定区域。

另外，可以在UI画面100上选择指示用于执行合成处理的合成方法的合成模式。

(d)具有用于显示合成结果的框。

设置合成图像区域6，使得用户可以检查基于当前合成设定的合成结果。

(e)可以执行合成图像的显影设定。

例如，可以使用合成图像区域6通过用户界面执行显影设定。注意，设定结果可以显示在合成图像区域6中，或者可以显示在另一框中。

(f)可以选择用于输出合成结果的格式，并且可以给出用于输出合成结果的命令。

例如，为了输出合成结果，可以在使用RAW图像数据和使用根据显影设定显影的图像之间进行选择。

图10中描绘了具有上述特性的UI画面100的具体示例。如图10所示，在UI画面100上，至少同时显示开头图像50和最后图像60，并且进一步地，显示用于图像合成的各种显示。

在图10中的UI画面100的示例中，菜单部分40被布置在画面的左上侧。在菜单部分40中设置有操作元件“文件”、“编辑”、“输出”、“自动”、“帮助”等。通过这些操作元件，能够通过菜单部分40进行诸如图像文件的选择或保存、输出设定、自动处理设定、帮助显示之类的各种编辑操作。

导入按钮41和列表部分42设置在输入选择区域2中。

导入按钮41是用于加载要编辑的原材料(图像组)并将加载的原材料添加到列表部分42的操作元件。

列表部分42指示导入的图像组的列表。例如，使用作为代表图像的缩略图图像等来显示每个图像组。或者，可以显示每个图像组的文件名等。

在调整区域3中设置了添加按钮43、固定区域类型44、固定区域名称显示部分45和固定区域指定部分46。

添加按钮43是用于将所选择的固定区域添加到区域池的操作元件。注意，区域池是指保存对要处理的图像组设定的固定区域的存储区域。

此外，在调整区域3中显示保存在区域池中的固定区域的列表。

为了显示已在开头图像50中指定还是已在最后图像60中指定保存在池中的固定区域，在固定区域类型44中显示“开始”或“结束”。

在固定区域名称显示部分45中显示保存在池中的固定区域的名称。

在固定区域指定部分46中，使用复选框从保存在池中的固定区域中指定用于合成处理的固定区域。可以指定一个或多个固定区域来使用。

在开头图像区域4中，设置有固定区域设定图像显示部分47、固定区域指定模式操作部分48、AI支持模式显示部分49、开头图像50、快门速度显示部分51、条/再现操作元件显示部分52、帧编号显示部分53以及编辑按钮54。

为了表示在开头图像50和最后图像60中的哪个图像中设定固定区域，在固定区域设定图像显示部分47中显示“开始”或“结束”。

在AI支持模式显示部分49中，可以在复选框中指定在选择固定区域时AI支持模式的启用/禁用。在第二实施例中将说明AI支持模式。

快门速度显示部分51显示在假定对当前合成范围或开头图像50到最后图像60的范围执行合成处理的情况下计算的快门速度。

注意，固定区域设定图像显示部分47、AI支持模式显示部分49以及快门速度显示部分51可以显示在开头图像区域4以外的区域中。

固定区域指定模式操作部分48允许开头图像区域4中的固定区域指定模式的切换。在固定区域指定模式中，例如，允许用户执行选择以进行用于选择矩形范围的矩形选择，或者进行用于选择被摄体区域的区段选择。不用说，可以设置任何其它固定区域指定模式以便是可选择的。

开头图像50是布置在合成范围的开头的图像。由于可以通过用户的操作来改变开头图像50，因此在开头图像区域4中显示当前开头图像50。

包括滑动条和再现操作元件的条/再现操作元件显示部分52被显示在开头图像50的下方。

设置滑动条以指示要处理的图像组的时间轴。例如，通过在滑动条上移动指针，用户可以选择开头图像50。

另外，设置再现操作元件以执行再现操作、停止操作、逐帧前进操作和逐帧倒退操作。作为这些操作的结果，开头图像50被切换。通过操作这些再现操作元件以将图像在图像组中向前或向后移动，用户可以选择开头图像50。

在帧编号显示部分53中指示被设定为当前开头图像50的图像的帧编号，或者例如图像组中的帧编号。例如在图像组包括30个图像的情况下，显示“1”到“30”中的任何一个。

通过在帧编号显示部分53的框中输入数值，用户可以通过使用帧编号来选择开头图像50。

编辑按钮54是被操作以在开头图像区域4中执行编辑的操作元件。即，为了选择开头图像50或在开头图像50中指定固定区域，用户操作编辑按钮54。因此，可以执行使用开头图像区域4的编辑。

在最后图像区域5中设置固定区域指定模式显示部分55、最后图像60、条/再现操作元件显示部分52、帧编号显示部分58和编辑按钮57。

固定区域指定模式操作部分48允许切换最后图像区域5中的固定区域确定模式。如在开头图像区域4中，用户可执行选择以例如进行矩形选择或区段选择。

最后图像60是被设定为合成范围的末端的图像。最后图像60可以通过用户操作等来改变。因此，当前最后图像60被显示在最后图像区域5中。

包括滑动条和再现操作元件的条/再现操作元件显示部分56显示在最后图像60的下方。

设置滑动条以指示要处理的图像组的时间轴。例如，通过在滑动条上移动指针，用户可以选择最后图像60。

另外，设置再现操作元件以执行再现操作、停止操作、逐帧前进操作和逐帧倒退操作。作为这些操作的结果，切换最后图像60。通过操作这些再现操作元件以将图像在图像组中向前或向后移动，用户可以选择最后图像60。

在帧编号显示部分58中指示被设置为当前最后图像60的图像的帧编号，或者例如图像组中的帧编号。此外，通过在帧编号显示部分58的框中输入数值，用户可以通过使用帧编号来选择最后图像60。

编辑按钮57是被操作以在最后图像区域5中执行编辑的操作元件。即，为了选择最后图像60或在最后图像60中指定固定区域，用户操作编辑按钮57。因此，可以执行使用最后图像区域5的编辑。

在合成图像区域6中设置合成模式设定部分61、合成执行按钮62、保存按钮63、合成进度显示部分64、合成图像65和历史显示部分66。

设置合成模式设定部分61以供用户选择合成模式。例如，可以以下拉菜单的形式选择相加平均模式、变亮模式和加权模式。

相加平均模式是用于对包括在合成范围中的多个图像数据中的各个像素值进行平均、并使用平均后的像素值作为合成图像的像素值的合成处理模式。

变亮模式是仅使用等于或大于预定亮度值的有效像素值来执行图像合成的模式。

加权模式是用于在改变一些图像数据的权重的同时合成包括在合成范围中的多个图像数据的合成处理模式。稍后将解释变亮模式和加权模式。

合成执行按钮62是用于执行合成处理的操作元件。

保存按钮63是用于给出保存合成图像数据的命令的操作元件。应当注意，可以使要保存的合成图像数据的格式是可选择的。

作为合成图像65，显示通过执行包括当前确定的开头图像50到当前确定的最后图像60的多个图像数据的合成处理而获得的图像。

该合成图像可以通过以特定合成处理设定合成从开头图像50到最后图像60的范围内的多个图像来获得，或者可以通过反映当前合成模式设定的合成处理来获得。此外，在已经设定了显影处理设定的情况下，可以显示已经经过显影处理的图像。

合成进度显示部分64被布置在合成图像65的下方。当正在执行合成处理时，其进度例如由条的长度表示。

另外，在历史显示部分66中显示合成处理的历史和保存的历史。

注意，以上说明描述了UI画面100的代表性示例。可以包括任何其它显示和操作元件。

例如，在图10的示例中，没有指示执行显影设定所需的用户界面。然而，期望在调整区域3或合成图像区域6中设置这种用户界面。

将说明使用上述UI画面100的用户的合成处理设定。

用户执行从列表部分42中列出的导入图像组中选择期望的图像组的操作。然后，将所选择的图像组确定为合成处理设定的对象，并且开始图像组的显示。

即，在调整区域3中显示过去已经为图像组汇集的固定区域。

默认开头图像50和默认最后图像60被显示在开头图像区域4和最后图像区域5中。

例如，在默认设定中，开头图像50和最后图像都被设定为图像组的第一帧图像。

或者，在默认设定中，开头图像50可被设定为图像组的第一帧，而最后图像60可被设定为图像组的第二帧。

或者，在默认设定中，开头图像50可被设定为图像组的第一帧，而最后图像60可被设定为图像组的最后帧。

此外，在默认设定中，可以显示在图像组的过去编辑处理期间在图像组中设定的开头图像50和最后图像60。

另外，可以通过对包括在图像组中的图像进行图像分析来确定在特定时间范围内的主被摄体，并且可以将包括主被摄体的帧中的第一帧确定为开头图像50，并且可以将包括主被摄体的帧中的最后帧确定为最后图像60。

此后，用户可以通过使用开头图像区域4和最后图像区域5选择任何图像作为开头图像50和最后图像60。

例如，通过使用条/再现操作元件显示部分52和56的滑动条和再现操作元件，用户选择开头图像50和最后图像60。

另外，通过在快门速度显示部分51中输入快门速度值，用户可以针对开头图像50或最后图像60设定与所输入的快门速度相对应的合成范围。

或者，可以相对于开头图像50到最后图像60的当前范围的中心帧来设定与输入的快门速度相对应的合成范围。

另外，通过合成执行按钮62，执行对当前选择的开头图像50到当前选择的最后图像60的合成范围的合成处理，以允许检查合成图像65。

注意，在用户不操作合成执行按钮62的情况下，每当开头图像50或最后图像60改变时，可以执行合成处理并且可以更新合成图像65。

快门速度显示部分51显示将通过针对开头图像50到最后图像60的合成范围的合成处理而获得的快门速度，使得用户可以在识别将通过当前合成范围为图像提供的快门速度的同时执行工作。

另外，在观看图像中的内容的同时，可以选择要被确定为开头图像50和最后图像60的帧。因此，可以容易地选择合成范围。

另外，因为用户可以在一个画面中观看开头图像50到最后图像60的同时执行工作，所以用户可以容易地识别合成范围。

用户也可以观看利用开头图像50和最后图像60的合成图像65。因此，用户可以在掌握合成图像的同时执行用于选择开头图像50和最后图像60的操作。

另外，用户可以指定合成处理的固定区域。

图11描绘了显示指示固定区域的固定区域框59的状态。

用户可以通过使用调整区域3来指定汇集的固定区域，并且进一步指定图像中的新的固定区域。

例如，用户选择开头图像50或最后图像60，并且在所选择的图像中指定固定区域。例如，通过利用拖动操作增大/减小固定区域框59的尺寸，用户确定固定区域框59在期望的被摄体范围内的位置。结果，由该框包围的区域被确定为固定区域。

或者，通过徒手进行指定范围的操作，用户可以在图像上绘制具有不规则形状的固定区域框59，由此指定固定区域。

或者，用户可以在图像中指定多个点，使得包括这些点的矩形范围被确定为固定区域。

或者，用户可以指定特定被摄体，可以自动识别该被摄体的范围，例如，诸如面部或身体之类的特定部分，然后，可以将该区域确定为固定区域。在这种情况下，例如，诸如语义分割之类的物体识别可以用于识别被摄体范围。

在设定了固定区域时，通过对添加按钮43进行的操作，能够汇集固定区域。在汇集新指定的固定区域的设定后，能够使用新的固定区域的设定。

如图11所示，指定的固定区域由固定区域框59显示。

在固定区域框59被显示在开头图像50上的情况下，在与包括在合成范围中的所有图像中的固定区域相对应的被摄体图像的帧内位置被调整为开头图像50中的被摄体的帧内位置的同时，合成各图像。

因此，固定区域中的被摄体在合成图像65中不会模糊。

例如，在图11中，假设用户通过连续地对正在移动的列车成像来获得图像组。例如，假设在连续拍摄期间，用户根据列车的移动方向从左侧向右侧移动图像拍摄设备1。因此，假定图像组中包括的图像的图像拍摄方向逐渐改变。

在这种情况下，在将列车前部确定为固定区域的情况下，将各图像数据中的列车前部的帧内位置调整为开头图像50中的列车前部的帧内位置，然后进行合成处理。因此，获得了诸如图11中描绘的合成图像65之类的图像，其中列车的前部是清楚的，而背景是模糊的。

可以在最后图像60中指定固定区域。

在这种情况下，将合成范围中包括的每个图像数据中被确定为固定区域的被摄体的帧内位置调整为最后图像60中的被摄体的帧内位置，然后，执行合成处理。

因此，即使指定了相同的被摄体区域，在开头图像50中确定了固定区域的情况下获得的合成图像与在最后图像60中确定了固定区域的情况下获得的合成图像不同。

在设定了多个固定区域的情况下，调整包括在合成范围中的所有图像中的多个固定区域的帧内位置，然后，执行合成处理。

应当注意，可以省略指定固定区域。为了在启用汇集的固定区域之后禁用固定区域设定，取消复选(uncheck)固定区域指定部分46就足够了。

另外，在用户在图像上设定固定区域框59之后，可以执行删除固定区域框59的操作，由此取消固定区域的指定。

<6.根据第一实施例的UI控制示例>

将参考图12解释在显示上述UI画面100时通过UI控制部分30执行的处理的示例。

图12描绘了当UI控制部分30在显示部分15(或显示部分77或任何其它显示设备)上显示UI画面100时执行的控制处理示例。

在步骤S101中，UI控制部分30确定是否退出UI处理。在UI控制部分30例如由于用户已经关闭UI画面100而确定退出UI处理的情况下，UI控制部分30从步骤S101前进到步骤S140，其中执行退出处理以关闭UI画面100。因此，图12中的处理结束。

在打开UI画面100之后，在步骤S102中，UI控制部分30监视图像组选择操作。注意，UI画面100顺序地执行与对菜单部分40的操作或对导入按钮41的操作相对应的处理，这从流程图中省略。

在执行选择在输入选择区域2中显示的图像组的操作的情况下，UI控制部分30从步骤S102前进到步骤S103，以执行用于显示图像区域的处理。在该步骤中，在开头图像区域4中显示默认开头图像50，在最后图像区域5中显示默认最后图像60，并且进一步地，在调整区域3中显示与图像组相关联地汇集的固定区域。

UI控制部分30可以使用所选择的图像组的特定帧作为默认开头图像50和默认最后图像60，或者可以使用通过图像分析确定的帧，如上所述。或者，可以使用反映了先前处理中的设定的帧。

在显示开头图像50和最后图像60的状态下，UI控制部分30重复监视对合成范围的操作的步骤S120、监视合成模式操作的步骤S122、监视固定区域指定操作的步骤S124、监视合成操作的步骤S126、以及监视输出操作的步骤S128。

注意，UI控制部分30还执行各种操作及其处理的监视。然而，为了避免复杂的解释，省略了这种监视和处理。

当检测到用户执行的合成范围操作时，UI控制部分30从步骤S120前进到步骤S121以改变合成范围设定并作出显示改变以反映设定改变。

例如，执行通过条/再现操作元件显示部分52或56改变开头图像50或最后图像60的操作。

在用户通过条/再现操作元件显示部分52执行改变开头图像50的操作的情况下，UI控制部分30改变开头图像50的设定并切换所显示的开头图像50。此外，帧编号显示部分53中的编号和快门速度显示部分51中的值也相应地改变。

在用户通过条/再现操作元件显示部分56执行改变最后图像60的操作的情况下，UI控制部分30改变最后图像60的设定并切换显示的最后图像60。另外，帧编号显示部分58中的编号和快门速度显示部分51中的值也相应地改变。

在另一种情况下，用户执行在快门速度显示部分51中输入快门速度值的操作。或者，用户可以指定要合成的图像的数目，这在图10中没有示出。这些操作也被认为是合成范围的操作。

在用户将期望的快门速度值输入到快门速度显示部分51中的情况下，UI控制部分30计算从当前开头图像50起的实现快门速度的合成范围，并且将例如在合成范围的末端处的帧确定为最后图像60。或者，以当前最后图像60为基准，UI控制部分30计算实现快门速度的合成范围，并将合成范围的开头处的帧确定为开头图像50。

用户可以选择开头图像50或最后图像60中的哪个用作参考图像。例如，可以使用其中设定了固定区域的图像作为参考图像。

另外，可以以从当前开头图像50到当前最后图像60的区间的中点处的帧为基准来计算实现所输入的快门速度的合成范围，并且可以将合成范围中的开头和末端处的帧确定为开头图像50和最后图像60。

或者，用户可以指定合成范围内的参考帧。

在用户输入要合成的图像的数量的情况下，类似地，以下方法也是可能的。

当检测到用户已经操作了合成模式设定部分61时，UI控制部分30从步骤S122前进到步骤S123以改变合成模式的设定，并且改变显示以反映设定改变。例如，改变诸如相加平均模式、变亮模式或加权模式之类的合成模式的设定。另外，切换合成模式设定部分61的显示状态以显示这些模式中的任何一个。

当检测到用户已经执行了指定固定区域的操作时，UI控制部分30从步骤S124前进到步骤S125，以设定固定区域并执行相应的显示改变。

例如，根据用户操作来显示、变形或重新定位固定区域框59。另外，设定与固定区域框59对应的固定区域。

此外，当在调整区域3中执行操作时，UI控制部分30根据步骤S125中的操作设定固定区域并显示固定区域框59。

当检测到用户已经操作了合成执行按钮62时，UI控制部分30从步骤S126前进到步骤S127，以执行合成处理和相应的显示更新。

例如，UI控制部分30使图像处理部分20对当前合成范围执行合成处理。可以给出执行反映当前合成模式或当前固定区域的合成处理的命令。此外，可以给出执行反映当前显影设定的显影处理的命令。

然后，作为合成处理的结果获得的合成图像65被显示在合成图像区域6中。

当检测到用户已经操作了保存按钮63时，UI控制部分30从步骤S128前进到步骤S129以记录当前合成图像。即，当前合成图像数据被输出到记录控制部分14或存储部分79，并且当前合成图像数据被存储在记录介质中。

在这种情况下，可以指定要存储的图像的数据格式。另外，RAW图像数据可以按原样记录，或者显影图像数据可以被记录。

通过图12中的步骤，用户可以在观看UI画面100的同时执行关于图像合成的编辑操作。

<7.根据第二实施例的UI控制示例>

将说明将AI支持模式应用于固定区域的设定的第二实施例。

AI支持模式是支持用户指定固定区域的模式。在AI支持模式下，呈现候选固定区域，并且呈现作为固定区域的适合性程度。

当用户执行在UI画面100上勾选AI支持模式显示部分49中的复选框的操作时，AI支持模式被启用。

在AI支持模式下，根据由合成模式设定部分61选择的合成模式，例如加法平均模式、变亮模式或加权模式，通过AI处理来确定合成的适合性程度，并且呈现候选固定区域和固定区域适合性的程度。适合性程度是表示例如当相应区域被确定为固定区域时获得的合成图像的好坏程度的评价值。

用于评价适合性程度的标准之一是当设定固定区域时合成范围中的图像偏差有多小。

另外，参照与期望的合成图像和不期望的合成图像有关的学习数据，可以通过根据图像的内容(被摄体类型)、合成范围和合成模式确定是否能够获得期望的图像来获得适合性程度。例如，是否能够获得通常有利的合成图像是一个评价标准。

图13描绘了UI控制部分30进行的处理的示例。通过在图12的处理中追加步骤S130～S133而获得了该示例。其余的处理与图12中的相同，因此省略其说明。

在AI支持模式被启用的情况下，UI控制部分30从步骤S130前进到步骤S131，在该步骤中，根据是否指定了固定区域来对处理进行分支。

在指定了固定区域的情况下，UI控制部分30进入步骤S132，以计算固定区域的适合性程度，并进行用于呈现适合性程度的显示。即，UI控制部分30计算表示在当前选择的合成模式下在针对指定的固定区域调整包括在开头图像50至最后图像60的当前合成范围中的各图像的同时执行合成这些图像的合成处理的情况下获得的合成图像成为期望图像的程度的值。然后，UI控制部分30进行与适合性程度对应的显示，或者例如显示数值，并且控制与适合性程度对应的显示形式。

在没有指定固定区域的情况下，UI控制部分30从步骤S131进入步骤S133，以在开头图像50和最后图像60中搜索候选固定区域。然后，UI控制部分30显示候选固定区域，并且在确定候选固定区域为固定区域时，进行显示控制以呈现适合性程度。

例如，UI控制部分30通过语义分割等在开头图像50和最后图像60中执行物体识别。然后，在假定在当前合成模式下对当前合成范围执行合成处理，同时将物体确定为固定区域的情况下，以上述方式获得每个识别出的物体的适合性程度。此外，将获得了等于或大于阈值的适合性程度的被摄体区域确定为候选固定区域。

在以这种方式选择候选固定区域之后，UI控制部分30在开头图像50或最后图像60上呈现候选区域，并且还执行与其适合性程度相对应的显示。

上述AI支持模式处理允许用户在检查候选固定区域时指定固定区域。

此外，在指定了固定区域之后，根据固定区域的适合性程度，给出执行图像合成的命令或者再次指定固定区域。

下面将给出一个具体的例子。

图14描绘在指定固定区域之前呈现候选固定区域的示例。

例如，当在最后图像60中找到候选固定区域时，UI控制部分30通过指示候选框59A向用户呈现被确定为候选固定区域的区域，如图14所示。在这种情况下，两个候选框59A指示被确定为候选者的两个区域。

此外，作为适合性显示67，还显示数值。因此，用户能够理解，前侧列车更适合作为固定区域。

注意，在该示例中，候选框59A被显示在最后图像60上，但是候选框59A可以被显示在开头图像50上。而且，在一些情况下，候选框59A可以被显示在开头图像50和最后图像60两者上。不同被摄体的区域可以被确定为候选者。可以显示开头图像50和最后图像60上的同一被摄体的区域，因为在开头图像50上指定的被摄体的适合性程度不总是与在最后图像60上指定的被摄体的适合性程度相同。例如，在图14所示的前侧列车的前表面被确定为固定区域的情况下，在最后图像60上指定的该固定区域(即，在最后图像60上的帧内位置固定的固定区域)可以提供更合意的合成图像。

图15描绘了显示适合性程度的示例。在这种情况下，例如，描绘了其中没有数值被用作适合性显示67并且具有不同色调的图像被重叠的示例。

例如，针对每个被摄体区域计算适合性程度，并且将适合性程度转换为亮度等级。然后，叠加亮度等级。

在图15的开头图像50中，前侧列车的前部的亮度高，而后侧列车的区域的亮度相对低。此外，剩余部分较暗。

以这种方式，用户可以直观地识别图像中的每个被摄体部分的适合性程度。另外，在整个图像中指示适合性程度。因此，该图像在不限于通过物体识别检测到的被摄体的期望区域被确定为固定区域的情况下也是合适的。

应当注意，在图15的示例中，由于在整个图像上指示了适合性程度，所以不需要显示候选框59A。

图14和15各自描绘了在图13的步骤S133中由UI控制部分30执行的显示控制的示例。

在指定固定区域之后在步骤S132中执行的显示控制的示例中，设置固定区域框59和适合性显示67，如图16A所示。在该示例中，两个固定区域框59指示两个固定区域，并且此外，设置数值作为对应适合性显示67。

每当改变合成范围或改变合成模式时，改变指定的固定区域的适合性显示67。

例如，假设用户将图16A中的最后图像60的指定改变为图16B中描绘的最后图像60。在图16A中，帧编号显示部分58指示“12”。在图16B中，帧编号显示部分58指示“29”，因为用户已经将最后图像60改变为在稍后时间点拍摄的图像。另外，由于图16B中的合成范围较宽，因此快门速度显示部分51从图16A中的“1/48”更新为图16B中的“9/160”。

因此，在用户执行改变合成范围的操作的情况下，也再次计算固定区域的适合性程度。这改变了适合性显示67的数值，如附图中所描绘的。

在图13的处理中，当AI支持模式被启用时，步骤S132或步骤S133被不断地执行。因此，在用户指定固定区域之后，每当改变合成范围或合成模式时，UI控制部分30重新计算适合性程度，并在步骤S132中更新显示。

如上所述，在AI支持模式处理中，与候选框59A一起呈现候选固定区域，并设置候选区域或固定区域的适合性显示67。特别地，在用户在移动图像拍摄设备1以跟随被摄体的同时拍摄图像或者进行通常称为摇摄的操作的情况下，选择固定区域是重要的，因为包括在合成范围中的图像的图像拍摄方向是变化的。因此，使用AI支持模式来支持指定固定区域是有用的。

注意，在通过摇摄获得要进行合成处理的图像组的情况下，可以自动开始AI支持模式。

例如，在对图像组的图像分析显示特定被摄体的帧内位置已经逐渐移动的情况下，UI控制部分30可以确定执行摇摄，并且开始AI支持模式。

另外，如果摇摄信息包括在添加到图像数据的元数据中，则UI控制部分30根据元数据确定通过摇摄获得图像组。例如，图像拍摄设备1在拍摄图像时根据IMU检测值确定摇摄，并且关于摇摄的信息可以被添加到元数据。或者，当执行摇摄时，用户可执行预定操作以将关于摇摄的信息添加到元数据。

此外，如果关于每个图像(帧)的IMU数据被记录在元数据中，则UI控制部分30可以通过在合成处理期间分析IMU数据来确定图像组是否是通过摇摄获得的。

要注意，即使没有进行摇摄，也获得对被指定为固定区域的区域的抖动校正效果。因此，即使在不进行摇摄的情况下，进行AI支持模式也是有效的。

<8.合成模式的示例>

在迄今为止给出的说明中，已经描述了相加平均模式、变亮模式和加权模式作为合成模式的示例。在相加平均模式中，对各个图像中的像素值进行平均。以下，将给出变亮模式和加权模式的说明。

变亮模式是仅将等于或高于预定亮度值的像素值确定为有效而使用的模式。变亮模式被认为是用于突出移动的明亮被摄体的合成模式。

在例如拍摄夜景、星空或焰火并且被摄体具有相对于暗背景的暂时亮部的情况下，当以相加平均模式进行合成时，在合成图像中暂时亮部变暗。由于在其它图像中暂时亮部是暗的，因此作为平均的结果，相应像素的亮度值被减小。

将讨论图17中描绘的图像。这些图像是通过对每个人保持诸如灯或闪耀件之类的发光物体并且移动发光物体以便画出字符的场景连续成像而获得的一组图像。

这些图像被描绘为图17中的开头图像50和最后图像60。由人分别保持的发光物体的每个明亮部分仅是每个图像的一个部分，但是，当合成连续拍摄的图像时，生成其中描绘了光线的字符的合成图像65。

关于这种图像合成，在以变亮模式执行的合成中，由高亮度的光线书写的字符可以显现，但是在相加平均模式中由光线书写的字符部分的亮度变低。

也就是说，可以生成期望的图像作为快门速度已经改变的图像。

此外，合成图像65的内容和气氛很大程度上取决于用于合成这种图像组的合成范围。因此，对于用户来说，在UI画面100上自由地设定在变亮模式下的合成处理的合成范围是有用的，因为用户可以由此根据用户的偏好生成图像。

接下来，将说明加权模式。

加权模式是用于在改变各图像数据的权重的同时合成合成范围内的图像数据的模式。另外，可以改变每个图像数据中的特定帧内区域的权重。

首先，将说明改变包括在合成范围内的各图像数据的权重的示例。

开头图像50或最后图像60的权重增加，从而在合成图像65中可以获得前帘同步或后帘同步效果。

可以增加用户指定的任何帧的权重或者两个或更多帧的权重。因此，可以获得其中特定帧图像被突出的合成图像65。

另外，可以将合成范围中的帧的权重设定为零。例如，在仅存在不期望被添加到合成图像的一个帧的情况下，可以通过排除该帧的图像来生成合成图像。

为了实现上述加权，可以在UI画面100上指定图像(帧)的各个权重的数值。例如，所有帧的初始值被设定为“1.0”。用户可以将初始值改变为从“0.0”到“65535.0”的范围内的值。

另外，可以指定不用于合成的帧，即，具有权重＝0.0的帧，或者可以指定要被突出的帧(其权重要被增加)。

权重可以在图像帧中改变。

例如，在图像中包括不必要的被摄体的情况下，被摄体的区域的权重可以被减小到零，使得可以获得已经从其消除被摄体的合成图像65。另一方面，可以增加要突出的被摄体的区域的权重。

为了在图像帧中进行权重改变，提供了用户界面，通过该用户界面，如以上述指定固定区域的方式那样，可以在UI画面100上指定区域并且可以设定其权重。

例如，可以用矩形框指定区域，可以徒手指定区域，或者可以指定多个点来指定包括这些点的区域。或者，可以呈现通过语义分割处理中的物体识别而获得的区域，使得用户可以指定该区域并改变其权重。

<9.结论和修改>

由上述实施例提供的效果如下。

根据实施例的控制设备包括UI控制部分30。例如，图像拍摄设备1、相机控制部分18、信息处理设备70或CPU 71对应于包括UI控制部分30的控制设备。

此外，UI控制部分30进行控制，以同时显示包括在包括多个时间顺序图像数据的图像组中的一些图像数据的图像，并且该一些图像包括在要进行合成处理的合成范围中在时间上处于开头和末尾的开头图像50和最后图像60。

在执行RAW图像的多个时间顺序帧的合成处理的情况下，至少同时显示合成时间范围中的开头图像50和最后图像60，使得用户可以检查合成开始和合成结束处的两个图像。因此，容易识别合成时间范围。因此，可以容易地执行设定合成范围的操作。

另外，由于不是合成范围中包括的所有图像都被显示，因此在一个画面上显示的图像的尺寸不会变得过小。可以提供用户容易看到的UI画面。

根据本实施例的UI控制部分30执行控制以在一个画面中并排显示开头图像50和最后图像60，而不涉及画面转变。例如，如先前参考图9和10所解释的，开头图像50和最后图像60可被同时显示以彼此进行比较，而不涉及例如画面滚动。

因此，用户可以比较开头图像50和最后图像60，而无需特别执行滚动画面或移动显示范围的任何操作。也就是说，可以提供用户可以在其上一眼就可以容易地识别合成范围并且进一步在检查合成范围的同时改变合成范围的UI画面。

在上述例子之一中，根据实施例的UI控制部分30对作为对开头图像50～最后图像60的合成范围中包含的多个图像的合成处理的结果而得到的合成图像的快门速度的显示进行控制。将该显示设置在快门速度显示部分51中。

因此，用户可以识别合成图像的快门速度。这进一步向希望生成具有降低的快门速度的合成图像的用户提供用于设定合成范围的指标。

根据实施例的UI控制部分30被配置为根据改变开头图像50或最后图像60的操作来执行控制以改变开头图像50或最后图像60的设定。

因此，用户可以执行自由指定图像组中的开头图像50和最后图像60的操作。结果，用户可以生成期望快门速度的合成图像。

根据实施例的UI控制部分30被配置为指示图像组的时间轴，并且将用于指示时间轴的操作视为改变开头图像或最后图像的操作。例如，已经解释了指示图像组的时间轴的滑动条。

通过操作条/再现操作元件显示部分52和56的滑动条，用户可以选择开头图像50和最后图像60。在这种情况下，可以从图像组中直观地选择合成范围。

根据实施例的UI控制部分30被配置为根据操作改变要显示为开头图像50或最后图像60的图像。

因此，通过使用条/再现操作元件显示部分52和56的操作元件执行再现操作、停止操作、逐帧前进操作或逐帧返回操作，用户可以在切换要被显示为开头图像或最后图像的图像的同时选择开头图像50和最后图像60。也就是说，用户可以在检查图像的同时指定开头图像50和最后图像60。因此，UI画面100适于根据用户的意图设定开头图像50和最后图像60。

如上所述，根据实施例的UI控制部分30根据指定快门速度的输入操作来确定开头图像50或最后图像60。

例如，用户可以在快门速度显示部分51中输入任何快门速度值。UI控制部分30例如针对开头图像50计算实现所输入的快门速度的合成范围，并且将合成范围的最后处的图像设定为最后图像60。或者，UI控制部分30针对最后图像60计算实现输入的快门速度的合成范围，并将合成范围的开头处的图像设定为开头图像50。因此，可以提供对期望获得具有期望快门速度的合成图像的用户有用的编辑功能。

注意，可以预先固定使用开头图像50或最后图像60中的哪个作为参考图像，或者可以使用其中由固定区域框59确定了固定区域的图像作为参考图像。此外，可以使用除开头图像50或最后图像60之外的图像作为参考图像。

根据实施例的UI控制部分30被配置为执行控制以在开头图像50或最后图像60上显示用于在合成处理期间固定各图像中的帧内位置的固定区域。例如，固定区域由固定区域框59指示。

固定区域的帧内区域(像素位置)在要合成的各图像的帧中被固定。因此，在合成图像中，固定区域中的被摄体是清晰的，没有任何模糊。也就是说，可以获得其中清楚地表示特定被摄体的合成图像。

在这种情况下，当在UI画面100上指示固定区域时，用户可以识别图像中哪个被摄体变得清楚。

根据实施例的UI控制部分30被配置为根据固定区域指定操作执行在开头图像50或最后图像60的帧中设定固定区域的处理。

因此，用户可以指定开头图像50或最后图像60中的任何区域或被摄体作为固定区域。从而可以执行作为用户期望的图像编辑的合成处理。

特别地，固定区域旨在调整被摄体在包括在合成范围中的各图像中的位置。因此，可以容易地实现需要技巧的图像表现，例如摇摄。此外，当设定固定区域时，还提供了用于校正被摄体抖动的效果。

在上述示例之一中，根据实施例的UI控制部分30执行控制以利用候选框59A等在所显示的开头图像50或最后图像60上显示候选固定区域，并且根据候选固定区域指定操作执行在开头图像50或最后图像60的帧中设定固定区域的处理。

所呈现的候选固定区域用作用户执行指定固定区域的操作的向导，并且还便于指定固定区域的操作。

另外，由于可以在开头图像50或最后图像60中指定固定区域，所以可以生成更接近理想的最终图像的合成图像。

在上述示例中的一个中，根据实施例的UI控制部分30执行控制以例如利用固定区域框59或候选框59A在所显示的开头图像50或最后图像60上显示固定区域或候选固定区域，并且执行控制以提供指示作为固定区域的适合性程度的适合性显示67。

当以能够识别其适合性程度的方式显示固定区域或候选固定区域时，用户能够确定当前设定是否适合于合成处理，或者是否能够执行更好的设定。因此，显示适合性程度有效地帮助了用于执行合成处理的设定的UI画面操作。

根据实施例的UI控制部分30被配置为执行用户界面控制以允许选择合成处理方法，并且根据选择合成处理方法的操作来设定合成处理方法。例如，合成模式可从相加平均模式、变亮模式和加权模式中选择。

由于可以选择任何合成模式，因此用户可以以高自由度编辑合成图像。另外，由于在用户界面画面上设定了合成模式，所以提供了具有高自由度的合成编辑。

注意，合成模式的类型不限于上述三种，并且可以采用用于执行任何其它合成处理方法的模式。

在上述示例之一中，根据实施例的UI控制部分30执行控制以与开头图像50和最后图像60同时显示合成图像65(见图9和图10)。

因此，用户也可以检查通过对由开头图像50和最后图像60限定的合成范围的合成处理而生成的合成图像65。因此，当在UI画面100上检查合成结果时，可以执行设定停止图像50和最后图像60的操作或设定固定区域的操作。这是有用的。

另外，当进一步显示其中已经反映了显影处理的合成图像65时，可以在检查最终图像的同时执行用于图像合成的编辑。

在上述示例之一中，根据实施例的UI控制部分30执行控制以与开头图像50和最后图像60同时显示用于给出合成处理的命令的操作元件。

具体地，在UI画面100上设置合成执行按钮62。因此，用户可以通过用户界面画面给出执行合成处理的命令，在该用户界面画面上可以将开头图像50和最后图像60彼此进行比较。这是非常有用的。

在实施例中给出的上述示例之一中，图像组中包括的图像数据是在图像拍摄时曝光时段连续的图像数据(参见图7和图8)。

例如，当多个RAW图像数据的曝光时段没有被中断并且是连续的时，合成RAW图像数据是可以被看作以比在图像拍摄时使用的快门速度低的快门速度拍摄的图像的图像数据。也就是说，可以在连续曝光时段长还是短的基本意义上编辑快门速度。

因此，可以在图像拍摄之后进行通常在图像拍摄之后不可能的快门速度改变。

注意，说明了如下的例子：作为执行将与图像传感器12a的非曝光时段对应的曝光量与图像传感器12a的曝光时段中的曝光量相加的相加处理的结果，通过合成处理部分31合成的多个RAW图像数据具有连续的曝光时段(参照图7)。因此，即使实际上设置了诸如读取时段或电荷复位时段之类的任何非曝光时段，也可以将多条RAW图像数据看作是在没有设置这样的任何非曝光时段时获得的数据。由此，能够进行将这些RAW图像数据作为具有连续的曝光时段的多个RAW图像数据的合成处理。

另外，说明了作为多个图像传感器12a1和12a2交替读出RAW图像数据的结果，由合成处理部分31合成的多个RAW图像数据被认为具有连续的曝光时段的例子(参照图8)。使用多个图像传感器12a1和12a2，设定图像传感器12a1和12a2的曝光定时，使得图像传感器之一在另一图像传感器的非曝光时段期间执行曝光，并且获得由图像传感器12a1和12a2交替读取的RAW图像数据。因此，这些RAW图像数据是曝光时段连续的多个RAW图像数据。

在实施例的上述示例之一中，构成要合成的图像组的图像数据是RAW图像数据。

在对RAW图像数据进行合成多个图像数据的合成处理的情况下，合成未被显影的多个图像数据，然后进行显影处理。另外，在进行合成RAW图像数据的显影处理以生成JPEG图像数据等的情况下，可以对合成RAW图像数据进行适当的显影处理。

要合成的多个RAW图像数据可以作为时间顺序静止图像获得，或者可以是视频帧的RAW图像数据。此外，要合成的多条RAW图像数据不需要具有关于图像拍摄时间的相关性，或者具有关于被摄体的相关性，并且可以彼此不相关。即，可以合成用户任意选择的多个RAW图像数据。

另外，在合成RAW图像数据，然后，对合成RAW图像数据进行显影时，可以使用适合于合成RAW图像数据的各种参数进行显影处理。例如，可以获得诸如JPEG图像数据之类的预定格式的合成图像数据。因此，可提高所生成的合成图像(例如，基于JPEG图像数据的图像)的图像质量。

另外，由于不需要对尚未经过合成处理的每个RAW图像数据执行显影处理，所以可以提高显影处理的效率。

另外，合成RAW图像数据是通过合成还没有经过包括压缩等的显影处理的多个RAW图像数据而获得的，并且原始图像中的许多信息仍然被包括。因此，提供了用户执行图像处理的自由度增加的优点。

此外，由于合成RAW图像数据被保存，因此适于在显影技术已经进步时在将来执行显影处理。

注意，已经描述了RAW图像数据是具有与图像拍摄元件的颜色阵列相同的颜色阵列的图像数据的示例。例如，已经解释了R、G和B格式的图像数据。图像数据包括如下图像数据，即，该图像数据包括Bayer阵列的G1、G2、R和B像素的像素值，或者包括通过对像素值执行上述处理中的一些而获得的图像数据。具有这些像素值的RAW图像数据是从图像拍摄元件部分12读出的原始图像信息。在对该RAW图像数据进行图像合成后的显影处理时，自由度也高。

另外，作为RAW图像数据的例子，已经描述了通过将从图像拍摄元件读出的像素值转换成亮度值和色度值的格式而获得的并且没有经过颜色再现/锐度处理的YC-RAW图像数据。关于YC-RAW图像数据，如果YC-RAW图像数据经过合成处理，则其显影处理的效率提高。另外，由于能够将YC-RAW图像数据复原成RAW图像数据，因此能够对从YC-RAW图像数据恢复的RAW图像数据进行合成处理和随后的显影处理。

在实施例中，已经说明了其中图像组中包括的图像数据是通过连续拍摄静止图像或视频拍摄而获得的时间顺序图像数据的示例。

关于快门速度编辑，通过连续拍摄静止图像或视频拍摄所获得的图像组是优选的，因为合成范围中包括的多个图像数据是时间顺序数据。另外，根据实施例的UI画面可以优选地用于合成处理，在该合成处理中，通过通常连续图像拍摄或通常视频拍摄获得的图像组被用作素材。

如前所述，根据实施例的控制设备(例如，图像拍摄设备1、信息处理设备70)还可以包括合成处理部分31，其合成包括在由UI控制部分30确定的开头图像50到最后图像60的合成范围中的多个图像。另外，如前所述，除了UI控制部分30之外，相机控制部分18和CPU71还可以包括合成处理部分31。

因此，通过合成多个图像数据，可以获得快门速度被改变为低于在每个图像数据的图像拍摄时使用的快门速度的合成图像数据。例如，在实施例的上述例子之一中，获得要由合成处理部分31合成的多条RAW图像数据作为时间顺序帧。因此，在图像拍摄之后，可以获得图像，就好像例如以比拍摄时使用的快门速度低的快门速度拍摄图像一样。也就是说，可以在进行图像拍摄之后编辑快门速度。

另外，可以避免例如可能在珍贵的摄影机会时进行的快门速度设定中的错误引起的失败。

另外，调节快门速度不需要花费很多时间，因此不会错过摄影机机会。

另外，由于在图像拍摄时的快门速度不改变，所以不需要光量控制，但是可以从已经以适当光量拍摄的图像生成为其设定了任何快门速度的合成图像。

此外，当在图像拍摄之后以高精度调整快门速度时，可以实现新的图像表现。另外，可以对经过快门速度编辑的合成RAW图像数据执行显影处理。

根据实施例的程序使CPU、DSP、GPU、GPGPU、AI处理器或包括它们的设备执行上述图12和13中的处理。

即，根据实施例的程序使得计算处理设备执行UI控制以显示包括在图像组中的一些图像，该图像组包括多条时间顺序图像数据并且包括在要经受合成处理的合成范围中在时间上处于开头和末端的开头图像50和最后图像60。

通过这样的程序，根据本公开的控制设备可以由任何类型的计算机设备来实现。

例如，可以将程序预先记录在作为计算机设备等中所包括的记录介质的HDD中，或者预先记录在设置有CPU的微型计算机的ROM中。或者，程序可以临时或永久地存储(记录)在可移除记录介质中，例如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、蓝光盘(注册商标)、磁盘、半导体存储器或存储卡。这种可移除记录介质可以作为通常所称的软件包来提供。

另外，这样的程序可以从可移除记录介质安装到个人计算机，或者可以经由诸如LAN(局域网)或因特网的网络从下载站点下载。

另外，通过这样的程序，根据本公开的控制设备可以优选地应用于广泛的目的。例如，当程序被下载到诸如智能电话或平板电脑的移动终端设备、移动电话设备、个人计算机、游戏设备、视频设备、PDA(个人数字助理)等中时，该设备可以用作根据本公开的控制设备。

应当注意，本说明书中描述的效果仅仅是示例，因此不是限制性的。此外，可以提供任何其它效果。

应当注意，本技术还可以采用以下配置。

(1)一种控制设备，包括：

用户界面控制部分，用户界面控制部分执行控制以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像，开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。

(2)根据上述(1)所述的控制设备，其中

用户界面控制部分执行控制以在不涉及画面转变的情况下在一个画面中并排显示开头图像和最后图像。

(3)根据上述(1)或(2)所述的控制设备，其中

用户界面控制部分执行控制以显示通过对包括在开头图像到最后图像的合成范围中的多个图像的合成处理而获得的合成图像的快门速度。

(4)如上述(1)至(3)中任一项所述的控制设备，其中

用户界面控制部分根据改变开头图像或最后图像的操作来改变开头图像或最后图像的设定。

(5)根据上述(4)所述的控制设备，其中

用户界面控制部分使得指示图像组的时间轴，并且进一步将对所指示的时间轴执行的操作作为改变开头图像或最后图像的操作。

(6)如上述(4)或(5)所述的控制设备，其中

用户界面控制部分根据操作改变要显示为开头图像或最后图像的图像。

(7)如上述(4)至(6)中任一项所述的控制设备，其中

用户界面控制部分根据快门速度输入操作来设定开头图像或最后图像。

(8)如上述(1)至(7)中任一项所述的控制设备，其中

用户界面控制部分执行控制以在显示的开头图像或最后图像上显示固定区域，在该固定区域中，在合成处理期间在各图像间固定帧内位置。

(9)如上述(1)至(8)中任一项所述的控制设备，其中

用户界面控制部分根据指定在合成处理期间在各图像间要固定帧内位置的固定区域的操作，执行在开头图像或最后图像的帧中设定固定区域的处理。

(10)如上述(1)至(9)中任一项所述的控制设备，其中

用户界面控制部分执行控制以在显示的开头图像或最后图像上显示在合成处理期间在各图像间要固定帧内位置的候选固定区域，并且根据候选固定区域指定操作在开头图像或最后图像的帧中设定固定区域。

(11)如上述(1)至(10)中任一项所述的控制设备，其中

用户界面控制部分执行控制以在显示的开头图像或最后图像上显示在合成处理期间在各图像间要固定帧内位置的候选固定区域或固定区域，并且进一步显示作为固定区域的适合性程度。

(12)如上述(1)至(11)中任一项所述的控制设备，其中

用户界面控制部分执行用户界面控制以允许选择合成处理的方法，并根据合成处理方法选择操作来设定合成处理的方法。

(13)如上述(1)至(12)中任一项所述的控制设备，其中

用户界面控制部分执行控制以与开头图像和最后图像同时显示合成图像。

(14)如上述(1)至(13)中任一项所述的控制设备，其中

用户界面控制部分执行控制以与开头图像和最后图像同时显示用于给出执行合成处理的命令的操作元件。

(15)如上述(1)～(14)中任一项所述的控制设备，其中

图像组中包括的图像数据是在图像拍摄时的曝光时段连续的图像数据。

(16)如上述(1)至(15)中任一项所述的控制设备，其中

图像组中包括的每个图像数据包括RAW图像数据。

(17)如上述(1)至(16)中任一项所述的控制设备，其中

图像组中包括的图像数据是通过连续拍摄静止图像或视频拍摄而获得的时间顺序图像数据。

(18)根据上述(1)至(17)中任一项所述的控制设备，还包括：

合成处理部分，合成处理部分合成在通过用户界面控制部分设定的开头图像到最后图像的合成范围中包括的多个图像。

(19)一种控制方法，包括：

通过控制设备执行用户界面控制以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像，开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。

(20)一种程序，用于使计算处理设备执行：

用户界面控制，以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像，开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。

[参考符号列表]

1：图像拍摄设备

2：输入选择区域

3：调整区域

4：开头图像区域

5：最后图像区域

6：合成图像区域

12：图像拍摄元件部分

12a，12a1，12a2：图像传感器

18：相机控制部分

20：图像处理部分

30：UI控制部分

31：合成处理部分

32：显影处理部分

50：开头图像

51：快门速度显示部分

52，56：条/再现操作元件显示部分

59：固定区域框

59A：候选框

60：最后图像

61：合成模式设定部分

62：合成执行按钮

65：合成图像

67：适合性显示

70：信息处理设备

71：CPU

100：UI画面。

Claims (20)

1.一种控制设备，包括：

用户界面控制部分，用户界面控制部分执行控制以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像，开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。

2.根据权利要求1所述的控制设备，其中

用户界面控制部分执行控制以在不涉及画面转变的情况下在一个画面中并排显示开头图像和最后图像。

3.根据权利要求1所述的控制设备，其中

用户界面控制部分执行控制以显示通过对包括在开头图像到最后图像的合成范围中的多个图像的合成处理而获得的合成图像的快门速度。

4.根据权利要求1所述的控制设备，其中

用户界面控制部分根据改变开头图像或最后图像的操作来改变开头图像或最后图像的设定。

5.根据权利要求4所述的控制设备，其中

用户界面控制部分使得指示图像组的时间轴，并且进一步将对所指示的时间轴执行的操作作为改变开头图像或最后图像的操作。

6.根据权利要求4所述的控制设备，其中

用户界面控制部分根据操作改变要显示为开头图像或最后图像的图像。

7.根据权利要求4所述的控制设备，其中

用户界面控制部分根据快门速度输入操作来设定开头图像或最后图像。

8.根据权利要求1所述的控制设备，其中

用户界面控制部分执行控制以在显示的开头图像或最后图像上显示固定区域，在该固定区域中，在合成处理期间在各图像间固定帧内位置。

9.根据权利要求1所述的控制设备，其中

用户界面控制部分根据指定在合成处理期间在各图像间要固定帧内位置的固定区域的操作，执行在开头图像或最后图像的帧中设定固定区域的处理。

10.根据权利要求1所述的控制设备，其中

用户界面控制部分执行控制以在显示的开头图像或最后图像上显示在合成处理期间在各图像间要固定帧内位置的候选固定区域，并且根据候选固定区域指定操作在开头图像或最后图像的帧中设定固定区域。

11.根据权利要求1所述的控制设备，其中

用户界面控制部分执行控制以在显示的开头图像或最后图像上显示在合成处理期间在各图像间要固定帧内位置的候选固定区域或固定区域，并且进一步显示作为固定区域的适合性程度。

12.根据权利要求1所述的控制设备，其中

用户界面控制部分执行用户界面控制以允许选择合成处理的方法，并根据合成处理方法选择操作来设定合成处理的方法。

13.根据权利要求1所述的控制设备，其中

用户界面控制部分执行控制以与开头图像和最后图像同时显示合成图像。

14.根据权利要求1所述的控制设备，其中

用户界面控制部分执行控制以与开头图像和最后图像同时显示用于给出执行合成处理的命令的操作元件。

15.根据权利要求1所述的控制设备，其中

图像组中包括的图像数据是在图像拍摄时的曝光时段连续的图像数据。

16.根据权利要求1所述的控制设备，其中

图像组中包括的每个图像数据包括RAW图像数据。

17.根据权利要求1所述的控制设备，其中

图像组中包括的图像数据是通过连续拍摄静止图像或视频拍摄而获得的时间顺序图像数据。

18.根据权利要求1所述的控制设备，还包括：

合成处理部分，合成处理部分合成在通过用户界面控制部分设定的开头图像到最后图像的合成范围中包括的多个图像。

19.一种控制方法，包括：

通过控制设备执行用户界面控制以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像，开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。

20.一种程序，用于使计算处理设备执行：

用户界面控制，以同时显示包括在包括多个时间顺序图像数据的图像组中并且包括开头图像和最后图像的一些图像，开头图像和最后图像在要经受合成处理的合成范围中在时间上处于开头和末端。