CN101378459A - 图像处理设备和显影装置及其方法以及原始运动图像格式 - Google Patents

Abstract

本发明公开了一种图像处理设备和显影装置及其方法以及原始运动图像格式。该图像处理设备包括：参数生成单元，被配置为接收所提供的作为未显影状态下的运动图像数据的原始运动图像数据，并生成关于原始运动图像数据的目标帧的显影参数；以及记录控制单元，被配置为执行控制以便将所提供的原始运动图像数据和由参数生成单元生成的显影参数以彼此相关的方式记录在预定记录介质中。从而，可以适当地使用作为显影处理之前的运动图像数据的原始运动图像数据。

Description

图像处理设备和显影装置及其方法以及原始运动图像格式

技术领域

本发明涉及适于处理所谓的原始运动图像数据(它是未显影状态下的运动图像数据)的设备、方法、程序和数据格式。

背景技术

近年来，原始显影(raw development)已得到紧密关注，其中用户在执行显影调整的同时从其方便的角度来显影原始图像数据(静止图像数据)，在原始图像数据中，成像器件的信号是原样记录的。利用原始显影处理，用户指定了关于原始显影装置的各种显影参数，从而可以获得与其参数相对应的结果屏幕。

但是，利用原始显影，用户重复显影参数的缩窄工作。也就是说，如图21所示，记录并保存在原始图像文件Rd-f中的目标图像的原始图像数据被读出(步骤S1)，并被显影和显示(步骤S2)，从而允许用户对其进行确认。随后，从用户接受显影参数修改指令(步骤S3)。

随后，确定是否有修改指令(步骤S4)，并且在有修改指令的情况下，根据在步骤S3中接受的修改指令来修改显影参数(步骤S6)，并且重复从步骤S2起的处理。从而，用户在逐渐修改参数的同时重复显影处理，确认其结果图像，并且基于其结果进一步修改参数，并且因此，重复这些工作，从而形成适合用户口味的屏幕。

原始显影处理自身的计算负荷是非常大的，因此上述用于缩窄显影参数的整个重复工作的计算负荷极其巨大，导致用户有很大的负担，即在获得目标(期望)图像之前花费了大量时间和努力。因此，用于加速原始显影处理的需求日益增长。

在日本未实审专利申请公布No.2005-341551中提出了一种原始显影处理的加速技术，其中中间显影图像被保存。利用这一技术，例如，如图22所示，在显影处理由过程1至3的三个过程构成的情况下，在由过程1和2构成的阶段1的处理结束时的阶段的中途的结果图像被保存为中间显影图像Cd，并且该中间显影图像Cd即使在由过程3构成的阶段2被运行以生成结果图像Dd之后(甚至在显影完成之后)也被保存。

随后，在用户下一次指定的显影参数和用于生成其中间显影图像所必需的参数之间没有差异的情况下，即，在不需要运行阶段1的过程1和2的情况下，通过利用中间显影图像Cd修改参数来只运行阶段2的过程3，从而能够进行重复显影，并且因此，实现了显影处理的加速。从而，对于关于中间显影图像及其后的显影处理的显影参数的修改，可以向用户提供很高的性能。

发明内容

如上所述，关于作为静止图像的原始图像数据的使用，已经提出了各种设备，因此，关于静止图像的原始图像数据的使用正变得日益普遍。迄今为止，原始图像记录包括发送频带问题等，因此，保持了对静止图像和超声运动图像的记录。另一方面，同样对于运动图像处理，有一个极大的优点，即可以在调整显影参数(例如曝光设置、白平衡等)的同时执行显影。

因此，希望也可以使用关于运动图像的原始图像数据(未经过显影处理的运动图像数据)，即，原始运动图像数据。但是，运动图像数据包括图像数据的大量帧，并且因此，不能简单地以与处理关于静止图像的原始图像数据的情况相同的方式来对待。具体而言，运动图像数据的数据量大于静止图像数据的数据量，因此需要有效地记录运动图像数据。

另外，当适当地考虑到显影原始运动图像数据时，需要将显影参数添加到原始运动图像数据的所有帧。但是注意，在用户调整时，将显影参数添加到所有帧使得难以反映用户对哪一范围进行调整。

换句话说，在显影参数被添加到原始运动图像数据的每一帧的情况下，当用户试图对原始运动图像数据进行显影调整时，需要对每一帧的显影参数进行显影调整。即使多个帧可以同时调整，也存在经调整的帧和未经调整的帧没有平滑连接的可能性，这导致不自然的运动图像。

已经认识到需要能够适当地使用原始运动图像数据的技术。

为了能够适当地使用原始运动图像数据，根据本发明实施例的图像处理设备包括：参数生成单元，被配置为接收所提供的作为未显影状态下的运动图像数据的原始运动图像数据，并生成关于原始运动图像数据的目标帧的显影参数；以及记录控制单元，被配置为执行控制以便将所提供的原始运动图像数据和由参数生成单元生成的显影参数以彼此相关的方式记录在预定记录介质中。

这里，基于所提供的原始运动图像数据，通过参数生成单元生成关于原始运动图像数据的目标帧的显影参数。随后，通过记录控制单元将所提供的原始运动图像数据和由参数生成单元生成的显影参数以彼此相关的方式记录在预定记录介质中。

注意，这里提到的术语“目标帧”既包括指代原始运动图像数据的所有帧的情况，又包括指代原始运动图像数据的预定的不连续帧的情况。例如，这里提到的术语“目标帧”包括这样的布置，其中在原始运动图像数据的重放时间很短的情况下，生成关于原始运动图像数据的所有帧的显影参数，而在原始运动图像数据的重放时间相对较长的情况下，生成关于原始运动图像数据的预定的不连续帧的显影参数。

从而，原始运动图像数据和与运动图像参数相对应的显影参数可以被记录在预定记录介质中，从而能够适当地使用原始运动图像数据。

参数生成单元可以生成关于原始运动图像数据的具有预定间隔的不连续帧的显影参数。

这里，通过参数生成单元可以生成关于具有某一间隔的不连续帧的显影参数，例如每隔一帧、每隔两帧，等等。

从而，可以抑制要添加到原始运动图像数据的显影参数。随后，存在具有某一间隔的显影参数，从而能够适当地使用原始运动图像数据。

参数生成单元可以包括检测数据生成单元、显影参数生成单元和变化点参数生成单元，检测数据生成单元被配置为生成检测数据，检测数据是用于以帧为增量对所提供的原始运动图像数据进行检测处理并对原始运动图像数据进行图像处理的评估值，显影参数生成单元被配置为基于来自检测数据生成单元的检测数据以帧为增量生成关于原始运动图像数据的显影参数，变化点参数生成单元被配置为分析所提供的原始运动图像数据、来自检测数据生成单元的检测数据以及来自显影参数生成单元的显影参数中的至少一个，并根据原始运动图像数据生成在运动图像变化点处的显影参数。

这里，参数生成单元由检测数据生成单元、显影参数生成单元和变化点参数生成单元构成。检测根据所提供的原始运动图像数据的运动图像变化点，并且基于来自检测数据生成单元的检测数据、来自显影参数生成单元的显影参数以及所提供的原始运动图像数据，通过变化点参数生成单元生成关于该变化点的帧的显影参数。

从而，生成关于所提供的原始运动图像数据的实质显影参数，从而可以抑制要添加到原始运动图像数据的显影参数。显影参数是针对根据原始运动图像数据的每个运动图像变化点存在的，从而能够适当地使用原始运动图像数据。

参数生成单元可以根据显影参数是具有高改变频率还是具有低改变频率来改变显影参数的生成频率或输出频率。

这里，所有的显影参数并不是在同一定时生成或输出的，并且生成频率和输出频率根据改变频率由参数生成单元改变。例如，每隔N(N是不小于1的整数)个帧生成并输出高改变频率的显影参数，而每隔2N个帧生成并输出低改变频率的显影参数。

从而，可以抑制要添加到原始运动图像数据的显影参数。另外，根据改变频率适当地生成并输出关于原始运动图像数据的显影参数，从而能够适当地使用原始运动图像数据。

参数生成单元关于原始运动图像数据的一帧可以生成多个显影参数。

这里，通过参数生成单元关于原始运动图像数据的一帧可以生成多个显影参数。例如，根据改变频率，例如在每隔两帧添加高改变频率的参数、并且每隔五帧添加低改变频率的参数的情况下，这两者的公倍数的帧被添加有高改变频率的参数和低改变频率的参数两者。

从而，必要的显影参数可以被适当地生成并添加到原始运动图像数据，从而能够适当地使用原始运动图像数据。

图像处理设备还可以包括以下单元中的至少一个：第一略缩图生成单元，被配置为根据原始运动图像数据生成作为缩减图像数据的略缩图原始运动图像数据；中间显影运动图像数据生成单元，被配置为对原始运动图像数据进行直到预定阶段的显影处理以生成中间显影运动图像数据；第二略缩图生成单元，被配置为根据由中间显影运动图像数据生成单元生成的中间显影运动图像数据生成作为缩减图像数据的略缩图中间显影运动图像数据；普通运动图像数据生成单元，被配置为对原始运动图像数据进行显影以生成经显影的普通运动图像数据；以及第三略缩图生成单元，被配置为根据由普通运动图像数据生成单元生成的普通运动图像数据生成作为缩减图像数据的略缩图普通运动图像数据，其中记录控制单元执行控制以便除了记录原始运动图像数据和显影参数以外，还将由第一略缩图生成单元、中间显影运动图像数据生成单元、第二略缩图生成单元、普通运动图像数据生成单元和第三略缩图生成单元生成的运动图像数据记录在预定记录介质中。

这里，提供了第一略缩图生成单元、中间显影运动图像数据生成单元、第二略缩图生成单元、普通运动图像数据生成单元和第三略缩图生成单元中的至少一个，并且由这些生成单元中的被提供的生成单元生成的数据与原始运动图像数据和显影参数一同被记录控制单元控制以便记录在预定记录介质中。

从而，可以适当地使用原始运动图像数据，并且除了原始运动图像数据以外，还可以使用其他数据，例如略缩图原始运动图像数据、中间显影运动图像数据、略缩图中间显影运动图像数据、普通运动图像数据、略缩图普通运动图像数据，等等。

因此，如果要记录略缩图原始运动图像数据的布置，则可以从原始运动图像数据中采用略缩图原始运动图像数据，而不用生成略缩图原始运动图像数据，另外，如果要记录中间显影运动图像数据和略缩图中间显影运动图像数据，则利用中间显影运动图像数据作为参考，可以在改变显影参数的同时重复显影处理。另外，如果要记录普通运动图像数据和略缩图普通运动图像数据，则在没有时间执行显影处理的情况下，采用了这种数据，从而可以采用目标图像。

图像处理设备还可以包括压缩处理单元，被配置为对所提供的原始运动图像数据进行数据压缩处理；其中记录控制单元将由压缩处理单元进行了数据压缩的原始运动图像数据记录在预定记录介质中。

这里，原始运动图像数据自身通过压缩处理单元经过数据压缩，并且该经过数据压缩的原始运动图像数据可以通过记录控制单元被记录在预定记录介质中。注意，可以采用可逆方法或不可逆方法作为压缩处理单元的数据压缩方法。

从而，原始运动图像数据自身可以经过数据压缩并可被记录在记录介质中，从而使得大量的原始运动图像数据能够被有效记录在预定记录介质中，并被适当地使用。

记录控制单元可以将这样的显影参数记录在预定记录介质中，其中确定显影参数要被应用的原始运动图像数据的一个帧或帧组的信息被布置为添加到该显影参数。

这里，在指示是否对应于原始运动图像数据的一个帧或帧组的信息被添加到显影参数之后，该数据通过记录控制单元被记录在预定记录介质中。

从而，原始运动图像数据的每一帧和显影参数可以适当地彼此相关，从而能够适当地使用原始运动图像数据。

图像处理设备还可以包括读取单元、显影处理单元和输出单元，读取单元被配置为从预定记录介质读出原始运动图像数据和显影参数，显影处理单元被配置为利用由读取单元读出的显影参数来对由读取单元读出的原始运动图像数据进行直到预定阶段或最终阶段的显影处理，输出单元被配置为输出经显影处理单元处理的中间显影运动图像数据或普通显影运动图像数据。

这里，可以进行这样的布置，其中记录在预定记录介质中的原始运动图像数据和显影参数被显影处理单元读出并采用，原始运动图像数据经过直到中途阶段或最终阶段的显影处理，并且该数据通过输出单元被输出。

从而，记录在预定记录介质中的原始运动图像数据可以经过显影处理，并可以被适当地使用。

另外，图像处理设备还可以包括读取单元、插值处理单元、显影处理单元和输出单元，读取单元被配置为从预定记录介质读出原始运动图像数据和显影参数，插值处理单元被配置为基于由读取单元读出的显影参数生成欠缺的显影参数，显影处理单元被配置为利用由插值处理单元插值并调整的显影参数来对由读取单元读出的原始运动图像数据进行直到预定阶段或最终阶段的显影处理，输出单元被配置为输出经显影处理单元处理的中间显影运动图像数据或普通显影运动图像数据。

这里，可以进行这样的布置，其中记录在预定记录介质中的原始运动图像数据和显影参数被读取单元读出。在读取的显影参数是以不连续方式记录的、因此不是针对每一帧都存在的情况下，显影参数经过插值处理单元的插值处理，从而生成欠缺的显影参数。

随后，读取的原始运动图像数据和经过插值处理的显影参数被显影处理单元所采用，原始运动图像数据经过直到中途阶段或最终阶段的显影处理，并且该数据通过输出单元被输出。

从而，即使在显影参数是欠缺的显影参数的情况下，显影参数也适当地经过插值处理以进行插值，从而使得记录在预定记录介质中的原始运动图像数据能够经过显影处理并被适当地使用。

另外，图像处理设备还可以包括读取单元、参数编辑单元、插值处理单元、显影处理单元和输出单元，读取单元被配置为从预定记录介质读出原始运动图像数据和显影参数，参数编辑单元被配置为响应于来自用户的对显影参数的添加、删除和修改指令的输入而对由读取单元读出的显影参数进行编辑，插值处理单元被配置为基于由参数编辑单元编辑的显影参数生成欠缺的显影参数，显影处理单元被配置为利用由插值处理单元插值并调整的显影参数来对由读取单元读出的原始运动图像数据进行直到预定阶段或最终阶段的显影处理，输出单元被配置为输出经显影处理单元处理的中间显影运动图像数据或普通显影运动图像数据。

这里，读取单元读出记录在预定记录介质中的原始运动图像数据和显影参数。通过参数编辑单元接受来自用户的对显影参数的添加、删除或修改指令的输入，并且根据这些指令来编辑显影参数。

随后，在经编辑的显影参数不是针对每一帧都存在的情况下，通过插值处理单元对其进行插值处理，从而生成欠缺的显影参数。可以进行这样的布置，其中读取的原始运动图像数据以及经过编辑处理和插值处理的显影参数被显影处理单元所采用，原始运动图像数据经过直到中途阶段或最终阶段的显影处理，并且该数据通过输出单元被输出。

从而，在显影参数经过用户的有意校正之后，在适当的必要情况下该显影参数经过插值处理以进行插值，从而使得记录在预定记录介质中的原始运动图像数据能够经过显影处理并被适当地使用。

图像处理设备可以被配置为成像装置，还包括被配置为捕获对象的运动图像并输出原始运动图像数据的成像器件，该原始运动图像数据是与其相对应的未显影状态下的运动图像数据。

这里，图像处理设备包括成像器件，从而通过成像器件捕获的原始运动图像数据可以被处理。

从而，通过将本发明实施例应用到被配置为成像装置的图像处理设备并执行拍摄而获得的原始运动图像数据被适当地记录在预定记录介质中，从而使得该数据能够被适当地使用。

根据本发明的实施例，用于原始运动图像数据的使用的环境得到改善，从而可以适当并有效地使用原始运动图像数据。

附图说明

图1是用于描述本发明的实施例被应用到的照相机系统的框图；

图2是用于描述图1所示的照相机系统100所采用的原始运动图像格式的示图；

图3是用于描述原始运动图像格式的另一示例的示图；

图4是用于描述在显影参数组被记录的情况下的特定示例的示图；

图5是用于描述照相机系统的检测处理单元的配置示例的框图；

图6A和6B是用于描述原始运动图像数据S1的数据格式示例和显影参数组Pm的数据格式示例的示图；

图7是用于描述要记录在记录介质中的原始运动图像文件的另一示例(原始运动图像文件Mf1x)的示图；

图8是用于描述显影参数的插值的示图；

图9是用于描述显影参数的插值的示图；

图10是用于描述显影参数的插值的示图；

图11是用于描述显影参数的插值的示图；

图12是用于描述显影参数的插值的示图；

图13是用于描述显影参数的插值的示图；

图14是用于描述显影参数的插值的示图；

图15是用于描述显影参数的插值的示图；

图16是用于描述显影参数的插值的示图；

图17是用于描述显影参数的插值的示图；

图18是用于描述在照相机系统处执行的拍摄运动图像数据时的处理的流程图；

图19是用于描述在照相机系统处执行的重放记录在记录介质中的原始运动图像数据时的处理的流程图；

图20是用于描述本发明的实施例被应用到的图像处理设备的框图；

图21是用于描述根据现有技术的静止图像的原始图像数据的显影处理的示图；以及

图22是用于描述根据现有技术的静止图像的原始图像数据的显影处理的示图。

具体实施方式

下面将描述本发明的实施例。根据本发明实施例的设备、方法和程序可以被应用到诸如非商用照相机、商用照相机、监视照相机等的各种视频照相机(成像装置)，以及诸如用于对原始运动图像数据进行显影处理的专用设备之类的成像装置、个人计算机，等等。

另外，根据本发明实施例的数据格式可以被应用到包括原始运动图像数据的数据格式，该原始运动图像数据被从本发明的实施例被应用到的成像装置输出到诸如通过线缆或无线连接的显影装置之类的外部设备、或者输出到记录介质、或者输出到诸如因特网或LAN(局域网)之类的广域网，等等。

对于下面描述的实施例，为了简化描述，将描述这样的情况作为示例：其中根据本发明实施例的设备、方法和程序被应用到能够进行运动图像拍摄的照相机系统(成像装置)。另外，将描述这样的情况作为示例：其中根据本发明实施例的数据格式被应用到包括从照相机系统输出的原始运动图像数据的数据格式。

照相机系统的配置示例

图1是用于描述根据本实施例的照相机系统的框图。如图1所示，如果根据本实施例的照相机系统100被粗略划分的话，则该照相机系统包括透镜单元101、成像器件单元102、接口单元LSI 103、信号处理LSI104、显示处理LSI 105和显示设备106，另外，信号处理LSI 104与操作单元107、通用DRAM 108和记录介质109相连。

现在，操作单元107包括记录待机键、记录开始键、记录停止键、伸缩(telescopic)调整键、其他各种类型的调整键、功能键等等，并且响应于来自用户的操作输入，可以将操作输入转换成电信号以将其提供给信号处理LSI 104。DRAM 108是所谓的易失性存储器，并且主要被用作工作区域，例如临时存储各种处理中途的结果。

记录介质109是根据本实施例的照相机系统100的主要记录介质，并且其示例包括内置式半导体存储器、采用半导体存储器的可分离存储卡和小型硬盘。对于根据本实施例的照相机系统100，记录介质109例如是可分离存储卡。

如图1所示，信号处理LSI 104包括传感器接口单元401、检测处理单元402、图像处理单元403、分辨率转换处理单元404、压缩处理单元405、显示处理单元406、存储器控制器407、解压缩处理单元408、记录/重放处理单元409、CPU 410、同步信号生成单元411、略缩图原始运动图像生成单元421、略缩图中间显影图像生成单元422和略缩图普通运动图像生成单元423。

构成信号处理LSI 104的各个单元通过公共总线相连，如图1所示，并且各个处理单元之间数据的交换基本上是通过公共总线执行的。但是，存在这样一种情况，其中数据直接在各个处理单元之间交换而不经过总线。在数据直接在各个处理单元之间交换而不经过总线的情况下，这也可以被当作一个处理单元。

另外，设在信号处理LSI 104内的CPU 410控制信号处理LSI 104内的各个单元。注意，预先记录有各种类型处理电路和处理所必需的数据的ROM设在信号处理LSI 104内，尽管未在图中示出。CPU 410从ROM读取并运行必要的程序，生成要提供给各个单元的控制信号以将其提供给各个单元，或者从各个单元接收信号以执行与其相对应的处理。

另外，同步信号生成单元411生成各种类型的定时信号，例如帧开始参考信号VD、行开始参考信号HD等，以将其提供给信号处理LSI 104内的必要的各个单元。

从而，在构成照相机系统100的每个LSI内有多个功能上的处理单元。图1中所示的配置仅是一个示例，当然，存在这样一种情况，其中图1所示的每个LSI内的处理单元被布置为属于另一个LSI，这取决于设计概念。构成每个LSI的处理单元数目和每个LSI的功能取决于目的而不同。

对于根据本实施例的照相机系统100，通过执行拍摄和显影处理而获得的用于显示的经显影运动图像数据可以经过数据压缩处理，以通过传统方式将其记录在记录介质109中作为普通运动图像数据，另外，记录在记录介质109中的普通运动图像数据可以被读出，并经过数据解压缩处理以进行播放。

另外，尽管其细节将在后面描述，但是根据本实施例的照相机系统100可以将通过拍摄获得的显影处理之前的原始运动图像数据和显影参数记录在记录介质109中，并且还可以读出记录在记录介质109中的原始运动图像数据和显影参数，对其执行显影处理，并进行播放。注意，根据本实施例的照相机系统100允许用户调整显影参数。

另外，尽管其细节将在后面描述，但是根据本实施例的照相机系统100可以通过对通过拍摄获得的显影处理之前的原始运动图像数据进行直到中间(预定过程)的处理，来生成中间显影运动图像数据，以将其记录在记录介质109中，并且还可以读出记录在记录介质109中的中间显影运动图像数据，对其执行必要的未处理的的显影处理，并进行播放。

同样在这种情况下，采用了要记录在记录介质中的显影参数，并且用户可以对其进行调整。在中间显影运动图像数据的情况下，中途的显影处理已经完成，除非完整的显影处理参数被修改，与未加工部分的显影处理有关的显影参数的调整是利用中间显影运动图像数据任意多次执行的，从而可以重复执行显影处理。

另外，如上所述，关于普通运动图像数据的略缩图运动图像数据(略缩图普通运动图像数据)、关于原始运动图像数据的略缩图运动图像数据(略缩图原始运动图像数据)和关于中间显影运动图像数据的略缩图运动图像数据被生成，并且也被记录在记录介质109中，从而这些数据可以被读出并日后使用。

注意，对于根据本实施例的照相机系统，可以提供拍摄模式，其中只有目标运动图像数据在记录介质109中是可用的且可记录的，例如用于仅将普通运动图像数据记录在记录介质109中的拍摄模式、用于将原始运动图像数据和显影参数记录在记录介质109中的拍摄模式、以及用于将中间显影运动图像数据和显影参数记录在记录介质109中的拍摄模式。

但是，根据本实施例的照相机系统的重要特征在于，用户被允许使用在传统方式中不可用的原始运动图像数据，即，至少原始运动图像数据和显影参数被记录在记录介质109中，并且进一步，响应于来自用户的指令，从略缩图原始运动图像数据、中间显影运动图像数据、略缩图中间显影运动图像数据、普通运动图像数据和略缩图普通运动图像数据中选出的至少一种数据可以记录在记录介质109中。

拍摄时的操作

接下来，将描述根据本实施例的照相机系统100在拍摄时的操作。现在，将描述这样一种情况，其中除了原始运动图像数据和显影参数以外，略缩图原始运动图像数据、中间显影运动图像数据、略缩图中间显影运动图像数据、普通运动图像数据和略缩图普通运动图像数据也被记录在记录介质109中。

通过透镜单元101成像在成像器件单元102的成像器件的成像面上的对象的图像被成像器件转换成电信号(模拟图像信号)，并被提供给接口单元LSI 103。接口单元LSI 103通过将提供给其的模拟运动图像数据转换成数字信号等，来形成具有要提供给信号处理LSI 104的格式的数据(原始运动图像数据)S1，并将其提供给信号处理LSI 104。

来自接口单元LSI 103的原始运动图像数据被信号处理LSI 104的传感器接口单元401接受，并被提供给检测处理单元402。检测处理单元402基于所提供的原始运动图像数据S1，来生成用于在后续阶段执行的各种类型图像处理的一组显影参数(显影参数组)Pm，例如用于曝光调整处理的参数、用于白平衡调整处理的参数，等等，并将所生成的显影参数组Pm和原始运动图像数据S1提供给图像处理单元403。

另外，从检测处理单元402输出的原始运动图像数据S1和显影参数组Pm通过记录/重放处理单元409被记录在记录介质109中，并且原始运动图像数据S1还被提供给略缩图原始运动图像生成单元421，在该处原始运动图像数据S1也被用于生成略缩图原始运动图像数据Sn1。

图像处理单元403根据来自检测处理单元402的显影参数组Pm对来自检测处理单元402的原始运动图像数据S1进行曝光调整处理、白平衡调整处理、NR(降噪)处理和插值处理(解拼(demosaic)处理)，以生成并输出中间显影运动图像数据S2，并且还对中间显影运动图像数据S2进行进一步的其他显影处理(饱和度调整处理和色调调整处理)，以最终生成并输出YC数据(色差数据)。注意，利用图像处理单元403，可以对YC数据进行必要的被称为光圈补偿处理的边缘增强处理或降噪处理等等。

在图像处理单元403处生成的中间显影运动图像数据S2通过记录/重放处理单元409被记录在记录介质109中，并且还被提供给略缩图中间显影图像生成单元422，在该处中间显影运动图像数据S2还被用于生成略缩图中间显影运动图像数据Sn2。另外，在图像处理单元403处最终生成的YC数据被提供给分辨率转换处理单元404。

分辨率转换处理单元404通过对提供给其的YC数据进行图像缩放处理来形成用于显示的运动图像数据，将该用于显示的运动图像数据提供给压缩处理单元405和显示处理单元406，并且还将该用于显示的运动图像数据提供给略缩图普通运动图像生成单元423，在该处该用于显示的运动图像数据还被用于生成略缩图普通运动图像数据Sn3。

压缩处理单元405利用预定的压缩方法(例如MPEG方法)对提供给其的用于显示的运动图像数据进行数据压缩处理，以生成用于记录的普通运动图像数据S3。在压缩处理单元405处生成的用于记录的普通运动图像数据S3通过记录/重放处理单元409被记录在记录介质109中。

另一方面，显示处理单元406形成具有要提供给显示处理LSI 105的格式的用于显示的运动图像数据，并将其提供给显示处理LSI 105。显示处理LSI 105根据该格式解释来自信号处理LSI 104的显示处理单元406的运动图像数据，形成要提供给诸如液晶面板之类的显示设备106的运动图像信号，并将其提供给显示设备106。

显示设备106包括诸如上述的液晶面板之类的显示设备，接受来自显示处理LSI 105的图像信号，将其提供给它自身的显示设备，从而使得与所提供的运动图像信号相对应的运动图像能够被显示在它自身的显示设备的显示屏上。

略缩图原始运动图像生成单元421根据提供给其的原始运动图像数据S1生成并输出略缩图原始运动图像数据Sn1。另外，略缩图中间显影图像生成单元422根据提供给其的中间显影运动图像数据S2生成并输出略缩图中间显影运动图像数据Sn2。另外，略缩图普通运动图像生成单元423根据提供给其的、经过显影处理并形成的用于显示的图像数据(压缩处理之前的普通运动图像数据)生成并输出略缩图普通运动图像数据Sn3。

所生成的略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3中的每一个通过记录/重放处理单元409被记录在记录介质109中。

注意，这里没有描述采用DRAM 108的处理以简化描述，但是采用DRAM 108的处理使得上述各个单元在必要情况下通过存储器控制器407采用DRAM 108作为工作区域，临时将中途的处理结果(例如在每个阶段所生成的图像数据)存储在DRAM中，并且需要该数据的的处理单元读出并使用该数据。

从而，根据本实施例的照相机系统100允许用户在显示设备106的显示屏上显示通过透镜单元101和成像器件单元102捕获的对象的运动图像，在确认显示屏的时拍摄对象的运动图像，并且如上所述，将原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2、略缩图普通运动图像数据Sn3和显影参数组Pm记录在记录介质109中。

注意，这里的描述假定原始运动图像数据S1、中间显影运动图像数据S2、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3各自是在未执行数据压缩的情况下记录在记录介质109中的。

但是，本发明并不限于此。原始运动图像数据S1是显影处理之前的运动图像数据，因此其数据质量是非常好的。因此，例如，可以进行这样的布置，其中根据预定的压缩方法，利用图1中所示的压缩处理单元405的功能来对原始运动图像数据S1进行数据压缩处理，接着记录在记录介质109中。各种压缩方法可以用作在这种情况下采用的压缩方法，因此，可以采用可逆方法或不可逆方法。

类似地，可以进行这样的布置，其中根据预定的压缩方法，利用图1中所示的压缩处理单元405的功能来对中间显影运动图像数据S2、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3进行数据压缩处理，接着记录在记录介质109中。各种压缩方法可以用作在这种情况下采用的压缩方法，因此，可以采用可逆方法或不可逆方法。

从而，原始运动图像数据S1、中间显影运动图像数据S2、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3还经过数据压缩处理，并被记录在记录介质109中，从而大量的图像数据可以有效地记录在存储容量有限的记录介质109中。

当然，可以进行这样的布置，其中对具有大数据量的原始运动图像数据S1和中间显影运动图像数据S2中的一个或这两者进行数据压缩，然后记录在记录介质109中，而对其他数据，即略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3在不进行数据压缩的情况下记录在记录介质109中。另外，用户他/她自己可以指定要进行数据压缩的数据和不进行数据压缩的数据。

重放时的操作

随后，记录在记录介质109中的原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3中的每一个可以响应于来自用户的重放指令(通过操作单元107接受)而被播放。现在，将在假定只有普通运动图像数据S3经过数据压缩并记录在记录介质109中的情况下进行描述。

在通过操作单元107指示重放记录在记录介质109中的普通运动图像数据S3时，CPU 110控制记录/重放处理单元409从记录介质109读出其重放被指示而且经过数据压缩并记录在其中的普通运动图像数据S3，并将其提供给解压缩处理单元408。

解压缩处理单元408对提供给其的经过数据压缩的普通运动图像数据S3进行解压缩处理，恢复数据压缩之前的用于显示的最初运动图像数据，并将其提供给显示处理单元406。如上所述，显示处理单元406根据提供给其的运动图像数据形成具有要提供给显示处理LSI 105的格式的用于显示的运动图像数据，并将其提供给显示处理LSI 105。

如上所述，显示处理LSI 105根据该格式解释来自信号处理LSI 104的显示处理单元406的运动图像数据，形成要提供给显示设备106的运动图像信号，并将其提供给显示设备106。从而，利用显示设备106，与所提供的运动图像信号相对应的运动图像可以显示在其自身的显示设备的显示屏上。

另外，在通过操作单元107指示重放记录在记录介质109中的略缩图普通运动图像数据Sn3时，CPU 110控制记录重放处理单元409从记录介质109读出其重放被指示且记录在其中的略缩图普通运动图像数据Sn3，并将其提供给显示处理单元406。显示处理单元406形成具有要提供给显示处理LSI 105的格式的略缩图运动图像数据，并将其提供给显示处理LSI 105。

如上所述，显示处理LSI 105根据该格式解释来自信号处理LSI 104的显示处理单元406的略缩图图像数据，形成要提供给显示设备106的略缩图运动图像信号，并将其提供给显示设备106。从而，利用显示设备106，与所提供的略缩图运动图像信号相对应的略缩图运动图像可以显示在其自身的显示设备的显示屏上。

另外，在通过操作单元107指示重放记录在记录介质109中的中间显影运动图像数据S2时，CPU 110控制记录/重放处理单元409从记录介质109读出记录在其中的显影参数组Pm和其重放被指示的中间显影运动图像数据S2，并将其提供给图像处理单元403。

图像处理单元403利用所提供的显影参数组Pm对所提供的中间显影运动图像数据S2进行剩余的显影处理。注意，此时，在通过操作单元107接受来自用户的显影参数修改指令的输入时，可以进行这样的布置，其中关于剩余的显影处理，与其修改指令的输入相对应地修改显影参数组的信息，显影处理是利用修改之后的显影参数执行的。

从而，在根据本实施例的照相机系统100的情况下，中间显影运动图像数据S2被布置为记录并保存在记录介质109中，因此通过采用中间显影运动图像数据S2，中途的显影处理可以重复任意次数。也就是说，即使与剩余显影处理有关的显影参数被修改，也可以防止显影处理从头重新开始，从而可以快速地执行显影处理。

在图像处理单元403处已生成了YC数据的情况下，如上所述YC数据被提供给显示处理单元406，从而显示处理单元406形成具有要提供给显示处理LSI 105的格式的用于显示的运动图像数据，并将其提供给显示处理LSI 105。如上所述，显示处理LSI 105根据该格式解释来自信号处理LSI 104的显示处理单元406的用于显示的运动图像数据，形成要提供给显示设备106的运动图像信号，并将其提供给显示设备106。

从而，利用显示设备106，与所提供的运动图像信号相对应的运动图像可以显示在其自身的显示设备的显示屏上。注意，在略缩图中间显影运动图像数据Sn2被指示播放的情况下，与上述中间显影运动图像数据S2的情况类似，略缩图中间显影运动图像数据Sn2和显影参数组Pm被提供给图像处理单元403，在该处执行剩余的显影处理，并且形成略缩图YC数据。

在图像处理单元403处形成的略缩图YC数据通过显示处理单元406和显示处理LSI 105被转换成具有要提供给显示设备106的格式的略缩图运动图像信号，该信号被提供给显示设备106，并且与通过对略缩图中间显影运动图像数据进行显影处理而获得的略缩图运动图像信号相对应的略缩图运动图像被显示在显示设备106的显示屏上。

注意，同样在执行略缩图中间显影运动图像数据Sn2的重放处理的情况下，在接受与剩余显影处理有关的显影参数修改指令的输入时，可以通过根据修改信息的输入修改显影参数，来执行剩余的显影处理。

另外，在通过操作单元107指示重放记录在记录介质109中的原始运动图像数据S1时，CPU 110控制记录/重放处理单元409从记录介质109读出记录在其中的显影参数组Pm和其重放被指示的原始运动图像数据S1，并将其提供给图像处理单元403。

图像处理单元403利用所提供的显影参数组Pm对所提供的原始运动图像数据S1进行显影处理。在这种情况下，与上述对中间显影运动图像数据进行显影处理的情况不同，显影处理被布置为从其开头执行。也就是说，图像处理单元403对所提供的原始运动图像数据S1进行曝光/白平衡调整处理、插值处理(解拼处理)和其他显影处理(例如，光圈补偿处理、降噪处理等)，以生成并输出YC数据。

注意，此时，在通过操作单元107接受来自用户的显影参数组修改指令的输入的情况下，可以进行这样的布置，其中与其修改指令的输入相对应地修改显影参数组的信息，利用修改之后的显影参数组来执行显影处理。在这种情况下，显影处理可以从开头执行，从而可以执行基本显影参数的修改，例如曝光调整或白平衡调整，因此，通过精细地调整显影参数可以形成具有用户期望特性的运动图像。

在图像处理单元403处形成的略缩图YC数据通过显示处理单元406和显示处理LSI 105被转换成具有要提供给显示设备106的格式的运动图像信号，该信号被提供给显示设备106，并且与通过对原始运动图像数据S1进行显影处理而获得的运动图像信号相对应的运动图像被显示在显示设备106的显示屏上。

注意，同样在略缩图原始运动图像数据Sn1被指示播放的情况下，与上述原始运动图像数据S1的情况类似，略缩图原始运动图像数据Sn1和显影参数组Pm被提供给图像处理单元403，在该处对略缩图原始运动图像数据Sn1进行显影处理，并且形成略缩图YC数据。

在图像处理单元403处形成的略缩图YC数据通过显示处理单元406和显示处理LSI 105被转换成具有要提供给显示设备106的格式的略缩图运动图像信号，该信号被提供给显示设备106，并且与通过对略缩图原始运动图像数据进行显影处理而获得的略缩图运动图像信号相对应的略缩图运动图像被显示在显示设备106的显示屏上。

注意，同样在执行略缩图原始运动图像数据Sn1的重放处理的情况下，在接受与显影处理有关的显影参数修改指令的输入时，可以通过根据修改指令的输入修改显影参数，来执行显影处理。

这里的描述假定了播放记录在记录介质109中的每种类型运动图像数据的情况，但是经过显影处理的运动图像数据也可以记录在记录介质109中。例如，可以进行这样的布置，其中如上所述，通过对原始运动图像数据S1或中间显影运动图像数据S2进行显影处理而获得的用于显示的运动图像数据在压缩处理单元405处经过数据压缩，并且代替普通运动图像数据S3或者与普通运动图像数据S3一起被记录在记录介质109中。

另外，可以进行这样的布置，其中如上所述，通过对略缩图原始运动图像数据Sn1或略缩图中间显影运动图像数据Sn2进行显影处理而获得的用于显示的略缩图运动图像数据代替略缩图普通运动图像数据Sn3或者与缩略图普通运动图像数据Sn3一起被记录在记录介质109中。

另外，尽管未在图中示出，但是根据本实施例的照相机系统包括用作与外部设备的连接终端单元的数字接口，从而记录在记录介质109中的各种类型数据可以通过数字接口输出，或者通过数字接口从外部设备获得的各种数据可以记录在记录介质109中。

另外，根据本实施例的照相机系统包括用于连接到诸如因特网之类的广域网的通信单元或用于连接到LAN等的通信单元，从而记录在记录介质109中的各种类型数据可以通过通信单元输出，或者通过通信单元从外部设备获得的各种数据可以记录在记录介质109中。

另外，利用根据本实施例的照相机系统，与被播放的运动图像有关的运动图像数据可以通过外部监视接收器来进行监视，这是通过将该数据通过未示出的图片输出端子输出而实现的。

从而，利用根据本实施例的照相机系统100，原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2、略缩图普通运动图像数据Sn3和显影参数组Pm可以通过拍摄运动图像而获得，并被记录在记录介质109中，另外，记录在记录介质109中的原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3可以被播放和使用。

注意，在原始运动图像数据S1、中间显影运动图像数据S2、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3已经过数据压缩并被记录在记录介质109中的情况下，这些数据在解压缩处理单元408处经过解压缩处理，然后被提供给分辨率转换处理单元404或显示处理单元406。另外，基本上，这些数据不像运动图像数据一样经过数据压缩，因此被原样提供给图像处理单元403。

原始运动图像格式

接下来，将描述在利用根据本实施例的照相机系统100记录或发送包括原始运动图像数据的运动图像数据的情况下的数据格式(原始运动图像格式)。图2是用于描述原始运动图像格式的示图，原始运动图像格式是被布置为包括原始运动图像数据的数据格式，原始运动图像数据被记录在记录介质109中，或者利用图1中所示的照相机系统100通过未示出的数字接口或通信单元输出。

如图2所示，一个原始运动图像文件Mf1被划分为多个场景，例如场景1、场景2等直至场景N，对于一个场景提供了一个或多个原始运动图像格式。这里提到的原始运动图像格式指一系列数据的群组格式，该一系列数据由以下数据构成：

(1)原始运动图像数据S1

(2)略缩图原始运动图像数据Sn1

(3)原始运动图像数据的中间显影运动图像数据S2

(4)略缩图中间显影运动图像数据Sn2

(5)经显影的普通运动图像数据S3

(6)略缩图普通运动图像数据Sn3

(7)显影参数组Pm

如上所述，原始运动图像数据S1是通过拍摄获得的显影处理之前的运动图像数据。另外，略缩图原始运动图像数据Sn1是通过适当地缩减原始运动图像数据S1而获得的原始运动图像数据。注意，根据图1中所示的略缩图原始运动图像生成单元421的功能，可以生成并保存多个具有不同大小的略缩图运动图像数据。

注意，略缩图原始运动图像数据的数据量比原始运动图像数据的数据量小，因此在修改显影参数组的信息、快速执行显影处理以及查看其结果的情况下，采用略缩图原始运动图像数据是有效的。

如上所述，中间显影运动图像数据S2是通过对原始运动图像数据S1进行直到中间的显影处理而获得的运动图像数据。对于根据本实施例的照相机系统100，只执行了曝光调整处理、白平衡调整处理、NR处理和解拼处理，而后续的饱和度调整和色调调整处理没有执行。

这只是一个示例，当然，经过直到某一阶段为止的显影处理的运动图像数据可以用作中间显影运动图像数据。存在这样的情况，其中通过采用中间显影运动图像数据S2，可以从中间执行显影处理，并且在这种情况下，可以高速执行显影处理。

另外，略缩图中间显影运动图像数据Sn2是通过适当地缩减中间显影运动图像数据S2而获得的中间显影运动图像数据。注意，根据图1中所示的略缩图中间显影图像生成单元422的功能，可以生成并保存多个具有不同大小的略缩图中间显影运动图像数据。

另外，根据本实施例的照相机系统100，作为略缩图中间显影图像生成单元422的功能，例如可以进行这样的布置，其中根据用户的规定，生成了多个不同显影处理阶段的中间显影运动图像数据，例如第一阶段的显影处理已完成的第一中间显影运动图像数据和第二阶段的显影处理已完成的第二中间显影运动图像数据，或者生成了目标显影阶段的显影处理已完成的一种类型的中间显影运动图像数据。

具体而言，在采用略缩图中间显影运动图像数据Sn2的情况下，对略缩图图像(缩减图像)进行显影处理，从而极大地缩减了要处理的数据量，因此，获得了极高的显影速度增大的优点。也就是说，通过用户调整显影参数，对略缩图中间显影运动图像数据Sn2进行显影处理，从而显影处理可以快速执行，并且用户可以快速确认是否执行了期望的目标显影处理。

另外，如上所述，普通运动图像数据S3是通过对原始运动图像数据进行显影处理和数据压缩而获得的运动图像数据，并且利用根据现有技术的照相机系统，该普通运动图像数据S3是要被记录在记录介质中的数据。另外，略缩图普通运动图像数据Sn3是通过适当地缩减通过对原始图像数据进行显影处理形成的用于显示的运动图像数据而获得的运动图像数据。注意，根据图1中所示的略缩图普通运动图像生成单元423的功能，可以生成并保存多个具有不同大小的略缩图普通运动图像数据。

普通运动图像数据S3和略缩图Sn3已经过了显影处理，因此不需要执行显影处理，这适合于通过拍摄获得的运动图像数据的内容被快速播放和确认而不管图像质量等的情况。

如图2所示，原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2、略缩图普通运动图像数据Sn3和显影参数组Pm是针对一系列运动图像数据的每个场景保存的，从而这些数据可以取决于目的适当地使用。

例如，在立即播放并查看拍摄的运动图像的情况下，普通运动图像数据S3需要被播放和查看，另外，在从多个运动图像数据中搜索目标运动图像数据的情况下，与每个运动图像数据有关的略缩图普通运动图像数据Sn3需要被播放。

另外，在中间显影运动图像数据S2被生成之后调整与显影处理有关的要采用的显影参数的情况下，中间显影运动图像数据S2需要被播放，并且在提前从其中间了解显影处理的结果的情况下，显影参数需要被调整以播放略缩图中间显影运动图像数据Sn2。

在调整通过拍摄获得的运动图像数据以便获得用户的期望图像质量的情况下，显影参数需要被调整以播放原始运动图像数据S1，并且在提前了解其结果的情况下，显影参数需要被调整以播放略缩图原始运动图像数据。略缩图普通运动图像数据Sn3被采用，从而可以缩窄要处理的数据量，可以根据用户的指令利用显影参数快速执行显影处理，并且可以查看其结果。

注意，在图2所示的格式的情况下，假定每个运动图像数据S1、S2、S3、Sn1、Sn2、Sn3和显影参数Pm是针对运动图像的每个场景保存的。这里提到的参数组由与场景的每个目标帧相对应的多个参数组构成。为了针对每个场景保存数据，需要检测运动图像的场景变化点。

迄今为止已采用的各种类型方法都可用于检测场景变化点(场景变化位置)。例如，相邻帧之间的像素值的差异等于或大于预定值的情况可以被当作一个场景变化点。在这种情况下，可以取各种类型的对应关系，例如采用整个帧的像素、采用预定多个位置的像素、只采用亮度数据、还将颜色数据考虑在内，等等。另外，尽管其细节将在后面描述，但是也可以通过将针对每帧的检测数据和显影参数中的变化考虑在内来检测场景变化点。

原始运动图像格式的另一示例

另外，如图2所示，可以进行这样的布置，其中针对每个场景不收集包括原始运动图像数据S1和显影参数组Pm在内的多个运动图像数据，而是针对不同格式或类型的每种数据收集并保存场景。图3是用于描述原始运动图像格式的另一示例的示图。

同样在图3所示的原始运动图像格式的另一示例的情况下，与图2所示的原始运动图像格式的情况类似，要保存的数据包括原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2、略缩图普通运动图像数据Sn3和显影参数组Pm。

但是，在图3所示的示例的情况下，针对不同格式的每种数据收集一系列运动图像的各个场景。也就是说，原始运动图像数据S1x是针对每个场景收集的原始运动图像数据。另外，中间显影运动图像数据S2x是针对每个场景收集的中间显影运动图像数据。另外，普通运动图像数据S3x是针对每个场景收集的普通运动图像数据。

类似地，略缩图原始运动图像数据Sn1x是针对每个场景收集的略缩图原始运动图像数据。另外，略缩图中间显影运动图像数据Sn2x是针对每个场景收集的略缩图中间显影运动图像数据。另外，略缩图普通运动图像数据Sn3x是针对每个场景收集的略缩图普通运动图像数据。另外，显影参数组Pm是针对每个场景收集的显影参数组。

在图2所示的原始运动图像格式的情况下，以场景为增量收集不同格式的运动图像数据和显影参数组，但是在图3所示的原始运动图像格式的情况下，原始运动图像数据S1x、中间显影运动图像数据S2x、普通运动图像数据S3x、略缩图原始运动图像数据Sn1x、略缩图中间显影运动图像数据Sn2x、略缩图普通运动图像数据Sn3x和显影参数组Pmx中的每一个构成一个文件，并且这些数据被收集以构成原始运动图像文件。

图2中所示的原始运动图像格式例如在针对每个场景采用原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3的情况下是很方便的。

但是，在播放并采用多个场景的运动图像数据的情况下，图3中所示的格式不采用不作为要处理的数据被播放的数据，从而可以减少访问时间，并且在某些情况下可以执行更快速的重放。

显影参数Pm的获得模式

为了显影原始图像，需要提供显影参数组以指示具体执行哪一种显影处理。这里提到的显影参数组由各种类型的显影参数构成，例如用于曝光调整的参数、用于白平衡处理的参数、用于NR处理的参数、用于指定执行哪一种解拼处理的参数、用于饱和度调整的参数、用于颜色调整的参数和其他显影参数。

一般来说，在原始运动图像的情况下，为了精确执行显影处理，需要关于所有帧的完整显影参数组。但是注意，存在许多关于同一场景变化不大的显影参数，并且记录关于所有帧的所有显影参数组是效率不高的。另外，分析关于在哪一帧显影参数是否发生变化的信息是不适当的。

因此，利用根据本实施例的照相机系统100的检测处理单元402，可以生成关于原始运动图像数据S1的显影参数Pm并以适应性方式记录。具体而言，显影参数是根据诸如下面的(1)至(6)中所示的规则来记录的。

(1)在场景的开头记录所有的显影参数。

(2)利用除场景开头以外的某一间隔记录一个参数。

(3)上述“某一间隔”根据显影参数的改变频率而改变。

(4)与(2)相分离地，在显影参数中，按需要记录具有大的变化或突然变化的显影参数。

(5)在(4)时，可以同时记录其他参数或所有显影参数。

(6)希望在记录时生成上述(1)至(5)的适应性显影参数。但是注意，在照相机系统的性能不够的情况下，可以进行这样的布置，其中参数的一部分或所有参数在记录时被记录，并且通过显影装置的分析而被生成。

图4是用于描述在这样的情况下的特定示例的示图：其中根据上述规则(1)至(6)以适应性方式记录了关于构成预定场景(场景N)的多个帧的显影参数组。

如图4所示，关于场景的第一个帧(帧1)记录了所有的显影参数(完整显影参数组：1)。随后，基本上，关于具有某一间隔的一帧(关于具有这样的定时的一帧，其中至少一个帧被定期稀疏化)记录完整显影参数组。

注意，在图4中，“完整显影参数组：1”中的“：1”的描述表示要与参数组相加的相应帧的帧号，并且这对于显影参数组A、显影参数组B和显影参数组C也为真，这将在下面描述。

但是，在某些情况下不需要执行对除场景开头以外的其他部分的完整显影参数组的记录。完整显影参数组中包括的每个显影参数具有根据其属性的高或低的改变频率。具有高改变频率的显影参数需要早被更新，记录间隔需要缩短，但是在具有低改变频率的显影参数的情况下，记录间隔可以延长。

也就是说，对于是否记录完整显影参数组并不是仅两种选择，并且记录频率根据显影参数的类型而改变。在图4所示的场景N的情况下，关于每隔一帧的帧记录了显影参数组A，关于每隔三帧的帧记录了显影参数组B，而关于每隔四帧的帧记录了显影参数组C。

因此，在图4所示的示例的情况下，关于场景N的第一个帧(帧1)记录了(完整显影参数组：1)，并且利用帧1作为起始点，关于帧3、帧5、帧7等等直至帧M(它们是每隔一帧的帧)记录了相应的(显影参数组A：3)、(显影参数组A：5)、(显影参数组A：7)等等直至(显影参数组A：M)。

另外，利用帧1作为起始点，关于帧5、帧9等等(它们是每隔三帧的帧)记录了相应的(显影参数组B：5)、(显影参数组B：9)等等。另外，利用帧1作为起始点，关于帧6等等直至帧M(它们是每隔四帧的帧)记录了相应的(显影参数组C：6)等等直至(显影参数组C：M)。

注意，对于图4中所示的示例，完整显影参数组包括所有显影参数，显影参数组A由具有高改变频率的显影参数构成，例如亮度、颜色特性等，显影参数组B由具有中等改变频率的显影参数构成，例如各种类型的插值处理参数等，显影参数组C由具有低改变频率的显影参数构成，例如透镜特性等。

另外，存在场景特征突然改变的情况，例如照相机的拍摄对象在拍摄时改变的情况，等等。在这种情况下，显影参数组明显改变，因此需要记录显影参数组。随后，在要与上述显影参数组相加的某一间隔足够短的情况下没有问题，否则需要与某一间隔记录相分离地记录显影参数组。

在这种情况下，可以只记录具有大变化的显影参数，可以记录完整显影参数组，或者可以记录具有过量变化的显影参数。从而，利用根据本实施例的照相机系统100，如图4所示，显影参数组不被添加到所有帧，但是可以被添加到具有预定周期的帧或者以适应性方式与变化点相对应的帧。从而，在本说明书中，要以适应性方式被添加到不连续帧的显影参数组将被称为适应性参数组。

在采用适应性显影参数组的情况下，也需要通过分析显影参数的变化、检测数据(检测值)和原始运动图像数据(原始帧运动图像数据)来检测显影参数的过量变化，以获得适应性显影参数。利用根据本实施例的照相机系统100，显影参数的过量变化的发生是在检测处理单元402处检测的，从而显影参数组可以被添加到与场景的变化点相对应的帧。

图5是用于描述根据本实施例的照相机系统100的检测处理单元402的配置示例的框图。如图5所示，检测处理单元402包括检测电路4021和适应性显影参数分析单元4022。另外，检测电路4021由检测数据生成单元4021a和显影参数生成单元4021b配置而成。

如上参考图1所述，通过透镜单元101和成像器件单元102捕获的原始运动图像数据S1通过接口单元LSI 103和传感器接口单元401被提供给检测处理单元402。这样提供给检测处理单元402的原始运动图像数据S1被提供给检测电路4021的检测数据生成单元4021a和适应性显影参数分析单元4022，并且还从检测处理单元402输出作为原始运动图像数据S1。

检测数据生成单元4021a在预定图像区域中设置由多个划分区域构成的检测区域，根据该检测区域的每个划分区域的原始运动图像数据的每一帧的图像数据生成检测数据，检测数据是用于自动曝光调整、自动白平衡调整和自动焦点调整的关于原始运动图像数据的评估值(检测值)，并且检测数据生成单元4021a将检测数据提供给显影参数生成单元4021b和适应性显影参数分析单元4022。

显影参数生成单元4021b例如基于提供给其的检测数据，形成针对每一帧的各种类型的显影参数，并将其提供给适应性显影参数分析单元4022。适应性显影参数分析单元4022以提供给其的帧为增量，执行关于检测数据、显影参数组和原始运动图像数据的分析，例如获得前一帧和后一帧的差异，从而检测场景变化点(帧)或显影参数组过量改变的位置。

随后，如参考图4所描述的，在适应性显影参数分析单元4022检测到场景变化点的情况下，适应性显影参数分析单元4022将完整显影参数组输出到新场景的第一帧。另外，在适应性显影参数分析单元4022检测到显影参数过量改变的位置的情况下，适应性显影参数分析单元4022向变化后的帧输出完整显影参数组、包括过量改变的显影参数的预定显影参数组(例如，图4中所示的显影参数组A、B或C)、或者只输出过量改变的显影参数。

利用根据本实施例的照相机系统100，在检测到显影参数过量改变的位置的情况下，例如，假定完整显影参数组被输出。另外，如参考图4所描述的，利用适应性显影参数分析单元4022，具有预定间隔的帧也与显影参数组相关。

也就是说，适应性显影参数分析单元4022根据上述过程(1)至(6)，将不连续的帧与显影参数组相关。从而，利用根据本实施例的照相机系统100，适应性显影参数可以被输出。

从而，如上参考图4所述，当既没有检测到场景变化点也没有检测到显影参数的过量改变位置时，适应性显影参数分析单元4022可以将预定显影参数组输出到每隔预定数目帧的帧。

另外，可以进行这样的布置，其中根据本实施例的照相机系统100的适应性显影参数分析单元4022以与显影参数相同的方式向每个场景的第一个帧输出所有检测数据组，所述检测数据组不仅包括显影参数，还包括各种类型的数据，但是根据每种检测数据的改变频率向其他每隔若干帧的帧输出普通检测组，或者在检测数据过量改变的情况下，该数据被输出到其他帧作为适应性检测数据组。

因此，由高改变频率的检测数据构成的检测数据组可以以短周期定时输出，而由低改变频率的检测数据构成的检测数据组可以以相对较长的周期定时输出。注意，很显然，针对每一帧可以输出检测数据组，以适当地执行自动曝光调整、自动白平衡调整和自动焦点调整。

从而，利用根据本实施例的照相机系统100，检测处理单元402并不将显影参数添加到原始运动图像数据S1的所有帧上，而是可以以适应性方式将显影参数组Pm添加到不连续的帧上。另外，检测处理单元402还可以以适应性方式输出检测数据组Dd。

如果简单总结以上描述，则根据本实施例的照相机系统100的检测处理单元402可以输出原始运动图像数据S1，并且另一方面，如参考图4所描述的，也可以通过针对每个预定周期或者在显影参数剧烈改变的定时处输出预定显影参数组来输出显影参数组Pm。

另外，与适应性显影参数组类似，检测处理单元402可以例如通过针对每个预定周期或者在检测数据剧烈改变的定时处输出预定检测数据组来输出检测数据组Dd。

注意，如上所述，用于将显影参数添加到运动图像数据的定时是取决于显影参数是具有高改变频率还是低改变频率而改变的。在这种情况下，如上所述，对于要采用的每个显影参数，可以预先理解改变频率水平的一般趋势，因此基于该趋势，需要预先确定利用多大的间隔将哪一显影参数添加到运动图像数据的帧。

另外，可以进行这样的布置，其中对于要采用的每个显影参数，在图5所示的检测处理单元402的适应性显影参数分析单元4022处获得改变频率，并且根据所获得的改变频率，可以以适应性方式针对在拍摄时的每个显影参数，对添加到运动图像数据的定时(相加周期)进行控制。

图6A和6B是用于描述从根据本实施例的照相机系统100的检测处理单元402输出的显影参数组Pm的数据格式示例和原始运动图像数据S1的数据格式示例的示图。如图6A所示，原始运动图像数据S1由以帧为增量的针对每一帧的帧标识信息R1和原始运动图像数据R2构成。

另一方面，如图6B所示，显影参数组Pm由帧标识信息P1和显影参数信息P2构成，帧标识信息P1指示显影参数组Pm被添加到的相应原始运动图像数据的帧，并且显影参数P2被布置为包括每个显影参数，例如亮度(P21)、颜色特性(P21)、锐度(P23)等等。

从而，显影参数组Pm被添加到的相应原始运动图像数据的帧和显影参数组Pm被帧标识信息链接，从而可以区分并使用哪一显影参数组Pm被添加到原始运动图像数据S1的哪一帧。

也就是说，作为一般规则，对于原始静止图像，显影参数组必然被添加到一张原始静止图像数据。但是，如上所述，一组大量的原始帧图像是原始运动图像数据。因此，利用根据本实施例的原始运动图像格式，需要提供用于确定显影参数组应当被应用到所记录的原始运动图像数据的哪一帧上的信息。在所有显影参数被记录到所有帧的情况下，该信息是不需要的，但是在保存在时间轴方向上压缩的原始运动图像数据的情况下，或者如上所述在记录在时间轴方向上被稀疏化的显影参数的情况下，等等，该信息必然是需要的。

在所进行的描述中，在图6A和6B所示的示例的情况下采用了帧标识信息，但是该帧标识信息是特定于每一帧的信息，并且可以采用各种类型的信息，例如帧号、从头部起的时间信息、从头部起的序列号，等等。

注意，如图4所示，利用根据本实施例的照相机系统100，多个显影参数组可以被添加到一帧，例如以使得显影参数组A和B被添加到帧5和9，而显影参数组M和C被添加到帧M。

另外，如上所述，希望在照相机系统(成像装置)内生成适应性显影参数，但是在照相机系统的处理能力欠缺的等等的情况下，可以采用原始显影装置来进行分析以计算原始显影装置内的适应性参数组。

另外，可以进行这样的布置，其中利用成像装置，要添加到所有帧的显影参数、以及要利用某一间隔或稀疏化定时添加的显影参数组都被记录在原始运动图像文件中，并且该文件被用在后面将描述的原始显影装置内，另外场景变化点也被检测出来，并且显影参数组被新添加到该变化点的帧。

原始运动图像文件的另一示例

顺带提及，在原始运动图像的情况下，存在这样一种情况，其中希望能够根据其目的采用最优的图片摄取(picture-making)参数。例如，根据运动图像的使用，有各种类型的图片摄取，例如电影风格图片摄取、宣告鲜艳颜色的图片摄取，等等。存在这样的情况，其中用户通过在记录运动图像时适当地设置拍摄设置来选择目标图片摄取，并且在原始运动图像的情况下，存在在显影时指定图片摄取的情况。

因此，利用根据本实施例的照相机系统100，可以同时记录不同图片摄取的多个显影参数组，而不管在记录时是否拍摄相同场景。也就是说，在CPU 410的控制下，根据本实施例的照相机系统100的检测处理单元402在拍摄运动图像以进行记录时对于相同运动图像数据可以生成一共至少四种类型的显影参数。

具体而言，根据本实施例的照相机系统100的检测处理单元402允许生成四种类型的不同显影参数组：显影参数组(电影风格)Pm(a)、显影参数组(鲜艳)Pm(b)、显影参数组(用于风景的)Pm(c)和显影参数组

(强调皮肤)Pm(d)。另外，根据本实施例的照相机系统100的检测处理单元402允许这些显影参数组与原始运动图像数据等一同被记录在记录介质109中。

图7是用于描述要在根据本实施例的照相机系统100处被记录到记录介质109中的原始运动图像文件的另一示例(原始运动图像文件Mf1x)的示图。在图7中，原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3各自是以与参考图2所述的原始运动图像文件Mf1的情况相同的方式被生成和记录的。

如上所述，在图7所示的示例的情况下，作为要在检测处理单元402处生成的显影参数组，四种类型的不同显影参数组，显影参数组(电影风格)Pm(a)、显影参数组(鲜艳)Pm(b)、显影参数组(用于风景的)Pm(c)和显影参数组(强调皮肤)Pm(d)中的每一种通过记录/重放处理单元409被记录在记录介质109中。

从而，在重放原始运动图像数据时指示采用与目标图片摄取相对应的显影参数可以使得不必在重放时有意生成显影参数。也就是说，用户可以在对其添加调整的同时利用用户的目标图片摄取的显影参数组来对记录在记录介质109中的原始运动图像数据进行显影处理，从而可以以用户预期的方式对原始运动图像数据进行显影处理。另外，还可以指定多个显影参数组的混合(合成)，并且因此，可以获得诸如具有鲜艳颜色的电影色调等的效果。

在显影处理时显影参数的插值

如参考图4等所描述的，根据本实施例的照相机系统100并不将显影参数组添加到原始运动图像数据的所有帧，而是仅将显影参数组添加到需要与显影参数相加的不连续帧。

从而，在显影其中显影参数组被添加到不连续帧的原始运动图像数据的情况下，需要针对没有显影参数组被添加到其的帧插值显影参数组。下面将描述在利用根据本实施例的照相机系统100显影记录在记录介质109中的原始运动图像数据的情况下显影参数组的插值。

图8至17是用于描述显影参数的插值的示图。现在，假定如图8所示，利用根据本实施例的照相机系统100，关于在拍摄运动图像的情况下获得的原始运动图像数据的预定场景的每一帧的显影参数在检测处理单元402处被生成，并且被与其相关。

注意，事实上，有大量的显影参数，并且如上所述，存在许多显影参数作为显影参数组存在的情况，并且还存在许多显影参数组以数值的组合形式存在的情况。但是，为了简化描述，将描述一种类型的显影参数被与每一帧相关的情况作为示例。

在图8所示的示例的情况下，显影参数A的改变频率不是很高，因此假定利用根据本实施例的照相机系统100，在将原始运动图像数据和显影参数A记录到记录介质109中时，针对两帧记录一个显影参数A，如图9所示(每隔一帧记录)。

随后，在记录在记录介质109中的原始运动图像数据和显影参数A被从记录介质109读出并被显影的情况下，根据本实施例的照相机系统100的图像处理单元403对从记录介质109读出并提供给图像处理单元403的显影参数A进行插值处理和显影，例如如图10所示。

在该示例的情况下，如图10所示，与偶数帧相对应的显影参数A是被插值的显影参数。对于图10中所示的示例，执行线性插值。但是注意，事实上，希望采用诸如样条(spline)插值、Bezier插值等的合适的插值算法。

另外，同样在利用上述适应性显影参数执行显影的情况下，可以以相同方式执行显影处理。现在，如图11所示，假定利用根据本实施例的照相机系统100，针对在拍摄运动图像的情况下获得的原始运动图像数据的预定场景的每一帧的显影参数在检测处理单元402处被生成，并且被与其相关。

随后，在该示例的情况下，认为照相机系统100将用作适应性显影参数的显影参数与其中显影参数极大改变的帧相关。具体而言，如图12所示，假定作为适应性显影参数，在显影参数极大改变的情况下关于改变之前的帧的显影参数和关于紧接着改变之后的帧的显影参数被与原始运动图像数据一同记录在记录介质109中。注意，如上所述，显影参数被添加到原始运动图像数据的每个场景的第一个帧。

从而，通过拍摄获得的图11所示状态下的显影参数A和原始运动图像数据可以利用显影参数A作为适应性显影参数被记录在记录介质109中。

随后，如图12所示，相关的原始运动图像数据和适应性显影参数被记录在记录介质109中，并且在读出这些数据、将其提供给图像处理单元403并执行显影处理的情况下，图像处理单元403针对不与显影参数相关的帧对显影参数进行了插值。

同样在图13的情况下，不与显影参数相关的帧的显影参数是基于适应性显影参数通过线性插值恢复的。从而，在图13中，关于帧2、5至9的显影参数被恢复，并且利用这些参数执行显影处理。

另外，通过采用适应性显影参数获得的优点不仅是数据量的减少。在用户调整显影参数的情况下，用户可以凭直觉在变化点处执行显影参数的调整。也就是说，关于显影参数，在针对在相邻帧之间没有变化的帧保存了显影参数的情况下，即使用户试图改变针对在相邻帧之间没有变化的帧的显影参数，该改变也只被应用到该帧。也就是说，不会将影响扩展到周围的帧。

但是，在适应性显影参数的情况下，例如假定，与帧10相关的值在图13中为“60”的适应性显影参数被调整为“90”，例如如图4所示。

在这种情况下，在与帧10相关的适应性显影参数被调整之后，插值的显影参数也再次经过插值处理，从而插值的显影参数经过用户调整的适应性显影参数的影响，并且还可以经过自动校正，如图15所示。

另外，如图16所示，适应性显影参数还未被添加到的帧(在图16的示例的情况下是帧7)被指定为关键帧，所指定的关键帧的显影参数被调整，然后再次执行插值处理，从而与原始运动图像数据的每一帧相关的显影参数被校正，并且可以获得更自然的显影参数，如图17所示。

从而，采用了一种被称为关键帧的概念，并且还再次执行插值处理，从而可以提供对于用户来说直观的用于调整原始运动图像数据的显影参数的工具，并且可以适当地执行针对原始运动图像数据的显影参数的调整。

注意，利用针对这种原始运动图像数据的显影参数的调整，可以设想两种类型的接口情况，一种是显影参数的值在拍摄时通过设置都被设置为中心，并且仅仅在用户的调整点处执行显影参数的调整，另一种是如参考图12所描述的，在拍摄时显影参数已改变的变化点处的显影参数被记录并示出给用户，并且用户参考它来调整显影参数。在前一种情况下，与其调整项目紧密相关的数据被排列，并且在某些情况下被提供。在后一种情况下，用户也可以调整最初变化点，但是也可以新添加变化点，并且在时间轴方向上提供复杂的调整结果。

照相机系统100的操作总结

接下来，将参考图18和19所示的流程图，描述在根据本实施例的照相机系统100的拍摄时的处理(在记录运动图像数据时的处理)，以及在重放通过拍摄记录在记录介质109中的原始运动图像数据时的处理。

在拍摄运动图像时的处理总结

图18是用于描述由根据本实施例的照相机系统100执行的在拍摄运动图像数据时的处理的流程图。图18所示的处理是由控制各个单元的CPU 410在通过操作单元107接受用于开始运动图像的拍摄的操作输入的情况下执行的。

首先，CPU 410控制传感器接口单元401以获得通过透镜单元101、成像器件单元102和接口单元LSI 103提供的原始运动图像数据S1，并将其提供给检测处理单元402(步骤S101)。检测处理单元402将原始运动图像数据S1提供给略缩图原始运动图像生成单元421，从而生成略缩图原始运动图像数据Sn1(步骤S102)。

另外，检测处理单元402执行对于所提供的原始运动图像数据S1的每一帧的检测处理，从而生成针对每一帧的检测数据(检测值)，并且基于该检测数据，针对每一帧生成显影参数组，另外，根据上述参考将显影参数组与不连续帧相关，从而生成适应性显影参数组(步骤S103)。

随后，来自检测处理单元402的原始运动图像数据S1和适应性显影参数Pm被提供给图像处理单元403，并且利用图像处理单元403，执行直到其中间的显影处理，从而生成中间显影运动图像数据S2(步骤S104)。在这种情况下，图像处理单元403将所生成的中间显影运动图像数据S2提供给略缩图中间显影图像生成单元422。略缩图中间显影图像生成单元422根据提供给其的中间显影运动图像数据S2生成略缩图中间显影运动图像数据Sn2(步骤S105)。

另外，在生成中间显影运动图像数据S2之后，图像处理单元403还进一步进行显影处理，并最终根据所提供的原始运动图像数据S1形成YC数据。该YC数据被从图像处理单元403提供给分辨率转换处理单元404，在该处执行分辨率转换处理，形成用于显示的图像数据，该数据被提供给压缩处理单元405，并经过利用预定数据压缩方法的数据压缩，从而生成用于记录的普通运动图像数据S3以记录到记录介质109中(步骤S106)。

另外，从分辨率转换处理单元404输出的用于显示的图像数据或者来自压缩处理单元405的普通运动图像数据被提供给略缩图普通运动图像生成单元423，在该处生成略缩图普通运动图像数据Sn3(步骤S107)。

随后，CPU 410以场景为增量，通过记录/重放处理单元409将如上所述在相应的各个单元处生成的原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2、略缩图中间显影运动图像数据Sn2、普通运动图像数据S3和略缩图普通运动图像数据Sn3记录在记录介质109中(步骤5108)。

随后，CPU 410确定是否已发生用于结束拍摄的事件，以使得已通过操作单元107从用户接受拍摄结束指令(步骤S109)。在步骤S109中确定还未发生用于结束拍摄的事件的情况下，重复从步骤S101起的处理。另外，在步骤S109中确定已发生用于结束拍摄的事件的情况下，CPU 410结束图18中所示的处理，并且结束运动图像的拍摄。

注意，这里的描述假定普通运动图像数据S3通过压缩处理单元405的功能已经过数据压缩，但是本发明并不限于此。可以进行这样的布置，其中原始运动图像数据S1和中间显影运动图像数据S2例如根据预定的数据压缩方法、通过压缩处理单元405的功能或分开提供的压缩处理电路的功能也经过数据压缩，然后被记录在记录介质109中。

另外，可以进行这样的布置，其中略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3例如根据预定的数据压缩方法、通过压缩处理单元405的功能或分开提供的压缩处理电路的功能也经过数据压缩，然后被记录在记录介质109中。

另外，很显然，普通运动图像数据S3也可以在不进行数据压缩的情况下被记录。

从而，利用根据本实施例的照相机系统100，通过拍摄运动图像获得的原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2、略缩图普通运动图像数据Sn3和适应性显影参数Pm可以被记录在记录介质109中。

在重放原始运动图像数据时的处理总结

图19是用于描述由根据本实施例的照相机系统100执行的在重放记录在记录介质109中的原始运动图像数据时的处理的流程图。图19所示的处理是由控制各个单元的CPU 410在通过操作单元107接受开始原始运动图像数据的重放的操作输入的情况下执行的。

CPU 410控制记录/重放处理单元409读出被指示播放的原始运动图像数据S1和与其相对应的显影参数(适应性显影参数)Pm，并将其提供给图像处理单元403(步骤S201)。注意，当要播放的原始运动图像数据S1是经过数据压缩并记录在记录介质109中的数据时，该数据例如在从记录介质109读出之后通过解压缩处理单元408的功能经过解压缩处理，并被提供给图像处理单元403。

随后，在CPU 410的控制下，图像处理单元403执行提供给其的显影参数组Pm的插值处理，以及响应于通过操作单元107接受的来自用户的关于显影参数组的修改指令的输入进行的用于调整显影参数的处理(步骤S202)。

随后，图像处理单元403利用插值和调整之后的显影参数来执行读取的原始运动图像数据的显影处理，以生成YC数据(步骤S203)。这里生成的YC数据被提供给分辨率转换处理单元404，并且经过分辨率转换以生成用于显示的图像数据，该数据通过显示处理单元406和显示处理LSI105被提供给显示设备106，并且与读取的原始运动图像数据相对应的运动图像在显示设备106的显示屏上被播放(步骤S204)。

随后，CPU 410确定是否已发生用于结束重放处理的事件，例如通过操作单元107的原始运动图像数据的重放结束指令、指示播放的原始运动图像数据的重放完成，等等(步骤S205)。

在步骤S205中确定还未发生用于结束重放处理的事件的情况下，CPU 410重复从步骤S201起的处理，并且继续重放处理。另外，在步骤S205中确定已发生用于结束重放处理的事件的情况下，图19所示的处理结束。

从而，利用根据本实施例的照相机系统100，采用了通过拍摄获得的原始运动图像数据S1和显影参数组Pm，从而原始运动图像数据可以经过显影处理并被播放。另外，显影参数组被调整，从而用户可以执行期望的图片摄取。

注意，图19是用于描述原始运动图像数据S1被播放的情况的示图，但是在同样播放略缩图原始运动图像数据Sn1的情况下，执行相同的重放处理。另外，中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2也可以通过根据图19所示的流程图的重放处理被播放。

但是，在中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2的情况下，步骤S203中执行的显影处理不是要首先执行的显影处理，而是要稍后执行的显影处理。也就是说，如上所述，根据本实施例的中间显影运动图像数据是通过执行曝光调整处理、白平衡调整处理、NR处理和插值处理(解拼处理)而形成的，因此这里执行了后续的饱和度调整处理和色调调整处理。当然，这仅仅是一个示例，因此可以设想各种模式。显影装置

根据上述实施例的照相机系统100拍摄运动图像以获得原始运动图像数据，将其记录在记录介质109中，并且还对记录在记录介质109中的原始运动图像数据进行显影处理并进行播放。也就是说，根据上述实施例的照相机系统100既有作为成像装置的功能，又有作为显影装置的功能。

但是，照相机系统一般是被携带和使用的，因此需要实现大小的缩减和重量的缩减，但是这样一来，在某些情况下处理能力受限，例如，作为显影装置的功能(它是除了作为成像装置的功能以外的部分)有时候被省略。在这种情况下，需要提供用于对由照相机系统拍摄的原始运动图像数据进行显影处理的显影装置。

下面将描述图像处理设备的配置示例，该图像处理设备包括作为用于对原始运动图像数据进行显影处理的显影装置的功能。注意，图像处理设备可以配置为用于仅处理原始运动图像数据的专用设备，或者可以通过在个人计算机中实现作为图像处理设备的功能而实现。

图20是用于描述根据本实施例的图像处理设备200的框图。如图20所示，根据本实施例的图像处理设备200包括压缩/解压缩处理单元201、检测处理单元202、图像处理单元203、分辨率转换处理单元204、显示控制器205、显示单元206、硬盘驱动器(下文中称为HDD)207、操作单元208、介质驱动器211、外部接口212、外部输入/输出端子213、通信接口214、发送/接收天线215、略缩图原始运动图像生成单元221、略缩图中间显影运动图像生成单元222、略缩图普通运动图像生成单元223和控制单元230。

控制单元230用于控制根据本实施例的图像处理设备的各个单元，并且是由CPU(中央处理单元)231、ROM(只读存储器)232、RAM(随机访问存储器)233和EEPROM(电可擦除可编程ROM)234配置而成的微计算机，这些组件通过CPU总线235彼此相连。

CPU 231读出并运行存储和保存在后面将描述的ROM 232中的各种类型程序，接收在必要情况下从各个单元提供来的信息，并且形成要提供给各个单元的控制信号以将其提供给各个单元，即，CPU 231用作根据本实施例的图像处理设备200的控制核心。

如上所述，ROM 232存储和保存各种程序和CPU 231所运行的处理必需的数据。另外，RAM 233临时存储各种类型处理中处理中间的结果，即，RAM 233主要用作工作区域。

另外，EEPROM 234是所谓的非易失性存储器，例如，存储和保存各种类型的数据，这些数据需要即使在根据本实施例的图像处理设备200的电源被关闭时也得以保存，例如，各种处理结果、设置参数、用于功能增强的程序，等等。

压缩/解压缩处理单元201执行图像数据的压缩处理和解压缩处理。例如，在通过后面将描述的外部输入/输出端子213和外部接口212提供自外部设备的图像数据不是经过数据压缩的数据的情况下，压缩/解压缩处理单元201的功能使得图像数据能够经过压缩处理，并被记录在HDD 207的硬盘中。另外，例如，在记录在HDD 207的硬盘中的运动图像数据是经过数据压缩的数据的情况下，当读出并播放该数据时，压缩/解压缩处理单元201的功能使得运动图像数据能够被进行解压缩处理并被播放。

另外，检测处理单元202以与图1中所示的照相机系统100的检测处理单元402相同的方式被配置，并且响应于原始运动图像数据的提供，针对每一帧对原始运动图像数据进行检测处理以生成检测数据，并针对每一帧根据所生成的检测数据生成显影参数组。例如，即使在仅有原始运动图像数据被提供的情况下，检测处理单元202也可以基于原始运动图像数据生成显影参数组，并且可以适当地执行显影处理。

图像处理单元203以与图1中所示的照相机系统100的图像处理单元403相同的方式被配置，并且响应于原始运动图像数据和显影参数组的提供，对原始运动图像数据进行诸如曝光调整处理、白平衡调整处理、解拼处理、饱和度调整处理、色调调整处理等的显影处理，以形成并输出YC数据。例如，在一系列显影处理中，图像处理单元203例如可以执行曝光调整处理、白平衡调整处理和解拼处理的显影处理，以形成并输出中间显影运动图像数据。

分辨率转换处理单元204以与图1中所示的照相机系统100的分辨率转换处理单元404相同的方式被配置，并且对所提供的YC数据进行图像缩放处理，以形成并输出用于显示的图像数据。

响应于从分辨率转换处理单元404提供的用于显示的图像数据，显示控制器205根据用于显示的图像数据形成具有要提供给显示单元206的格式的图像信号，并将其提供给显示单元206。显示单元206包括显示设备，例如LCD(液晶显示器)、有机电致发光面板、CRT(阴极射线管)等等，并且响应于从显示控制器205提供的图像信号，在其自身的显示设备的显示屏上显示与该图像信号相对应的运动图像。

另外，HDD 207例如包括数百G字节或更大量级的较大容量的硬盘，并且根据控制单元230的控制，可以将各种类型的提供的数据记录在硬盘中，并且读出记录在硬盘中的数据。

操作单元208包括各种类型的操作键，并且响应于来自用户的指令的输入，可以将其作为电信号提供给控制单元230。从而，控制单元230根据来自用户的指令的输入，控制各个单元，并且允许用户执行期望的处理。

略缩图原始运动图像生成单元221以与图1中所示的照相机系统100的略缩图原始运动图像生成单元421相同的方式被配置，并且例如响应于从检测处理单元202提供的原始运动图像数据等，生成略缩图原始运动图像数据。

另外，例如，响应于从图像处理单元203提供的中间显影运动图像数据等，略缩图中间显影运动图像生成单元222生成略缩图中间显影运动图像数据。另外，例如，响应于从分辨率转换处理单元204提供的用于显示的运动图像数据，略缩图普通运动图像生成单元223生成略缩图普通运动图像数据。

根据本实施例的图像处理设备200包括三个输入/输出端子单元，即，介质驱动器211、外部接口212和外部输入/输出端子213、以及通信接口214和发送/接收天线215。

介质驱动器211能够安装/分离可移动介质，并且可以从其上安装的可移动介质读出数据，以及将数据写到可移动介质。因此，作为通过照相机系统记录有原始图像数据的可移动介质的记录介质被安装在介质驱动器211上，从而根据本实施例的图像处理设备200的控制单元230可以读出并使用记录在可移动介质中的原始图像数据等等。

注意，有各种类型的可移动介质，例如存储卡、光盘、磁光盘、磁盘等，但是根据第一实施例的图像处理设备200的介质驱动器211例如是用于存储卡的可移动介质。

外部接口212和外部输入/输出端子213是数字接口，例如USB(通用串行总线)标准、IEEE(电气和电子工程师协会)1394标准等，从而包括相同数字接口的外部设备可以与其相连。

因此，诸如存储和保存原始图像数据等的照相机系统之类的外部设备通过外部接口212和外部输入/输出端子213相连，从而根据本实施例的图像处理设备200的控制单元230可以接收并使用存储和保存在外部设备中的原始图像数据。

通信接口214和发送/接收天线215能够通过广域网(例如，因特网等)与外部设备进行信息的发送/接收。因此，通过通信接口214和发送/接收天线215与外部设备(例如具有通信功能且保存原始图像数据等的移动终端或照相机系统)执行通信处理，从而控制单元230可以获得并使用原始图像数据等。

从而，根据本实施例的图像处理设备200获得通过利用图1中所示的照相机系统100拍摄的运动图像，并且通过介质驱动器211(用作用于接受原始图像数据等的单元)、外部接口212和外部输入/输出端子213、以及通信接口214和发送/接收天线215获得记录在记录介质109中的原始图像数据等，如参考图2、3和7所描述的，从而可以在控制单元230的控制下对所获得的原始图像数据等进行显影处理等。

接下来，将具体描述在图像处理设备200处执行的显影处理。这里将描述以下情况作为示例：其中通过图1中所示的照相机系统拍摄运动图像，从而具有图2中所示格式的原始运动图像文件被记录在记录介质109中，并且记录介质109被安装在图20中所示的介质驱动器211上并被使用。

首先，将描述记录在介质驱动器211上安装的记录介质109中的原始运动图像数据S1被播放的情况。在这种情况下，执行与作为照相机系统100的操作描述的图19中所示的流程图的处理相同的处理。这里将参考图19进行描述。

在通过操作单元208指示重放记录在介质驱动器211上安装的记录介质109中的原始运动图像数据S1时，控制单元230执行图19中所示的处理，控制介质驱动器211以读出目标原始运动图像数据S1和显影参数组Pm，并将其提供给图像处理单元203(步骤S201)。

随后，在控制单元230的控制下，图像处理单元203执行对提供给其的显影参数组Pm的插值处理，以及用于根据通过操作单元208接受的来自用户的关于显影参数组的修改指令的输入来调整显影参数的处理(步骤S202)。

随后，图像处理单元203利用插值和调整之后的显影参数来执行读取的原始运动图像数据的显影处理，以生成YC数据(步骤S203)。这里生成的YC数据被提供给分辨率转换处理单元204，在该处YC数据经过分辨率转换以生成用于显示的图像数据，并且该数据被提供给显示控制器205，在该处形成具有要提供给显示单元206的格式的图像信号，并且该图像信号被提供给显示单元206，在该处与读取的原始运动图像数据相对应的运动图像在显示单元206的显示屏上被播放(步骤S204)。

随后，控制单元230确定是否已发生用于结束重放处理的事件，例如通过操作单元208接收原始运动图像数据的重放结束指令、指示播放的原始运动图像数据的重放完成，等等(步骤S205)。

在步骤S205中确定还未发生用于结束重放处理的事件的情况下，控制单元230重复从步骤S201起的处理，并且继续重放处理。另外，在步骤S205中确定已发生用于结束重放处理的事件的情况下，图19中所示的处理结束。

从而，利用在照相机系统100处成像并且记录在记录介质109中的原始运动图像数据S1和显影参数组Pm，可以在图像处理设备200处执行显影处理，并且显影处理之后的运动图像可以显示在显示单元206的显示设备的显示屏上，并且可以被使用。

从而，对于根据本实施例的照相机系统100，采用了通过拍摄获得的原始运动图像数据S1和显影参数组Pm，从而可以对原始运动图像数据进行显影处理并进行播放。另外，显影参数组被调整，从而用户可以执行期望的图片摄取。

注意，图19是用于描述原始运动图像数据S1被播放的情况的示图，但是在同样播放略缩图原始运动图像数据Sn1的情况下，执行相同的重放处理。另外，中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2也可以根据图19所示的流程图通过重放处理被播放。

但是，在中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2的情况下，步骤S203中执行的显影处理不是要首先执行的显影处理，而是要稍后执行的显影处理。也就是说，如上所述，根据本实施例的中间显影运动图像数据是通过执行曝光调整处理、白平衡调整处理、NR处理和插值处理(解拼处理)而形成的，因此这里执行后续的饱和度调整处理和色调调整处理。当然，这仅仅是一个示例，因此可以设想各种模式。

下面将简要总结在根据本实施例的图像处理设备200处执行的除了原始运动图像数据S1以外的其他数据的重放处理。首先，将描述记录在介质驱动器211上安装的记录介质109中的略缩图原始运动图像数据Sn1被播放的情况。

在通过操作单元208指示重放记录在介质驱动器211上安装的记录介质109中的略缩图原始运动图像数据Sn1时，控制单元230控制介质驱动器211读出目标略缩图原始运动图像数据Sn1和显影参数组Pm，并将其提供给图像处理单元203。

随后，以与对原始运动图像数据进行显影处理相同的方式，图像处理单元203利用略缩图原始运动图像数据Sn1和显影参数组Pm执行显影处理。在这种情况下，在通过操作单元208从用户指示修改显影参数组Pm时，控制单元230将其指示信息提供给图像处理单元203，从而显影参数组Pm可以被修改。

因此，用户可以修改显影参数组Pm，并且还可以对略缩图原始运动图像数据Sn1进行显影，以获得用户期望的图像。随后，同样在略缩图原始运动图像数据Sn1的情况下，略缩图原始运动图像数据Sn1在图像处理单元203处经过显影处理以生成YC数据，并且YC数据在分辨率转换处理单元204处经过缩放转换以形成用于显示的略缩图图像数据，并且该数据被提供给显示控制器205。

显示控制器205根据提供给其的用于显示的略缩图图像数据形成具有要提供给显示单元206的格式的略缩图图像信号，并将其提供给显示单元206。从而，与略缩图原始运动图像数据Sn1相对应的运动图像数据被显示在显示单元206的显示设备的显示屏上。

从而，在原始运动图像数据S1和略缩图原始运动图像数据Sn1的情况下，根据显影参数Pm或必要时经用户修改的显影参数Pm，从其开头执行显影处理以形成根据用户爱好的图像质量的运动图像数据，从而可以播放并使用该数据。

接下来，将描述记录在介质驱动器211上安装的记录介质109中的中间显影运动图像数据S2被播放的情况。在通过操作单元208指示重放记录在介质驱动器211上安装的记录介质109中的中间显影运动图像数据S2时，控制单元230控制介质驱动器211读出目标中间显影运动图像数据S2和显影参数组Pm，并将其提供给图像处理单元203。

图像处理单元203利用提供给其的显影参数Pm对提供给其的中间显影运动图像数据S2进行已执行的显影处理之后的显影处理以形成YC数据。此时，在通过操作单元208接受对关于已执行的显影处理之后的显影处理的显影参数组Pm的修改指令的输入的情况下，控制单元230将其提供给图像处理单元203，在该处也可以修改显影参数组Pm。

从而，采用了中间显影运动图像数据S2，从而可以重复已执行的显影处理之后的显影处理，而不用重复已对中间显影运动图像数据S2执行的显影处理。因此，通过重复修改关于已执行的显影处理之后的显影处理的参数，可以重复剩余的显影处理。

从而，用户可以通过修改关于已执行的显影处理之后的显影处理的参数来对中间显影运动图像数据S2进行显影处理，以获得用户爱好的图像质量的图像。另外，这种情况下的显影参数Pm的修改是针对已执行的显影处理之后的显影处理，要在已执行的显影处理之后执行的显影处理可以通过以下方式重复执行：在维持已执行的显影处理的有效性的同时改变显影参数。

后续的处理类似于上述原始运动图像数据S1情况下的处理，其中在图像处理单元203处形成的YC数据被提供给分辨率转换处理单元204，在该处YC数据经过图像缩放处理以形成用于显示的图像数据。在分辨率转换处理单元204处形成的用于显示的图像数据被提供给显示控制器205，在该处形成具有要提供给显示单元206的格式的图像信号，并且该图像信号被提供给显示单元206。

从而，利用在照相机系统100处成像并记录在记录介质109中的中间显影运动图像数据S2和显影参数组Pm，在图像处理设备200处执行了显影处理，从而可以播放并使用显影处理之后的运动图像。

接下来，将描述记录在介质驱动器211上安装的记录介质109中的略缩图中间显影运动图像数据Sn2的情况。在通过操作单元208指示重放记录在介质驱动器211上安装的记录介质109中的略缩图中间显影运动图像数据Sn2时，控制单元230控制介质驱动器211读出目标略缩图中间显影运动图像数据Sn2和显影参数组Pm，并将其提供给图像处理单元203。

随后，以与对中间显影运动图像数据进行显影处理相同的方式，图像处理单元203利用显影参数Pm对略缩图中间显影运动图像数据Sn2进行已执行的显影处理之后的显影处理，以形成YC数据。此时，在通过操作单元208接受关于已执行的显影处理之后的显影处理的显影参数组Pm的修改指令的输入的情况下，控制单元230将其提供给图像处理单元203，在该处也可以修改显影参数组Pm。

因此，用户也可以通过改变显影参数组Pm来对略缩图中间显影运动图像数据Sn2进行显影，以获得根据用户爱好的图像质量的图像。随后，同样在略缩图中间显影运动图像数据Sn2的情况下，略缩图中间显影运动图像数据Sn2在图像处理单元203处经过显影处理，从而形成YC数据，并且该YC数据在分辨率转换处理单元204处经过缩放转换以形成用于显示的略缩图图像数据，并且该数据被提供给显示控制器205。

显示控制器205根据提供给其的用于显示的略缩图图像数据形成具有要提供给显示单元206的格式的略缩图图像信号，并将其提供给显示单元206。从而，与略缩图中间显影运动图像数据Sn2相对应的运动图像数据被显示在显示单元206的显示设备的显示屏上。

因此，采用了略缩图中间显影运动图像数据Sn2，从而可以重复已执行的显影处理之后的显影处理，而不用重复已对略缩图中间显影运动图像数据Sn2执行的显影处理。因此，通过重复修改关于已执行的显影处理之后的显影处理的参数，可以重复剩余的显影处理。而且，在略缩图中间显影运动图像数据Sn2的情况下，其数据量小于普通的中间显影运动图像数据S2情况下的数据量，从而略缩图中间显影运动图像数据Sn2可以快速地经过显影处理并被播放，并且其内容可以被确认。

注意，在原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2是经过数据压缩的运动图像数据的情况下，显影参数Pm被提供给图像处理单元203，但是已经历数据压缩的原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2被提供给压缩/解压缩处理单元201。

随后，这种运动图像数据在压缩/解压缩处理单元201处经过解压缩处理，从而将这种运动图像数据恢复为数据压缩之前的原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2，并且恢复之后的原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2被提供给图像处理单元203。

从而，同样对于原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2，根据本实施例的图像处理设备对这种运动图像数据进行解压缩处理并随后进行显影处理，从而可以适当地播放这种运动图像数据。

接下来，将描述记录在介质驱动器211上安装的记录介质109中的普通运动图像数据S3被播放的情况。在通过操作单元208指示重放记录在介质驱动器211上安装的记录介质109中的普通运动图像数据S3时，控制单元230控制介质驱动器211读出目标普通运动图像数据，并将其提供给压缩/解压缩处理单元201。如上所述，这是因为普通运动图像数据已经经过数据压缩并被记录在记录介质109中。

压缩/解压缩处理单元201对提供给其的普通运动图像数据进行解压缩处理，以恢复数据压缩之前的用于显示的图像数据，并将其提供给显示控制器205。如上所述，显示控制器205根据提供给其的用于显示的图像数据形成具有要提供给显示单元206的格式的运动图像信号，并将其提供给显示单元206。从而，与从记录介质109读出的普通运动图像数据相对应的运动图像被显示在显示单元206的显示设备的显示屏上。

另外，记录在介质驱动器211上安装的记录介质109中的略缩图普通运动图像数据Sn3的重放可以以与上述普通运动图像数据S3的情况相同的方式来执行。也就是说，在通过操作单元208指示重放记录在介质驱动器211上安装的记录介质109中的略缩图普通运动图像数据Sn3时，控制单元230控制介质驱动器211读出目标略缩图普通运动图像数据。

在略缩图普通运动图像数据Sn3是经过数据压缩的运动图像数据的情况下，控制单元230将略缩图普通运动图像数据Sn3提供给压缩/解压缩处理单元201，并将已经过解压缩处理并被恢复的数据压缩之前的用于显示的最初略缩图运动图像数据提供给显示控制器205。另外，在略缩图普通运动图像数据Sn3是未经过数据压缩的运动图像数据的情况下，即，在用于显示的略缩图运动图像数据的情况下，控制单元230将其原样提供给显示控制器205。

随后，显示控制器205根据提供给其的用于显示的略缩图运动图像数据形成具有要提供给显示单元206的格式的略缩图运动图像信号，并将其提供给显示单元206。从而，与从记录介质109读出的略缩图普通运动图像数据Sn3相对应的略缩图运动图像被显示在显示单元206的显示设备的显示屏上。

从而，响应于提供在照相机系统100处通过拍摄获得的原始运动图像数据S1、中间显影运动图像数据S2、普通运动图像数据S3、略缩图原始运动图像数据Sn1、略缩图中间显影运动图像数据Sn2和略缩图普通运动图像数据Sn3，根据本实施例的图像处理设备200对原始运动图像数据S1、中间显影运动图像数据S2、略缩图原始运动图像数据Sn1和略缩图中间显影运动图像数据Sn2进行显影处理，从而可以播放并使用这种运动图像数据。

从而，根据本实施例的图像处理设备200可以适当地对由照相机系统100记录在记录介质109中的原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2和略缩图中间显影运动图像数据Sn2中的任何一项进行显影处理，从而可以播放这种运动图像数据。另外，根据本实施例的图像处理设备200还可以播放普通运动图像数据S3和略缩图普通运动图像数据Sn3。

另外，这里的描述是针对播放记录在记录介质109中的运动图像数据的情况作为示例，但是本发明并不限于此，也可以以与在从记录介质109重放时的处理相同的方式来处理并播放从外部设备(例如通过外部接口212和外部输入/输出端子213连接的照相机系统)提供的原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2、略缩图中间显影运动图像数据Sn2、普通运动图像数据S3和略缩图普通运动图像数据Sn3。

另外，也可以以与在从记录介质109重放时的处理相同的方式来处理并播放通过通信接口214和发送/接收天线215从外部设备接收的原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2、略缩图中间显影运动图像数据Sn2、普通运动图像数据S3和略缩图普通运动图像数据Sn3。

另外，检测处理单元202还包括略缩图原始运动图像生成单元221、略缩图中间显影运动图像生成单元222和略缩图普通运动图像生成单元223，因此可以进行这样的布置，其中响应于仅提供原始运动图像数据S1，图像处理设备200对其进行检测处理、显影处理、分辨率转换处理、略缩图原始运动图像生成处理、略缩图中间显影运动图像生成处理和略缩图普通运动图像生成处理，以生成原始运动图像数据S1、略缩图原始运动图像数据Sn1、中间显影运动图像数据S2、略缩图中间显影运动图像数据Sn2、普通运动图像数据S3和略缩图普通运动图像数据Sn3，并将其记录在HDD 207的硬盘中，从而用户可以使用这些数据。

实施例的优点等

如参考图4所描述的，对于根据上述实施例的照相机系统100，显影参数需要以适应性方式被添加到不连续帧，而不用将显影参数添加到所有帧，从而要记录的显影参数的数据量可以尽可能地减少。

另外，原始运动图像数据自身可以经过数据压缩，从而还可以减少原始运动图像数据的数据量。

另外，略缩图原始运动图像数据和略缩图中间显影运动图像被生成和记录，或者略缩图运动图像数据和略缩图中间显影运动图像在显影装置处被生成，从而实现了高速显影，并且因此，可以明显减少用户的负担。

另外，执行调整以根据检测值和显影参数的变化生成适应性显影参数，从而减少了显影参数的容量，另外，与由用户添加的用于调整显影参数的关键帧相结合地执行了显影参数的插值处理，从而可以简单地以直观方式执行适当的显影调整。

另外，如上所述，中间显影运动图像数据和略缩图中间显影运动图像数据可以由照相机系统(成像装置)生成并记录在记录介质中，但是也可以在显影装置再次保存读取的原始运动图像文件时生成。

另外，对于根据上述实施例的照相机系统100，可以进行这样的布置，其中在原始运动图像数据中，显影参数按照某一间隔被添加到预定的不连续帧，并且还被添加到图像、显影参数或检测数据剧烈改变的变化点，但是本发明并不限于此。

可以进行这样的布置，其中显影参数按照某一间隔仅仅被添加到预定的不连续帧，或者仅仅被添加到图像、显影参数或检测数据剧烈改变的变化点。在后一种情况下，需要通过监视原始运动图像数据、来自检测处理单元402的检测数据、以及来自检测处理单元402的显影参数中的至少一个来检测图像变化点，并将显影参数添加到所检测的变化点的帧。

但是注意，场景变化点可以通过分析原始运动图像数据来检测，并且图像质量极大改变的变化点可以通过分析检测数据和显影参数来检测，因此它们被以组合方式使用，从而可以适当地检测图像变化点，并且还可以适当地确定显影参数要被添加到的帧。

结论

从上述实施例可以理解，可以实现能够保存原始运动图像数据(原始最初信号)、中间显影运动图像数据、略缩图原始运动图像数据、略缩图中间显影运动图像数据、普通运动图像数据(经显影运动图像信号)、略缩图普通运动图像数据(经显影运动图像略缩图信号)、以及用于显影这些数据所必需的参数组中的全部或任何组合的运动图像原始格式，并且可以实现用于实现这些数据的显影装置以及用于输出这些数据的成像装置。

另外，可以实现其中多个像素在时间轴方向上连续形成的原始运动图像数据(即，运动图像原始数据)经过无损压缩或有损压缩以形成经压缩的运动图像原始数据，并且可以实现保存单个或多个经压缩的运动图像原始数据的运动图像原始数据格式、用于显影该格式的显影装置、以及用于输出该格式的成像装置。这里提到的术语“单个或多个”指不同的原始运动图像数据(例如，在孩子的运动会时拍摄的原始运动图像数据、在休假时拍摄的原始运动图像数据等)和多个不同的原始运动图像数据。

另外，对于一系列原始运动图像数据，可以实现能够记录确定显影参数被添加到的一个帧或帧组的信息的运动图像原始格式、用于显影该格式的显影装置、以及用于输出该格式的成像装置。

另外，如上所述，对于保存来自成像器件的原始运动图像数据(原始运动图像信号)的原始运动图像格式，可以实现能够保存不是关于所有帧而是以适应性方式关于某一间隔、场景切换、场景变化点、检测结果变化点等的显影参数组的运动图像原始格式、用于执行该处理的电路和模块、用于显影该格式的显影装置、以及用于输出该格式的成像装置。

另外，对于保存来自成像器件的原始运动图像数据的原始运动图像格式，可以实现不同时记录所有显影参数而是根据显影参数的改变频率在不同定时记录显影参数的运动图像原始格式、用于显影该格式的显影装置、以及用于输出该格式的成像装置。

另外，可以实现能够同时记录对同一帧的多个显影参数集的运动图像原始格式、用于显影该格式的显影装置、以及用于输出该格式的成像装置。

另外，可以实现能够以原始运动图像数据形式读取并且输出修改后的文件的显影装置。

另外，可以实现用于适当地对以适应性方式记录的显影参数进行插值并利用这些参数执行显影的显影装置。

另外，可以实现用于通过在帧之间对其关键帧由用户指定的显影参数(除了与原始运动图像数据一同记录在记录介质中的显影参数以外)进行插值来在沿时间轴方向平滑地改变显影参数的同时执行显影的运动图像原始显影装置和能够记录其信息的原始运动图像格式。

其他

注意，根据上述实施例的照相机系统100是由公共用户携带并使用的所谓的数字摄像机，但是本发明并不限于此。利用监视照相机的运动图像传输可以例示为上述原始运动图像数据(原始运动图像格式)的一个使用示例。

目前，监视照相机根据数据发送频带限制来发送显影结果的数据。但是，用于执行显影的机构是昂贵的，这并不一定需要被包括在照相机中。如果数据传输速度允许，则发送原始运动图像数据，在发送目的地处例如通过采用如图20所示的图像处理设备来在必要情况下执行显影。从而，显影机构可以从监视照相机中省略，从而可以实现成本的极大减少。

另外，即使在通过网络执行传输的情况下，格式也总是存在的，并且有必要定义该格式。因此，采用针对上述实施例的照相机系统100所描述的原始运动图像格式使得能够高效地通过网络进行原始运动图像数据的交换。

本领域技术人员应当理解，根据设计需求和其他因素可以有各种修改、组合、子组合和变更，只要它们在权利要求或其等同物的范围内。

本发明包含与2007年8月27日向日本专利局递交的日本专利申请JP2007-219980有关的主题，该申请的全部内容通过引用结合于此。

Claims (43)

1.一种图像处理设备，包括：

参数生成装置，被配置为接收所提供的作为未显影状态下的运动图像数据的原始运动图像数据，并生成关于所述原始运动图像数据的目标帧的显影参数；以及

记录控制装置，被配置为执行控制以便将所提供的原始运动图像数据和由所述参数生成装置生成的所述显影参数以彼此相关的方式记录在预定记录介质中。

2.如权利要求1所述的图像处理设备，其中所述参数生成装置被配置为能够生成关于所述原始运动图像数据的具有预定间隔的不连续帧的显影参数。

3.如权利要求1所述的图像处理设备，其中所述参数生成装置包括：

检测数据生成单元，被配置为以帧为增量对所提供的原始运动图像数据进行检测处理来生成检测数据，所述检测数据是用于对所述原始运动图像数据进行图像处理的评估值，

显影参数生成单元，被配置为基于来自所述检测数据生成单元的所述检测数据，以帧为增量生成关于所述原始运动图像数据的显影参数，以及

变化点参数生成单元，被配置为分析所提供的原始运动图像数据、来自所述检测数据生成单元的所述检测数据、以及来自所述显影参数生成单元的所述显影参数中的至少一个，并根据所述原始运动图像数据生成在运动图像变化点处的显影参数。

4.如权利要求2或权利要求3所述的图像处理设备，其中所述参数生成装置根据所述显影参数是具有高改变频率还是具有低改变频率，来改变所述显影参数的生成频率或输出频率。

5.如权利要求2或权利要求3所述的图像处理设备，其中所述参数生成装置关于所述原始运动图像数据的一帧可以生成多个显影参数。

6.如权利要求1所述的图像处理设备，还包括以下装置中的至少一个：

第一略缩图生成装置，被配置为根据所述原始运动图像数据生成作为缩减图像数据的略缩图原始运动图像数据；

中间显影运动图像数据生成装置，被配置为对所述原始运动图像数据进行直到预定阶段的显影处理以生成中间显影运动图像数据；

第二略缩图生成装置，被配置为根据由所述中间显影运动图像数据生成装置生成的所述中间显影运动图像数据，生成作为缩减图像数据的略缩图中间显影运动图像数据；

普通运动图像数据生成装置，被配置为对所述原始运动图像数据进行显影以生成经显影的普通运动图像数据；以及

第三略缩图生成装置，被配置为根据由所述普通运动图像数据生成装置生成的所述普通运动图像数据，生成作为缩减图像数据的略缩图普通运动图像数据；

其中所述记录控制装置执行控制以便除了记录所述原始运动图像数据和所述显影参数以外，还将由所述第一略缩图生成装置、所述中间显影运动图像数据生成装置、所述第二略缩图生成装置、所述普通运动图像数据生成装置和所述第三略缩图生成装置中的被提供的生成装置所生成的运动图像数据记录在所述预定记录介质中。

7.如权利要求1所述的图像处理设备，还包括：

压缩处理装置，被配置为对所提供的原始运动图像数据进行数据压缩处理；

其中所述记录控制装置将由所述压缩处理装置进行了数据压缩的所述原始运动图像数据记录在所述预定记录介质中。

8.如权利要求1所述的图像处理设备，其中所述记录控制装置将所述显影参数记录在所述预定记录介质中，其中确定所述显影参数要被应用的所述原始运动图像数据的一个帧或帧组的信息被布置为添加到所述显影参数。

9.如权利要求1所述的图像处理设备，还包括：

读取装置，被配置为从所述预定记录介质读出所述原始运动图像数据和所述显影参数；

显影处理装置，被配置为利用由所述读取装置读出的所述显影参数来对由所述读取装置读出的所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理；以及

输出装置，被配置为输出经所述显影处理装置处理的中间显影运动图像数据或普通显影运动图像数据。

10.如权利要求2或权利要求3所述的图像处理设备，还包括：

读取装置，被配置为从所述预定记录介质读出所述原始运动图像数据和所述显影参数；

插值处理装置，被配置为基于由所述读取装置读出的所述显影参数生成欠缺的显影参数；

显影处理装置，被配置为利用由所述插值处理装置插值并调整的显影参数，来对由所述读取装置读出的所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理；以及

输出装置，被配置为输出经所述显影处理装置处理的中间显影运动图像数据或普通显影运动图像数据。

11.如权利要求2或权利要求3所述的图像处理设备，还包括：

读取装置，被配置为从所述预定记录介质读出所述原始运动图像数据和所述显影参数；

参数编辑装置，被配置为响应于来自用户的对显影参数的添加、删除和修改指令的输入，而对由所述读取装置读出的所述显影参数进行编辑；

插值处理装置，被配置为基于由所述参数编辑装置编辑的所述显影参数生成欠缺的显影参数；

显影处理装置，被配置为利用由所述插值处理装置插值并调整的显影参数，来对由所述读取装置读出的所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理；以及

输出装置，被配置为输出经所述显影处理装置处理的中间显影运动图像数据或普通显影运动图像数据。

12.如权利要求1所述的图像处理设备，被配置为成像装置，还包括：

成像器件，被配置为捕获对象的运动图像，并输出原始运动图像数据，该原始运动图像数据是与其相对应的未显影状态下的运动图像数据。

13.一种显影装置，用于接收所提供的作为未显影状态下的运动图像数据的原始运动图像数据，以及关于所述原始运动图像数据生成的显影参数，以执行显影处理，该显影装置包括：

显影处理装置，被配置为利用所述显影参数来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理；以及

输出装置，被配置为输出经所述显影处理装置处理的中间显影运动图像数据或普通显影运动图像数据。

14.如权利要求13所述的显影装置，其中所述显影参数是要添加到所述原始运动图像数据的具有预定间隔的不连续帧的显影参数，或者针对根据所述原始运动图像数据的每个运动图像变化点的显影参数，该显影装置还包括：

插值处理装置，被配置为基于所述显影参数生成欠缺的显影参数；

其中，所述显影处理装置利用所述插值处理装置插值处理的所述显影参数，来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理。

15.如权利要求13所述的显影装置，其中所述显影参数是要添加到所述原始运动图像数据的具有预定间隔的不连续帧的显影参数，或者针对根据所述原始运动图像数据的每个运动图像变化点的显影参数，该显影装置还包括：

参数编辑装置，被配置为响应于来自用户的对显影参数的添加、删除和修改指令的输入而对所述显影参数进行编辑；以及

插值处理装置，被配置为基于由所述参数编辑装置编辑的所述显影参数生成欠缺的显影参数；

其中，所述显影处理装置利用所述插值处理装置插值处理的所述显影参数，来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理。

16.一种图像处理设备所采用的图像处理方法，所述图像处理设备用于将图像数据记录在预定记录介质中，所述图像处理设备执行以下步骤：

参数生成步骤，响应于所提供的作为未显影状态下的运动图像数据的原始运动图像数据，生成关于所述原始运动图像数据的显影参数；以及

记录控制步骤，执行控制以便将所提供的原始运动图像数据和在所述参数生成步骤中生成的所述显影参数以彼此相关的方式记录在预定记录介质中。

17.如权利要求16所述的图像处理方法，其中在所述参数生成步骤中，显影参数是关于所述原始运动图像数据的具有预定间隔的不连续帧生成的。

18.如权利要求16所述的图像处理方法，其中所述参数生成步骤执行以下步骤：

检测数据生成步骤，以帧为增量对所提供的原始运动图像数据进行检测处理来生成检测数据，所述检测数据是用于对所述原始运动图像数据进行图像处理的评估值；

显影参数生成步骤，基于在所述检测数据生成步骤中生成的所述检测数据，以帧为增量生成关于所述原始运动图像数据的显影参数，以及

分析所提供的原始运动图像数据、在所述检测数据生成步骤中生成的所述检测数据、以及在所述显影参数生成步骤中生成的所述显影参数中的至少一个，来根据所述原始运动图像数据生成在运动图像变化点处的显影参数。

19.如权利要求17或权利要求18所述的图像处理方法，其中，在所述参数生成步骤中，根据所述显影参数是具有高改变频率还是具有低改变频率，来改变所述显影参数的生成频率或输出频率，从而改变对所述记录介质的记录频率。

20.如权利要求17或权利要求18所述的图像处理方法，其中，在所述参数生成步骤中，关于所述原始运动图像数据的一帧可以生成多个显影参数。

21.如权利要求16所述的图像处理方法，还包括以下步骤中的至少一个步骤：

第一略缩图生成步骤，根据所述原始运动图像数据生成作为缩减图像数据的略缩图原始运动图像数据；

中间显影运动图像数据生成步骤，对所述原始运动图像数据进行直到预定阶段的显影处理以生成中间显影运动图像数据；

第二略缩图生成步骤，根据在所述中间显影运动图像数据生成步骤中生成的所述中间显影运动图像数据，生成作为缩减图像数据的略缩图中间显影运动图像数据；

普通运动图像数据生成步骤，对所述原始运动图像数据进行显影以生成经显影的普通运动图像数据；以及

第三略缩图生成步骤，根据在所述普通运动图像数据生成步骤中生成的所述普通运动图像数据，生成作为缩减图像数据的略缩图普通运动图像数据；

其中，在所述记录控制步骤中，执行控制以便除了记录所述原始运动图像数据和所述显影参数以外，还将在所述第一略缩图生成步骤、所述中间显影运动图像数据生成步骤、所述第二略缩图生成步骤、所述普通运动图像数据生成步骤和所述第三略缩图生成步骤中的被提供的生成步骤中生成的运动图像数据记录在所述预定记录介质中。

22.一种显影装置所采用的显影方法，所述显影装置用于响应于所提供的作为未显影状态下的运动图像数据的原始运动图像数据，以及关于所述原始运动图像数据生成的显影参数，而执行显影处理，其中所述显影装置执行以下步骤：

显影处理步骤，利用所述显影参数来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理；以及

输出在所述显影处理步骤中处理的中间显影运动图像数据或普通显影运动图像数据。

23.如权利要求22所述的显影方法，其中所述显影参数是要添加到所述原始运动图像数据的具有预定间隔的不连续帧的显影参数，或者针对根据所述原始运动图像数据的每个运动图像变化点的显影参数；

并且其中，所述显影装置执行以下步骤：

插值处理步骤，基于所述显影参数生成欠缺的显影参数；

其中，在所述显影处理步骤中，利用在所述插值处理步骤中插值处理的所述显影参数，来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理。

24.如权利要求22所述的显影方法，其中所述显影参数是要添加到所述原始运动图像数据中具有预定间隔的不连续帧的显影参数，或者针对根据所述原始运动图像数据的每个运动图像变化点的显影参数，该显影方法还包括以下步骤：

参数编辑步骤，响应于来自用户的对显影参数的添加、删除和修改指令的输入而对所述显影参数进行编辑；以及

插值处理步骤，基于在所述参数编辑步骤中编辑的所述显影参数生成欠缺的显影参数；

其中，在所述显影处理步骤中，利用在所述插值处理步骤中插值处理的所述显影参数，来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理。

25.一种在图像处理设备中实现的计算机处执行的图像处理程序，所述图像处理设备用于将图像数据记录在预定记录介质中，所述图像处理设备的所述计算机执行以下步骤：

参数生成步骤，响应于所提供的作为未显影状态下的运动图像数据的原始运动图像数据，生成关于所述原始运动图像数据的显影参数；以及

记录控制步骤，执行控制，以便将所提供的原始运动图像数据和在所述参数生成步骤中生成的所述显影参数以彼此相关的方式记录在预定记录介质中。

26.如权利要求25所述的图像处理程序，其中，在所述参数生成步骤中，显影参数是关于所述原始运动图像数据的具有预定间隔的不连续帧生成的。

27.如权利要求25所述的图像处理程序，其中所述参数生成步骤执行以下步骤：

检测数据生成步骤，以帧为增量对所提供的原始运动图像数据进行检测处理来生成检测数据，所述检测数据是用于对所述原始运动图像数据进行图像处理的评估值；

显影参数生成步骤，基于在所述检测数据生成步骤中生成的所述检测数据，以帧为增量生成关于所述原始运动图像数据的显影参数，以及

分析所提供的原始运动图像数据、在所述检测数据生成步骤中生成的所述检测数据、以及在所述显影参数生成步骤中生成的所述显影参数中的至少一个，来根据所述原始运动图像数据生成在运动图像变化点处的显影参数。

28.如权利要求26或权利要求27所述的图像处理程序，其中，在所述参数生成步骤中，根据所述显影参数是具有高改变频率还是具有低改变频率，来改变所述显影参数的生成频率或输出频率，从而改变对所述记录介质的记录频率。

29.如权利要求26或权利要求27所述的图像处理程序，其中，在所述参数生成步骤中，关于所述原始运动图像数据的一帧可以生成多个显影参数。

30.如权利要求25所述的图像处理程序，还包括以下步骤中的至少一个步骤：

第一略缩图生成步骤，根据所述原始运动图像数据生成作为缩减图像数据的略缩图原始运动图像数据；

中间显影运动图像数据生成步骤，对所述原始运动图像数据进行直到预定阶段的显影处理以生成中间显影运动图像数据；

第二略缩图生成步骤，根据在所述中间显影运动图像数据生成步骤中生成的所述中间显影运动图像数据，生成作为缩减图像数据的略缩图中间显影运动图像数据；

普通运动图像数据生成步骤，对所述原始运动图像数据进行显影以生成经显影的普通运动图像数据；以及

第三略缩图生成步骤，根据在所述普通运动图像数据生成步骤中生成的所述普通运动图像数据，生成作为缩减图像数据的略缩图普通运动图像数据；

其中，在所述记录控制步骤中，执行控制，以便除了记录所述原始运动图像数据和所述显影参数以外，还将在所述第一略缩图生成步骤、所述中间显影运动图像数据生成步骤、所述第二略缩图生成步骤、所述普通运动图像数据生成步骤和所述第三略缩图生成步骤中的被提供的生成步骤生成的运动图像数据记录在所述预定记录介质中。

31.一种在显影装置中实现的计算机处执行的显影程序，所述显影装置用于响应于所提供的作为未显影状态下的运动图像数据的原始运动图像数据，以及关于所述原始运动图像数据生成的显影参数，执行显影处理，其中所述显影装置的所述计算机执行以下步骤：

显影处理步骤，利用所述显影参数来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理；以及

输出步骤，输出在所述显影处理步骤中处理的中间显影运动图像数据或普通显影运动图像数据。

32.如权利要求31所述的显影程序，其中所述显影参数是要添加到所述原始运动图像数据中具有预定间隔的不连续帧的显影参数，或者针对根据所述原始运动图像数据的每个运动图像变化点的显影参数；

并且其中，所述显影装置执行以下步骤：

插值处理步骤，基于所述显影参数生成欠缺的显影参数；

其中，在所述显影处理步骤中，利用在所述插值处理步骤中插值处理的所述显影参数，来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理。

33.如权利要求31所述的显影程序，其中所述显影参数是要添加到所述原始运动图像数据中具有预定间隔的不连续帧的显影参数，或者针对根据所述原始运动图像数据的每个运动图像变化点的显影参数，该显影方法还包括以下步骤：

参数编辑步骤，响应于来自用户的对显影参数的添加、删除和修改指令的输入而对所述显影参数进行编辑；以及

插值处理步骤，基于在所述参数编辑步骤中编辑的所述显影参数生成欠缺的显影参数；

其中，在所述显影处理步骤中，利用在所述插值处理步骤中插值处理的所述显影参数，来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理。

34.一种原始运动图像格式，其中作为未显影状态下的运动图像数据的原始运动图像数据被与关于所述原始运动图像数据的显影参数彼此相关，所述显影参数被在用于在对所述原始运动图像数据进行显影处理的情况下执行显影的装置所采用，所述显影参数是基于所述原始运动图像数据生成的。

35.如权利要求34所述的原始运动图像格式，其中所述显影参数是关于具有预定间隔的不连续帧提供的。

36.如权利要求34所述的原始运动图像格式，其中所述显影参数是关于根据所述原始运动图像数据的运动图像变化点提供的。

37.如权利要求35或权利要求36所述的原始运动图像格式，根据所述显影参数是具有高改变频率还是具有低改变频率，所述显影参数的添加频率被改变。

38.如权利要求35或权利要求36所述的原始运动图像格式，至少一个所述显影参数被添加到一帧所述原始运动图像数据。

39.如权利要求34所述的原始运动图像格式，其中所述原始运动图像数据和所述显影参数与下述数据中的至少一个运动图像数据相关：作为所述原始运动图像数据的缩减图像数据的略缩图原始运动图像数据、通过对所述原始运动图像数据进行直到预定阶段的显影处理而生成的中间显影运动图像数据、作为所述中间显影运动图像数据的缩减图像数据的略缩图中间显影运动图像数据、作为所述原始运动图像数据的经显影运动图像数据的普通运动图像数据、以及作为所述普通运动图像数据的缩减图像数据的略缩图普通运动图像数据。

40.如权利要求34所述的原始运动图像格式，其中所述原始运动图像数据是经过数据压缩的。

41.如权利要求34所述的原始运动图像格式，其中，确定所述显影参数要被应用到的所述原始运动图像数据的一个帧或帧组的信息被添加到所述显影参数。

42.一种图像处理设备，包括：

参数生成单元，被配置为接收所提供的作为未显影状态下的运动图像数据的原始运动图像数据，并生成关于所述原始运动图像数据的目标帧的显影参数；以及

记录控制单元，被配置为执行控制，以便将所提供的原始运动图像数据和由所述参数生成单元生成的所述显影参数以彼此相关的方式记录在预定记录介质中。

43.一种显影装置，用于接收所提供的作为未显影状态下的运动图像数据的原始运动图像数据，以及关于所述原始运动图像数据生成的显影参数，以执行显影处理，该显影装置包括：

显影处理单元，被配置为利用所述显影参数来对所述原始运动图像数据进行直到预定阶段或最终阶段的显影处理；以及

输出单元，被配置为输出经所述显影处理单元处理的中间显影运动图像数据或普通显影运动图像数据。

Images