CN112752019B - 图像拾取装置、图像处理装置和存储介质 - Google Patents

Abstract

本发明公开了图像拾取装置、图像处理装置和存储介质。图像拾取装置包括：图像拾取单元；记录单元，其被配置为记录由所述图像拾取单元拾取并获取的原始运动图像；以及计算单元，用于计算原始运动图像的图像处理参数，其中，计算单元被配置为计算基于原始运动图像的摄像设置计算的第一参数和基于第一参数计算的第二参数，作为原始运动图像的图像处理参数，记录单元被配置为与原始运动图像一起记录第一参数和第二参数。

Description

图像拾取装置、图像处理装置和存储介质

技术领域

本发明涉及一种图像拾取装置、图像处理装置和存储介质，尤其涉及一种拍摄原始运动图像的图像拾取装置和处理原始运动图像的图像处理装置。

背景技术

已知记录称为原始运动图像的运动图像的原始运动图像拾取装置以及再现和编辑拍摄的原始运动图像的原始运动图像再现装置。原始运动图像是从互补金属氧化物半导体(CMOS)传感器等接收到的光获得的数据，并且是通过将尚未经过图像处理的称为原始数据的数据记录为每个帧的数据而获得的运动图像。与预先经过图像处理的诸如运动图像专家组(MPEG，Moving Picture Experts Group)数据的运动图像数据不同，在再现或编辑时对原始运动图像的每个帧执行图像处理，能够以较少的退化进行编辑，或者使图像处理适于再现输出，从而能够获取高图像质量的数据。同时，由于原始运动图像需要在再现时对每个帧执行图像处理，所以设置图像处理的负载和图像处理的负载很重。此外，由于原始运动图像由高图像质量的数据组成，因此其文件大小较大。

作为针对运动图像的图像处理，减少帧之间的改变(例如，亮度)的处理是众所周知的。在原始运动图像中，可以确定针对每帧的最佳图像处理参数。在拍摄运动图像期间图像拍摄场景突然改变并且最佳图像处理参数也突然改变的情况下，如果在帧间有显著改变的情况下再现运动图像，则可能以不自然的方式显示运动图像，例如闪烁。在这方面，在帧间的图像处理参数的改变量过大的情况下，应用通过重新计算改变量而获得的图像处理参数以使改变更柔和，能够提供防止突然改变的显示。日本特开2018-152699提出，在合并运动图像时运动图像在其合成部分具有剧烈改变的情况下，生成用于平缓改变的参数，应用该参数，然后合成运动图像。

发明内容

在再现由运动图像拾取装置拍摄的原始运动图像时，可以使用通过改变量减少处理获得的图像处理参数对原始运动图像的每个帧执行图像处理。然而，在再现原始运动图像时，处理负载很重，并且计算图像处理参数进一步增加处理负载，从而降低响应度。在从原始运动图像的中间开始再现的情况下，如果在开始再现的中间帧和后续帧上执行改变量减少处理，在从中间再现原始运动图像和从开始再现原始运动图像之间，图像处理参数可以不同。因此，存在如下问题：即使在从原始运动图像的中间开始再现的情况下，也必须通过改变量减少处理从初始帧计算图像处理参数，因此，增加的处理负载进一步降低了响应度。另外，在通过改变量减少处理计算出的图像处理参数和未经过改变量减少处理的图像处理参数之间，根据原始运动图像的再现或提取的类型，必要的图像处理参数是不同的。

针对上述问题，本发明提供了一种运动图像拾取装置和图像处理装置，在不损失响应性和方便性的情况下，可以应用图像处理参数。

为了解决上述问题，根据本发明的一个方面，提供了一种图像拾取装置，包括图像拾取单元；记录单元，其被配置为记录由所述图像拾取单元拾取并获取的原始运动图像；以及计算单元，用于计算原始运动图像的图像处理参数，其中，计算单元被配置为计算基于原始运动图像的摄像设置计算的第一参数和基于第一参数，计算的第二参数作为原始运动图像的图像处理参数，记录单元被配置为与原始运动图像一起记录第一参数和第二参数。

根据本发明的另一个方面，提供了一种图像处理装置，包括：获取单元，其被配置为获取原始运动图像，以及所述原始运动图像的图像处理参数，所述图像处理参数包括基于所述原始运动图像的图像拍摄设置而计算出的第一参数和基于所述第一参数而计算出的第二参数；控制单元，被配置为选择第一参数或第二参数；以及处理单元，被配置为使用由控制单元在第一参数和第二参数之间选择的参数来对原始运动图像进行处理。

根据本发明的又一个方面，提供了一种计算机可读存储介质，其存储有用于使计算机执行图像处理装置的控制方法的程序，所述控制方法包括：获取原始运动图像，以及该原始运动图像的图像处理参数，所述图像处理参数包括基于所述原始运动图像的摄像设置计算出的第一参数以及基于所述第一参数计算出的第二参数；执行控制以选择第一参数或第二参数；以及使用通过执行第一参数和第二参数之间的控制而选择的参数来对原始运动图像执行处理

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明的示例性实施例的图像处理系统的框图。

图2是示出在运动图像拾取装置中计算理想校正量的处理的流程图。

图3是示出运动图像拾取装置中计算运动图像校正量的处理的流程图。

图4是示出运动图像拾取装置中的记录处理的流程图。

图5是示出图像处理装置中的再现处理的流程图。

图6是示出图像处理装置中的提取处理的流程图。

图7示出了计算运动图像校正量的结果的示例。

具体实施方式

下文将参考附图详细描述本发明的示例性实施例。图1是示出根据本发明示例性实施例的整个图像处理系统的框图。

下文将描述本发明的示例性示例性实施例。

图1是示出根据本发明示例性实施例的整个图像处理系统的框图。图像处理系统包括运动图像拾取装置100和运动图像再现装置200。运动图像拾取装置100包括校正量计算单元101、改变量减少处理单元102、记录单元103、输出单元104、控制单元105、图像拾取单元106和操作单元107。

控制单元105是控制整个运动图像拾取装置100的控制单元，并且包括一个或多个处理器。控制单元105从程序存储器(未示出)读取程序，并且基于该程序执行每个单元的控制和各种类型的算术处理。图像拾取单元106包括例如拾取图像的图像拾取元件。操作单元107包括接受来自用户的操作的按钮和触摸面板。控制单元105被通知输入到操作单元107的用户操作，并且执行控制以执行与输入到操作单元107的输入相对应的处理。记录单元103将各种类型的数据记录在例如存储卡的存储介质(未示出)中。输出单元104以有线或无线的方式将由记录单元103记录在存储介质中的数据或由图像拾取单元106拍摄的图像数据输出到外部装置。记录单元103在其中记录数据的存储介质可以是内置在运动图像拾取装置100中的存储介质，而不是存储卡。

在运动图像拾取装置100中，控制单元105响应于用户向操作单元107输入了用于开始原始运动图像的拍摄的指令而开始原始运动图像拍摄处理。在原始运动图像拍摄处理中，图像处理单元(未示出)对由图像拾取单元106拾取并获取的原始运动图像执行压缩处理，并且记录单元103将原始运动图像作为原始运动图像文件记录在存储介质中。对由图像拾取单元106拾取的原始运动图像执行原始运动图像拍摄处理，直到用于结束对原始运动图像的拍摄的指令被输入到操作单元107。换句话说，在原始运动图像拍摄处理中，图像拾取单元106从用于开始原始运动图像的拍摄的指令的输入直到用于结束原始运动图像的拍摄的指令的输入期间拍摄的原始运动图像作为一个原始运动图像文件记录在存储介质中。

在根据本实施例的运动图像拾取装置100的原始运动图像拍摄处理中，记录单元103与原始运动图像一起记录在再现存储介质中的原始图像时要在图像处理中使用的图像处理参数。因此，根据本实施例的运动图像拾取装置100还包括计算图像处理参数的校正量计算单元101和改变量减少处理单元102。除了控制单元105之外，代替提供校正量计算单元101和改变量减少处理单元102，控制单元105还可以具有校正量计算单元101和改变量减少处理单元102的功能。

校正量计算单元101为原始运动图像的每个帧计算理想校正量。改变量减少处理单元102使用校正量计算单元101计算出的理想校正量来计算运动图像校正量，以使帧之间的改变量平缓。这里，理想校正量是针对原始运动图像的帧的最佳校正量。运动图像校正量是适合于再现其中减少了帧之间的突变的运动图像的校正量。针对原始运动图像的每个帧计算的理想校正量和运动图像校正量被存储在原始运动图像文件中，作为关于原始运动图像的每个帧的信息，并由记录单元103记录在存储介质中。下文将详细描述由校正量计算单元101执行的理想校正量的计算和由改变量减少处理单元102执行的运动图像校正量的计算处理。

尽管在以上描述中将图像处理参数(理想校正量和运动图像校正量)记录在原始运动图像文件中，但是图像处理参数可以记录在与原始运动图像文件不同的文件中。在这种情况下，期望记录表示原始运动图像文件和图像处理参数的文件之间的对应关系的关联信息，并且在读取原始运动图像文件的情况下，与图像处理参数一起读取原始运动图像文件。

运动图像再现装置200包括输入单元201、校正量选择单元202、再现输出单元203、控制单元204、存储单元205、图像处理单元206和操作单元207。

输入单元201以有线或无线方式与外部装置通信，并从该外部装置获取数据。控制单元204是控制整个运动图像再现装置200的控制单元，并且包括一个或多个处理器。控制单元204从程序存储器(未示出)读取程序，并基于该程序执行每个单元的控制和各种类型的算术处理。存储单元205是存储经由输入单元201从外部装置获取的数据的存储单元。图像处理单元206对存储在存储单元205中的图像数据(原始运动图像)执行各种类型的图像处理。图像处理单元206执行的处理包括原始运动图像的展开处理和图像校正处理。操作单元207是接受用户的操作的操作单元，并且经由按钮、键盘、触摸面板和鼠标接受用户的操作。控制单元204被通知输入到操作单元207的用户操作，并且执行控制以执行与输入到操作单元207的输入相对应的处理。再现输出单元203将原始运动图像输出到显示装置以在显示装置上再现该原始运动图像。

下文将描述运动图像再现装置200执行的基本处理。首先，运动图像再现装置200经由输入单元201获取由运动图像拾取装置100记录的原始运动图像文件，并将该原始运动图像文件存储在存储单元205中。可替代地，运动图像再现装置200可以不通过与运动图像拾取装置100进行通信而是通过从记录有原始运动图像文件的存储介质中读取原始运动图像文件来获取原始运动图像文件，并将原始运动图像文件存储在存储单元205中。如上文所述，这里将每帧的理想校正量和运动图像校正量作为图像处理参数记录在从运动图像拾取装置100获取的原始运动图像文件中。在用户经由操作单元207指示存储在存储单元205中的原始运动图像的再现的情况下，控制单元204从存储单元205读取作为处理目标的原始运动图像文件。图像处理单元206基于包括在作为再现目标的原始运动图像文件中的图像处理参数，对原始运动图像文件中的原始运动图像的每个帧执行图像处理。然后，再现输出单元203再现并输出要在显示装置上显示的、经过由图像处理单元206执行的图像处理的原始运动图像。在原始运动图像的再现时，用户不仅可以指示从原始运动的像的初始帧开始再现，而且还可以指示从用户通过操作单元207的用户操作选择的原始运动图像的任何帧开始再现。用户还可以在运动图像的再现期间指示暂停，或者指示仅再现所选择的帧。

在本示例性实施例中，图像处理参数包括两个参数，即，理想校正量和运动图像校正量。因此，根据本示例性实施例的运动图像再现装置200还包括校正量选择单元202，其基于用户操作或输出模式来确定使用理想校正量或运动图像校正量中的哪个校正量。除了控制单元204，代替提供校正量选择单元202，控制单元204可以具有校正量选择单元202的功能。图像处理单元206使用通过校正量选择单元202所选择的校正量来执行图像处理，再现输出单元203再现并输出经过图像处理的图像。在对原始运动图像执行提取处理的情况下，校正量选择单元202从理想校正量、运动图像校正量和通过重新计算运动图像校正量获得的校正量中选择要使用的校正量。然后，图像处理单元206基于所选择的校正量对图像执行图像处理，存储单元205存储经过图像处理的图像或者存储提取的添加了所选择的校正量的原始图像。

针对每个帧计算的图像处理参数可以包括在图像处理中使用的、在图像拍摄期间改变的各种类型的参数。这样的参数的示例包括用于校正光学像差的边缘亮度校正的校正量。边缘亮度校正指的是旨在通过施加如下特性的逆特性来保持光量均匀的校正，该特性是：由于透镜或传感器的光学因素而使光量从光学中心向周边减少。

随后，将参照图2描述由校正量计算单元101执行的计算理想校正量的处理。图2是示出由校正量计算单元101执行的计算理想校正量的处理的流程图。通过校正量计算单元101从程序存储器(未示出)读取程序并执行该程序来实现计算理想校正量的处理。与原始运动图像拍摄处理并行地执行计算理想校正量的处理，并且相对于由图像拾取单元106拾取并记录在原始运动图像拍摄处理中的原始运动图像的所有帧来执行计算理想校正量的处理。更具体地，针对原始运动图像文件中的原始运动图像的所有帧中的每个帧计算理想校正量。

在步骤S201中，校正量计算单元101选择在原始运动图像拍摄处理中拍摄的初始帧作为处理目标帧。在本示例性实施例中，由于理想校正量是与原始运动图像的拍摄并行地计算的，因此从初始帧开始顺序地计算理想校正量。在步骤S203中，校正量计算单元101获取关于在拍摄处理目标帧(即计算了理想校正量的计算目标帧)时的图像拍摄条件的图像拍摄设置信息。随后，在步骤S204中，校正量计算单元101获取运动图像拾取装置100的图像拍摄参数。然后，在步骤S205中，校正量计算单元101基于在步骤S203中获取图像拍摄设置信息和在步骤S204中获取图像拍摄参数来计算理想校正量，并将计算出的理想校正量确定为处理目标帧的理想校正量。在步骤S206中，在完成了处理目标帧的理想校正量的计算之后，校正量计算单元101针对作为记录目标的原始运动图像的所有帧确定是否已经完成理想校正量的计算。在针对所有帧的理想校正量的计算已经完成的情况下(步骤S206中为“是”)，处理结束。在针对所有帧的理想校正量的计算未完成的情况下(步骤S206中为“否”)，处理进入步骤S202。在步骤S202中，校正量计算单元101将下一帧设置为处理目标帧。然后，处理返回到步骤S203。重复步骤S203至S206的处理，直到针对所有帧的处理完成。由校正量计算单元101针对每个帧计算并设置的理想校正量被临时存储在存储器(未示出)中，并且被用于随后的运动图像校正量的计算和记录单元103记录图像处理参数的处理中。

在理想校正量的计算中，校正量计算单元101获取以下信息。在步骤S203中，在执行用于边缘亮度校正的理想校正量的计算的情况下，校正量计算单元101获取诸如国际标准化组织(ISO)感光度、被摄体距离、焦距的图像拍摄设置信息、以及图像拍摄时的光圈值。在步骤S204中，校正量计算单元101获取与运动图像拾取装置100的光学特性有关的信息，诸如互补金属氧化物半导体(CMOS)传感器的特性以及所使用的透镜的特性。在步骤S205中，校正量计算单元101根据所获取的图像拍摄设置信息和与光学特性有关的信息来计算用于边缘亮度校正的理想校正量。

随后，将参照图3描述由改变量减少处理单元102执行的运动图像校正量的计算的处理。图3是例示由改变量减少处理单元102计算运动图像校正量的处理的流程图。由改变量减少处理单元102执行的计算运动图像校正量的处理是计算相对于理想校正量减少帧之间的改变量、并设置该校正量作为运动图像校正量的校正量的处理。通过改变量减少处理单元102从程序存储器(未示出)读取程序并执行该程序来实现计算运动图像校正量的处理。与原始运动图像拍摄处理并行地执行计算运动图像校正量的处理，并且相对于由图像拾取单元106拾取并在原始运动图像拍摄中记录的原始运动图像的所有帧执行计算运动图像校正量的处理。更具体地，针对原始运动图像文件中的原始运动图像的所有帧中的每个帧计算运动图像校正量。在本示例性实施例中，由于与原始运动图像的拍摄并行地计算理想校正量，因此从初始帧开始顺序地计算运动图像校正量。由于在计算理想图像校正量的处理中计算出的理想校正量被用于计算运动图像校正量的处理中，因此在关于处理目标帧的理想校正量的计算处理完成并且确定理想校正量之后，执行计算运动图像校正量的处理以确定运动图像校正量。

在步骤S301中，改变量减少处理单元102选择在原始运动图像拍摄处理中拍摄的初始帧作为处理目标(计算目标)帧。在初始帧是处理目标帧的情况下，没有在先的帧。因此，在步骤S302中，改变量减少处理单元102从存储器(未示出)读取由校正量计算单元101计算出的初始帧的理想校正量，并设置初始帧(头部帧)的理想校正量作为初始帧的运动图像校正量。改变量减少处理单元102保持此时设置的运动图像校正量，以用于确定下一帧的运动图像校正量。在步骤S303中，当完成初始帧的处理时，改变量减少处理单元102选择下一帧作为处理目标帧。在步骤S304中，对于第二帧或后续帧，改变量减少处理单元102从存储器读取并获取由校正量计算单元101设置给处理目标帧的理想校正量。随后，在步骤S305中，改变量减少处理单元102计算已被保持的前一帧的运动图像校正量与在步骤S304中获取的处理目标帧的理想校正量之间的差，并且确定该差是否为阈值(改变量减少阈值)或以上。更具体地，改变量减少处理单元102将处理目标帧的理想校正量临时设置为处理目标帧的运动图像校正量，并计算处理目标帧和前一帧之间的运动图像校正量之差作为帧之间校正量的差。如果前一帧是头部帧，则将头部帧的理想校正量用作前一帧的运动图像校正量。在其他情况下，将相对于前一帧计算的运动图像校正量用作前一帧的运动图像校正量。由于针对前一帧计算出的运动图像校正量被用于针对下一帧计算出运动图像校正量的处理中，因此改变量减少处理单元102保持所计算出的运动图像校正量，直到针对下一帧的计算运动图像校正量的处理完成。

在改变量减少处理单元102确定帧之间的校正量的差为阈值(改变量减少阈值)或以上(步骤S305中为“是”)的情况下，处理进入步骤S306。在步骤S306中，改变量减少处理单元102计算运动图像校正量，以减少校正量的差异。这里，改变量减少处理单元102通过将前一帧的运动图像校正量与处理目标帧的理想校正量之差的一半加到前一帧的运动图像校正量来计算值。在本示例性实施例中，尽管改变量减少处理单元102将前一帧的运动图像校正量与处理目标帧的理想校正量之差的一半加到前一帧的运动图像校正量上，但是代替除以二，也可以使用通过将差除以预定数(一或以上)而获得的值。换句话说，改变量减少处理单元102将差减少到预定比率并且将减少的差添加到前一帧的运动图像校正量，差被减少到的比率不限于此。在下面的描述中，将该比率称为增益系数，并且通过以下公式计算处理目标帧的运动图像校正量。

(处理目标帧的运动图像校正量)＝(前一帧的运动图像校正量)+(处理目标帧的理想校正量-前一帧的运动图像校正量)×(增益系数)

在本示例性实施例中，改变量减少处理单元102执行比较处理目标帧的校正量和前一帧的校正量之间的改变量、并重新计算校正量的处理，以减少差。然而，该处理不限于此，而仅需要是基于帧间信息获得运动图像校正量的处理即可。随后，在步骤S307中，改变量减少处理单元102将在步骤S306中计算出的运动图像校正量设置为当前选择的处理目标帧的运动图像校正量。

在改变量减少处理单元102确定校正量的差小于阈值(改变量减少阈值)的情况下(步骤S305中为“否”)，处理进入步骤S308。在步骤S308中，改变量减少处理单元102将在步骤S304中获取的处理目标帧的理想校正量设置为运动图像校正量。

在步骤S309中，在设置处理目标帧的运动图像校正量之后，改变量减少处理单元102确定是否已经针对作为记录目标的原始运动图像的所有帧完成了计算运动图像校正量(设置运动图像校正量)的处理。在所有帧的运动图像校正量的计算处理已经完成的情况下(步骤S309为“是”)，处理结束。在所有帧的运动图像校正量的计算处理未完成的情况下(步骤S309为“否”)，处理返回到步骤S303。然后，改变量减少处理单元102将下一帧设置为处理目标帧，并且重复步骤S303至S309中的处理，直到针对所有帧的处理完成为止。由改变量减少处理单元102计算并为每帧设置的运动图像校正量被临时存储在存储器(未示出)中，随后被记录单元103用于记录图像处理参数。

这里，将参照图7描述在改变量减少处理单元102中计算运动图像校正量的结果的示例。在该示例中，有从作为头部帧的帧0到帧4的五帧的原始运动图像。对于帧0和帧1每帧的理想校正量为零，对于帧2至帧4为100。在这种情况下，认为在从帧1到帧2的过渡期间图像拍摄条件改变，从而理想校正量突然改变。此外，在步骤S305中，用于确定是否执行改变量减少处理的改变量减少阈值为30，增益系数是1/2。首先，在步骤S301和S302中，改变量减少处理单元102读取头部帧0，并将理想校正量零设置为运动图像校正量。随后，改变量减少处理单元102读取帧1。由于前一帧的运动图像校正量为零，因此帧1的理想校正量也为零，并且帧之间的校正量之差小于30(改变量减少阈值)，帧1的运动图像校正量为零。随后，改变量减少处理单元102读取帧2。前一帧的运动图像校正量为零，帧2的理想校正量为100。由于帧之间的校正量之差为100，大于改变量减少阈值30，因此，改变量减少处理单元102计算改变量减少的运动图像校正量。由于增益系数为1/2，因此将通过差100乘以1/2获得的50加到作为前一帧的运动图像校正量零上，得到50。值50为帧2的运动图像校正量。类似地，帧3的理想校正量(100)与帧2的运动图像校正量(50)之差为50，大于改变量减少阈值30。因此，将帧之间的差50乘以1/2得到的25加到帧2的运动图像校正量50，得出75。值75为帧3的运动图像校正量。帧4的理想校正量为100，理想校正量与前一帧3的运动图像校正量之差为25，小于改变量减少阈值30。因此，将与帧4的理想校正量相同的值100应用于帧4的运动图像校正量。如上文所述，在已经确定了每个帧的理想校正量的情况下，在计算在运动图像校正量中，改变量减少处理单元102可以从头部帧顺序地计算运动图像校正量，并计算要应用于每个帧的运动图像校正量。

随后，将参照图4描述由记录单元103执行的记录处理。图4是示出由记录单元103执行的记录处理的流程图。由控制单元105通过从程序存储器中读取程序，并基于读取的程序控制记录单元103来执行记录处理。记录处理是原始运动图像拍摄处理的一部分，并且响应于原始运动图像拍摄处理的开始而开始执行。在记录处理中，记录单元103执行将在原始运动图像拍摄处理中拍摄的原始运动图像作为原始运动图像文件记录在存储介质中的处理。

首先，在步骤S401中，记录单元103在存储介质上创建新的原始运动图像文件。随后，控制单元105对在原始运动图像拍摄处理中拍摄的原始运动图像的每个帧执行步骤S402和S403中的处理。在步骤S402中，控制单元105获取由图像拾取单元106拍摄的原始运动图像的帧，并且控制记录单元103以将原始运动图像的帧记录在步骤S401中创建的原始运动图像文件中。原始运动图像的帧可能已经经过了压缩处理等。接下来，在步骤S403中，控制单元105针对步骤S402中记录的原始运动图像的每个帧获取由校正量计算单元101设置的理想校正量和由改变量减少处理单元102设置的运动图像校正量，并且控制记录单元103以将理想校正量和运动图像校正量作为与在步骤S402中记录的原始运动图像的每个帧的图像处理参数有关的信息记录在原始运动图像文件中。在本示例性实施例中，以原始运动图像文件的格式以包括在元数据中的形式记录图像处理参数。然而，图像处理参数(校正量)可以被记录在与原始运动图像文件不同的文件中。

在步骤S404中，控制单元105确定是否已经对于在原始运动图像拍摄处理中拍摄的原始运动图像的所有帧完成步骤S402和S403的处理。在已经对于所有帧完成处理的情况下(步骤S404为“是”)，处理进入步骤S405。在尚未对于所有帧完成处理的情况下(步骤S404为“否”)，处理返回到步骤S402。控制单元105对下一帧执行步骤S402和S403中的处理，并且重复步骤S402至S404中的处理，直到针对所有帧的处理完成为止。

在已经针对所有帧完成记录处理的情况下(步骤S404中为“是”)，处理进入步骤S405。在步骤S405中，记录单元103对在步骤S401中创建的、并且在步骤S402至S404中记录帧数据的原始运动图像文件执行记录完成处理，并且结束记录原始运动图像的处理。

以这种方式，根据本示例性实施例的运动图像拾取装置100在拍摄原始运动图像时将图像处理参数添加到原始运动图像的每个帧中，并记录图像处理参数作为原始运动图像文件。然后，根据本示例性实施例的运动图像拾取装置100不仅记录基于图像拍摄条件和图像拍摄参数的理想校正量作为图像处理参数，而且还记录使得相对于帧之间的理想校正量的改变量减少的运动图像校正量作为图像处理参数。换句话说，运动图像拾取装置100在同一图像处理中记录两种参数。在拍摄原始运动图像时预先计算并记录图像处理参数，在再现时这需要施加重负载的图像处理，这样可以减轻在再现时计算图像处理参数的负载。此外，在原始运动图像的再现时，可以选择性地执行基于理想校正量的达到更高图像质量的图像处理和可以基于运动图像校正量平缓地再现运动图像的图像处理，而无需进行图像处理参数的重新计算。

已经给出了示例性实施例的描述，在该示例性实施例中，运动图像拾取装置100分别执行计算理想校正量的处理、计算运动图像校正量的处理以及记录处理。然而，运动图像拾取装置100可以针对每个帧共同执行计算理想校正量的处理、计算运动图像校正量的处理以及记录处理。

随后，将参照图5描述由运动图像再现装置200执行的原始运动图像文件的再现处理。如上文所述，在运动图像再现装置200中，原始运动图像文件存储在存储单元中205中。响应于经由操作单元207从用户接受了用于再现存储在存储单元205中的原始运动图像的指令来执行再现处理。通过控制单元204从程序存储器读取程序并且基于所读取的程序执行各个单元的控制和算术处理来实现再现处理。首先，在步骤S501中，控制单元204确定由用户提供的再现指令是否不是用于连续再现运动图像的指令而是用于再现一帧的指令。在运动图像的再现期间提供了暂停指令的情况下，通过该暂停指令来再现一帧的图像。因此，控制单元204确定再现指令是用于再现一帧的指令，并且将在暂停时要再现的帧设置为再现目标帧。在控制单元204确定再现指令是用于再现一帧的指令的情况下(步骤S501中为“是”)，处理进入步骤S502。在控制单元204确定再现指令不是用于再现一帧的指令的情况下(步骤S501为“否”)，处理进入步骤S504。

在步骤S502中，校正量选择单元202选择理想校正量作为要使用的校正量。在运动图像再现装置200再现一帧的原始图像而不是连续再现多帧原始运动图像(即，再现原始运动图像)的情况下，不需要减少改变量。因此，校正量选择单元202选择理想校正量以对作为再现目标的一帧执行最佳图像处理。然后，在步骤S503中，图像处理单元206使用选择的理想校正量对被选择为再现目标的原始运动图像的帧执行展开处理和图像处理，并使再现输出单元203再现并输出处理的图像。换句话说，被选择为再现目标的帧在使用理想校正量进行图像处理之后被再现并输出，并且被显示在显示装置上。

在再现指令不是用于再现一帧的指令的情况下(步骤S501为“否”)，处理进入步骤S504。在步骤S504中，控制单元204确定再现指令是否是用于再现原始运动图像的指令。在控制单元204确定再现指令是用于再现运动图像的指令的情况下(步骤S504为“是”)，处理进入步骤S505。在控制单元204确定再现指令不是用于再现运动图像的指令的情况下(步骤S504为“否”)，处理进入步骤S507。

在步骤S505中，校正量选择单元202选择运动图像校正量作为要使用的校正量。在连续地再现多个帧的情况下(即，再现原始运动图像)，帧之间的校正量的大量改变导致运动图像的不自然显示。因此，校正量选择单元202选择运动图像校正量，利用该运动图像校正量减少帧之间的校正量的改变量。在步骤S506中，图像处理单元206使用所选择的运动图像校正量对作为再现目标的原始运动图像的帧顺序地进行展开处理和图像处理，并且使再现输出单元203再现并输出处理的运动图像。图像处理单元206对每个帧依次进行图像处理，并且使再现输出单元203再现并输出处理的运动图像，直到再现并输出运动图像的最后一帧，或者直到用户输入用于暂停再现的指令为止，并且将经过图像处理的运动图像再现并显示在显示装置上。

在再现指令既不是用于再现一帧的指令也不是用于再现运动图像的指令的情况下(步骤S504中为“否”)，处理进入步骤S507。在步骤S507中，控制单元204响应于用户指令执行另一再现处理。

以这种方式，在再现原始运动图像文件的情况下，根据本示例性实施例的运动图像再现装置200基于用户的再现指令的类型自动确定是使用理想校正量还是使用运动校正量。因此，即使用户没有执行从多个图像处理参数中选择使用哪一个的操作，运动图像再现装置200也可以自动选择适合于再现方法的参数，使用该适合于再现方法的参数进行图像处理，然后执行再现。

随后，将参照图6给出运动图像再现装置200的提取编辑处理的描述。在提取编辑处理中，从存储单元205存储的原始运动图像文件中的运动图像中提取帧，并且该帧被记录为新文件。图6是示出由运动图像再现装置200执行的提取编辑处理的流程图。响应于接受由用户通过操作单元207提供的对存储在存储单元205中的原始运动图像的提取编辑的指令，执行提取编辑处理。提取编辑的指令包括关于是否提取静止图像或运动图像的设置、关于将帧记录为原始文件还是展开图像的设置以及关于作为提取目标帧的帧或帧范围的设置的指令。通过控制单元204从程序存储器读取程序并基于读取的程序执行每个单元的控制或算术处理来执行提取编辑处理。

首先，在步骤S601中，控制单元204确定用于提取编辑的指令是针对静止图像提取还是针对运动图像提取。在控制单元204确定用于提取编辑的指令是针对静止图像提取的情况下(步骤S601为“是”)，处理进入步骤S602。在控制单元204确定用于提取编辑的指令针对运动图像提取的情况下(步骤S601为“否”)，处理进入步骤S608。

在步骤S602中，在静止图像提取的情况下，控制单元204从原始运动图像文件中的原始运动图像的帧中提取被用户设置为提取目标的帧。随后，在步骤S603中，控制单元204确定设置是将提取的帧记录为原始文件(原始静止图像文件)还是展开提取的帧并将该帧记录为联合图像专家组(JPEG，Joint Photographic Experts Group)。在设置是将提取的文件记录为原始文件的情况下(步骤S603为“是”)，处理进入步骤S604。在设置为展开提取的帧并将该帧记录为JPEG文件的情况下(步骤S603为“否”)，处理进入步骤S606。

在步骤S604中，控制单元204将作为与提取目标的帧有关的帧信息的、原始运动图像文件中记录的图像处理参数中包括的理想校正量添加到在步骤S602中提取的帧，作为其图像处理参数。在将提取的帧记录为原始静止图像文件的情况下，控制单元204将理想校正量添加到提取的帧，作为图像处理参数，但是不向其添加运动图像校正量。在步骤S605中，控制单元204将步骤S604中添加了作为关于帧的图像处理信息的理想校正量的帧作为原始静止图像文件存储到存储单元205中。此时，还执行将提取的帧或元数据从原始运动图像文件的格式转换为原始静止图像文件的格式的处理。

在步骤S606中，控制单元204控制图像处理单元206使用作为关于帧的帧信息的、在原始运动图像文件中记录的图像处理参数中包括的理想校正量，对在步骤S602中提取的帧执行图像处理。控制单元204控制图像处理单元206不仅执行使用理想校正量的图像处理，而且执行原始运动图像的帧的展开处理。此外，控制单元204控制图像处理单元206执行JPEG压缩处理。在步骤S607中，控制单元204将在步骤S606中经过图像处理和JPEG压缩处理的JPEG图像作为JPEG文件存储在存储单元205中。

在步骤S608中，在运动图像提取的情况下，控制单元204在由用于提取编辑的指令设置的提取范围内重新计算原始运动图像的每个帧的运动图像校正量。控制单元204以与图3所示的计算运动图像校正量的处理类似的方式执行步骤S608中的重新计算运动图像校正量的处理，但是不针对原始运动图像的所有帧，而是针对提取范围内的原始运动图像的帧。更具体地，在重新计算运动图像校正量的处理中，提取范围内的头部帧作为初始帧。在提取范围中的头部帧中，将设置到头部帧的理想校正量设置为重新计算的运动图像校正量。控制单元204针对下一帧或随后的帧重新计算运动图像校正量，以减少帧之间的校正量的差。因此，理想校正量和设置到在提取范围中头部帧的运动图像校正量在校正量方面相同的情况下，在提取范围中重新计算运动图像校正量的结果与在原始运动图像文件中设置(记录)的运动图像校正量在校正量方面相同。因此，在理想校正量和设置到在提取范围中头部帧的运动图像校正量的校正量相同的情况下，控制单元204不重新计算运动图像校正量，并且可以使用在步骤S611和S613中记录在原始运动图像文件中的运动图像校正量代替作为重新计算的结果而获得的运动图像校正量。

随后，在步骤S610中，控制单元204确定设置是在对提取的帧执行展开处理后将提取的原始运动图像的帧记录为原始文件(原始运动图像文件)还是作为运动图像专家组4(MP4，Moving Picture Expert Group-4)记录。在设置是将提取的帧记录为原始文件的情况下(步骤S610为“是”)，处理进入步骤S611。在设置是在经过展开处理之后将提取的帧记录为MP4文件的情况下(步骤S610为“否”)，处理进入步骤S613。

在步骤S611中，控制单元204将记录在原始运动图像文件中的理想校正量和在步骤S608中重新计算的运动图像校正量作为图像处理参数添加到在步骤S609中提取的、在提取范围内的原始运动图像的每个帧中。以这种方式，在提取原始运动图像的帧并将其记录为原始运动图像文件的情况下，理想校正量和运动图像校正量被添加。然而，要添加的运动图像校正量不是记录在原始运动图像文件中的一个，而是通过在提取范围内重新计算运动图像校正量而获得的一个。在步骤S612中，控制单元204将在步骤S611中针对每个帧添加了作为图像处理参数的理想校正量和运动图像校正量的、提取范围内的原始运动图像的帧作为原始图像记录到存储单元205。

在步骤S613中，控制单元204控制图像处理单元206使用原始运动图像文件中记录的图像处理参数中包括的理想校正量，对在提取范围内的原始运动图像的在步骤S609中所提取的每个帧执行图像处理。控制单元204控制图像处理单元206不仅执行使用理想校正量的图像处理，而且执行原始运动图像的帧的展开处理以及对运动图像(例如，MPEG数据和高效视频编码(HEVC，High Efficiency Video Coding)数据)的压缩处理。然后，在步骤S614中，控制单元204将经过步骤S613中的运动图像的展开处理、图像处理和压缩处理的运动图像作为MP4文件存储到存储单元205。

以这种方式，在根据本示例性实施例的提取编辑处理中，控制单元204根据是否是静止图像提取从理想校正量和运动图像校正量(重新计算的运动图像校正量)中选择要与图像一起记录的校正量或要在图像处理中使用的校正量。因此，控制单元204被配置为选择适合于静止图像和运动图像中的每一个的校正量。尽管在本示例性实施例中控制单元204自动选择校正量，但是在用户经由操作单元207选择校正量的情况下，可以应用由用户选择的校正量。

以这种方式，根据本示例性实施例的图像处理装置被配置为基于原始运动图像的再现方法和记录方法，从理想校正量、运动图像校正量以及重新计算的运动图像校正量中自动选择要在图像处理中使用的校正量或要记录的校正量。利用该配置，由于图像处理装置自动选择适合于原始运动图像的使用情境的校正量，因此用户无需选择要使用(记录)的校正量就可以应用适合于原始运动图像的使用情境的校正量。

其他实施例

本发明的实施例还可以通过读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的用以进行本发明的上述实施例中的一个或更多个实施例的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用以进行上述实施例中的一个或更多个实施例的功能的计算机可执行指令来进行的方法来实现。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)、或其它电路中的一个或更多个，并且可以包括独立的计算机或独立的计算机处理器的网络。例如可以从网络或存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布计算系统的存储器、光盘(例如，压缩盘(CD)、数字多用途盘(DVD)、或蓝光盘(BD)TM)、闪存存储装置、存储卡等中的一个或更多个。本发明还可以由计算机来实现。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (20)

1.一种图像拾取装置，包括：

图像拾取单元；

记录单元，其被配置为在存储介质中记录由所述图像拾取单元拾取并获取的原始运动图像；以及

计算单元，用于计算原始运动图像的图像处理参数，

其中，计算单元被配置为计算第一参数和第二参数，作为原始运动图像的图像处理参数，其中，第一参数和第二参数是针对相同图像处理的参数，其中，第一参数是基于原始运动图像的摄像设置计算的，第二参数是基于第一参数计算的，从而减少所述原始运动图像的帧之间的参数的改变量；

其中，计算单元使用在记录原始运动图像时计算的第一参数来计算第二参数，而不使用从存储介质读出的第一参数，以及

记录单元将由计算单元计算的第一参数和第二参数这两者与在拾取原始运动图像时的原始运动图像一起记录在存储介质中，从而当响应于用户的指令再现原始运动图像时，能够使用第一参数或第二参数再现记录在存储介质中的原始运动图像。

2.根据权利要求1所述的图像拾取装置，其中，所述计算单元被配置为基于所述第一参数来计算所述第二参数，从而减少所述原始运动图像的帧之间的参数的改变量。

3.根据权利要求1所述的图像拾取装置，其中，所述计算单元被配置为在所述原始运动图像的帧之间的参数的改变量大于预定阈值的情况下，计算所述第二参数，以使得原始运动图像的帧之间的参数的改变量减少。

4.根据权利要求1所述的图像拾取装置，其中，所述计算单元被配置为通过对计算目标帧的前一帧的第二参数添加值来计算所述计算目标帧的第二参数，所述值通过将所述计算目标帧的第一参数与所述计算目标帧的前一帧的第二参数之间的差减少到预定比例而获得。

5.根据权利要求1所述的图像拾取装置，其中，所述记录单元被配置为将所述原始运动图像、所述第一参数和所述第二参数记录为一个文件。

6.根据权利要求1所述的图像拾取装置，其中，所述记录单元被配置为将所述第一参数和所述第二参数记录为与记录原始运动图像的文件不同的文件。

7.根据权利要求1所述的图像拾取装置，其中，

其中，所述计算单元被配置为针对所述原始运动图像的每个帧计算所述第一参数和所述第二参数，

其中，所述记录单元用于记录所述原始运动图像每个帧的第一参数和第二参数。

8.根据权利要求1所述的图像拾取装置，其中，图像处理参数是用于边缘亮度校正的参数。

9.根据权利要求8所述的图像拾取装置，其中，所述计算单元被配置为基于在拍摄原始运动图像时的国际标准化组织(ISO)灵敏度的设置以及与所述图像拾取装置的光学特性有关的信息来计算所述第一参数。

10.根据权利要求1所述的图像拾取装置，其中，在拍摄原始运动图像时，计算单元被配置为计算第一参数和第二参数，记录单元被配置为记录第一参数和第二参数。

11.一种图像处理装置，包括：

获取单元，其被配置为获取原始运动图像，以及所述原始运动图像的图像处理参数，所述图像处理参数包括第一参数和第二参数，其中，第一参数和第二参数是针对相同图像处理的参数，其中，第一参数是基于原始运动图像的摄像设置计算的，第二参数是基于第一参数计算的，从而减少所述原始运动图像的帧之间的参数的改变量，并且其中，使用在记录原始运动图像时计算的第一参数来计算第二参数，而不使用从存储介质读出的第一参数，

控制单元，被配置为选择第一参数或第二参数；以及

处理单元，被配置为使用由控制单元在第一参数和第二参数之间选择的参数来对原始运动图像进行处理，

其中，记录单元将第一参数和第二参数这两者与在拾取原始运动图像时的原始运动图像一起记录在存储介质中，从而当响应于用户的指令再现原始运动图像时，能够使用第一参数或第二参数再现记录在存储介质中的原始运动图像。

12.根据权利要求11所述的图像处理装置，其中，在执行原始运动图像的运动图像再现的情况下，

控制单元被配置为选择第二参数，以及

处理单元被配置为使用第二参数对原始运动图像执行图像处理。

13.根据权利要求12所述的图像处理装置，其中，运动图像再现是原始运动图像的多个帧的连续再现。

14.根据权利要求11所述的图像处理装置，其中，在再现原始运动图像的一帧的情况下，

控制单元被配置为选择第一参数，以及

处理单元被配置为使用第一参数对原始运动图像的一帧执行图像处理。

15.根据权利要求11所述的图像处理装置，

其中，在执行原始运动图像的运动图像再现的情况下，

控制单元被配置为选择第二参数，以及

所述处理单元被配置为使用所述第二参数对所述原始运动图像进行图像处理，

其中，在再现原始运动图像的一帧的情况下，

控制单元被配置为选择第一参数，以及

处理单元被配置为使用第一参数对原始运动图像的一帧执行图像处理。

16.根据权利要求11所述的图像处理装置，其中，在从原始运动图像提取一帧的情况下，

控制单元被配置为选择第一参数，以及

处理单元被配置为从原始运动图像提取一帧，将第一参数添加到提取的一帧，并记录提取的一帧。

17.根据权利要求11所述的图像处理装置，其中，在从所述原始运动图像中提取多个连续帧作为原始运动图像的情况下，

控制单元被配置为选择第一参数和第二参数，以及

处理单元被配置为从原始运动图像中提取多个连续的帧，将第一参数和第二参数添加到提取的帧中，并记录提取的帧。

18.根据权利要求11所述的图像处理装置，

其中，在从原始运动图像中提取一帧的情况下，

控制单元被配置为选择第一参数，以及

所述处理单元被配置为从所述原始运动图像中提取一帧，将所述第一参数添加到所提取的一帧中，并记录所提取的一帧，

其中，在从原始运动图像中提取多个连续帧作为原始运动图像的情况下，

控制单元被配置为选择第一参数和第二参数，以及

处理单元被配置为从原始运动图像中提取多个连续的帧，将第一参数和第二参数添加到提取的帧中，并记录提取的帧。

19.根据权利要求11所述的图像处理装置，其中，所述处理单元被配置为在所提取的帧的头部帧的第一参数和第二参数彼此不同的情况下，重新计算所述第二参数，并将第一参数和重新计算的第二参数添加到提取的帧中，并记录提取的帧。

20.一种计算机可读存储介质，其存储有用于使计算机执行图像处理装置的控制方法的程序，所述控制方法包括：

获取原始运动图像，以及该原始运动图像的图像处理参数，所述图像处理参数包括第一参数和第二参数，其中，第一参数和第二参数是针对相同图像处理的参数，其中，第一参数是基于原始运动图像的摄像设置计算的，第二参数是基于第一参数计算的，从而减少所述原始运动图像的帧之间的参数的改变量，并且其中，使用在记录原始运动图像时计算的第一参数来计算第二参数，而不使用从存储介质读出的第一参数；

执行控制以选择第一参数或第二参数；以及

使用通过执行第一参数和第二参数之间的控制而选择的参数来对原始运动图像执行处理，

其中，将第一参数和第二参数这两者与在拾取原始运动图像时的原始运动图像一起记录在存储介质中，从而当响应于用户的指令再现原始运动图像时，能够使用第一参数或第二参数再现记录在存储介质中的原始运动图像。

Images