CN115136582A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

图像处理装置被配置为执行：输出对于构成动画的输入图像数据的输出抖动信息的抖动信息处理；通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化处理；以及，使用归一化抖动信息来变更输入图像数据的抖动状态的抖动变更处理。

Description

图像处理装置、图像处理方法和程序

技术领域

本技术涉及图像处理装置、图像处理方法和程序，特别是涉及用于图像抖动的图像处理。

背景技术

用于对由图像捕获装置捕获的动画执行诸如各种校正的图像处理的技术是已知的。

下面的专利文件1公开了对与拍摄图像相关的图像数据执行防振处理，并对防振处理后的图像数据去除防振处理的影响。

引文列表

专利文件

专利文件1：日本专利申请公开No.2015-216510

发明内容

本发明要解决的问题

顺便说一句，近年来，用户可以容易地通过使用诸如智能电话或平板机的移动终端、照相机本身或个人计算机等执行图像捕获和图像调整等，并且，动画发布也盛行。

在这种环境下，希望不原样输出由用户捕获的图像，而是生成具有更高质量的图像或各种图像。并且，还希望广播者等能够执行各种图像的生成。

例如，根据动画内容对图像施加抖动是扩展图像表达的一种制作技术。这里，即使假定希望通过添加抖动或通过不完全去除抖动来留下抖动来生成具有有意抖动的图像的情况，抖动的程度也可能根据目标图像的视角而看起来不同。

因此，本公开提出了能够在在动画中添加或调整抖动的情况下生成施加目标抖动程度的抖动的图像的技术。

问题的方案

根据本技术的图像处理装置包括：抖动信息处理单元，被配置为输出对于构成动画的输入图像数据的输出抖动信息；抖动信息归一化单元，被配置为通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息；和抖动改变单元，被配置为执行通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

抖动改变处理是要通过减少在动画中发生的抖动或添加抖动来改变抖动的状态。抖动改变单元基于输出抖动信息执行抖动改变处理，并且在这种情况下，使用根据表示抖动的图像的视角被归一化的输出抖动信息。

在根据上述本技术的图像处理装置中，可以设想，抖动改变单元基于归一化抖动信息对输入图像数据执行抖动添加作为抖动改变处理。

即，作为抖动改变的一个方面，对图像执行抖动添加。

在根据上述本技术的图像处理装置中，可以设想，抖动改变单元基于归一化抖动信息执行输入图像数据的抖动部分去除作为抖动改变处理。

即，作为抖动改变的一个方面，执行图像的抖动部分去除。抖动去除是要去除施加于运动图像的抖动，诸如例如由于图像捕获装置在图像捕获时的运动(照相机抖动等)而在图像中发生的抖动，并且，去除抖动的一部分。即，抖动部分去除是要在不完全去除抖动的情况下减少抖动。

在根据上述本技术的图像处理装置中，可以设想，视角信息是要经受抖动改变处理的目标图像的视角与参考视角之间的比率。

确定某个参考视角，并且，通过使用视角与参考视角的比率对抖动信息进行归一化。

在根据上述本技术的图像处理装置中，可以设想，视角信息是要经受抖动改变处理的图像在剪切后的视角和图像捕获时的视角之间的比率。

在通过从捕获图像执行剪切生成输出图像的情况下，关于剪切图像的抖动信息参考捕获图像的视角被归一化。

在根据上述本技术的图像处理装置中，可以设想包括被配置为设定与抖动改变处理相关的抖动改变参数的参数设定单元。

抖动改变处理通过减少在动画中发生的抖动或添加抖动来改变抖动的状态，并且，基于由参数设定单元设定的抖动改变参数执行该抖动改变处理。

在根据上述本技术的图像处理装置中，可以设想包括被配置为检测关于抖动改变的操作信息的用户界面处理单元和被配置为基于由用户界面处理单元检测的操作信息设定关于抖动改变处理的抖动改变参数的参数设定单元。

即，提供用于指定抖动程度的用户操作环境。

在根据上述本技术的图像处理装置中，可以设想，通过将由用户界面处理单元检测的角度的信息转换为抖动量来获得抖动改变参数。

例如，允许用户执行将抖动指定为抖动角度的操作，并且，用户基于操作输入设定抖动改变处理的参数。

在根据上述本技术的图像处理装置中，可以设想，抖动信息处理单元基于指定抖动改变处理的处理量的抖动改变参数生成输出抖动信息。

例如，在对图像执行抖动添加的情况下，生成对应于输入抖动改变参数的输出抖动信息。

在根据上述本技术的图像处理装置中，可以设想，抖动信息处理单元通过基于指定抖动改变处理的处理量的抖动改变参数调整图像捕获时抖动信息来获得输出抖动信息。

例如，在部分去除图像中的图像捕获时的抖动的情况下，通过使用抖动改变参数调整图像捕获时抖动信息。

在根据上述本技术的图像处理装置中，可以设想，图像捕获时抖动信息是通过图像捕获装置进行输入图像数据的图像捕获时的图像捕获装置的姿势信息。

例如，可以从角速度传感器或加速度传感器的信息获得图像捕获装置的姿势信息。

在根据上述本技术的图像处理装置中，可以设想，抖动改变单元将输入图像数据的各帧粘贴到天球模型(celestial sphere model)，并且通过用对应于各帧的归一化抖动信息旋转各帧来执行抖动改变处理。

例如，基于从角速度传感器或加速度传感器的信息获得的图像捕获装置的抖动信息(例如，四元数(quaternion))，对天球模型执行旋转处理。

在根据上述本技术的图像处理装置中，可以设想包括被配置为将输入图像数据与归一化抖动信息关联的关联单元。

图像数据和归一化抖动信息相互关联，使得可以掌握作为抖动改变处理执行了什么类型的抖动改变。

在根据本技术的图像处理方法中，图像处理装置执行输出对于构成动画的输入图像数据的输出抖动信息的抖动信息处理、通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化处理和通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

这防止对于图像的抖动添加或抖动剩余的程度根据视角而大大变化。

根据本技术的程序是导致信息处理装置执行对应于这种图像处理方法的处理的程序。

这使得能够由各种信息处理装置执行本公开的图像处理。

附图说明

图1是在本技术的实施例中使用的设备的说明图。

图2是在实施例的各设备之间传送的信息的说明图。

图3是实施例的图像捕获装置的框图。

图4是实施例的图像捕获装置中的图像的抖动去除处理的说明图。

图5是实施例的信息处理装置的框图。

图6是作为实施例的图像处理装置的功能配置的说明图。

图7是作为实施例的图像处理装置的功能配置的另一示例的说明图。

图8是作为实施例的图像处理装置的功能配置的又一示例的说明图。

图9是实施例的归一化的说明图。

图10是实施例的抖动添加的说明图。

图11是实施例的抖动部分去除的说明图。

图12是实施例的图像文件和元数据的内容的说明图。

图13是关于透镜畸变校正的元数据的说明图。

图14是实施例的图像处理的说明图。

图15是实施例的对于天球模型的粘贴的说明图。

图16是实施例的IMU数据的采样定时的说明图。

图17是实施例的各频带的抖动信息调整的说明图。

图18是实施例的各方向的抖动信息调整的说明图。

图19是实施例的各频带和各方向的抖动信息调整的说明图。

图20是实施例的输出图像和天球模型之间的关联的说明图。

图21是实施例的输出坐标平面的旋转和透视投影的说明图。

图22是实施例的剪切区域的说明图。

图23是实施例的要传送的元数据的内容的说明图。

具体实施方式

下面将按以下顺序描述实施例。

<1.作为图像处理装置适用的设备的配置>

<2.装置配置和处理功能>

<3.抖动改变和抖动信息的归一化>

<4.图像文件和元数据>

<5.处理示例>

<6.概要和变更例>

在描述实施例之前，将描述在说明书中使用的一些术语。

“抖动”指的是构成动画的图像的帧间抖动。假定广泛地指的是出现在帧之间的抖动分量(图像的帧间抖动)(诸如通过所谓的图像捕获装置捕获的图像中的由照相机抖动等导致的抖动)和通过图像处理有意添加的抖动等。

“抖动改变(帧间抖动变更)”指的是改变图像中的抖动的状态，诸如减少图像中发生的抖动或向图像中添加抖动。

假定该“抖动改变”包括以下“抖动去除(帧间抖动减少)”和“抖动添加(帧间抖动添加)”。

“抖动去除”指的是由于照相机抖动等而在图像中发生的抖动的消除(抖动完全去除)或减少(抖动部分去除)。即，它指的是基于图像捕获时的抖动信息进行调整以减少抖动。在图像捕获装置中执行的所谓的图像稳定化是要执行抖动去除。

在本实施例中，将描述主要作为“抖动部分去除”执行去除抖动分量的一部分的处理的示例，并且，这是要执行图像的抖动改变，使得抖动保留。

“抖动添加”指的是对图像施加抖动。它包括对无抖动的图像施加抖动以及对具有抖动的图像施加抖动以进一步增加抖动。

以上的“抖动部分去除”和“抖动添加”是用于获得具有抖动的图像作为结果的处理，并因此可以被视为抖动添加产生的处理。

注意，作为抖动产生的目的的示例，假定为了给动画场景带来冲击故意抖动图像。

“图像捕获时抖动信息”是关于通过图像捕获装置捕获时的抖动的信息，并且对应于图像捕获装置的运动的检测信息、可以从检测信息计算的信息、指示图像捕获装置的姿势的姿势信息、以及作为图像捕获装置的运动的移位和旋转信息等。

在实施例中，“图像捕获时抖动信息”的具体示例包括四元数(QD)和IMU数据，但是也存在例如移位和旋转信息，并且没有特定限制。

<1.作为图像处理装置适用的设备的配置>

在下面的实施例中，将描述主要通过诸如智能电话或个人计算机的信息处理装置实现根据本公开的图像处理装置的示例，但是可以在各种设备中实现图像处理装置。首先，将描述可应用本公开的技术的设备。

图1A示出图像源VS和从图像源VS获取图像文件MF的图像处理装置(TDx，TDy)的示例。

注意，图像处理装置TDx被假定为对从图像源VS获取的图像数据一次执行抖动改变处理的设备。

另一方面，图像处理装置TDy被假定为对已经通过另一图像处理装置经受抖动改变处理的图像数据二次执行抖动改变处理的设备。

作为图像源VS，假定图像捕获装置1、服务器4和记录介质5等。

作为图像处理装置TDx和TDy，假定诸如智能电话的移动终端2或个人计算机3等。尽管未示出，但是诸如图像编辑专用装置、云服务器、电视装置以及视频记录和再现装置的各种其它设备被假定为图像处理装置TDx和TDy。这些设备可以用作图像处理装置TDx和TDy中的任一个。

作为图像源VS的图像捕获装置1是能够捕获动画的数字照相机等，并且经由有线通信或无线通信将通过捕获动画获得的图像文件MF传送到移动终端2或个人计算机3等。

服务器4可以是本地服务器、网络服务器和云服务器等中的任一个，但指的是可以提供由图像捕获装置1捕获的图像文件MF的装置。可以设想，服务器4经由一些传送路径将图像文件MF传送到移动终端2或个人计算机3等。

记录介质5可以是诸如存储卡的固态存储器、诸如光盘的盘状记录介质和诸如磁带的磁带状记录介质等中的任一种，但指的是记录由图像捕获装置1捕获的图像文件MF的可去除记录介质。可以设想，从记录介质5读取的图像文件MF由移动终端2或个人计算机3等读取。

作为图像处理装置TDx和TDy的移动终端2和个人计算机3等可以对从上述图像源VS获取的图像文件MF执行图像处理。这里提到的图像处理包括抖动改变处理(抖动添加或抖动部分去除)。

例如，通过对构成动画的图像数据的每一帧执行对天球模型的粘贴处理并然后通过用对应于帧的姿势信息进行旋转，执行抖动改变处理。

注意，某个移动终端2或个人计算机3有时用作图像源VS，该图像源VS用于用作图像处理装置TDx和TDy的另一移动终端2或个人计算机3。

图1B示出作为可以同时用作图像源VS和图像处理装置TDx的一件设备的图像捕获装置1和移动终端2。

例如，图像捕获装置1内的微型计算机等执行抖动改变处理。

即，图像捕获装置1被假定为能够通过对由图像捕获生成的图像文件MF执行抖动改变处理来执行作为施加了抖动部分去除或抖动添加的图像处理结果的图像输出。

通过包括图像捕获功能，移动终端2可以类似地为图像源VS，并因此能够通过对由图像捕获生成的图像文件MF执行抖动改变处理来执行作为施加了抖动部分去除或抖动添加的图像处理结果的图像输出。

当然，不限于图像捕获装置1和移动终端2，存在可以用作图像源和图像处理装置的各种其它设备。

如上所述，存在用作实施例的图像处理装置TDx和TDy以及图像源VS的各种装置，但是在以下描述中，诸如图像捕获装置1的图像源VS、诸如移动终端2的图像处理装置TDx和其它图像处理装置TDy将被描述为分离的各设备。

图2示出图像源VS、图像处理装置TDx和图像处理装置TDy中的信息传送的状态。

图像数据VD1和元数据MTD1经由有线通信、无线通信或记录介质从图像源VS被传送到图像处理装置TDx。

如下文将描述的那样，图像数据VD1和元数据MTD1是例如作为图像文件MF传送的信息。

元数据MTD1可以包括坐标变换参数HP作为例如作为图像稳定等执行的图像捕获时的抖动去除的信息。

图像处理装置TDx可以响应于图像数据VD1、元数据MTD1和坐标变换参数HP执行各种类型的处理。

例如，图像处理装置TDx可以通过使用包含于元数据MTD1中的图像捕获时抖动信息对图像数据VD1执行抖动改变处理。

并且，例如，图像处理装置TDx还可以通过使用包含于元数据MTD1中的坐标变换参数HP取消在图像捕获时施加于图像数据VD1的抖动去除。

在图像处理装置TDx已经执行了抖动改变处理的情况下，图像处理装置TDx可以执行将图像数据、图像捕获时抖动信息、以及可以指定抖动改变处理的处理量的抖动改变信息SMI和归一化抖动信息SCI相关联的处理。

抖动改变信息SMI是图像数据的抖动改变处理的信息，并且仅需要是可以指定抖动改变处理的处理量的信息。

在实施例中，“抖动改变信息”的具体示例包括抖动改变参数(PRM)和抖动改变四元数(eQD)，但不限于它们。

归一化抖动信息SCI是已经被归一化的抖动信息。尽管稍后将描述归一化四元数(nQD)作为示例，但在本实施例中，基于已经归一化的抖动信息执行抖动改变处理。

然后，图像处理装置TDx可以经由有线通信、无线通信或记录介质将相关联的图像数据、图像捕获时抖动信息、抖动改变信息SMI和归一化抖动信息SCI一起或分开地传送到图像处理装置TDy。

或者，至少图像数据和归一化抖动信息SCI相互关联地被传送。

这里，术语“关联”意味着，例如，当处理一条信息(数据、命令和程序等)时，可以使用(链接)另一条信息。即，相互关联的各信息可以作为一个文件等被放在一起，或者可以是单独的各信息。例如，与信息A相关联的信息B可以在与信息A的传送路径不同的传送路径上被传送。并且，例如，与信息A相关联的信息B可以被记录在与信息A的记录介质不同的记录介质(或同一记录介质的另一记录区域)中。注意，该“关联”可以是信息的一部分，而不是整个信息。例如，图像和对应于图像的信息可以以诸如多个帧、一个帧或帧中的一部分的任意单位相互关联。

更具体地说，“关联”包括诸如对多条信息给予相同的ID(识别信息)、将多条信息记录到同一记录介质中、将多条信息存储到同一文件夹中、将多条信息存储到同一文件中(将一条作为元数据给予另一条)、将多条信息嵌入到同一流中、以及诸如数字水印那样将元(meta)嵌入到图像中的行为。

图2示出作为图像数据VD2从图像处理装置TDx传送到图像处理装置TDy的图像数据。图像数据VD2的各种示例包括取消了由图像捕获装置1执行的抖动去除的图像、由图像处理装置TDx执行了抖动改变的图像以及由图像处理装置TDx执行抖动改变处理之前的图像。

并且，图2示出从图像处理装置TDx传送到图像处理装置TDy的元数据MTD2。元数据MTD2是与元数据MTD1相同的信息或部分不同的信息。然而，元数据MTD2包括图像捕获时抖动信息。

因此，图像处理装置TDy可以在关联状态下获取例如至少图像数据VD2、包含于元数据MTD2中的图像捕获时抖动信息、归一化抖动信息SCI和抖动改变信息SMI。

注意，还可以设想归一化抖动信息SCI和抖动改变信息SMI也包含于元数据MTD2中的数据形式。

在本实施例中，将描述主要在图像处理装置TDx中的抖动改变处理，但是对于图像处理装置TDx可以假定如上所述的信息传送。

<2.装置配置和处理功能>

首先，将参考图3描述用作图像源VS的图像捕获装置1的配置示例。

注意，在假定由移动终端2捕获的图像文件MF如参考图1B描述的那样通过移动终端2经受图像处理的情况下，移动终端2只需要包括关于图像捕获功能的与下面的图像捕获装置1等效的配置。

并且，图像捕获装置1执行减少由于图像捕获装置在图像捕获时的运动而引起的图像中的抖动的处理，该处理是所谓的图像稳定化，并且，这是由图像捕获装置执行的“抖动去除”。另一方面，由图像处理装置TDx和TDy执行的“抖动添加”和“抖动部分去除”是独立于在由图像捕获装置1捕获图像时执行的“抖动去除”的单独的处理。

如图3所示，图像捕获装置1包括例如透镜系统11、图像捕获元件单元12、照相机信号处理单元13、记录控制单元14、显示单元15、输出单元16、操作单元17、照相机控制单元18、存储器单元19、驱动器单元22和传感器单元23。

透镜系统11包括诸如盖透镜、变焦透镜和聚焦透镜的透镜以及光圈机构。来自被照体的光(入射光)由该透镜系统11引导并收集在图像捕获元件单元12上。

注意，尽管未示出，但存在透镜系统11设置有校正由于照相机抖动等引起的图像的帧间抖动和模糊的光学图像稳定化机构的情况。

图像捕获元件单元12包括例如互补金属氧化物半导体(CMOS)型或电荷耦合器件(CCD)型等的图像传感器12a(图像捕获元件)。

该图像捕获元件单元12对通过光电转换由图像传感器12a接收的光所获得的电信号执行例如相关双采样(CDS)处理和自动增益控制(AGC)处理等，并进一步执行模拟/数字(A/D)转换处理。然后，在随后的阶段中，作为数字数据的图像捕获信号被输出到照相机信号处理单元13和照相机控制单元18。

注意，作为未示出的光学图像稳定化机构，存在不是通过移动透镜系统11侧而是通过移动图像传感器12a侧来校正图像中的抖动的机构的情况和使用万向节(gimbal)的平衡光学图像稳定化机构的情况等，并且，可以使用任何方法。

在光学图像稳定化机构中，除了抖动之外，如下文所述，帧中的模糊也被校正。

照相机信号处理单元13通过例如数字信号处理器(DSP)等被配置为图像处理处理器。该照相机信号处理单元13对来自图像捕获元件单元12的数字信号(捕获图像信号)执行各种类型的信号处理。例如，作为照相机处理，照相机信号处理单元13执行预处理、同步处理、YC生成处理、分辨率转换处理和编解码器处理等。

并且，照相机信号处理单元13还执行各种类型的校正处理。然而，存在在图像捕获装置1中执行图像稳定化的情况或不执行图像稳定化的情况。

预处理包括对于来自图像捕获元件单元12的捕获图像信号的、将R、G和B的黑电平箝位到预定电平的箝位处理以及R、G和B的颜色通道之间的校正处理等。

同步处理包括对于各像素的图像数据的颜色分离处理，以具有所有R、G和B颜色分量。例如，在使用Bayer阵列滤色器的图像捕获元件的情况下，作为颜色分离处理，执行去马赛克处理。

在YC生成处理中，从R、G和B图像数据生成(分离)亮度(Y)信号和颜色(C)信号。

在分辨率转换处理中，对经受各种类型的信号处理的图像数据执行分辨率转换处理。

图4给出由照相机信号处理单元13执行的各种类型的校正处理(图像捕获装置1的内部校正)的示例。图4以执行顺序例示由照相机信号处理单元13执行的校正处理以及由透镜系统11执行的光学图像稳定化。

在作为处理F1的光学图像稳定化中，执行通过透镜系统11的摇摄方向和俯仰方向上的偏移的透镜内图像稳定化以及通过图像传感器12a的摇摄方向和俯仰方向上的偏移的体内图像稳定化，使得在物理上取消照相机抖动的影响的状态下在图像传感器12a上形成被照体的图像。

存在仅使用透镜内图像稳定化和体内图像稳定化中的一种的情况，并且存在同时使用两者的情况。在同时使用透镜内图像稳定化和体内图像稳定化的情况下，可以设想在体内图像稳定化中不执行摇摄方向和俯仰方向上的偏移。

并且，存在既不采用透镜内图像稳定化也不采用体内图像稳定化的情况，并且对照相机抖动执行仅仅电图像稳定化或仅仅光学图像稳定化。

在照相机信号处理单元13中，通过对于各像素的空间坐标变换执行从处理F2到处理F7的处理。

在处理F2中，执行透镜畸变校正。

在处理F3中，执行作为电图像稳定化的一个要素的焦平面畸变校正。注意，这是为了在例如由CMOS图像传感器12a执行通过滚转快门方法的读取的情况下校正畸变。

在处理F4中，执行滚转校正。即，执行作为电子图像稳定的一个要素的滚转分量的校正。

在处理F5中，对由电图像稳定化导致的梯形畸变量执行梯形畸变校正。由电图像稳定化导致的梯形畸变量是通过剪切离开图像中心的位置导致的透视畸变。

在处理F6中，作为电图像稳定化的一个要素，执行俯仰方向和摇摄方向上的偏移和剪切。

例如，通过上述过程，执行图像稳定化、透镜畸变校正和梯形畸变校正。

注意，不必执行这里描述的所有处理，并且，可以适当地切换处理的顺序。

在图3的照相机信号处理单元13中的编解码器处理中，例如，对经受上述各种类型的处理的图像数据执行用于记录或通信的编码处理和文件生成。例如，图像文件MF被生成为用于记录符合MPEG-4的动画和音频的MP4格式等。并且，还可以设想将诸如联合摄影专家组(JPEG)、标记图像文件格式(TIFF)或图形交换格式(GIF)的格式的文件生成为静止图像文件。

注意，照相机信号处理单元13还通过使用来自照相机控制单元18的信息等生成要添加到图像文件MF的元数据。

并且，尽管在图3中未示出音频处理系统，但实际上包括音频记录系统和音频处理系统，并且，图像文件MF可以包括音频数据以及作为动画的图像数据。

记录控制单元14例如通过非易失性存储器在记录介质上执行记录和再现。例如，记录控制单元14执行在记录介质上记录动画数据和静止图像数据等的图像文件MF和缩略图等的处理。

可以以各种方式构思记录控制单元14的实际形式。例如，记录控制单元14可以被配置为内置在图像捕获装置1中的快擦写存储器及其写入/读取电路，或者可以是被配置为对可以附着到图像捕获装置1上和从图像捕获装置1上分离的记录介质执行记录和再现访问的卡记录和再现单元(例如，存储卡(便携式快擦写存储器等))的形式。并且，作为内置在图像捕获装置1中的形式，存在将记录控制单元14实现为硬盘驱动器(HDD)等的情况。

显示单元15是被配置为对图像捕获人员执行各种类型的显示的显示单元，并且为例如通过设置在图像捕获装置1的壳体中的诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示设备的显示面板或取景器。

显示单元15基于来自照相机控制单元18的指令在显示屏上执行各种类型的显示。

例如，显示单元15在记录控制单元14中显示从记录介质读取的图像数据的再现图像。

并且，存在这样的情况，即通过照相机信号处理单元13进行了显示用分辨率转换的捕获图像的图像数据被供给到显示单元15，并且显示单元15响应于来自照相机控制单元18的指令执行基于捕获图像的图像数据的显示。因此，显示所谓的穿透透镜图像(被照体监视图像)，该图像是在构图检查期间捕获的图像。

并且，基于来自照相机控制单元18的指令，显示单元15执行将各种操作菜单、图标和消息等在屏幕上显示为图形用户界面(GUI)。

输出单元16以有线或无线方式执行与外部设备的数据通信和网络通信。

输出单元16将捕获的图像数据(静止图像文件或动画文件)传送并输出到例如外部显示设备、记录装置或再现装置等。

并且，作为网络通信单元，输出单元16可以经由诸如因特网、家庭网络和局域网(LAN)的各种网络执行通信，并在网络上向以及从服务器和终端等传送和接收各种数据。

操作单元17共同指示供用户执行各种类型的操作输入的输入设备。具体地，操作单元17指示设置在图像捕获装置1的壳体中的各种操作器(键、拨号盘、触摸屏和触摸板等)。

用户的操作由操作单元17检测，并且，对应于输入操作的信号被传送到照相机控制单元18。

照相机控制单元18包括包含中央处理单元(CPU)的微型计算机(运算处理装置)。

存储器单元19存储用于照相机控制单元18的处理的信息等。全面示出的存储器单元19呈现例如只读存储器(ROM)、随机存取存储器(RAM)和快擦写存储器等。

存储器单元19可以是内置在作为照相机控制单元18的微型计算机芯片中的存储器区域，或者可以由单独的存储器芯片配置。

通过执行存储在存储器单元19的ROM或快擦写存储器等中的程序，照相机控制单元18控制整个图像捕获装置1。

例如，照相机控制单元18关于图像捕获元件单元12的快门速度的控制、照相机信号处理单元13中的各种类型的信号处理的指示、根据用户操作的图像捕获动作和记录动作、记录的图像文件的再现动作，透镜镜筒中的诸如变焦、聚焦和光圈调整的透镜系统11的动作、以及用户界面动作等，控制各必要单元的动作。

存储器单元19中的RAM在照相机控制单元18的CPU的各种数据处理时作为工作区域用于数据和程序等的临时存储。

存储器单元19中的ROM和快擦写存储器(非易失性存储器)用于存储供CPU控制各单元的操作系统(OS)、诸如图像文件的内容文件、用于各种动作的应用程序、以及固件等。

驱动器单元22被设置有例如用于变焦透镜驱动马达的马达驱动器、用于聚焦透镜驱动马达的马达驱动器和用于光圈机构的马达的马达驱动器等。

这些马达驱动器响应于来自照相机控制单元18的指令向相应的驱动器施加驱动电流，并导致驱动器执行聚焦透镜和变焦透镜的移动以及光圈机构的光圈刀片的打开和关闭等。

传感器单元23全面指示安装在图像捕获装置上的各种传感器。

传感器单元23安装有例如惯性测量单元(IMU)，在该惯性测量单元(IMU)中，例如俯仰、摇摄和滚转三轴的角速度(陀螺)传感器可以检测角速度，并且，加速度传感器可以检测加速度。

注意，传感器单元23只需要包括能够检测图像捕获时的照相机抖动的传感器，并且不需要同时包括陀螺传感器和加速度传感器。

并且，作为传感器单元23，可以安装位置信息传感器或照度传感器等。

例如，作为由上述图像捕获装置1捕获和生成的动画的图像文件MF可以被传送到诸如移动终端2的图像处理装置TDx和TDy，并且经受图像处理。

例如，用作图像处理装置TDx和TDy的移动终端2和个人计算机3可以实现为包括图5所示的配置的信息处理装置。注意，可以类似地通过具有图5的配置的信息处理装置实现服务器4。

在图5中，信息处理装置70的CPU 71根据存储在ROM 72中的程序或从存储单元79加载到RAM 73中的程序执行各种类型的处理。RAM 73还适当地存储CPU 71执行各种类型的处理所需的数据等。

CPU 71、ROM 72和RAM 73经由总线74相关连接。输入/输出接口75也连接到该总线74。

包括操作器和操作设备的输入单元76连接到输入/输出接口75。

例如，作为输入单元76，假定了诸如键盘、鼠标、键、拨号盘、触摸屏、触摸板和遥控器的各种操作器和操作设备。

用户的操作由输入单元76检测，并且，对应于输入操作的信号由CPU 71解释。

并且，包括LCD或有机EL面板的显示单元77和包括扬声器的音频输出单元78整体地或单独地连接到输入/输出接口75。

显示单元77是被配置为执行各种类型的显示的显示单元，并且包括例如设置在信息处理装置70的壳体中的显示设备或连接到信息处理装置70的单独显示设备等。

显示单元77基于来自CPU 71的指令，执行将用于各种类型的图像处理的图像和处理目标的动画等显示到显示屏幕上。并且，基于来自CPU 71的指令，显示单元77显示各种操作菜单、图标和消息等，即显示为图形用户界面(GUI)。

在一些情况下，包括硬盘或固态存储器等的存储单元79和包括调制解调器等的通信单元80连接到输入/输出接口75。

通信单元80执行经由诸如因特网的传送路径的通信处理、与各种类型的设备的有线/无线通信、以及总线通信等。

驱动器82还根据需要连接到输入/输出接口75，并且，适当地安装诸如磁盘、光盘、磁光盘或半导体存储器的可去除记录介质81。

可以由驱动器82从可去除记录介质81读取诸如图像文件MF和各种计算机程序等的数据文件。已读取的数据文件被存储在存储单元79中，并且，包含于数据文件中的图像和音频由显示单元77和音频输出单元78输出。并且，根据需要，从可去除记录介质81读取的计算机程序等被安装在存储单元79中。

在该信息处理装置70中，可以通过通信单元80或可去除记录介质81经由网络通信安装例如用于作为本公开的图像处理装置的图像处理的软件。或者，软件可以被预先存储在ROM 72或存储单元79等中。

例如，通过这种软件(应用程序)，在信息处理装置70的CPU 71中构造如图6所示的功能配置。

图6示出作为用作图像处理装置TDx的信息处理装置70设置的功能。即，信息处理装置70(CPU 71)包括作为抖动改变单元100、抖动信息处理单元101、参数设定单元102、用户界面处理单元103、抖动信息归一化单元105和关联单元106的功能。

注意，“用户界面”也被称为“UI”，并且用户界面处理单元103在下文中也被称为“UI处理单元103”。

抖动信息处理单元101执行输出用于构成动画的输入图像数据的输出抖动信息的处理。例如，抖动信息处理单元101调整图像捕获时抖动信息，以获得并输出用于抖动部分去除或抖动添加的输出抖动信息。或者，抖动信息处理单元101根据已经输入的抖动改变参数PRM生成并输出用于抖动部分去除或抖动添加的抖动信息作为输出抖动信息。

抖动改变参数PRM是由用户操作或自动控制产生的处理参数。

抖动信息归一化单元105执行基于视角信息对通过抖动信息处理单元101中的调整处理和生成处理输出的输出抖动信息进行归一化的处理。然后，归一化抖动信息SCI被输出到抖动改变单元100。将在后面描述归一化处理。

抖动改变单元100执行通过使用归一化抖动信息SCI改变图像数据的抖动状态的抖动改变处理。

抖动改变单元100包括作为抖动添加单元100a的功能，并且尤其执行通过使用归一化抖动信息SCI添加抖动的处理。

并且，抖动改变单元100具有作为抖动部分去除单元100b的功能，并且尤其执行通过使用归一化抖动信息SCI去除抖动的一部分的处理。

注意，抖动添加单元100a和抖动部分去除单元100b不一定由不同的算法形成，并且可以理解，作为使用归一化抖动信息SCI的抖动改变处理的结果，执行抖动添加或抖动部分去除。在附图中示出抖动添加单元100a和抖动部分去除单元100b的原因是要指示作为抖动改变处理执行抖动添加或抖动部分去除。

抖动改变单元100输出已经执行抖动添加或抖动部分去除的、已经改变抖动的图像数据。

UI处理单元103是向用户呈现与抖动改变有关的操作器并通过操作器获取操作信息的处理的功能。

例如，UI处理单元103执行导致显示单元77将指示关于操作器和图像的信息的图像显示为UI图像的处理。并且，UI处理单元103检测用户用输入单元76进行的操作。例如，检测UI图像上的触摸操作等。

参数设定单元102是基于由UI处理单元103获取的操作信息设定用于抖动改变处理的参数(抖动改变参数PRM)的功能。即，由UI处理单元103检测的用户操作内容被转换为抖动改变参数PRM，并被供给到抖动信息处理单元101，使得对图像数据执行根据用户的操作的抖动改变处理。

注意，参数设定单元102未必需要执行根据用户的操作的参数设定。例如，可以执行添加固定抖动模式的参数设定。并且，例如，可以根据图像内容自动设定抖动改变参数PRM。例如，作为抖动模式的存档数据，可以从数据库获取对应于“缓慢行走的人”、“行走的人”和“奔跑的人”等的抖动模式、对应于“兔子”、“猫”和“马”等的抖动模式以及对应于汽车、轮船和飞机等的抖动模式的信息。可以根据图像内容选择抖动信息，并且，可以设定根据抖动模式的抖动改变参数PRM。

当然，也可以设想用户选择抖动模式并根据选择设定抖动改变参数PRM。

注意，在本公开中提到的“抖动信息”可以被视为以下信息中的任一个：

·代表在图像中存在的抖动的量的信息

·代表添加到图像的抖动的量的信息。

当在抑制由“代表在图像中存在的抖动的量的信息”指示的抖动量的方向上执行抖动改变处理时，执行抖动去除。在这种情况下，如果在将抖动量调整为小并抑制抖动量的方向上执行抖动改变处理，则执行抖动部分去除。

另一方面，同样当根据“代表在图像中存在的抖动的量的信息”去除抖动并然后根据调整了“代表在图像中存在的抖动的量的信息”的抖动信息添加抖动时，作为结果执行抖动部分去除。

并且，当执行抖动改变以将抖动添加到无抖动图像、已从中去除抖动的图像或具有根据“代表添加到图像的抖动的量的信息”的抖动的图像时，执行抖动添加。

即，抖动改变的特定运算处理根据是上述“抖动信息”中的哪一个而不同，但是本实施例的抖动改变在任一情况下是可能的。

关联单元106是执行将图像数据与归一化抖动信息SCI关联的处理的功能。

例如，关联单元106可以相互关联地存储图像数据和归一化抖动信息SCI。或者，关联单元106可以生成并存储用于将图像数据和归一化抖动信息SCI相互关联的信息。

在这种情况下，图像数据是执行抖动改变单元100中的抖动改变处理之前的图像数据。

关联单元106还可以将归一化抖动信息SCI与可以指定抖动改变处理的处理量的抖动改变信息SMI(参见图2)和图像捕获时抖动信息关联。抖动改变信息SMI是例如对于图像数据的抖动改变输入的抖动改变参数PRM。

图7示出变更图6的功能配置。

在图7的情况下，抖动改变单元100仅包括抖动添加单元100a。

抖动信息处理单元101基于来自参数设定单元102的抖动改变参数PRM生成输出抖动信息，并且，输出抖动信息由抖动信息归一化单元105归一化并被发送到抖动改变单元100。

抖动改变单元100基于归一化抖动信息SCI执行抖动添加。

图8也示出变更图6的功能配置。

在图8的情况下，抖动改变单元100仅包括抖动部分去除单元100b。

基于来自参数设定单元102的抖动改变参数PRM，抖动信息处理单元101输出调整了图像捕获时抖动信息的输出抖动信息，并且，输出抖动信息由抖动信息归一化单元105归一化并被发送到抖动改变单元100。

抖动改变单元100基于归一化抖动信息SCI执行抖动部分去除。

虽然以上的图7和图8是更简化的功能配置示例，但是可以设想其它配置示例。例如，在图8的配置中，抖动改变单元100可以仅包括抖动添加单元100a。例如，基于来自参数设定单元102的抖动改变参数PRM，抖动信息处理单元101输出调整了图像捕获时抖动信息的抖动信息，并且，抖动信息由抖动信息归一化单元105归一化并被发送到抖动改变单元100。抖动改变单元100基于归一化抖动信息SCI执行抖动添加。即，这是执行进一步增加原始图像数据的抖动的处理的示例。

注意，尽管上面已经描述了作为图像处理装置TDx的功能配置，但它也可以被视为作为图像处理装置TDy的功能配置。

然而，在图像处理装置TDy的情况下，作为抖动改变单元100的处理目标的图像数据和归一化抖动信息SCI是在先前抖动改变时由图像处理装置TDx等关联的数据。

并且，在图像源VS和图像处理装置TDx由例如参照图1B所述的图像捕获装置1等实现的情况下，还可以设想，图6、图7和图8的功能包含于图像捕获装置1的照相机信号处理单元13或照相机控制单元18中，以用作图像处理装置TDx。

<3.抖动改变和抖动信息的归一化>

这里，将描述实施例的抖动添加和抖动部分去除的处理，以及抖动信息归一化单元105对抖动信息的归一化。

可以认为，本实施例的处理根据处理对象的图像的视角调整抖动的强度。

在作为抖动添加或抖动部分去除由角度(稍后描述的天球模型MT的旋转角度)指定抖动量的情况下，即使用相同的指令值，表现(抖动幅度与视角的比率)也根据适用的图像的视角而不同。

出于这种原因，例如，在将相同抖动的数据施加于具有不同视角的两个图像的情况下，为了在关于视角的比率方面获得相同程度的抖动产生效果，需要设定不同的强度，这是复杂的。

因此，在本实施例中，通过图像的视角对通过抖动改变施加的抖动的幅度进行归一化。

例如，预先确定假定为抖动数据的参考视角，并且，根据参考视角和要实际经受抖动改变的图像的视角之间的关系调整抖动的幅度。

例如，在抖动被新添加到无抖动图像等的情况下，以下关系成立：

(归一化后的抖动添加量)＝(原始抖动添加量)×((目标图像视角)/(参考视角))

注意，原始抖动添加量是由抖动信息处理单元101生成的输出抖动信息。例如，它相当于后面描述的抖动改变四元数eQD已经根据用户操作等经受了增益调整。

参考视角是预先确定为参考的某个视角。

并且，在通过对于具有抖动的图像调整抖动去除量来执行抖动部分去除的情况下，以下关系成立：

(归一化后的抖动剩余量)＝(原始抖动剩余量)×((剪切后的图像的视角)/(捕获图像的视角))

注意，原始抖动剩余量是由抖动信息处理单元101调整的输出抖动信息。例如，这也相当于后面描述的抖动改变四元数eQD已经根据用户操作等经受了增益调整。

例如，可以设想这种归一化基于用与垂直视角对齐的所有图像执行处理。这是因为当以不同的纵横比捕获同一场景时，垂直视角通常变得相同。

然后，为了根据抖动量的视角执行归一化，作为参考视角，至少垂直视角的信息被保留为元数据。

图9A示出作为参考视角的垂直视角FOV_Vstd和水平视角FOV_Hstd。并且，图9B示出作为处理目标的图像的视角的垂直视角FOV_Vtgt和水平视角FOV_Htgt。

在该示图的情况下，FOV_Vstd≈27[度]并且FOV_Vtgt≈14.4[度]。

这里，上述归一化运算表达式的“(目标图像视角)/(参考视角)”和“(剪切后的图像的视角)/(捕获图像的视角)”被定义为归一化系数α。

然后，假定“归一化后的抖动添加量”和“归一化后的抖动剩余量”是上述的归一化抖动信息SCI，并且，“原始抖动添加量”和“原始抖动剩余量”是由抖动信息处理单元101输出的抖动信息，

归一化抖动信息SCI＝(抖动信息)×α成立。

然后，考虑在图9的情况下使用垂直视角的处理，

归一化系数α＝FOV_Vtgt/FOV_Vstd成立。即，以下关系成立：

归一化抖动信息SCI＝(抖动信息)×(FOV_Vtgt/FOV_Vstd)

例如，通过执行这种归一化处理并根据归一化抖动信息SCI执行抖动改变，抖动的程度(抖动出现的方式)不会因视角而有大的改变。

注意，尽管上面已经描述了使用垂直视角的示例，但是可以通过水平视角或斜(对角)视角获得归一化系数α。

图10示意性地示出对具有较小视角的图像P1和图像P2执行抖动改变的情况。假定图像P1由摄影棚布景等中的某照相机捕获，并且，背景是合成的。并且，假定图像P2是用同一摄影棚布景中的另一个照相机等进行变焦捕获的，并且背景是合成的。在这种情况下，假定根据例如存储为抖动档案的抖动模式添加船只抖动。

当通过使用用于添加抖动的抖动改变参数PRM生成抖动信息并且执行抖动添加时，即使看起来适合图像P1的抖动也变为图像P2的视觉剧烈抖动。

因此，在这种情况下，通过使用各目标图像的图像捕获视角和参考视角，通过归一化系数α对抖动信息进行归一化，并且，通过使用归一化抖动信息SCI执行抖动改变。如图所示，这使得两者都能表达适度的抖动。

图11示出从最初具有剧烈抖动的图像P3剪切具有不同视角的图像P4和P5的情况。在这种情况下，对于要剪切的图像P4和P5中的每一个，通过输入图像数据、捕获图像的图像视角、剪切后的图像视角以及图像捕获时抖动信息执行抖动改变。

并且，对于抖动部分去除，例如，输入根据由用户指定的抖动剩余量的抖动改变参数。

如果在没有将图像捕获时抖动信息和仅从抖动改变参数获得的抖动信息归一化的情况下执行抖动改变，则假定图像P4和P5没有如用户所期望的那样进入抖动剩余状态。因此，通过使用归一化抖动信息SCI执行抖动改变，该归一化抖动信息SCI是使用从捕获图像的视角和剪切后的图像的视角获得的归一化系数α归一化的。因此，图像P4和P5在视觉上表现出相同程度的抖动。

<4.图像文件和元数据>

以下，将描述对由用作图像源VS的图像捕获装置1捕获并输入到图像处理装置TDx的图像文件MF执行上述抖动信息归一化的示例。

首先，将描述要从诸如图像捕获装置1的图像源VS传送到图像处理装置TDx的图像文件MF的内容和元数据的内容。

图12A示出包含于图像文件MF中的数据。如图所示，图像文件MF包括作为“标题”、“声音”、“动画”和“元数据”的各种数据。

在“标题”中，与诸如文件名和文件大小的信息一起描述指示元数据等的存在或不存在的信息。

“声音”是与动画一起记录的音频数据。例如，存储双声道立体声音频数据。

“动画”是动画数据，并且包括作为构成动画的各帧(#1、#2、#3…)的图像数据。

作为“元数据”，描述与构成动画的各帧(#1、#2、#3…)相关联的附加信息。

在图12B中示出元数据的内容示例。例如，对于一个帧描述IMU数据、坐标变换参数HP、定时信息TM和照相机参数CP。注意，这些是元数据内容的一部分，并且，这里仅示出与后面描述的图像处理相关的信息。

作为IMU数据，描述陀螺(角速度数据)、加速器(加速度数据)和采样率。

作为传感器单元23安装在图像捕获装置1上的IMU以预定采样率输出角速度数据和加速度数据。通常，该采样率高于捕获图像的帧速率，并因此在一个帧周期内获得许多IMU数据样本。

因此，作为角速度数据，n个样本与一个帧相关联，诸如图12C所示的陀螺样本#1、陀螺样本#2、…和陀螺样品#n。

并且，也作为加速度数据，m个样本与一个帧相关联，诸如加速器样本#1、加速器样本#2、…和加速器样本#m。

存在n＝m的情况，并且，存在n≠M的情况。

注意，尽管这里描述了元数据与各帧相关联的示例，但是存在例如IMU数据与帧不完全同步的情况。在这种情况下，例如，使得与各帧的时间信息相关的时间信息保持为定时信息TM中的IMU采样定时偏移。

坐标变换参数HP是用于伴随图像中的各像素的坐标变换的校正的参数的通用术语。它还包括非线性坐标变换，诸如透镜畸变。

然后，坐标变换参数HP是可以至少包括透镜畸变校正参数、梯形畸变校正参数、焦平面畸变校正参数、电图像稳定化参数和光学图像稳定化参数的术语。

透镜畸变校正参数是用于直接或间接掌握如何校正诸如筒形像差(barrelaberration)和枕形像差(pincushion aberration)的畸变并将图像返回到透镜畸变校正之前的图像的信息。将简要描述作为元数据中的一个的关于透镜畸变校正参数的元数据。

图13A示出透镜系统11和图像传感器12a的示意图中的图像高度Y、角度β、入射光瞳位置d1和出射光瞳位置d2。

透镜畸变校正参数用于在图像处理中知道图像传感器12a的各像素的入射角。因此，只需要知道图像高度Y和角度β之间的关系。

图13B示出透镜畸变校正之前的图像110和透镜畸变校正之后的图像111。最大图像高度H0是畸变校正之前的最大图像高度，并且是从光轴中心到最远点的距离。最大图像高度H1是畸变校正后的最大图像高度。

为了使图像高度Y和角度β之间的关系已知，作为元数据所必需的是畸变校正前的最大图像高度H0和对于相应的N个图像高度的入射角的数据d0、d1、…d(N-1)。作为示例，“N”被假定为约10。

返回图12B，梯形畸变校正参数是校正通过由电图像稳定化从中心偏移剪切区域导致的梯形畸变时的校正量，并且还具有对应于电图像稳定化的校正量的值。

焦平面畸变校正参数是指示关于焦平面畸变的各线的校正量的值。

电图像稳定化和光学图像稳定化是指示摇摄、俯仰和滚转的各轴向上的校正量的参数。

注意，透镜畸变校正、梯形畸变校正、焦平面畸变校正和电图像稳定化的参数统称为坐标变换参数，并且，这是由于这些校正处理是对在图像捕获元件单元12的图像传感器12a的各像素上形成的图像的校正处理，并且它们是涉及各像素的坐标变换的校正处理的参数。这是由于，尽管光学图像稳定化也是坐标变换参数中的一个，但是光学图像稳定化中的帧间分量的抖动校正变为涉及各像素的坐标变换的处理。

即，通过使用这些参数执行反向校正，经受透镜畸变校正、梯形畸变校正、焦平面畸变校正、电图像稳定化和光学图像稳定化的图像数据可以返回到每次校正处理之前的状态，即，在图像捕获元件单元12的图像传感器12a上形成图像时的状态。

透镜畸变校正、梯形畸变校正和焦平面畸变校正的参数被统称为光学畸变校正参数，因为它们是对于来自被照体的光学图像本身是在光学畸变状态下捕获的图像的情况的畸变校正处理，并且各参数意在用于光学畸变校正。

即，当通过使用这些参数执行逆校正时，经受了透镜畸变校正、梯形畸变校正和焦平面畸变校正的图像数据可以返回到光学畸变校正之前的状态。

元数据中的定时信息TM包括曝光时间(快门速度)、曝光开始定时、读取时间(帘速度)、曝光帧数(长秒曝光信息)、IMU采样偏移和帧率的信息。

在本实施例的图像处理中，这些主要用于将各帧的行与IMU数据关联。

然而，即使在图像传感器12a是CCD或全局快门型CMOS的情况下，在通过使用电子快门或机械快门偏移曝光重心的情况下，也能够通过使用曝光开始定时和帘速度根据曝光重心执行校正。

作为元数据中的照相机参数CP，描述了视角(焦距)、变焦位置和透镜畸变信息。

<5.处理示例>

将描述用作作为实施例的图像处理装置TDx的信息处理装置70的处理示例。

图14示出在作为图像处理装置TDx的信息处理装置70中执行的各种类型的处理的过程，并且示出在各处理中使用的信息之间的关系。

注意，只需要根据图6等所示的抖动改变单元100的功能执行至少步骤ST17的处理。然而，步骤ST11、ST12、ST13、ST14、ST18和ST19也可以被认为是抖动改变单元100的处理。

并且，根据抖动信息处理单元101的功能，执行步骤ST15的处理。

根据抖动信息归一化单元105的功能，执行步骤ST16的处理。

根据UI处理单元103的功能，执行步骤ST40的处理。

根据参数设定单元102的功能，执行步骤ST41的处理。

根据关联单元106的功能，执行步骤ST20的处理。

首先，将描述作为预处理的步骤ST1、ST2、ST3和ST4。

预处理是在导入图像文件MF时执行的处理。

这里使用的术语“导入”指的是将可以通过例如由信息处理装置70取入到存储单元79等被访问的图像文件MF等设定为图像处理目标，并且指的是执行预处理以展开文件从而使得能够进行图像处理。例如，它不是指从图像捕获装置1传送到移动终端2等。

CPU 71导入由用户操作等指定以成为图像处理目标的图像文件MF，并且执行与添加到图像文件MF的元数据相关的处理作为预处理。例如，CPU 71执行提取和存储对应于动画的各帧的元数据的处理。

具体地，在该预处理中，执行元数据提取(步骤ST1)、所有IMU数据合并(步骤ST2)、元数据保留(步骤ST3)以及转换为四元数(图像捕获装置1的姿势信息)并保留(步骤ST4)。

作为步骤ST1中的元数据提取，CPU 71读取目标图像文件MF，并且如参照图12描述的那样提取包含于图像文件MF中的元数据。

注意，可以在诸如图像捕获装置1的图像源VS侧执行步骤ST1、ST2、ST3和ST4的一部分或全部。在这种情况下，在预处理中，以下描述的那些处理之后的内容被获取为元数据。

CPU 71在步骤ST2中关于提取的元数据当中的IMU数据(角速度数据(陀螺样本)和加速度数据(加速器样本))执行合并处理。

这是按照时间序列顺序排列和合并与所有帧相关联的所有IMU数据并构造对应于动画的整个序列的IMU数据的处理。

然后，对合并的IMU数据执行积分处理，以计算、存储和保留表示图像捕获装置1在动画序列上的各时间点的姿势的四元数QD。计算四元数QD是示例。

注意，可以只用角速度数据计算四元数QD。

CPU 71执行在步骤ST3中保留提取的元数据当中的、IMU数据以外的元数据即坐标变换参数HP、定时信息TM和照相机参数CP的处理。即，以对应于各帧的状态存储坐标变换参数HP、定时信息TM和照相机参数CP。

通过执行上述预处理，CPU 71准备对作为图像文件MF接收的图像数据执行各种类型的图像处理，包括抖动改变。

图10中的稳态处理指示作为目标对经受如上所述的预处理的图像文件MF的图像数据执行的图像处理。

CPU 71执行动画的一帧提取(步骤ST11)、图像捕获装置的内部校正取消(步骤ST12)、粘贴到天球模型(步骤ST13)、同步处理(步骤ST14)、抖动信息调整/生成(步骤ST15)、抖动信息归一化(步骤ST16)、抖动改变(步骤ST17)、平面投影和剪切(步骤ST18)、输出区域指定(步骤ST19)和关联记录/再现(步骤ST20)的处理。

CPU 71在图像文件MF的图像再现时，对各帧执行上述步骤ST11～ST20的各处理。

在步骤ST11中，CPU 71沿帧编号FN解码动画(图像文件MF)的一帧。然后，输出一帧的图像数据PD(#FN)。注意，“(#FN)”表示帧编号，并表示对应于帧的信息。

注意，在动画没有经受诸如压缩的编码处理的情况下，不需要步骤ST11中的解码处理。

在步骤ST12中，CPU 71执行取消由图像捕获装置1对一帧的图像数据PD(#FN)执行的内部校正的处理。

出于该目的，参照在预处理时与帧编号(#FN)相对应地存储的坐标变换参数HP(#FN)，CPU 71对由图像捕获装置1执行的校正执行反向校正。因此，获得取消了图像捕获装置1中的透镜畸变校正、梯形畸变校正、焦平面畸变校正、电图像稳定化和光学图像稳定化的状态下的图像数据iPD(#FN)。即，它是由图像捕获装置1执行的抖动去除等被取消了并且诸如图像捕获时的照相机抖动的抖动的影响原样出现的图像数据。这是由于，图像捕获时的校正处理被取消以进入校正前的状态，并且执行使用图像捕获时抖动信息(例如，四元数QD)的更精确的抖动去除和抖动添加。

然而，不需要执行作为步骤ST12的图像捕获装置的内部校正取消的处理。例如，可以跳过步骤ST12的处理，并且可以原样输出图像数据PD(#FN)。

在步骤ST13中，CPU 71将一帧的图像数据iPD(#FN)或一帧的图像数据PD(#FN)粘贴到天球模型。此时，参考对应于帧编号(#FN)存储的照相机参数CP(#FN)，即视角、变焦位置和透镜畸变信息。

图15示出粘贴到天球模型的轮廓。

图15A示出图像数据iPD。注意，还存在图像数据PD的情况，但在下文中同样适用。

图像高度h是到图像中心的距离。图中的各圆表示图像高度h变为相等的位置。

从该图像数据iPD的帧的视角、变焦位置和透镜畸变信息，计算帧中的“图像传感器表面和入射角

之间的关系”，并将其设定为图像传感器表面的各位置处的“数据0”…“数据N-1”。然后，从“数据0”…“数据N-1”，该关系表示为如图15B所示的图像高度h和入射角

之间的关系的一维图。入射角

是光束的角度(从光轴看的角度)。

一维图形围绕捕获图像的中心旋转一次，并且获得各像素与入射角之间的关系。

因此，执行图像数据iPD的各像素到天球模型MT的映射，诸如图15C中的像素G1到天球坐标上的像素G2。

如上所述，获得捕获的图像在去除透镜畸变的状态下被粘贴到理想的天球表面的天球模型MT的图像(数据)。在该天球模型MT中，最初捕获图像数据iPD的图像捕获装置1特有的参数和畸变被去除，并且，理想针孔照相机可见的范围是粘贴到天球表面的范围。

因此，通过在该状态下沿预定方向旋转天球模型MT的图像，可以实现作为抖动去除或抖动添加的抖动改变处理。

这里，图像捕获装置1的姿势信息(四元数QD)用于抖动改变处理。出于该目的，CPU71在步骤ST14中执行同步处理。

在同步处理中，对应于帧编号FN执行指定和获取适合于各行的四元数QD(#LN)的处理。注意，“(#LN)”表示帧中的行号，并表示对应于该行的信息。

注意，对于各行使用四元数QD(#LN)的原因是，在图像传感器12a是CMOS类型并且执行滚转快门图像捕获的情况下，各行的抖动量不同。

例如，在图像传感器12a是CCD类型并且执行全局快门图像捕获的情况下，以帧为单位使用四元数QD(#FN)就足够了。

注意，即使在作为图像传感器12a的CCD或CMOS的全局快门的情况下，当使用电子快门(这同样适用于机械快门)时，重心偏移，因此，优选在帧的曝光周期的中心(根据电子快门的快门速度偏移)的定时使用四元数。

这里，考虑在图像中出现的模糊。

由于在同一帧中图像捕获装置和被照体之间的相对运动，在图像中出现模糊。即，图像模糊是由曝光时间内的抖动导致的。曝光时间变得越长，模糊的影响变得越大。

在电图像稳定化中，在使用控制为各帧剪切的图像范围的方法的情况下，可以减少/消除在帧之间发生的“抖动”，但是不能通过这种电图像稳定化减少曝光时间内的相对抖动。

并且，当通过图像稳定化改变剪切区域时，使用各帧的姿势信息。然而，如果姿势信息偏离曝光周期的中心，诸如曝光周期的开始或结束的定时，则基于姿势的曝光时间内的抖动方向是偏置的，并且模糊容易被注意到。并且，在CMOS的滚转快门中，各行的曝光周期不同。

因此，在步骤ST14中的同步处理中，对于图像数据的各帧，参考各行的曝光重心的定时获取四元数QD。

图16示出图像捕获装置1的垂直周期中的同步信号cV、从该同步信号cV生成的图像传感器12a的同步信号sV以及IMU数据的采样定时，并且还示出曝光定时范围120。

在平行四边形中，曝光定时范围示意性地指示通过滚转快门方法设定曝光时间t4时的一帧的各行的曝光周期。并且，示出同步信号cV和同步信号sV的时间偏移t0、IMU采样定时偏移t1、读取开始定时t2、读取时间(帘速度)t3和曝光时间t4。注意，读取开始定时t2是从同步信号sV经过预定时间t2of之后的定时。

在各IMU采样定时获得的各IMU数据与帧相关联。例如，周期FH1中的IMU数据是与指示平行四边形中的曝光周期的当前帧相关联的元数据，并且，周期FH1中的IMU数据是与下一帧相关联的元数据。然而，通过在图14的步骤ST2中合并所有IMU数据，解除各帧与IMU数据之间的关联，并且可以在时间序列中管理IMU数据。

在这种情况下，指定对应于当前帧的各行的曝光重心(虚线W的定时)的IMU数据。如果IMU数据和图像传感器12a的有效像素区域之间的时间关系已知，则可以计算它。

因此，通过使用可以获取的信息作为对应于帧(#FN)的定时信息TM，指定对应于各线的曝光重心(虚线W的定时)的IMU数据。

即，它是曝光时间、曝光开始定时、读取时间、曝光帧数、IMU采样偏移和帧速率的信息。

然后，指定从曝光重心的IMU数据计算的四元数QD，并将其设定为作为各行的姿势信息的四元数QD(#LN)。

该四元数QD(#LN)被提供给步骤ST15中的抖动信息调整/生成处理。

在抖动信息调整/生成处理中，CPU 71根据已经输入的抖动改变参数PRM调整或生成四元数QD。

抖动改变参数PRM是根据用户操作输入的参数或由自动控制生成的参数。

在步骤ST41的参数设定处理中生成抖动改变参数PRM。

并且，通过步骤ST40中的UI处理，用户可以执行用于指示抖动改变的操作输入。即，执行指示将抖动添加为抖动产生的操作或指示抖动去除程度的操作等。

例如，用户可以输入抖动改变参数PRM本身或者选择参数等，以向图像添加任意抖动程度。在这种情况下，在步骤ST41中，根据用户输入的抖动改变参数PRM被设定，并被用于抖动信息调整/生成处理。

并且，作为步骤ST41中的参数设定处理，CPU 71可以通过根据图像分析、图像类型或用户对抖动模型的选择操作等的自动控制对于抖动信息调整/生成处理生成和使用抖动改变参数PRM，并且使用抖动改变参数PRM。

然后，在步骤ST15中的抖动信息调整/生成处理中，CPU 71基于抖动改变参数PRM和作为图像捕获时抖动信息的四元数QD，调整或生成并输出用于向图像添加抖动或减少抖动量的抖动改变四元数eQD作为输出抖动信息。

参考图17、图18和图19，将描述使用四元数QD作为图像捕获时抖动信息和抖动改变参数PRM的调整示例(即，抖动改变四元数eQD的生成示例)。

图17示出通过抖动改变参数PRM根据频带增益指令生成抖动改变四元数eQD的示例。

频带是抖动频率的带。为了便于描述，假定带被分为低带、中带和高带的三个带。当然，这只是示例，并且，带的数量只需要为两个或更多。

作为抖动改变参数PRM，提供低增益LG、中增益MG和高增益HG。

图17中的调整处理系统包括低通滤波器41、中通滤波器42、高通滤波器43、增益运算单元44、45和46、以及合成单元47。

“用于抖动的四元数QDs”被输入到该调整处理系统。这是四元数QDs作为图像捕获时抖动信息的共轭(conjugation)。

作为用于抖动的四元数QDs的当前帧和前后预定帧的各值q被输入到低通滤波器41以获得低分量q_low。

[表达式1]

q_low＝mean(q，n)

增益运算单元44向该低分量q_low给出低增益LG。

注意，表达式中的平均值(q，n)表示q前后n个值的平均值。

并且，用于抖动的四元数QDs的值q被输入到中通滤波器42以获得中间分量q_mid。

[表达式2]

其中n>m

注意，q*_low是q_low的共轭。

并且，“×”是四元数乘。

增益运算单元45将中间增益MG给予该中间分量q_mid。

并且，用于抖动的四元数QDs的值q被输入高通滤波器43以获得高分量q_high。

[表达式3]

注意，q*_mid是q_mid的共轭。

增益运算单元46将高增益HG给予该高分量q_high。

这些增益运算单元44、45和46假定输入为“q_in”。

[表达式4]

在这种情况下，以“θ′＝θ*增益”输出下一个“q_out”。

(其中增益为低增益LG、中增益MG和高增益HG。)

[表达式5]

通过这种增益运算单元44、45和46，获得分别被给予低增益LG、中增益MG和高增益HG的低分量q_low、中分量q_mid和高分量q_high。这些被合成单元47合成以获得值q_mixed。

[表达式6]

q_mixed＝q_low×q_mid×q_high

注意，“×”是四元数乘。

由此获得的值q_mixed变为抖动改变四元数eQD的值。

尽管以上是带分割的示例，但是也可以设想在没有带分割的情况下给出根据抖动改变参数PRM的增益的抖动改变四元数eQD的生成方法。

接下来，图18示出根据由抖动改变参数PRM针对各方向的增益的指令生成抖动改变四元数eQD的示例。

方向是抖动的方向，即，摇摄、俯仰和滚转的方向。

作为抖动改变参数PRM给出摇摄增益YG、俯仰增益PG和滚转增益RG。

图18中的调整处理系统包括摇摄分量提取单元51、俯仰分量提取单元52、滚转分量提取单元53、增益运算单元54、55和56、以及合成单元57。

摇摄分量提取单元51、俯仰分量提取单元52和滚转分量提取单元53分别被提供关于摇摄轴、俯仰轴和滚转轴的信息。

作为用于抖动的四元数QDs的当前帧和前后预定帧的相应值q分别被输入到摇摄分量提取单元51、俯仰分量提取单元52和滚转分量提取单元53，以获得摇摄分量q_yaw、俯仰分量q_pitch和滚转分量q_roll。

各分量提取处理假定下一个“q_in”作为输入。

[表达式7]

u＝[u_x u_y u_z]

u是表示诸如摇摄轴、俯仰轴或滚转轴的轴的方向的单位向量。

在这种情况下，以θ′＝θ＊(a·u)输出下一个“q_out”。

[表达式8]

对于通过这种分量提取获得的摇摄分量q_yaw、俯仰分量q_pitch和滚转分量q_roll，增益运算单元54、55和56分别给出摇摄增益YG、俯仰增益PG和滚转增益RG。

然后，经受增益运算的摇摄分量q_yaw、俯仰分量q_pitch和滚转分量q_roll由合成单元47合成，以获得值q_mixed。

[表达式9]

q_mixed＝q_yaw×q_pitch×q_roll

注意，这种情况下的“×”也是四元数乘。

由此获得的值q_mixed变为抖动改变四元数eQD的值。

图19示出组合频带和方向的示例。

调整处理系统包括低通滤波器41、中通滤波器42、高通滤波器43、方向处理单元58、59和60、增益运算单元44、45和46、以及合成单元61。

根据抖动改变参数PRM，给出未示出的低增益LG、中增益MG、高增益HG以及摇摄增益YG、俯仰增益PG和滚转增益RG。

在该调整处理系统中，当前帧以及前后预定帧的各自值q作为用于抖动的四元数QDs分别被供给到低通滤波器41、中通滤波器42和高通滤波器43，以获得各自的带分量。各个带分量被输入到方向处理单元58、59和60。

方向处理单元58、59和60中的每一个被假定为包括图18中的摇摄分量提取单元51、俯仰分量提取单元52、滚转分量提取单元53、增益运算单元54、55和56、以及合成单元57。

即，方向处理单元58将用于抖动的四元数QDs的低分量分为摇摄方向、滚转方向和俯仰方向上的分量，通过使用摇摄增益YG、俯仰增益PG和滚转增益RG执行增益运算，并然后合成它们。

方向处理单元59将用于抖动的四元数QDs的中间分量分为摇摄方向、滚转方向和俯仰方向上的分量，类似地执行增益运算，并然后合成它们。

方向处理单元60将用于抖动的四元数QDs的高分量分为摇摄方向、滚转方向和俯仰方向上的分量，类似地执行增益运算，并然后合成它们。

这些方向处理单元58、59和60的输出分别被供给到增益运算单元44、45和46，并分别被赋予低增益LG、中增益MG和高增益HG。然后，它们由合成单元61合成，并作为抖动改变四元数eQD的值被输出。

在上面描述的图19的示例中，在首先划分到频带之后，对各带分量施加方向处理，但是这可以被逆转。即，在首先对各方向进行划分之后，可以对各方向分量施加频带处理。

在图10的步骤ST15中，例如，通过上述处理示例生成抖动改变四元数eQD。

然而，以上的描述可以被视为通过调整作为图像捕获时抖动信息的四元数QD生成抖动改变四元数eQD的情况的示例。例如，这变为执行抖动部分去除的情况的处理示例。或者，这变为执行抖动添加使得将抖动添加到原始抖动的情况的处理示例。

在假定无抖动图像(例如，图像数据iPD)作为抖动改变的目标并且执行新添加抖动的抖动添加的情况下，只需要基于抖动改变参数PRM生成抖动改变四元数eQD，而不使用四元数QD，该四元数QD是图像捕获时抖动信息。

顺便说一下，在以上的示例中，作为抖动改变参数PRM给出低增益LG、中增益MG和高增益HG，并且，这些是例如作为UI处理的根据检测用户操作的结果的抖动改变参数PRM。

在这种情况下，在从用户观看的情况下，如果能够以角度输入和识别抖动中的改变量(抖动剩余量)，则可能提供直观上易于理解的操作。这里提到的角度是天球模型MT上的旋转角度。优选在抖动添加的情况下也能够用角度操作。

作为想要表达的旋转，即抖动量，表示其旋转轴的单位向量a表示为：

a＝(a_x a_y a_z)^T

其中旋转角度(旋转量)是θ[rad]，

对应于旋转的四元数q如下(表达10)。

[表达式10]

例如，在步骤ST41的参数设定处理中，以这种方式将用户的角度输入转换为关于旋转的四元数q，并且这只需要施加于上述(表达4)(表达式7)等。

在步骤ST15的抖动信息调整/生成处理中生成的抖动改变四元数eQD被提供给步骤ST16的抖动信息归一化处理。

在抖动信息归一化处理中，通过使用归一化系数α将抖动改变四元数eQD归一化。

首先，描述通过以下关系获得归一化抖动信息SCI：

归一化抖动信息SCI＝(抖动信息)×α，并且，该表达式中的“抖动信息”的具体例子变为抖动改变四元数eQD。然后，在步骤ST16中，获得归一化四元数nQD作为归一化抖动信息SCI。

现在，作为调整/生成的“抖动信息”的抖动改变四元数eQD的值被假定为下一个“q_org”。

[表达式11]

然后，计算归一化四元数nQD的值“q_norm”如下。

[表达式12]

注意，通过如上所述的“(目标图像视角)/(参考视角)”和“(剪切后的图像视角)/(捕获图像视角)”获得归一化系数α。

如上所述生成的归一化四元数nQD被提供给步骤ST17中的抖动改变处理。

步骤ST17中的抖动改变可以被视为，例如，通过在抖动停止的状态下将归一化四元数nQD施加于图像数据iPD来添加抖动，或者调整具有抖动的图像数据PD的图像稳定化量。

在步骤ST17中的图像稳定化中，对于各行使用归一化四元数nQD(#LN)，CPU 71通过旋转在步骤ST13中帧的图像所粘贴到的天球模型MT的图像来添加或部分去除抖动。抖动已经改变的天球模型hMT的图像被发送到步骤ST18的处理。

然后，在步骤ST18中，CPU 71将抖动已经改变的天球模型hMT的图像投影到平面上，并剪切该图像，使得获得已经经受抖动改变的图像(输出图像数据oPD)。

在这种情况下，通过旋转天球模型MT实现抖动改变，并且，通过使用天球模型MT，即使任何部分被剪切，也不会出现梯形形状，并且，作为结果，梯形畸变被消除。并且，如上所述，由于在天球模型MT中，理想针孔照相机可见的范围是粘贴到天球表面的范围，因此不存在透镜畸变。由于对于各线根据归一化四元数nQD(#LN)执行天球模型MT的旋转，因此焦平面畸变校正也被消除。

并且，由于四元数QD(#LN)对应于各线的曝光重心，因此模糊在图像中是不可见的。

在步骤ST18中经受平面投影之后的图像与天球模型MT之间的关联如下。

图20A示出经受平面投影的直角坐标平面131的示例。经受平面投影的图像的坐标被假定为(x，y)。

如图20B所示，坐标平面131被配置(归一化)在三维空间中，以与天球模型MT正上方的中心接触。即，坐标平面131的中心被布置在与天球模型MT的中心重合并与天球模型MT接触的位置处。

在这种情况下，基于变焦倍率和剪切区域的大小对坐标进行归一化。例如，如图20A所示，在坐标平面131的水平坐标为0到outh且垂直坐标为0到outv的情况下，outh和outv是图像大小，然后，例如，通过以下表达式对坐标进行归一化。

[表达式13]

z_norm＝1

其中r＝min(outh，outv)/2

在上述(表达式13)中，min(A，B)是返回A和B中的较小值的函数。并且，“zoom”是用于控制缩放的参数。

并且，x_norm、y_norm和z_norm是归一化的x、y和z坐标。

通过上述(表达式13)的各表达式，坐标平面131的坐标被归一化为半径为1.0的半球的球面上的坐标。

为了旋转以获得剪切区域的方向，如图21A所示的那样通过旋转矩阵操作旋转坐标平面131。即，使用以下(表达式14)的旋转矩阵，以摇摄角、倾斜角和滚转角执行旋转。这里，摇摄角是坐标围绕z轴旋转的旋转角度。倾斜角是坐标围绕x轴旋转的旋转角，滚转角是坐标围绕y轴旋转的旋转角。

[表达式14]

在上述(表达式14)中，“Rt”是倾斜角，“Rr”是滚转角，“Rp”是摇摄角。并且，(x_rot，y_rot，z_rot)是旋转后的坐标。

该坐标(x_rot，y_rot，z_rot)用于透视投影中的天球对应点计算。

如图21B所示，坐标平面131被透视投影到天球表面(区域132)上。即，当从坐标向天球中心画直线时，获得与球面相交的点。各坐标的计算如下。

[表达式15]

在(表达式15)中，x_sph、y_sph和z_sph是坐标平面131上的坐标投影到天球模型MT表面上的坐标的坐标。

获得在该关系中执行了平面投影的图像数据。

例如，在图14的步骤ST19中设定用于通过上述技术投影到平面上的图像的剪切区域。

在步骤ST19中，基于通过图像分析(被照体识别)的跟踪处理或根据用户操作的剪切区域指令信息CRC，设定当前帧中的剪切区域信息CRA。

例如，图22A和图22B在帧状态下示出为某帧的图像设定的剪切区域信息CRA。

对各帧设定这样的剪切区域指令信息CRC。

注意，剪切区域信息CRA还反映用户或自动控制对图像的纵横比的指示。

在步骤ST18的处理中反映剪切区域信息CRA。即，如上所述，对应于剪切区域信息CRA的区域被平面投影到天球模型MT上，并且，获得输出图像数据oPD。

由此获得的输出图像数据oPD是经受步骤ST16中的抖动改变处理的图像数据。

通过每帧执行图14的处理，当再现并显示输出图像数据oPD时，添加了抖动的图像被显示为抖动产生。因此，当用户执行用于输入抖动改变参数PRM的操作时，获得添加了根据用户意图的抖动产生的图像。这种图像数据被显示或存储为经受了抖动产生的图像。

这里，在本实施例中，例如，作为步骤ST20执行关联记录/再现。例如，CPU 71可以对各帧执行关联记录(例如，在图5中的存储单元79或可去除记录介质81中记录)，并且可以根据需要再现/传送和输出它。

作为对各帧的关联记录处理，例如，以帧为单位与图像数据关联地记录归一化抖动信息SCI。并且，可以与图像捕获时抖动信息和抖动改变信息SMI相关联地记录它。

首先，作为以帧为单位的图像数据，在步骤ST12中，CPU 71对已经取消图像捕获装置的内部校正的图像数据iPD(或图像数据PD)执行记录处理，并且响应于此，执行归一化抖动信息SCI即归一化四元数nQD的记录处理。

并且，CPU 71可以执行帧的四元数QD、定时信息TM和照相机参数CP的记录处理作为与该图像数据iPD相关联的图像捕获时抖动信息。

图23示出从图像源VS供给到图像处理装置TDx的元数据MTD1和由图像处理装置TDx供给到图像处理装置TDy的元数据MTD2，并且，它们包括归一化四元数nQD。对应于该元数据MTD2的信息与图像数据iPD的各帧相关联。

并且，CPU 71可以执行抖动改变参数PRM的记录处理作为与图像数据iPD相关联的抖动改变信息SMI。或者，可以代替抖动改变参数PRM或与抖动改变参数PRM一起，记录抖动改变四元数eQD。

以这种方式关联记录的各帧的图像数据iPD和归一化抖动信息SCI(归一化四元数nQD)等被传送到外部设备并使其可用。

图2示出从图像处理装置TDx向图像处理装置TDy传送图像数据VD2、元数据MTD2、归一化抖动信息SCI和抖动改变信息SMI，但是在图14的示例的情况下，图像数据VD2是包括图像数据iPD的图像数据。并且，元数据MTD2例如包括归一化抖动信息SCI作为图23所示的内容。

因此，图像处理装置TDy变得能够容易地执行基于过去在图像处理装置TDx中施加的归一化抖动信息SCI的抖动添加和抖动部分去除的再现、抖动添加的调整和校正、以及抖动改变的精确消除。

<6.概要和变更例>

在上述实施例中，可以获得以下效果。

本实施例的图像处理装置TDx包括输出构成动画的图像数据(输入图像数据)的输出抖动信息的抖动信息处理单元101(步骤ST15)。图像处理装置TDx还包括通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化单元105(步骤ST16)。图像处理装置TDx还包括执行通过使用归一化抖动信息SCI改变图像数据的抖动状态的抖动改变处理的抖动改变单元100(步骤ST17)。

这使得能够实现适合于输出图像数据oPD的抖动量的抖动添加(或由于抖动部分去除的抖动剩余)。即，根据剪切后的视角，抖动不比预期的更猛烈，或者抖动量不再太小，并且不管视角如何，可以实现根据用户意图的抖动添加(或由于抖动部分去除的抖动剩余)。

在实施例中，描述了抖动改变单元100基于归一化抖动信息SCI对输入图像数据执行抖动添加作为抖动改变处理的示例。

例如，在图像处理装置TDx中，用户执行指示抖动量作为抖动产生的操作，响应于它输入抖动改变参数PRM，生成并归一化抖动改变四元数eQD，并且，通过使用归一化四元数nQD执行添加抖动作为抖动产生的抖动改变处理。例如，能够将抖动作为产生添加到无抖动图像，并进一步将抖动添加到具有抖动的图像。这使得能够将图像表达多样化。并且，在这种情况下，无论输出图像数据oPD的视角如何，都可以实现适当抖动量的抖动添加。

在实施例中，描述了抖动改变单元100基于归一化抖动信息SCI执行输入图像数据的抖动部分去除作为抖动改变处理的示例。

在步骤ST17中，例如，图像处理装置TDx可以通过执行抖动部分去除生成抖动减少的图像。例如，它适用于希望不消除而是用剧烈抖动抑制图像的剧烈抖动的情况。同样在这种情况下，通过用归一化四元数nQD执行抖动改变，抖动的剩余程度不再取决于视角而不同，并且，能够根据用户的意图实现抖动剩余，而不取决于视角。

在实施例中，描述了用于归一化的视角信息是要经受抖动改变处理的目标图像的视角与参考视角之间的比率的示例。

即，确定某个参考视角，并且通过用视角与参考视角的比率归一化抖动信息。这使得能够表示参考视角下的抖动程度以及与视角无关的等效抖动。

在实施例中，描述用于归一化的视角信息是要经受抖动改变处理的图像在剪切后的视角和图像捕获时的视角之间的比率的示例。

即，在通过从捕获图像剪切生成输出图像的情况下，关于剪切图像的抖动信息参考捕获图像的视角被归一化。这使得即使在剪切图像中，也能够将感觉的抖动表现为与捕获图像中的抖动程度视觉上等同。

在实施例中，描述了包括用于设定关于抖动改变处理的抖动改变参数的参数设定单元102的示例。

抖动改变处理通过减少在动画中发生的抖动或添加抖动来改变抖动的状态，并且，基于由参数设定单元102设定的抖动改变参数PRM执行该抖动改变处理。例如，通过通过使用各种抖动的存档或通过使用用户输入生成抖动改变参数，能够向图像添加作为新产生的抖动而非图像的图像捕获时的抖动。

在实施例中，描述了包括检测关于抖动改变的操作信息的UI处理单元103和基于由UI处理单元103检测的操作信息设定关于抖动改变处理的抖动改变参数的参数设定单元102的示例。

这使得能够向用户提供用于导致执行向图像添加抖动或部分去除图像的抖动的图像处理的操作环境。

特别地，通过使抖动改变的参数能够在UI屏幕上可视地操作，能够提供易于用户理解的抖动操作环境。

在实施例中，描述了通过将由UI处理单元103检测的角度的信息转换为抖动量来获得抖动改变参数PRM的示例。

具体地，参数设定单元102将在UI屏幕等上以角度指定的抖动量转换为四元数。这允许用户通过使得容易地通过角度对抖动量进行成像的操作指定改变后的抖动量。

在实施例中，描述了抖动信息处理单元101基于用于指定抖动改变处理的处理量的抖动改变参数PRM生成输出抖动信息(例如，抖动改变四元数eQD)的示例。

这使得能够执行向无抖动图像添加抖动或增加抖动的处理，并且能够使图像表达多样化。

在实施例中，描述了抖动信息处理单元101基于用于指定抖动改变处理的处理量的抖动改变参数PRM调整图像捕获时抖动信息(四元数QD)并获得输出抖动信息(例如，抖动改变四元数eQD)的示例。

这使得能够执行通过减少在图像捕获时施加于图像的抖动并在不损害可见性的情况下保留抖动来生成具有真实感的图像的处理，并且能够使图像表达多样化。

在实施例中，描述了图像捕获时抖动信息是图像捕获装置1在输入图像数据被图像捕获装置1图像捕获时的姿势信息的示例。

即，从IMU数据获得的作为姿势信息的四元数QD被用作图像捕获时抖动信息。这使得能够基于用于在图像捕获时适当地表达抖动的信息执行抖动改变。

在实施例中，描述了抖动改变单元100将处理目标的输入图像数据的各帧粘贴到天球模型MT并且通过用对应于各帧的归一化抖动信息SCI(归一化四元数nQD)旋转它执行抖动改变的示例。

通过在天球模型MT上通过执行旋转以增加或减少各帧的抖动来执行抖动改变校正，能够在不导致梯形畸变的情况下执行抖动改变。因此，可以获得畸变较小的高质量图像作为经受了抖动产生的图像。

本实施例的图像处理装置TDx包括执行将图像数据与归一化抖动信息SCI(例如，归一化四元数nQD)关联的处理的关联单元106(步骤ST20)。这使得能够例如在图像处理装置TDy中掌握通过图像处理装置TDx中的抖动改变处理执行了什么类型的抖动改变。

然后，在图像处理装置TDy中，变得能够执行诸如重新进行抖动改变处理作为抖动产生的处理，例如，调整已经执行的抖动产生的抖动程度和消除抖动产生等。

并且，在图像处理装置TDy中，还能够在取消由图像处理装置TDx执行的抖动产生之后执行抖动去除。

即，各图像处理装置使得能够任意地以及不同地改变抖动状态。

注意，例如，可以设想，相互关联的图像数据和归一化抖动信息被记录在同一文件中。例如，配置包括构成动画的图像数据(和音频数据)和元数据以及归一化的抖动改变信息的文件。例如，可以包括归一化的抖动改变信息作为伴随图像数据的元数据。

然而，它们未必被记录在同一文件等中。即使归一化抖动信息被记录到与图像数据的数据文件不同的数据文件中，仅仅采取它可以稍后与图像数据的各帧相关联的形式就足够了。即，只要传送目的地的图像处理装置TDy可以相互关联地获取，就可以采用任何记录形式。

并且，还可以关联图像捕获时抖动信息。

实施例的程序是用于导致CPU、DSP或包括它们的设备执行如图14所示的处理的程序。

即，实施例的程序是导致信息处理装置执行输出对于构成动画的输入图像数据的输出抖动信息的抖动信息处理(ST15)、通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化处理(ST16)、以及通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理(ST17)的程序。

这种程序使得能够在诸如移动终端2、个人计算机3或图像捕获装置1的设备中实现上述的图像处理装置TDx。

这种程序可以预先记录在作为内置在诸如计算机装置的设备中的记录介质的HDD或具有CPU的微型计算机中的ROM等中。

或者，该程序可以临时或永久地存储(记录)在诸如软磁盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字多功能光盘(DVD)、蓝光光盘(注册商标)、磁盘、半导体存储器和存储卡的可去除记录介质中。可以作为所谓的软件包提供这种可去除记录介质。

并且，这种程序可以从可去除记录介质安装到个人计算机等，并且可以经由诸如局域网(LAN)或因特网的网络从下载站点下载。

并且，这种程序适用于广泛提供实施例的图像处理装置TDx。例如，通过将程序下载到个人计算机、便携式信息处理装置、移动电话、游戏控制台、视频设备和个人数字助理(PDA)等，可以导致个人计算机等用作本公开的图像处理装置。

注意，本说明书中描述的效果仅为示例且不限于此，并且可能存在其它效果。

注意，本技术还可以具有以下配置。

(1)

一种图像处理装置，包括：

抖动信息处理单元，被配置为输出对于构成动画的输入图像数据的输出抖动信息；

抖动信息归一化单元，被配置为通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息；和

抖动改变单元，被配置为执行通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

(2)

根据(1)所述的图像处理装置，其中，

抖动改变单元基于归一化抖动信息对输入图像数据执行抖动添加作为抖动改变处理。

(3)

根据(1)或(2)所述的图像处理装置，其中，

抖动改变单元基于归一化抖动信息执行输入图像数据的抖动部分去除作为抖动改变处理。

(4)

根据(1)～(3)中的任一项所述的图像处理装置，其中，

视角信息是要经受抖动改变处理的目标图像的视角与参考视角之间的比率。

(5)

根据(1)～(3)中的任一项所述的图像处理装置，其中，

视角信息是要经受抖动改变处理的图像在剪切后的视角和图像捕获时的视角之间的比率。

(6)

根据(1)～(5)中的任一项所述的图像处理装置，还包括：

参数设定单元，被配置为设定与抖动改变处理相关的抖动改变参数。

(7)

根据(1)～(6)中的任一项所述的图像处理装置，还包括：

用户界面处理单元，被配置为检测关于抖动改变的操作信息；和

参数设定单元，被配置为基于由用户界面处理单元检测的操作信息设定与抖动改变处理相关的抖动改变参数。

(8)

根据(7)所述的图像处理装置，其中，

通过将由用户界面处理单元检测的角度的信息转换为抖动量来获得抖动改变参数。

(9)

根据(1)～(8)中的任一项所述的图像处理装置，其中，

抖动信息处理单元基于指定抖动改变处理的处理量的抖动改变参数生成输出抖动信息。

(10)

根据(1)～(9)中的任一项所述的图像处理装置，其中，

抖动信息处理单元通过基于指定抖动改变处理的处理量的抖动改变参数调整图像捕获时抖动信息来获得输出抖动信息。

(11)

根据(10)所述的图像处理装置，其中，

图像捕获时抖动信息是通过图像捕获装置进行输入图像数据的图像捕获时的图像捕获装置的姿势信息。

(12)

根据(1)～(11)中的任一项所述的图像处理装置，其中，

抖动改变单元将输入图像数据的各帧粘贴到天球模型，并且通过使用对应于各帧的归一化抖动信息旋转各帧来执行抖动改变处理。

(13)

根据(1)～(12)中的任一项所述的图像处理装置，还包括：

关联单元，被配置为将输入图像数据与归一化抖动信息关联。

(14)

一种图像处理方法，其中，

图像处理装置执行以下处理：

输出对于构成动画的输入图像数据的输出抖动信息的抖动信息处理；

通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化处理；以及

通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

(15)

一种使信息处理装置执行以下处理的程序：

输出对于构成动画的输入图像数据的输出抖动信息的抖动信息处理；

通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化处理；以及

通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

附图标记清单

1 图像捕获装置

2 移动终端

3 个人计算机

4 服务器

5 记录介质

70 信息处理装置

71 CPU

100 抖动改变单元

100a 抖动添加单元

100b 抖动部分去除单元

101 抖动信息处理单元

102 参数设定单元

103 UI处理单元

105 抖动信息归一化单元

106 关联单元

Claims (15)

1.一种图像处理装置，包括：

抖动信息处理单元，被配置为输出对于构成动画的输入图像数据的输出抖动信息；

抖动信息归一化单元，被配置为通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息；和

抖动改变单元，被配置为执行通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

2.根据权利要求1所述的图像处理装置，其中，

抖动改变单元基于归一化抖动信息对输入图像数据执行抖动添加作为抖动改变处理。

3.根据权利要求1所述的图像处理装置，其中，

抖动改变单元基于归一化抖动信息执行输入图像数据的抖动部分去除作为抖动改变处理。

4.根据权利要求1所述的图像处理装置，其中，

视角信息是要经受抖动改变处理的目标图像的视角与参考视角之间的比率。

5.根据权利要求1所述的图像处理装置，其中，

视角信息是要经受抖动改变处理的图像在剪切后的视角和图像捕获时的视角之间的比率。

6.根据权利要求1所述的图像处理装置，还包括：

参数设定单元，被配置为设定与抖动改变处理相关的抖动改变参数。

7.根据权利要求1所述的图像处理装置，还包括：

用户界面处理单元，被配置为检测关于抖动改变的操作信息；和

参数设定单元，被配置为基于由用户界面处理单元检测的操作信息设定与抖动改变处理相关的抖动改变参数。

8.根据权利要求7所述的图像处理装置，其中，

通过将由用户界面处理单元检测的角度的信息转换为抖动量来获得抖动改变参数。

9.根据权利要求1所述的图像处理装置，其中，

抖动信息处理单元基于指定抖动改变处理的处理量的抖动改变参数生成输出抖动信息。

10.根据权利要求1所述的图像处理装置，其中，

抖动信息处理单元通过基于指定抖动改变处理的处理量的抖动改变参数调整图像捕获时抖动信息来获得输出抖动信息。

11.根据权利要求10所述的图像处理装置，其中，

图像捕获时抖动信息是通过图像捕获装置进行输入图像数据的图像捕获时的图像捕获装置的姿势信息。

12.根据权利要求1所述的图像处理装置，其中，

抖动改变单元将输入图像数据的各帧粘贴到天球模型，并且通过使用对应于各帧的归一化抖动信息旋转各帧来执行抖动改变处理。

13.根据权利要求1所述的图像处理装置，还包括：

关联单元，被配置为将输入图像数据与归一化抖动信息关联。

14.一种图像处理方法，其中，

图像处理装置执行以下处理：

输出对于构成动画的输入图像数据的输出抖动信息的抖动信息处理；

通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化处理；以及

通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

15.一种使信息处理装置执行以下处理的程序：

输出对于构成动画的输入图像数据的输出抖动信息的抖动信息处理；

通过基于视角信息对输出抖动信息进行归一化来获得归一化抖动信息的抖动信息归一化处理；以及

通过使用归一化抖动信息改变输入图像数据的抖动状态的抖动改变处理。

Images