CN101622868B - 画面处理设备以及供其使用的声音变换处理方法 - Google Patents

Abstract

画面变换信息供给部分130根据关于运动画面的运动信息，按帧计算用于画面变换的仿射变换参数。参考参考画面，画面变换部分140利用计算的仿射变换参数，按帧仿射变换构成运动画面的画面。根据指示和来自画面变换部分140的变换后的画面有关的中心位置、角度或缩放系数，声音变换信息计算部分190计算声音变换信息，用于变换对应于画面的声音。根据声音变换信息，声音变换处理部分200控制构成声音的每个声道的音量，相加每个声道的受控声音，并把结果作为输出声音输出给扬声器220。

Description

画面处理设备以及供其使用的声音变换处理方法

技术领域

本发明涉及画面处理设备。更具体地说，本发明涉及能够再现运动画面的画面处理设备，供所述设备使用的处理方法，和使计算机执行所述方法的程序。 

背景技术

近年来，再现数字摄像机等拍摄的运动画面的运动画面再现设备已得到普及。通常使用的数字摄像机是具有与拍摄画面的人的兴趣一致地放大或缩小被拍摄对象的变焦能力的数字摄像机。在再现利用这种变焦能力拍摄的运动画面的情况下，所拍摄对象的大小在显示屏幕上变化，不过声音输出无变化。由此，不能获得足够的真实感。从而提出了例如通过考虑数字摄像机拍摄画面时的情况，处理声音的各种方式。例如，提出了声音变换处理方法(例如，参见专利文献1)，借助所述声音变换处理方法，根据在数字摄像机上进行的变焦操作的有关信息，控制多个声道上的声级。 

[专利文献1] 

日本专利特许公开No.2005-311604(图2) 

发明内容

按照上面提及的现有技术，当再现运动画面(moving picture)时，通过与数字摄像机上的变焦量一致地改变音量，能够获得与运动画面有关的逼真音效。 

不过，按照上述现有技术，当在显示屏幕的有限区域中显示运动画面时，变焦量可能和运动画面在屏幕上的位置不相符。使得不能获得与运动画面在屏幕上的位置对应的恰当音效。这样，当在显示屏幕的有限区域中显示运动画面时，重要的是获得与运动画面在屏幕上的位置有关的音效。 

从而，本发明的目的是当再现运动画面时，产生与显示屏幕上的运动画面显示区有关的声音。 

为了解决上面提及的问题，提出了本发明，按照本发明的第一方面，提供一种画面处理设备，包括：内容获得装置，用于获得包括运动画面和对应于运动画面的声音的内容数据；画面变换信息供给装置，用于根据构成运动画面的第一画面和第二画面，供给关于第二画面相对于第一画面的画面变换信息；画面变换装置，用于参考第一画面，根据画面变换信息变换第二画面；画面合成装置，用于把变换后的第二画面和充当第二画面的背景的背景画面合成为合成画面；显示控制装置，用于使显示装置显示合成画面；声音变换信息计算装置，用于根据画面变换信息，计算关于第二画面的声音的声音变换信息；声音变换处理装置，用于通过根据声音变换信息，对声音进行变换处理，来产生输出声音；和声音输出控制装置，用于使声音输出装置输出输出声音。就根据画面变换信息变换的画面来说，该设备提供按照显示画面的区域来变换和输出声音的效果。 

另外，按照本发明的第一方面，画面变换信息可包括关于第二画面相对于第一画面的移动的元素。这种结构提供按照画面的移动，变换声音的效果。 

另外，按照本发明的第一方面，画面变换信息可包括关于第二画面相对于第一画面的旋转的元素。这种结构提供按照画面的旋转，处理声音的效果。 

另外，按照本发明的第一方面，画面变换信息可包括关于第二画面相对于第一画面的缩放系数的元素。这种结构提供按照画面的缩放系数，处理声音的效果。 

另外，按照本发明的第一方面，声音变换处理装置可包括音量控制装置和声音相加装置；音量控制装置可根据声音变换信息，控制构成声音的多个声道的音量；声音相加装置可相加每个声音的受控声 音。这种结构提供使多个声道上的声音被变换的效果。 

另外，按照本发明的第一方面，声音变换处理装置可通过变换处理，生成构成输出声音的右声道和左声道上的声音。这种结构提供生成左右声音上的声音的效果。 

另外，按照本发明的第一方面，声音变换处理装置可通过变换处理，生成构成输出声音的中央声道上的声音。这种结构提供生成中央声道上的声音的效果。 

另外，按照本发明的第一方面，声音可包括右声道和左声道上的声音；声音变换处理装置可通过对右声道和左声道上的声音进行声音处理，产生输出声音。这种结构提供通过对左右声道上的输入声音进行变换处理，生成输出声音的效果。 

另外，按照本发明的第一方面，声音可包括中央声道上的声音；声音变换处理装置可通过对中央声道上的声音进行变换处理，生成输出声音。这种结构提供通过对中央声道上的输入声音进行变换处理，生成输出声音的效果。 

另外，按照本发明的第一方面，还可包括画面保存装置，以把包括第一画面在内的画面保存为历史画面；其中在运动画面的时间线上，第一画面可按照时间顺序被放在第二画面之前；其中画面变换装置可根据画面变换信息，至少变换第二画面或者保存在画面保存装置中的历史画面；其中画面合成装置可把至少任意之一已被变换的第二画面和历史画面合成为合成画面，并使画面保存装置把合成画面保存为新的历史画面。这种结构提供把出自构成运动画面的画面中的一系列变换画面合成为待显示的合成画面的效果。这种情况下，还可包括显示区提取装置，以便在提取包括在显示区中的画面作为显示画面之前，根据保存在画面保存装置中的新的历史画面，确定作为显示装置上的显示目标的显示区；其中画面合成装置可用变换后的第二画面重写(overwrite)显示画面，以通过合成获得新的显示画面；其中显示控制装置可使显示装置显示新的显示画面；其中显示区提取装置可在画面保存装置的保存区中，产生关于显示区的位置、角度或大小的显 示区提取信息；其中声音变换信息计算装置可根据画面变换信息和显示区提取信息，计算声音变换信息。这种结构提供按照容纳在显示屏幕的区域内的方式，显示当前画面的效果。 

另外，按照本发明的第一方面，画面变换装置可根据指示在显示装置上显示运动画面的显示区的模板信息，变换第二画面。这种结构提供根据模板信息，变换画面的效果。 

按照本发明的第二方面，提供一种供具有声音输出装置的画面处理设备使用的声音变换处理方法，所述声音输出装置输出对应于运动画面的声音，所述声音变换处理方法包括：内容获得步骤，用于获得包括运动画面和声音的内容数据；画面变换信息供给步骤，用于根据构成运动画面的第一画面和第二画面，供给关于第二画面相对于第一画面的画面变换信息；画面变换步骤，用于参考第一画面，根据画面变换信息变换第二画面；声音变换信息计算步骤，用于根据画面变换信息，计算关于声音的声音变换信息；声音变换处理步骤，用于通过根据声音变换信息，对声音进行变换处理，来产生输出声音；和声音输出控制步骤，用于使声音输出装置输出输出声音；或者提供一种使计算机执行这些步骤的程序。就根据画面变换信息变换的画面来说，所述方法或程序提供按照显示画面的区域，变换和输出声音的效果。 

从而，本发明提供当在显示屏幕中再现运动画面时，按照适合于显示屏幕上的运动画面显示区的方式来产生声音的有利效果。 

附图说明

图1是表示作为本发明的一个实施例的画面处理设备的典型功能结构的方框图。 

图2是表示与构成运动画面的帧对应的典型画面的示图。 

图3是表示从与构成运动画面的各帧对应的画面得到的无背景等的简化画面的示图。 

图4是表示构成由作为本发明的实施例的画面处理设备100执行的仿射变换参数检测处理的步骤的流程图。 

图5是表示由成像设备拍摄的运动画面的典型转变的视图。 

图6是用虚线表示图5中的画面中与在前各帧对应的画面，并且还表示检测出的典型光流的视图。 

图7是表示当再现包括图5中的画面401-403的运动画面时产生的典型显示图的示图。 

图8是表示当再现包括图5中的画面401-403的运动画面时产生的典型显示图的示图。 

图9是表示由成像设备拍摄的运动画面的典型转变的示图。 

图10是用虚线表示图9中的画面中与在前各帧对应的画面，并且还表示检测出的典型光流的视图。 

图11是表示当再现包括图9中的画面421-423的运动画面时产生的典型显示图的示图。 

图12是表示当再现包括图9中的画面421-423的运动画面时产生的典型显示图的示图。 

图13是表示由成像设备拍摄的运动画面的典型转变的示图。 

图14是用虚线表示图13中的画面中与在前各帧对应的画面，并且还表示检测出的典型光流的视图。 

图15是表示当再现包括图13中的画面441-443的运动画面时产生的典型显示图的示图。 

图16是表示当再现包括图13中的画面441-443的运动画面时产生的典型显示图的示图。 

图17是表示本发明的实施例中的声音变换处理部分200的典型结构的方框图。 

图18是概述按照惯例再现所拍摄的运动画面的例子的示图。 

图19是根据由作为本发明的实施例的画面处理设备100进行的再现的例子的示图。 

图20是表示本发明的实施例中的显示部分180上的显示屏幕的坐标系的方框图。 

图21是按照本发明的实施例，表示输出声音和对应于当前帧的 画面的中心位置之间的典型关系的图形表示。 

图22是表示成像设备500和被拍摄的对象之间的典型关系的示图。 

图23是概述由作为本发明的实施例的画面处理设备100进行的再现的例子的示图。 

图24是按照本发明的实施例，表示输出声音和对应于当前帧的画面的角度之间的典型关系的图形表示。 

图25是概述由作为本发明的实施例的画面处理设备100进行的再现的例子的示图。 

图26是按照本发明的实施例，表示输出声音和对应于当前帧的画面的缩放系数之间的典型关系的图形表示。 

图27是表示构成由作为本发明的实施例的画面处理设备100执行的运动画面再现处理的步骤的流程图。 

图28是表示构成由作为本发明的实施例的画面处理设备100执行的声音变换处理(即，步骤S950中的过程)的步骤的流程图。 

图29是表示作为本发明的实施例的画面处理设备650的典型功能结构的方框图。 

图30是示意表示记录在本发明的实施例中的运动画面存储部分240和元数据存储部分250中的文件的示图。 

图31是表示作为本发明的实施例的画面处理设备680的典型功能结构的方框图。 

图32是示意表示显示区和保存在本发明的实施例中的运动画面存储部分240中的运动画面的各帧之间的关系的示图。 

图33是示意表示当对应于当前帧的画面延伸到显示区之外时，移动显示区的处理的示图。 

图34是表示当用图33中所示的移动处理移动显示区时，所实现的转变的例子的示图。 

图35是示意表示显示区和保存在本发明的实施例中的运动画面存储部分240中的运动画面文件的各帧之间的关系的示图。 

图36是概述当指示把对应于当前帧的画面固定在显示部分180上的显示模式时，涉及放大显示在显示部分180上的运动画面的方法的示图。 

图37是示意表示保存在本发明的实施例中的运动画面存储部分240中的运动画面文件的帧的流动的示图。 

图38是示意表示保存在本发明的实施例中的运动画面存储部分240中的运动画面文件的帧的流动的示图。 

图39是表示构成由作为本发明的实施例的画面处理设备650执行的运动画面再现处理的步骤的流程图。 

图40是表示构成由作为本发明的实施例的画面处理设备680执行的运动画面再现处理的步骤的流程图。 

图41是表示构成由作为本发明的实施例的画面处理设备680执行的声音变换处理(即，步骤S980中的过程)的例证步骤的流程图。 

图42是表示作为本发明的实施例的画面处理设备740的典型功能结构的方框图。 

图43是示意表示记录在本发明的实施例中的运动画面存储部分240和相对关系信息存储部分290中的文件的示图。 

图44是示意表示合成两个运动画面的例子的视图。 

图45是表示作为本发明的实施例的画面处理设备740中的声音变换处理部分200的典型结构的方框图。 

图46是表示当作为本发明的实施例的画面处理设备740同时再现两个运动画面时进行的声音变换处理的例子的示图。 

图47是按照本发明的实施例，表示按照除关于运动画面的运动信息外的其它信息，变换声音的处理的例子的示图。 

图48是表示本发明的实施例中的照相机工作检测部分480的典型功能结构的方框图。 

图49是表示本发明的实施例中的多核处理器800的典型结构的示图。 

图50是表示本发明的实施例中的控制处理器核芯801的典型结 构的示图。 

图51是表示本发明的实施例中的算术处理器核芯(#1)811的典型结构的示图。 

图52是示意表示本发明的实施例中的多核处理器800的计算方法的示图。 

图53是示意表示当本发明的实施例中的多核处理器800进行运算时，程序和数据的实际流动的示图。 

图54是与利用单一指令，对多个数据项进行处理的SIMD计算相比，示意概述利用特定于处理的指令，对多个数据项进行所述处理的计算方法的示图。 

图55是表示由本发明的实施例中的控制处理器核芯801或者算术处理器核芯(#1)811执行的程序的典型结构的示图。 

图56是示意概述当利用Sobel滤波器830对保存在本发明的实施例中的主存储器781中的画面数据进行滤波处理时，实际的数据结构和处理流程的示图。 

图57是示意概述当利用Sobel滤波器830对保存在本发明的实施例中的主存储器781中的画面数据进行SIMD计算时，实际的数据流的示图。 

图58是示意概述当在本发明的实施例中，利用Sobel滤波器830进行滤波处理时，根据保存在第一缓冲区831中的画面数据创建9个矢量的矢量创建方法的示图。 

图59是示意概述当在本发明的实施例中，利用Sobel滤波器830进行滤波处理时，利用SIMD指令对矢量数据841-849进行矢量运算的矢量运算方法的示图。 

图60是按照本发明的实施例，按时间顺序概述照相机工作参数计算处理的流程的示图。 

图61是示意表示作为典型记录介质的蓝光光盘880，记录在蓝光光盘880上的数据881～884，和能够再现蓝光光盘880的蓝光播放器890的内部结构的示图。 

具体实施方式

下面参考附图，详细说明本发明的一些实施例。 

图1是表示具体体现本发明的画面处理设备100的典型功能结构的方框图。画面处理设备100由内容存储部分110，内容获得部分120，画面变换信息供给部分130，画面变换部分140，画面合成部分150，画面存储器160，显示控制部分170，显示部分180，声音变换信息计算部分190，声音变换处理部分200，声音输出控制部分210，扬声器220，和操作接受部分230构成。例证地，画面处理设备100可由通过画面分析，能够从由诸如数字摄像机之类成像设备拍摄的运动画面中提取特征量，并且能够利用提取的特征量进行各种画面处理的个人计算机实现。 

内容存储部分110保存内容文件，每个内容文件都包括运动画面和与运动画面对应的声音。依据内容获得部分120的请求，内容存储部分110把内容文件提供给内容获得部分120。 

内容获得部分120按照通过操作接受部分230输入的内容获得操作，从内容存储部分110获得内容文件。内容获得部分120把来自获得的内容文件的运动画面输出给画面变换信息供给部分130和画面变换部分140。另外，内容获得部分120把与获得的内容文件中的运动画面对应的声音输出给声音变换处理部分200。 

画面变换信息供给部分130通过分析内容获得部分120输出的运动画面，检测运动信息，并根据运动信息计算仿射变换参数。即，画面变换信息供给部分130从构成运动画面的每个画面中提取特征点，从特征点提取光流(运动矢量)，分析提取的特征点的光流以选择表明主要运动的特征点，并根据和表现主要运动的特征点有关的光流，估计成像设备的运动。在这种情况下，主要运动指的是由关于多个特征点的那些光流中，相对大量的光流指示的常规运动。画面变换信息供给部分130把仿射变换参数提供给画面变换部分140。 

在已知构成内容获得部分120输出的运动画面的画面，以及保存 在画面存储器160中的画面的条件下，画面变换部分140利用画面变换信息供给部分130供给的仿射变换参数，关于与第一帧对应的画面按帧进行仿射变换。具体地说，画面变换部分140利用通过把与当前帧对应的仿射变换参数的矩阵乘以与一直到前一帧的各帧对应的仿射变换矩阵而获得的仿射变换参数的矩阵，进行仿射变换。画面变换部分140至少或者对构成内容获得部分120输出的运动画面的画面，或者对保存在画面存储器160中的合成画面进行仿射变换，并把变换后的画面输出给画面合成部分150。另外，参考画面存储器160中与第一帧对应的画面，并根据通过上述乘法获得的仿射变换参数，画面变换部分140计算与当前帧对应的画面的中心位置、角度和缩放系数，并把结果输出给声音变换信息计算部分190。在下面的说明中，与第一帧对应的画面的有关信息将被称为参考信息。参考信息指示画面存储器160中与第一帧对应的画面的中心位置、角度和大小，并被保存在画面变换部分140中。 

具体地说，当通过固定经合成与当前帧之前的各帧对应的画面而获得的合成画面，再现和显示运动画面时，画面变换部分140通过使用画面变换信息供给部分130提供的仿射变换参数，对内容获得部分120输出的与当前帧对应的画面进行仿射变换。画面变换部分140输出保存在画面存储器160中的画面，以及与当前帧对应的已变换画面。这种情况下，画面变换部分140把对应于当前帧的画面的除缩放系数外的中心位置和角度输出给声音变换信息计算部分190。同时，当通过固定与当前帧对应的画面，再现和显示运动画面时，画面变换部分140沿仿射变换参数的相反方向，利用画面变换信息供给部分130提供的仿射变换参数，对保存在画面存储器160中的合成画面进行仿射变换。画面变换部分140把对应于当前帧的画面和沿相反方向变换的合成画面输出给画面合成部分150。这种情况下，画面变换部分140只向声音变换信息计算部分190输出对应于当前帧的画面的缩放系数。另外，当通过调整与当前帧对应的画面的缩放系数，再现和显示运动画面时，画面变换部分140把画面变换信息供给部分130供给的 仿射变换参数分成和缩放系数相关的元素(即，变焦分量(zoomcomponent))和除缩放系数的元素之外的元素(即，与运动或旋转相关的元素)。通过利用比例放大/比例缩小元素，画面变换部分140沿仿射变换参数的相反方向，对与在当前帧之前的各帧对应，并保存在画面存储器160中的合成画面进行仿射变换。画面变换部分140还利用与运动或旋转相关的元素，对内容获得部分120输出的对应于当前帧的画面进行仿射变换。画面变换部分140把这两个变换后的画面输出给画面合成部分150。这种情况下，画面变换部分140把与当前帧对应的画面的中心位置，角度和缩放系数输出给声音变换信息计算部分190。 

上述变换是按照作为再现指令，通过操作接受部分230输入的操作进行的。尽管上面的例子说明画面变换部分140按照作为再现指令，通过操作接受部分230输入的操作，计算对应于当前帧的画面的中心位置，角度和缩放系数，并且计算的信息被输出给声音变换信息计算部分190，不过另一方面，声音变换信息计算部分190可利用画面变换部分140输出的参考信息，和通过乘法获得的仿射变换参数，计算与当前帧对应的画面的中心位置，角度和缩放系数。此外，代替向声音变换信息计算部分190输出画面存储器160中的对应于第一帧的画面的中心位置，角度和大小，另一方面，画面变换部分140可输出与当前帧的前一帧对应的画面的中心位置，角度和大小。这种情况下，通过使用与当前帧的前一帧对应的画面的中心位置，角度和大小，而不是参考信息，声音变换信息计算部分190根据与当前帧对应的仿射变换参数，计算对应于当前帧的画面的中心位置，角度和缩放系数。另外，通过利用与在当前帧之前预定帧数出现的帧对应的画面的中心位置，角度和大小，并根据与一直到在当前帧之前预定帧数出现的帧的各帧对应的仿射变换参数，可进行与在当前帧之前预定帧数出现的帧对应的画面的类似计算。 

画面合成部分150从画面变换部分140接收内容获得部分120输出的构成运动画面的画面，以及保存在画面存储器160中的合成画 面，并合成接收的画面。画面合成部分150使画面存储器160保存合成的画面，并把合成的画面输出给显示控制部分170。尽管这里引用的例子涉及让画面合成部分150使画面存储器160保存合成的画面，不过另一方面，预定画面可被保存在画面存储器160中，而不是把合成的画面保存在画面存储器160中。例如，假定预定画面是公园的画面，待与所述公园的画面合成的运动画面是表示正在散步的孩子们的画面。这种情况下，公园的画面可被保存在画面存储器160中，通过仿射变换，运动画面可与公园的画面合成。这使得能够显示实际上表示正在公园中散步的孩子们的运动画面。 

画面存储器160是保存由画面合成部分150合成的合成画面的工作缓冲器。画面存储器160把保存于其中的合成画面提供给画面变换部分140。 

显示控制部分170使显示部分180按帧显示画面合成部分150合成的合成画面。 

在显示控制部分170的控制下，显示部分180显示画面合成部分150合成的合成画面。例如，可以个人计算机的显示器或者TV显示器的形式实现显示部分180。 

声音变换信息计算部分190利用仿射变换参数和参考信息，根据画面变换部分140获得的与当前帧对应的画面的中心位置、角度或缩放系数，计算声音变换信息。在这种情况下，声音变换信息指的是用于变换内容获得部分120输出的声音的信息。声音变换信息计算部分190把计算的声音变换信息输出给声音变换处理部分200。 

声音变换处理部分200通过根据声音变换信息计算部分190计算的声音变换信息，变换内容获得部分120输出的声音，产生输出声音。声音变换处理部分200把产生的输出声音输出给声音输出控制部分210。声音变换处理部分200包括音量控制部分201和声音相加部分202。音量控制部分201根据声音变换信息计算部分190计算的声音变换信息，控制构成内容获得部分120输出的声音的多个声道的音量。音量控制部分201把多个声道的受控音量输出给声音相加部分202。 声音相加部分202按声道把音量控制部分201控制的音量相加。声音相加部分202把相加的声音作为输出声音输出给声音输出控制部分210。 

声音输出控制部分210使扬声器220输出由声音变换处理部分200产生的输出声音。 

在声音输出控制部分210的控制下，扬声器220输出声音变换处理部分200产生的输出声音。另外，扬声器200组成由多个扬声器构成的扬声器系统。 

操作接受部分230具有各种操作键。当接受通过这些按键输入的操作时，操作接受部分230把包含在所接受操作中的内容输出给内容获得部分120或者画面变换部分140。操作接受部分230具有例证用于设置再现运动画面的显示模式的设置键。所述显示模式可以是显示通过对与当前帧对应的画面进行仿射变换，并合成变换后的画面与对应于先前各帧的合成画面而获得的合成画面的模式；显示通过合成对应于当前帧的画面和对应于先前各帧，并且沿仿射变换参数的相反方向经历仿射变换的合成画面而获得的合成画面的显示模式；或者通过固定对应于当前帧的画面的显示缩放系数，再现和显示运动画面的显示模式。另外，操作接受部分230把包含在为了内容获得而输入的操作中的内容输出给内容获得部分120。 

上面参考图1举例说明了画面变换信息供给部分130通常是如何计算仿射变换参数的。另一方面，与仿射变换参数相关的运动画面可被保存在内容存储部分110中。该运动画面随后可由内容获得部分120获取，并输出给画面变换信息供给部分130，与该运动画面相关的仿射变换参数可由画面变换信息供给部分130提取，并输出给画面变换部分140。 

下面参考附图详细说明检测用于画面变换的仿射变换参数的检测方法。 

图2(a)-(c)是表示与构成运动画面的帧对应的典型画面的示图。图3(a)是表示与在对应于图2中所示的画面300的帧之前的帧对应的 无背景等的简化画面的示图。图3(b)和(c)是表示与图2的画面300对应的无背景等的简化画面的示图。 

图2和3中所示的画面300、320和330包括人所骑的马的雕像301、321和331，和在马的雕像的前景中的蛇的雕像302、322和332。如图2中所示，在这些雕像的背景中可发现旗帜和椅子，旗帜在风中飘动。 

图3(a)中所示的画面320是从与在对应于图2(a)-(c)，及图3(b)和(c)中所示的画面300和330的帧之前的帧对应的画面得到的简化画面。对应于连续两帧的画面320和330显示在屏幕内，对象的大小逐渐增大的转变。即，当拍摄这些画面时，进行了拉近操作，以在屏幕内放大对象。 

通过引用利用与从构成运动画面的画面检测的特征点对应的光流，计算仿射变换参数的方法，举例说明本发明的实施例。下面利用角点作为特征点，说明该例子。 

下面参考图3(a)-(c)说明的是利用与从画面320和330检测的三个角点对应的光流，计算仿射变换参数的方法。 

例如，假定在图3(a)的画面320中，所检测的特征点是位于马雕像321的嘴附近的角点323，位于骑在马雕像321上的人的臀部附近的角点324，和位于蛇雕像322的嘴附近的角点325。这种情况下，在图3(b)的画面330中，利用梯度方法、块匹配方法等检测与画面320中的角点323、324和325对应的光流337、338和339。根据检测的光流337、338和339，检测与画面320中的角点323、324和325对应的角点333、334和335。 

这种情况下，包括在图3(a)和(b)的画面320和330中的马雕像321和331，及蛇雕像322和332例证地被放在地上，从而不移动，与成像设备的运动无关。为此，根据关于从马雕像321和331，及蛇雕像322和332检测的角点而获得的光流，精确地估计成像设备的移动。例如，如图3(c)中所示，根据在画面330中检测到的三个光流337-339，能够估计从以点336为中心的画面320开始放大了画面330。 这使得能够确定在拍摄画面330时，成像设备的移动是以点336为中心的拉近操作。按照这种方式，从与成像设备的运动无关，并不移动的对象检测角点。根据关于这些角点获得的光流，能够精确地检测成像设备的一定规律性的移动。从而，通过利用关于这些角点而获得的光流，能够计算仿射变换参数。 

不过，可以想到的是，画面可包括与成像设备的运动无关地移动的对象，比如在风中飘动的旗帜。例如，图2中所示的画面300包括在风中飘动的旗帜。如果从这种与成像设备的运动无关地移动的对象检测角点，并且如果从这些角点获得了光流，且光流被用于估计成像设备的运动，那么能够精确地估计成像设备的运动。 

例证地，在图2(b)中所示的画面300中检测到的光流用箭头表示，从这些光流检测的角点由位于箭头顶端的空心圆指示。这里，角点303-305对应于图3(b)和(c)中所示的角点333-335。角点306-311是检测自马雕像301的背景中的旗帜的角点。由于这些旗帜在风中飘动，因此受风的影响的旗帜的飘动被检测为光流。即，从与成像设备的移动无关地飘动的旗帜检测到与角点306-311对应的光流。为此，如果用于计算仿射变换参数的三个光流包括与角点306-311至少之一对应的光流，那么不能准确地检测成像设备的移动。这种情况下，不可能准确地计算仿射变换参数。 

如上所述，可能碰巧从拍摄的画面中，检测出和与成像设备的移动无关地移动的对象对应的光流(即，与图2(b)中所示的角点306-311对应的光流)，以及相对于成像设备的运动具有某种规律性的光流(即，除与图2(b)中所示的角点306-311对应的光流之外的光流)。 

从而就本发明的实施例来说，要说明的是仿射变换参数计算过程被执行多次，以根据三个光流计算多个仿射变换参数，并从这样的多个仿射变换参数中选择最佳的仿射变换参数。对于本例来说，假定与画面的面积相比，包括在构成运动画面的画面中的运动画面具有较小的面积。 

下面简要说明仿射变换。在二维空间中，如果移动前的位置被定 义为(x，y)，按照仿射变换的移动后的目的地位置被定义为(x′，y′)，那么仿射变换的行列式由下面的表达式1给出： 

[表达式1] 

$\left(\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right)=\left(\begin{array}{ccc}x& y& 1\end{array}\right)\left(\begin{array}{ccc}a& d& 0\\ b& e& 0\\ c& f& 1\end{array}\right)$ (表达式1) 

其中“a”-“f”代表仿射变换参数。由这些仿射变换参数构成的仿射变换矩阵AM由下面所示的表达式定义。这种情况下，X方向变焦分量XZ，Y方向变焦分量YZ，X方向平移分量XT，Y方向平移分量YT，和旋转分量R由下面表示的其它表达式获得。就单位矩阵来说，a＝e＝1，b＝c＝d＝f＝0。 

[表达式2] 

$\mathrm{AM}=\left(\begin{array}{ccc}a& b& c\\ d& e& f\end{array}\right)$

$\mathrm{XZ}=\sqrt{a^2+d^2}$ $\mathrm{YZ}=\sqrt{b^2+e^2}$

XT＝c    YT＝f 

$R={\tan }^{-1}\left(\frac{d}{a}\right)$

下面说明计算仿射变换参数的方法。 

首先，从依据其在对应于当前帧的画面中检测了光流的特征点中选择三个特征点，所述当前帧是构成运动画面的帧之一。例如，从在图2(b)的画面300中检测的角点(用空心圆表示)中，随便选择三个角点。如果投影变换参数被用作仿射变换参数，那么随便选择四个特征点。 

随后，利用与选择的三个特征点对应的三个光流，计算仿射变换参数。例如，利用与从图2(b)的画面300中的角点(用空心圆表示)中选择的三个角点对应的光流(用以空心圆为尖端的箭头表示)，计算仿射变换参数。利用表达式1可获得仿射变换参数。 

随后，根据上面获得的仿射变换参数，计算参数的得分。具体地说，获得的仿射变换参数被用于找出所有特征点在与当前帧的前一帧对应的画面中的移动后的位置。通过一方面利用仿射变换参数获得的 特征点的位置，和另一方面在当前帧中检测的特征点的位置之间的比较，在两个对应特征点的位置之间计算每个特征点的差值。例如，特征点的两个对应位置之间的绝对距离被计算为所述差值。之后，比较计算的差值与每个特征点的预定阈值，以得到其差值小于阈值的特征点的数目，该数目被视为所述得分。按照这种方式，从依据其检测了光流的特征点中随便选择三个特征点。根据与选择的特征点对应的光流，计算仿射变换参数得分的处理被重复预定次数，以便计算多个仿射变换参数得分。所述预定次数可被固定为预定值，或者可按照待比较的画面的种类和画面处理设备100的吞吐量来确定。例如，在考虑到画面处理设备100的吞吐量的情况下，预定处理重复计数可以约为20。 

例如，推想除角点306-311外的三个角点选自在图2(b)的画面300中检测的角点的情况。随后利用与选择的三个角点对应的三个光流计算仿射变换参数。由于如上所述，这三个光流具有一定的规律性，因此能够获得达到按照某些规则变换对应于前一帧的画面的程度的仿射变换参数。为此，在一方面利用仿射变换参数获得的角点的位置，和另一方面从当前帧检测的角点的位置之间的差值中，关于除角点306-311外的角点获得的差值较小。从而，仿射变换参数的得分势必较大。 

同时，推想包括角点306-311至少之一的三个角点选自在图2(b)的画面300中检测的角点的情况。随后利用与这样选择的三个角点对应的三个光流计算仿射变换参数。由于这三个光流包括如上所述不具有一定规律性的一个光流，因此不能获得达到按照某些规则变换对应于前一帧的画面的程度的仿射变换参数。为此，在一方面利用仿射变换参数获得的角点的位置，和另一方面从当前帧检测的角点的位置之间的差值中，关于任意选择的角点的差值较大。从而，仿射变换参数的得分势必较小。 

随后，从这样获得其得分的多个仿射变换参数之中，选择得分值最大的仿射变换参数作为代表性仿射变换参数。选择的代表性仿射变 换参数被供给画面变换部分140。这使得当构成运动画面的画面将被仿射变换时，能够使用最佳的仿射变换参数。 

如上所述，即使画面运动画面的画面包括移动的对象，比如人、车或类似物(即，运动对象)，只要与画面的面积相比，所述运动对象的大小相对较小，就能够提取成像设备的移动，而不受这样的运动对象的影响。 

通过提取成像设备的移动，能够估计拉近、拉远、遥摄、倾斜、旋转、或者被认为是拍摄画面的人有意进行的其它操作。 

下面参考附图，说明作为本发明的一个实施例的画面处理设备100的工作。 

图4是表示构成作为本发明的一个实施例的画面处理设备100进行的仿射变换参数检测处理的步骤的流程图。 

首先，内容获得部分120获得内容文件(步骤S900)。随后，内容获得部分120获得的内容文件的运动画面被解码，按照时间顺序获得一帧的画面(步骤S901)。随后进行检查，以确定所获得的一帧是否是输入画面变换信息供给部分130的运动画面的第一帧(步骤S902)。如果认为所获得的一帧是第一帧(步骤S902)，那么从对应于第一帧的整个画面中提取特征点(步骤S903)。例如，如图2(b)中所示，从画面中提取多个角点。随后，单位矩阵仿射变换参数被选为仿射变换参数(步骤S904)，到达步骤S914。 

如果认为所获得的一帧不是第一帧(步骤S902)，那么关于对应于前一帧的画面，从新拍摄的区域中提取特征点(步骤S905)。即，可根据与之对应的光流，获得已从对应于前一帧的画面中提取的特征点，从而所述特征点不是提取自对应于当前帧的画面。 

随后，计算和从对应于前一帧的画面提取的特征点对应的光流(步骤S906)。即，如图2(b)中所示，计算关于角点的光流。 

随后，变量“i”被初始化为“1”(步骤S907)。随后，从依据其检测了光流的那些特征点中选择多达M个特征点(步骤S908)。例如，在要使用仿射变换参数的情况下，随便选择三个特征点。如果要使用投 影变换参数，那么随便选择四个特征点。随后，根据对应于选择的M个特征点计算的M个光流，计算仿射变换参数(步骤S909)。 

随后，根据这样计算和获得的仿射变换参数，计算仿射变换参数的得分(步骤S910)。具体地说，计算的仿射变换参数被用于找出所有特征点在对应于前一帧的画面中的移动后的位置。通过一方面利用仿射变换参数获得的特征点的位置，和另一方面当在步骤S906中计算光流时，获得的特征点在对应于当前帧的画面中的位置之间的比较，在两个对应特征点的位置之间，计算关于每个特征点的差值。例如，两个对应位置之间的绝对距离被计算为所述差值。随后，比较计算的差值和每个特征点的预定阈值，以得到其差值小于阈值的特征点的数目，该数目被视为仿射变换参数的得分。 

随后，变量“i”被加“1”(步骤S911)。进行检查，以确定变量“i”是否大于常数N(步骤S912)。如果发现变量“i”小于常数N(步骤S912)，那么再次到达步骤S908，重复计算仿射变换参数的得分的处理(步骤S908-S910)。例如，数字20可被用作常数N。 

同时，如果发现变量“i”大于常数N(步骤S912)，那么从这样获得其得分的仿射变换参数中，得分值最大的仿射变换参数被选为代表性仿射变换参数(步骤S913)。随后，选择的代表性仿射变换参数被供给画面变换部分140(步骤S914)。如果当前帧是第一帧，那么选择的单位矩阵的仿射变换参数被供给画面变换部分140。随后，通过重写保存对应于当前帧的画面和该画面的特征点(步骤S915)。 

随后进行检查，以确定当前帧是否是输入画面变换信息供给部分130的运动画面的最后一帧(步骤S916)。如果发现当前帧不是最后一帧(步骤S916)，那么再次到达步骤S901，重复仿射变换参数检测处理(步骤S901-S916)。如果发现当前帧是最后一帧(步骤S916)，那么结束仿射变换参数检测处理。 

就本发明的实施例来说，说明了如何根据从构成运动画面的画面检测的光流，检测仿射变换参数。另一方面，成像设备可配备诸如加速度传感器和陀螺仪传感器之类的传感器，或者配备进行变焦操作的 变焦按钮。这种传感器或变焦按钮可被用于在拍摄画面时，检测成像设备的移动量，根据成像设备的移动量，可计算仿射变换参数。拍摄画面时检测的成像设备的这种移动量可被用于确定画面变换信息供给部分13获得的仿射变换参数是否正确。作为另一种备选方案，画面变换信息供给部分130可预先检测多个仿射变换参数，并根据拍摄画面时检测的成像设备的移动量，选择所述多个仿射变换参数之一。 

下面参考附图，详细说明如何利用上述仿射变换参数再现和显示运动画面。应注意为了便于说明，简化了图5-16中所示的画面，并且放大表示两个连续帧之间的移动量。 

首先说明其中在成像设备拍摄画面的时候，缩放系数保持不变的情况下，相对于由设备的位置构成的中心垂直或水平移动设备的透镜方向的情况。 

图5是表示成像设备拍摄的运动画面的典型转变的示图。图5包含画面401-403，所述画面401-403对应于包括在以山为背景，拍摄的人400的运动画面中的连续帧。在本例中，在拍摄画面的时候，摄像者向右和向上移动成像设备的透镜方向。这种情况下，在构成该运动画面的画面中，包括在成像设备拍摄的运动画面中的人400被显示成从右往左，并朝着底部移动。 

图6是在图5中的画面中用虚线表示与前一帧对应的画面，并且表示从这些画面检测的典型光流的视图。图6(a)中所示的画面401和图5(a)中所示的画面401相同。图6(b)的画面402中，用实线表示的部分和图5(b)的画面402中的那些部分相同，图6(b)的画面402中，用虚线表示的部分和图6(a)的画面401中，用实线表示的那些部分相同。图6(b)的画面402中的箭头404-406表示从画面402检测的典型光流。同样地，图6(c)的画面403中，用实线表示的部分和图5(c)的画面403中的那些部分相同，图6(c)的画面403中，用虚线表示的部分和图6(b)的画面402中，用实线表示的那些部分相同。图6(c)的画面403中的箭头407-409表示从画面403检测的典型光流。 

如图6(b)和(c)中所示，画面中的人400和背景中的山与成像设备 的移动一致地移动。根据通过所述移动检测的光流，能够获得每帧的仿射变换参数。 

图7是当再现包括在图5中所示的画面401-403中的运动画面时实际的典型显示图的视图。就本发明的实施例来说，构成运动画面的每个画面被合成。为此，与标准画面大小相比，随着再现时间的过去，显示在显示部分180上的画面变大。从而，与显示部分180上的显示区的大小相比，最初显示的画面看来较小。用户可以指定要首先显示的画面的大小、位置等等。 

如图7(a)中所示，一开始只显示对应于第一帧的画面401。如果对应于画面401的仿射变换参数的矩阵(3×3矩阵)用A1表示，那么A1构成单位矩阵，从而画面401的位置和大小不被变换。如果接连显示对应于下一帧的画面402，那么利用与该帧相关的仿射变换参数，仿射变换画面402。具体地说，假设A2代表对应于画面402的仿射变换参数的矩阵，A1表示对应于画面401的仿射变换参数的矩阵，那么获得“A1×A2”的值。参考第一帧的画面401的位置和大小，利用这样获得的矩阵“A1×A2”仿射变换画面402。在图7(b)中所示的画面中，画面402只在位置方面被变换。对应于前一帧的画面401被利用仿射变换参数仿射变换的画面402重写。即，在画面401的区域中，与画面402重叠的区域410被画面402重写。在画面401的区域中，不与画面402重叠的区域411与画面401合成。即，当要显示对应于第二帧的画面402时，整个画面402和画面401中与区域411对应的区域被合成为被显示的画面，如图7(b)中所示。另外，可按照环绕对应于当前帧的画面的方式显示像框图案，以便指示显示画面中的最新画面。在图7(b)中，围绕画面402显示像框图案。依据其仿射变换画面402的仿射变换参数被保存在画面变换部分140中。 

在接下来要显示对应于下一帧的画面403的情况下，利用与该帧相关的仿射变换参数仿射变换画面403。即，利用通过把对应于画面403的仿射变换参数的矩阵乘以在前一仿射变换中使用的，对应于画面402的仿射变换参数的矩阵而获得的仿射变换参数，仿射变换画面 403。具体地说，假设A3代表对应于画面403的仿射变换参数的矩阵，A2表示对应于画面402的仿射变换参数的矩阵，A1代表对应于画面401的仿射变换参数的矩阵，那么获得“A1×A2×A3”的值。参考第一帧的画面401的位置和大小，利用这样获得的矩阵“A1×A2×A3”仿射变换画面403。在图7(c)中所示的画面中，只有画面403在位置方面被变换。对应于在先帧的从画面401和402得到的合成画面被利用仿射变换参数仿射变换的画面403重写。即，在从画面401和402得到的合成画面中的区域中，与画面403重叠的区域413和414被画面403重写。在从画面401和402得到的合成画面中的区域中，不与画面403重叠的区域411和412与出自画面401和402的合成画面合成。即，当要显示对应于第三帧的画面403时，整个画面403，画面401中对应于区域411的区域，和画面402中对应于区域412的区域被合成为显示的画面，如图7(c)中所示。另外，在将按照环绕对应于当前帧的画面的方式，显示指示显示的画面中的最新画面的像框图案的情况下，使像框图案出现在图7(c)中所示的画面403的周围。依据其仿射变换画面403的仿射变换参数被保存在画面变换部分140中。即，通过把对应于画面402和402的仿射变换参数的矩阵相乘而获得的仿射变换参数被保存在画面变换部分140中。这样，在将仿射变换对应于当前帧的画面的情况下，通过把对应于当前帧的仿射变换参数的矩阵乘以与在当前帧之前的各帧对应的仿射变换参数的矩阵，获得仿射变换参数。随后利用获得的仿射变换参数，仿射对应于当前帧的画面。关于该仿射变换获得的仿射变换参数被保存在画面变换部分140中，供下一次仿射变换之用。这同样适用于图11和15的情况。 

图8是表示当要再现包括图5中的画面401-403的运动画面时实际的典型显示图的示图。图7中所示的典型显示图表示通过固定与在当前帧之前的各帧对应的合成画面(第一次是单一的画面)，并用在仿射变换之后对应于当前帧的画面重写固定的合成画面而获得的合成画面。相反，图8中所示的典型显示图表示通过固定对应于当前帧的画面的位置，通过沿仿射变换参数的相反方向仿射变换与在当前帧之 前的各帧对应的合成画面，并用对应于当前帧的画面重写仿射变换之后的合成画面而获得的合成画面。即，图7和8中所示的显示图在显示在固定位置的画面，和要被仿射变换的画面方面不同，不过在其它部分是相同的。为此，为了便于说明，用相同的附图标记指定与图7共有的各个部分。 

如图8(a)中所示，一开始只显示对应于第一帧的画面401。当随后要显示对应于下一帧的画面402时，通过利用与该帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变换在前的画面401。具体地说，假定A2代表对应于画面402的仿射变换参数的矩阵，A1表示对应于画面401的仿射变换参数的矩阵，那么获得值inv(A1×A2)，利用这样获得的矩阵inv(A1×A2)仿射变换画面401。这里应注意invA(A是矩阵)是A的逆矩阵。在图8(b)中所示的画面中，画面401仅仅位置被变换。沿仿射变换参数的相反方向仿射变换的画面401被对应于当前帧的画面402重写。通过用画面402重写画面401而获得的合成画面与图7(b)中所示的合成画面相同，从而不再进一步讨论。 

随后，在要显示对应于下一帧的画面403的情况下，通过利用与所述下一帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变换从画面401和402得到的对应于前一帧的合成画面。具体地说，假定A3代表对应于画面403的仿射变换参数的矩阵，A2表示对应于画面402的仿射变换参数的矩阵，A1代表对应于画面401的仿射变换参数的矩阵，那么获得值inv(A1×A2×A3)，并利用这样获得的矩阵inv(A1×A2×A3)仿射变换从画面401和402获得的合成画面。在图8(c)中所示的画面中，从画面401和402获得的合成画面仅仅位置被变换。沿仿射变换参数的相反方向仿射变换的得自于画面401和402的合成画面被对应于当前帧的画面403重写。通过用画面403重写画面401和402而获得的合成画面和图7(c)中所示的合成画面相同，从而不再进一步讨论。 

下面说明在不移动成像设备的透镜方向的时候，改变成像设备在拍摄画面时的缩放系数的情况。 

图9是表示成像设备拍摄的运动画面的典型转变的示图。图9具有画面421-423，所述画面421-423对应于包括在以山为背景，拍摄的人420的运动画面中的连续帧。在本例中，摄像者在增大成像设备的透镜的缩放系数的同时拍摄画面。这种情况下，在构成运动画面的画面中，包括在成像设备拍摄的运动画面中的人420的大小逐渐增大。尽管当增大缩放系数的时候，成像设备的位置可能稍微移动，不过为了便于说明，不考虑成像设备位置的移动。 

图10是在图9中的画面中用虚线表示与前一帧对应的画面，并且表示从这些画面检测的典型光流的视图。图10(a)中所示的画面421和图9(a)中的画面421相同。图10(b)的画面422中，用实线表示的部分和图9(b)的画面422相同，图10(b)的画面422中，用虚线表示的部分和图9(a)的画面421中，用实线表示的那些部分相同。另外，图10(b)的画面422中的箭头424-426表示从画面422检测的典型光流。同样地，图10(c)的画面423中，用实线表示的部分和图9(c)的画面423相同，图10(c)的画面423中，用虚线表示的部分和图9(b)的画面422中，用实线表示的那些部分相同。图10(c)的画面423中的箭头427-429表示从画面423检测的典型光流。 

如图10(b)和(c)中所示，当缩放系数被改变时，画面中的人420和背景中的山的大小相应地被改变。根据通过这些变化检测的光流，能够获得每一帧的仿射变换参数。 

图11是表示当再现包括图9中所示的画面421-423的运动画面时实际的典型显示图。 

如图11(a)中所示，一开始只显示对应于第一帧的画面421。随后当显示对应于下一帧的画面422时，利用与该帧相关的仿射变换参数，仿射变换画面422。在图11(b)中所示的画面中，画面422仅仅大小被变换。对应于前一帧的画面421被利用仿射变换参数仿射变换的画面422重写。即，在画面421的区域中，与画面422重叠的区域被画面422重写。这种情况下，画面421在所有区域中都与画面422重叠，以致画面421全部被画面422重写。在画面421的区域中，不与 画面422重叠的区域431与画面421合成。即，当要显示对应于第二帧的画面422时，整个画面422和画面421中与区域431对应的区域被合成为显示的画面，如图11(b)中所示。另外，可使指示显示的画面中的最新画面的像框图案出现在对应于当前帧的画面周围。在图11(b)中，围绕画面422显示像框图案。依据其仿射变换画面422的仿射变换参数被保存在画面变换部分140中。 

随后，当要显示对应于下一帧的画面423时，利用与该帧相关的仿射变换参数仿射变换画面423。即，利用通过把对应于画面423的仿射变换参数的矩阵乘以在前一仿射变换中使用的对应于画面422的仿射变换参数的矩阵而获得的仿射变换参数，仿射变换画面423。在图11(c)中所示的画面中，画面423仅仅大小被变换。与前一帧对应的从画面421和422获得的合成画面被利用仿射变换参数仿射变换的画面423重写。即，在构成从画面421和422获得的合成画面的区域中，与画面423重叠的那些区域被画面423重写。这种情况下，画面423与画面421和422的所有区域重叠，以致从画面421和422得到的合成画面全部被画面423重写。在构成从画面421和422得到的合成画面的区域中，不与画面423重叠的区域432和433与从画面421和422得到的合成画面合成。即，当要显示对应于第三帧的画面423时，整个画面423，画面421中对应于区域432的区域，和画面422中对应于区域433的区域被合成为显示的画面，如图11(c)中所示。当要按照环绕对应于当前帧的画面的方式显示指示显示的画面中的最新画面的像框图案时，使像框图案出现在图11(c)中所示的画面423周围。另外，依据其仿射变换画面423的仿射变换参数被保存在画面变换部分140中。即，通过把对应于画面422和423的仿射变换参数的矩阵相乘而获得的仿射变换参数被保存在画面变换部分140中。 

图12是表示当再现图9中所示的画面421-423时实际的典型显示图的示图。图11和12中的典型显示图之间的差别与图7和8中的典型显示图之间的差别相同；图11和12中的典型显示图在显示在固定位置的画面，和要被仿射变换的画面方面不同，不过在其它部分是 相同的。为此，为了便于说明，用相同的附图标记指定与图11共有的各个部分。 

如图12(a)中所示，一开始只显示对应于第一帧的画面421。当随后要显示对应于下一帧的画面422时，通过利用与该帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变换在前的画面421。在图12(b)中所示的画面中，画面421仅仅大小被变换。沿仿射变换参数的相反方向仿射变换的画面421被对应于当前帧的画面422重写。应注意通过用画面422重写画面421而获得的合成画面在大小方面不同于图11(b)中所示的合成画面，不过在其它方面与后者相同，从而不再进一步讨论。 

随后，在要显示对应于下一帧的画面423的情况下，通过利用与所述下一帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变换从画面421和422得到的对应于前一帧的合成画面。在图12(c)中所示的画面中，从画面421和422获得的合成画面仅仅大小被变换。沿仿射变换参数的相反方向仿射变换的得自于画面421和422的合成画面被对应于当前帧的画面423重写。通过用画面423重写由画面421和422得到的合成画面而获得的合成画面在大小方面不同于图11(c)中所示的合成画面，不过在其它方面与后者相同，从而不再进一步讨论。 

下面说明在成像设备的透镜方向和缩放系数保持不变的时候，在拍摄画面期间，绕拍摄画面的方向旋转成像设备的情况。 

图13是表示成像设备拍摄的运动画面的典型转变的示图。图13具有画面441-443，所述画面441-443对应于包括在以山为背景，拍摄的人440的运动画面中的连续帧。在本例中，摄像者在围绕拍摄画面的方向旋转成像设备的同时拍摄画面。这种情况下，包括在成像设备拍摄的运动画面中的人440在构成运动画面的画面中被旋转。尽管在其旋转过程中，成像设备的位置可能稍微移动，不过为了便于说明，不考虑成像设备位置的移动。 

图14是虚线表示对应于前一帧，且存在于图13中所示的画面中 的画面，并且表示从这些画面检测的典型光流的视图。图14(a)中所示的画面441和图13(a)中的画面441相同。图14(b)的画面442中，用实线表示的部分和图13(b)的画面442相同，图14(b)的画面442中，用虚线表示的部分和图13(a)的画面441中，用实线表示的部分相同。另外，图14(b)的画面442中的箭头444-446表示从画面442检测的典型光流。同样地，图14(c)的画面443中，用实线表示的部分和图13(c)的画面443相同，图14(c)的画面443中，用虚线表示的部分和图13(b)的画面442中，用实线表示的部分相同。图14(c)的画面443中的箭头447-449表示从画面443检测的典型光流。 

如图14(b)和(c)中所示，当成像设备被旋转时，包括在画面中的人440和背景中的山相应地被转动。根据通过所述转动检测的光流，能够获得每一帧的仿射变换参数。 

图15是表示当再现包括图13中所示的画面441-443的运动画面时实际的典型显示图的示图。 

如图15(a)中所示，一开始只显示对应于第一帧的画面441。随后当显示对应于下一帧的画面442时，利用与该帧相关的仿射变换参数，仿射变换画面442。在图15(b)中所示的画面中，画面442仅仅角度被变换。对应于前一帧的画面441被利用仿射变换参数仿射变换的画面442重写。即，在画面441的区域中，与画面442重叠的区域450被画面442重写。在画面441的区域中，不与画面442重叠的区域451和452与画面441合成。即，当要显示对应于第二帧的画面442时，整个画面442和画面441中与区域451及452对应的那些区域被合成为显示的画面，如图15(b)中所示。另外，可使指示显示的画面中的最新画面的像框图案出现在对应于当前帧的画面周围。在图15(b)中，围绕画面442显示像框图案。依据其仿射变换画面442的仿射变换参数被保存在画面变换部分140中。 

随后，当要显示对应于下一帧的画面443时，利用与该帧相关的仿射变换参数仿射变换画面443。即，利用通过把对应于画面443的仿射变换参数的矩阵乘以在前一仿射变换中使用的对应于画面442的 仿射变换参数的矩阵而获得的仿射变换参数，仿射变换画面443。在图15(c)中所示的画面中，画面443仅仅角度被变换。与前一帧对应的从画面441和442获得的合成画面被利用仿射变换参数仿射变换的画面443重写。即，在构成从画面441和442获得的合成画面的区域中，与画面443重叠的区域453-457被画面443重写。在构成从画面441和442得到的合成画面的区域中，不与画面443重叠的区域458-461进一步与从画面441和442得到的合成画面合成。即，当要显示对应于第三帧的画面443时，整个画面443，画面441中对应于区域459的区域，和画面442中对应于区域458及460的那些区域被合成为显示的画面，如图15(c)中所示。当要围绕对应于当前帧的画面显示指示显示的画面中的最新画面的像框图案时，使像框图案出现在图15(c)中所示的画面443周围。另外，依据其仿射变换画面443的仿射变换参数被保存在画面变换部分140中。即，通过把对应于画面442和443的仿射变换参数的矩阵相乘而获得的仿射变换参数被保存在画面变换部分140中。 

图16是表示当再现包括图13中所示的画面441-443的运动画面时实际的典型显示图的示图。图15和16中的典型显示图之间的差别与图7和8中的典型显示图之间的差别相同；图15和16中的典型显示图在显示在固定位置的画面，和要被仿射变换的画面方面不同，不过在其它部分是相同的。为此，为了便于说明，用相同的附图标记指定与图15共有的各个部分。 

如图16(a)中所示，一开始只显示对应于第一帧的画面441。当随后要显示对应于下一帧的画面442时，通过利用与该帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变换在前的画面441。在图16(b)中所示的画面中，画面441只有角度被变换。沿仿射变换参数的相反方向仿射变换的画面441被对应于当前帧的画面442重写。通过用画面442重写画面441而获得的合成画面在角度方面不同于图15(b)中所示的合成画面，不过在其它方面与后者相同，从而不再进一步讨论。 

随后，在要显示对应于下一帧的画面443的情况下，通过利用与所述下一帧相关的仿射变换参数，沿仿射变换参数的相反方向仿射变换对应于前一帧的从画面441和442得到的合成画面。在图16(c)中所示的画面中，从画面441和442获得的合成画面仅仅角度被变换。沿仿射变换参数的相反方向仿射变换的得自于画面441和442的合成画面被对应于当前帧的画面443重写。要注意的是通过用画面443重写画面441和442而获得的合成画面在角度方面不同于图15(c)中所示的合成画面，不过在其它方面与后者相同，从而不再进一步讨论。 

上面说明了其中在位置方面，在缩放系数方面和在角度方面相继改变构成运动画面的画面的情况。不过，所述说明也适用于组合进行这样的改变的情况。 

下面，说明计算与当前帧对应的画面的中心位置、角度和缩放系数的典型处理。如上所述，利用通过把与从参考画面的帧一直到当前帧为止的各帧对应的仿射变换参数的矩阵相乘而获得的仿射变换参数，变换与当前帧对应的画面。为此，利用通过乘法获得的仿射变换参数，可相对于参考画面计算对应于当前帧的画面的移动量，旋转角度或者缩放系数。具体地说，通过利用表示视为变换基准的第一帧的中心位置、角度和缩放系数，并被保存在画面变换部分140中的参考信息，以及通过把与一直到当前帧的各帧对应的仿射变换参数的矩阵相乘而获得的仿射变换参数，可计算对应于当前帧的画面的中心位置、角度和缩放系数。对应于当前帧的画面的中心位置是通过利用在参考信息中得到的中心位置，和计算的仿射变换参数的矩阵，由表达式1计算的。对应于当前帧的画面的角度θ和缩放系数“z”例证地是通过利用相乘的仿射变换参数，由下面的表达式计算： 

[表达式3] 

$\mathrm{\θ}={\tan }^{-1}\left(\frac{d}{a}\right)$

$z=\sqrt{\sqrt{a^2+d^2}\×\sqrt{b^2+e^2}}$

图17是表示本发明的实施例中的声音变换处理部分200的典型结构的方框图。在本例中，左右声道上的输入声音被表示成转换成左 右声道上的输出声音。 

音频控制部分201具有音量放大器203-206。音量放大器203根据来自声音变换信息计算部分190的声音变换信息RR，放大右声道输入声音。音量放大器204根据来自声音变换信息计算部分190的声音变换信息RL，放大右声道输入声音。音量放大器205根据来自声音变换信息计算部分190的声音变换信息LR，放大左声道输入声音。音量放大器206根据来自声音变换信息计算部分190的声音变换信息LL，放大左声道输入声音。这种情况下，声音变换信息是根据在显示部分180的显示屏幕上，当前帧的中心位置、角度和缩放系数计算的，指示每个声道的音量控制值的信息。 

声音相加部分202具有声音加法器207和208。声音加法器207相加音量放大器203放大的右声道输入声音，和音量放大器205放大的左声道输入声音。声音加法器207把相加的声音作为右声道输出声音输出给声音输出控制部分210。声音加法器208相加音量放大器204放大的右声道输入声音，和音量放大器206放大的左声道输入声音。声音加法器208把相加的声音作为左声道输出声音输出给声音输出控制部分210。这样，输入的声音按照声音变换信息被转换，并作为输出声音被输出给声音输出控制部分210。 

下面参考附图，详细说明与对应于当前帧的画面的移动结合，本发明的实施例执行的声音变换处理。 

图18是表示按照普通的再现方法再现拍摄的运动画面的例子的示图。图18(a)表示由成像设备500拍摄的作为成像对象，从右往左移动的汽车的一系列画面511-513。该系列画面511-513是按照这样的方式拍摄的，以致汽车514-516都位于所述一系列画面511-513的中心。为了便于理解附图，与所摄画面511-513的面积相比，相对放大地表示了汽车514-516。不过，如上参考图3所述，为了提取成像设备的移动，而不受移动对象影响，最好应与画面的面积相比，以相对较小的尺寸拍摄移动对象。在接下来的说明中，与所述一系列画面511-513对应的所摄画面将用相同的附图标记511-513表示。成像设 备500具有在拍摄画面511-513的时候，获得右声道和左声道输入声音的右麦克风501和左麦克风502。这样获得的输入声音通常与出现在成像设备500的取景器中的画面相配合。图18(b)表示利用普通的再现方法再现图18(a)中所示的拍摄画面511-513的例子。拍摄的画面511-513被显示在显示部分180的整个显示屏幕内。在拍摄的画面511-513中，汽车514-516被显示在显示屏幕的中心。这里，与所摄画面511-513的显示一致地输出的输出声音由未修改地分别输出给右扬声器221和左扬声器222的右声道和左声道输入声音构成。按照这种普通的再现方法，伴随所摄画面的输入声音可被未修改地输出，起配合所摄画面的输出声音的作用。音量指示517和518分别显示右声道和左声道输入声音的音量。用白色表示右声道输入声音的音量，用黑色表示左声道输入声音的音量。 

图19概述由作为本发明实施例的画面处理设备进行的再现的例子。在本例子中，在固定从在当前帧之前的各个画面得到的合成画面的时候，利用从画面变换信息供给部分130供给的仿射变换参数，变换和再现对应于当前帧的画面。图19中所示的所摄画面511-513和图18(a)中所示的所摄画面511-513相同。不过，在本例中，根据从成像设备500的移动方向521获得的仿射变换参数，所摄画面511-513按照从右到左的顺序被显示在显示部分180的显示屏幕上。在图19中为了便于说明，所摄画面511-513被显示成其间没有间隔。这种情况下，与图18(b)的情况相反，所摄画面511-513在显示屏幕内横移。为此，如果原样输出获得的输入声音，那么不能获得与所摄画面511-513的移动相配合的自然音效。从而，作为本发明的实施例，画面处理设备100控制与所摄画面511-513在显示屏幕上的中心位置相一致地相加左声道和右声道输入声音，以便按输出声道输出的比率。具体地说，按照所摄画面511-513在显示屏幕上的中心位置，控制右声道输入声音的音量与左声道输入声音的音量的比率，相加后的音量被输出给相应的扬声器。如果假定所摄画面513被显示在显示屏幕上，那么具有表现衰减的右声道输入声音的音量519的声音作为输出声音被输出给 右扬声器221。这里，左声道输入声音被加到衰减的音量519上。但是，由于所摄画面513的中心位置位于显示屏幕的左手一侧，因此左声道输入声音的比率被设成“0”。为此，只有右声道输入声音被输出给右扬声器221。作为输出声音输出给左扬声器222的是通过把从右声道输入声音的音量中减去衰减音量519而获得的音量520和左声道输入声音的音量518相加得到的声音。 

下面参考附图，详细说明本发明的实施例中的声音变换信息计算部分190计算运动的有关声音变换信息的例子。 

图20是表示在本发明的实施例中，显示部分180的显示屏幕的坐标系的方框图。本例中，显示屏幕上的画面185被用于说明。 

假定X轴181和Y轴182分别位于水平方向和垂直方向。假定这些坐标轴的原点位于显示部分180的显示屏幕的中心。显示部分180的显示屏幕的水平长度183和垂直长度184分别用“宽度”和“高度”表示。在该坐标系中，对应于当前帧的画面185的中心位置186相对于原点的移动量187用X轴方向的“x”和Y轴方向的“y”表示。画面185相对于X轴的角度189用θ表示。 

利用这样定义的坐标系，在下面的说明中将提供关于声音变换信息的计算的图表和关系表达式。 

图21是按照本发明的实施例，图解说明一方面的对应于当前帧的画面的中心位置和另一方面的输出声音之间的关系的图表。在图21(a)和(b)中，水平轴代表画面在显示屏幕上的移动量(x)，垂直轴表示输出声音与输入声音的比率。实线611和621代表右声道上输出声音的输出率，虚线612和622表示左声道上输出声音的输出率。图21(a)表示与移动量“x”相一致地把右声道上的输入声音分配给左右声道上的输出声音的比率。图21(b)表示与移动量“x”相一致地把左声道上的输入声音分配给相应声道上的输出声音的比率。最后，在被输出之前，如实线611和621确定的那样，右声道上的输出声音被加到左右声道的声音上。同样在被输出之前，如虚线612和622确定的那样，左声道上的输出声音被中到相应声道的声音上。 

利用下述表达式，可定义一方面沿实线611的移动量“x”和另一方面输出声音与输入声音的比率f(x)之间的关系： 

f(x)＝(α/(宽度/2))·x+1(-宽度/2≤x＜0) 

1(0≤x＜宽度/2) 

其中“宽度”代表显示屏幕的水平长度。最好，参数α的值介于0.3和0.4之间。 

利用前面的表达式，虚线612、实线621和虚线622的关系表达式分别为1-f(x)，1-f(-x)和f(-x)。 

这里，以下述表达式2的形式给出关于输入声音的变换的关系表达式： 

R′＝R·RR+L·LR    (表达式2) 

L′＝R·RL+L·LL 

其中RR＝f(x)，RL＝(1-f(x))，LR＝(1-f(-x))，LL＝f(-x)；“x”代表对应于当前帧的画面的移动量(即，从水平方向的原点到对应于当前帧的画面的中心位置的距离)；R′和L′分别代表右声道和左声道的输出声音；R和L分别表示右声道和左声道的输入声音。 

上面的RR、RL、LR和LL构成声音变换信息。声音变换信息计算部分190根据对应于当前帧的画面的中心位置，计算RR、RL、LR和LL。 

对于上面的例子，应注意假定了扬声器220被设置在显示屏幕的右侧和左侧。根据在屏幕的水平方向上，对应于当前帧的画面的位置关系，说明了如何关于对应于当前帧的画面，计算和声音有关的声音变换信息。另一方面，该实施例适用于其中扬声器位于显示屏幕的中间的扬声器系统，或者适用于其中扬声器位于显示屏幕的上部和下部的扬声器系统。例如，如果把该实施例应用于扬声器位于显示屏幕的上部和下部的扬声器系统，那么根据在屏幕的垂直方向上，对应于当前帧的画面的位置关系，能够关于对应于当前帧的画面，计算和声音有关的声音变换信息。如果把该实施例应用于扬声器位于屏幕中间的扬声器系统，那么根据在屏幕的水平方向上，对应于当前帧的画面的位置关系，能够关于对应于当前帧的画面，计算和声音有关的声音变 换信息。即，根据仿射变换参数，关于对应于当前帧的画面，计算和声音有关的声音变换信息，通过根据这样计算的声音变换信息变换声音，产生输出声音。 

下面参考附图，详细说明关于对应于当前帧的画面的旋转，由本发明的实施例进行的声音变换处理。 

图22是表示成像设备500和被拍摄的对象之间的关系的示图。图22(a)表示当开始拍摄画面时的实际状态。这里，显示配有右麦克风501和左麦克风502的成像设备拍摄正在发声的人531和正在发出声响的闹钟532的画面。这种情况下，人531的声音以较高的比率被输入右麦克风501，闹钟532的声音以较高的比率被输入左麦克风502。图22(b)表示在图22(a)的状态下拍摄的画面551。音量指示543指示由右麦克风501获得的右声道输入声音的音量，音量指示544指示由左麦克风502获得的左声道输入声音的音量。作为帮助理解所摄画面中，右麦克风501和左麦克风502之间的位置关系的符号，给出了所摄画面551中的R标记541和L标记542。图22(c)是表示从成像设备500之后观察的图22(a)的状态的示图。这里，沿顺时钟方向545旋转180°的成像设备500拍摄运动画面。这种情况下，右麦克风501获得的右声道输入声音涉及随着旋转角的增大，人531的声音的比率逐渐降低，和闹钟532的铃声的比率逐渐增大。相反，左麦克风502获得的左声道输入声音涉及随着旋转角的增大，闹钟532的铃声的比率逐渐降低，和人531的声音的比率逐渐增大。下面参考附图例证说明再现按照这种方式拍摄的运动画面。 

图23概述由具体体现本发明的画面处理设备100进行的再现的例子。图23(a)表示当再现由图22中的成像设备500拍摄的运动画面时，利用普通的再现方法显示的一系列画面551-555。图23(b)图解说明由具体体现本发明的画面处理设备100再现的一系列显示画面561-565。该再现例子涉及在固定合成画面的情况下，利用由画面变换信息供给部分130供给的仿射变换参数，变换对应于当前帧的画面。这里，为了简化起见，省略了显示屏幕的框架。所摄画面均被假定成 显示在显示屏幕的中心。 

在图23(a)中，显示画面551-555中R标记541和L标记542之间的位置关系保持不变。为此，可无变化地原样输出显示画面551-555的输入声音，作为与显示画面551-555相配合的输出声音。 

另一方面，在图23(b)中，显示画面561-565中R标记541和L标记542之间的位置关系被改变，以致如果原样输出获得的输入声音的话，那么获得的输入声音将不提供自然的音效。从而，作为本发明的实施例，画面处理设备100与显示在显示屏幕中的画面的角度相一致地控制相加右声道和左声道输入声音的比率，之后把相加的声音输出给相应的输出声道。具体地说，右声道输出声音由音量衰减的右声道输入声音，和音量逐渐被增大，并被加到音量衰减的右声道输入声音中的左声道输入声音构成，以便与显示画面561-565的角度相一致地输出。左声道输出声音由右声道输出声音中右声道的衰减输入音量，和右声道输出声音中右声道的相加音量的剩余音量构成，以便输出。 

图24是表示按照本发明的实施例，图解说明一方面的对应于当前帧的画面的角度与另一方面的输出声音之间的关系的图表的示图。在图24(a)和(b)中，水平轴表示相对于水平方向的角度(θ)，垂直轴表示输出声音与输入声音的比率。实线711和721代表右声道输出声音的输出率，虚线712和722表示左声道输出声音的输出率。图24(a)表示与角度θ相一致，把右声道输入声音分配给每个声道上的输出声音的比率。图24(b)表示与角度θ相一致，把左声道输入声音分配给每个声道上的输出声音的比率。最后，右声道输出声音由依据实线711和721确定的比率相加的每个声道上的输入声音构成，以便输出。左声道输出声音同样由依据虚线712和722确定的比率相加的每个声道上的输入声音构成，以便输出。 

一方面由实线711确定的对应于当前帧的画面的角度θ与另一方面的输出声音和输入声音的比率g(θ)之间的关系可由下面的表达式定义： 

g(θ)＝(1+cosθ)/2 

在使用上述表达式的情况下，虚线712、实线721和虚线722的关系表达式分别为1-g(θ)、1-g(θ)和g(θ)。这里，表达式2中所示的构成声音变换信息的RR、RL、LR和LL分别被表示成RR＝g(θ)、RL＝(1-g(θ))、LR＝(1-g(θ)和LL＝g(θ)。 

应注意在上面的例子中，假定扬声器220位于显示屏幕的右侧和左侧。另一方面，和图21的情况一样，该实施例适用于扬声器位于显示屏幕的上方和下方的扬声器系统。 

下面参考附图，说明关于对应于当前帧的画面的缩放系数，本发明的实施例执行的声音变换处理。 

图25概述由具体体现本发明的画面处理设备100执行的再现的例子。图25(a)和(c)表示其中装备右麦克风501和左麦克风502的成像设备500正在拍摄人531和闹钟532的画面的状态。图25(b)、(d)和(e)表示所显示的典型拍摄画面。这里，假定画面都被显示在显示部分180的显示屏幕的中心的部分区域中。图25(b)显示由图25(a)中所示的成像设备500拍摄的画面551。音量指示543指示由右麦克风01获得的右声道输入声音的音量，音量指示544指示由左麦克风502获得的左声道输入声音的音量。图25(c)表示其中图25(a)中所示的拍摄画面的成像设备500拉近被拍摄的对象的状态。 

图25(d)和25(e)表示由具体体现本发明的画面处理设备100执行的再现的例子。图25(d)是在固定对应于当前帧的画面的大小的时候，利用画面变换信息供给部分130供给的仿射变换参数，变换合成画面的例子。这种情况下，由于成像设备500的拉近操作，所摄画面571中的人531和闹钟532被放大显示。从而作为本发明的实施例，画面处理设备100按照对应于当前帧的画面的缩放系数，分别以相同的比率控制左声道和右声道输入声音的音量，以便输出给每个输出声道。具体地说，与所摄画面571中的被摄对象相对于所摄画面551的缩放系数相一致，以相同的比率放大每个声道上的输入声音的音量543和544(即，音量指示546和547被相加)以便输出。 

另一方面，图25(e)表示其中在合成画面被固定的情况下，利用由画面变换信息供给部分130供给的仿射变换参数，变换对应于当前帧的画面的再现例子。这种情况下，显示屏幕上的所摄画面571中的被摄对象的大小与图25(b)中所示的对象相同。从而作为本发明的实施例，画面处理设备100原样输出输入声音，而不改变输入声音的音量比率。具体地说，当该显示模式有效的时候，除了缩放系数之外，画面变换部分140把对应于当前帧的画面的中心位置和角度输出给声音变换信息计算部分190。 

图26是按照本发明的实施例，图解说明缩放系数和对应于当前帧的画面的输出声音之间的关系的图表。在图26(a)和(b)中，水平轴代表画面的缩放系数(z)，垂直轴表示输出声音与输入声音的比率。图26(a)表示与缩放系数“z”一致的右声道输出声音和右声道输入声音的比率，图26(b)表示与缩放系数“z”一致的左声道输出声音和左声道输入声音的比率。 

在该图中，由实线713确定的缩放系数“z”和输出声音与输入声音的比率h(z)可利用下面的表达式来定义： 

h(z)＝1-β(0＜z≤z1) 

(2β/(z2-z1))·(z-z1)+1-β(z1≤z＜z2) 

1+β(z2≤z) 

其中“z”表示对应于当前帧的画面的缩放系数。为了不大大影响音量，参数β的值最好介于0.1和0.2之间。可考虑到β的值恰当地确定z1和z2的值。 

这里，构成声音变换信息，并示于表达式2中的RR和LL被表示成RR＝LL＝h(z)。上面参考图25说明了每个声道上的输入声音不被加入每个声道上的输出声音中的情况。如果每个声道上的输入声音被加入到每个声道上的输出声音中，那么每个相加声道的输入声音的音量以相同的比率被放大，以致和RR及LL的情况一样，RL和LR也利用h(z)来表述。另一方面，h(z)可用S形函数给出，其中1+β和1-β构成由下述表达式定义的渐近线： 

h(z)＝(1/(1+e^-(z-1))-0.5)·β+1 

上面说明了接连改变对应于当前帧的画面的中心位置、角度和缩放系数的情况。如果组合地发生这种改变，那么可把相应的关系表达式相乘，以提供相似的效果。具体地说，构成声音变换信息，并且示于表达式2中的RR、RL、LR和LL可被分别表示成RR＝f(x)·g(θ)·h(z)、RL＝(1-f(x))·(1-g(θ))·h(z)、LR＝(1-f(-x))·(1-g(θ))·h(z)和LL＝f(-x))·g(θ)·h(z)。在前面的例子中，说明了左右声道上的输入声音。另一方面，该实施例也可应用于附加的中央声道上的输入声音。 

下面参考附图，说明具体体现本发明的画面处理设备100的工作。 

图27是表示构成由作为本发明的实施例的画面处理设备100执行的运动画面再现处理的步骤的流程图。 

首先，在画面存储器160中分配比运动画面的组成画面的大小大的工作缓冲区(步骤S921)。随后从内容存储部分110获得内容文件(步骤S922)。随后解码内容文件，获得对应于当前帧的画面和声音(步骤S923)。之后，画面变换信息供给部分130把对应于当前帧的仿射变换参数提供给画面变换部分140(步骤S924)。这里，如果当前帧是第一帧，那么提供单位矩阵仿射变换参数。随后，画面变换部分140确定三种再现显示模式中的哪一种被选择(步骤S925)。 

如果通过固定从与在当前帧之前的各帧对应的画面得到的合成画面，再现和显示运动画面，那么除缩放系数之外，对应于当前帧的画面的中心位置和角度由画面变换部分140输出给声音变换信息计算部分190(步骤S926)。之后，画面变换部分140利用通过乘法获得的仿射变换参数，仿射变换对应于当前帧的画面(步骤S927)。这里，如果当前帧是第一帧，那么单位矩阵仿射变换参数被用于仿射变换，以致实际上不变换任何画面。随后，用对应于当前帧的仿射变换画面重写保存在画面存储器160中的画面，并把得到的合成画面保存在画面存储器160中(步骤S928)。这里，如果当前帧是第一帧，那么对应于第一帧的画面被保存在画面存储器160中。 

随后，所得到的合成画面被显示在显示部分180上(步骤S938)。之后进行声音变换处理(步骤S950)。下面将参考后续附图详细说明该声音变换处理。之后进行检查，以确定当前帧是否是构成获得的运动画面的各帧中的最后一帧(步骤S939)。如果当前帧不是最后一帧(步骤S939)，那么再次到达步骤S923，重复合成画面显示处理。 

同时，如果在步骤S925中，发现选择的再现显示模式是通过固定对应于当前帧的画面，再现和显示运动画面的模式，那么画面变换部分140只向声音变换信息计算部分190输出对应于当前帧的画面的缩放系数(步骤S929)。从而通过利用相乘获得的仿射变换参数，画面变换部分140沿仿射变换参数的相反方向，仿射变换保存在画面存储器160中的合成画面(步骤S931)。这里，如果当前帧是第一帧，那么不存在保存于画面存储器160中的合成画面，从而不变换任何画面。之后，用对应于当前帧的画面重写沿仿射变换参数的相反方向仿射变换的合成画面，所得到的合成画面被保存在画面存储器160中(步骤S392)。这里，如果当前帧是第一帧，那么对应于第一帧的画面被保存在画面存储器160中。之后到达步骤S938。 

如果在步骤S925中，发现选择的再现显示模式是通过固定对应于当前帧的画面的显示缩放系数，再现和显示运动画面的模式，那么画面变换部分140把对应于当前帧的画面的中心位置、角度和缩放系数输出给声音变换信息计算部分190(步骤S933)。把关于缩放系数的元素和由画面变换信息供给部分130供给的仿射变换信息的元素分开(步骤S934)。随后利用这样分开的与缩放系数相关的元素，沿仿射变换参数的相反方向仿射变换保存在画面存储器160中的合成画面(步骤S935)。这里，如果当前帧是第一帧，那么不存在保存于画面存储器160中的合成画面，从而不变换任何画面。之后，利用分离的关于移动或旋转的元素，仿射变换对应于当前帧的画面(步骤S936)。这里，如果当前帧是第一帧，那么利用单位矩阵放变换参数仿射变换画面，从而实际上不变换任何画面。之后，用对应于当前帧的仿射变换画面重写沿仿射变换参数的相反方向仿射变换的合成画面，并把得到的合 成画面保存在画面存储器160中(步骤S937)。之后到达步骤S938。 

如果在步骤S939中，确定当前帧是最后一帧(步骤S939)，那么释放在画面存储器160中分配的工作缓冲区(步骤S941)，并终止运动画面再现处理。 

图28是图解说明构成由作为本发明的实施例的画面处理设备100执行的声音变换处理(即，步骤S950中的过程)的步骤的流程图。 

首先，声音变换信息计算部分190根据由画面变换部分140输出的对应于当前帧的画面的中心位置、角度或缩放系数，计算声音变换信息(步骤S951)。随后，根据声音变换信息计算部分190计算的声音变换信息，音量控制部分201控制构成由内容获得部分120输出的声音的多个声道的音量(步骤S952)。之后，声音相加部分202相加每个声道的受控音量，以便输出为每个声道的输出声音(步骤S953)。随后，每个声道的相加输出声音被输出给扬声器220(步骤S954)。 

下面参考附图说明本发明的实施例的第一变体。 

图29是表示作为本发明的实施例的画面处理设备650的典型功能结构的方框图。画面处理设备650是图1中所示的画面处理设备650的局部改变的变体。在画面处理设备650中，运动画面存储部分240、元数据存储部分250和内容获得部分121分别代替画面处理设备100的内容存储部分110、内容获得部分120和画面变换信息供给部分130。除运动画面存储部分240、元数据存储部分250和内容获得部分121外的组件与图1中的画面处理设备100的组件相同，从而下面不再讨论这些共有组件。 

运动画面存储部分240把运动画面保存为运动画面文件。另外，运动画面存储部分240依据内容获得部分121的请求，把运动画面文件供给内容获得部分121。后面将参考图30详细说明保存在运动画面存储部分240中的运动画面文件。 

元数据存储部分250把根据通过分析运动画面获得的运动信息计算的仿射变换参数保存为元数据文件。另外，元数据存储部分250依据内容获得部分121的请求，把元数据文件提供给内容获得部分 121。后面将参考图30详细说明保存在元数据存储部分250中的元数据文件。 

响应通过操作接受部分230输入的再现运动画面的操作，内容获得部分121获得保存在运动画面存储部分240中的运动画面文件，和保存在元数据存储部分250中的与该运动画面文件相关的元数据文件。内容获得部分121把获得的运动画面文件的运动画面，和元数据文件的仿射变换参数输出给画面变换部分140。另外，内容获得部分121把与获得的运动画面文件的运动画面对应的声音输出给声音变换处理部分200。 

图30是示意表示在本发明的实施例中，记录在运动画面存储部分240和元数据存储部分250中的文件的示图。图30(a)表示保存在运动画面存储部分240中的运动画面文件241-244，和与运动画面文件241-244关联地保存在元数据存储部分250中的元数据文件251-253。这里，假定每个运动画面文件具有运动画面ID，作为识别保存在运动画面存储部分240中的所考虑的运动画面文件的标识信息。例如，运动画面文件241具有ID“#1”，运动画面文件242具有ID“#2”，运动画面文件244具有ID“#n”。 

图30(b)是示意表示保存在运动画面存储部分240中的运动画面文件241，和与运动画面文件241关联地保存在元数据存储部分250中的元数据文件251的示图。这里，运动画面文件241由多达“n”帧构成，所述“n”帧被表示成帧1(245)-n(248)。 

另外，元数据文件251包含彼此关联的运动画面ID 254，帧编号255和仿射变换参数256。 

运动画面ID 254被附在对应的运动画面文件上。例如，图30(b)中包含的是附在运动画面文件241上的“#1”。 

帧编号255是构成对应运动画面文件的运动画面的帧的序列号。例如，图30(b)中包含的是与构成运动画面文件241的运动画面的帧1(245)-n(248)对应的“1”-“n”。 

仿射变换参数256是关于与帧编号255对应，并构成运动画面的 每一帧计算的参数。对应于帧编号255“1”的仿射变换参数256“a1、b1、c1、d1、e1、f1”是单位矩阵仿射变换参数。对应于帧编号255“m”(m是至少为2的整数)的仿射变换参数256“am、bm、cm、dm、em、fm”是与在帧“m”之前的帧“m-1”对应的仿射变换参数。 

上面说明了在对应于当前帧的画面被固定在显示部分180的中心的时候，根据运动画面是否被再现，仿射变换对应于当前帧的画面，并据此创建合成画面的情况，和沿仿射变换参数的相反方向仿射变换对应于在前各帧的合成画面，并据此创建合成画面的情况。不过，也可通过连续对对应于当前帧的当前画面进行仿射变换，创建合成画面，把这样创建的合成画面保存在画面存储器中，并从画面存储器中的合成画面提取待显示的显示区。这使得能够改变在运动画面再现期间，显示部分提供其显示的方式。后面将参考附图详细说明这种运动画面再现处理。 

下面参考附图说明本发明的实施例的第二变体。 

图31是表示作为本发明的实施例的画面处理设备680的典型功能结构的方框图。画面处理设备680是图29中所示的画面处理设备650的局部改变的变体。通过用显示区提取部分260和显示存储器270补充图29中的画面处理设备650，并分别用画面合成部分151，画面存储器161和声音变换信息计算部分191代替画面合成部分150，画面存储器160和声音变换信息计算部分190，实现画面处理设备680。画面处理设备680能够把对应于当前帧的画面放入显示屏幕中，并据此进行声音变换处理。画面存储部分240、元数据存储部分250、画面变换部分140、声音变换处理部分200、声音输出控制部分210和扬声器的结构与图29中所示的画面处理设备的相应组件相同，从而不再进一步讨论。而本例将说明通过部分修改图29中的画面处理设备650而获得的本发明的变体，同样可对图1中所示的画面处理设备进行所述修改。 

根据在显示区提取部分260输出的显示区中对应于当前帧的画面的位置，画面合成部分151用从画面变换部分140接收的对应于当 前帧的画面重写保存在显示存储器270中的合成画面，以便进行画面合成。具体地说，在指定固定对应于当前帧的画面的显示模式的情况下，画面合成部分151用对应于当前帧，并且还将由画面变换部分140仿射变换的画面重写保存在显示存储器270中的合成画面的中心部分，以便进行画面合成。另一方面，在指定固定在对应于当前帧的画面之前的合成画面的显示模式的情况下，画面合成部分151用对应于当前帧，并由画面变换部分140仿射变换的画面重写保存在显示存储器270中的合成画面，以便根据在显示区提取部分260输出的显示区中，对应于当前帧的画面的位置进行画面合成。这里，对应于当前帧，并在显示存储器270中合成的画面的大小实际上由显示缩放系数的值确定。画面合成部分151具有画面合成部分150的功能。画面合成部分150的功能和上面讨论的功能相同，不再进一步讨论。 

画面存储器161是保存画面合成部分151合成的合成画面的工作缓冲器。画面存储器161把保存于其中的合成画面提供给画面变换部分140，或者提供给显示区提取部分260。 

从保存在画面存储器161中的合成画面中，显示区提取部分260提取位于被确定为显示目标的显示区的范围内的画面。显示区提取部分260使显示存储器270保存提取的画面。如果保存在画面存储器161中的合成画面中的对应于当前帧的画面的至少一部分延伸到显示区之外，那么显示区提取部分260移动显示区，以致在从保存在画面存储器161中的合成画面中提取位于显示区的范围内的画面之前，对应于当前帧的画面将被完全容纳在显示区内。此外，如果指定固定在当前帧之前的合成画面的显示模式，那么显示区提取部分260计算显示区中对应于当前帧的画面的位置，并把计算的显示区中对应于当前帧的画面的位置输出给画面合成部分151。另外，显示区提取部分260参考画面存储器161的区域，计算关于当前显示区的仿射变换参数，并把计算的仿射变换参数输出给声音变换信息计算部分191。后面将参考图32-38及其它附图，详细说明从显示区的范围内提取画面，并将参考图33、34及其它附图，详细说明如何移动显示区。后面将参 考图37详细说明如何计算显示区中对应于当前帧的画面的位置。另外，将参考图32和35讨论如何计算关于当前显示区的仿射变换参数。 

显示存储器270是保存显示区提取部分260从画面存储器161提取的画面的显示缓冲器。保存在显示存储器270中的画面被显示在显示部分180上。 

显示控制部分171使显示部分180按帧顺序显示保存在显示存储器270中的合成画面。 

在显示控制部分171的控制下，显示部分18-显示保存在显示存储器270中的合成画面。例如，可以个人计算机显示器或者电视显示器的形式实现显示部分180。 

声音变换信息计算部分191根据显示区中对应于当前帧的画面的中心位置、角度或缩放系数，计算声音变换信息。具体地说，声音变换信息计算部分191利用显示区中对应于当前帧的，并在从画面变换部分140输出之后被保存在画面存储器161中的画面的中心位置、角度和缩放系数，以及使用显示区提取部分260输出的关于当前显示区的仿射变换参数的逆矩阵，计算显示区中对应于当前帧的画面的中心位置、角度和缩放系数。另外，声音变换信息计算部分191具有声音变换信息计算部分190的功能。声音变换信息计算部分190的功能和上面说明的相同，从而不再进一步说明。另外，声音变换信息计算部分191可直接从显示区提取部分260接收显示区中对应于当前帧的画面的中心位置、角度或缩放系数。 

操作接受部分231具有各种操作按键。当接受通过这些按键输入的操作时，操作接受部分231把包含在接受的操作输入中的内容输出给显示区提取部分260。例证地，操作接受部分231包括指示运动画面的再现的再现指示按键，指示运动画面的显示缩放系数的显示缩放系数指示按键，和设置再现运动画面的显示模式的设置按键。显示模式可以是当与当前帧之前的各帧对应的合成画面被固定时，在仿射变换的同时显示对应于当前帧的画面的模式；或者当对应于当前帧的画面被固定时，在沿仿射变换参数的相反方向仿射变换的同时，显示合 成画面的模式。即使在运动画面的再现期间，也可改变这些显示模式。操作接受部分231也具有操作接受部分230的功能。操作接受部分230的功能和上面所述的相同，从而不再进一步讨论。 

图32是按照本发明的实施例，示意表示一方面的保存在运动画面存储部分240中的运动画面的各帧与另一方面的显示区之间的关系的示图。这里，只图解说明了画面存储器161、元数据存储部分250和操作接受部分231，其它组件被省略。下面说明的是保存在元数据文件251中的仿射变换参数256被用于在画面存储器161中创建关于构成图30(b)中所示的运动画面文件241的帧“1”-“3”的合成画面的例子。图32表示其中与在当前帧之前的各帧对应的合成画面被固定在显示部分180上的情况。 

图32(a)表示其中帧1(245)，即构成图30(b)中所示运动画面文件241的各帧中的第一帧被保存在画面存储器161中的情况。例如，操作接受部分231可以在与位于当前帧之前的各帧对应的合成画面被固定的时候，接受指示保存在运动画面存储部分240中的运动画面文件241的再现的再现指示操作的输入。这种情况下，如图32(a)中所示，与运动画面文件241的帧1(245)对应的画面351被保存在画面存储器161中。这里，在画面存储器中保存对应于第一帧的画面351的位置可以预选确定，或者由操纵操作接受部分231的用户指定。另一方面，可利用关于保存在元数据文件251中的运动画面文件241的仿射变换参数256，计算从帧“1”到帧“n”的合成画面的大小，并根据该计算确定保存画面351的位置。对于本例来说，假定画面存储器161中的画面351的左上角被设为原点，水平方向(水平轴)用x轴表示，垂直方向(垂直轴)用y轴表示。 

如图32(a)中所示，当画面351被放入画面存储器161中时的实际显示区被认为是显示区361。例证地，显示区361是根据保持的画面351的位置和大小，并按照通过操作接受部分320接受的显示缩放系数的值确定的。例如，如果对于与当前帧对应的画面的拉远操作，指定了“0.5”的显示缩放系数，那么显示区361的大小为放置在显示区 361的中心的画面351的大小的两倍。显示区361相对于画面351的位置可由仿射变换参数确定。如果对于与当前帧对应的画面的拉远操作，指定了“0.5”的显示缩放系数，那么利用仿射变换参数设置显示区，从而x和y方向上的变焦分量被加倍。在显示区将相对于与当前帧对应的画面平移或者旋转的情况下，通过使用仿射变换参数也可确定显示区的位置和范围。 

图32(b)表示帧2(246)，即构成图30(b)中所示的运动画面文件241的帧之一，被保存在画面存储器161中的情况。这种情况下，如上所述，利用保存与帧编号“1”和“2”(255)关联地保存在元数据文件251中的仿射变换参数，变换与帧2(246)对应的画面352，并用变换后的画面352重写画面351以便合成。这种情况下，例如，如果对应于当前帧的画面352未延伸到显示区361的范围之外，那么显示区361的位置和尺寸保持不变。下面参考图33和34详细说明的是对应于当前帧的画面延伸到当前显示区的范围之外的情况。可以平行移动显示区361，或相反与画面352相对于画面351的移动一致地操作显示区361。 

图32(c)表示帧3，即，构成图30(b)中所示的运动画面文件241的帧之一，被保存在画面存储器161中的情况。同样在这种情况下，如上所述，利用与帧编号“1”-“3”(255)关联地保存在元数据文件251中的仿射变换参数变换对应于帧3的画面353，并用变换后的画面353重写画面351和352以便合成。 

下面参考附图详细说明与当前画面的移动一致地移动显示区的处理。 

图33是示意表示当对应于当前帧的画面延伸到显示区之外时，移动显示区的处理的示图。图33(a)是表示一方面的包括对应于当前帧，并保存在画面存储器161中的画面760的多个画面，和另一方面的显示区759之间的关系的示图。由于当前画面760完全包括在显示区759的范围之内，如图33(a)中所示，因此显示部分180完整地显示当前画面760和其它画面。 

图33(b)是表示一方面的包括保存在画面存储器161中的当前画面762的多个画面，和另一方面的显示区759之间的关系的示图。这里，当前画面762是与图33(a)中所示的当前画面760之后的帧对应的画面。如果当前画面762部分延伸到显示区759的范围之外，如图33(b)中所示，那么当前画面760的一部分不被显示在显示部分180上。在这种情况下，如图33(b)中所示，显示区提取部分260计算显示区759的一侧和延伸到显示区759的范围之外的当前画面762之间的差值763。显示区759随后被移动通过把附加值764增加到计算的差值763中而获得的值。这里，所述附加值764例如是5个像素。另一方面，显示区可被仅仅移动不添加任何附加值的差值。而图33(b)表示当前画面762延伸到显示区761的右侧之外的情况，如果当前画面延伸到显示区的上侧、下侧或左侧之外，那么可以使用相同的方法来移动显示区。如果当前画面延伸到显示区的上侧、下侧、左侧和右侧中的至少两个之外，那么可关于每个被超出的侧边计算所述差值，并根据这样计算的差值，沿每个被超出侧边的方向移动显示区。 

图33(c)表示根据在图33(b)中的状态下计算的差值763移动的显示区765。 

图34是表示当借助图33中所示的移动过程移动显示区时的实际转变的例子的示图。图34(a)表示当显示区被移动时，画面存储器161中的显示区的转变例子，图34(b)表示当显示区被移动时，显示在显示部分180上的画面的转变例子。如这些图中所示，即使当在当前画面767之后的画面延伸到显示区766外时，也能够与当前画面的位置相一致地连续移动显示区766。例如，当在画面存储器161中发生从画面767到当前画面769的移动时，显示区766与该移动相一致地被移动到显示区768。这种情况下，当画面被显示在显示部分180上时，实现从画面770到画面771的转变。按照这种方式，当显示在显示部分180上的画面被放大或缩小时，当前画面总是能够被完整地显示在显示部分180上。 

下面参考附图说明对应于当前帧的当前画面被固定在显示部分 180上的情况。 

图35是按照本发明的实施例，例证表示一方面的保存在运动画面存储部分240中的运动画面文件中的帧，和另一方面的显示区之间的关系的示图。和图32一样，这些视图仅仅示出了画面存储器161、元数据存储部分250和操作接受部分231，其它组件被省略。下面说明的是其中利用保存在元数据文件21中的仿射变换参数256，关于构成图30(b)中所示的运动画面文件241的帧“1”-“3”，在画面存储器161中创建合成画面的例子。 

和图32(a)一样，图35(a)表示帧“1”(245)被保存在画面存储器161中的情况。图35(a)中所示的画面351和显示区361的位置和大小与图32(a)中的相同，从而不再进一步详细说明。本例中，按照对应于当前帧的画面的变换，变换显示区，则对应于帧1(245)的仿射变换参数是单位矩阵参数。为此，仅仅考虑到通过操作接受部分231指定的显示缩放系数，确定对应于帧1(245)的显示区361。 

和图32(b)一样，图35(b)表示帧2(246)被保存在画面存储器161中的情况。这种情况下，和图32(b)中一样，对应于帧2(246)的画面352被变换，画面351被变换后的画面352重写，显示区也被仿射变换。即，参考画面351的位置和大小，利用与帧编号“1”和“2”(255)关联地保存在元数据文件251中的仿射变换参数，变换对应于帧2(246)的画面352。利用按照通过操作接受部分231接受的显示缩放系数的值确定的仿射变换参数，变换画面352的位置和大小。由变换后的位置和大小确定的区域变成显示区362。具体地说，如果假定对应于帧编号“1”和“2”(255)的仿射变换参数矩阵分别用A1和A2表示，并且由通过操作接受部分231接受的显示缩放系数的值确定的仿射变换参数矩阵由B表示，那么获得值“A1×A2×B”。参考画面351的位置和大小，利用这样获得的矩阵“A1×A2×B”，确定显示区362。 

和图32(c)一样，图35(c)表示帧3被保存在画面存储器161中的情况。同样在这种情况下，如上所述，对应于帧3的画面353被变换，画面351和352被变换后的画面353重写，以便合成，显示区被仿射 变换，以关于画面353确定显示区363。具体地说，如果假定对应于帧编号“1”-“3”(255)的仿射变换参数矩阵分别用A1-A3表示，并且由通过操作接受部分231接受的显示缩放系数的值确定的仿射变换参数矩阵由B表示，那么获得值“A1×A2×A3×B”。参考画面351的位置和大小，利用这样获得的矩阵“A1×A2×A3×B”，确定显示区363。 

图36概述当指定把对应于当前帧的画面固定在显示部分180上的显示模式时，放大地在显示部分180上显示运动画面的方法。图36(a)是概述当放大显示在显示部分180上的运动画面时，显示区的实际转变的示图。图36(b)是表示当图36(a)的显示区698和699内的画面被显示在显示部分180中时，实际的典型显示图的示图。 

图36(b)表示在由图36(a)中所示的显示区698从画面存储器161取回之后，显示在显示部分180上的画面730。在显示图36(b)的画面730的情况下，如果通过操作接受部分231接受指示放大显示的操作，那么显示区提取部分260与指定放大显示的操作相一致地减小显示区的尺寸。所述尺寸减小处理是按照使当前画面697停留在显示区的中心的方式进行的。即，如上所述，利用由通过操作接受部分231接受的显示缩放系数的值确定的仿射变换参数，变换画面679的位置和大小，依据变换后的位置和大小确定显示区698。由于本例中输入了扩大显示缩放系数的操作，因此与被扩大的显示缩放系数相一致地确定仿射变换参数的变焦分量。 

例证地，如图36(a)中所示，显示区698的尺寸被减小，从而变成显示区699。图36(b)表示在由图36(a)中所示的显示区699从画面存储器161取回之后，显示在显示部分180上的画面731。按照这种方式，当显示画面时，仅仅改变显示区的大小就能够放大或缩小包括对应于当前帧的画面在内的画面。 

如上所述，通过显示存在于显示区的范围之内，并且放置在画面存储器161中的画面，能够连续显示被再现的合成画面。这里，当当前画面被仿射变换，并被合成到画面存储器161中时，能够进行尺寸减小处理或类似处理。从而，当通过增大显示缩放系数，放大地显示 当前画面时，包括对应于当前帧的画面的合成画面会变模糊。在这种情况下，利用还将被合成到画面存储器161中的画面，显示包括被再现的当前画面的合成画面。下面将参考附图，详细说明这种显示方法。 

图37和38是示意表示保存在本发明的实施例中的运动画面存储部分240中的运动画面文件的帧的流动的示图。在这些附图中，只图解说明了与运动画面存储部分240、元数据存储部分250、画面存储器161和显示存储器270相关的部分，其它组件被省略。图37表示与在当前帧之前的各帧对应的合成画面被固定在显示部分180上的情况，图38表示对应于当前帧的画面被固定在显示部分180上的情况。 

图37(a)是图30(b)中所示的运动画面文件241和元数据文件251的简化示图。下面说明显示与帧i(247)，即，构成运动画面文件241的帧之一对应的画面的例子。即，假定已创建了与构成运动画面文件241的帧1-“i-1”对应的合成画面。另外假定图32中所示的显示区361已与当前画面的移动相一致地被向右移动。 

图37(b)是保持由与构成运动画面文件241的各帧对应的画面组成的合成画面的画面存储器161的示意图。如图32(b)中所示，与构成运动画面文件241的帧1(245)对应的画面351首先被保存在画面存储器161中。在画面351被保存在画面存储器161中之后，利用与帧2-“i-1”关联地保存在元数据文件251中的仿射变换参数256，连续仿射变换与构成运动画面文件241的帧2-“i-1”对应的画面，并连续用仿射变换的画面重写画面存储器161；所得到的画面被保存在该存储器中。显示区提取部分260从保存在画面存储器161中的合成画面中，按帧提取存在于按照通过操作接受部分231输入的指示显示缩放系数的操作确定的显示区内的画面。 

在从对应于帧1-“i-1”的画面得到的合成画面被保存在画面存储器161中的时候，利用与帧i关联地保存在元数据文件251中的仿射变换参数的值“ai、bi、ci、di、ei、fi”，仿射变换与构成运动画面文件241的帧i(247)对应的画面，并用保存在画面存储器161中的仿射变换的当前画面692重写画面存储器161。显示区提取部分260从保 存在画面存储器161中的合成画面中，提取存在于按照通过操作接受部分231输入的指示显示缩放系数的操作确定的显示区690内的画面，并例证地使显示存储器270保存提取的画面，如图37(c)中所示。 

图37(c)示意表示保持由显示区提取部分260提取的画面的显示存储器270。这里，显示区提取部分260提取的画面中对应于当前帧的当前画面693不是由显示区提取部分260从画面存储器161提取的当前画面692，而是从运动画面存储部分240获得的，并由画面变换部分140仿射变换的画面。这里，显示存储器270中保存当前画面693的位置可由画面存储器161中当前画面692的位置和大小，以及由画面存储器161中显示区690的位置和大小确定。例如，如果假定与帧编号“1”-“i”(255)关联地保存在元数据文件251中的仿射变换参数矩阵由A1、...Ai表示，并且确定显示区690的仿射变换参数矩阵(例如，关于画面存储器161的矩阵)用C表示，那么对于画面351的位置，可以使用inv(C)×(A1×...×Ai)，以便确定在显示存储器270中，保持当前画面693的位置。 

如图37(c)中所示，显示区提取部分260提取的画面被保存在显示存储器270中，显示区提取部分260提取的画面被从运动画面存储部分240获得的，并由画面变换部分140仿射变换的画面重写；仿射变换的画面被保存在显示存储器270中。保存在显示存储器270中的画面被显示在显示部分180上。按照这种方式，通过使用在仿射变换后的缩小或其它处理之后，仍将被保存在画面存储器161中的画面，能够显示较清晰的当前画面。另外，即使当通过用户的操作放大或者以其它方式处理画面时，也能够清晰地显示当前画面。 

图38(a)是图30(b)中所示的运动画面文件241和元数据文件251的简化示图。图38(a)中所示的运动画面存储部分240和元数据存储部分250，以及保存在图38(b)中所示的画面存储器161中的合成画面都与图37(a)和(b)中所示的相同，从而不再进一步讨论。 

图38(b)示意表示保存图37(b)中所示的从画面351到当前画面692的合成画面的画面存储器161，并用虚线表示图35(b)中所示的显 示区361。本例中，如图35中所示，与当前画面692相一致地通过仿射变换计算显示区，以便把对应于当前帧的画面的位置固定在显示部分180上。即，参考对应于当前帧的画面351，利用与帧编号“1”-“i”(255)关联地保存在元数据文件251的仿射变换参数256，对应于帧i(247)的画面被变换成画面692，变换后的画面692被保存在画面存储器161中。就对应于帧i(247)的显示区695来说，显示区692由利用仿射变换参数变换的画面的位置和大小确定，所述仿射变换参数是由通过操作接受部分231接受的显示缩放系数的值确定的。显示区的确定是由显示区提取部分260完成的。 

图38(c)示意表示保存显示区提取部分260提取的画面的显示存储器270。这里，保存在显示存储器270的画面(即，除当前画面696外的画面)是由显示区提取部分260提取的(即，在显示区695的范围内找到的)，并使用用于变换显示区695的仿射变换参数矩阵的逆矩阵变换的画面。即，通过仿射变换，放置在画面存储器161中的显示区可被整形成平行四边形。为了使显示区180在这样仿射变换的显示区内显示合成画面，利用用于仿射变换当前画面的仿射变换参数矩阵的逆矩阵，变换显示区内的合成画面。例如，如果假定与帧编号“1”-“i”(255)关联地保存在元数据文件251中的仿射变换参数矩阵用A1、...、Ai表示，并且确定显示区695的仿射变换参数矩阵(例如，关于对应于当前帧的画面的矩阵)用B表示，那么inv(A1×...×Ai×B)被用作变换显示区中的合成画面的矩阵。按照这种方式，如图38(c)中例证所示，变换成平行四边形的画面可被进一步变换成能够显示在显示部分180上的矩形。显示区提取部分260提取的画面中对应于当前帧的画面696不是由显示区提取部分260从画面存储器161提取的画面，而是在采集自运动画面存储部分240之后仍将被仿射变换的画面。这里，显示存储器270中保存画面696的位置，和存储器270中该画面696的大小由来自操作接受部分231的显示缩放系数确定。 

如图38(c)中所示，显示区提取部分260提取的画面被保存在显示存储器270中，显示区提取部分260提取的画面被从运动画面存储 部分240获得的画面重写；获得的画面被保存在显示存储器270中。按照这种方式，在指定把对应于当前帧的画面显示在固定位置的显示模式的情况下，通过使用逆矩阵，仿射变换的合成画面可被恢复成仍要被仿射变换的状态以便显示。另外，和图37的情况一样，能够较清晰地显示对应于当前帧的画面。 

如上所述，待保存在画面存储器161中的合成画面能够由按照两种显示模式之一，再现运动画面的单一方法创建，以致在运动画面再现期间，所述两种显示模式能够从一种模式改变成另一种模式。由此得出结论在观看再现的运动画面的时候，观众能够切换到希望的显示模式。例如，假定在按照图37中所示的显示模式的运动画面再现期间，喜爱的人物出现在当前画面的中间，以致希望把该人物置于显示部分180的中心以便观看。这种情况下，通过操作接受部分231接受的显示模式改变操作能够把运动画面再现切换成图38中所示的显示模式。由于当前画面可以是在采集自运动画面存储部分240之后仿射变换的画面，而不是保存在画面存储器161中的合成画面，因此能够观看到较清晰的画面。 

图39和40是表示构成由作为本发明的实施例的画面处理设备680执行的运动画面再现处理的步骤的流程图。在图39-41中所示的步骤中，步骤S921、S926、S927、S928、S939和S941和图27中的相应步骤相同，从而用相同的附图标记表示这些步骤，不过不再进一步讨论。 

响应通过操作接受部分231输入的操作，内容获得部分120获得保存在运动画面存储部分240中的运动画面文件，以及与该运动画面文件关联，并保存在元数据存储部分250中的元数据(步骤S961)。随后，内容获得部分120解码运动画面文件，从中获得构成运动画面文件的当前帧的画面，和对应于该画面的声音(步骤S962)。之后，内容获得部分120从元数据文件获得与得到的当前帧对应的仿射变换参数(步骤S963)。 

随后，用对应于当前帧的变换后画面重写合成画面，所得到的画 面被保存在画面存储器161中(步骤S928)。之后，显示区提取部分260确定是否指定了把固定对应于当前帧的画面的显示模式(步骤S964)。如果指定了固定对应于当前帧的画面的显示模式，那么显示区提取部分260利用从第一帧到当前帧的仿射变换参数，和实际对应于显示缩放系数的仿射变换参数，确定显示区的位置和大小(步骤S965)。随后，显示区提取部分260从画面存储器161提取包括在显示区中的合成画面(步骤S966)。随后，显示区提取部分260利用用于确定显示区的仿射变换参数矩阵的逆矩阵，仿射变换从画面存储器161提取的合成画面(步骤S967)。 

随后，显示区提取部分260把从画面存储器161提取的仿射变换后的合成画面保存在显示存储器270中(步骤S968)。之后，画面合成部分151用当前画面重写保存在显示存储器270中的合成画面以便合成(步骤S969)。之后，显示部分180显示保存在显示存储器270中的合成画面(步骤S970)。之后进行声音变换处理(步骤S980)。 

如果在步骤S964中，发现未指定固定对应于当前帧的画面的显示模式，那么显示区提取部分260利用对应于缩放系数的仿射变换参数，确定显示区的位置和大小(步骤S971)。如果发现显示区与当前画面的变换相一致地移动，那么可以改为使用最近移动的显示区的位置。 

随后，显示区提取部分260确定保存在画面存储器161中的当前画面是否延伸到显示区之外(步骤S972)。如果未发现保存在画面存储器161中，并对应于当前帧的画面延伸到显示区之外(即，整个当前画面包含在显示区的范围之内)，那么显示区提取部分260从画面存储器161中提取包括在显示区中的合成画面(步骤S973)。随后，显示区提取部分260把从画面存储器161提取的合成画面保存在显示存储器270中(步骤S974)。 

之后，显示区提取部分260利用用于变换对应于当前帧的画面的仿射变换参数矩阵，和用于确定显示区的仿射变换参数矩阵的逆矩阵，确定显示存储器270中对应于当前帧的画面的位置(步骤S975)。 之后，画面合成部分151用对应于当前帧的画面重写保存在显示存储器270中的合成画面，以便合成(步骤S976)。随后到达步骤S970。 

如果在步骤S972中，发现保存在画面存储器161中的当前画面延伸到显示区之外(即，当前画面的至少一部分未被包括在显示区的范围内)，那么显示区提取部分260计算显示区的一侧和延伸到显示区之外的当前画面之间的差值(步骤S977)。随后，显示区提取部分260根据计算的差值移动显示区(步骤S978)。之后到达步骤S973。 

图41是表示构成作为本发明的实施例的画面处理设备680执行的声音变换处理(即，步骤S980中的过程)的典型步骤的流程图。在所示的步骤中，步骤S952、S953和S954与图28中所示的相应步骤相同，从而用相同的附图标记表示它们，但不再进一步讨论。 

首先，显示区提取部分260参考画面显示区161的区域，输出关于当前显示区的仿射变换参数(步骤S981)。利用关于显示区的仿射变换参数，以及使用画面变换部分140输出的对应于当前帧的画面的中心位置、角度和缩放系数，计算声音变换信息(步骤S982)。 

下面参考附图说明本发明的实施例的第三变体。 

图42是表示作为本发明的实施例的画面处理设备740的典型功能结构的方框图。这里，画面处理设备740是图31中所示的画面处理设备680的局部改变的变体。通过用目标画面变换信息计算部分280和相对关系信息存储部分290补充图31中的画面处理设备680的功能结构，并分别用内容获得部分121、画面变换部分141、音量控制部分630和声音相加部分640代替内容获得部分120、画面变换部分140、音量控制部分201和声音相加部分202，实现画面处理设备740。该结构允许画面处理设备740转换与在单一显示屏幕上再现的多个运动画面相关的声音。运动画面存储部分240、元数据存储部分250、画面合成部分151、声音变换信息计算部分191、声音输出控制部分210和扬声器220的配置与图31中所示的画面处理设备的相应部分的配置相同，从而不再进一步详细讨论。 

响应通过操作接受部分232接受的输入操作，内容获得部分121 获得保存在运动画面存储部分240中的一个或多个运动画面文件，与这些运动画面文件关联地保存在元数据存储250中的元数据文件，和与这些运动画面文件共同关联地保存在相对关系信息存储部分290中的至少一个相对关系元数据文件，并把获得的文件的信息提供给相关部分。具体地说，如果操作接受部分232接受指示在合成多个运动画面的时候，再现所述多个运动画面的多活动画面合成和再现模式的输入操作，那么内容获得部分121获得保存在运动画面存储部分240中的多个运动画面文件，与这些运动画面文件关联地保存在元数据存储部分250中的元数据文件，和与这些运动画面文件共同关联地保存在相对关系信息存储部分290中的一个相对关系元数据文件；并把获得的运动画面文件的运动画面，和元数据文件的仿射变换参数输出给画面变换部分141。另外，内容获得部分121把包含在获得的元数据文件的相对关系元数据文件中的内容输出给目标画面变换信息计算部分280。内容获得部分121具有内容获得部分120的功能。内容获得部分120的功能和上面讨论的功能相同，从而不再进一步讨论。 

画面变换部分141利用对应于画面的仿射变换参数，按帧对构成内容获得部分121所输出的运动画面文件的运动画面的画面进行仿射变换。画面变换部分141把仿射变换后的画面输出给画面合成部分151。这里，如果指示了多运动画面合成和再现模式，那么画面变换部分141把作为再现目标的多个运动画面之一视为参考运动画面，并利用与构成该参考运动画面的画面对应的仿射变换参数，按帧对该参考运动画面进行仿射变换。另一方面，画面变换部分141利用目标画面变换信息计算部分280计算的目标画面变换信息(仿射变换参数)，和与构成运动画面的画面对应的仿射变换参数，按帧对除作为再现目标的参考运动画面之外的多个运动画面进行仿射变换。另外，画面变换部分141具有画面变换部分140的功能。画面变换部分140的功能和上面说明的功能相同，从而不再进一步讨论。后面将参考图44和其它附图详细讨论变换运动画面的另一种方法。 

操作接受部分232具有各种输入按键。在接受通过这些按键输入 的操作之后，操作接受部分232把包含在输入的操作中的内容输出给内容获得部分121、画面变换部分141、或者显示区提取部分260。例证地，操作接受部分232包括从保存在运动画面存储部分240中的一个或多个运动画面文件中选择希望的运动画面的操作选择按键，指示普通的运动画面再现的再现指示按键，停止再现运动画面的停止按键，指示运动画面的显示缩放系数的显示缩放系数指示按键，及设置多运动画面合成和再现模式的多运动画面合成和再现设置键。这些按键中的每一个都可被赋予多种功能。另外，至少一部分的操作接受部分232和显示部分180可被集成为触敏面板。 

在指示了多运动画面合成和再现模式的情况下，目标画面变换信息计算部分280根据内容获得部分121输出的元数据文件和相对关系元数据文件中的仿射变换参数，把构成作为再现目标的多个运动画面之一的至少一个画面视为参考画面，并把构成其它运动画面的画面视为目标画面，并计算供变换目标画面之用的目标画面变换信息。计算的目标画面变换信息被输出给画面变换部分141。例证地，指定运动画面的参考画面可以是构成所考虑的运动画面的各个画面之中，对应于第一帧的画面。目标画面变换信息一般由用于关于参考画面，变换目标画面的仿射变换参数组成。 

图43是示意表示在本发明的实施例中，记录在运动画面存储部分240和相对关系信息存储部分290中的文件的示图。本例中示意表示的是保存在运动画面存储部分240中的运动画面文件241-244，和与运动画面文件241-244关联地保存在相对关系信息存储部分290中的相对关系元数据文件291-293。本例中说明的是如何与保存在相对关系信息存储部分290中的相对关系元数据文件291-293关联地保存构成运动画面文件(#1)241的帧“5”741和“8”742，构成运动画面文件(#2)242的帧“7”743和“9”744，以及构成运动画面文件(#3)243的帧“3”745和“10”746。保存在运动画面存储部分240中的运动画面文件和图30中所示的相同，从而不再进一步讨论。 

运动画面ID 294、帧编号295和仿射变换参数296相互关联地 分别被保存在相对关系元数据文件291-293中。 

运动画面ID 294被附到与其间至少具有三个叠合点的两个画面对应的两个运动画面文件上。例如，附到运动画面文件241上的“#1”和附到运动画面文件242上的“#2”被保存在相对关系元数据文件291中。 

帧编号295是与其间至少具有三个叠合点的两个画面对应的两帧的序列号。例如，构成运动画面文件241的运动画面的帧的帧编号“5”和构成运动画面文件242的运动画面的帧的帧编号“7”被保存在相对关系元数据文件291中。 

关于与运动画面ID 294和帧编号295对应的至少两个画面计算仿射变换参数296。例如，相对关系元数据文件291包含与构成运动画面文件241的运动画面的帧“5”，及构成运动画面文件242的运动画面的帧“7”对应的仿射变换参数“ao、bo、co、do、eo、fo”。对于本发明的该变体来说，假定在与两个运动画面ID 294和两个帧编号295对应的两个画面中，当对应于图43中的下层帧编号的画面被视为参考画面，对应于上层帧编号的画面被视为目标画面时，应用仿射变换参数296。例如，包含在相对关系元数据文件291中的仿射变换参数296是构成运动画面文件(#1)241的运动画面的帧“5”(741)，及构成运动画面文件(#2)242的运动画面的帧“7”(743)的仿射变换参数。 

图44是示意表示合成两个运动画面的例子的示图。这些例子是说明的是如何合成构成运动画面370的画面371-384及构成运动画面390的画面391-397。其内部用阴影表示的画面378和394被假定为与包含在关于运动画面370和390的相对关系元数据中的帧编号对应。 

图44(a)表示通过利用与对应帧关联地保存的仿射变换参数，构成运动画面370的画面371-384被连续仿射变换，并被合成到画面存储器161中的情况。例如，对应于第一帧的画面371首先被保存在画面存储器161中。参考画面371连续仿射变换画面372-384，并将其合成到画面存储器161中。由仿射变换产生的当前画面的流动由箭头385表示。即，画面371-384沿着箭头385被连续合成。 

图44(b)表示通过利用与对应帧关联地保存的仿射变换参数，构成运动画面390的画面391-397被连续仿射变换，并被合成到画面存储器161中的情况。图44(c)表示利用包括在关于运动画面370和390中的相对关系元数据中的仿射变换参数，在画面391被视为参考画面的情况下，对画面394进行仿射变换产生的画面378和394之间的相对位置关系。这里，图44(b)中所示的合成画面由在图44(c)中所示的画面378和394之间的相对位置关系被视为基准的情况下被合成的画面391-397产生。由仿射变换产生的当前画面的流动由箭头398表示。即，画面391-397沿着箭头398被连续合成。图44(d)表示如上所述，在图44(c)中的画面378和384之间的相对位置关系被视为基准的情况下，合成图44(a)和44(b)中的合成画面的例子。图44(d)的例子表示画面378和394被同时再现，就同时被再现的画面来说，运动画面370被运动画面390重写。 

下面说明关于保持运动画面的具体位置的计算。首先，确定构成多个运动画面之一的至少一个运动画面的位置。例如，确定与构成运动画面370的第一帧对应的画面371的位置。所述确定的位置可由操纵操作接受部分232的用户指定，或者使用通过上述计算获得的位置来确定。随后计算保持构成另一运动画面的至少一个画面的位置。例如，假定与和画面371-384对应的帧相关的仿射变换参数矩阵用A1-A14表示；与和画面391-397对应的帧相关的仿射变换参数矩阵用B1-B7表示；与运动画面370和390关联地保存的相对关系元数据的仿射变换参数矩阵用C1表示；并且参考画面是画面371。这种情况下，参考画面存储器161中保存画面371的位置，通过A1-A8的乘法，即，使用A1×...×A8计算保存画面378的位置。参考画面存储器161中保存画面371的位置，通过A1-A8和C1的乘法，即，使用A1×...×A8×C1计算保存画面394的位置。这里，例证地通过A1-A8和C1的乘法及B1-B4的逆矩阵的乘法，即，使用“A1×...×A8×C1×Inv(B1×...×B4)”来计算保存画面391的位置，计算保存与运动画面390的第一帧对应的画面391的位置。另外，通过利 用A1-A8和C1，以及B1-B4或B5-B7的逆矩阵，可类似地计算保存构成运动画面390的其它画面的位置。 

构成除包含参考画面的运动画面之外的运动画面的画面是利用用于计算保存对应于第一帧的画面的位置的矩阵，和与画面相关的仿射变换参数仿射变换的。例如，如果运动画面390中的画面392要被仿射变换，那么对应于画面392的矩阵B2被用于涉及矩阵“A1×...×A8×C1×Inv(B3×B4)”的变换。作为另一例子，同样地利用矩阵“A1×...×A8×C1×Inv(B4)”仿射变换运动画面390中的画面523。按照类似的方式，变换运动画面390中的每个画面。 

如上所述，当合成和再现多个运动画面时，可以关于指定的运动画面首先确定画面存储器161中参考画面的位置和大小。随后，利用与每个运动画面相关的元数据文件，和与运动画面相关的相对关系元数据文件，计算每个其它画面的位置和大小。从而，这使得在合成和再现多个运动画面的情况下，能够从任意运动画面中的任意位置开始再现。例如，图44(d)的例子表示在画面存储器161中，首先合成构成运动画面370的画面371-374，随后合成构成运动画面390的画面391。即，画面375和391被同时合成，之后画面376和392被同时合成。后续画面同样如此。尽管本例表示就同时被再现的画面来产，运动画面370被运动画面390重写，不过可以操纵操作接受部分230，以指示用其重写另一运动画面的所需运动画面。 

下面说明由作为本发明的实施例的画面处理设备740执行的声音变换处理。 

图45是表示在作为本发明的实施例的画面处理设备740中的声音变换处理部分200的典型结构的方框图。下面说明的是当同时再现第一运动画面和第二运动画面时，生成左右声道的输出声音的典型变换处理。假定第一和第二运动画面的输入声音由左右声道构成。从而，下面说明其音量控制部分630和声音相加部分640分别替代图31中的音量控制部分201和声音相加部分202的声音变换处理部分200的功能。声音变换处理部分200的基本结构和图17中所示的相同，从 而下面将简要提及其结构。 

音量控制部分630具有音量放大器631-638。音量放大器631-634根据由声音变换信息计算部分191供给的关于第一运动画面的声音变换信息RR₁、RL₁、LR₁和LL₁，放大第一运动画面的左右声道的输入声音。音量放大器635-638根据由声音变换信息计算部分191供给的关于第二运动画面的声音变换信息RR₂、RL₂、LR₂和LL₂，放大第二运动画面的左右声道的输入声音。 

声音相加部分640具有声音加法器641-646。声音加法器641和642相加第一运动画面的左右声道的输入声音。声音加法器643和644相加第二运动画面的左右声道的输入声音。声音加法器645相加第一和第二运动画面的右声道的输出声音。声音加法器646相加第一和第二运动画面的左声道的输出声音。 

图46是表示当作为本发明的实施例的画面处理设备740同时再现两个运动画面时进行的声音变换处理的例子的示图。图46的例子表明两个被再现的运动画面651和652被显示在显示部分180的显示屏幕上。这种情况下，如上所述，首先通过与和对应于被再现运动画面651和652的当前帧对应的画面的中心位置、角度或缩放系数相一致地变换每个声道的输入声音，产生输出声音。随后在每个相同的声道上，相加关于被再现的运动画面651和652的输出声音，之后输出给右扬声器221和左扬声器222。关于这样产生的输出声音的关系表达式如下所示： 

R′＝(R1′+R2′)/2 

L′＝(L1′+L2′)/2 

其中R1′＝R1·RR₁+L1·LR₁，L1′＝R1·RL₁+L1·LL₁，R2′＝R2·RR₂+L2·LR₂，L2′＝R2·RL₂+L2·LL₂。R1和L1代表第一运动画面的右声道和左声道的输入声音，R2和L2代表第二运动画面的右声道和左声道的输入声音。RR₁、RL₁、LR₁和LL₁对应于关于第一运动画面的声音变换信息，RR₂、RL₂、LR₂和LL₂对应于关于第二运动画面的声音变换信息。 

除了在步骤S982中，在每个相同的声道上相加多个运动画面的输出声音之外，构成由作为本发明的实施例的画面处理设备740执行的声音变换处理的典型步骤和上面讨论的那些步骤相同。该处理的其余步骤相同，从而不再进一步讨论。 

上面说明了其中根据关于运动画面的运动信息，变换声音的例子。不这地，本发明的实施例也可适用于根据除关于运动画面的运动信息外的其它信息，变换声音的情况。作为这种应用的一个例子，下面参考附图说明本发明的实施例的第四变体。在下面的说明中，将只说明图1中所示的内容获得部分120和画面变换部分140的功能；其它结构和上面讨论的那些功能相同，从而不再进一步说明。 

内容获得部分120获得表示运动画面在显示部分180上的显示区的模板信息。该模板信息定义在显示屏幕上显示多种信息的显示区。例证地，定义显示运动画面的运动画面显示区和显示文本字符的字符显示区。 

画面变换部分140根据内容获得部分120输入的模板信息，变换画面。即，该变换被设计成在由模板信息定义的显示屏幕上的显示区中显示运动画面。在采集自模板信息之后，画面变换部分140把与当前帧对应的画面的中心位置、角度或缩放系数输出给声音变换信息计算部分190。 

图47是按照本发明的实施例，表示根据除关于运动画面的运动信息之外的其它信息，变换声音的处理的例子的示图。图47(a)表示其中运动画面653被显示在显示部分180的显示屏幕的左侧，关于运动画面的信息以文本形式被显示在所述显示屏幕的右侧的例子。这里，显示屏幕上运动画面653的中心位置位于显示屏幕的左侧，以致使左扬声器222的输出声音的输出率高于右扬声器221的输出声音的输出率。这种情况下，画面变换部分140从表示运动画面的显示区的模板信息获得运动画面653的中心位置和缩放系数，并把所包含的内容输出给声音变换信息计算部分191。图47(b)表示其中显示部分180的显示区被一分为二，以便显示运动画面的例子。这里，运动画面654 被显示在显示屏幕的左半部，运动画面655被显示在显示屏幕的右半部，以致与运动画面654和655的中心位置相一致地产生运动画面654和655的每个声道上的输出声音。运动画面654和655的每个相同声道上的输出声音被相加，并被输出给右扬声器221和左扬声器222。这种情况下，画面变换部分140从关于显示区的拆分的模板信息获得运动画面654和655的中心位置和缩放系数，并把所包含的内容输出给声音变换信息计算部分191。 

下面参考附图详细说明配置成检测保存在图29、31和42中所示的元数据存储部分250中的仿射变换参数的照相机工作检测部分480。图1中所示的画面变换信息供给部分130的结构和照相机工作检测部分480的结构类似，从而也能够检测仿射变换参数。 

图48是表示本发明的实施例中的照相机工作检测部分480的典型功能结构的方框图。照相机工作检测部分480具有特征点提取部分481、光流计算部分482和照相机工作参数计算部分483，并与运动画面输入部分470和记录控制部分490连接。本例中，只图解说明与照相机工作检测部分480相关的结构；不再进一步指示或说明其它结构。 

运动画面输入部分470输入由诸如数字摄像机之类成像设备拍摄的运动画面。运动画面输入部分470把输入的运动画面输出给照相机工作检测部分480。 

记制控制部分490与对应的运动画面和帧关联地记录由照相机工作检测部分480以元数据文件的形式输出给元数据存储部分250的仿射变换参数。 

特征点提取部分481从与构成运动画面输入部分470输出的运动画面的各帧对应的画面中提取特征点，并把提取的特征点输出给光流计算部分482。这里，特征点提取部分481从与构成运动画面输入部分470输出的运动画面的各帧中的第一帧对应的整个画面中提取特征点。就与除第一帧外的各帧对应的每个画面来说，特征点提取部分481从与和前一帧对应的画面相比，新拍摄的各个画面区部分中提取特征点。例证地，均在垂直方向或水平方向具有过高的边缘梯度的那些点 (通常称为角点)可被提取为特征点(下面称为角点)。角点是非常有益于计算光流的特征点，可通过边缘检测来获得。例如，可利用图2和3中所示的提取方法获得角点。本例中，特征点提取部分481从对应于第一帧的整个画面中提取特征点，并关于与除第一帧外的各帧对应的每个画面，从与对应于前一帧的画面相比新拍摄的各个画面区部分中提取特征点。不过，取决于可用的吞吐量，也可从与除第一帧外的每一帧对应的整个画面中提取特征点。 

光流计算部分482计算由特征点提取部分481输出的特征点的光流，并把计算的光流输出给照相机工作参数计算部分483。具体地说，比较与构成由运动画面输入部分470输出的运动画面的两个连续帧(当前帧和前一帧)对应的画面，从而获得和对应于前一帧的画面中的特征点对应的光流，作为当前帧的光流。关于构成运动画面的每一帧获得光流。作为检测光流的方法，可以使用梯度方法或者块匹配方法。例证地，可通过图2和3中所示的计算获得光流。 

照相机工作参数计算部分483利用光流计算部分482输出的与特征点对应的光流，进行照相机工作参数计算处理，以计算照相机工作参数。这样计算的照相机工作参数被保存在元数据存储部分250中。这里，本发明的实施例与成像设备的运动相一致地变换和显示构成作为再现目标的多个运动画面的画面。为了进行画面变换，本实施例利用光流计算部分482计算的光流，提取成像设备的运动，并根据提取的运动计算照相机工作参数(变换参数)。对于本发明的实施例来说，仿射变换被用作典型的画面变换方法，这里说明了该方法，该方法变换构成作为再现目标的运动画面的画面。和为典型的照相机工作参数，这里说明的是与根据光流计算的仿射变换参数矩阵的逆矩阵对应的仿射变换参数。即，按照本发明的实施例，用作变换信息的仿射变换参数不被定义为表示连续画面之间特征点的运动的仿射矩阵，而是被定义成与表示在指定参考画面之后的画面移动到的地方的仿射矩阵对应的仿射变换参数，所述参考画面是所述连续画面之一。尽管这里把仿射变换参数说明成典型的照相机工作参数，不过可以改为利用 某种其它的画面变换方法，比如投影变换。利用三点矢量可计算和获得仿射变换参数，而利用四点矢量可计算和获得投影变换参数。这里，照相机工作参数构成用于参考构成所摄运动画面的至少一个所摄画面，变换所摄画面的变换信息，包括至少在成像设备的坐标系中描述的位置信息和姿态信息。即，照相机工作参数包括摄像者操控的成像设备的位置和姿态信息。根据照相机工作参数计算部分483获得的仿射变换参数，还能够估计由摄像者的操作，比如拉近、拉远、遥摄、倾斜和旋转引起的成像设备的运动。例如，通过图2和3中所示的计算，可获得仿射变换参数。 

下面参考附图详细说明在本发明的实施例中，多核处理器800是如何进行特征点提取处理和光流计算处理的。这里，将举例说明由特征点提取部分481进行的特征点提取处理，和由光流计算部分482执行的光流计算处理。 

图49是表示本发明的实施例中的多核处理器800的典型结构的方框图。多核处理器800是在单个CPU(中央处理器)封装中包含不同种类的多个处理器核芯的处理器。即，为了以简化的结构保持各个处理器核芯的性能，多核处理器800包含两种多处理器核芯：一种致力于通用应用，另一种在一定程度上被优化，以便更好地处理专用应用。 

多核处理器800具有控制处理器核芯801，算术处理器核芯(#1)811-(#8)818，和总线802，并与主存储器781连接。另外，多核处理器800与其它装置，比如图形装置782和I/O装置783连接。作为多核处理器800，可以采用由本申请人和其他公司开发的称为“Cell(单元宽带引擎)”的微处理器。 

控制处理器核芯801主要实现由操作系统进行的频繁线程切换。后面将参考图50详细说明控制处理器核芯801。 

算术处理器核芯(#1)811-(#8)818是特别适合于多媒体处理的简单的小尺寸算术处理器核芯。后面将参考图51详细说明算术处理器核芯(#1)811-(#8)818。 

总线802是称为EIB(元件互连总线)的高速总线，控制处理器核 芯801和算术处理器核芯(#1)811-(#8)818与之连接。通过总线802实现每个处理器核芯的数据访问操作。 

主存储器781与总线802连接。主存储器781保存将被载入每个处理器核芯的各种程序，和对将由处理器核芯执行的处理来说必需的数据，以及处理器核芯处理的数据。 

图形装置782是与总线802连接的图形装置。I/O装置783是与总线802连接的外部输入/输出装置。 

图50是表示本发明的实施例中的控制处理器核芯801的典型结构的示图。控制处理器核芯801具有控制处理器单元803和控制处理器存储系统806。 

控制处理器单元803是充当实现控制处理器核芯801的算术处理的核芯的单元。控制处理器单元803具有基于微处理器体系结构的指令集，并且包含指令高速缓冲存储器804和数据高速缓冲存储器805，作为一次高速缓冲存储器。例证地，指令高速缓冲存储器804是32KB指令高速缓冲存储器，数据高速缓冲存储器805一般是32KB数据高速缓冲存储器。 

控制处理器存储系统806是控制从控制处理器单元803对主存储器781进行的数据访问操作的单元。控制处理器存储系统806包含512KB二次高速缓冲存储器807，以允许来自控制处理器单元803的高速存储器访问。 

图51是表示本发明的实施例中的算术处理器核芯(#1)811的典型结构的示图。算术处理器核芯(#1)811具有算术处理器单元820和存储器流控制器822。算术处理器核芯(#2)812-(#8)818具有和算术处理器核芯(#1)811相同的结构，从而不再进一步说明。 

算术处理器单元820是充当实现算术处理器核芯(#1)811的算术处理的核芯的单元。算术处理器单元820具有其独特的指令集，该指令集不同于控制处理器核芯801中的控制处理器单元803的指令集。另外，算术处理器单元820包含本地存储器(LS)821。 

本地存储器821是算术处理器单元820的专用存储器，是算术处 理器单元820能够直接访问的唯一存储器。例证地，容量为256KB的存储器可被用作本地存储器821。当可以访问主存储器781或者任意其它算术处理器核芯(即，算术处理器核芯(#2)812-(#8)818)的本地存储器时，算术处理器单元820需要使用存储器流控制器822。 

称为MFC的存储器流控制器822是与主存储器781和其它算术处理器核芯交换数据的单元。算术处理器单元820通过称为通道的接口请求存储器流控制器822执行数据传输和其它操作。 

对于上面说明的多核处理器800，提出了各种编程模型。最基本的编程模型涉及使控制处理器核芯801执行主程序，使算术处理器核芯(#1)811-(#8)818执行子程序。下面参考附图，详细说明本本发明的实施例中的多核处理器800利用该模型执行其算术处理的计算方法。 

图52是示意表示本发明的实施例中的多核处理器800的计算方法的示图。在本例中，当利用数据785执行任务784时，控制处理器核芯801使算术处理器核芯利用处理任务786所必需的数据787(数据785的一部分)，执行任务786，任务786是任务784的一部分。 

如图52中所示，当利用数据785执行任务84时，控制处理器核芯801使算术处理器核芯利用处理任务786所必需的数据787(数据785的一部分)执行任务786，任务786是任务784的一部分。按照本发明的实施例，算术处理器核芯对构成运动画面的每一帧，执行该处理。 

如图52中所示，当多核处理器800执行其处理时，使算术处理器核芯(#1)811-(#8)818并行工作，以便在较短的时间内完成大量的处理。也可通过在算术处理器核芯(#1)811-(#8)818上使用SIMD(单指令/多数据)计算，利用数目更有限的指令完成相对大量的处理。后面将参考附图56-59和其它附图，详细讨论SIMD计算。 

图53是示意表示当本发明的实施例中的多核处理器800执行操作时，程序和数据的实际流动的示图。这里，作为例子，挑选了算术处理器核芯(#1)811-(#8)818中的算术处理器核芯(#1)811。相同的流动也适用于算术处理器核芯(#2)812-(#8)818。 

首先，控制处理器核芯801向算术处理器核芯(#1)811发出把保存在主存储器781中的算术处理器核芯程序823载入算术处理器核芯(#1)811的本地存储器821中的指令。算术处理器核芯(#1)811再把保存在主存储器781中的算术处理器核芯程序823载入本地存储器821。 

控制处理器核芯801随后指令算术处理器核芯(#1)811执行保存到本地存储器821中的算术处理器核芯程序825。 

算术处理器核芯(#1)811随后把数据824从主存储器781传给本地存储器821，执行算术处理器核芯程序825所需的数据824被保存在本地存储器821中。 

随后，根据保存在本地存储器821中的算术处理器核芯程序825，算术处理器核芯(#1)811处理从主存储器781传来的数据826，在实际的条件下执行后续处理，并把处理结果放入本地存储器821中。 

算术处理器核芯(#1)811随后把根据保存在本地存储器821中算术处理器核芯程序825执行的处理的结果从本地存储器821传给主存储器781。 

算术处理器核芯(#1)811随后通知控制处理器核芯801算术处理已结束。 

下面参考附图，详细说明利用多核处理器800进行的SIMD计算。SIMD计算是通过利用单一指令，执行关于多个数据的处理的计算方法。 

图54(a)是示意概述利用相应指令，执行关于多个数据的处理的计算方法的示图。图54(a)中所示的计算方法是例证称为标量计算的普通计算方法。例如，相加数据“A1”和数据“B1”的指令产生结果数据“C1”。对于其它三种计算中的每一个，执行同样地相加相同行上的每个数据“A2”、“A3”和“A4”与每个数据“B2”、“B3”和“B4”的指令，以获得结果数据“C2”、“C3”和“C4”。按照这种方式，对于将对多个数据进行的每个处理，标量计算要求使用单独的指令。 

图54(b)是示意概述SIMD计算的示图，SIMD计算是使用单一指令执行对多个数据的处理的计算方法。这里，为了SIMD计算，编 成多组的数据(由虚线827和828围绕)可被称为矢量数据。利用这种矢量数据进行的SIMD计算可被称为矢量计算。 

例如，相加由虚线827围绕的矢量数据(“A1”、“A2”、“A3”、“A4”)和由虚线828围绕的矢量数据(“B1”、“B2”、“B3”、“B4”)的指令产生处理结果“C1”、“C2”、“C3”和“C4”(由虚线829围绕的数据)。按照这种方式，SIMD计算涉及获得执行对多个数据的处理的单一指令，以致能够高速进行算术处理。用于这种SIMD计算的指令由多核处理器800的控制处理器核芯801执行，按照这些指令对多个数据的处理由算术处理器核芯(#1)811-(#8)818并行执行。 

另一方面，例证地涉及数据“A1”和“B1”相加，数据“A2”和“B2”相减，数据“A3”和“B3”相乘，和数据“A4”和“B4”相除的处理不能由SIMD计算完成。即，SIMD计算不能实现对多个数据的不同处理。 

下面参考附图，详细说明执行特征点提取处理和光流计算处理的SIMD计算的具体计算方法。 

图55是表示由本发明的实施例中的控制处理器核芯801或者算术处理器核芯(#1)811执行的程序的典型结构的示图。尽管这里只图解说明了算术处理器核芯(#1)811的处理，不过算术处理器核芯(#2)812-(#8)818也执行相同的处理。 

控制处理器核芯801执行用于解码851的解码处理852，交错处理53，和调整大小处理854。解码处理852是解码运动画面文件的处理。交错处理是对每个解码帧进行交错消除的处理。调整大小处理854是减小经历交错消除的每一帧的大小的处理。 

另外，控制处理器核芯801进行用于算术处理器核芯管理856的指令传输处理857和859，及结束通知接受处理858和860。指令传输处理857和859是向算术处理器核芯(#1)811-(#8)818传送SIMD计算执行指令的处理。结束通知接收处理858和860是关于上面的指令，从算术处理器核芯(#1)811-(#8)818接收SIMD计算结束通知的处理。此外，控制处理器核芯801执行用于照相机工作检测861的照相机工作参数计算处理862。照相机工作参数计算处理862是根据通过 算术处理器核芯(#1)811-(#8)818执行的SIMD计算，计算的光流，计算每一帧的仿射变换参数的处理。 

算术处理器核芯(#1)811执行用于特征点提取处理863的Sobel滤波处理864，二次矩矩阵处理865，可分离滤波处理866，Harris角点提取(Calc Harris)处理867，扩张处理868和分类处理869。 

Sobel滤波处理864是计算利用P2滤波器(x方向)获得的x方向值dx和利用y方向滤波器获得的y方向值dy的处理。后面将参考图56-59详细讨论x方向值dx的计算。 

二次矩矩阵处理865是利用Sobel滤波处理864计算的值dx和dy，计算值dx²，dy²和dx·dy的处理。 

可分离滤波处理866是对二次矩矩阵处理865计算的dx²，dy²和dx·dy的画面应用高斯滤波(模糊)的处理。 

Harris角点提取处理867是利用可分离滤波处理866对其应用模糊的dx²，dy²和dx·dy的值，计算Harris角的得分的处理。例证地利用下述表达式计算Harris角的得分S： 

S＝(dx²×dy²-dx·dy×dx·dy)/(dx²+dy²+ε) 

扩张处理868是对由Harris角点提取处理867计算的Harris角的得分构成的画面应用模糊的处理。 

分类处理869是按照其得分降序列排列Harris角点提取处理867计算的Harris角的像素，并且把得分最高的预定数目的像素挑选为特征点的处理。 

算术处理器核芯处理器(#1)811执行用于光流操作870的金字塔画面(产生金字塔图像)处理871和光流计算(Calc光流)处理872。 

金字塔画面处理871是连续创建从成像设备拍摄的画面的大小开始，以预定数目的步骤减小其大小的画面的处理。这样创建的画面被称为多分辨率画面。 

光流计算处理872是计算金字塔画面处理871创建的多分辨率画面的最小画面的光流的处理。通过利用计算的结果，光流计算处理872再计算分辨率更高一级的画面的光流。重复所述一系列的计算，直到 达到画面中的最大者为止。 

如上所述，执行由图48中所示的特征点提取部分481执行的特征点提取处理，和由同样在图48中的光流计算部分482执行的光流计算处理，其结果例证地由并行执行SIMD计算的多核处理器800获得。图55和其它地方所示的特征点提取处理和光流计算处理是对本发明的举例说明。另一方面，由对构成运动画面的画面的不同滤波处理和阈值处理构成的其它处理可被多核处理器800用于执行SIMD计算。 

图56是示意概述当利用Sobel滤波器830对保存在本发明的实施例中的主存储器781中的画面数据(所述画面数据对应于构成成像设备拍摄的运动画面的帧之一)进行滤波处理时，实际的数据结构和处理流程的示图。在图56中，以简化形式表示了保存在主存储器781中的画面数据，沿行方向排列32个像素。Sobel滤波器830是3×3边缘提取滤波器。如图56中所示，利用Sobel滤波器830对保存在主存储器781中的画面数据进行滤波处理，并输出滤波处理的结果。本例中说明的是如何利用SIMD计算，同时获得滤波处理的四次迭代的结果。 

图57是示意概述利用Sobel滤波器830对保存在本发明的实施例中的主存储器781中的画面数据进行SIMD计算时，实际的数据流的示图。首先，在DMA(直接存储器访问)操作中，包括保存在主存储器781中的第一行的画面数据在内的预定数目的行(例如，3行)被传输到算术处理器核芯的本地存储器821中，从DMA传输到第一缓冲区831的各行向下移动一行的预定数目的行被DMA传输到第二缓冲区832。这种双重缓冲器安排的使用有助于隐藏DMA传输中的延迟。 

图58是示意概述在本发明的实施例中，当使用Sobel滤波器830进行滤波处理时，根据保存在第一缓冲区831中的画面数据创建9个矢量的矢量创建方法的示图。如图58中所示，在DMA传输之后，根据保存在第一缓冲区831中的画面数据创建9个矢量。具体地说，根据保存在第一缓冲区831中的画面数据的行1，从最左侧位置开始的 四个数据项被用于创建矢量数据841；同一行上右移一位的四个数据项被用于创建矢量数据842。同样再次右移一位的四个数据项被用于创建矢量数据843。从行2和行3，四个数据项被同样地用于创建矢量数据844-849。 

图59是示意概述在本发明的实施例中，当利用Sobel滤波器830进行滤波处理时，使用SIMD指令对矢量数据841-849进行矢量运算的矢量运算方法的示图。具体地说，对矢量数据841-849接连进行SIMD计算，以便获得矢量A。在SIMD运算中，首先，按照SIMD方式进行“-1×矢量数据841”运算，之后依次是SIMD运算“0×矢量数据842”和“1×矢量数据843”。由于运算“0×矢量数据842”的结果肯定为“0”，因此该运算可被省略。由于运算“1×矢量数据843”的结果肯定和矢量数据843的值相同，因此该运算也可被省略。 

随后，按照SIMD运算相加“-1×矢量数据841”的结果和运算“0×矢量数据842”的结果。之后按照SIMD运算，相加上述加法的结果和运算“1×矢量数据843”的结果。例证地，可按照SIMD方式计算数据结构“矢量数据1×矢量数据2+矢量数据3”。从而就矢量A的计算来说，SIMD运算“0×矢量数据842”和SIMD运算“1×矢量数据843”可被省略，可按照SIMD方式执行单次运算“-1×矢量数据841+矢量数据843”。 

同样地，可按照SIMD方式计算矢量数据844-矢量数据846，以获得矢量B，按照SIMD方式计算矢量数据847-矢量数据849，以获得矢量C。 

利用SIMD运算计算按照SIMD方式获得的矢量A-C，以获得矢量D。当如上所述进行SIMD计算时，一起获得和构成矢量的元素的数目(本例中，4个数据项)一样多的运算的结果。 

在获得矢量D之后，重复相同的处理，同时将从保存在图57中的第一缓冲区831中的画面数据提取的数据的位置每次被右移一位，这使得能够从该处理的每次迭代，连续获得矢量D。当一直到保存在图57中所示的第一缓冲区831的画面数据的最右侧位置完成了处理 时，该处理的结果被DMA传输给主存储器781。 

之后，从保存在主存储器781中的画面数据中，从DMA传输给第二缓冲区832的各行开始向下移动一行的预定数目的各行被DMA传输给第一缓冲区831。另外，对保存在第二缓冲区832中的画面数据反复进行上述处理。重复相同的处理，直到到达保存在主存储器781中的各行画面数据的最低一行为止。 

当如上所述主要按照SIMD方式进行特征点提取处理和光流计算处理时，能够实现高速处理。 

图60是按照时间顺序概述按照本发明的实施例的照相机工作参数计算处理的流程的示图。如上所述，例证地，关于运动画面和解码和分析处理可由执行SIMD计算的多核处理器800并行进行。这使得能够使分析构成运动画面的每一帧所需的时间短于解码该帧所需的时间。 

例如，在图60中，t1表示控制处理器核芯801解码构成运动画面的每一帧所需的时间；t2表示算术处理器核芯(#1)811-(#8)818从构成运动画面的每一帧中提取特征点所需的时间；t3代表算术处理器核芯(#1)811-(#8)818对构成运动画面的每一帧进行光流计算处理所需的时间；t4表示控制处理器核芯801对构成运动画面的每一帧进行照相机工作检测处理所需的时间。t5表示控制处理器核芯801和算术处理器核芯(#1)811-(#8)818对构成运动画面的每一帧进行照相机工作检测处理所需的时间。另外，t6表示控制处理器核芯801管理算术处理器核芯(#1)811-(#8)818所需的时间。例证地，t1可被设为“25.0毫秒”，t2可被设为“7.9毫秒”，t3可被设为“6.7毫秒”，t4可被设为“1.2毫秒”，t5可被设为“15.8毫秒”。 

下面参考附图详细说明通过利用元数据文件，由本发明的实施例再现运动画面内容的情况。 

图61(a)是示意表示作为典型记录介质的蓝光光盘(注册商标)880的顶视图，图61(b)是示意表示记录在蓝光光盘880上的数据881～884的示图。例证地，记录在蓝光光盘880上的是构成成像设备或类似物 拍摄的运动画面的运动画面内容882，运动画面内容882的字幕883，通过分析运动画面内容882获得的元数据(例如，图30(b)中所示的元数据文件，和图43中所示的相对关系元数据文件)884，和与本发明的实施例进行的运动画面的再现相关的Java(注册商标)程序881。 

图61(c)是表示能够再现蓝光光盘880的蓝光播放器890的内部结构的示图。这里，作为标准，连同CPU 891和OS 892一起，能够再现蓝光光盘的蓝光光盘播放器90配有Java(注册商标)VM(Java(注册商标)虚拟机)加上库893，以致蓝光光盘播放器890能够执行Java(注册商标)程序。从而，当蓝光光盘880被插入蓝光光盘播放器890中时，蓝光光盘播放器890能够加载和执行Java(注册商标)程序881。这使得对于蓝光光盘播放器890来说，当再现运动画面内容882时，能够按照本发明的实施例，利用元数据884再现运动画面。即，所有蓝光光盘播放器都能够按照本发明的实施例再现运动画面，而不必求助于专用PC软件或类似物。 

按照本发明的实施例，如上所述，可按照显示屏幕上，与运动画面的当前帧对应的画面的位置、角度或缩放系数，变换输入的声音。这允许观看运动画面的人收听恰当地反映显示屏幕上对应于当前帧的画面的位置、角度或缩放系数的声音。即，观众能够获得比以前更真实的音效。 

另外，尽管上面结合成像设备拍摄的运动画面，说明了本发明的实施例，不过另一方面，本发明的实施例可应用于合成自动画，或者合成自由照相机拍摄，并且随后被编辑的运动画面的运动画面等等。 

另外，尽管上面结合诸如个人计算机之类的画面处理设备说明了本发明的实施例，不过另一方面，本发明的实施例可应用于诸如电视机之类的运动画面再现设备。 

另外，另一方面，本发明的实施例可应用于例证地组合声音设备和显示设备的运动画面观看系统。 

尽管连同在附加权利要求中相应地要求保护的上述具体实施例，说明了本发明，不过实施例不应被理解成对本发明范围的限制，相反 仅仅提供本发明的一些目前优选的实施例的举例说明。从而，在不脱离下面的权利要求的精神或范围的情况下，可做出各种改变和变化。 

具体地说，在权利要求1中，内容获得装置例证地对应于内容获得部分120或内容获得部分121。画面变换信息供给装置例证地对应于画面变换信息供给部分130或元数据存储部分250。画面变换装置例证地对应于画面变换部分140或者画面变换部分141。画面合成装置例证地对应于画面合成部分150或画面合成部分151。显示控制装置例证地对应于显示控制部分170或者显示控制部分171。声音变换信息计算装置例证地对应于声音变换信息计算部分190或者声音变换信息计算部分191。声音变换处理装置例证地对应于声音变换处理部分200。声音输出控制装置例证地对应于声音输出控制部分210。 

在权利要求7中，音量控制装置例证地对应于音量控制部分201或者音量控制部分630。声音相加装置例证地对应于声音相加部分202或者声音相加部分640。 

在权利要求10中，画面保存装置例证地对应于画面存储器160或者画面存储器161。 

在权利要求11中，显示区提取装置例证地对应于显示区提取部分260。 

在权利要求13或14中，内容获得步骤例证地对应于步骤S922。画面变换信息供给步骤例证地对应于步骤S924或者S963。画面变换步骤例证地对应于步骤S927、S931、S935和S936。声音变换信息计算步骤例证地对应于步骤S951或S982。声音变换处理步骤例证地对应于步骤S952和S953。 

上面作为本发明的实施例的一部分讨论的一系列步骤和处理可被解释成执行这样的步骤和处理的方法，使计算机执行这种方法的程序，或者保存这种程序的记录介质。 

Claims (5)

1.一种画面处理设备，包括：

内容获得装置，用于获得包括运动画面和对应于运动画面的声音的内容数据；

画面变换信息供给装置，用于根据构成所述运动画面的第一画面和第二画面，供给关于所述第二画面相对于所述第一画面的画面变换信息；

画面保存装置，用于把包括所述第一画面在内的画面保存为历史画面；

画面变换装置，用于根据所述画面变换信息至少变换所述第二画面或所述画面保存装置中保存的所述历史画面；

画面合成装置，用于把至少任意之一已被所述画面变换装置变换的所述第二画面和所述历史画面合成为合成画面，并使所述画面保存装置把所述合成画面保存为新的历史画面；

显示控制装置，用于使显示装置显示所述合成画面；其中

在所述运动画面的时间线上，所述第一画面按照时间顺序被放在所述第二画面之前；

所述画面处理设备还包括：

声音变换信息计算装置，用于根据所述画面变换信息计算关于所述第二画面的声音的声音变换信息；

声音变换处理装置，用于通过根据所述声音变换信息对所述声音进行变换处理，来产生输出声音；和

声音输出控制装置，用于使声音输出装置输出所述输出声音，

其中，所述画面变换信息包括所述第二画面相对于所述第一画面的旋转角度θ，并且满足以下等式：

RR＝LL＝g(θ)，以及

RL＝LR＝1-g(θ)，

其中，RR、RL、LR和LL分别表示声道的与旋转有关的声音变换信息，所述声音变换信息是输出声音与输入声音的比率，其中所述声音变换处理装置中的两个音量放大器分别根据声音变换信息RR和RL放大右声道输入声音，以及所述声音变换处理装置中的另外两个音量放大器分别根据声音变换信息LR和LL放大左声道输入声音，以及

其中，g(θ)＝(1+cosθ)/2。

2.按照权利要求1所述的画面处理设备，其中

所述声音变换处理装置包括音量控制装置和声音相加装置；

所述音量控制装置根据所述声音变换信息，控制构成所述声音的多个声道的音量；

所述声音相加装置相加每个声道的受控声音。

3.按照权利要求1所述的画面处理设备，还包括：

显示区提取装置，用于在提取包括在显示区中的画面作为显示画面之前，根据保存在所述画面保存装置中的所述新的历史画面，确定作为所述显示装置上的显示目标的显示区；其中

所述画面合成装置用变换后的第二画面重写所述显示画面，以通过合成获得新的显示画面；

所述显示控制装置使所述显示装置显示所述新的显示画面；

所述显示区提取装置在所述画面保存装置的保存区中，产生关于所述显示区的位置、角度或大小的显示区提取信息；

所述声音变换信息计算装置根据所述画面变换信息和所述显示区提取信息，计算所述声音变换信息。

4.按照权利要求1所述的画面处理设备，其中所述画面变换装置根据指示在所述显示装置上显示所述运动画面的显示区的模板信息，变换所述第二画面。

5.一种供具有声音输出装置的画面处理设备使用的声音变换处理方法，所述声音输出装置用于输出对应于运动画面的声音，所述声音变换处理方法包括：

内容获得步骤，用于获得包括所述运动画面和所述声音的内容数据；*

画面变换信息供给步骤，用于根据构成所述运动画面的第一画面和第二画面，供给关于所述第二画面相对于所述第一画面的画面变换信息；

画面保存步骤，用于把包括所述第一画面在内的画面保存为历史画面；

画面变换步骤，用于根据所述画面变换信息至少变换所述第二画面或所述画面保存步骤中保存的所述历史画面；

画面合成步骤，用于把至少任意之一已在所述画面变换步骤中变换的所述第二画面和所述历史画面合成为合成画面，并在所述画面保存步骤中把所述合成画面保存为新的历史画面；

显示控制步骤，用于使显示装置显示所述合成画面；其中

在所述运动画面的时间线上，所述第一画面按照时间顺序被放在所述第二画面之前；

所述画面处理方法还包括：

声音变换信息计算步骤，用于根据所述画面变换信息计算关于所述声音的声音变换信息；

声音变换处理步骤，用于通过根据所述声音变换信息对所述声音进行变换处理，来产生输出声音；和

声音输出控制步骤，用于使所述声音输出装置输出所述输出声音，

其中，所述画面变换信息包括所述第二画面相对于所述第一画面的旋转角度θ，并且满足以下等式：

RR＝LL＝g(θ)，以及

RL＝LR＝1-g(θ)，

其中，RR、RL、LR和LL分别表示声道的与旋转有关的声音变换信息，所述声音变换信息是输出声音与输入声音的比率，其中所述声音变换处理装置中的两个音量放大器分别根据声音变换信息RR和RL放大右声道输入声音，以及所述声音变换处理装置中的另外两个音量放大器分别根据声音变换信息LR和LL放大左声道输入声音，以及

其中，g(θ)＝(1+cosθ)/2。                            *

Images