CN101272461B - 处理图像的装置和方法,以及生成再现信息的装置和方法 - Google Patents

Abstract

一种基于相对于视频的图像信号的图像处理装置，该装置包含：显示尺寸改变及决定设备，该显示尺寸改变及决定设备基于图像信号检测物体的运动矢量，并且基于检测到的运动矢量决定图像的显示尺寸；以及显示尺寸设定设备，该显示尺寸设定设备把将被显示的图像的显示尺寸设定为该显示尺寸改变及决定设备决定的显示尺寸。

Description

处理图像的装置和方法,以及生成再现信息的装置和方法

对相关申请的交叉引用 

本发明包含与2007年3月20日向日本专利局提交的日本专利申请JP 2007-073325相关的主题，通过引用将该专利申请的全部内容并入于此。 

技术领域

本发明涉及一种处理图像的装置和方法，一种图像处理程序产品，以及一种生成再现信息的装置和方法，一种生成再现信息的程序产品，它们能够应用于一种处理相对于诸如电视广播节目和电影的视频等上的图像和音频信息的图像和音频信号的装置等等。 

背景技术

用于显示电视广播节目、电影等的图像显示系统使用固定的图像帧，其中图像被呈现为其显示尺寸与图像帧一致。当放映电视广播节目、电影等内的图像内容时，创建器在图像可用这种固定的图像帧显示的条件下创建内容。 

为了显示真实性提高的图像，目前已经开发出多显示器系统、曲线形显示器、宽视角显示器、头戴式显示器等等。多显示器系统等扩展图像帧以显示宽视角图像，从而可提高其真实性。 

与这种图像显示系统相关联的，日本专利申请公开号H07-107412公开了一种电视接收机，其中基于多种显示模式提供预定量的偏转电流，从而可在沿其水平方向和垂直方向之一或全部上达到允许的最大值的宽屏幕上显示图像。 

日本专利申请公开号2006-217118公开了一种电视装置，其中通过比较音频信号电平与存储器内存储的设定阈值，并且确定该电平是否超过该阈值，如果该电平超过该阈值，则改变控制脉冲P的脉冲宽度以便使电子束的偏转量更大，从而放大将被显示的图像。 

发明内容

但是，日本专利申请公开号H07-107412中公开的电视接收机不管电视广播节目等中的场景如何均显示放大的图像。因而，难以为电视收看者提供任何非常好的真实性或效果。 

另外，日本专利申请公开号2006-217118中公开的电视装置仅利用音量来放大图像，因而如果没有声音或者音量没有改变，则即使当能够通过放大场景内的图像为电视收看者提供任何效果时，仍难以为电视收看者提供任何效果等等。 

希望提供一种处理图像等的装置和方法，利用该装置和方法，图像可被显示为其显示尺寸基于视频内的图像和/或音频的特征放大或 缩小，并且可呈现能够为收看者提供任何真实性和/或效果的图像。 

根据本发明的一个实施例，提供了一种基于相对于视频的图像信号的图像处理装置，该装置包括：显示尺寸改变及决定设备，该显示尺寸改变及决定设备基于图像信号检测物体的运动矢量，并且基于检测到的运动矢量决定图像的显示尺寸，包括：检测图像信号内的物体的运动矢量的运动矢量检测部件；从运动矢量检测部件检测到的物体的运动矢量中提取物体的预定运动矢量的运动矢量提取部件；以及基于运动矢量提取部件提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的显示尺寸决定部件；以及显示尺寸设定设备，该显示尺寸设定设备把将被显示的图像的显示尺寸设定为由所述显示尺寸决定部件决定的显示尺寸，其中所述运动矢量提取部件生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及其中所述显示尺寸决定部件将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

根据本发明的一个实施例，提供了一种基于相对于视频的图像信号来处理图像的方法，该方法包括：基于图像信号检测物体的运动矢量的第一步骤；从在第一步骤中检测到的物体的运动矢量中提取物体的预定运动矢量的第二步骤；基于在第二步骤中提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的第三步骤；把将被显示的图像的显示尺寸设定为在第三步骤内决定的显示尺寸的第四步骤，其中所述第二步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及其中所述第三步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

根据本发明的一个实施例，提供了一种基于相对于视频上的图像和音频信息的图像和音频信号的图像处理装置，该装置包含：基于图像和音频信号内的图像信息检测物体的运动矢量并且基于运动矢量决定图像的显示尺寸的第一显示尺寸改变及决定设备，包括：基于图像和音频信号内的图像信息检测物体的运动矢量的运动矢量检测部件；从运动矢量检测部件检测到的运动矢量中提取预定运动矢量的运动矢量提取部件；以及基于运动矢量提取部件提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的第一显示尺寸决定部件；从 图像和音频信号内的音频信息中提取预定音频的特征值并且基于音频的特征值决定图像和音频信号内的图像的显示尺寸的第二显示尺寸改变及决定设备；以及显示尺寸设定设备，该显示尺寸设定设备基于第一和第二显示尺寸改变及决定设备决定的显示尺寸设定将被显示的图像的显示尺寸，其中所述运动矢量提取部件生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及其中所述第一显示尺寸决定部件将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

根据本发明的一个实施例，提供了一种基于相对于视频上的图像和音频信息的图像和音频信号来处理图像的方法，该方法包括：基于图像和音频信号内的图像信息检测物体的运动矢量的第一步骤；从在第一步骤内检测到的运动矢量中提取预定运动矢量的第二步骤；基于在第二步骤内检测到的所述预定运动矢量来决定图像的显示尺寸的第三步骤；从图像和音频信号内的音频信息中提取预定音频的特征值的第四步骤；基于在第四步骤内提取出的音频的特征值决定图像和音频信号内的图像的显示尺寸的第五步骤；以及基于第三和第五步骤内决定的显示尺寸设定将被显示的图像的显示尺寸的第六步骤，其中所述第二步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及其中所述第三步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

根据本发明的一个实施例，提供了一种生成用于再现视频上的图像信号的再现信息的装置，该装置包含：从图像信号中检测物体的运动矢量的运动矢量检测设备；从运动矢量检测设备检测到的运动矢量中提取预定运动矢量的运动矢量提取设备；以及显示尺寸决定设备，该设备基于运动矢量提取设备提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸，并且生成用于基于决定的显示尺寸设定将被显示的图像的显示尺寸的再现信息，其中所述运动矢量提取设备生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数， 以及其中所述显示尺寸决定设备将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

根据本发明的一个实施例，提供了一种生成用于再现视频上的图像信号的再现信息的方法，该方法包括：从图像信号中检测物体的运动矢量的第一步骤；从在第一步骤内检测到的运动矢量中提取预定运动矢量的第二步骤；基于在第二步骤内提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的第三步骤；以及生成用于基于在第三步骤内决定的显示尺寸设定将被显示的图像的显示尺寸的再现信息的第四步骤，其中所述第二步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及其中所述第三步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

根据本发明的一个实施例，提供了一种生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息的装置，该装置包含：第一显示尺寸改变及决定设备，该设备基于图像和音频信号内的图像信息检测物体的运动矢量，基于该运动矢量决定图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息；以及第二显示尺寸改变及决定设备，该设备从图像和音频信号的音频信息中提取预定音频的特征值，基于音频的特征值决定图像和音频信号内的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息，其中所述第一显示尺寸改变及决定设备生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及其中所述第一显示尺寸改变及决定设备将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

根据本发明的一个实施例，提供了一种生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息的方法，该方法包含：基于图像和音频信号内的图像信息检测物体的运动矢量的第一步骤；基于第一步骤内检测到的运动矢量决定图像的显示尺寸的第二步 骤；生成用于把将被显示的图像的显示尺寸设定为第二步骤内决定的显示尺寸的再现信息的第三步骤；从图像和音频信号的音频信息中提取预定音频的特征值的第四步骤；基于第四步骤内提取出的音频的特征值决定图像和音频信号内的将被显示的图像的显示尺寸的第五步骤；以及生成用于将图像的显示尺寸设定为第五步骤内决定的显示尺寸的再现信息的第六步骤，其中，所述第一步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及其中，所述第二步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。 

利用根据本发明的实施例的处理图像的第一装置，当基于相对于视频的图像信号处理图像时，该显示尺寸改变及决定设备基于该图像信号检测物体的运动矢量，并且基于检测到的运动矢量决定图像的显示尺寸。该显示尺寸设定设备然后将待显示的图像的显示尺寸设定为该显示尺寸改变及决定设备决定的显示尺寸。这样能够将图像显示为其显示尺寸基于视频内的物体的运动而放大或缩小。 

根据本发明的另一个实施例，提供了基于相对于视频的图像信号来处理图像的第一方法。该第一方法包括基于图像信号检测物体的运动矢量的第一步骤，基于在第一步骤中检测到的运动矢量决定图像的显示尺寸的第二步骤，以及把将被显示的图像的显示尺寸设定为在第二步骤中决定的显示尺寸的第三步骤。 

利用根据本发明的实施例的处理图像的第一方法，当基于相对于视频的图像信号处理图像时，可将图像显示为其显示尺寸基于视频内的物体的运动而放大或缩小。 

根据本发明的又一个实施例，提供了使计算机通过实现上述第一到第三步骤来处理相对于视频的图像信号的第一程序产品。 

利用根据本发明的实施例的第一程序产品，当基于相对于视频的图像信号处理图像时，可将图像显示为其显示尺寸基于视频内的物体的运动而放大或缩小。 

在本发明的上述实施例中，当计算机基于相对于视频的图像信号处理图像时，基于图像信号从物体的运动矢量中提取预定的运动矢量，基于该运动矢量决定图像的显示尺寸，并且把将被显示的图像的显示尺寸设定为决定的显示尺寸。这使得图像能够被显示为其显示尺寸基于视频内的物体的运动而放大或缩小，由此能够呈现具有任何真实性和/或效果的视频。 

根据本发明的一个实施例，提供了基于相对于图像和音频信息的图像和音频信号处理图像的第二装置。该装置包含从图像和音频信号中检测音频信息的音频信息检测设备，从音频信息检测设备检测到的 音频信息中提取预定音频的特征值的音频特征值提取设备，基于音频特征值提取设备提取的音频的特征值决定图像和音频信号内的图像的显示尺寸的显示尺寸决定设备，以及把将被显示的图像的显示尺寸设定为显示尺寸决定设备决定的显示尺寸的显示尺寸设定设备。 

利用根据本发明的此实施例的处理图像的第二装置，当基于相对于图像和音频信息的图像和音频信号处理图像时，音频信息检测设备从图像和音频信号中检测音频信息。音频特征值提取设备从音频信息检测设备检测到的音频信息中提取预定音频的特征值。显示尺寸决定设备还基于音频特征值提取设备提取的音频的特征值决定图像和音频信号内的图像的显示尺寸。显示尺寸设定设备另外把将被显示的图像的显示尺寸设定为显示尺寸决定设备决定的显示尺寸。这样图像能够被显示为其显示尺寸基于音频的特征值而放大或缩小。 

根据本发明的另一个实施例，提供了基于相对于视频上的图像和音频信息的图像和音频信号处理图像的第二方法。该第二方法包含从图像和音频信号中检测音频信息的第一步骤，从在第一步骤中检测到的音频信息中提取预定音频的特征值的第二步骤，基于在第二步骤中提取的音频的特征值决定图像和音频信号内的图像的显示尺寸的第三步骤，以及把将被显示的图像的显示尺寸设定为在第三步骤中决定的显示尺寸的第四步骤。 

利用根据本发明的实施例的处理图像的第二方法，当基于相对于图像和音频信息的图像和音频信号处理图像时，可将图像显示为其显示尺寸基于音频的特征值而放大或缩小。 

根据本发明的又一个实施例，提供了使计算机通过实现上述第一到第四步骤来处理相对于图像和音频信息的图像和音频信号的第二程序产品。 

利用根据本发明的实施例的处理图像的第二程序产品，当基于相对于图像和音频信息的图像和音频信号处理图像时，可将图像显示为其显示尺寸基于音频的特征值而放大或缩小。 

在根据本发明的上述实施例的这些第二装置、方法和程序产品中，当基于相对于图像和音频信息的图像和音频信号处理图像时，提取音频的特征值，基于音频的特征值决定图像和音频信号内用于显示图像的显示尺寸，并且把将被显示的图像的显示尺寸设定为决定的显示尺寸。这样能够将图像显示为其显示尺寸基于音频的特征值而放大或缩小，从而能够呈现在其上具有任何真实性和/或效果的图像。 

根据本发明的一个实施例，提供了基于相对于视频上的图像和音频信息的图像和音频信号处理图像的第三装置。该装置包含：基于图像和音频信号内的图像信息检测物体的运动矢量并且基于该运动矢量决定图像的显示尺寸的第一显示尺寸改变及决定设备；从图像和音频信号内的音频信息中提取预定音频的特征值并且基于音频的特征值决定图像和音频信号内的图像的显示尺寸的第二显示尺寸改变及决定设备；以及显示尺寸设定设备，该显示尺寸设定设备基于第一和第二显示尺寸改变及决定设备决定的显示尺寸设定将被显示的图像的显示尺寸。 

利用根据本发明的此实施例的处理图像的第三装置，当处理视频上的图像和音频信号时，第一显示尺寸改变及决定设备基于图像和音频信号内的图像信息检测物体的运动矢量，并且基于该运动矢量决定图像的显示尺寸。第二显示尺寸改变及决定设备从图像和音频信号内的音频信息中提取预定音频的特征值，并且基于音频的特征值决定图像和音频信号内的图像的显示尺寸。显示尺寸设定设备基于第一和第二显示尺寸改变及决定设备决定的显示尺寸设定将被显示的图像的显示尺寸。这样图像能够显示为其显示尺寸基于视频上的物体移动和音频特征值而放大或缩小。 

根据本发明的另一个实施例，提供了基于相对于视频上的图像和音频信息的图像和音频信号处理图像的第三方法。该方法包括基于图像和音频信号内的图像信息检测物体的运动矢量的第一步骤，基于在第一步骤中检测到的运动矢量决定图像的显示尺寸的第二步骤，从图像和音频信号内的音频信息中提取预定音频的特征值的第三步骤，基于在第三步骤中提取的音频的特征值决定图像和音频信号内的图像的显示尺寸的第四步骤，以及基于第二和第四步骤中决定的显示尺寸设定将被显示的图像的显示尺寸的第五步骤。 

利用根据本发明的实施例的处理图像的第三方法，当基于相对于视频上的图像和音频信息的图像和音频信号处理图像时，可将图像显示为其显示尺寸基于视频内的物体移动和音频特征值而放大或缩小。 

根据本发明的又一个实施例，提供了使计算机通过实现上述第一到第五步骤来处理相对于视频上的图像和音频信息的图像和音频信号的第三程序产品。 

利用根据本发明的实施例的第三程序产品，当计算机基于相对于视频上的图像和音频信息的图像和音频信号处理图像时，可将图像显示为其显示尺寸基于视频内的图像移动和音频特征值而放大或缩小。 

在根据本发明的上述实施例的这些第三装置、方法和程序产品中，当基于相对于视频上的图像和音频信息的图像和音频信号处理图像时，基于运动矢量决定将被显示的图像的显示尺寸，基于音频的特征值决定图像和音频信号内的将被显示的图像的显示尺寸，并且基于任何两个决定的显示尺寸设定将被显示的图像的显示尺寸。这样图像能够显示为其显示尺寸基于视频内的物体的移动和视频上的音频的特征值而放大或缩小，从而能够呈现具有任何真实性和/或效果的视频。 

根据本发明的一个实施例，提供了生成用于再现视频上的图像信号的再现信息的第一装置。该装置包含：从图像信号中检测物体的运动矢量的运动矢量检测设备；从运动矢量检测设备检测到的运动矢量中提取预定的运动矢量的运动矢量提取设备；和显示尺寸决定设备，该显示尺寸决定设备基于运动矢量提取设备提取的运动矢量决定将被显示的图像的显示尺寸，并且生成用于基于决定的显示尺寸设定将被显示的图像的显示尺寸的再现信息。 

利用根据本发明的实施例的生成再现信息的第一装置，当生成用于再现视频上的图像信号的再现信息时，运动矢量检测设备从图像信 号中检测物体的运动矢量。运动矢量提取设备从运动矢量检测设备检测到的运动矢量中提取预定的矢量。显示尺寸决定设备基于运动矢量提取设备提取的运动矢量决定将被显示的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息。这使得能够通过基于生成的再现信息再现图像而将图像显示为其显示尺寸可放大或缩小。 

根据本发明的另一个实施例，提供了从图像信号中检测物体的运动矢量的第一步骤，从在第一步骤中检测到的运动矢量中提取预定的运动矢量的第二步骤，基于在第二步骤中提取的运动矢量决定将被显示的图像的显示尺寸的第三步骤，以及生成用于基于在第三步骤中决定的显示尺寸设定将被显示的图像的显示尺寸的再现信息的第四步骤。 

利用根据本发明的实施例的生成再现信息的第一方法，当生成用于再现视频上的图像信号的再现信息时，可生成用于将图像显示为其显示尺寸基于视频内的物体的移动而放大或缩小的再现信息。 

根据本发明的又一个实施例，提供了使计算机通过实现上述第一至第四步骤生成视频上的图像信号的第一程序产品。 

利用根据本发明的实施例的第一程序产品，当计算机生成用于再现视频上的图像信号的再现信息时，可生成用于将图像显示为其显示尺寸基于视频内的物体的移动而放大或缩小的再现信息。 

在根据本发明的上述实施例的这些第一装置、方法和程序产品中，当生成用于再现视频上的图像信号的再现信息时，基于视频内的物体的运动矢量决定将被显示的图像的显示尺寸，并且基于将被显示的图像的显示尺寸生成用于设定该图像的显示尺寸的再现信息。这使得能够生成用于将图像显示为其显示尺寸基于视频内的物体的移动而放大或缩小的再现信息，从而当基于生成的再现信息再现图像时能够呈现在其上具有任何真实性和/或效果的视频。 

根据本发明的实施例，提供了生成用于再现图像信号的再现信息的第二装置。该装置包含：从图像和音频信号中检测音频信息的音频信息检测设备；从音频信息检测设备检测到的音频信息中提取预定音频的特征值的音频特征值提取设备；和显示尺寸决定设备，该显示尺寸决定设备基于音频特征值提取设备提取的音频的特征值决定图像和音频信号内的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息。 

利用根据本发明的实施例的生成再现信息的第二装置，当生成用于再现相对于图像和音频信息的图像和音频信号的再现信息时，音频信息检测设备从图像和音频信号中检测音频信息。音频特征值提取设备然后从音频信息检测设备检测出的音频信息中提取预定音频的特征值。显示尺寸决定设备基于音频特征值提取设备提取的音频的特征值决定图像和音频信号内的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息。这使得能够通过基于生成的再现信息再现图像而将图像显示为其显示尺寸基于音频的特征值而放大 或缩小。 

根据本发明的另一个实施例，提供了生成用于再现相对于图像和音频信息的图像和音频信号的再现信息的第二方法。该方法包括从图像和音频信号中检测音频信息的第一步骤，从第一步骤中检测到的音频信息中提取预定音频的特征值的第二步骤，基于第二步骤中提取的音频的特征值决定图像和音频信号内的图像的显示尺寸的第三步骤，以及基于第三步骤中决定的显示尺寸生成用于设定将被显示的图像的显示尺寸的再现信息的第四步骤。 

利用根据本发明的实施例的生成再现信息的第二方法，当生成用于再现相对于图像和音频信息的图像和音频信号的再现信息时，可生成用于将图像显示为其显示尺寸基于音频的特征值而放大或缩小的再现信息。 

根据本发明的又一个实施例，提供了第二程序产品，该程序产品使计算机通过实现上述第一至第四步骤生成相对于视频上的图像和音频信息的图像和音频信号。 

利用根据本发明的实施例的上述第二程程序产品，当计算机生成用于再现相对于图像和音频信息的图像和音频信号的再现信息时，可生成用于将图像显示为其显示尺寸基于音频的特征值而放大或缩小的再现信息。 

在根据本发明的上述实施例的这些第二装置、方法和程序产品中，当生成用于再现相对于图像和音频信息的图像和音频信号的再现信息时，基于音频的特征值决定图像的显示尺寸，并且基于决定的显示尺寸生成用于设定将被显示的图像的显示尺寸的再现信息。这使得能够生成用于将图像显示为其显示尺寸基于音频的特征值而放大或缩小的再现信息，从而可通过基于生成的再现信息再现图像而将图像显示为其显示尺寸可放大或缩小，以呈现具有任何真实性和/或效果的图像。 

根据本发明的一个实施例，提供了生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息的第三装置。该装置包含：第一显示尺寸改变及决定设备，该设备基于图像和音频信号内的图像信息来检测物体的运动矢量，基于该运动矢量决定图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息；以及第二显示尺寸改变及决定设备，该设备从图像和音频信号的音频信息中提取预定音频的特征值，基于音频的特征值决定图像和音频信号内的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息。 

附图说明

利用根据本发明的实施例的生成再现信息的第三装置，当处理相对于视频上的图像和音频信息的图像和音频信号时，第一显示尺寸改变及决定设备基于图像和音频信号内的图像信息检测物体的运动矢量，基于该运动矢量决定图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息。第二显示尺寸改变及决定设备从图像和音频信号的音频信息中提取预定音频的特征值，基于音频的特征 值决定图像和音频信号内的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息。这使得能够通过基于生成的再现信息再现图像而将图像显示为其显示尺寸可放大或缩小。 

根据本发明的另一个实施例，提供了生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息的第三方法。该方法包含基于图像和音频信号内的图像信息检测物体的运动矢量的第一步骤，基于第一步骤中检测的运动矢量决定图像的显示尺寸的第二步骤，生成用于把将被显示的图像的显示尺寸设定为第二步骤中决定的显示尺寸的再现信息的第三步骤，从图像和音频信号的音频信息中提取预定音频的特征值的第四步骤，基于第四步骤中提取的音频的特征值决定图像和音频信号内的将被显示的图像的显示尺寸的第五步骤，以及生成用于将图像的显示尺寸设定为第五步骤中设定的显示尺寸的再现信息的第六步骤。 

利用根据本发明的实施例的生成再现信息的第三方法，当生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息时，可生成这样的再现信息，即该再现信息用于将图像显示为其显示尺寸基于视频内的物体的移动和视频内的音频的特征值而放大或缩小。 

根据本发明的又一个实施例，提供了第三程序产品，该程序产品使计算机通过实现上述第一至第六步骤生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息。 

利用根据本发明的实施例的第三程序产品，当计算机生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息时，可生成这样的再现信息，即该再现信息用于将图像显示为其显示尺寸基于视频内的物体的移动和视频内的音频的特征值而放大或缩小。 

在根据本发明的上述实施例的这些第三装置、方法和程序产品中，当生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息时，基于运动矢量决定图像的显示尺寸，生成用于设定将被显示的图像的显示尺寸的再现信息，并且还基于音频的特征值决定图像的显示尺寸，生成用于设定将被显示的图像的显示尺寸的再现信息。这使得能够生成这样的再现信息，即该再现信息用于将图像显示为其显示尺寸基于视频内的物体的移动和视频内的音频的特征值而放大或缩小，从而呈现在其上具有任何真实性和/或效果的视频。 

此说明书包含的部分具体指出且直接权利要求了本发明的主旨。但是，本领域技术人员通过结合附图阅读说明书的剩余部分时可最好地理解本发明的组织和操作方法以及另外的优点和目的，在附图中类似的标号指示类似的元件。 

图1是示出根据本发明的实施例可应用于其中的图像显示系统的配置的示意图； 

图2A是示出帧F(1)内的内容以及当帧F(1)在屏幕上显示 时的图像的图，图2B是示出帧F(2)内的内容以及当帧F(2)在屏幕上显示时的图像的图，图2C是示出帧F(3)内的内容以及当帧F(3)在屏幕上显示时的图像的图，图2D是示出帧F(4)内的内容以及当帧F(4)在屏幕上显示时的图像的图； 

图3是示出根据本发明的处理图像的装置的实施例的配置的框图； 

图4是示出场景变化检测单元的配置的框图； 

图5是示出像素的稀疏(thinning)处理的图； 

图6是示出场景变化检测单元的另一种配置的框图； 

图7是示出尺寸改变及决定单元的配置的框图； 

图8是示出运动矢量的直方图的图示； 

图9是示出显示尺寸设定的示例的流程图； 

图10A是示出当显示尺寸放大时的缩放比率的控制示例的曲线图，而图10B是示出当显示尺寸缩小时的缩放比率的控制示例的曲线图； 

图11是示出放大的显示图像的生成示例的图； 

图12是示出缩小的显示图像的生成示例的图； 

图13A是示出当显示尺寸平滑地放大时的缩放比率的控制示例的曲线图，而图13B是示出当显示尺寸平滑地缩小时的缩放比率的控制示例的曲线图； 

图14是示出尺寸改变及决定单元的另一种配置的框图； 

图15是示出尺寸改变及决定单元的另一种配置的框图； 

图16是示出当以离线模式执行处理时的根据本发明的处理图像的装置的另一个实施例的配置的框图； 

图17A是示出提供给存储设备的每个场景的显示尺寸的在被调节之前的示例的曲线图，而图17B是示出提供给存储设备的每个场景的显示尺寸的被调节示例的曲线图； 

图18A是示出提供给存储设备的每个帧的显示尺寸的在被调节之前的示例的曲线图，而图18B是示出提供给存储设备的每个帧的显 示尺寸的被调节示例的曲线图； 

图19是示出根据本发明的实施例可应用于其中的计算机实施例的配置的图； 

图20是示出在实时处理的情况下图像处理程序的整体配置的流程图； 

图21是示出场景辨别操作的流程图； 

图22是示出尺寸改变及决定操作的流程图； 

图23是示出另一个尺寸改变及决定操作的流程图； 

图24是示出又一个尺寸改变及决定操作的流程图； 

图25是示出在以离线模式执行处理的情况下图像处理程序的整体配置的流程图； 

图26是示出当与场景变换的定时一致地改变将被显示的图像的显示尺寸时根据本发明的处理图像的装置的一个实施例中的操作的流程图； 

图27是示出当调节将被显示的图像的显示尺寸以便将被显示的图像的显示尺寸的随时间的变化可减小时根据本发明的处理图像的装置的一个实施例中的操作的流程图； 

图28是示出根据本发明的生成再现信息的装置的实施例的配置的框图； 

图29是示出信息再现装置的配置的框图；以及 

图30是示出再现信息生成程序的整体配置的流程图。 

具体实施方式

下文将参照附图说明本发明的实施例。具体地，下文将参照图1至图18说明根据本发明的处理图像的装置和方法的实施例。下文将参照图19至图27说明根据本发明的图像处理程序产品的实施例。下文将参照图28至图30说明根据本发明的生成再现信息的装置和方法以及生成再现信息的程序产品的实施例。 

图1示出根据本发明的处理图像的装置的一个实施例可应用于 其中的图像显示系统100的配置。图像显示系统100包含三个屏幕110L、110C和110R，这些屏幕设置在用户101的前方和两侧，并且整体上构成一个图像显示区。投影仪112L、112C和112R分别与屏幕110L、110C和110R对应地设置。投影仪112L、112C和112R连接到处理图像的装置120。投影仪112L基于从图像处理装置120接收到的输出信号SDL在屏幕110L上投影图像。类似地，投影仪112C和112R分别基于从图像处理装置120接收到的输出信号SDC和SDR在屏幕110C和110R上投影图像。 

图像处理装置120接收到相对于视频上的图像和音频信号的输入图像信号SDin，并且处理该输入图像信号SDin。图像处理装置120还基于输入图像信号SDin提取屏幕内的物体移动和/或音频的特征值。图像处理装置120然后将提取出的移动和/或特征值与预定值进行比较，并且如果其满足任何条件则改变将被显示的图像的显示尺寸。 

图2A至图2D分别示出图像显示系统100内的图像显示的示例。假设每个屏幕的高宽比为4∶3且屏幕分辨率为720×480像素，但是输入图像的高宽比为16∶9或用于在电影中使用的宽图像等的任何高宽比，并且输入图像在屏幕上为720×270像素图像。 

图2A示出帧F(1)内的图像以及当帧F(1)在屏幕110L、110C和110R上显示时的图像。图2B示出帧F(2)内的图像以及当帧F(2)在屏幕110L、110C和110R上显示时的图像。图2C示出帧F(3)内的图像以及当帧F(3)在屏幕110L、110C和110R上显示时的图像。图2D示出帧F(4)内的图像以及当帧F(4)在屏幕110L、110C和110R上显示时的图像。 

图像处理装置120基于输入图像内的物体的移动和/或音频特征值，在其满足任何条件的情况下，改变将在屏幕110L、110C和110R上显示的图像的显示尺寸 

例如，当图2A内所示的帧F(1)移动到图2B内所示的帧F(2)并且在图像内的物体的移动中发生突然改变(例如，汽车突然沿图2B内所示的箭头的方向移动)时，图像处理装置120放大图像，以便从 如图2A内所示的相对于显示在屏幕110C上的帧F(1)的图像起，如图2B所示地将其显示在屏幕110L、110C和110R上。应注意，在此情况下，即使将被显示的图像放大，仍控制图像处理装置120以便在其中显示放大的图像的区域不会超出任何屏幕。 

当图2C内所示的帧F(3)移动到图2D内所示的帧F(4)并且音量减小时，图像处理装置120缩小图像，以便从如图2C内所示的相对于显示在屏幕110C上的帧F(3)的图像起，如图2D所示地将其显示在屏幕110C上。 

当如上所述地基于图像内的物体的移动或者音频特征值来改变将被显示的图像的显示尺寸时，图1内所示的图像处理装置120在实时处理或离线处理中改变将被显示的图像。在实时处理的情况下，图像处理装置120基于视频上的输入图像信号SDin，检测图像内的物体的移动或者从音频信号中提取音频的特征值。图像处理装置120还检测场景变化，并且保持改变将被显示的图像的显示尺寸直到场景改变。图像处理装置120然后生成并输出输出信号SDL、SDC和SDR，以在屏幕上显示尺寸改变的图像。 

在以离线模式执行处理时，图像处理装置120从存储介质中读取输入图像信号SDin，并且从其中检测场景变化。图像处理装置120针对场景变化检测检测到的每个场景，检测图像内的物体的移动或者从音频信号中提取音频的特征值，并且决定每个场景的图像的显示尺寸。图像处理装置120然后在与场景变化相关联的预定定时改变将被显示的图像的显示尺寸。 

为了显示图像，图像处理装置120然后读取视频上的输入图像信号SDin，从其中读出关于显示尺寸的任何信息，并且产生输出信号SDL、SDC和SDR并将它们输出以基于输入图像信号SDin以及由此读出的显示尺寸显示输入图像。 

图3示出在实时处理情况下根据本发明的图像处理装置120的一个实施例的配置。场景变化检测单元121、显示尺寸改变及决定单元124以及显示尺寸设定单元126分别接收视频上的输入图像信号 SDin。 

场景变化检测单元121基于输入图像信号SDin检测场景变化，即图像内不连续的位置，也就是连续场景和与该连续场景不同的场景之间的接合部。 

图4示出利用两个帧的图像信号检测场景变化的场景变化检测单元121的配置。 

场景变化检测单元121内的延迟电路211接收输入图像信号SDin，将该输入图像信号SDin延迟一个帧，并且将其作为延迟图像信号SDa提供给差分平均值计算电路213。差分平均值计算电路213接收输入图像信号SDin和延时图像信号SDa，基于该输入图像信号SDin和延时图像信号SDa计算两个帧之间的差分平均值Dav，并将该平均值Dav提供给归一化电路217。计算这两个帧之间的关于各个像素的亮度级的差，并且还计算获得的差分平均值作为差分平均值Dav，该平均值Dav被提供给归一化电路217。差分平均值Dav可根据下式(1)来计算： 

$\mathrm{Dav}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|\mathrm{YCi}-\mathrm{YPi}|}{N}---\left(1\right)$

其中N是一帧图像内的像素数，YC是基于输入图像信号SDin的像素亮度级，而YP是基于延迟图像信号SDa的像素亮度级。 

差分平均值Dav随图像内的亮度级变化很大。例如，在亮区内显示图像的情况下，即使场景没有改变，仅通过将图像的一部分变暗就可增加差分平均值Dav。在暗区内显示图像的情况下，即使存在场景变化，由于亮度级的变化很小，差分平均值Dav也不会增加。因此，场景变化检测单元121包含归一化电路217，该电路根据图像的亮度归一化差分平均值Dav，从而可通过受图像内的亮度的影响较少而检测出正确的场景变化。 

场景变化检测单元121内的亮度平均值计算电路215基于来自输入图像信号SDin的每个像素的亮度级计算一个帧内的亮度级的平均值。亮度平均值计算电路215然后将计算出的平均值作为亮度平均值 Yav提供给归一化电路217。亮度平均值Yav可根据下式(2)来计算： 

$\mathrm{Yav}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{YCi}}{N}---\left(2\right)$

其中N是一帧图像内的像素数，而YC是基于输入图像信号SDin的像素亮度级。 

归一化电路217归一化差分均值Dav。即，归一化电路217通过根据下式(3)针对指示图像内的亮度的亮度平均值Yav校正差分平均值Dav，生成差分平均值的归一化值E(下文被称为“归一化值E”)： 

$E=\frac{\mathrm{Dav}}{\mathrm{Yav}}---\left(3\right)$

归一化电路217然后将归一化值E提供给场景变化检测单元121内的判定电路219。判定电路219接收到该归一化值E，并且将该归一化值E与先前已在其中确定的阈值Lr进行比较，并且如果归一化值E超过阈值Lr则判定场景改变。但是，如果归一化值E没有超过阈值Lr，则判定电路219判定没有发生任何场景变化。判定电路219然后生成指示此判定结果的场景变化检测信号SC，并将该场景变化检测信号SC提供给图3内所示的显示尺寸改变及决定单元124。 

因此，归一化电路217已根据图像内的亮度归一化差分平均值Dav，并且判定电路219已通过使用归一化值E判定场景是否改变，从而通过受图像内的亮度的影响较小而检测到正确的场景变化。 

尽管在上述场景变化检测单元121中，已经使用关于一帧内的所有像素的信号检测了场景变化，但是如果使用关于所有像素的信号计算差分平均值Dav和亮度平均值Yav，则对其进行任何计算处理会花费大量时间。如果这种计算高速执行以便节省计算时间，则其成本会增加。 

因而对像素执行稀疏处理。例如，如图5所示，将一帧图像分为多个区域，每个区域具有8×4个像素，并且从每个区域中选择带有斜阴影线的一个像素。使用关于选中像素的信号然后使得能够计算差分平均值Dav和亮度平均值Yav。这种稀疏处理可减小计算量，从而使 得计算处理更容易并且避免任何快速计算以防止计算处理的成本增加。 

尽管在上述场景变化检测单元121中，已经使用归一化值E检测场景变化，但是仍希望获得两个帧的图像之间的相关系数r，并且将相关系数r与阈值进行比较，从而能够准确地检测到场景变化。图6示出了使用校正系数r的场景变化检测单元121A的配置。 

场景变化检测单元121A内的延迟电路211接收到输入图像信号SDin，将该输入图像信号SDin延迟一个帧，并且将其作为延迟图像信号SDda提供给相关系数计算单元216。相关系数计算电路216接收输入图像信号SDin和延迟图像信号SDda，并且基于输入图像信号SDin和延迟图像信号SDda计算相关系数r。 

相关系数r可根据下式(4)计算： 

$r=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\mathrm{YFi}-\mathrm{YFav})(\mathrm{YSi}-\mathrm{YSav})}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\mathrm{YFi}-\mathrm{YF}{\mathrm{av})}^2}\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(\mathrm{YSi}-\mathrm{YSav})}^2}}---\left(4\right)$

其中N是一帧图像内的像素数，YF是基于第一帧的图像信号的像素亮度级，YS是基于下一帧的图像信号的像素亮度级，YFav是基于第一帧的图像信号的像素亮度级的平均值，YSav是基于下一帧的图像信号的像素亮度级的平均值。 

相关系数计算电路216将计算出的相关系数r提供给场景变化检测单元121A内的判定电路219。 

判定电路219接收该相关系数r，并且将该相关系数r与先前已在其中确定的阈值Lr进行比较，并且如果相关系数r不超过阈值Lr则判定场景改变。但是，如果相关系数r超过阈值Lr，则判定电路219判定没有发生任何场景变化，即该场景是连续场景。判定电路219然后生成指示此判定结果的场景变化检测信号SC，并将该场景变化检测信号SC提供给图3内所示的显示尺寸改变及决定单元124。 

图7示出了显示尺寸改变及决定单元124的配置。显示尺寸改变及决定单元124基于输入图像信号SDin内的图像信息检测图像内的 物体的运动矢量，并且基于该运动矢量决定图像的显示尺寸。 

在此情况下，显示尺寸改变及决定单元124内的延迟电路221接收输入图像信号SDin，并且使该输入图像信号SDin延迟一帧以生成图像信号SDa。延迟电路221将延迟图像信号SDa提供给显示尺寸改变及决定单元124内的运动矢量检测电路224。运动矢量检测电路224接收输入图像信号SDin和延迟图像信号SDa。运动矢量检测电路224然后从输入图像信号SDin和延迟图像信号SDa中检测运动矢量MV(在图9内所示的步骤ST51处)。为了检测运动矢量MV，例如，将输入图像信号SDin的图像分成多个块，每个块具有8×8个像素，并且位于延迟图像信号SDa的图像的预期搜索区域内的、使得差的绝对值的总和变为最小的位置被检测为运动矢量MV。运动矢量检测电路224然后将检测到的运动矢量MV提供给显示尺寸改变及决定单元124内的运动矢量提取电路226。 

运动矢量提取电路226从运动矢量检测电路224接收到运动矢量MV，并且从接收到的运动矢量MV中提取预定的运动矢量。例如，如图8所示，运动矢量提取电路226生成所有接收到的运动矢量MV的直方图(在图9内所示的步骤ST52处)，将在图像的直方图内频数最多的运动矢量MVa定义为背景的运动矢量，并且将在图像的直方图内频数第二多的运动矢量MVb定义为主要物体的运动矢量， 

确定是否已经检测到所有运动矢量。如果在图9内所示的步骤ST53处还没有检测到所有运动矢量，则过程返回步骤ST51。如果在图9内所示的步骤ST53处已经检测到所有运动矢量，则过程前进到图9内所示的步骤ST54，在步骤ST54处运动向量提取电路226还提取在直方图内频数第二多的运动矢量MVb的频数，并且将该在直方图内频数第二多的运动矢量MVb的频数提供给显示尺寸改变及决定单元124内的显示尺寸决定单元228。此时，如果在图像的直方图内频数最多的运动矢量MVa与在图像的直方图内频数第二多的运动矢量MVb在数量上几乎相等，则运动矢量提取电路226可将在图像的直方图内频数第三多的运动矢量定义为主要物体的运动矢量。 

显示尺寸决定单元228基于运动矢量提取电路226提取出的运动矢量决定图像的显示尺寸。例如，如果运动矢量提取电路226提取出在直方图内频数第二多的运动矢量MVb，则在图9内所示的步骤ST55处，显示尺寸决定单元228将在直方图内频数第二多的运动矢量MVb的频数与预定阈值进行比较。如果在直方图内频数第二多的运动矢量MVb的频数超过该预定阈值，则显示尺寸决定单元228判定占据一定空间的主要物体移动，并且在图9内所示的步骤ST56处决定放大显示尺寸以生成显示尺寸信息SZ。如果在直方图内频数第二多的运动矢量MVb的频数没有超过预定阈值，则在图9内所示的步骤ST56处，显示尺寸决定单元228决定维持显示尺寸以生成显示尺寸信息SZ。 

图3内所示的显示尺寸设定单元126基于在显示尺寸决定单元228中生成的显示尺寸信息SZ，设定将被显示的图像的显示尺寸。这使得能够将图像显示为其显示尺寸基于视频内物体的运动而放大或缩小，从而可呈现具有任何真实性和/或效果的视频。 

应注意，尽管图7内所示的运动矢量提取电路226已经提取出相对于第二多直方图的运动矢量，但是本发明并不局限于此。运动矢量提取电路226同时可执行其它各种类型的提取。例如，运动矢量提取电路226可提取相对于最多直方图的运动矢量的方向。显示尺寸决定单元228然后将相对于最多直方图的运动矢量的方向与阈值进行比较。如果相对于最多直方图的运动矢量的方向超过阈值，则显示尺寸决定单元228判定，在场景中物体不同地进行移动，并且决定放大将被显示的图像的显示尺寸从而生成显示尺寸信息SZ。 

另选的是，运动矢量提取电路226可计算在当前帧之前的一个帧的运动矢量与当前帧的运动矢量之间的差的绝对值，并且提取出超过阈值的差的绝对值的数量。显示尺寸决定单元228然后将差的绝对值的数量与阈值进行比较。如果这样提取的差的绝对值的数量超过该阈值，则显示尺寸决定单元228判定移动改变，并且决定放大将被显示的图像的显示尺寸从而生成显示尺寸信息SZ。 

如果差的绝对值的数量没有超过阈值，则显示尺寸决定单元228可决定将被显示的图像的显示尺寸返回到其在放大之前的尺寸，从而生成显示尺寸信息SZ。 

此外，用户可预先设定关于将在运动矢量提取电路226内提取出的运动矢量的信息以及显示尺寸决定单元228的操作。在此情况下，可根据用户设定的关于运动矢量的信息以及显示操作执行处理。例如，如果用户设定其中没有物体移动的场景可被放大并被显示，则运动矢量提取电路226提取块数，在每一个块内运动矢量为(0，0)。显示尺寸决定单元228然后将这样提取出的块数与阈值进行比较。如果这样提取出的块数超过阈值，则显示尺寸决定单元228判定这是其中没有物体移动的场景，并且决定放大将被显示的图像的显示尺寸从而生成显示尺寸信息SZ。 

此外，如果显示尺寸决定单元228从场景变化检测单元121接收到任何场景变化信息SC，则显示尺寸决定单元228然后使将被显示的图像的显示尺寸返回到其在放大或缩小之前的显示尺寸。 

图10A和图10B示出当显示尺寸放大和缩小时的缩放比率的控制示例。在图10A内，纵轴指示每个帧的显示尺寸信息SZ的片段量，而横轴指示帧。此时，运动矢量提取电路226如上所述地提取相对于第二多直方图的运动矢量，并且将这些运动矢量的数量提供给显示尺寸决定单元228。假设在图10A内所示的第M个帧M1处，相对于第二多直方图的运动矢量的数量超过预定阈值，而在图10A内所示的第N个帧N1处，相对于第二多直方图的运动矢量的数量没有超过预定阈值。 

在帧M1之前的一个帧具有的显示尺寸信息SZ的片段量为X1，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量没有超过预定阈值，所以使得输入图像可按原样显示。帧M1具有的显示尺寸信息SZ的片段量为X2，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量超过预定阈值，所以使得输入图像可被显示为两倍。直到帧N1之 前的帧一直保持显示尺寸信息SZ的片段量X2，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量超过预定阈值，所以使得输入图像可被显示为两倍。帧N1使显示尺寸信息SZ的片段量返回到这样的显示尺寸信息的片段量X1，即因为相对于第二多直方图的运动矢量的数量没有超过预定阈值，所以输入图像可按照原样显示。 

尽管图10A内示出了将被显示的图像的显示尺寸放大的情况，但是图像的显示尺寸可缩小。图10B示出了显示尺寸缩小的情况。在图10B内，纵轴指示每个帧的显示尺寸信息SZ的片段量，而横轴指示帧。此时，运动矢量提取电路226如上所述地提取相对于第二多直方图的运动矢量，并且将运动矢量的数量提供给显示尺寸决定单元228。假设在图10B内所示的第M个帧Mr处，相对于第二多直方图的运动矢量的数量超过预定阈值，而在图10B内所示的第N个帧Nr处，相对于第二多直方图的运动矢量的数量没有超过预定阈值。 

在帧Mr之前的一个帧具有的显示尺寸信息SZ的片段量为X1，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量没有超过预定阈值，所以使得输入图像可按照原样显示。帧Mr具有的显示尺寸信息SZ的片段量为X1/2，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量超过预定阈值，所以使得输入图像可被显示为一半。直到帧Nr之前的帧一直保持显示尺寸信息SZ的片段量X1/2，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量超过预定阈值，所以使得输入图像可被显示为一半。帧Nr使显示尺寸信息SZ的片段量返回到这样的显示尺寸信息SZ的片段量X1，即因为相对于第二多直方图的运动矢量的数量没有超过预定阈值，所以输入图像可按照原样显示。 

因此，控制缩放比率以放大或减小将被显示的图像的显示尺寸。 

图11示出了放大的显示图像的生成示例。在此示例中，输入图像信号SDin放大为1.2倍。图11内的白圈标记指示输入图像信号SDin 内沿空间方向设置的像素，图11内的黑点标记指示当放大图像时将生成的像素。黑点标记指示的每个像素使用由该黑点标记周围的白圈标记指示的四个像素生成。黑点标记指示的像素的像素值V可按下式(5)计算： 

$V=(1-\frac{\mathrm{ra}}{\mathrm{Sr}})\·\mathrm{Va}+(1-\frac{\mathrm{rb}}{\mathrm{Sr}})\·\mathrm{Vb}+(1-\frac{\mathrm{rc}}{\mathrm{Sr}})\·\mathrm{Vc}+(1-\frac{\mathrm{rd}}{\mathrm{Sr}})\·\mathrm{Vd}---\left(5\right)$

其中，Va、Vb、Vc和Vd指示白圈标记指示的四个像素的像素值；ra、rb、rc和rd指示黑点标记指示的像素与在该黑点标记周围的白圈标记指示的每个像素之间的距离；并且Sr指示黑点标记指示的像素与在该黑点标记周围的白圈标记指示的每个像素之间的距离的总和。 

图12示出了缩小的显示图像的生成示例。在此示例中，输入图像信号SDin缩小为0.75倍。图12内的白圈标记指示输入图像信号SDin内沿空间方向设置的像素，图12内的黑点标记指示当缩小图像时将缩小的像素。黑点标记指示的每个像素使用由该黑点标记周围的白圈标记指示的四个像素生成。黑点标记指示的像素的像素值V可用上式(5)计算，其中Va、Vb、Vc和Vd指示白圈标记指示的四个像素的像素值；ra、rb、rc和rd指示黑点标记指示的像素与由在该黑点标记周围的白圈标记指示的每个像素之间的距离；并且Sr指示黑点标记指示的像素与在该黑点标记周围的白圈标记指示的每个像素之间的距离的总和。 

由此，显示尺寸设定单元126基于显示尺寸信息SZ设定将被显示的图像的显示尺寸以使其显示尺寸被放大或缩小，并且生成对应于投影仪112L、112C和112R的图像信号以将它们提供给图像处理装置120内的信号输出单元142L、142C和142R。 

放大或缩小将被显示的图像的操作可执行为使得原始显示尺寸可瞬间或平滑地改变为特定倍数的显示尺寸。例如，如果输入图像放大两倍，则缩放比率利用五个帧逐渐从1.0倍通过1.2、1.4、1.6和1.8倍依次改变到2.0倍。这实现了平滑缩放比率改变，从而使得用户可容易地识别将被显示的图像的显示尺寸的变化。 

尽管式(5)已被说明为是用于改变将被显示的图像的显示尺寸的表达式，但是，在本发明中如何改变将被显示的图像的显示尺寸并不局限于式(5)。可以利用能够放大或缩小将被显示的图像的显示尺寸的任何方式。 

如果将被显示的图像的显示尺寸放大成使得放大的图像在一定的屏幕尺寸上扩展，则缩放比率可被限制以便将扩展图像的显示尺寸限制在该屏幕尺寸内，或者扩展图像可被以任选的尺寸显示而没有限制缩放比率以将扩展图像的显示尺寸限制在屏幕尺寸内。 

图13A和图13B示出了当将被显示的图像的显示尺寸平滑地放大和缩小时的缩放比率的控制示例。在图13A内，纵轴指示每个帧的显示尺寸信息SZ的片段量，而横轴指示帧。此时，图9内所示的运动矢量提取电路226如上所述地提取相对于第二多直方图的运动矢量，并且将运动矢量的数量提供给显示尺寸决定单元228。假设在图13A内所示的第M个帧M1处，相对于第二多直方图的运动矢量的数量超过预定阈值，而在图13A内所示的第N个帧N1处，相对于第二多直方图的运动矢量的数量没有超过预定阈值。 

在帧M1之前的一个帧具有的显示尺寸信息SZ的片段量为X1，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量没有超过预定阈值，所以使得输入图像可被按原样显示。显示尺寸决定单元228生成按照原样显示输入图像的显示尺寸信息SZ。 

因为相对于第二多直方图的运动矢量的数量超过预定阈值，所以显示尺寸决定单元228连续改变将在从帧M1到此后设定的帧的范围内的多个帧上显示的图像的显示尺寸的缩放比率。 

在此实施例中，显示尺寸决定单元228生成显示尺寸信息SZ，以便将在从帧M1到在帧M1之后的第五个帧M1+5的范围内的多个帧上显示的图像的显示尺寸的放大比率被连续改变，以在帧M1+5处达到显示尺寸信息SZ的片段量X2，其是使得输入图像可显示为两倍的显示尺寸信息SZ的片段量。例如，帧M1被设定为具有基准尺寸 (1.0)，并且放大比率利用五个帧从基准尺寸(1.0)通过1.2、1.4、1.6和1.8倍逐渐改变到2倍(2.0)。这使得放大比率可平滑地改变，并且用户可感觉到图像的显示尺寸的改变而不会感到任何不适。 

直到帧N1之前的帧一直保持显示尺寸信息SZ的片段量X2，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量超过预定阈值，所以使得输入图像可被显示为两倍。 

由于相对于第二直方图的运动矢量的数量没有超过预定阈值，所以显示尺寸决定单元228然后生成显示尺寸信息SZ，以便将在从帧N1到在帧N1之后的第五个帧N1+5的范围内的多个帧上显示的图像的显示尺寸的缩小比率被连续改变，以在帧N1+5处达到显示尺寸信息SZ的片段量X1，其是使得输入图像可按原样显示的显示尺寸信息SZ的片段量。例如，帧N1被设定为具有基准尺寸(2.0)，并且缩小比率利用五个帧从基准尺寸(2.0)通过1.8、1.6、1.4和1.2倍逐渐改变到1倍(1.0)。 

如果运动矢量提取电路226除了提取主要物体的运动矢量的数量之外，还提取主要物体内的运动矢量的变化量，则当运动矢量的变化量大时显示尺寸决定单元228将放大比率的变化设定为剧烈变化，或者当运动矢量的变化量小时显示尺寸决定单元228将放大比率的变化设定为平缓变化。由于即使获得相同的放大比率放大比率仍基于运动矢量的变化量而变化，所以使得能够基于图像内的特征值根据任何显示方法显示图像。 

尽管图13A示出了将被显示的图像的显示尺寸放大的情况，但是图像的显示尺寸也可缩小。图13B示出了显示尺寸缩小的情况。在图13B内，纵轴指示每个帧的显示尺寸信息SZ的片段量，而横轴指示帧。此时，运动矢量提取电路226如上所述地提取相对于第二多直方图的运动矢量，并且将运动矢量的数量提供给显示尺寸决定单元228。假设在图13B内所示的第M个帧Mr处，相对于第二多直方图的运动矢量的数量超过预定阈值，而在图13B内所示的第N个帧Nr处，相对于第二多直方图的运动矢量的数量没有超过预定阈值。 

在帧Mr之前的一个帧具有的显示尺寸信息SZ的片段量为X1，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量没有超过预定阈值，所以使得输入图像可被按原样显示。由于在帧Mr处相对于第二多直方图的运动矢量的数量超过预定阈值，则将在从帧Mr到在帧Mr之后的第五个帧Mr+5的范围内的多个帧上显示的图像的显示尺寸的缩小比率被连续改变，以在帧Mr+5处达到显示尺寸信息SZ的片段量X1/2，其是使得输入图像可被显示为一半的显示尺寸信息SZ的片段量。例如，帧Mr被设定为具有基准尺寸(1.0)，并且缩小比率利用五个帧从基准尺寸(1.0)通过0.9、0.8、0.7和0.6倍逐渐改变到显示尺寸信息SZ的片段量X1/2(0.5)。这使得缩小比率可平滑地改变，并且用户可感觉到图像的显示尺寸的改变而不会感到任何不适。 

直到帧Nr之前的帧一直保持显示尺寸信息SZ的片段量X1/2，其是这样的显示尺寸信息SZ的片段量，即因为相对于第二多直方图的运动矢量的数量超过预定阈值，所以使得输入图像可被显示为一半。 

将在从帧Nr到在帧Nr之后的第五个帧Nr+5的范围内的多个帧上显示的图像的显示尺寸的放大比率被连续改变，以在帧Nr+5处达到显示尺寸信息SZ的片段量X1，其是这样的显示尺寸信息SZ的片段量，即由于在帧Nr处相对于第二多直方图的运动矢量的数量没有超过预定阈值，所以使得输入图像可按原样显示。例如，帧Nr被设定为具有基准尺寸(0.5)，并且放大比率利用五个帧从基准尺寸(0.5)通过0.6、0.7、0.8和0.9倍逐渐改变到显示尺寸信息SZ的片段量X1(1.0)。 

图14示出了显示尺寸改变及决定单元124A的配置。显示尺寸改变及决定单元124A包含音频信息检测电路225、音频特征值提取电路227和显示尺寸决定单元229。音频信息检测电路225接收输入图像信号SDin，并且检测该输入图像信号SDin伴有的音频信号SDb。应注意，为了便于说明，假设音频信号SDb与图像信号重叠并且是关 于双声道立体声。音频信息检测电路225然后将检测到的音频信号SDb提供给音频特征值提取电路227。 

音频特征值提取电路227使用任何指定方法从音频信号SDb中提取预期音频特征值。在此实施例中，音频信号SDb包含多个声道，并且音频特征值提取电路227从对应图像的音频信号SDb中提取每个声道的音量，并且计算图像的每一帧的音量的平均值或总和。例如，音频特征值提取电路227从图像的每一帧的双声道立体声音频信号SDb中提取每个声道L和R的音量，并且以图像帧为单位地计算这样提取的音量的平均值或总和以将其提供给显示尺寸决定单元229。 

显示尺寸决定单元229基于音频特征值提取电路227提取的音频特征值，决定相对于输入图像信号SDin的图像的显示尺寸。例如，显示尺寸决定单元229将音量的平均值或总和与预定阈值进行比较，并且如果音量的平均值或总和超过阈值，则判定场景具有大量声音。如果是这样，则显示尺寸决定单元229生成显示尺寸信息SZa以放大将被显示的图像的显示尺寸。显示尺寸决定单元229还将音量的平均值或总和与另一个预定阈值进行比较，并且如果音量的平均值或总和不超过上述另一个阈值，则判定场景具有少量声音。如果是这样，则显示尺寸决定单元229生成显示尺寸信息SZa以缩小将被显示的图像的显示尺寸。 

例如，为了改变将被显示的第一帧图像的显示尺寸，显示尺寸决定单元229生成显示尺寸信息SZa以连续改变将从第一帧到第二帧显示的图像的显示尺寸的放大或缩小比率，该第二帧在该第一帧之后经过预定一段时间显现。显示尺寸决定单元229将显示尺寸信息SZa提供给图3内所示的显示尺寸设定单元126。 

显示尺寸决定单元126从显示尺寸决定单元229接收显示尺寸信息SZa，并且基于该显示尺寸信息SZa设定将显示的图像的显示尺寸。这使得能够将图像显示为其显示尺寸可基于视频内的音频的特征值而放大或缩小，从而可呈现在其上具有任何真实性和/或效果的视频。 

在本发明中，音频特征值提取电路227的操作并不局限于上述操 作，并且音频特征值提取电路227可同时连同上述操作一起执行各种操作。在此实施例中，音频特征值提取电路227可将音频信号SDb转换到任何频率。显示尺寸决定单元229然后可判定音频特征值提取电路227转换的频率属于设定的基准频率范围，并且基于判定结果生成显示尺寸信号SZa以放大将被显示的图像的显示尺寸。 

另外，将被显示的图像的显示尺寸可基于右和左声道的音量之差而改变。在此情况下，音频特征值提取电路227计算相同时刻的声道内的音量之差的绝对值。例如，音频特征值提取电路227计算相同时刻的双声道立体声音频的右和左声道的音量之差的绝对值。显示尺寸决定单元229将差的绝对值与预定阈值进行比较，并且如果该差的绝对值超过预定阈值，则生成显示尺寸信息SZa以放大将被显示的图像的显示尺寸。 

另外，当在将被显示的图像内生成任何声音的物体(例如，车辆)从屏幕中部移动到边侧时，将被显示的图像的显示尺寸可基于右和左声道中的每一个内的音量的任何变化而改变。在此情况下，音频特征值提取电路227在第一时间点处计算声道内的音量之间的第一差值，在第二时间点处计算声道内的音量之间的第二差值，并且计算第一和第二差值的绝对值。例如，音频特征值提取电路227计算位于相同时刻的双声道立体声音频的右和左声道内的音量之间的差Dt0(例如，左声道的音量减去右声道的音量)，计算在下一时间点处双声道立体声音频的右和左声道内的音量之间的差Dt1，并且计算差值Dt0和Dt1之间的绝对值|Dt0-Dt1|。显示尺寸决定单元229将差值的绝对值与预定阈值进行比较，并且如果差值的绝对值超过预定阈值，则生成显示尺寸信息SZa以放大将被显示的图像的显示尺寸。 

由此，通过基于右和左声道内的音量之间的差以及右和左声道内的音量的变化改变将被显示的图像的显示尺寸，即使在其中右和左声道内的音量之间存在任何差别并且/或者右和左声道内的音量存在任何变化的场景中，仍可改变将被显示的图像的显示尺寸。这样能够呈现增加伴有任何音频的任何效果的场景。 

此外，如果在将被显示的图像放大或缩小之后显示尺寸决定单元229内与预定阈值的比较改变，则显示尺寸决定单元229可生成显示尺寸信息SZa，以使显示尺寸返回到在该图像的显示尺寸放大或缩小之前的显示尺寸。 

此外，用户可预先设定将在音频特征值提取电路227内提取的音频的信息和显示尺寸决定单元229的操作。在此情况下，可根据用户已经设定的音频信息和操作来执行处理。例如，如果用户设定为其中音量发生任何变化的场景可放大并显示，则音频特征量提取电路227计算输入帧的音量与就在该输入帧之前的一个帧的音量之间的差的绝对值。显示尺寸决定单元229然后将差的绝对值与阈值进行比较。如果音量之间的差的绝对值超过阈值，则显示尺寸决定单元229判定在场景内音量改变，并且决定放大将被显示的图像的显示尺寸以生成显示尺寸信息SZa。 

应注意，在本发明中，从中检测到音频的帧并不局限于输入帧。可使用在输入帧之前和之后的帧。音频信号可包含任何任选声道。本发明还可应用于5.1声道环绕音频信号。 

因此，尽管显示尺寸改变及决定单元124、124A已被说明为分别利用图像和音频的单元，但是它们可组合。例如，图15示出显示尺寸改变及决定单元124B的配置，其中组合图7和图14内所示的显示尺寸改变及决定单元124、124A，以便基于视频内的物体的运动矢量和视频内的音频特征值两者显示其显示尺寸被放大或缩小的图像。 

显示尺寸改变及决定单元124基于输入图像信号SDin的图像信息检测图像内的物体的运动矢量，并且基于运动矢量决定将被显示的图像的显示尺寸。在此情况下，延迟电路221接收输入图像信号SDin，并且将该输入图像信号SDin延迟一帧以生成图像信号SDa。运动矢量检测电路224接收输入图像信号SDin和延迟图像信号SDa。运动矢量检测电路224然后从输入图像信号SDin和延迟图像信号SDa中检测运动矢量。运动矢量检测电路224然后将检测到的运动矢量提供给运动矢量提取电路226。 

运动矢量提取电路226从运动矢量检测电路224接收到的运动矢量中提取预定的运动矢量，例如，运动矢量提取电路226提取相对于第二多直方图的运动矢量，并且将相对于第二多直方图的运动矢量的数量提供给显示尺寸决定单元228。 

显示尺寸决定单元228基于运动矢量提取电路226提取的运动矢量决定图像的显示尺寸。例如，如果运动矢量提取电路226提取相对于第二多直方图的运动矢量，则显示尺寸决定单元228将相对于第二多直方图的运动矢量的数量与预定阈值进行比较。如果相对于第二多直方图的运动矢量的数量超过该预定阈值，则显示尺寸决定单元228判定占据一定空间的主要物体移动，并且决定放大显示尺寸以生成显示尺寸信息SZ1。如果相对于第二多直方图的运动矢量的数量不超过该预定阈值，则显示尺寸决定单元228决定维持显示尺寸以生成显示尺寸信息SZ1。 

显示尺寸改变及决定单元124A基于输入图像信号SDin内的音频信息提取预定音频的特征值，并且基于音频的特征值决定图像的显示尺寸。在此实施例中，音频信息检测电路225接收输入图像信号SDin，并且从该输入图像信号SDin中检测音频信号SDb(例如，双声道立体声音频信号)。音频信息检测电路225然后将检测到的音频信号SDb提供给音频特征值提取电路227。 

音频特征值提取电路227例如从检测到的音频信号SDb提取音量。在此实施例中，音频特征值提取电路227从双声道立体声音频信号SDb提取每个声道L和R的音量，并且以图像帧为单位计算这样提取的音量的平均值或总和，以将其提供给显示尺寸决定单元229。 

显示尺寸决定单元229将音量的平均值或总和与预定阈值进行比较，并且如果这样提取出的音量超过该阈值，则判定场景具有大量声音。显示尺寸决定单元229然后生成显示尺寸信息SZ2以放大将被显示的图像的显示尺寸。显示尺寸决定单元229还将音量的平均值或总和与另一个预定阈值进行比较，并且如果这样提取出的音量不超过上述另一个阈值，则判定场景具有少量声音。显示尺寸决定单元229 然后生成显示尺寸信号SZ2以缩小将被显示的图像的显示尺寸。 

图3内所示的显示尺寸设定单元126然后基于显示尺寸决定单元228生成的相对于图像的运动矢量的显示尺寸信息SZ1和显示尺寸决定单元229生成的相对于音频的音量的显示尺寸信息SZ2，设定将被显示的图像的显示尺寸。 

例如，如果显示尺寸决定单元228基于显示尺寸信息SZ1下的图像内的物体的运动矢量决定显示尺寸放大到两倍，而显示尺寸决定单元229基于显示尺寸信息SZ2下的音频的音量决定显示尺寸放大到1.5倍，则显示尺寸设定单元126基于这两个倍数的加法和即3.5倍或它们的累积值即3倍，设定将被显示的图像的显示尺寸。 

在此情况下，显示尺寸已基于图像内的物体的运动矢量放大到两倍，并且还基于音频的音量放大至1.5倍，从而能够呈现具有任何真实性和/或效果的图像。此外，如果基于图像内的物体的运动矢量和音频的音量的显示尺寸都被放大或缩小，则仅使用更大的放大比率或更大的缩小比率。 

如果显示尺寸决定单元228和229从场景变化检测单元121接收任何场景变化信息SC，则显示尺寸决定单元228和229使将被显示的图像的显示尺寸返回到其在放大或缩小之前的显示尺寸。 

图16示出了当以离线模式执行处理时根据本发明的图像处理装置120A的实施例的配置。图3内所示的图像处理装置120的类似标号指示图16内所示的图像处理装置120A的类似元件，由此省略对其的详细说明。     

图像处理装置120A内的存储单元130接收并且存储视频的输入图像信号SDin。存储单元130还将输入图像信号SDin提供给场景变化检测单元121。类似于上述实时处理，当检测到场景变化时场景变化检测单元121生成场景变化检测信号SC，并且将场景变化检测信号SC提供给显示尺寸改变及决定单元124。显示尺寸改变及决定单元124决定每个场景的将被显示的图像的显示尺寸以生成显示尺寸信息SZ，并且将其提供给显示尺寸设定单元126。显示尺寸设定单元 126基于显示尺寸信息SZ设定相对于输入图像信号SDin的将被显示的图像的显示尺寸JC，并且将显示尺寸JC提供给存储单元130。存储单元130完全基于针对每个场景的接收到的显示尺寸JC以及来自场景变化检测单元121的场景变化信息SC调节将被显示的图像的显示尺寸，并将对应于投影仪的相对于调节的显示尺寸的图像信号提供给信号输出单元142L、142C和142R。 

图17A和图17B示出了提供给存储单元130的每个场景的显示尺寸JC的被调节示例。在图17A和图17B中，每个纵轴指示每个场景的显示尺寸JC，而每个横轴指示帧。此时，假设在图17A和图17B内所示的第M个帧M处，显示尺寸JC加倍，并且然后在图17A和图17B内所示的第N个帧N处，显示尺寸JC返回到单倍的原始尺寸，并且在图17A和图17B内所示的第O个帧O处，发生场景变化。 

存储单元130存储相对于帧的帧信息，在这些帧中它们的显示尺寸JC与场景变化的定时一致地逐渐减小。在此以离线模式执行处理的实施例中，每个显示尺寸改变及决定单元124、124A或124B改变帧的显示尺寸，以便它们的显示尺寸朝场景变化检测单元121检测到的场景变化的定时逐渐减小。例如，如图17B内所示，显示尺寸改变及决定单元124改变帧的显示尺寸，以便它们的显示尺寸在帧O之前的其中发生场景变化的一些帧内逐渐减小，并且在帧O处使该显示尺寸返回到在缩小之前的显示尺寸。这种调节使帧的显示尺寸能够与场景变化的定时一致地逐渐减小，从而更容易理解场景变化呈现。 

在以离线模式执行处理的情况下，显示尺寸JC可在显示尺寸JC频繁改变的情况下在时间上平滑地改变。图18A和图18B示出了提供给存储单元130的每个帧的显示尺寸JC的被调节示例。在图18A和图18B内，每个纵轴指示每一帧的显示尺寸JC，而每个横轴指示帧。在此情况下，假设在第A个帧A、第B个帧B、第C个帧C、第D个帧D、第E个帧E和第F个帧F处，显示尺寸JC改变，并且每个帧内的时间段短。 

在这种情况下，显示尺寸在短时间段内频繁改变，从而用户相当 难以查看图像。此时，存储单元130存储相对于其中在短时间段内显示尺寸JC没有改变的帧的帧信息。在以离线模式执行处理的实施例中，如果在多个帧内，帧的显示尺寸改变并且每个帧内的时间段短，则显示尺寸改变及决定单元124、124A或124B中的每一个改变帧的显示尺寸以便它们的显示尺寸逐渐改变。例如，如图18B所示，在例如帧A至F的情况中，显示尺寸改变及决定单元124平滑地改变在其中它们的显示尺寸改变的帧的中间帧(例如，帧A和B的中间帧)之前和之后的帧的显示尺寸，以便在该中间帧处显示尺寸可变为预定尺寸。这种调节使得在短时间段期间发生的缩放比率的改变能够是连续改变，从而可容易地查看和呈现图像。 

因此，在以离线方式执行处理的情况下，可调节与场景变化的定时一致的显示尺寸的改变以及显示尺寸的时间上的改变，从而能够根据任何容易理解的方法呈现图像，并且使得图像易于观看。即使将被显示的图像的显示尺寸扩展超过该图像在其上显示的屏幕尺寸，也可通过将缩放比率设定为合适的值以在屏幕上显示图像，而不会查看到图像的任何部分扩展。 

除了上述硬件之外，软件也可实现上述处理。图19示出根据本发明的实施例可应用于其中的计算机300的实施例的配置。计算机300包含中央处理单元(CPU)301。只读存储器(ROM)302、随机存取存储器(RAM)303、硬盘驱动器(HDD)304和输入/输出接口305通过总线320连接到CPU 301。输入单元311、记录介质驱动单元312、通信单元313、图像信号输入单元314和图像信号输出单元315连接到该输入/输出接口305。 

当外部设备向计算机300发送任何命令，或者由诸如键盘和鼠标的操纵设备或诸如麦克风的音频输入设备构成的输入单元311输入任何命令时，这些命令通过输入/输出(I/O)接口305提供给CPU 301。 

CPU 301执行ROM 302、RAM 303和/或HDD 304内存储的任何程序，并且基于接收到的命令执行任何处理。ROM 302、RAM 303和/或HDD 304先前存储任何图像处理程序，该程序使得计算机300 可与上述图像处理装置类似地执行任何处理。CPU 301使用图像处理程序基于图像信号输入单元314接收的输入图像信号SDin生成输出信号SDL、SDC和SDR，并且通过图像信号输出单元315传送输出信号SDL、SDC和SDR。记录介质可以存储这种图像处理程序。记录介质驱动单元312在记录介质上记录图像处理程序，或者从该记录介质中读出图像处理程序，从而使计算机300能够执行图像处理程序。通信单元313可通过任何传输路径传送和接收图像处理程序，从而使计算机300能够执行接收到的图像处理程序。 

图20示出了在实时处理的情况下的图像处理程序的整体配置。此图像处理程序使计算机300可处理相对于视频的图像和音频的图像和音频信号(输入图像信号SDin)。 

在图20内所示的步骤ST1处，在输入图像信号SDin内辨别场景。图21示出了这种场景辨别的操作。在图21内所示的步骤ST11处，计算输入图像信号SDin内的帧之间的差的平均值Dav与每个帧内的亮度的平均值Yav，并且过程转到步骤ST12。在步骤ST12处，使用亮度的平均值Yav对差的平均值Dav进行归一化，从而可计算出归一化值E。 

在步骤ST13处，通过比较归一化值E与阈值Lr，确定是否存在场景变化。如果归一化值E没有超过阈值Lr，则过程转到步骤ST14，在步骤ST14中确定没有发生场景变化并且图像被包含在相同场景内。如果归一化值E超过阈值Lr，则过程转到步骤ST15，在步骤ST15中确定发生场景变化。由此，基于归一化值E执行场景辨别。 

另选的是，在场景辨别操作中，如上所述，可计算相关系数r，并且通过比较该相关系数r与阈值来检测场景变化。在此情况下，代替步骤ST11和ST12，根据上述等式(4)计算相关系数r。代替步骤ST13，通过比较该相关系数r与阈值，确定是否存在场景变化。如果相关系数r不小于阈值，则过程转到步骤ST14，在步骤ST14中确定没有发生场景变化并且图像被包含在相同场景内。如果相关系数r小于阈值，则过程转到步骤ST15，在步骤ST15中确定发生场景变化。 

返回图20，在步骤ST2处，确定是否检测到场景变化。如果确定检测到这种场景变化，则将被显示的图像的显示尺寸返回到在放大或缩小之前的显示尺寸，并且过程返回步骤ST1。如果确定没有检测到这种场景变化，则过程转到步骤ST3，在步骤ST3中决定图像的显示尺寸。 

图22示出了步骤ST3中的尺寸改变及决定操作。在步骤ST311处，例如对于每个具有8×8像素的块，在当前帧的输入图像和就在当前帧之前的帧的图像之间检测运动矢量。在步骤ST312处，从检测到的运动矢量中提取任何特征值，例如相对于预定直方图的运动矢量的数量或者该预定运动矢量的变化量。在步骤ST313处，将提取出的特征值与预定条件进行比较，并且决定图像的显示尺寸。如果在步骤ST313处，提取出的特征值符合预定条件，则过程转到步骤ST314。在步骤ST314处，设定将被显示的图像的显示尺寸。如果在步骤ST313处，提取出的特征值不符合预定条件，则显示尺寸返回到先前设定的显示尺寸，并且过程停止。 

图23示出步骤ST3中的另一个尺寸改变及决定操作。在步骤ST321处，从输入图像信号SDin中检测出音频信号。在步骤ST322处，从检测到的音频信号中提取任何特征值，例如音量或频率特征。在步骤ST323处，比较提取出的特征量与预定条件，并且决定图像的显示尺寸。如果在步骤ST323处，提取出的特征值符合预定条件，则过程转到步骤ST324。在步骤ST324处，设定将被显示的图像的显示尺寸。如果在步骤ST323处，提取出的特征值不符合预定条件，则显示尺寸返回到先前设定的显示尺寸，并且过程停止。 

图24示出了步骤ST3中的又一个尺寸改变及决定操作。图24内所示的流程图是通过组合图22内所示的基于运动矢量的流程图和图23内所示的基于音频的流程图构成的，其中图22和图23内所示的类似标号指示图24内所示的类似步骤。 

即，在步骤ST311至ST314，提取任何特征值，例如相对于预定直方图的运动矢量的数量或者该预定运动矢量的变化量；将提取出 的特征值与预定条件进行比较且决定图像的显示尺寸；并且设定将被显示的图像的显示尺寸。另外，在步骤ST321至ST324，从检测到的音频信号中提取任何特征值，例如音量或频率特征；将提取出的特征值与预定条件进行比较且决定图像的显示尺寸；并且设定将被显示的图像的显示尺寸。     

返回图20，在步骤ST4处，基于在步骤ST3处决定的图像的显示尺寸改变将被显示的图像的显示尺寸，并且生成输出信号SDL、SDC和SDR。在输出信号生成期间，将图像存储在帧存储器内，并且从该帧存储器读出图像信号以便针对每个屏幕划分读出的图像信号，从而能够生成输出信号SDL、SDC和SDR。另选的是，图像信号根据它们的显示尺寸被存储在其中记录区对应于图像显示区的存储器中，并且使用对应于每个屏幕的记录区内存储的信号，从而使得能够生成输出信号SDL、SDC和SDR。 

过程然后转到步骤ST5。在步骤ST5处，确定输入图像信号是否结束。如果确定输入图像信号没有结束，则过程返回步骤ST1。如果确定输入图像信号结束，则图像处理结束。 

图25示出了在以离线模式执行处理的情况下的图像处理程序的整体配置。 

在步骤ST21处，在输入图像信号SDin内辨别场景。在步骤ST22处，确定是否检测到场景变化。如果在步骤ST22处确定检测到这种场景变化，则过程返回步骤ST21。如果在步骤ST22处确定没有检测到这种场景变化，则过程前进到步骤ST23，在步骤ST23中决定图像的显示尺寸。 

在步骤ST24处，确定是否针对每个场景执行尺寸改变及决定。如果在步骤ST24处确定还没有针对每个场景执行尺寸改变及决定，则过程返回步骤ST21以继续该过程。如果在步骤S24处确定已经针对每个场景执行了尺寸改变及决定，则过程转到步骤ST25。 

在步骤ST25处，基于针对每个场景确定的显示尺寸调节将被显示的图像的显示尺寸，以便将被显示的图像的显示尺寸可与场景变化 的定时一致地改变，或者可减小将被显示的图像的显示尺寸的随时间的变化。 

图26示出了在与场景变化的定时一致地改变将被显示的图像的显示尺寸的情况下的步骤ST25的操作。在步骤ST251处，确定是否已经针对每一帧完成显示尺寸信息的调节。如果确定已经针对每一帧完成显示尺寸信息的调节，则过程结束。如果确定还未针对每一帧完成显示尺寸信息的调节，则过程转到步骤ST252。 

在步骤ST252处，确定输入帧是否对应于场景变化部分。如果确定输入帧并不对应于场景变化部分，则过程返回步骤ST251以继续进行该过程。如果确定输入帧对应于场景变化部分，则过程转到步骤ST253。 

在步骤ST253处，可调节从在该帧之前的其中发生场景变化一些帧到其中发生场景变化的该帧的范围内的多个帧的显示尺寸信息，以便它们的显示尺寸与场景变化的定时一致地逐渐改变(见图17)。过程然后转到步骤ST251以继续进行。 

图27示出了在调节将被显示的图像的显示尺寸以便将被显示的图像的显示尺寸随时间的变化可减小的情况下的步骤ST25中的操作。在步骤ST254处，确定是否已经针对每个帧完成显示尺寸信息的调节。如果确定已经针对每个帧完成显示尺寸信息的调节，则过程结束。如果确定还未针对每个帧完成显示尺寸信息的调节，则过程转到步骤ST255。 

在步骤ST255处，确定显示尺寸是否在输入帧之前和之后的短时间段期间连续改变。如果确定显示尺寸没有在短时间段期间连续改变，则过程返回到步骤ST254以继续进行。如果确定显示尺寸在短时间段期间连续改变，则过程转到步骤ST256。 

在步骤ST256处，在其中帧的显示尺寸在短时间段期间连续改变的帧内，它们的显示尺寸被设定为使得平滑地改变在该输入帧之前和之后的帧的显示尺寸(见图18)。过程然后转回到步骤ST254以继续进行。 

返回图25，在步骤ST26处，生成输出信号SDL、SDC和SDR，以便可基于在步骤ST25处调节的显示尺寸显示图像。在输出信号的生成期间，图像信号被存储在帧存储器内，并且从该帧存储器读出图像信号以便针对每个屏幕划分读出的图像信号，从而能够生成输出信号SDL、SDC和SDR。另选的是，根据图像信号的显示尺寸将图像信号存储在其中记录区对应于图像显示区的存储器内，并且使用存储在对应于每个屏幕的记录区内的信号，从而能够生成输出信号SDL、SDC和SDR。 

应注意，尽管在上述实施例中已经示出了屏幕和投影仪，但是屏幕等的数量和尺寸可选地进行改变。可使用另一种显示，例如宽屏显示或曲面显示(例如，柱形显示)。 

如果屏幕尺寸超过将被显示的图像的显示尺寸，则根据上述实施例，将被显示的图像的显示尺寸可基于图像和音频的特征值而改变，从而使得能够呈现具有更多效果且易于理解的图像。由于屏幕尺寸超过将被显示的图像的显示尺寸，所以通过设定合适的缩放比率，可将该图像显示为其在放大的图像内是连续的。 

尽管在上述实施例中，图像处理装置120中包含有存储单元130，但是也可使用任何外部信息存储设备。如果存储单元130可被设置成可拆卸，则即使在具有任何图像显示控制功能的另一个图像显示系统内，通过利用此可拆卸存储单元130内存储的输入图像信号SDin和关于显示尺寸JC的信息，可显示具有任何真实性且易于可理解的图像。 

根据本发明的上述实施例，将被显示的图像的显示尺寸可使用已有内容的图像信号改变，而无需创建新图像源和/或另一个格式，从而能够显示具有比先前图像更多的效果且易于理解的图像。 

由此，利用根据本发明的上述实施例的图像处理装置120、图像处理方法以及程序产品，当处理相对于视频的图像和音频信息的输入图像信号SDin时，从视频内的物体的运动矢量中提取预定的运动矢量，基于提取出的运动矢量决定图像的显示尺寸，并且基于决定的显 示尺寸设定将被显示的图像的显示尺寸。另选的是，利用根据本发明的上述实施例的图像处理装置120、图像处理方法以及程序产品，当处理相对于图像和音频信息的输入图像信号SDin时，从输入图像信号SDin中提取音频的特征值，基于音频的特征值决定将被显示的图像的显示尺寸，并且基于决定的显示尺寸设定将被显示的图像的显示尺寸。另外，利用根据本发明的上述实施例的图像处理装置120、图像处理方法以及程序产品，当处理相对于视频的图像和音频信息的输入图像信号SDin时，基于提取出的运动矢量决定图像的显示尺寸，基于音频的特征量决定将要显示的图像的显示尺寸，并且基于决定的两个显示尺寸设定将被显示的图像的显示尺寸。 

因此，根据本发明的实施例，图像可显示为其显示尺寸基于视频上的图像内的物体的运动矢量和/或音频的特征值而放大或缩小。这使得能够呈现具有任何真实性和效果的图像。 

上述图像处理装置120可配置为分成两个部分，即生成显示尺寸信息SZ并将其提供给外部存储设备的装置，和基于外部存储设备内存储的显示尺寸信息SZ再现输入图像信号SDin的装置。例如，图28示出了根据本发明的生成再现信息的装置500的一个实施例的配置，而图29示出了再现信息的装置600的配置。如图3内所示的图像处理装置120的类似标号指示装置500和600的类似元件，因此将省略对其的详细说明。 

图像处理装置120划分成装置500和600。生成再现信息的装置500对视频的输入图像信号SDin执行任何处理，并且生成视频的显示尺寸信息SZ，该信息SZ是视频的再现信息的一个示例。生成再现信息的装置500包含场景变化检测单元121(121A)和显示尺寸改变及决定单元124(124A和124B)。再现信息的装置600基于显示尺寸信息SZ对视频的输入图像信号SDin执行任何处理，并且再现视频。 

图28内所示的生成再现信息的装置500内的场景变化检测单元121接收输入图像信号SDin，检测相对于输入图像信号SDin的视频内的场景变化以生成场景变化检测信号SC，并且将场景变化检测信 号SC提供给显示尺寸改变及决定单元124。 

当基于输入图像信号SDin内的图像信息决定图像的显示尺寸时，图7内所示的显示尺寸改变及决定单元124内的运动矢量检测电路224从输入图像信号SDin内的图像信息中检测视频内的物体的运动矢量。运动矢量提取电路226从运动矢量检测电路224接收检测到的运动矢量，并且从接收到的运动矢量中提取预定的运动矢量。显示尺寸决定单元228基于运动矢量提取电路226提取的运动矢量决定将被显示的图像的显示尺寸，并生成用于设定将被显示的图像的显示尺寸的显示尺寸信息SZ，且将其提供给输出终端501。此外，当场景变化检测单元121检测到场景变化时，显示尺寸决定单元228生成用于使将被显示的图像的显示尺寸返回到改变之前的显示尺寸的显示尺寸信息SZ，并将其提供给输出终端501。 

当基于输入图像信号SDin内的音频信息决定图像的显示尺寸时，图14内所示的显示尺寸改变及决定单元124内的音频信息检测电路225从输入图像信号SDin中检测音频信号SDb。音频特征值提取电路227从音频信息检测电路225检测到的音频信号SDb中提取预期的音频特征值。 

显示尺寸决定单元229基于音频特征值提取电路227提取出的音频特征值决定相对于输入图像信号SDin的图像的显示尺寸，基于决定的显示尺寸生成用于设定将被显示的图像的显示尺寸的显示尺寸信息SZ，并且将其提供给输出终端501。另外，当场景变化检测单元121检测到场景变化时，显示尺寸决定单元229生成用于使将被显示的图像的显示尺寸返回到改变之前的显示尺寸的显示尺寸信息SZ，并将其提供给输出终端501。 

当基于输入图像信号SDin内的图像和音频信息决定图像的显示尺寸时，图15内所示的显示尺寸改变及决定单元124B中的显示尺寸改变及决定单元124从输入图像信号SDin内的图像信息检测视频内的物体的运动矢量，基于运动矢量决定图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的显示尺寸信息SZ1，将其提供给 输出终端501。显示尺寸改变及决定单元124A从伴随输入图像信号SDin的音频信息中提取预期的音频特征值，基于音频特征值决定相对于输入图像信号SDin的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的显示尺寸信息SZ2，将其提供给输出终端501。此外，当场景变化检测单元121检测到场景变化时，显示尺寸改变及决定单元124B生成用于使将被显示的图像的显示尺寸返回到改变之前的显示尺寸的显示尺寸信息SZ，并将其提供给输出终端501。 

输出终端501连接未示出的外部存储介质，例如USB存储器。这使得能够呈现显示尺寸信息SZ，以便将图像显示为其显示尺寸基于视频内的物体的运动矢量和视频内的音频特征值而放大或缩小。 

图29内所示的用于再现信息的装置600从外部存储介质中读出显示尺寸信息SZ，并且基于显示尺寸信息SZ对视频的输入图像信号SDin执行任何处理以再现视频。当然，由其生成显示尺寸信息SZ的输入图像信息SDin与使用显示尺寸信息SZ再现的输入图像信号SDin相同。再现信息的装置600包含显示信息设定单元126和信号输出单元142L、142C和142R。 

在此实施例中，在再现信息的装置600内，输入终端601连接显示尺寸设定单元126，显示尺寸信息SZ被提供给该显示尺寸设定单元126。显示尺寸设定单元126还接收输入图像信号SDin。显示尺寸设定单元126然后基于显示尺寸信息SZ设定相对于输入图像信号SDin的将被显示的图像的显示尺寸，并且将对应于投影仪112L、112C和112R的输出信号SDL、SDC和SDR分别提供给信号输出单元142L、142C和142R。信号输出单元142L、142C和142R然后将它们的输出信号SDL、SDC和SDR提供给对应的投影仪112L、112C和112R。投影仪112L、112C和112R基于输出信号分别将图像投影到屏幕110L、110C和110R上。这使得能够在再现图像的同时放大或缩小将被显示的图像的显示尺寸，从而可呈现具有任何真实性和效果的视频。 

图30示出再现信息生成程序的整体配置。例如，图30内所示的 再现信息生成程序使得图20内所示的计算机可生成用于再现关于视频的输入图像信号SDin的再现信息(显示尺寸信息SZ)。图20内所示的图像处理程序的类似标号指示图30内所示的再现信息生成程序内的类似步骤，并且将省略对其的详细说明。 

在图30内所示的步骤ST1处，在输入图像信号SDin内辨别场景。程序内的过程转到如上所述的用于示出图21内所示的场景辨别操作的流程图的步骤，并且然后转到步骤ST2。 

在步骤ST2处，确定是否检测到场景变化。如果确定检测到这种场景变化，则将被显示的图像的显示尺寸返回到在放大或缩小之前的显示尺寸，并且过程返回步骤ST1。如果确定没有检测到这种场景变化，则过程转到步骤ST3，在步骤ST3中决定图像的显示尺寸。例如，如果基于输入图像信号SDin内的任何图像信息决定图像的显示尺寸，则基于图像信息检测视频内的物体的运动矢量，并且从检测到的运动矢量中提取预定的运动矢量。然后，基于提取出的运动矢量决定图像的显示尺寸，并且过程转到步骤ST4A。 

如果基于输入图像信号SDin内的任何音频信息决定将被显示的图像的显示尺寸，则从输入图像信号SDin中检测音频信息，并且从检测到的音频信息中提取预定的音频特征值。然后基于提取出的音频特征值决定相对于输入图像信号SDin的图像的显示尺寸，并且过程转到步骤ST4A。 

如果基于输入图像信号SDin内的任何图像和音频信息决定图像的显示尺寸，则基于图像信息检测视频内的物体的运动矢量，从检测到的运动矢量中提取预定的运动矢量，并且然后基于提取出的运动矢量决定图像的显示尺寸。另外，从输入图像信号SDin中检测音频信息，从检测到的音频信息中提取预定的音频特征值，然后基于提取出的音频特征值决定相对于输入图像信号SDin的图像的显示尺寸，并且过程转到步骤ST4A。 

在步骤ST4A处，生成用于把将被显示的图像的显示尺寸设定为在步骤ST3内决定的显示尺寸的显示尺寸信息，并且过程转到步骤 ST5。 

在步骤ST5处，确定输入图像信息SDin是否结束。如果确定输入图像信息SDin还未结束，则过程返回步骤ST1。如果确定输入图像信息结束，则图像处理完成。 

由此，利用根据本发明的上述实施例的生成再现信息的装置500、生成再现信息的方法及其程序产品，当生成用于再现相对于视频的音频和图像信息的输入图像信号SDin的显示尺寸信息SZ时，从视频的运动矢量中提取预定的运动矢量，基于提取出的运动矢量决定将被显示的图像的显示尺寸，并且基于决定的显示尺寸生成用于设定将被显示的图像的显示尺寸的显示尺寸信息SZ。另选的是，利用根据本发明的上述实施例的生成再现信息的装置500、生成再现信息的方法及其程序产品，当生成用于再现相对于视频的音频和图像信息的输入图像信号SDin的显示尺寸信息SZ时，从输入图像信息SDin中提取音频的特征值，基于该音频特征值决定将被显示的图像的显示尺寸，并且生成用于基于决定的显示尺寸设定将被显示的图像的显示尺寸的再现信息。另外，利用根据本发明的上述实施例的生成再现信息的装置500、生成再现信息的方法及其程序产品，当生成用于再现相对于视频的音频和图像信息的输入图像信号SDin的显示尺寸信息SZ时，基于提取出的运动矢量决定将被显示的图像的显示尺寸，并且生成用于基于决定的显示尺寸设定将被显示的图像的显示尺寸的显示尺寸信息SZ1，而且基于音频的特征值决定将被显示的图像的显示尺寸，并且生成用于基于决定的显示尺寸设定将被显示的图像的显示尺寸的显示尺寸信息SZ2。 

因此，根据本发明的实施例，可生成显示尺寸信息SZ等等，以便将图像显示成其显示尺寸基于视频的图像内的物体的运动矢量和/或音频的特征值而放大或缩小。这使得可通过基于生成的显示尺寸信息SZ再现对应图像而在放大或缩小该图像的显示尺寸的情况下呈现具有任何真实性和效果的图像。 

由此，根据本发明的上述实施例的图像处理装置和方法以及图像 处理程序产品、生成再现信息的装置和方法以及生成再现信息的程序产品优选地应用于处理关于视频(例如，电视广播节目和电影)的输入图像信号的装置等。 

本领域技术人员应理解，在所附权利要求或其等同物的范围内，可根据设计要求和其它因素实现各种修改、组合、子组合和变型。 

Claims (14)

1.一种基于相对于视频的图像信号的图像处理装置，该装置包括：

显示尺寸改变及决定设备，该显示尺寸改变及决定设备基于图像信号检测物体的运动矢量，并且基于检测到的运动矢量决定图像的显示尺寸，包括：

检测图像信号内的物体的运动矢量的运动矢量检测部件；

从运动矢量检测部件检测到的物体的运动矢量中提取物体的预定运动矢量的运动矢量提取部件；以及

基于运动矢量提取部件提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的显示尺寸决定部件；以及

显示尺寸设定设备，该显示尺寸设定设备把将被显示的图像的显示尺寸设定为由所述显示尺寸决定部件决定的显示尺寸，

其中所述运动矢量提取部件生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中所述显示尺寸决定部件将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

2.根据权利要求1的装置，其中当改变将被显示的图像的显示尺寸时，所述显示尺寸改变及决定设备在从将被改变的图像到将被显示图像的一段时间期间连续改变将被显示的图像的显示尺寸的放大或缩小比率。

3.根据权利要求1的装置，还包括检测视频内的场景变化的场景变化检测设备，

其中，当以离线模式执行处理时，所述显示尺寸改变及决定设备在场景变化检测设备检测到场景变化时把将被显示的图像的显示尺寸改变为较小尺寸的图像。

4.根据权利要求1的装置，其中当在以离线模式执行处理的情况下，将被显示的多个图像的显示尺寸改变并且每个图像的帧周期短时，所述显示尺寸改变及决定设备逐渐改变每个图像的显示尺寸。

5.一种基于相对于视频的图像信号来处理图像的方法，该方法包括：

基于图像信号检测物体的运动矢量的第一步骤；

从在第一步骤中检测到的物体的运动矢量中提取物体的预定运动矢量的第二步骤；

基于在第二步骤中提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的第三步骤；

把将被显示的图像的显示尺寸设定为在第三步骤内决定的显示尺寸的第四步骤，

其中所述第二步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中所述第三步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

6.一种基于相对于视频上的图像和音频信息的图像和音频信号的图像处理装置，该装置包含：

基于图像和音频信号内的图像信息检测物体的运动矢量并且基于运动矢量决定图像的显示尺寸的第一显示尺寸改变及决定设备，包括：

基于图像和音频信号内的图像信息检测物体的运动矢量的运动矢量检测部件；

从运动矢量检测部件检测到的运动矢量中提取预定运动矢量的运动矢量提取部件；以及

基于运动矢量提取部件提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的第一显示尺寸决定部件；

从图像和音频信号内的音频信息中提取预定音频的特征值并且基于音频的特征值决定图像和音频信号内的图像的显示尺寸的第二显示尺寸改变及决定设备；以及

显示尺寸设定设备，该显示尺寸设定设备基于第一和第二显示尺寸改变及决定设备决定的显示尺寸设定将被显示的图像的显示尺寸，

其中所述运动矢量提取部件生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中所述第一显示尺寸决定部件将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

7.根据权利要求6的装置，

其中所述第二显示尺寸改变及决定设备包括：

从图像和音频信号中检测音频信息的音频信息检测部件；

从音频信息检测部件检测到的音频信息中提取预定音频的特征值的音频特征值提取部件；

基于音频特征值提取部件提取出的音频的特征值决定图像和音频信号内的图像的显示尺寸的第二显示尺寸决定部件，并且

其中所述显示尺寸设定设备基于第一和第二显示尺寸决定部件决定的显示尺寸设定将被显示的图像的显示尺寸。

8.一种基于相对于视频上的图像和音频信息的图像和音频信号来处理图像的方法，该方法包括：

基于图像和音频信号内的图像信息检测物体的运动矢量的第一步骤；

从在第一步骤内检测到的运动矢量中提取预定运动矢量的第二步骤；

基于在第二步骤内检测到的所述预定运动矢量来决定图像的显示尺寸的第三步骤；

从图像和音频信号内的音频信息中提取预定音频的特征值的第四步骤；

基于在第四步骤内提取出的音频的特征值决定图像和音频信号内的图像的显示尺寸的第五步骤；以及

基于第三和第五步骤内决定的显示尺寸设定将被显示的图像的显示尺寸的第六步骤，

其中所述第二步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中所述第三步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

9.一种生成用于再现视频上的图像信号的再现信息的装置，该装置包含：

从图像信号中检测物体的运动矢量的运动矢量检测设备；

从运动矢量检测设备检测到的运动矢量中提取预定运动矢量的运动矢量提取设备；以及

显示尺寸决定设备，该设备基于运动矢量提取设备提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸，并且生成用于基于决定的显示尺寸设定将被显示的图像的显示尺寸的再现信息，

其中所述运动矢量提取设备生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中所述显示尺寸决定设备将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

10.根据权利要求9的装置，该装置还包括检测视频内的场景变化的场景变化检测设备，

其中，当场景变化检测设备检测到场景变化时，所述显示尺寸决定设备把将被显示的图像的显示尺寸改变回以前设定的显示尺寸。

11.一种生成用于再现视频上的图像信号的再现信息的方法，该方法包括：

从图像信号中检测物体的运动矢量的第一步骤；

从在第一步骤内检测到的运动矢量中提取预定运动矢量的第二步骤；

基于在第二步骤内提取出的所述预定运动矢量来决定将被显示的图像的显示尺寸的第三步骤；以及

生成用于基于在第三步骤内决定的显示尺寸设定将被显示的图像的显示尺寸的再现信息的第四步骤，

其中所述第二步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中所述第三步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

12.一种生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息的装置，该装置包含：

第一显示尺寸改变及决定设备，该设备基于图像和音频信号内的图像信息检测物体的运动矢量，基于该运动矢量决定图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息；以及

第二显示尺寸改变及决定设备，该设备从图像和音频信号的音频信息中提取预定音频的特征值，基于音频的特征值决定图像和音频信号内的图像的显示尺寸，并且生成用于设定将被显示的图像的显示尺寸的再现信息，

其中所述第一显示尺寸改变及决定设备生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中所述第一显示尺寸改变及决定设备将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

13.根据权利要求12的装置，该装置还包括检测视频内的场景变化的场景变化检测设备，

其中，当场景变化检测设备检测到场景变化时，第一和第二显示尺寸改变及决定设备把将被显示的图像的显示尺寸改变回以前设定的显示尺寸。

14.一种生成用于再现相对于视频上的图像和音频信息的图像和音频信号的再现信息的方法，该方法包含：

基于图像和音频信号内的图像信息检测物体的运动矢量的第一步骤；

基于第一步骤内检测到的运动矢量决定图像的显示尺寸的第二步骤；

生成用于把将被显示的图像的显示尺寸设定为第二步骤内决定的显示尺寸的再现信息的第三步骤；

从图像和音频信号的音频信息中提取预定音频的特征值的第四步骤；

基于第四步骤内提取出的音频的特征值决定图像和音频信号内的将被显示的图像的显示尺寸的第五步骤；以及

生成用于将图像的显示尺寸设定为第五步骤内决定的显示尺寸的再现信息的第六步骤，

其中，所述第一步骤包括生成运动矢量的直方图，将在图像的直方图内频数最多的运动矢量定义为背景的运动矢量，将在图像的直方图内频数第二多的运动矢量定义为主要物体的运动矢量，提取在直方图内频数第二多的运动矢量的频数，并且提供这样提取出的直方图内频数第二多的运动矢量的频数，以及

其中，所述第二步骤包括将在直方图内频数第二多的运动矢量的频数与预定阈值进行比较，并且如果在直方图内频数第二多的运动矢量的频数超过所述预定阈值，则决定放大将被显示的图像的显示尺寸，而如果在直方图内频数第二多的运动矢量的频数没有超过所述预定阈值，则保持将被显示的图像的显示尺寸。

Images