CN100562062C - 视频和音频处理系统、视频处理装置、音频处理装置、输出装置以及控制该系统的方法 - Google Patents

Abstract

一种视频和音频处理系统，包括：输出装置，用来输出要被同步和再现的视频数据和音频数据；音频处理装置，用来从输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置并处理音频数据以产生要提供给扬声器的音频信号；以及视频处理装置，用来接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号。视频处理装置包括视频信号处理装置、控制装置以及用来确定处理时间的确定装置。视频和音频处理系统延迟要提供给扬声器的音频信号以使其基于处理时间的确定结果与所显示的视频同步。

Description

视频和音频处理系统、视频处理装置、音频处理装置、输出装置以及控制该系统的方法

相关申请的交叉引用

本发明包含与2006年3月31日提交给日本特许厅的JP2006-098382号日本专利申请有关的主题，其全部内容援引于此以供参考。

发明背景

1.技术领域

本发明涉及一种处理要被同步和再现的视频信号和音频信号的系统(诸如家庭影院系统)、用于该系统的装置以及使该系统中的视频和音频同步的方法。

2.相关技术的描述

已提供例如记录在数字多功能盘(DVD)的电影的多段数字内容。家庭影院系统被越来越多地使用以使用户在家也能享受这种数字内容的高品质的视频和音频。这种家庭影院系统包括例如DVD播放器的视频和音频信号再现装置1、例如音频放大器的音频输出装置2以及例如TV监视器(TV装置)的视频显示装置3。

视频和音频信号再现装置1将记录在诸如DVD的记录媒体上的电影的数字内容的视频信号和音频信号读出，并输出所读出的视频和音频信号。

音频输出装置2从提供自视频和音频信号再现装置1的音频信号产生要被提供给扬声器的音频信号并将所产生的音频信号提供给扬声器。这些音频信号可以是多声道信号，例如2声道信号、4声道信号或5.1声道信号。

视频显示装置3产生要被提供给显示单元的视频信号，所述显示单元上显示由视频和音频信号再现装置1提供的视频信号。用各种数量的扫描线通过各种扫描方法得到的视频信号被提供给视频显示装置3。扫描方法包括480p(用480条有效扫描线逐行扫描(连续扫描))、720p(用720条有效扫描线逐行扫描)以及1080i(用1080条有效扫描线隔行扫描)。换句话说，要被再现的视频信号具有多种格式。

由于如上所述，从视频和音频信号再现装置1提供的视频信号和音频信号在不同装置中被处理，因此花费不同的时间以处理音频和视频信号。总地来说，由于视频信号所要处理的数据量较大，视频信号处理花费比音频信号处理更多的时间。因此，在从扬声器输出的音频和显示在显示单元上的视频之间可能产生延迟(即声像吻合中的延迟)，并因此观看所回放的数字内容的观看者(用户)会感到不舒服。

结果，如果视频和音频信号再现装置1、视频显示装置3和音频输出装置2依次以图1A所示的顺序相互连接，则检测在视频处理装置3中处理视频信号所需的时间并根据所检测到的时间延迟要被传送至视频显示装置3的音频信号输出允许在视频被显示在视频显示装置3所处时间与音频被输出至音频输出装置2所处时间之间实现同步(声像吻合)。

然而，在许多家庭影院系统中，视频和音频信号再现装置1、音频输出装置2和视频显示装置3依次以图1B所示的顺序彼此连接。在这种情形下，由于音频输出装置2不知道在视频显示装置3中处理视频信号所经过的时间，视频可能无法与音频实现同步。

因此，日本特开2006-33436号公报中公开了一种另行经由如图1C所示的控制线ct将音频输出装置2连接于视频显示装置3的技术。在这种技术中，音频输出装置2通过控制线ct从视频显示装置3的存储器获取与具有不同格式的视频信号的处理时间有关的信息，根据音频输出装置2已接收并且从音频输出装置2提供给视频显示装置3的视频信号的格式延迟要被输出的音频信号。

通过日本特开2006-33436号公报所公开的技术，音频输出装置2通过从视频显示装置3获取具有不同格式的视频信号的处理时间而根据从音频输出装置2提供给视频显示装置3的视频信号的格式控制音频信号的延迟，例如，当音频输出装置2被打开时。换句话说，可消除由处理不同格式的视频信号的视频显示装置3引起的再现的视频和再现的音频之间的延迟(声像吻合中的延迟)。

发明内容

在各自包含图1A-1C所示的视频和音频信号再现装置1、音频输出装置2和视频显示装置3的家庭影院系统中，视频显示装置3中视频信号的处理时间随着视频信号的包括480p、720p和1080i的格式变化。

然而，也存在视频显示装置3对视频信号具有多种信号处理模式的情形，诸如电影模式(高品质模式)、摄像模式(中等品质模式)以及游戏模式(普通品质模式)，并且用户能从多种信号处理模式中选择一种适当的模式以设置所选择的模式。每当切换信号处理模式时，视频信号的处理时间可改变。结果，仅用日本特开2006-33436号公报所公开的技术可能无法完全消除声像吻合中的延迟。

在电影模式(高品质模式)中，即使提供480p或720p视频信号，视频显示装置3也在视频显示装置3产生具有最高品质的视频信号(例如1080i视频信号)。如果提供图像品质低于1080i视频信号的视频信号，则进行缺失扫描线的插值之类的高品质处理。

在摄像模式(中等品质模式)中，即使提供480p视频信号，视频显示装置3也在视频显示装置3中产生具有中等品质的视频信号(例如720p视频信号)。如果提供图像品质低于720p视频信号的视频信号，尽管图像品质低于电影模式(高品质模式)中的图像品质，也进行缺失扫描线的插值之类的高品质处理。

在游戏模式中，视频显示装置3跳过在电影模式或摄像模式中进行的高品质处理。视频显示装置3直接处理所提供的视频信号以产生普通视频信号并将所产生的视频信号提供给显示单元。例如，如果将游戏机用作视频和音频信号再现装置1，则视频或音频响应用户操作在适当时间由游戏机再现。然而，如果再现视频的切换延迟，则即使响应用户操作而对再现音频进行切换，用户也无法很好地享受游戏。因此，在游戏的视频处理过程中提供不执行额外高品质处理的游戏模式。

在具有多个信号处理模式的视频显示装置3中，例如，如果当用户选择和设置电影模式(高品质模式)时提供480p视频信号，则对480p视频信号执行缺失扫描线插值以通过具有1080有效扫描线的隔行扫描产生视频信号。

因此，如果要处理的视频信号格式为已知而视频显示装置3中选择的信号处理模式为未知，则不可能正确地确定视频显示装置3中视频信号的处理时间。另外，由于用户对视频显示装置3中的处理模式的选择和输入是在各时间下进行的，因此视频显示装置3中视频信号的处理时间在各时间发生变化。换句话说，要被选择和输入的视频信号的信号处理模式是动态变化的。

因此，只有视频显示装置3能准确地以实时方式确定视频信号的处理时间。结果，如上所述，仅通过日本特开2006-33436号公报中公开的技术不可能支持随视频显示装置3中处理模式的切换动态变化的视频信号处理时间。结果无法完全消除声像吻合中的延迟。

为了解决上述问题，根据本发明的一个实施例，提供了一种视频和音频处理系统，它包括：输出装置，用来输出要被同步和再现的视频数据和音频数据；音频处理装置，用来从输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置并处理音频数据以产生要提供给扬声器的音频信号；以及视频处理装置，用来接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号。该视频处理装置包括：视频信号处理部件，用来根据从音频处理装置输出的视频数据产生具有预定品质的视频信号；控制部件，用来基于从音频处理装置输出的视频数据的格式和所设置的视频数据的信号处理模式控制视频信号处理部件中的处理；以及确定部件，如果视频信号处理部件中处理的内容由控制部件改变，则确定部件确定在接收视频数据之后在视频信号处理部件中处理视频数据并显示视频所需的处理时间。视频和音频处理系统基于确定部件对处理时间的确定结果延迟要提供给扬声器的音频信号以与显示视频同步。

根据本发明的另一实施例，提供了一种包含在视频和音频处理系统中的视频处理装置，该视频和音频处理系统还包括：输出装置，用来输出要被同步和再现的视频数据和音频数据；音频处理装置，用来从输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置并处理音频数据以产生要提供给扬声器的音频信号。该视频处理装置接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号。该视频处理装置包括：视频信号处理部件，用来根据从音频处理装置输出的视频信号产生具有预定品质的视频信号；控制部件，用来基于从音频处理装置输出的视频数据的格式和所设置的视频数据的信号处理模式控制视频信号处理部件中的处理；确定部件，如果视频信号处理部件中的处理内容由控制部件改变，则所述确定部件确定在接收到视频数据后在视频信号处理部件中处理视频数据并显示视频所需的处理时间；以及输出部件，用来将所确定的处理时间提供给另一装置。

根据本发明的又一实施例，提供了一种包含在视频和音频处理系统中的音频处理装置，该视频和音频处理系统还包括：输出装置，用来输出要被同步和再现的视频数据和音频数据；视频处理装置，用于接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号。该音频处理装置从输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置并处理音频数据以产生要提供给扬声器的音频信号。该音频处理装置包括：接收部件，用来如果视频信号处理内容改变，则接收关于执行视频信号处理所需处理时间的信息，在所述视频信号处理中，根据来自视频处理装置的视频数据产生具有预定品质的视频信号，所述处理时间是基于视频数据的格式和所设置的视频数据的信号处理模式而确定的；输入部件，用来从输出装置接收音频数据；延迟部件，用于延迟将由输入部件接收的音频数据作为音频信号提供给扬声器所需的时间；以及控制部件，用来基于与由接收部件接收到的处理时间有关的信息控制延迟部件中的延迟时间。

根据本发明的另一实施例，提供了一种输出要被同步和再现的视频数据和音频数据的输出装置。该输出装置被包括在视频和音频处理系统中，该系统还包括：音频处理装置，它从输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置，并处理音频数据以产生要提供给扬声器的音频信号；以及视频处理装置，它接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号。该输出装置包括：接收部件，用于接收关于执行音频信号处理所需处理时间的信息，在所述音频信号处理中根据视频数据产生具有预定品质的视频信号，如果视频信号处理的内容改变，则从视频处理装置输出关于处理时间的信息；输出部件，用来输出音频数据；延迟部件，用于延迟音频数据从输出部件的输出；以及控制部件，它基于与由接收部件接收的处理时间有关的信息控制延迟部件中音频数据的延迟时间。

根据本发明的又一实施例，提供了一种视频和音频处理系统的控制方法，该视频和音频处理系统包括：输出装置，它输出要被同步和再现的视频数据和音频数据；音频处理装置，它从输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置，并处理音频数据以产生要提供给扬声器的音频信号；以及视频处理装置，它从音频处理装置接收视频数据输出并产生用于显示视频的视频信号。该控制方法包括以下步骤：如果处理内容改变，则基于视频数据的格式和所设置的视频数据的信号处理模式确定视频处理装置根据视频数据产生具有预定品质的视频信号所需的处理时间；并基于所确定的处理时间延迟要提供给扬声器的音频信号。

根据本发明的另一实施例，提供了一种视频和音频处理系统，该系统包括：输出装置，它输出要被同步和再现的视频数据和音频数据；音频处理装置，它从输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置，并处理音频数据以产生要提供给扬声器的音频信号；以及视频处理装置，它接收从音频处理装置输出的视频数据并产生用于再现视频的视频信号。该视频处理装置包括：视频信号处理部件，用于根据从音频处理装置输出的视频数据产生具有预定品质的视频信号；控制部件，用来基于从音频处理装置输出的视频数据的格式和所设置的信号处理模式中的至少之一控制视频信号处理部件中的处理；确定部件，如果视频信号处理部件中的处理内容由控制部件改变，则所述确定部件用来确定接收到视频数据后在视频信号处理部件中处理视频数据并显示视频所需的处理时间；以及指示部件，用来向音频处理装置指示由确定部件确定的处理时间。音频处理装置包括：获取部件，用来获取与由视频处理装置指示的处理时间有关的信息；差值计算部件，用来计算由视频处理装置指示的处理时间与音频处理装置中音频信号的处理时间之间的差值；以及差值指示部件，用来向输出装置指示关于由差值计算部件计算得到的处理时间中的差值的信息。该输出装置包括：延迟部件，用来延迟要输出的音频信号；差值获取部件，用来获取关于由音频处理装置指示的处理时间的差值的信息；以及延迟控制部件，用来基于关于由差值获取部件获得的处理时间的差值的信息而控制延迟部件中音频信号的延迟时间。

附图说明

图1A示出现有技术中的视频和音频处理系统的一个例子；

图1B示出现有技术中的视频和音频处理系统的另一个例子；

图1C示出现有技术中的视频和音频处理系统的又一个例子；

图2是示出根据本发明一个实施例的视频和音频处理系统的结构的一个例子的框图；

图3是示出根据本发明另一个实施例的视频和音频处理系统的结构的一个例子的框图，其中视频显示装置仅向音频输出装置指示延迟控制信息；

图4A和图4B是示出根据本发明另一个实施例的视频和音频处理系统的结构的一个例子的框图，其中视频显示装置仅向视频和音频信号再现装置指示延迟控制信息；

图5是示出根据本发明另一个实施例的视频和音频处理系统的结构的一个例子的框图，其中视频显示装置向音频输出装置以及视频和音频信号再现装置指示延迟控制信息；

图6示出其中延迟控制信息具有两个字节的一个例子；以及

图7示出其中延迟控制信息具有四个字节的一个例子。

具体实施方式

下面将结合附图对根据本发明诸实施例的系统、装置和方法进行详细说明。

视频和音频处理系统的概述

图2是示出根据本发明一个实施例的视频和音频处理系统的结构的一个例子的框图。根据本发明各实施例的系统、装置和方法应用于视频和音频处理系统。

如图2所示，根据本发明实施例的视频和音频处理系统基本上包括视频和音频再现装置1、音频输出装置2和视频显示装置3。视频和音频信号再现装置1经由用来传送视频信号Vd的视频信号线和用来传送音频信号Au的音频信号线连接于音频输出装置2。音频输出装置2经由用来传送视频信号Vd的视频信号线和用来传送音频信号Au的音频信号线连接于视频显示装置3。另外，视频显示装置3经由用来传送控制信号Ct的控制信号线连接于音频输出装置2。视频显示装置3经由传送控制信号Ct的控制信号线连接于视频和音频信号再现装置1。控制信号线在图2中以虚线表示。

视频和音频信号再现装置1与输出要被同步和再现的视频信号Vd和音频信号Au的输出装置相对应。视频和音频信号再现装置1不仅例示为各种回放装置以及记录和再现装置，例如DVD播放器、游戏机和硬盘记录器，还例示为各种装置，例如电视调谐器、被称为整体式接收解码器(IRD)或机顶盒的卫星广播接收器或有线广播接收器，以及具有通信功能的个人计算机，它们输出要被同步和再现的视频信号Vd和音频信号Au的。

音频输出装置2与从视频和音频信号再现装置(输出装置)1接收视频信号Vd和音频信号Au的音频处理装置相对应，它至少将视频信号Vd提供给下游装置，并在音频处理单元21中处理音频信号Au后将音频信号Au提供给扬声器SP。音频输出装置2将视频信号Vd和音频信号Au提供给下游视频显示装置3并将音频信号Au转换成要提供给扬声器SP的音频信号以将所转换的音频信号提供给扬声器SP。

音频输出装置2例示为例如音频视频放大器或音频放大器。例如可提供2声道、4声道或5.1声道音频信号作为音频信号Au。音频输出装置2支持多声道音频信号，诸如5.1声道音频信号。音频输出装置2中的音频处理单元21将音频信号Au分成单个提供给不同声道扬声器的音频信号分量以产生模拟音频信号，如果需要则对音频信号进行放大，并将音频信号提供给相应声道的扬声器。

视频显示装置3与从音频输出装置(音频处理装置)2接收至少视频信号Vd并产生要提供给显示视频的显示单元的视频信号的视频处理装置对应。视频显示装置3包括接口31(在下文中简称为I/F)、视频音频处理器32、控制器33和操作单元35，如图2所示例子中那样。

I/F 31从音频输出装置2获得视频信号Vd和音频信号Au，并将视频信号Vd和音频信号Au提供给视频音频处理器32。I/F 31检测所获得的视频信号Vd的格式(扫描线的数目和扫描方法)以向控制器33指示检测到的格式，并检测例如所检测到的音频信号Au的声道数以向控制器33指示检测到的声道数。另外，I/F 31通过由图2中的虚线表示的控制信号线传送控制信息。

视频音频处理器32接收视频信号Vd和音频信号Au，产生要提供给视频显示装置3中的显示单元的视频信号(用于显示视频的视频信号)以及要提供给视频显示装置3中的扬声器的音频信号，并将所产生的视频信号和音频信号分别提供给显示单元和扬声器。视频音频处理器32在控制器33的控制下产生具有不同图像品质的视频信号，例如经高品质处理、中等品质处理和普通处理的视频信号，这将在下文中进行说明。

控制器33是微型计算机，其中中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)以及诸如闪存或电可擦除可编程只读存储器(EPROM)的非易失性存储器通过在图2中未示出的CPU总线彼此连接。控制器33控制视频显示装置3中的诸部件。

操作单元34具有包括电源键、数字键盘和各功能键的各种操作键。操作单元34从用户处接收操作指令，将指令转换成电信号，并将电信号提供给控制器33。控制器33响应由用户通过操作单元34输入的指令控制视频显示装置3中的诸部件以执行用户想要的处理。

根据本发明实施例的视频显示装置3配备有诸如液晶显示器(LCD)、有机电荧光(有机EL)显示器或阴极射线管(CRT)显示器的显示单元以及扬声器，它们在图2中都未示出。

根据本发明实施例的视频显示装置3的基本功能包括：通过I/F 31从音频输出装置2接收视频信号Vd和音频信号Au，就视频音频处理器32中的视频信号Vd产生要提供给视频显示装置3中显示单元的视频信号并将所产生的视频信号提供给显示单元，以及就视频音频处理器32中的音频信号Au产生要提供给视频显示装置3中扬声器的音频信号以将所产生的音频信号提供给扬声器。

视频显示装置3中的视频音频处理器32具有根据视频信号的处理时间延迟音频信号的输出，从而在从音频输出装置2输出的视频和音频之间不会产生声像吻合延迟。在本发明的实施例中，音频主要从连接于音频输出装置2的扬声器SP输出而用户收听从扬声器SP输出的音频。因此，视频显示装置3中诸如扬声器的音频系统在图中未示出并且在这里略去对音频系统的详细说明。

根据本发明实施例的视频显示装置3具有三种信号处理模式，包括对于视频信号的电影模式(高品质模式)、摄像模式(中等品质模式)和游戏模式(普通品质模式)。用操作单元34从这三种信号处理模式中选择期望信号处理模式并将所选择的信号处理模式设置在例如控制器33中的非易失性存储器中。

在电影模式(高品质模式)中，视频显示装置3产生具有最高品质的视频信号以显示与视频信号对应的视频。如果扫描线或水平像素不够，则执行诸如缺失扫描线或水平像素的插值的高品质处理。在摄像模式(中等品质模式)中，视频显示装置3产生具有中等品质的视频信号以显示与视频信号对应的视频信号。如果扫描线或水平像素不够，则尽管该图像品质低于电影模式(高品质模式)的图像品质，也执行诸如缺失扫描线或水平像素的插值的高品质处理。在游戏模式中，视频显示装置3跳过在电影模式或摄像模式中执行的高品质处理并产生普通视频信号以将所产生的视频信号提供给显示单元。

根据本发明实施例的视频显示装置3中的控制器33基于指示通过I/F31提供给控制器33的视频信号的格式(扫描线数目和扫描方法)的信息或用户通过操作单元34选择和设置的信号处理模式确定视频音频处理器32中视频信号处理的内容。控制器33根据所确定的内容控制视频音频处理器32中的视频信号处理。

在控制器33上电期间，如果所提供的视频信号的格式改变或者设置在非易失性存储器中的信号处理模式被切换，则控制器33控制视频音频处理器32以根据格式或信号处理模式的变化改变处理内容。

具体地说，如果控制器33检测到视频信号的格式改变或信号处理模式的设置被切换，则控制器33在各时间根据视频信号的格式或信号处理模式改变视频音频处理器32中的处理内容以适应视频信号格式的变化或信号处理模式设置的切换。控制器33能动态地控制音频视频处理器32中处理内容的改变(切换)。

另外，控制器33基于所确定的视频音频处理器32中的处理内容确定处理视频信号所需的处理时间，并通过I/F31和图2中虚线表示的控制信号线向音频输出装置2以及处于视频显示装置3上游侧的视频和音频信号再现装置1中的至少之一指示关于所确定处理时间的信息，作为音频信号的延迟控制信息。

另外在延迟控制信息的指示过程中，控制器33在视频音频处理器32中的处理内容改变时获得正确的延迟控制信息(最新的延迟控制信息)以通过I/F 31和图2中的虚线表示的控制信号线向音频输出装置2以及位于视频显示装置3上游侧的视频和音频信号再现装置1中的至少之一指示所获得的延迟控制信息。

音频信号的输出在延迟控制信息所指示的音频输出装置2以及音频和视频信号再现装置1中的至少之一中延迟，从而使来自连接于音频输出装置2的扬声器SP的再现音频输出与在视频显示装置3中的显示单元的屏幕上显示的再现视频同步。

下面将对延迟控制信息和延迟处理的指示的三个实施例进行说明。在第一实施例中，如图2中的虚线(1)所示，视频显示装置3仅向音频输出装置2指示延迟控制信息而音频信号的延迟处理仅由音频输出装置2执行。在第二实施例中，如虚线(2)所示，视频显示装置3仅向视频和音频信号再现装置1指示延迟控制信息，且仅在视频和音频信号再现装置1中执行音频信号的延迟处理。在第三实施例中，如虚线(3)所示，视频显示装置3向音频输出装置2以及视频和音频信号再现装置1两者指示延迟控制信息，并且音频输出装置2以及视频和音频信号再现装置1以分布方式延迟音频信号。下面将对应用第一(1)至第三(3)实施例的视频和音频处理系统进行详细说明。

第一实施例

图3是示出第一实施例所应用的视频和音频处理系统放入结构的一个例子的框图(与图2中的虚线(1)相对应)，其中视频显示装置3仅向音频输出装置2指示延迟控制信息，且仅在音频输出装置2中执行音频信号的延迟处理。

如图2所示的例子那样，图3所示的视频和音频处理系统包括视频和音频信号再现装置1、音频输出装置2和视频显示装置3。如上面结合图2讨论的那样，从视频和音频信号再现装置1输出的、并要被同步和再现的视频信号Vd和音频信号Au被提供给音频输出装置2，并且通过音频输出装置2提供给视频显示装置3。

在图3所示的例子中，音频输出装置2经由例如遵循高分辨率多媒体接口(HDMI)规范的数字接口连接于视频显示装置3。HDMI规范是下一代电视机的数字接口规范。HDMI规范源于在保持向下兼容性的同时将家用电器(所谓的音频/视频(AV)装置)的功能添加至在许多情形中已用于包括个人计算机的显示器上的数字视频接口(DVI)标准。根据HDMI规范，视频线(视频信号线)、音频线(音频信号线)和控制线(控制信号线)可通过使用一个连接器彼此连接。

换句话说，根据HDMI规范，高清晰度视频、多声道音频和控制信号通过一个连接器传送而无需分别连接相应信号线。因此，HDMI规范的使用具有例如便于解除电缆连接的优点。HDMI规范的最高数据传送速率为5G比特/秒。HDMI规范支持作为数字图像信号加密方法的高带宽数字内容保护(HDCP)系统。

在图3的视频和音频处理系统中，视频显示装置3中的I/F 31和音频输出装置2中的接口(I/F)22两者均遵循HDMI规范。换句话说，图3中的视频和音频处理系统具有加密发送信号和解密接收信号的功能。

图3中视频显示装置3的配置和操作

图3中视频和音频处理系统中的视频显示装置3具有三种信号处理模式，包括：视频信号的电影模式(高品质模式)、摄像模式(中等品质模式)和游戏模式(普通品质模式)，如上面结合图2所说明的那样。用操作单元34从三种信号处理模式中选择期望信号处理模式并在例如控制器33中的非易失性存储器中设置所选择的信号处理模式。

如上所述，指示通过I/F 31提供给视频显示装置3的视频信号的格式(扫描线数目和扫描方法)的信息，例如指示视频信号格式(诸如480p、720p或1080i)的信息被指示给视频显示装置3中的控制器33。因此，控制器33基于提供给视频显示装置3的视频信号的格式和设置在控制器33的非易失性存储器中的信号处理模式来控制视频音频处理器32。

具体地说，如果选择和设置了电影模式(高品质模式)，则控制器33控制视频音频处理器32以在视频显示装置3中产生具有最高品质的视频信号，从而执行高品质处理而不管所提供视频信号的格式为何。

如果提供480p或720p视频信号并选择和设置了电影模式(高品质模式)，则控制器33控制视频音频处理器32以执行其中对缺失扫描线或水平像素进行插值的高品质处理，以产生例如用于显示的1080i视频信号并将所产生的视频信号提供给显示视频的显示单元。

如果提供1080i视频信号并且选择和设置了电影模式(高品质模式)，则控制器33控制视频音频处理器32以不降低1080i视频信号的品质，从而产生用于显示的1080i视频信号，并将所产生的视频信号提供给显示视频的显示单元。

如果选择并设置了摄像模式(中等品质模式)并提供低品质视频信号，则控制器33控制视频音频处理器32以产生中等品质视频信号从而执行中等品质处理。如有必要，尽管图像品质不比电影模式(高品质模式)中的图像品质高，但仍然执行缺失扫描线或水平像素的插值之类的高品质处理。

如果提供480p视频信号并且选择和设置了摄像模式(中等品质模式)，则控制器33控制视频音频处理器32以执行其中对缺失扫描线或水平像素插值的高品质处理，从而产生用于显示的例如720p视频信号，并将所产生的视频信号提供给显示视频的显示单元。

如果提供720p或1080i的视频信号并选择和设置了摄像模式(中等品质模式)，则控制器33控制视频音频处理器32以不降低720p或1080i视频信号的品质，从而产生用于显示的720p或1080i视频信号，并将所产生的视频信号提供给显示视频的显示单元。

如上所述，通过选择和设置电影模式(高品质模式)或摄像模式(中等品质模式)，如果提供了中等品质或高品质图像信号，则控制器33控制视频音频处理器32不执行降低图像品质的降频转换，并且如果提供了低品质视频信号，则控制器33控制视频音频处理器32执行向高品质或中等品质视频信号的增频转换，从而显示高品质或中等品质的视频。

如果选择和设置了游戏模式，则控制器33控制视频音频处理器32跳过在电影模式和摄像模式中执行的对扫描线或水平像素进行插值的高品质处理，并执行普通处理以产生普通视频信号。因此，如果提供480p视频信号并选择和设置了游戏模式，则控制器33控制视频音频处理器32产生用于显示的480p视频信号并显示与所产生的视频信号对应的视频。

如果提供702p或1080i视频信号并选择和设置了游戏模式，则控制器33可控制视频音频处理器32产生用于显示的720p或1080i视频信号并显示与所产生视频信号对应的视频。然而，产生用于显示的720p或1080i视频信号要花费时间。

因此，在根据本发明实施例的视频显示装置3中，为了尽可能多地减少用于显示视频的处理时间，如果提供720p或1080i视频信号并选择和设置了游戏模式，则控制器33控制视频音频处理器32分样扫描线或水平像素，从而产生用于显示的480p视频信号。

如上所述，仅在游戏模式中不执行高品质处理，在接收到视频信号后处理视频信号并显示与视频信号对应的视频所需的时间得以减少。

此外，控制器33根据如何控制视频音频处理器32而准确地确定视频音频处理器32中视频信号的处理时间，从而确定在接收视频信号后处理视频信号并将与视频信号对应的视频显示在显示单元的屏幕上所需的处理时间，并通过I/F 31向音频输出装置2指示作为音频信号的延迟控制信息Ct的关于处理时间的信息。与所确定的处理时间对应的显示控制信息Ct可以是处理时间本身或在提供延迟控制信息Ct的装置中确定音频信号的延迟量所用的信息。例如，延迟控制信息Ct可以是被预先分成若干级的等级信息。

根据本发明的实施例，如上所述，如果选择和设置了电影模式(高品质模式)，则取决于所提供的信号是480p视频信号、720p视频信号和1080i视频信号中的哪一个而花费不同的视频信号处理时间。同样，如果选择和设置了摄像模式(中等品质模式)，则取决于所提供的信号是480p视频信号、720p视频信号和1080i视频信号中的哪一个而花费不同的视频信号处理时间。

如果选择和设置了游戏模式，则取决于所提供的是480p视频信号、720p视频信号和1080i视频信号中的哪一个而花费不同的视频信号处理时间。因此，根据本发明实施例的视频显示装置3中的控制器33能对每一信号处理模式和每一所提供视频信号的格式准确地确定在视频视频处理器32中处理视频信号所需的时间，从而确定在接收到视频信号后处理视频信号和将与视频信号对应的视频显示在显示单元的屏幕上所需的时间。

如上所述，如果所提供视频信号的格式改变或由用户选择和设置的信号处理模式被切换，则根据本发明实施例的视频和音频处理系统中的视频显示装置3能根据最新视频信号格式以及最近选择和设置的信号处理模式准确地控制视频音频处理器32中视频信号的处理内容，能确定在接收到视频信号后处理视频信号并显示与视频信号对应的视频所需的处理时间，并通过I/F 31和用虚线表示的控制信号线向音频输出装置2指示作为音频信号的延迟控制信息Ct的关于处理时间的信息。

图3中的音频输出装置2的配置和操作

图3所示的视频和音频处理系统中的音频输出装置2包括音频处理单元21和根据如上所述的HDMI规范的I/F 22。I/F 22将从视频和音频信号再现装置1提供的视频信号Vd和音频信号Au以及控制信息通过视频信号线、音频信号线和由图3中虚线指示的控制信号线提供给视频显示装置3。另外，I/F 22通过由虚线指示的控制信号线从视频显示装置3获得延迟控制信息Ct的指示。

当音频输出装置2中的I/F 22从视频显示装置3获得延迟控制信息Ct时，I/F 22将延迟控制信息Ct转换成可在音频输出装置2中处理的信息，并将信息提供给音频处理单元21中的控制器。如图3所示，图3例子中的音频处理单元21包括控制器211、延迟处理器212和放大器213。

控制器211是包括CPU、ROM、RAM等的微型计算机(未示出)。控制器211控制音频处理单元21中的诸部件。例如，控制器211基于通过I/F 22从视频显示装置3提供的延迟控制信息Ct控制延迟处理器212中音频信号的延迟处理。

如上所述，延迟处理器212由控制器211控制。延迟处理器212从视频和音频信号再现装置1接收音频信号Au，根据来自视频显示装置3的延迟控制信息Ct对音频信号Au执行延迟处理以根据视频显示装置3中的视频信号的处理时间延迟音频信号Au，并将延迟的音频信号提供给放大器213。放大器213同样由控制器211控制。放大器213放大所提供的音频信号并将放大的音频信号提供给扬声器SP。

由于音频输出装置2中的延迟处理器212根据对从视频显示装置3提供的音频信号的延迟控制信息Ct延迟提供给扬声器SP的音频信号，因此有可能使显示在视频显示装置3的显示单元的屏幕上的视频与来自音频输出装置2的扬声器SP的音频输出同步，由此防止声像吻合中的延迟。

只有视频显示装置3能快速和精确地确定视频显示装置3中的视频信号的处理时间是否变化。因此，即使所提供的视频信号格式改变或信号处理模式的设置被切换，视频显示装置3有可能正确地控制视频音频处理器32以准确地确定处理视频信号所需的时间，并根据处理视频信号所需时间正确地延迟要从音频输出装置2输出的音频信号。

在现有技术的视频和音频处理系统中，如果用操作单元34将信号处理模式从电影模式或摄像模式切换至游戏模式，则只有视频显示装置3能够获知信号处理模式的切换。因此，在音频信号的最新延迟控制信息Ct没有从视频显示装置3被提供给音频输出装置2的情况下，与电影模式或摄像模式对应的音频信号的延迟处理在音频输出装置2中继续进行。

在这种情形下，如果选择游戏模式，则在视频显示装置3中执行输出低品质音频信号的普通处理并且花费较少时间来处理视频信号。相反，在电影模式或摄像模式中对音频信号执行延迟处理。结果，音频再现可比根据用户在游戏中的操作变化的再现视频延迟。如果再现的音频比再现的视频延迟，则用户无法享受游戏的乐趣。

然而，在图3所示视频和音频处理系统的例子中，如果在视频显示装置3中所提供的视频信号的格式改变或者所选择的信号处理模式被切换，则由于基于视频信号处理时间确定的音频信号的延迟控制信息Ct从视频显示装置3被提供至音频输出装置2，因此有可能在适当时间控制音频输出装置2中音频信号的延迟处理。

音频输出装置2中的控制器211通过考虑音频输出装置2中的音频信号Au的处理时间来适当地控制延迟处理器212中音频信号的延迟量。

尽管为简明起见，视频信号Vd被提供给扬声器SP，然而本发明并不局限于此。实际上，可处理诸如2声道、4声道或5.1声道音频信号的多声道音频信号。在这种情形下，例如从视频和音频信号再现装置1提供的音频信号在延迟处理器212中被分成多个声道的音频信号分量。音频信号分量以上述方式被延迟，经过放大并被提供给相应扬声器。

第二实施例

图4A和图4B是示出第二实施例所应用的视频和音频处理系统(与图2中虚线(2)相对应)的结构的一个例子的框图，其中视频显示装置3仅对视频和音频信号再现装置1指示延迟控制信息并且仅在音频信号再现装置1中进行音频信号的延迟处理。

正如结合图2以及图3所示视频和音频处理系统所描述的那样，图4A和图4B所示的视频和音频处理系统包括视频和音频信号再现装置1、音频输出装置2和视频显示装置3。如前面结合图2所描述的那样，从视频和音频信号再现装置1输出并要被同步和再现的视频信号Vd和音频信号Au通过音频输出装置2被提供给音频输出装置2以及视频显示装置3。

图4B中视频显示装置3的配置和操作

视频显示装置3具有与上面结合图2和图3描述的视频显示装置3相同的配置。视频显示装置3通过I/F 31从音频输出装置2接收视频信号Vd和音频信号Au，并将所接收的视频信号Vd和音频信号Au提供给视频音频处理器32。I/F 31检测所提供的视频信号Vd的格式(扫描线数目或扫描方法)并向控制器33指示所检测到的格式。

视频显示装置3通过操作单元34接收包括电影模式(高品质模式)、摄像模式(中等品质模式)以及游戏模式(普通品质模式)的三种信号处理模式中期望信号处理模式的选择，并向控制器33指示所选择的信号处理模式，其中信号处理模式被设置在非易失性存储器中。

控制器33基于从I/F 31提供的视频信号Vd的格式以及在控制器33的非易失性存储器中选择和设置的信号处理模式来控制视频音频处理器32中的处理，确定在接收到视频信号后处理视频信号并显示与视频信号对应的视频所需的处理时间，并通过I/F 31和以虚线表示的控制信号线向上游装置指示与所确定处理时间相对应的延迟控制信息Ct。

然而，在图4B所示的视频和音频处理系统中，音频输出装置2不具有延迟音频信号的功能，但音频信号再现装置1具有延迟音频信号的功能。因此，视频显示装置3向视频和音频信号再现装置1提供音频信号的延迟控制信息Ct。

如图4A中虚线(2)所示，视频显示装置3经由控制信号线直接连接于视频和音频信号再现装置1，并且可从视频显示装置3向视频和音频信号再现装置1指示音频信号的延迟控制信息Ct。然而一般来说，也要考虑视频信号Vd和音频信号Au的传输路径，并且视频显示装置3经由音频输出装置2和图4B中虚线表示的控制信号线连接于视频和音频信号再现装置1。通过这种结构，视频信号线、音频信号线和控制信号线以相同方式连接。

在图4B所示的视频和音频处理系统中，视频和音频信号再现装置1经由HDMI接口连接于音频输出装置2，从视频和音频信号再现装置1输出并要被同步和再现的视频信号Vd和音频信号Au通过音频输出装置2被提供给音频显示装置3，而从视频显示装置3输出的音频信号的延迟控制信息Ct同样通过音频输出装置2向视频和音频信号再现装置1指示。

图4B中音频输出装置2的配置和操作

如图4B所示，音频输出装置2包括音频处理单元21、I/F 22和I/F 23。I/F 22和I/F 23遵循HDMI规范。自视频和音频信号再现装置1提供的视频信号Vd和音频信号Au通过I/F 23被输入到音频输出装置2、并通过I/F 22从音频输出装置2提供至视频显示装置3。

从视频和音频信号再现装置1提供并通过I/F 23接收到的音频信号Au被提供给音频处理单元21，其中音频信号Au被转换成具有用于扬声器SP的格式的信号。经转换的信号被提供给扬声器SP。结果，与自视频和音频信号再现装置1提供的音频信号Au对应的声音从扬声器SP输出。

与图3中的音频处理单元21不同，图4B中的音频处理单元21不包括延迟处理器212。图4B中的音频处理单元21的功能包括：将所提供的音频信号Au分成用于多个声道的音频信号分量，对音频信号分量进行例如放大，并将放大的音频信号分量提供给相应扬声器。

通过I/F 31提供于音频显示装置3的音频信号的延迟控制信息Ct通过I/F 22被音频输出装置2接收，并通过I/F 23从音频输出装置2提供至视频和音频信号再现装置1。如上所述，第二实施例中的音频输出装置2不对自视频和音频信号再现装置1提供的音频信号的延迟控制信息Ct进行处理并将延迟控制信息Ct提供(指示)至视频和音频信号再现装置1。

图4B中视频和音频信号再现装置1的配置和操作

图4B所示的视频和音频信号再现装置1包括记录介质驱动器11、读取器12、音频信号的延迟处理器13、基于HDMI规范的I/F 14以及控制器15。被记录在例如加载至记录介质驱动器11中的例如DVD的记录介质中的、并要被同步和再现的视频信号和音频信号由读取器12读出。

所读出的视频信号和音频信号被分成要由读取器12输出的视频信号Vd和音频信号Au。视频信号Vd通过I/F 14被提供给音频输出装置2。音频信号Au通过延迟处理器13和I/F 14被提供给音频输出装置2。

音频信号的延迟控制信息Ct通过音频输出装置2和由虚线表示的控制信号线从视频显示装置3被指示给视频和音频信号再现装置1。视频和音频信号再现装置1中的I/F 14接收通过控制信号线提供的音频信号的延迟控制信息Ct，将延迟控制信息Ct转换成具有在视频和音频信号再现装置1中可处理的格式的信息，并将所转换的信息提供给控制器15。

控制器15基于从视频显示装置3提供并通过I/F 14接收的音频信号的延迟控制信息Ct来控制处理器13中音频信号的延迟时间(延迟量)。因此，从视频和音频信号再现装置1输出的视频信号Vd和音频信号Au中的音频信号Au基于从视频显示装置3提供的音频信号的延迟控制信息Ct延迟。

结果，在音频输出装置2中，正常处理音频信号Au并将所处理的音频信号Au提供至扬声器SP而不延迟音频信号Au使从音频输出装置2的扬声器SP输出的再现音频与在视频显示装置3的显示单元的屏幕上显示的再现视频同步，以防止声像吻合中的任何延迟。

换句话说，在视频显示装置3中，即使所提供的视频信号的格式改变或所选择的信号处理模式切换，由于从视频显示装置3提供并基于视频信号的处理时间确定的音频信号的延迟控制信息Ct被提供给视频和音频信号再现装置1，因此可在适当的时间正确地控制位于视频和音频系统最上游的视频和音频信号再现装置1中音频信号的延迟处理。

第三实施例

图5是示出第三实施例所应用的视频和音频处理系统的结构的一个例子的框图(与图2中的虚线(3)相对应)，其中视频显示装置3向音频输出装置2以及视频和音频信号再现装置1指示延迟控制信息，并且音频输出装置2以及视频和音频信号再现装置1以分布方式执行音频信号的延迟处理。

图5所示的视频和音频处理系统，如前面结合图2所描述的、并如图3和图4B中所示的视频和音频处理系统那样，包括视频和音频信号再现装置1、音频输出装置2和视频显示装置3。如上面结合图2所描述的那样，从视频和音频信号再现装置1输出并被同步和再现的视频信号Vd和音频信号Au被提供给音频输出装置2并且还通过音频输出装置2被提供给视频显示装置3。

在图3所示的音频处理系统中，音频输出装置2执行音频信号的延迟处理，而在图4A和图4B所示的视频和音频处理系统中，视频和音频信号再现装置1执行音频信号的延迟处理。相反，在图5所示的视频和音频处理系统中，音频输出装置2以及视频和音频信号再现装置1都执行音频信号的延迟处理。

具体地说，例如当音频输出装置2或视频和音频信号再现装置1的延迟处理能力不够并且应当以分布方式在音频输出装置2以及视频和音频信号再现装置1中执行音频信号延迟处理，或者为了结构原因需要使音频信号的延迟处理负载分布到音频输出装置2以及视频和音频信号再现装置1之间时，则采用图5中的视频和音频处理系统的配置。

在图5所示的视频和音频处理系统中，视频和音频信号再现装置1经由根据HDMI规范的接口连接于音频输出装置2，而音频输出装置2经由根据HDMI规范的接口连接于视频显示装置3。在视频和音频信号再现装置1与音频输出装置之间以及音频输出装置2与视频显示装置3之间不仅能传送视频信号和音频信号而且能传送控制信号。下面将对图5所示的视频和音频处理系统中的诸装置进行详细说明。

图5中视频显示装置3的结构和操作

图5中视频和音频处理系统中的视频显示装置3具有与上面结合图2、3、4A、4B描述的视频显示装置3相同的结构。视频显示装置3通过I/F 31从音频输出装置2接收视频信号Vd和音频信号Au，并将所接收的视频信号Vd和音频信号Au提供给视频音频处理器32。I/F 31检测所提供的视频信号Vd的格式(扫描线数目或扫描方法)并向控制器33指示检测到的格式。

视频显示装置3通过操作单元34接收包括电影模式(高品质模式)，摄像模式(中等品质模式)和游戏模式(普通品质模式)的三种信号处理模式中的期望信号处理模式的选择，并向控制器33指示所选择的信号处理模式，其中信号处理模式被设置在非易失性存储器中。

控制器33基于从I/F 31提供的视频信号Vd的格式以及在控制器33的非易失性存储器中设置和选择的信号处理模式来控制音频视频处理器32中的处理，确定接收到视频信号之后处理视频信号并显示与视频信号对应的视频所需的处理时间，并通过I/F 31和由虚线表示的控制信号线向上游装置指示与所确定的处理时间对应的延迟控制信息Ct1。

图5中音频输出装置2的结构和操作

图5中的视频和音频处理系统中的音频输出装置2包括音频处理单元21和基于HDMI规范的I/F 22、23。从视频和音频信号再现装置1提供的视频信号Vd和音频信号Au通过I/F 23输入到音频输出装置2并通过I/F 22提供给视频显示装置3。

从视频显示装置3提供的音频信号的延迟控制信息Ct1通过I/F22被输入到音频输出装置2，它被转换成具有可在音频输出装置2中处理的格式的信号并被提供给音频处理单元21中的控制器211。图5中的音频输出单元2中的音频处理单元21包括控制器211、延迟处理器212和放大器213。

图5中音频输出装置2中的控制器211是包括CPU、ROM、RAM等(未示出)的微型计算机。控制器211基于通过I/F 22从视频显示装置3提供的延迟控制信息Ct1、音频输出装置2的音频信号的延迟处理能力或作加于音频输出装置2的音频信号的延迟百分比来控制视频信号的延迟处理。

控制器211计算基于从视频显示装置3提供的延迟控制信息Ct1执行的音频信号延迟处理与在音频输出装置2中的延迟处理器212执行的音频信号的延迟处理之间的音频信号延迟量的任何差值。控制器111通过I/F 23将关于该差值的信息作为延迟控制信息Ct2向视频和音频信号再现装置1指示。

具体地说，控制器211产生延迟控制信息Ct2，该延迟信息Ct2对应于通过从基于自音频显示装置3提供的延迟控制信息Ct1执行的音频信号延迟处理中的延迟量中减去在音频输出装置2中执行的音频信号的延迟处理中的延迟量所给出的差值，并将所产生的延迟控制信息Ct2通过I/F 23提供给视频和音频信号再现装置1。

延迟处理器212通过I/F 23从视频和音频信号再现装置1接收音频信号Au，将音频信号Au延迟根据来自控制器211的控制信息的延迟量，并将延迟的音频信号提供给放大器213。放大器213也由控制器211控制。放大器213将所提供的音频信号放大并将放大的音频信号提供给扬声器SP。

如上所述，图5中视频和音频处理系统中的音频输出装置2具有延迟从视频和音频信号再现装置1接收并要被再现和输出的音频信号的功能。然而，音频输出装置2不执行与自视频显示装置3提供的延迟控制信息Ct1对应的全部延迟处理，而是执行与音频输出装置2的延迟处理能力、或加于音频输出装置2的音频信号的延迟处理的百分比对应的延迟处理，并且将其余的音频信号延迟处理加于作为最上游装置的视频和音频信号再现装置1。

图5中视频和音频信号再现装置1的结构与操作

图5中视频和音频信号再现装置1具有与图4B中的视频和音频信号再现装置1相同的结构。具体地说，图5的视频和音频处理系统中的视频和音频信号再现装置1包括记录介质驱动器11、读取器12、音频信号的延迟处理器13、基于HDMI规范的I/F 14以及控制器15。记录在装载于记录介质驱动器11中的诸如DVD的记录介质中并要被同步和再现的视频信号和音频信号由读取器12读出。

读出的视频信号和音频信号被分成要由读取器12输出的视频信号Vd和音频信号Au。视频信号Vd通过I/F 14被提供给音频输出装置2。音频信号Au通过延迟处理器13和I/F 14被提供给音频输出装置2。

视频和音频信号再现装置1中的I/F 14通过由虚线表示的控制信号线接收从音频输出装置2提供的音频信号的延迟控制信息Ct2，将延迟控制信息Ct2转换成具有在视频和音频信号再现装置1中可处理的格式的信息，并将所转换的信息提供给控制器15。

控制器15基于通过I/F 14从音频输出装置2提供的音频信号的延迟控制信息Ct2控制延迟处理器13中音频信号的延迟量。因此，从视频和音频信号再现装置1输出的视频信号Vd和音频信号Au中的音频信号Au基于自音频输出装置2提供的音频信号延迟控制信息Ct2被延迟。

图5中视频和音频处理系统的操作概述

在图5所示的视频和音频处理系统中，如上面结合图2所述那样并且与图3和图4B所示的视频和音频处理系统一样，从视频和音频信号再现装置1提供的、并要被同步和再现的视频信号Vd和音频信号Au被提供给音频输出装置2并通过音频输出装置2提供给视频显示装置3。根据视频信号Vd被提供给视频显示装置3后处理视频信号Vd并将与视频信号对应的视频显示在显示单元的屏幕上所需的时间，将音频信号的延迟处理分布到音频输出装置2以及视频和音频信号再现装置1之间。

因此，可根据执行音频输出装置2中的音频信号的延迟处理以及视频和音频信号再现装置1中的音频信号延迟处理，以及在视频信号Vd被提供给视频显示装置3后将与视频信号对应的视频显示在显示单元的屏幕上所需的时间来延迟来自音频输出装置2的音频信号输出。

在图5的视频和音频处理系统中，即使在视频显示装置3中所提供的视频信号的格式改变或所选择的信号处理模式被切换，由于基于自视频显示装置3提供三维、并根据视频信号的处理时间确定的音频信号的延迟控制信息Ct1的延迟处理可分布到音频输出装置2以及视频和音频信号再现装置1之间，因此能在正确的时间正确地控制音频信号的延迟处理。

另外，由于音频信号的延迟处理的负载被分布到音频输出装置2以及视频和音频信号再现装置1之间，因此可提高整个视频和音频处理系统中音频信号的延迟处理能力并将音频信号的延迟处理负载分配到视频和音频处理系统中的音频输出装置2以及视频和音频信号再现装置1。结果，就音频输出装置2以及视频和音频信号再现装置1的处理能力而言，延迟处理的负载是良好的。

音频输出装置2中的控制器211以及视频和音频信号再现装置1中的控制器15均通过考虑各装置中的音频信号的处理时间来适当地设置音频输出装置2和视频显示装置3中音频信号的延迟量。

发送至上游装置的延迟控制信息

下面将结合图6和图7描述从视频控制装置3提供给音频输出装置2或视频和音频信号再现装置1的延迟控制信息或者从音频输出装置2提供给视频和音频信号再现装置1的延迟控制信息的格式。在下面说明中以延迟控制信息Ct表示延迟控制信息。

图6示出延迟控制信息Ct具有两个字节的一个例子。在延迟控制信息Ct中，第一字节指示用来标识向其发送延迟控制信息Ct的那一个装置的标识符(装置ID)，而第二字节指示与音频信号的延迟量对应的延迟信息。

视频显示装置3接收视频信号Vd后处理视频信号Vd并显示与该视频信号对应的视频所需的时间，例如200ms、150ms或20ms，被用作延迟信息。

如果延迟级别是根据所提供视频信号的格式以及设置的信号处理模式确定的，并且音频输出装置2或音频和视频信号再现装置1可根据确定的延迟级别(在视频显示装置3接收视频信号Vd后处理视频信号并显示与视频信号Vd对应的视频所需的时间)确定视频显示装置3中的视频信号的处理时间，则可将指示延迟级别的信息用作延迟信息。例如，如果提供480p视频信号并且所设置的信号处理模式是电影模式(高品质模式)，则延迟级别被设置成“级别1”；如果提供720p视频信号并且所设置的信号处理模式是电影模式(高品质模式)，则延迟级别被设置成“级别2”。

另外，可将确定位于视频显示装置3上游的装置中的音频信号的延迟量的多种信息用作延迟信息。

图7示出延迟控制信息Ct具有四个字节的例子。在延迟控制信息Ct中，第一个字节指示用来标识向其发送延迟控制信息Ct的那一个装置的标识符(装置ID)。第二字节指示视频显示装置3接收的视频信号Vd的分辨率。

第三字节指示根据以第二字节指示的分辨率显示与视频信号Vd对应的视频所需的时间来延迟音频信号的延迟信息(具有由第二字节指示的分辨率的视频信号的缺省延迟信息(音频信号的延迟信息))。第四字节通过考虑视频显示装置3中设置的信号处理模式来指示关于将视频信号提供给视频处理装置3后处理视频信号并显示与该视频信号对应的视频所需时间的实际延迟信息(更新的延迟信息)。

例如，假设视频和音频信号再现装置1设有诸如硬盘记录器的大容量记录介质。另外假设视频和音频信号再现装置1能将多个具有不同分辨率的音频视频内容段记录和存储在记录介质上，能轻易地选择和回放多个视频音频内容段中的期望音频视频段并能在短时间内重复切换回放的内容。

在这种情形下，可在短时间内将回放的内容多次切换至具有不同分辨率(具有不同的视频信号格式)的内容。如果发生这种情况，则可将不同的多段延迟控制信息Ct从视频显示装置3提供给上游装置。音频输出装置2或音频和视频信号再现装置1可能无法基于产生或发送延迟控制信息Ct的时间来确定哪个延迟控制信息是有效的。

然而，如图7所示例子那样，将指示视频显示装置3接收的视频信号Vd的分辨率的信息包含到延迟控制信息Ct中允许视频输出装置2或视频和音频信号再现装置1检测音频输出装置2或视频和音频信号再现装置1接收或发送的视频信号的分辨率、并参照从诸如视频显示装置3或音频输出装置2的下游装置提供的指示延迟控制信息中的分辨率的信息，以确定哪个延迟控制信息是有效的。

另外，将分辨率、缺省延迟信息和更新的延迟信息包含到延迟控制信息Ct中允许接收延迟控制信息Ct的诸如音频输出装置2或视频和音频信号再现装置1的上游装置将所提供的延迟控制信息Ct作为用来准确地确定音频信号应当在上游装置中延迟多长时间的信息，以更正确地执行音频信号的延迟处理。

图6和图7中所示的多段延迟控制信息Ct仅作为示例并且能使用具有另一格式的延迟控制信息，只要最下游的视频显示装置3能正确地向上游装置指示音频信号的延迟量。

尽管由图2-图5中的虚线所表示的控制信号线在上述实施例中用来从最下游视频显示装置3向上游装置沿一个方向发送控制信息，然而控制信号线不局限于这些例子。如上所述，如果诸装置经由遵循HDMI规范并将视频信号线、音频信号线和控制信号线相互连接的接口彼此连接，则可用被称为控制信号图解(CEC)的专用控制作为控制信号线在诸装置之间传递控制信号。

在上述实施例中，除了遵循HDMI规范的接口之外，可将包括遵循电气和电子工程协会(IEEE)1394标准的接口的具有独立控制信号线的各接口作为将视频信号线、音频信号线和控制信号线彼此连接的接口。与那些视频信号线和音频信号线不同的接口可用来控制信号线。

尽管在上述实施例中，用来发送视频信号Vd的视频信号线和用来发送音频信号Au的音频信号线被单独设置，然而本发明诸实施例也适用于一种情况，其中使用视频信号和音频信号受时分多用作用以通过同一传输路径发送视频信号和音频信号的接口。

连接诸装置的接口不局限于数字接口并可以是模拟接口。

尽管在上述实施例中视频和音频信号再现装置1和音频输出装置2被分开提供，然而本发明的实施例不局限于此。本发明诸实施例可适用于视频和音频信号再现装置1与音频输出装置2形成一体的情形。

本领域内技术人员应当理解根据设计要求和其它因素可作出各种修改、组合、子组合和变换，只要它们落在所附权利要求或其等效物的范围内即可。

Claims (13)

1.一种视频和音频处理系统，包括：

输出装置，用来输出要被同步和再现的视频数据和音频数据；

音频处理装置，用来从所述输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置并处理音频数据以产生要提供给扬声器的音频信号；以及

视频处理装置，用来接收从所述音频处理装置输出的视频数据并产生用于显示视频的视频信号；

其中，所述视频处理装置包括：

视频信号处理部件，用来根据从所述音频处理装置输出的视频数据产生具有预定品质的视频信号；

控制部件，用来基于从所述音频处理装置输出的视频数据的格式以及所设置的视频数据的信号处理模式控制所述视频信号处理部件中的处理；以及

确定部件，如果所述视频信号处理部件中处理的内容由所述控制部件改变，则所述确定部件确定在接收视频数据之后在所述视频信号处理部件中处理视频数据并显示视频所需的处理时间；

其中，所述视频和音频处理系统基于确定部件对处理时间的确定结果而延迟要提供给所述扬声器的音频信号以与所显示的视频同步。

2.如权利要求1所述的视频和音频处理系统，其特征在于，

所述视频处理装置还包括用于向所述音频处理装置提供所确定的处理时间的输出部件；并且

其中所述音频处理装置包括：

延迟部件，用来延迟要提供给所述扬声器的音频信号；

输入部件，用来从所述视频处理装置中的输出部件接收处理时间；以及

延迟控制部件，用来基于由所述输入部件接收的处理时间控制所述延迟部件。

3.如权利要求2所述的视频和音频处理系统，其特征在于，

所述音频处理装置还包括：

音频数据处理部件，用来对输入音频数据执行预定处理，并将经处理的音频数据作为音频信号提供给所述扬声器；以及

延迟时间确定部件，用来确定在将输入音频数据提供给扬声器之前的延迟时间；以及

其中所述延迟控制部件基于由所述输入部件接收到的处理时间和延迟时间来控制所述延迟部件。

4.如权利要求3所述的视频和音频处理系统，其特征在于，

所述音频处理装置中的所述延迟控制部件基于由所述输入部件接收的处理时间和延迟时间之间的差值来控制所述延迟部件。

5.如权利要求1所述的视频和音频处理系统，其特征在于，

所述视频处理装置还包括将所确定的处理时间提供给所述音频处理装置的输出部件；并且

其中所述输出装置包括：

延迟部件，用来延迟音频信号的输出；

输入部件，用来接收关于从所述视频处理装置输出的处理时间的信息；以及

延迟控制部件，用来基于由所述输入部件接收的处理时间控制所述延迟部件中音频信号的延迟时间。

6.如权利要求5所述的视频和音频处理系统，其特征在于，

所述音频处理装置还包括：

音频数据处理部件，用来对输入音频数据执行预定的处理并将经处理的音频数据作为音频信号提供给所述扬声器；

延迟时间确定部件，用来确定在将输入音频数据提供给所述扬声器前的延迟时间；以及

输出部件，用来将所确定的延迟时间提供给所述输出装置；

其中所述输出装置还包括：

延迟时间输入部件，用来从所述音频处理装置中的所述输出部件接收延迟时间；并且

其中所述输出装置中的所述延迟控制部件基于由所述输入部件接收的处理时间和由延迟时间输入部件接收的延迟时间控制延迟部件。

7.一种视频和音频处理系统中的视频处理装置，所述视频和音频处理系统还包括：输出装置，用来输出要被同步和再现的视频数据和音频数据；音频处理装置，用来从所述输出装置接收视频数据和音频数据，至少将视频数据提供至下游装置并处理音频数据以产生要提供给扬声器的音频信号，所述视频处理装置接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号，所述视频处理装置包括：

视频信号处理部件，用来根据从所述音频处理装置输出的视频信号产生具有预定品质的视频信号；

控制部件，用来基于从所述音频处理装置输出的视频数据的格式以及所设置的视频数据的信号处理模式控制所述视频信号处理部件中的处理；

确定部件，如果所述视频信号处理部件中的处理内容由所述控制部件改变，则所述确定部件确定在接收到视频数据后在所述视频信号处理部件中处理视频数据并显示视频所需的处理时间；以及

输出部件，用来将所确定的处理时间提供给另一装置。

8.一种视频和音频处理系统中的音频处理装置，所述视频和音频处理系统还包括：输出装置，用来输出要被同步和再现的视频数据和音频数据；以及视频处理装置，用来接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号，所述音频处理装置从所述输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置并处理音频数据以产生要提供给扬声器的音频信号，所述音频处理装置包括：

接收部件，用来如果视频信号处理内容改变，则接收关于执行视频信号处理所需的处理时间的信息，在所述视频信号处理中，根据来自视频处理装置的视频数据产生具有预定品质的视频信号，所述处理时间是基于视频数据的格式和所设置的视频数据的信号处理模式而确定的；

输入部件，用来从所述输出装置接收音频数据；

延迟部件，用于延迟将由所述输入部件接收的音频数据作为音频信号提供给扬声器所需的时间；以及

控制部件，用来基于与由所述接收部件接收到的处理时间有关的信息控制所述延迟部件中的延迟时间。

9.如权利要求8所述的音频处理装置，其特征在于，还包括：

处理时间确定部件，用来确定根据音频数据产生音频信号并将音频信号提供给扬声器所需的处理时间，

其中所述控制部件基于由所述处理时间确定部件确定的处理时间和由所述接收部件接收的处理时间来控制所述延迟部件中的延迟时间。

10.一种输出要被同步和再现的视频数据和音频数据的输出装置，所述输出装置被包括在视频和音频处理系统中，所述系统还包括：音频处理装置，用于从所述输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置，并处理音频数据以产生要提供给扬声器的音频信号；以及视频处理装置，用来接收从所述音频处理装置输出的视频数据并产生用于显示视频的视频信号，所述输出装置包括：

接收部件，用于接收关于执行视频信号处理所需的处理时间的信息，在所述音频信号处理中，根据视频数据产生具有预定品质的视频信号，如果视频信号处理的内容改变，则从所述视频处理装置输出关于处理时间的信息；

输出部件，用来输出音频数据；

延迟部件，用于延迟音频数据从所述输出部件的输出；以及

控制部件，所述控制部件基于与由所述接收部件接收的关于处理时间的信息来控制所述延迟部件中的音频数据的延迟时间。

11.如权利要求10所述的输出装置，其特征在于，还包括：

延迟时间接收部件，用来接收延迟时间，期间所述音频处理装置接收音频数据并将音频数据从所述音频处理装置提供给扬声器；

其中所述控制装置基于由所述接收部件接收的关于处理时间的信息和由延迟时间接收部件接收的延迟时间来控制所述延迟部件中音频数据的延迟时间。

12.一种视频和音频处理系统的控制方法，包括：输出装置，用来输出要被同步和再现的视频数据和音频数据；音频处理装置，用来从所述输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置，并处理音频数据以产生要提供给扬声器的音频信号；以及视频处理装置，用来接收从所述音频处理装置输出的视频数据并产生用于显示视频的视频信号，所述控制方法包括下列步骤：

如果处理内容改变，则基于视频数据的格式和所设置的视频数据的信号处理模式确定所述视频处理装置根据视频数据产生具有预定品质的视频信号所需的处理时间；以及

基于所确定的处理时间延迟要提供给扬声器的音频信号。

13.一种视频和音频处理系统，包括：

输出装置，用来输出要被同步和再现的视频数据和音频数据；

音频处理装置，用来从所述输出装置接收视频数据和音频数据，至少将视频数据提供给下游装置，并处理音频数据以产生要提供给扬声器的音频信号；以及

视频处理装置，用来接收从音频处理装置输出的视频数据并产生用于显示视频的视频信号，

其中所述视频处理装置包括：

视频信号处理部件，用于根据从所述音频处理装置输出的视频数据产生具有预定品质的视频信号；

控制部件，用来基于从所述音频处理装置输出的视频数据的格式和所设置的信号处理模式中的至少之一控制所述视频信号处理部件中的处理；

确定部件，如果所述视频信号处理部件中的处理内容由所述控制部件改变，则所述确定部件用来确定接收到视频数据后在所述视频信号处理部件中处理视频数据并显示视频所需的处理时间；以及

指示部件，用来向所述音频处理装置指示由所述确定部件确定的处理时间；

其中所述音频处理装置包括：

获取部件，用来获取与由所述视频处理装置指示的处理时间有关的信息；

差值计算部件，用来计算由所述视频处理装置指示的处理时间和所述音频处理装置中音频信号的处理时间之间的差值；以及

差值指示部件，用来向所述输出装置指示关于由所述差值计算部件计算得到的处理时间上的差值的信息；并且

其中，所述输出装置包括：

延迟部件，用来延迟要输出的音频信号；

差值获取部件，用来获取关于由所述音频处理装置指示的处理时上的差值的信息；以及

延迟控制部件，用来基于关于由所述差值获取部件获取的处理时间上的差值的信息控制所述延迟部件中的音频信号的延迟时间。

Images