CN101416562A - 组合的基于视频和音频的环境照明控制 - Google Patents

Abstract

一种用于控制环境照明元件的方法，包括：确定环境照明数据，以控制环境照明元件。所述方法包括：处理组合后的环境照明数据，其中，所述组合后的环境照明数据是基于对应视频内容部分和对应音频内容部分的。处理过的组合后的环境照明数据于是可以用于控制环境照明元件。在一个实施例中，所述组合后的环境照明数据可以被接收作为组合后的环境照明脚本。可以对基于视频的环境照明数据与基于音频的环境照明数据进行组合，以产生所述组合后的环境照明数据。对所述基于视频的环境照明数据与所述基于音频的环境照明数据进行组合可以包括：由所述基于音频的环境照明数据来调制所述基于视频的环境照明数据。可以分析所述视频内容和/或音频内容，以产生基于视频的环境照明数据和/或基于音频的环境照明数据。

Description

组合的基于视频和音频的环境照明控制

相关申请的交叉引用

该申请要求于2006年3月31日提交的第60/788,467号美国临时专利申请的利益。

技术领域

该系统涉及受视频内容流和音频内容流的特性所调制的环境照明效果。

背景技术

皇家飞利浦电子股份有线公司(Philips)和其它公司已经公开了用于对于典型居家或商业应用改变环境照明或外围照明以增强视频内容的装置。受利用视频显示器或电视机一起提供的视频内容所调制的环境照明已经被证明减少了观看者的疲劳并且改进了体验的真实性和深度。目前，Philips具有一系列电视机，包括具有环境照明的平板电视机，其中，电视机环境的框包括环境光源，所述环境光源将环境光投射在支撑或者接近于电视机的背墙上。进一步地，与电视机分离的光源也可以与视频内容相关地受到调制，以产生可以相似地受控的环境光。

在单个彩色光源的情况下，光源的调制可能仅仅是光源的亮度的调制。能够产生多色彩光的光源提供机会，以基于所呈现的视频来调制多色彩光源的很多方面，所述视频包括宽的可选择的每个点的色彩范围。

发明内容

该系统的目的在于克服现有技术中的缺点并且/或者在环境照明体验中提供更加空间化的沉浸体验。

该系统提供一种用于确定环境照明数据以控制环境照明元件的方法、程序和设备。所述方法包括：处理组合后的环境照明数据，其中，所述组合后的环境照明数据是基于对应视频内容部分和对应音频内容部分的。处理过的组合后的环境照明数据于是可以用于控制环境照明元件。在一个实施例中，组合后的环境照明数据可以被接收作为组合后的环境照明脚本，或者作为相分离的基于视频的环境照明脚本和基于音频的环境照明脚本。

可以对基于视频的环境照明数据与基于音频的环境照明数据进行组合，以产生所述组合后的环境照明数据。对所述基于视频的环境照明数据与所述基于音频的环境照明数据进行组合可以包括：由所述基于音频的环境照明数据来调制所述基于视频的环境照明数据。

在一个实施例中，可以分析所述视频内容和/或音频内容，以产生基于视频的环境照明数据和/或基于音频的环境照明数据。分析视频内容可以包括：分析所述视频内容的时间部分，以产生基于视频的环境照明数据的时间部分。在该实施例中，可以组合基于视频的环境照明数据的时间部分，以产生基于视频的环境照明脚本作为所述基于视频的环境照明数据。

可以分析音频内容，以产生所述基于音频的环境照明数据。分析音频内容可以包括：分析对应音频内容部分的频率、频率范围以及幅度中的至少一个。分析音频内容可以标识并且使用所述音频内容的其它特性，包括：每分钟的拍频；调子，例如音频内容的大调和小调，以及绝对调子(absolute key)；强度；和/或分类，例如经典、流行、讨论(discussion)、电影。进一步地，可以分析与音频自身分离但可以与音频数据关联的数据(例如与音频数据关联的元数据)。对所述基于视频的环境照明数据与基于音频的环境照明数据进行组合可以包括：使用所述基于音频的环境照明数据来调整使用所述基于视频的环境照明数据所确定的色彩点的动态。

附图说明

参照附图通过示例的方式进一步详细地解释该系统，其中：

图1示出根据该系统实施例的流程图；

图2示出根据该系统实施例的设备。

具体实施方式

以下是说明性实施例的描述，当结合以下附图时，该描述将展现以上所提及的特征和优点以及另外的特征和优点。在以下描述中，为了解释而不是限制，阐述具体细节(例如特定架构、接口、技术等等)，以进行说明。然而，本领域普通技术人员应理解，脱离这些具体细节的其它实施例仍然将被认为是处于所附权利要求的范围内。此外，为了清楚起见，省略对公知设备、电路和方法的详细描述，从而不使得该系统的描述模糊。

应清楚地理解，附图被包括进来是用于说明的目的，而不是表示该系统的范围。

图1示出根据该系统实施例的流程图100；在动作110期间，处理开始。其后，在动作120期间，接收与视频内容有关的环境照明数据，下文中称之为基于视频的环境照明数据。可以通过在系统内部或外部所产生的光脚本(light script)的形式来接收基于视频的环境照明数据，例如于2006年9月27日提交的序列号IB2006/053524(律师签号003663)的国际专利申请中所公开的那样，该申请要求序列号60/722,903和60/826,117的美国临时专利申请的利益，其全部被转让给其受让人，并且其全部内容通过引用而完全合并到此。在一个实施例中，例如由提供与特定视频内容有关的光脚本的光脚本授权服务将光脚本产生在系统外部。可以从可访问的外部源(例如对互联网的有线连接或无线连接)来检索光脚本。在该实施例中，视频内容或承载所述视频内容的介质可以包括用于内容的标识符，并且/或者标识符可以是可直接从所述内容辨别的。标识符可以用于检索与视频内容对应的光脚本。在另一实施例中，可以将光脚本存储或者提供在与音视频内容相同的介质上。在该实施例中，标识符对于检索对应光脚本可能是不必要的。

在另一实施例中，在动作130期间，可以处理视频内容，以产生与视频内容有关的基于视频的环境照明数据。通过分析视频内容或其部分的形式，可以恰好在呈现视频内容之前执行处理，或者，可以对所存储的或可存取的视频内容执行处理。通过引用而合并到此如同完整地阐述的PCT专利申请WO 2004/006570公开了一种系统和设备，其用于基于内容的色彩特性(例如色调、饱和度、亮度、色彩、屏幕改变速度、所识别的人物、所检测到的情绪等等)来控制环境照明效果。在操作中，该系统分析所接收到的内容，并且可以使用在视频内容的一个或多个帧上的内容的分布(例如平均色彩)，或者使用位于一个或多个帧的边界附近的视频内容的部分，以产生与视频内容有关的基于视频的环境照明数据。可以使用时间平均化操作来平滑在由所分析的视频内容的快速改变而导致的基于视频的环境照明数据中的时间过渡。

序列号IB2006/053524的国际专利申请还公开了一种用于分析视频内容以产生与所述视频内容有关的基于视频的环境照明数据的系统。在该实施例中，分析视频内容的像素，从而在丢弃非相干色彩像素的同时，对提供相干色彩的像素进行标识。于是使用相干色彩像素来产生基于视频的环境照明数据。

存在用于确定基于视频的环境照明数据的大量其它系统，包括视频内容的直方图分析、视频内容的色彩场的分析等等。本领域普通技术人员可以容易地理解，可以将任意系统应用于产生根据该系统的基于视频的环境照明数据。

基于视频的环境照明数据可以包括用于控制一个或多个环境照明元件的环境照明特性(例如色调、饱和度、亮度、色彩等等)的数据。例如，在根据该系统的一个实施例中，基于视频的环境照明数据确定一个或多个环境照明元件的依赖于时间的色彩点，从而与视频内容对应。

在动作140期间，该系统接收与音频内容有关的环境照明数据，下文中称之为基于音频的环境照明数据。与基于视频的环境照明数据相似，可以通过基于音频的环境照明脚本的形式来接收基于音频的环境照明数据。在一个实施例中，例如由提供与特定音频内容有关的光脚本的光脚本授权服务将基于音频的光脚本产生在系统外部。可以从可接入的外部源(例如对互联网的有线连接或无线连接)来检索光脚本。在该实施例中，音频内容或承载所述音频内容的介质可以包括用于内容的标识符，并且/或者标识符可以是可直接从所述内容辨别的。在另一实施例中，由于音频内容典型地与音视频内容的视频内容对应，因此从视频内容所确定的标识符可以用于检索基于音频的光脚本。在任意事件中，标识符——无论是基于音频的还是基于视频的——可以用于检索与音频内容对应的光脚本。在一个实施例中，基于音频的光脚本可以是例如可从其中在不使用标识符的情况下存储音视频内容的介质存取的。

在另一实施例中，在动作150期间，可以处理音频内容，以产生与音频内容有关的基于音频的环境照明数据。通过分析音频内容或其部分的形式，可以恰好在呈现音视频内容之前执行处理，或者，可以对所存储的或可存取的音频内容执行处理。用于产生基于音频的环境照明数据的音频分析可以包括：分析音频内容的频率、音频内容的频率范围、音频内容的能量、音频能量的幅度、音频内容的拍频、音频内容的拍子、以及可以被容易地应用的用于确定音频内容的特性的其它系统。在另一实施例中，可以使用音频内容的直方图分析(例如频域中的音频直方图分析)。可以使用时间平均化操作来平滑在由所分析的音频内容的快速改变而导致的基于音频的环境照明数据中的时间过渡。分析音频内容可以标识并且使用音频内容的其它特性，包括：每分钟的拍频；调子，例如音频内容的大调和小调，以及绝对调子；强度；和/或分类，例如经典、流行、讨论、电影。进一步地，可以分析与音频内容自身分离但可以与音频数据关联的数据(例如与音频内容关联的元数据)。本领域普通技术人员可以容易地理解，可以将辨识音频内容特性的任意系统应用于产生根据该系统的基于音频的环境照明数据。

如在此所描述的那样，基于音频的环境照明数据可以包括用于控制一个或多个环境照明元件的例如动态的环境照明特性(例如亮度、饱和度等等)以及调制基于视频的环境照明特性的数据。基于音频的环境照明数据可以用于确定用于控制与所确定的基于视频的环境照明特性相似和/或互补的环境照明特性的数据。

在动作160期间，对基于视频的环境照明数据与基于音频的环境照明数据进行组合，以形成组合后的环境照明数据。典型地，视频内容和音频内容同步于音视频内容。这样，将基于视频的环境照明数据和基于音频的环境照明数据提供作为数据的时间序列。相应地，在动作170期间，可以对基于视频的环境照明数据和基于音频的环境照明数据的时间部分进行组合，以产生组合后的环境照明数据，其也同步于音视频内容，并且可以被同样地呈现。在呈现操作之后，在动作180期间，处理结束。

在根据该系统的一个实施例中，基于视频的环境照明数据可以用于确定环境照明数据的色彩特性(例如色彩点)。基于音频的环境照明数据于是可以应用于调制色彩点，例如调整视频已确定的色彩点的动态。

例如，在其中基于视频的环境照明数据确定在给定的时间部分期间对给定的色彩点设置给定的环境照明特性的音视频序列中，与基于视频的环境照明数据组合的基于音频的环境照明数据可以在对应的音视频序列期间基于低音频能量来调整色彩以减暗(例如减少亮度)色彩。相似地，在其中基于视频的环境照明数据确定对给定的色彩点设置环境照明特性的音视频序列中，音频内容可以在对应音视频序列期间基于高音频能量来将色彩调整为较亮色彩。清楚的是，对于本领域普通技术人员将出现用于对基于视频的环境照明数据与基于音频的环境照明数据进行组合的其它系统，并且目的在于被认为处于该系统和所附权利要求的范围内。以此方式，组合后的环境照明数据可以用于控制一个或多个环境照明元件，以既对所呈现的音频又对对应视频内容进行响应。在根据该系统的一个实施例中，用户可以调整音频内容和视频内容中的每一个对组合后的环境照明数据的影响。例如，在确定组合后的环境照明数据中，用户可以判断基于音频的环境照明数据对基于视频的环境照明数据具有较小的影响还是较大的影响。

在进一步实施例中，音频内容和视频内容可以是先前没有被布置为音视频内容的相分离内容。例如，图像或视频序列可以具有意欲用于在图像或视频序列期间进行呈现的音频内容。根据该系统，对于音视频内容，可以由与以上所提供的相似的基于音频的环境照明数据来调制基于视频的环境照明数据。在进一步实施例中，可以提供多个音频部分以用于与视频内容一道进行呈现。根据该系统，音频部分中的一个和/或其它可以用于确定基于音频的环境照明数据。

虽然图1示出了分离地接收基于视频的环境照明数据和基于音频的环境照明数据，但清楚的是，并不需要一定使得分离地接收它们中的每一个。例如，可以产生既基于音视频内容的音频特性又基于音视频内容的视觉特性所确定的所接收到的环境照明脚本。进一步地，实质上可以同时提供动作130和150，从而直接产生组合后的环境照明数据，而不需要产生后续被组合的相分离的基于视频的环境照明数据和基于音频的环境照明数据。其它变形对于本领域普通技术人员是容易出现的，并且其目的在于被包括在该系统之内。

在根据该系统的实施例中，在对基于视频的环境照明数据与基于音频的环境照明数据进行组合中，与对于基于视频的环境照明数据所讨论的相似，基于音频的环境照明数据可以用于确定基于音频的环境照明特性，所述基于音频的环境照明特性其后受基于视频的环境照明数据所调制。例如，在一个实施例中，可以将基于音频的环境照明数据的特性映射到环境照明的特性。以此方式，可以将音频的特性(例如音频数据的给定数量的每分钟拍频)映射到环境照明的给定色彩。例如，可以将所确定的环境照明色彩映射到每分钟拍频的范围。自然地，可以容易地并且相似地对音频的其它特性与环境照明进行映射。

在又一实施例中，如本领域普通技术人员容易理解的VU仪表示(VU-meter presentation)相似，可以调制基于视频的环境照明特性，从而使用从基于视频的环境特性所确定的色彩来产生基于音频的模式。例如，在异常环境照明系统中，可以由基于音频的环境照明数据来调制异常环境照明系统的个别部分。在类似VU仪的表示中，可以在环境照明系统中从底部向上前进而提供计量器的音频调制，或者可以提供相反的情况(例如顶部向下前进)。进一步地，前进方式可以从左到右，或者从环境照明系统的中心部分向外。

可以进一步理解，由于基于音频的环境照明数据可以典型地对于音频数据(包括左数据、右数据、中心数据、尾左数据、尾右数据等等)的不同声道而不同，因此这些位置音频数据部分中的每一个或其一部分可以容易地与基于视频的环境照明数据和特性组合着使用。例如，目的在于在显示器的左侧进行显现的基于视频的环境照明特性的部分可以与基于音频的环境照明数据的左声道进行组合，而目的在于在显示器的右侧进行显现的基于视频的环境照明特性的部分可以与基于音频的环境照明数据的右声道进行组合。可以容易地应用基于视频的环境照明数据的部分与基于音频的环境照明数据的部分的其它组合方式。

图2示出根据该系统实施例的设备200。该设备具有处理器210，其可操作地耦合到存储器220、视频呈现设备(例如显示器)230、音频呈现设备(例如扬声器)280、环境照明元件250、260，输入/输出(I/O)240以及用户输入设备270。存储器220可以是用于存储应用数据以及其它数据(例如环境照明数据、音频数据、视频数据、映射数据等等)的任意类型的设备。可以由处理器210来接收应用数据和其它数据，以用于将处理器210配置为：执行根据该系统的操作动作。所述操作动作包括：控制显示器230中的至少一个来呈现内容，并且控制环境照明元件250、260中的一个或多个来显示根据该系统的环境照明效果。用户输入270可以包括键盘、鼠标、或其它设备，包括触敏显示器(其可以是单机或是系统的一部分(例如个人计算机的一部分、个人数字助理))以及显示设备(例如电视机)，以用于经由任意类型的链路(例如有线链路或无线链路)与处理器进行通信。清楚的是，处理器210、存储器220、显示器230、环境照明元件250、260和/或用户输入270可以全部或者部分是电视平台的部分(例如单机电视)，或者可以是单机设备。

该系统的方法尤其适合于由计算机软件程序来执行，所述计算机软件程序优选地包含与该方法的各个步骤或动作对应的模块。所述软件当然可以被实施在计算机可读介质(例如集成芯片)、外围设备或存储器(例如存储器220或耦合到处理器210的其它存储器)中。

计算机可读介质和/或存储器220可以是任意可记录介质(例如RAM、ROM、可拆卸存储器、CD-ROM、硬盘驱动器、DVD、软盘或存储器卡)，或者可以是传输介质(例如网络，其包括光纤、万维网、电缆、使用时分多址、码分多址的无线信道、或其它射频信道)。可以提供适合于用于计算机系统的信息的已知的或已开发的任意介质可以用作计算机可读介质和/或存储器220。

还可以使用附加的存储器。计算机可读介质、存储器220和/或任意其它存储器可以是长期存储器、短期存储器或长期存储器与短期存储器的组合。这些存储器将处理器210配置为实现在此所公开的方法、可操作的动作以及功能。存储器可以是分布式的，或者是本地的，在可以提供附加处理器的情况下，处理器210也可以是分布式的(例如基于环境照明元件之内)，或者可以是单个的。存储器可以实现为电存储器、磁存储器或光存储器，或这些存储器或其它类型的存储设备的任意组合。此外，术语“存储器”应足够宽泛地理解为包括能够从由处理器可存取的可寻址空间中的地址读取并且写入至其的任意信息。采用这种定义，例如，因为处理器210可以从网络检索信息以用于根据该系统的操作，所以关于网络的信息仍然在存储器220内。

处理器210能够响应于来自用户输入270的输入信号而提供控制信号并且/或者执行操作，并且执行存储器220中所存储的指令。处理器210可以是专用集成电路或通用集成电路。进一步地，处理器210可以是用于根据该系统进行执行的专用处理器，或者可以是很多功能中的仅仅一个操作用于根据该系统而进行执行的通用处理器。处理器210可以使用程序部分、多个程序段而操作，或者可以是使用专用集成电路或多用集成电路的硬件设备。

I/O 240可以用于传递内容标识符，以用于接收一个或多个光脚本，并且/或者用于如上所述的其它操作。

当然，应理解，上述实施例或处理中的任意一个可以与一个或多个其它实施例或处理进行组合，或者根据该系统而相分离。

最后，以上的讨论目的在于仅仅说明该系统，而不应理解为将所附权利要求限制为任意特定实施例或实施例组。因此，虽然已经参照示例性实施例描述了该系统，但也应理解，在不脱离在所附权利要求中所阐述的该系统的较宽泛的所期望的精神和范围的情况下，本领域普通技术人员可以设计出大量修改和替换实施例。相应地，说明书和附图应被认为是说明性的方式，而并非意欲限制所附权利要求的范围。

在解释所附权利要求中，应理解：

a)在给出的权利要求中，文字“包括”并不排除除了所列出的元件或动作之外的其它元件或动作的存在；

b)在元件之前的文字“一个”并不排除多个这样的元件的存在；

c)权利要求中的任意附图标记不限制其范围；

d)几个“装置”可以由的相同项或硬件或软件所实现的结构或功能来表示；

e)任意所公开的元件可以包括硬件部分(例如包括分离式电子电路和集成电子电路)、软件部分(例如计算机程序编制)以及它们的任意组合；

f)硬件部分可以包括模拟部分和数字部分中的一个或两者；

g)除非另外具体地声明，否则任意所公开的设备或其部分可以组合在一起，或者分离为其它部分；

h)除非具体地指示，否则并非有意要求动作或步骤的具体顺序。

Claims (21)

1.一种控制环境照明元件的方法，所述方法包括以下动作：

处理组合的环境照明数据，其中，所述组合的环境照明数据是基于视频内容部分以及对应音频内容部分的；

基于处理过的组合环境照明数据来控制环境照明元件。

2.如权利要求1所述的方法，包括以下动作：接收所述组合的环境照明数据作为组合的环境照明脚本。

3.如权利要求1所述的方法，包括以下动作：

接收基于视频的环境照明数据；

接收基于音频的环境照明数据；以及

对所接收到的基于视频的环境照明数据与所接收到的基于音频的环境照明数据进行组合，以产生所述组合的环境照明数据。

4.如权利要求3所述的方法，其中，所述进行组合的动作包括以下动作：由所述基于音频的环境照明数据来调制所述基于视频的环境照明数据。

5.如权利要求3所述的方法，包括以下动作：分析视频内容，以产生所述基于视频的环境照明数据。

6.如权利要求5所述的方法，其中，所述分析视频内容的动作包括以下动作：确定多个色彩点作为所述基于视频的环境照明数据。

7.如权利要求3所述的方法，包括以下动作：分析音频内容，以产生基于音频的环境照明数据。

8.如权利要求7所述的方法，其中，所述分析音频内容的动作包括以下动作：分析对应音频内容部分的频率、频率范围以及幅度中的至少一个。

9.如权利要求7所述的方法，其中，所述分析音频内容的动作包括以下动作：分析所述音频内容的时间部分，以产生基于音频的环境照明数据的时间部分。

10.如权利要求7所述的方法，其中，所述分析音频内容的动作包括以下动作：分析所述音频内容的位置部分，以产生基于音频的环境照明数据的位置部分。

11.如权利要求3所述的方法，其中，所述进行组合的动作包括以下动作：

基于所接收到的基于视频的环境照明数据确定色彩点；

使用所述基于音频的环境照明数据来调整所述色彩点的动态。

12.一种实施在被配置为控制环境照明元件的计算机可读介质上的应用，所述应用包括：

被配置为处理组合后的环境照明数据的部分，其中，所述组合后的环境照明数据与视频内容部分以及音频内容部分对应；

被配置为基于处理过的组合后的环境照明数据来控制环境照明元件的部分。

13.如权利要求12所述的应用，包括：

被配置为接收基于视频的环境照明数据的部分；

被配置为接收基于音频的环境照明数据的部分；以及

被配置为对所接收到的基于视频的环境照明数据与所接收到的基于音频的环境照明数据进行组合以产生所述组合后的环境照明数据的部分。

14.如权利要求12所述的应用，包括：

被配置为分析视频内容以产生基于视频的环境照明数据的部分，其中，所述被配置为分析视频内容的部分被配置为：确定色彩点作为所述基于视频的环境照明数据。

15.如权利要求12所述的应用，包括：被配置为分析音频内容以产生所述基于音频的环境照明数据的部分，其中，所述被配置为分析音频内容的部分被配置为：分析所述音频内容的部分，以产生基于音频的环境照明数据的部分作为所述基于音频的环境照明数据。

16.如权利要求15所述的应用，其中，所述基于音频的环境照明数据的部分是按空间所分配的和按时间所分配的中的至少一个。

17.如权利要求15所述的方法，其中，所述被配置为分析音频内容的部分被配置为：分析对应音频内容部分的频率、频率范围以及幅度中的至少一个。

18.如权利要求12所述的应用，包括：被配置为基于所述基于视频的环境照明数据来确定色彩点的部分，其中，所述被配置为进行组合的部分被配置为：使用所述基于音频的环境照明数据来调整所述色彩点的动态。

19.一种用于控制环境照明元件的设备，所述设备包括：

存储器(220)；以及

处理器(210)，其可操作耦合到所述存储器(220)，其中，所述处理器(210)被配置为：

分析视频内容，以产生基于视频的环境照明数据；

分析音频内容，以产生基于音频的环境照明数据；

对所述基于视频的环境照明数据与所述基于音频的环境照明数据进行组合，以产生组合的环境照明数据。

20.如权利要求19所述的设备，其中，所述处理器(210)被配置为：

分析所述视频内容，以产生色彩点作为所述基于视频的环境照明数据；以及

使用所述基于音频的环境照明数据来调制所述色彩点。

21.如权利要求19所述的设备，其中，所述处理器(210)被配置为：分析所述音频内容的时间部分和位置部分中的至少一个，以产生所述基于音频的环境照明数据。

Images