CN112913331A - 根据视频和音频权重而基于视频和音频信息来确定光效果 - Google Patents

根据视频和音频权重而基于视频和音频信息来确定光效果 Download PDF

Info

Publication number
CN112913331A
CN112913331A CN201980072603.3A CN201980072603A CN112913331A CN 112913331 A CN112913331 A CN 112913331A CN 201980072603 A CN201980072603 A CN 201980072603A CN 112913331 A CN112913331 A CN 112913331A
Authority
CN
China
Prior art keywords
audio
video
light
content
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980072603.3A
Other languages
English (en)
Other versions
CN112913331B (zh
Inventor
S·里克罗夫特
D·V·阿利亚克赛尤
T·博拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of CN112913331A publication Critical patent/CN112913331A/zh
Application granted granted Critical
Publication of CN112913331B publication Critical patent/CN112913331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种基于对媒体内容的分析来确定光效果的方法，包括允许（401）用户影响视频权重和音频权重。视频权重表示在所述光效果的确定中视频内容的权重，并且所述音频权重表示在所述确定中音频内容的权重。所述方法还包括：获取（405）与所述视频内容相关的信息和/或与所述音频内容相关的信息，确定（407）在呈现所述媒体内容时要呈现的光效果。所述方法还包括存储指定所述光效果的光脚本和/或控制（409）一个或多个光源以呈现所述光效果。根据所述视频权重而基于与所述视频内容相关的信息来确定所述光效果，并且根据所述音频权重而基于与所述音频内容相关的信息来确定所述光效果。

Description

根据视频和音频权重而基于视频和音频信息来确定光效果
技术领域
本发明涉及一种基于对媒体内容的分析来确定一个或多个光效果的系统，所述媒体内容包括视频内容和音频内容。
本发明还涉及一种基于对媒体内容的分析来确定一个或多个光效果的方法，所述媒体内容包括视频内容和音频内容。
本发明还涉及一种使计算机系统能够执行这种方法的计算机程序产品。
背景技术
诸如飞利浦 Hue Entertainment的动态照明系统，可以显著地影响视听材料的体验和印象，特别是当视听材料与构成源材料的智能解释的光脚本同步时。然而，手动创建光脚本可能是一项艰巨的任务。
为此，存在从源内容自动生成第一光脚本的方法。然后第一光脚本可以按原样呈现或经受进一步的手动编辑。在自动脚本过程之前或过程中，存在可以由用户设置或更改的特定参数。可以针对整个脚本生成过程来全局设置这些参数。
然而，有许多不同的方法可以确定要在光脚本中指定的光设置。例如，WO 2017/162469A1公开了一种控制器，其确定与音频流相关联的元数据项，基于元数据执行图像搜索（例如，Google搜索），并且使用所得图像来确定照明设备的光设置，例如色调/亮度/饱和度。
US2010/265414A1公开了一种用于控制环境照明元件的方法，其包括确定环境照明数据以控制环境照明元件。该方法包括处理组合的环境照明数据，其中组合的环境照明数据基于相应的视频内容部分和相应的音频内容部分。然后可以使用经处理的组合环境照明数据来控制环境照明元件。基于视频的环境照明数据和基于音频的环境照明数据可以被组合以产生组合的环境照明数据。组合基于视频和基于音频的环境照明数据可以包括通过基于音频的环境照明数据来调制基于视频的环境照明数据。
尽管已知的自动脚本方法减少了用户输入的量，但最终的光脚本通常与内容（光脚本从该内容生成或针对该内容而生成）匹配得不好。
发明内容
本发明的第一目的是提供一种系统，该系统能够确定与视频内容匹配的光效果，针对该视频内容来确定光效果而不需要大量的用户输入。
本发明的第二目的是提供一种方法，该方法能够确定与视频内容匹配的光效果，针对该视频内容来确定光效果而不需要大量的用户输入。
在本发明的第一方面中，一种基于对媒体内容的分析来确定一个或多个光效果的系统包括至少一个输入接口、至少一个输出接口和至少一个处理器，所述媒体内容包括视频内容和音频内容，所述处理器被配置成使用所述至少一个输入接口以允许用户影响用于确定一个或多个光效果的视频权重和音频权重，所述视频权重表示在所述一个或多个光效果的所述确定中所述视频内容的权重，并且所述音频权重表示在所述确定中所述音频内容的权重。
所述至少一个处理器还被配置成：使用所述至少一个输入接口来获取与所述视频内容相关的信息和/或与所述音频内容相关的信息，确定当呈现所述媒体内容时要在一个或多个光源上呈现的所述一个或多个光效果，根据所述视频权重而基于与所述视频内容相关的所述信息来确定所述一个或多个光效果，并且根据所述音频权重而基于与所述音频内容相关的所述信息来确定所述一个或多个光效果，并且使用所述至少一个输出接口来控制所述一个或多个光源，以呈现所述一个或多个光效果和/或存储指定所述一个或多个光效果的光脚本。
通过使用从伴随视觉内容（例如电影或系列中的主题音乐）的音频（例如音乐）导出的信息来驱动针对特定的内容片段或部分的自动光脚本创建的参数，所确定的光效果可以更好地与这些特定的内容片段或部分匹配。与音乐相关的元数据（例如，来自如Spotify的现有音频元数据服务，例如，诸如效价、能量和可舞蹈性的参数，或者通过原始音频数据的本地分析）可以用于通过应用一组规则来确定用于自动光脚本创建的参数（例如，所使用的色彩提取方法的类型、过渡速度和/或空间分布）。
通过允许用户控制音频（例如音乐）和针对最终的光脚本的屏幕参数之间的影响的平衡，可以实现光脚本提取的更好的上下文精确度，从而减少用户将需要花费在光脚本的手动调整上的时间。在实时光效果创建的情况下（例如Philips HueSync），可以向终端用户提供类似的平衡控制。
例如，所述系统可以是包括所述一个或多个光源的照明系统的一部分，或者可以用于包括所述一个或多个光源的照明系统。与音频内容相关的所述信息可以从所述音频内容提取和/或从因特网服务器获取，并且/或者与所述视频内容相关的所述信息可以从所述视频内容提取和/或从因特网服务器获取。
例如，与所述音频内容相关的所述信息可以包括和声、效价、能量、情绪和/或可舞蹈性信息。例如，与所述视频内容相关的所述信息可以包括色彩信息。所述音频权重可以是音乐权重，即仅用于权衡如何基于与音乐内容相关的信息来确定光效果，或者所述音频权重也可以应用于其他类型的音频，例如语音和/或音频效果。
用户能够指定和/或适配视频权重和音频权重两者，或者用户能够指定和/或适配两个权重中的一个。在后一种情况下，在用户已经指定或适配第一权重之后，可以基于第一权重自动确定第二权重。用户可以为权重指定单个值或多个值（例如范围）。如果用户指定多个值，则系统本身可以选择这些值中的一个，例如根据音频内容的类型、正在播放音乐的一个或多个通道和/或视频内容的类型。例如，如果电影中的特定场景非常多彩，使得三均值色彩或主色彩不能很好地呈现视频内容，则即使用户例如选择了类似的音频和视频权重范围，系统也可能决定使用更多的受音频影响的色彩。
所述视频权重可以包括用于不同类型的视频信息的多个权重分量，并且/或者所述音频权重可以包括用于不同类型的音频（例如音乐）信息的多个权重分量。这允许用户更精确地指定他的偏好。
所述至少一个处理器可以被配置成确定所述视频权重和所述音频权重是否具有非零的特定值，确定光脚本是否可用于所述音频内容，并且在确定所述视频权重和所述音频权重具有所述非零的特定值并且所述光脚本可用时，使用所述至少一个输出接口来控制所述一个或多个光源以呈现所述可用的光脚本中指定的光效果。例如，如果电影包括特定歌曲并且光脚本可用于该歌曲，则如果用户不喜欢仅使用音频（例如音乐）信息或仅使用视频信息，则可以提供良好的娱乐体验。
所述至少一个处理器可以被配置成确定所述音频内容是否包括超过一定量的对话，并且在确定所述视频权重和所述音频权重具有所述特定非零值、所述光脚本可用并且所述音频内容包括不超过所述一定量的对话时，使用所述至少一个输出接口来控制所述一个或多个光源来呈现所述可用的光脚本中指定的所述光效果。例如，如果在电影中有超过一定量的对话，则与背景中播放的歌曲相关的光脚本可能是较不期望的。
所述至少一个处理器可以被配置成通过确定所述一个或多个光效果中的每一个的色彩、开始时间和持续时间来确定所述一个或多个光效果。可以确定所述一个或多个光效果的所述开始时间和所述持续时间，使得如果所述视频权重具有零值，则所述一个或多个光效果与所述音频内容中的音乐的节拍、小节和/或节奏同步。这允许一个或多个光效果仅基于音频信息。
所述至少一个处理器可以被配置成通过将所述一个或多个光效果中的每一个分配给所述一个或多个光源中的至少一个来进一步确定所述一个或多个光效果。例如，对于特定光源，从视频内容的哪一部分和/或从音频内容的哪一部分确定光效果可能取决于光源的空间位置。
与所述视频内容相关的所述信息包括从所述视频内容提取的色彩信息，并且所述至少一个处理器可以被配置成通过使用特定的色彩提取方法从所述色彩信息确定色彩。基于从视频提取的色彩来确定光效果是从视频确定光效果的一种很好的方法。
如果所述视频权重具有特定非零值并且所述音频权重具有特定非零值，则基于与所述音频内容相关的所述信息来选择所述特定色彩提取方法。由此，基于音频信息和视频信息两者来确定所述一个或多个光效果。
如果与所述音频内容相关的所述信息包括第一能量值，则可以选择第一色彩提取方法，并且如果与所述音频内容相关的所述信息包括第二能量值，则可以选择第二色彩提取方法，所述第二能量值高于所述第一能量值，并且所述第二色彩提取方法涉及比所述第一色彩提取方法更低的平滑度。这是一种基于音频信息和视频信息两者来确定光效果的有益方式。
如果与所述音频内容相关的所述信息包括第一效价值，则可以选择第一色彩提取方法，并且如果与所述音频内容相关的所述信息包括第二效价值，则可以选择第二色彩提取方法，所述第二效价值高于所述第一效价值，并且所述第二色彩提取方法确定比由所述第一色彩提取方法确定的色彩更饱和的色彩。这是一种基于音频信息和视频信息两者来确定光效果的有益方式。
在本发明的第二方面中，一种基于对媒体内容的分析来确定一个或多个光效果的方法包括允许用户影响用于确定一个或多个光效果的视频权重和音频权重，所述媒体内容包括视频内容和音频内容，所述视频权重表示在所述一个或多个光效果的所述确定中所述视频内容的权重，并且所述音频权重表示在所述确定中所述音频内容的权重，该方法还包括获取与所述视频内容相关的信息和/或与所述音频内容相关的信息。与所述视频内容相关的所述信息包括从所述视频内容提取的色彩信息，并且所述至少一个处理器被配置成通过使用特定的色彩提取方法从所述色彩信息确定色彩。如果所述视频权重具有特定非零值并且所述音频权重具有特定非零值，则至少基于与所述音频内容相关的所述信息来选择色彩提取方法。
所述方法还包括：确定当呈现所述媒体内容时要在一个或多个光源上呈现的所述一个或多个光效果，根据所述视频权重而基于与所述视频内容相关的所述信息来确定所述一个或多个光效果，并且根据所述音频权重而基于与所述音频内容相关的所述信息来确定所述一个或多个光效果；以及存储光脚本，所述光脚本指定所述一个或多个光效果和/或控制所述一个或多个光源以呈现所述一个或多个光效果。
所述方法还可以包括：如果与所述音频内容相关的所述信息包括第一能量值，则选择第一色彩提取方法，如果与所述音频内容相关的所述信息包括第二能量值，则选择第二色彩提取方法，所述第二能量值高于所述第一能量值，并且所述第二色彩提取方法涉及比所述第一色彩提取方法更低的平滑度，
所述方法可以通过在可编程设备上运行的软件来执行。该软件可以作为计算机程序产品提供。
此外，提供了用于执行本文所述方法的计算机程序，以及存储该计算机程序的非暂时性计算机可读存储介质。计算机程序可以例如由现有设备下载或上载到现有设备，或者在制造这些系统时被存储。
一种非暂时性计算机可读存储介质存储软件代码部分，该软件代码部分在由计算机执行或处理时被配置成执行基于对媒体内容的分析来确定一个或多个光效果的可执行操作，所述媒体内容包括视频内容和音频内容。
可执行操作包括：允许用户影响用于确定一个或多个光效果的视频权重和音频权重，所述视频权重表示在所述一个或多个光效果的所述确定中所述视频内容的权重，并且所述音频权重表示在所述确定中所述音频内容的权重；获取与所述视频内容相关的信息和/或与所述音频内容相关的信息；确定当呈现所述媒体内容时要在一个或多个光源上呈现的所述一个或多个光效果，根据所述视频权重而基于与所述视频内容相关的所述信息来确定所述一个或多个光效果，并且根据所述音频权重而基于与所述音频内容相关的所述信息来确定所述一个或多个光效果；以及存储光脚本，所述光脚本指定所述一个或多个光效果和/或控制所述一个或多个光源以呈现所述一个或多个光效果。
如本领域技术人员将理解的，本发明的诸方面可以实现为设备、方法或计算机程序产品。因此，本发明的诸方面可以采取完全硬件实施例、完全软件实施例（包括固件、驻留软件、微代码等）或结合软件和硬件方面的实施例的形式，所述软件和硬件方面在本文中通常都被称为“电路”、“模块”或“系统”。本公开中描述的功能可以实现为由计算机的处理器/微处理器执行的算法。此外，本发明的诸方面可以采取在一种或多种计算机可读介质中实现的计算机程序产品的形式，所述计算机可读介质具有在其上实现（例如存储）的计算机可读程序代码。
可以利用一种或多种计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于：电子、磁、光学、电磁、红外或半导体系统、装置或设备，或前述的任何适当组合。计算机可读存储介质的更具体示例可以包括但不限于以下内容：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪存）、光纤、便携式压缩盘只读存储器（CD-ROM）、光存储设备、磁存储设备或前述的任何适当组合。在本发明的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
计算机可读信号介质可以包括传播的数据信号，该信号具有包含在其中的计算机可读程序代码，例如，在基带中或作为载波的一部分。这种传播的信号可以采取多种形式中的任何形式，包括但不限于电磁、光学或其中任何合适的组合。计算机可读信号介质可以是任何不是计算机可读存储介质的计算机可读介质，并且可以通信、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
在计算机可读介质上实现的程序代码可以使用任何适当的介质传输，包括但不限于无线、有线、光纤、电缆、RF等，或前述的任何适当组合。用于执行本发明的诸方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，所述编程语言包括面向对象的编程语言（诸如Java（TM）、Smalltalk、C++等）、常规的过程性编程语言（诸如“C”编程语言或类似的编程语言）、以及函数性编程语言（诸如Scala、Haskel等）。程序代码可以作为独立的软件包而完全在用户的计算机上执行、部分地在用户的计算机上执行、部分地在用户的计算机上执行并且部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络（包括局域网（LAN）或广域网（WAN））连接到用户的计算机，或者可以与外部计算机进行连接（例如，通过使用因特网服务提供商的因特网）。
下面参照根据本发明的实施例的方法、设备（系统）和计算机程序产品的流程图和/或框图来描述本发明的诸方面。应当理解，流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以通过计算机程序指令来实施。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，特别是微处理器或中央处理单元（CPU），以产生机器，使得经由计算机的处理器、其他可编程数据处理设备或其他设备执行的指令产生用于实施流程图和/或一个或多个框图块中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中，所述计算机可读介质可以指导计算机、其他可编程数据处理装置或其他设备以特定方式工作，使得存储在所述计算机可读介质中的指令产生制品，所述制品包括实施流程图和/或一个或多个框图块中指定的功能/动作的指令。
计算机程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，以产生计算机实施的过程，使得在计算机或其他可编程装置上执行的指令提供用于实施流程图和/或一个或多个框图块中指定的功能/动作的过程。
附图中的流程图和框图示出了根据本发明的各种实施例的设备、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个块可以表示代码的模块、段或部分，其包括用于实施指定的（多个）逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施方案中，块中所述的功能可以不按照图中所述的顺序出现。例如，连续示出的两个块实际上可以基本上同时执行，或者有时可以根据所涉及的功能以相反的顺序执行这些块。还将注意到，框图和/或流程图的每个块以及框图和/或流程图中的块的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
附图说明
参照附图，通过示例的方式，本发明的这些和其他方面是显而易见的并将进一步得到阐明，在附图中：
图1是系统的实施例的框图；
图2是屏幕外色彩提取方法的第一实施例的流程图；
图3示出了视频帧的示例，其中一些视频帧捕获了明亮的光源；
图4示出了反映图3的每个视频帧的明亮光源的位置的光设置的示例；
图5是屏幕外色彩提取方法的第二实施例的流程图；
图6是屏幕外色彩提取方法的第三实施例的流程图；
图7示出了由当前帧和9个相邻帧组成的超级帧的示例；
图8描绘了图7的超级帧中的分析区域的示例；
图9是屏幕外色彩提取方法的第四实施例的流程图；
图10示出了超级帧中的不同分析区域的示例；
图11是色彩提取选择方法的第一实施例的流程图；
图12是色彩提取选择方法的第二实施例的流程图；
图13是色彩提取选择方法的第三实施例的流程图；
图14是色彩提取选择方法的第四实施例的流程图；
图15示出了色彩空间中的最短距离色彩过渡的示例；
图16示出了色彩空间中的等饱和度色彩过渡的示例；
图17示出了色彩空间中的去饱和最短距离色彩过渡的示例；
图18是加权影响光效果创建方法的第一实施例的流程图；
图19是加权影响光效果创建方法的第二实施例的流程图；
图20是加权影响光效果创建方法的第三实施例的流程图；
图21是屏幕外色彩提取方法的第五实施例、色彩提取选择方法的第五实施例和加权影响光效果创建方法的第四实施例的流程图；而且
图22是用于执行本发明方法的示例性数据处理系统的框图；而且
图23描绘了将权重分配给超级帧的像素以从这些像素确定单一色彩的函数的示例。
附图中的相应元件由相同的附图标记表示。
具体实施方式
图1示出了上述系统的实施例：移动设备1。移动设备1连接到无线LAN接入点23。桥接器11也例如经由以太网连接到无线LAN接入点23。光源13-17例如使用Zigbee协议与桥接器11无线通信，并且可以经由桥接器11而例如由移动设备1控制。桥接器11可以是PhilipsHue桥接器并且光源13-17例如可以是Philips Hue灯。在替代实施例中，在没有桥接器的情况下控制光设备。
TV 27也连接到无线LAN接入点23。例如，媒体内容可以由移动设备1或由TV 27呈现。无线LAN接入点23连接到因特网24。因特网服务器25也连接到因特网24。例如，移动设备1可以是移动电话或平板电脑。例如，移动设备1可以运行Philips Hue Sync应用程序。移动设备1包括处理器5、接收器3、发射器4、存储器7和显示器9。在图1的实施例中，显示器9包括触摸屏。移动设备1、桥接器11和光源13-17是照明系统21的一部分。
在图1的实施例中，处理器5被配置成执行屏幕外色彩提取方法。因此，处理器5被配置成使用接收器3来获取视频内容，对视频内容的多个帧执行分析，基于该分析确定多个帧中的相机移动，基于确定的相机移动从多个帧中的至少一个帧提取屏幕外的色彩信息，以及确定当呈现视频内容的另一帧时要在一个或多个光源13-17上呈现的一个或多个光效果。例如，色彩可以包括色度和亮度。
与多个帧相邻的另一帧以及一个或多个光效果是基于屏幕外的色彩信息确定的。处理器5还被配置成使用发射器4来控制一个或多个光源13-17以呈现一个或多个光效果和/或存储指定一个或多个光效果的光脚本。
在图1的实施例中，处理器5还被配置成执行色彩提取选择方法。因此，处理器5被配置成使用接收器3来获取媒体内容和关于媒体内容的信息。媒体内容包括视频内容。处理器5进一步被配置成基于所获取的信息从多种色彩提取方法中选择色彩提取方法。各种色彩提取方法的不同之处在于它们从相同的像素中提取不同的色彩。
处理器5还被配置成通过应用所选择的色彩提取方法从视频内容的一个或多个帧提取色彩，并且确定当呈现一个或多个帧时要在一个或多个光源上呈现的一个或多个光效果。可以从屏幕上的内容和/或屏幕外的内容提取色彩。基于所提取的色彩来确定一个或多个光效果。处理器5还被配置成使用发射器4来控制一个或多个光源以呈现一个或多个光效果和/或存储指定一个或多个光效果的光脚本。
在图1的实施例中，处理器5还被配置成执行加权影响光效果创建方法。因此，处理器5被配置成使用触摸屏显示器9以允许用户影响用于确定一个或多个光效果的视频权重和音频权重。视频权重表示在一个或多个光效果的确定中视频内容的权重，并且音频权重表示在该确定中音频内容的权重。音频权重可以是音乐权重，即仅用于权衡如何基于与音乐内容相关的信息来确定光效果，或者音频权重也可以应用于其他类型的音频，例如语音和/或音频效果。
处理器5还被配置成使用接收器3来获取与视频内容相关的信息和/或与音频内容相关的信息，并且确定当呈现媒体内容时要在一个或多个光源上呈现的一个或多个光效果。根据视频权重而基于与视频内容相关的信息来确定一个或多个光效果，并且根据音频权重而基于与音频内容相关的信息来确定一个或多个光效果。
例如，可以根据视频权重和音频权重而基于所获取的信息来选择色彩提取方法。然后可以使用色彩提取方法从屏幕上的内容和/或屏幕外的内容提取色彩。视频权重可以用于指示应如何权衡从屏幕外的内容提取的色彩和从屏幕上的内容提取的色彩。例如，如果用户指示更高的视频权重或指示更高的屏幕外的贡献作为视频权重的分量，则从屏幕外的内容提取的色彩可以被赋予比它们在其他情况下将被赋予的权重更高的权重。
处理器5还被配置成使用发射器4来控制一个或多个光源，以呈现一个或多个光效果和/或存储指定一个或多个光效果的光脚本。在图1的实施例中，处理器5被配置成执行所有三种方法。在替代实施例中，处理器5被配置成执行三种方法中的一种或两种。
在图1所示的移动设备1的实施例中，移动设备1包括一个处理器5。在替代实施例中，移动设备1包括多个处理器。移动设备1的处理器5可以是通用处理器，例如来自Qualcomm或基于ARM的处理器，或者是专用处理器。例如，移动设备1的处理器5可以运行Android或iOS操作系统。存储器7可以包括一个或多个存储器单元。例如，存储器7可以包括固态存储器。例如，存储器7可用于存储操作系统、应用程序和应用程序数据。
例如，接收器3和发射器4可以使用诸如Wi-Fi（IEEE802.11）的一种或多种无线通信技术来与无线LAN接入点23通信。在替代实施例中，使用多个接收器和/或多个发射器，而不是单个接收器和单个发射器。在图1所示的实施例中，使用单独的接收器和单独的发射器。在替代实施例中，接收器3和发射器4组合成收发器。显示器9可以包括例如LCD或OLED面板。移动设备1可以包括移动设备的其他典型部件，诸如电池和电力连接器。可以使用一个或多个处理器上运行的计算机程序来实现本发明。
在图1的实施例中，本发明的系统是一种移动设备。在替代实施例中，本发明的系统是一种不同的设备，例如PC或视频模块，或者包括多个设备。视频模块可以是专用的HDMI模块，其可以放置在TV和提供HDMI输入的设备之间，从而其可以分析例如HDMI输入。
图2示出了屏幕外色彩提取方法的第一实施例。步骤101包括获取视频内容。步骤103包括对视频内容的多个帧执行分析。步骤105包括基于该分析确定多个帧中的相机移动。例如，相机移动可以是倾斜、变焦、横向相机移动或旋转相机移动。步骤107包括基于确定的相机移动从多个帧中的至少一个帧提取屏幕外的色彩信息。
步骤109包括确定当呈现视频内容的另一帧时要在一个或多个光源上呈现的一个或多个光效果。与多个帧相邻的另一帧和一个或多个光效果是基于屏幕外的色彩信息确定的。所述多个帧包括在所述帧之前的一个或多个帧和/或在所述帧之后的一个或多个帧。在步骤109之后，执行步骤111和/或步骤113。步骤111包括存储指定一个或多个光效果的光脚本。步骤113包括控制一个或多个光源以呈现一个或多个光效果。
例如，创建光脚本可以使用以下过程：
1. 执行视觉媒体的预分析（有或无人类协助），以获取关于在视频的连续片段（“镜头”）中发生的相机移动的相机移动信息。跟踪过程可以向前和反向应用，以获取用于工作的更大的数据集。
2. 基于在步骤1中收集的信息，相对于镜头中的其他帧虚拟地定位镜头内的每个帧。
3. 对于每一帧，存储关于屏幕外的色彩信息的位置的数据。
4. （可选）执行手动编辑（例如，针对给定镜头，选择使用或不使用屏幕外的内容）。
5. 生成最终的脚本，其中脚本的一部分包含屏幕外的色彩信息。
对于实时光效果呈现，（给定足够的处理资源）有可能实时运行上述所有步骤（反向分析除外）。然而，通常不可能检测到即将进入屏幕的色彩信息（即未来帧的一部分），除非使用缓冲器将视频输出延迟几个帧（这可以通过上述视频模块来实现）。
在图2的实施例中，步骤107包括子步骤121和123。步骤121包括从多个帧中选择至少一个帧——通过基于一个或多个光源中的光源的空间位置和所确定的相机移动来选择帧。步骤123包括确定用于提取所选择的帧中光源的屏幕外的色彩信息的分析区域。
因此，基于光源的空间位置，可以估计和映射屏幕外的内容相对于观看者的虚拟位置。例如，如果相机执行180度旋转运动，则在用户后面的光源上呈现的光效果可能使用来自帧的（色彩）信息，该帧与相机移动的开始（反映0度旋转）相对应。尽管该示例仅描述了水平移动，但该原理可以用于水平移动和/或用于垂直移动。
图3示出了当相机执行这样的180度旋转运动时捕获的连续视频帧31-38的示例。视频帧31-38是单个镜头的一部分。帧31-34捕获明亮的光源——太阳——它的色彩是这些帧中的主色。图4示出了图3的视频帧31-38中的每个帧在时刻41-48处的光设置的示例，并描绘了光源的光设置是如何跟随太阳的明亮白色的。
相机移动被确定为在帧31中开始。太阳在帧31中的位置导致在时刻41处中心和右前光源呈现与太阳的明亮白色匹配的光效果。在31-34帧中，太阳仍然在屏幕上可见。在帧35-38中，太阳在屏幕上不再可见，但仍然在光设置中表示。对于帧38，确定相机已旋转180度，并且对于观看者后面的光源，应从帧31提取色彩信息。因此，在时刻48处，左后和右后光源将呈现与太阳的明亮白色匹配的光效果。
图5示出了屏幕外色彩提取方法的第二实施例。该第二实施例是图2的第一实施例的拓展。在该第二实施例中，该方法包括附加的步骤167，步骤107包括两个附加的子步骤：步骤161和165，并且步骤123包括子步骤163。步骤161包括确定至少一个帧是否捕获移动对象，并且步骤163包括从未捕获移动对象的至少一个帧的一个或多个区域提取屏幕外的色彩信息。步骤165包括进一步从视频内容的另一帧提取屏幕上的色彩信息，并且步骤167包括基于屏幕上的色彩信息确定一个或多个其他光效果。
图6示出了屏幕外色彩提取方法的第三实施例。在图6的实施例中，步骤107包括子步骤131、141和133，而不是图2的子步骤121和123，并且步骤109包括子步骤135。步骤131包括组成超级帧，该超级帧包括另一帧（即当前帧）和至少一个帧的一部分。超级帧是基于确定的相机移动而组成的。步骤141包括基于光源的空间位置和关于相机移动的信息来确定分析区域，该分析区域用于从超级帧提取一个或多个光源中的光源的屏幕外的色彩信息。可以针对一个或多个光源的子集或所有光源执行步骤141。
例如，关于相机移动的信息可以指示相机移动是横向相机移动还是旋转相机移动。可以使用边缘检测，和/或可以确定移动视差，以区分横向相机移动和旋转相机移动。步骤133包括使用步骤141中确定的（多个）分析区域而从超级帧确定屏幕上的色彩信息和屏幕外的色彩信息。步骤135包括基于屏幕上的色彩信息和屏幕外的色彩信息来确定一个或多个光效果。
图7示出了通过相机移动来扩展当前帧的边界从而创建超级帧的拼贴帧的示例。先前帧50-54和未来帧56-59的部分与当前帧55一起包括在超级帧61中。在图7的示例中，第一当前帧55已经被添加到超级帧61。接下来，帧54和帧56中也不是帧55的同一部分的部分已经被添加到超级帧61。接下来，帧53和帧57中尚未是超级帧61的同一部分的部分被添加到超级帧61。同样的原理已用于帧50-52和58-59。
图8示出了：根据光源相对于用户的屏幕的空间位置（例如，如用户的照明设置信息中所指定的），超级帧61的屏幕外的内容可以用于在光源上呈现屏幕外的内容的不同部分。分析区域73和74可以用于具有位置更高且更远离屏幕的光源的第一用户，而分析区域76和77可以用于具有位置更低且更靠近屏幕的光源的第二用户。分析区域73位于从图7的帧51获取的部分中，分析区域74位于从图7的帧57获取的部分中，分析区域76位于从图7的帧54获取的部分中，分析区域77位于从图7的帧56获取的部分中。
在图8的示例中，分析区域仅由屏幕外的内容确定，但分析区域也可以由屏幕上的内容确定。分析区域所映射的光源可以全部是不同光设备的一部分，或者一个或多个光设备可以包括多个光源，例如可以使用像素化光。在像素化光的情况下，其一部分可以呈现基于屏幕上的内容而创建的光效果，而其另一部分可呈现基于屏幕外的内容而创建的光效果。因此，像素化光条可能能够呈现基于图8的整个超级帧61而创建的光效果。
图9示出了屏幕外色彩提取方法的第四实施例。在第四实施例中，图6的第三实施例的步骤141已经被步骤151代替。步骤151包括确定用于提取屏幕上的色彩信息和屏幕外的色彩信息两者的单个分析区域。确定单个分析区域的位置和/或大小，使得分析区域的一部分与另一帧（即当前/屏幕上的帧）重叠，并且分析区域的一部分与至少一帧（从其中提取屏幕外的色彩信息）的部分重叠。
借助图10对此进行了说明。在帧81-83中，示出了可以移动分析区域以覆盖超级帧中的屏幕上的内容和屏幕外的内容两者。帧81反映相机移动的开始，并且分析区域91处于其正常位置。超级帧82和83包括多个先前帧的部分。在超级帧82中，分析区域92向右移动以覆盖当前帧的一部分和一个先前帧的一部分。分析区域93已经移动，使得它与当前帧和两个先前帧重叠。
在帧85-86中，分析区域不仅被移动，而且被拉伸。该区域“拉伸”的程度可以由脚本创建者定义或自动定义。与分析区域92相比，分析区域95已经被扩大以覆盖两个帧的更大部分。与分析区域93相比，分析区域96已经被扩大以覆盖三个帧的更大部分。帧85-86与帧82-83相同，只是分析区域不同。
当提取屏幕外的和屏幕上的色彩信息以便基于两者而创建光效果时，可以将不同的权重分配给屏幕上的和屏幕外的区域的色彩值，以例如减少或增加屏幕外的色彩信息的影响。例如，可以使用一种算法，该算法对从屏幕上的区域中的像素提取的色彩赋予1的权重，并对从屏幕外的区域中的像素提取的色彩赋予减小的权重，其中像素离屏幕上的区域越远，权重变得越低。
例如，该算法可以通过离散函数或连续（例如线性）函数来实现。后者的一个示例在图23中示出。图23示出了图7的超级帧61的部分601。部分601由当前帧55的部分和先前帧51至54的部分组成。可以从像素列下方的线603的对应部分确定要赋予从部分601中的特定像素列提取的色彩的权重（范围从0到1）。图23仅示出了超级帧61的一部分。相同的原理可以应用于超级帧61的其他像素。用户能够指定应用哪个权重。
图11示出了色彩提取选择方法的第一实施例。步骤201包括获取媒体内容和关于该媒体内容的信息。媒体内容包括视频内容并且还可以包括音频内容。例如，关于该内容的信息可以包括动态级别、对比度信息、饱和度信息、音频级别、流派、场景位置、场景类型和/或歌曲标题。
步骤203包括基于所获取的信息从多种色彩提取方法中选择色彩提取方法。色彩提取方法的不同之处在于它们从相同的像素中提取不同的色彩。例如，所述多种色彩提取方法可以包括不同类型的色彩提取方法和/或用于单一类型的色彩提取方法的不同参数集。
例如，不同类型的色彩提取方法可以包括平均色彩确定（例如，三均值色彩确定、均值色彩确定、中值色彩确定或模式色彩确定）、主色彩确定、主照明色彩确定、可见光源色彩确定和/或特征色彩确定。可以确定每帧（子区域）的平均色彩，并且随后可以对多个帧上的平均值本身进行平均（例如，三均值的三均值）。可以使用不同于确定平均值的平均值的平均方法来确定每帧（子区域）的平均值。
执行色彩提取的不同方法可以针对色彩空间的不同区域使用不同的权重，例如基于情绪。例如，如果情绪被确定为压抑，则可以使用色彩提取方法，该方法给予（即偏好）去饱和的色彩更高的权重。执行三均值确定（或其他平均色彩确定）的不同方法可以进一步针对帧的不同分析区域使用不同的权重，例如，根据超级帧的屏幕外的内容中的分析区域（例如，一列或多列像素）而确定的三均值可以被赋予与根据超级帧的屏幕上的内容中的分析区域而确定的三均值不同的权重，之后，可以确定不同分析区域的三均值的平均值（例如，三均值）。
步骤205包括通过应用所选择的色彩提取方法从视频内容的一个或多个帧中提取色彩。在图11的实施例中，对于多个区段，逐区段地提取一种或多种色彩。每个区段包括一场景、一镜头或单个帧。场景和镜头包括多个帧。可以从区段的所有帧中逐区段地提取单种色彩和/或可以从区段的所有帧中的子区域中逐子区域逐区段地提取色彩。在图11的实施例中，如果要存储光脚本，则可以在步骤205之后重复步骤203，但随后针对不同的区段。
例如，根据用户的照明设置中的内容类型和光源类型，可以为区段的不同子区域（即，屏幕的不同区域）选择不同的色彩提取方法。例如，对于映射到屏幕的中心区域的光源，可以在屏幕的中心上使用三均值确定，并且对于映射到屏幕的左区域和右区域的光源，可以在屏幕的左区域和右区域上使用主色确定。因此，针对特定区段，可以选择多个不同的色彩提取方法，以从所述区段的多个不同子区域提取色彩。
如果从不同的子区域提取色彩，则可以使用所选择的（多种）色彩提取方法而从子区域的一个或多个子区域提取多个候选色彩，并且可以从每个子区域的候选色彩中选择一种色彩，使得从不同子区域提取的不同色彩例如是美观的、互补的、色调相同的或亮度相同的。例如，根据预设（例如，愉悦的或互补的），可以在例如侧翼灯上呈现不同的色彩组合。作为第一示例，可以通过确定子区域中的三种最主要的色彩来提取多个候选色彩。作为第二示例，可以通过使用平均色彩确定的不同方法（例如，三均值、均值、中值和模式）来提取多个候选色彩。
步骤207包括确定当呈现一个或多个帧时要在一个或多个光源上呈现的一个或多个光效果。基于所提取的色彩来确定一个或多个光效果。在步骤207之后，执行步骤209和/或步骤211。
步骤209包括存储指定一个或多个光效果的光脚本。在图11的实施例中，在步骤209之前执行步骤208。步骤208包括允许用户在存储光脚本之前确认提取的色彩和/或选择的色彩提取方法。在该实施例中，如果所选择的色彩和/或所选择的（多种）色彩提取方法不符合用户的喜好，则允许用户在步骤208中手动修改所提取的色彩或手动选择不同的色彩提取方法。如果用户针对特定区段或针对所有区段选择不同的色彩提取方法，则针对这些区段重复步骤205。
步骤211包括控制一个或多个光源以呈现一个或多个光效果。在图11的实施例中，在针对特定区段已经确定并呈现一个或多个光效果之后，重复步骤201（但是针对内容的下一个区段）。如果与在步骤211中控制一个或多个光源的同时在步骤209中实时创建光脚本，则确定光效果并将其存储在每个区段的光脚本中，以及省略步骤208。
例如，创建光脚本可以使用以下过程：
1. 使用以下一种或多种示例方法收集信息：
-视听媒体的预分析（视觉动态量、对比度、饱和度、音频水平等）
-针对与媒体内容相关的现有信息（流派、场景位置和类型、音乐标题等）查询数据库
2. 然后，处理相关信息以确定用于内容的（多个）最佳色彩提取方法。在理想实施例中，在逐区段的基础上（例如通过场景、相机镜头、帧或组合）定义该方法。
3. 然后，针对每个媒体区段确认提取方法，并“烘烤”成最终的光脚本。这里，术语“提取方法”仅指代基于内容的色彩/强度信号的创建。这并不意味着最终的信号实际上包含在源中。可能存在相关性，但最终的色度坐标不需要按照定义包含在源中。
对于实时光效果呈现，可以使用以下处理，例如：
1. 使用以下一种或多种示例方法收集信息：
-从内容提供商提供的元数据中提取，或针对与媒体内容相关的现有信息（流派、场景位置和类型、音乐标题等）查询数据库（例如Gracenote）
-实时分析流数据（动态量、响度、饱和度等）
2. 实时处理相关信息，以确定用于媒体内容中当前位置的（多种）最佳色彩提取方法。
3. 实时地应用提取并在光源上呈现提取。
可选地，例如在视频模块中，使用缓冲器来缓冲若干未来帧，以允许在实时光效果呈现期间分析这些未来帧。
图12示出了色彩提取选择方法的第二实施例。与图11的第一实施例相比，第二实施例不包括步骤208和209。在该实施例中，仅存储光脚本。此外，在图12的第二实施例中，图11的步骤203和211分别包括步骤221和223。步骤221包括基于所获取的信息并基于与用户的照明设置相关的信息而从多种色彩提取方法中选择色彩提取方法。用户的照明设置包括一个或多个光源。步骤223包括控制用户的照明设置的一个或多个光源以呈现一个或多个光效果。
例如，与用户的照明设置相关的信息可以包括光源的数量、光源的空间位置、光源的类型、光源的能力。例如，如果用户的照明设置包括能够深度调光的光源（例如PhilipsHueGo），则可以选择从暗场景提取与——如果用户的照明设置不包括任何具有深度调光的光源（例如Philips Hue 灯泡E27）时选择的——色彩提取方法不同色彩的色彩提取方法。
图13示出了色彩提取选择方法的第三实施例。在该实施例的步骤207中，针对第一类型的潜在照明设置确定一个或多个光效果。该方法还包括三个附加的步骤。步骤231包括基于所获取的信息从多种色彩提取方法中选择其他色彩提取方法。步骤233包括通过应用其他选择的色彩提取方法而从视频内容的一个或多个帧提取其他色彩。
步骤235包括针对第二类型的潜在照明设置确定一个或多个其他光效果。一个或多个其他光效果是基于所提取的其他色彩来确定的。此外，步骤209包括步骤237。步骤237包括在光脚本中指定一个或多个其他光效果。一个或多个光效果与光脚本中的第一类型的照明设置相关联，并且一个或多个其他光效果与光脚本中的第二类型的照明设置相关联。当稍后呈现光脚本时，可以基于用户的实际照明设置来选择匹配的光效果。在替代实施例中，相同的方法用于两个以上的潜在照明设置。
因此，对于图12和图13的实施例，用户的照明设置还可以用于确定或选择色彩提取方法的类型。在脚本化内容的情况下，脚本可以包括使用不同方法创建的调色板，并且然后基于用户的设置在回放期间选择这些调色板之一。在实时光效果呈现的情况下，用户的设置可以成为加权因素（除了例如流数据和内容数据之外），以决定使用什么色彩提取方法。例如，关于用户的设置的信息可以包括光源的类型、光源的位置和/或光源的数量。
图14示出了色彩提取选择方法的第四实施例。在该第四实施例中，多种色彩提取方法包括用于单一类型的色彩提取方法的不同参数集，并且这些不同参数集标识在同一类型色彩提取方法（例如三均值确定或另一平均色彩确定）中使用的色彩空间的不同区域。因此，可以基于所获取的信息来确定色彩过渡如何发生。代替从例如点X到点Y穿过特定色彩空间的直线，该路径可以受所获取的信息的影响。这里的一个示例可以是保持感知亮度或饱和度恒定的色彩过渡。
在图14的步骤201中，获取四个区段Sk-Sk+3，例如在同一场景中的四个镜头。在步骤203的第一次迭代中，分析区段Sk并且基于该分析选择色彩提取方法。在步骤205的第一次迭代中，将该提取方法应用于区段Sk以确定色彩Ck。在步骤203的第二次迭代中，分析区段Sk+3并且基于该分析选择色彩提取方法。在步骤205的第二次迭代中，将该提取方法应用于区段Sk+3以确定色彩Ck+3。
接下来的步骤251包括在色彩空间中选择两种色彩Ck和Ck+3之间的过渡路径，以及选择要应用于位于两个区段Sk和Sk+3之间的中间部分Sk+1和Sk+2的色彩提取方法。基于所选择的过渡路径来选择色彩提取方法。该提取方法在步骤205的第三次迭代中应用于区段Sk+1以确定色彩Ck+1，并在步骤205的第四次迭代中应用于区段Sk+2以确定色彩Ck+2。
在步骤207中，基于从两个区段Sk和Sk+3提取的两种色彩Ck和Ck+3以及从中间区段Sk+1和Sk+2提取的色彩Ck+1和Ck+2，确定要针对区段Sk至Sk+3呈现的光效果。例如，基于色彩Ck确定用于区段Sk的光效果，基于色彩Ck+1确定用于区段Sk+1的光效果，基于色彩Ck+2确定用于区段Sk+2的光效果，以及基于色彩Ck+3确定用于区段Sk+3的光效果。步骤209包括存储指定光效果的光脚本。
图15-17示出了不同的色彩过渡路径的示例。图15-17表示CIEL*a*b*1976色彩空间，以及从点X（坐标271）到点Y（坐标272）穿过该空间的各种路径。例如，坐标271可以对应于Ck且坐标272可以对应于Ck+3。为了便于解释，L（亮度）对于X和Y都是常量，并且只有a*和b*（绿-红和蓝-黄色彩分量）是变量。所提取的色彩的亮度预期是相同或不同的，并且穿过色彩空间的路径可以进一步包括在X和Y的亮度之间不是直线的路径。作为示例，X和Y之间的亮度路径可以是抛物线，使得路径上的一些点具有低于X和Y两者的亮度。图15示出了一条直的穿行线，其结果是这条线（线275）上的所有点的饱和度将比点X和Y低。
图16示出了过渡期间使饱和度最大化的最大饱和度算法（线276上的所有点与原点的距离相等）。最后，图17示出了过渡期间使线277上的色度坐标去饱和的算法。如果基于色彩Ck和Ck+3而确定场景的情绪是压抑的，则例如可以为中间部分Sk+1和Sk+2选择图17中所描绘的过渡路径。最后，图17示出了在过渡期间使线277上的色度坐标去饱和的算法，例如，如果基于色彩Ck和Ck+3确定场景的情绪是压抑的，则可以为中间区段Sk+1和Sk+2选择图17所示的过渡路径。
图18示出了加权影响光效果创建方法的第一实施例。利用加权影响光效果创建方法，基于对媒体内容的分析来确定一个或多个光效果。媒体内容包括视频内容和音频内容。步骤301包括允许用户影响用于确定一个或多个光效果的视频权重和音频权重。视频权重表示在一个或多个光效果的确定中视频内容的权重，并且音频权重表示在该确定中音频内容的权重。视频权重可以包括用于不同类型的视频信息的多个权重分量，并且/或者音频权重可以包括用于不同类型的音频信息的多个权重分量，例如用于音乐节奏的特定权重。
用户能够指定和/或适配视频权重和音频权重两者，或者用户能够指定和/或适配两个权重中的一个。在后一种情况下，在用户已经指定或适配第一权重之后，可以基于第一权重自动确定第二权重。用户可以为权重指定单个值或多个值（例如范围）。如果用户指定多个值，则系统本身可以选择这些值中的一个，例如根据音频内容的类型、正在播放音乐的（多个）通道和/或视频内容的类型。例如，如果电影中的特定场景非常多彩，使得三均值色彩或主色彩不能很好地呈现视频内容，则即使用户例如选择了类似的音频和视频权重范围，系统也可能决定使用更多的受音频影响的色彩。
步骤303包括获取与视频内容相关的信息和/或与音频内容相关的信息。例如，与视频内容相关的信息可以包括色彩信息。例如，与音频内容相关的信息可以包括和声、效价、能量、情绪和/或可舞蹈性信息。例如，Spotify提供了效价、能量和可舞蹈性信息。Spotify的效价信息是一个从0.0到1.0的度量，该度量描述一首音轨所传达的音乐的积极性。高效价的音轨听起来更积极（例如快乐、开朗、欣快），而低效价的音轨听起来更消极（例如悲伤、压抑、愤怒）。
Spotify的能量信息是一个从0.0到1.0的度量，代表强度和活动的感知度量。通常，充满活力的音轨感觉快速、响亮和嘈杂。例如，死亡金属具有高能量，而巴赫的前奏曲在音阶上得分低。对该属性有贡献的感知特征包括动态范围、感知的响度、音色、初始速度和总熵。Spotify的可舞蹈性信息基于音乐元素的组合（包括速度、节奏稳定性、节拍强度和整体规律性）描述了音轨适合跳舞的程度。值为0.0是最不适合跳舞的而1.0是最适合跳舞的。
步骤305包括确定当呈现媒体内容时要在一个或多个光源上呈现的一个或多个光效果。根据视频权重而基于与视频内容相关的信息来确定一个或多个光效果，并且根据音频权重而基于与音频内容相关的信息来确定一个或多个光效果。
在图18的实施例中，通过确定一个或多个光效果中的每一个的色彩、开始时间和持续时间以及通过将一个或多个光效果中的每一个分配给一个或多个光源中的至少一个来确定一个或多个光效果。可以基于视频权重和音频权重来选择色彩提取方法、持续时间和空间分配。作为第一示例，可以基于音乐的效价或情绪或者基于场景是慢还是快（就视频内容而言）来选择色彩提取方法。作为第二示例，光效果的持续时间可以取决于场景是慢还是快，或者可以被确定为使光效果与音乐的节拍、小节和/或节奏同步。
作为第三示例，用于确定特定光源的（多种）色彩的所使用的视频分析区域可以取决于该光源的空间位置，或者用于确定特定光源的（多种）色彩和/或（多个）持续时间的音频通道（例如，左或右）可以取决于该光源的空间位置。作为第四示例，如果在环绕声系统的情况下仅在（多个）背面音频通道/（多个）扬声器上播放音乐，则仅背面中的光源（如果用户拥有它们）可以基于与音乐内容相关的信息呈现光效果。如果用户在背面中没有光源，则没有任何光效果可以基于与音乐内容相关的信息。因此，音频通道可以用于确定如何在视频和音频驱动的光效果创建之间进行平衡。
在步骤305之后，执行步骤307和/或步骤309。步骤307包括存储指定一个或多个光效果的光脚本。步骤309包括控制一个或多个光源以呈现一个或多个光效果。
因此，用户可以选择对视觉和音乐内容的相对影响以及每一个如何影响最终的光效果进行加权。作为示例，值-1可以意味着仅对音乐方面的依赖，而值+1可以意味着对视频内容的依赖。介于两者之间的值将意味着两种内容及其对光效果的影响的“混合”。例如，如果该值为-1，则光效果可以仅由从媒体中包含的音乐中获取的信息来确定。在这种情况下，光效果将不会与媒体的视觉部分（如果存在的话）有任何直接的关联。
从音乐中获取的不同类型的信息可以被单独地公开，从而允许对每种信息应用不同的权重。例如，用户可以选择（多个）音乐音轨的节奏方面对照明效果的影响量。
同样的方法可以应用于光脚本生成和光效果的实时创建两者。例如，可以向用户提供具有不同音频/视频权重的几个预设集，例如具有高音频权重的“音乐视频”和/或具有中等音频和视频权重的“电影”。
例如，为了确定哪些音乐音轨是一段媒体内容的一部分，该信息可以基于媒体内容的标题或其他标识而从因特网或从内容提供商获取，或者该信息可以通过本地分析音频内容来确定。该信息还可以包括音乐音轨在媒体内容片段中的位置和与音乐相关的上下文信息（例如和声、效价、情绪、能量等）。
一旦获取该信息，就可以根据一组预定义的规则将其用于设置光效果生成的参数。例如，规则可以指定音乐轨道的能量和平滑度之间的反向关系，即包含低能量音乐的电影部分将应用更高的平滑度，反之亦然。同样，这可以应用于电影中单个音乐音轨的不同区段。
图19示出了加权影响光效果创建方法的第二实施例。在已经执行步骤301之后（参见图18），在步骤321中获取视频内容，因为视频内容将在本地分析。在步骤323中，基于音频和视频权重确定接下来执行哪个步骤。如果音频权重为0，则接下来执行步骤325。如果音频权重为1，则接下来执行步骤327。
步骤325包括基于默认参数或基于根据视频权重而选择的参数来分析视频内容，例如从视频内容提取色彩。步骤327包括向因特网服务器发送对与音频内容相关的元数据的请求。步骤341包括因特网服务器接收请求，并响应于步骤343中的请求发送所请求的元数据。步骤329包括系统接收元数据。
接下来，步骤331包括系统从所接收的元数据中确定参数。步骤333包括系统基于在步骤331中确定的参数来分析视频内容，例如从视频内容提取色彩。在步骤305中，基于对视频内容的分析来确定一个或多个光效果。步骤307包括存储指定一个或多个光效果的光脚本。
图20示出了加权影响光效果创建方法的第三实施例。在图20所示的第三实施例中。不从因特网服务器获取与音频内容相关的元数据，而是执行本地音频分析。由于这个原因，图19的步骤321被步骤351代替，在步骤351中获取视频和内容两者。如果在步骤323中确定音频权重为1，则执行步骤353。步骤353包括分析音频内容并从音频内容中确定参数。然后在步骤333中使用这些参数来分析视频内容，例如从视频内容提取色彩。
在图19的实施例和图20的实施例中，视频分析都在本地执行。在替代实施例中，从因特网服务器获取与视频内容相关的元数据。
图21示出了屏幕外色彩提取方法的第五实施例、色彩提取选择方法的第五实施例和加权影响光效果创建方法的第四实施例。步骤401类似于图18至图20的步骤301。步骤401包括允许用户影响用于确定一个或多个光效果的视频权重和音频权重。步骤403类似于图20的步骤351。步骤403包括获取视频内容和音频内容。步骤405包括获取与视频内容相关的信息和/或与音频内容相关的信息（例如音乐内容）。
在步骤411中，基于音频和视频权重确定接下来执行哪个步骤。如果音频权重为0并且视频权重为1，则接下来执行步骤421。如果音频权重为1并且视频权重为0，则接下来执行步骤441。如果音频权重为1并且视频权重为1，则接下来执行步骤431。在图21的实施例中，音频权重为0或1并且视频权重为0或1。在替代实施例中，音频权重和视频权重可以高于1。在该替代实施例中，例如，如果音频权重为0并且视频权重为1或更高，则可以执行步骤421，如果音频权重为1或更高并且视频权重为0，则可以执行步骤441，并且如果音频权重为1或更高并且视频权重为1或更高，则可以执行步骤431。
如果接下来执行步骤421，则基于视频内容的内容（例如，基于视频内容的本地分析或基于从因特网服务器获取的元数据）从多种色彩提取方法中选择色彩提取方法。在该实施例中，多种色彩提取方法包括不同类型的色彩提取方法。步骤421包括确定场景是慢场景、快场景（动作场景）还是正常场景。例如，基于通常在压缩视频中使用的移动矢量，这可以涉及检测有多少像素从一个帧移动到下一帧和/或像素从一个帧移动到下一帧的速度有多快。如果基于该检测确定单个移动值，则可以使用两个阈值来区分慢场景、正常场景和快（动作）场景。
在步骤422中，当确定所获取的信息指示场景是步骤421中的慢场景时，选择主色确定以从场景中提取色彩。场景中的主色通常是场景中出现最多的色彩。例如，可以制作色彩直方图，该色彩直方图每种色彩显示具有该色彩的像素的数量，并且可以选择具有最高像素计数的色彩。平均色彩通常不同于主色彩，并且甚至可能不是场景中任何像素具有的色彩。
在步骤424中，当确定所获取的信息指示场景是步骤421中的动作场景时，选择特征色彩确定（例如，确定如汽车或建筑物的主要特征的色彩）以从场景中提取色彩。在步骤423中，当确定所获取的信息指示场景是步骤421中的正常场景（即，既不是慢场景也不是动作场景）时，选择三均值确定以从每个帧中提取色彩。在该实施例中，确定三均值中的三均值，以从每帧的色彩中确定每场景的色彩。在步骤423之后执行步骤425。
步骤425包括确定所确定的三均值是否导致期望的色彩。如果是，则执行步骤426。如果不是，即如果三均值确定导致不期望的色彩，则在步骤424中选择特征色彩确定以从场景中提取色彩。期望或不期望什么色彩可以由用户预先配置或指定。例如，深色可能是不期望的。在步骤422和424之后还执行步骤426。在步骤426中，使用所选择的色彩提取方法从场景中提取一种或多种色彩。例如，使用不同的分析区域可以确定每个光源的色彩。如结合图2、5、6和9所解释的，在图21的实施例中，一种或多种色彩是从屏幕上的内容以及屏幕外的内容确定的。
在图21的实施例中，如果三均值确定将导致不期望的色彩，则选择特征色彩确定。在替代实施例中，如果在一个或多个帧中不存在主色，和/或如果在一个或多个帧中检测到移动、尖锐和/或高对比度对象，则可选地或附加地选择特征色彩确定。
步骤431包括确定光脚本是否可用于音乐内容，以及确定音乐内容是否包括超过一定量的对话。如果光脚本可用并且音乐内容包括不超过一定数量的对话，则执行步骤439。步骤439包括从光脚本提取光效果的参数，例如开始时间、持续时间和色彩。在步骤439之后执行步骤407。
如果光脚本不可用和/或音乐内容包括超过一定量的对话，则执行步骤432。如果执行步骤432，则基于与音乐内容相关的信息（例如，使用音频内容的本地分析确定的信息或从因特网服务器获取的信息）来选择色彩提取方法。步骤432包括确定音乐内容是包括低能量值还是高能量，并且确定音乐内容是包括低效价值还是高效价值。
在图21的实施例中，高于特定阈值的能量值被认为是高能量值，而等于或低于该特定阈值的能量值被认为是低能量值，高于特定阈值的效价值被认为是高效价值，而等于或低于该特定阈值的效价值被认为是低效价值。在替代实施例中，两个阈值可以用于能量和/或效价，并且两个阈值之间的值是正常（能量或效价）值。
如果在步骤432中（音乐的）能量值被确定为低并且（音乐的）效价值被确定为低，则在步骤433中选择第一色彩提取方法。如果在步骤432中能量值被确定为高并且效价值被确定为低，则在步骤434中选择第二色彩提取方法。如果在步骤432中能量值被确定为低并且效价值被确定为高，则在步骤435中选择第三色彩提取方法。如果在步骤432中能量值被确定为高并且效价值被确定为高，则在步骤436中选择第四色彩提取方法。音乐音轨的效价表示该音轨所传达的音乐积极性，并且该信息是由例如Spotify提供的。
步骤434和436中分别选择的第二和第四色彩提取方法涉及比步骤433和435中选择的第一和第三色彩提取方法更低的平滑度，例如，在确定三均值的三均值时分别使用平滑度。分别在步骤435和436中选择的第三和第四色彩提取方法确定比分别在步骤433和434中选择的第一和第二色彩提取方法所确定的色彩更饱和的色彩。
在步骤437中，使用所选择的色彩提取方法从场景中提取一种或多种色彩。例如，使用不同的分析区域可以确定每个光源的色彩。在图21的实施例中，仅从屏幕上的内容确定一种或多种色彩。步骤441包括确定一个或多个光效果的开始时间和持续时间，使得一个或多个光效果与音乐内容的节拍、小节和/或节奏同步。例如，可以基于音频内容任意地或以预定顺序确定光效果的色彩。在步骤441之后执行步骤407。
步骤407和409分别类似于图18的步骤305和309。在步骤407中，基于提取的色彩和/或任何确定的其他参数来确定一个或多个光效果。步骤409包括控制一个或多个光源以呈现一个或多个光效果。
图22描绘了示出示例性数据处理系统的框图，该数据处理系统可以执行如参考图2、5、6、9、11-14和18-21所描述的方法。
如图22所示，数据处理系统500可以包括通过系统总线506耦合到存储器元件504的至少一个处理器502。如此，数据处理系统可以将程序代码存储在存储器元件504内。此外，处理器502可以执行经由系统总线506从存储器元件504访问的程序代码。在一个方面，数据处理系统可以实现为适于存储和/或执行程序代码的计算机。然而，应当理解，数据处理系统500可以以包括处理器和存储器的任何系统的形式来实现，所述处理器和存储器可以执行本说明书中描述的功能。
存储器元件504可以包括一个或多个物理存储设备，诸如例如本地存储器508和一个或多个大容量存储设备510。本地存储器可以指代通常在程序代码的实际执行期间使用的随机存取存储器或（多个）其他非持久性存储设备。大容量存储设备可以实现为硬盘驱动器或其他持久数据存储设备。处理系统500还可以包括一个或多个高速缓冲存储器（未示出），该高速缓冲存储器提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储设备510检索程序代码的次数。例如，如果处理系统500是云计算平台的一部分，则处理系统500还能够使用另一处理系统的存储器元件。
可选地，描述为输入设备512和输出设备514的输入/输出（I/O）设备可以耦合到数据处理系统。输入设备的示例可包括但不限于键盘、诸如鼠标的指向设备、麦克风（例如，用于声音和/或语音识别）等。输出设备的示例可包括但不限于监视器或显示器、扬声器等。输入和/或输出设备可以直接或通过中间的I/O控制器耦合到数据处理系统。
在一实施例中，输入和输出设备可以实现为组合的输入/输出设备（在图22中以围绕输入设备512和输出设备514的虚线示出）。这种组合的设备的示例是触敏显示器，有时也称为“触摸屏显示器”或简单地称为“触摸屏”。在这样的实施例中，可以通过物理对象（诸如例如，用户的手写笔或手指）在触摸屏显示器上或附近的移动来提供对设备的输入。
网络适配器516还可以耦合到数据处理系统以使其能够通过中间的专用或公共网络耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括用于接收由所述系统、设备和/或网络发送到数据处理系统500的数据的数据接收器，以及用于将数据从数据处理系统500发送到所述系统、设备和/或网络的数据发送器。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统300一起使用的不同类型的网络适配器的示例。
如图22所示，存储器元件504可以存储应用程序518。在各种实施例中，应用程序518可以存储在本地存储器508、一个或多个大容量存储设备510中，或者与本地存储器和大容量存储设备分离。应当理解，数据处理系统500还可以执行可以促进应用程序518的执行的操作系统（图22中未示出）。以可执行程序代码的形式实现的应用程序518可以由数据处理系统500（例如，由处理器502）执行。响应于执行应用程序，数据处理系统500可被配置成执行本文描述的一个或多个操作或方法步骤。
本发明的各种实施例可以实现为与计算机系统一起使用的程序产品，其中程序产品的（多个）程序定义实施例的功能（包括本文描述的方法）。在一个实施例中，（多个）程序可以包含在各种非暂时性计算机可读存储介质上，其中，如本文所使用的，表述“非暂时性计算机可读存储介质”包括所有计算机可读介质，唯一的例外是暂时性传播信号。在另一个实施例中，（多个）程序可以包含在各种临时计算机可读存储介质上。说明性计算机可读存储介质包括但不限于：（i）其上永久存储信息的不可写存储介质（例如，计算机内的只读存储器设备，诸如CD-ROM驱动器可读的CD-ROM盘、ROM芯片或任何类型的固态非易失性半导体存储器）；和（ii）其上存储可改变信息的可写存储介质（例如，闪存、软盘驱动器或硬盘驱动器内的软盘或任何类型的固态随机存取半导体存储器）。计算机程序可以在本文描述的处理器502上运行。
本文使用的术语仅用于描述特定实施例的目的，而不旨在限制本发明。如本文所使用的，单数形式“一”（“a”或“an”）和“所述”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解，当在本说明书中使用时，术语“包括”（“comprise”和/或“comprising”）指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合。
以下权利要求中的所有装置或步骤加功能元件的相应结构、材料、动作和等同物旨在包括用于与具体要求保护的其他所要求保护的元件组合地执行功能的任何结构、材料或动作。出于说明的目的已经呈现了本发明的实施例的描述，但并不旨在穷尽或局限于所公开的形式的实现。选择和描述实施例是为了最好地解释本发明的原理和一些实际应用，并且使得本领域的其他普通技术人员能够针对具有适于预期的特定用途的不同修改的不同实施例理解本发明。

Claims (15)

1.一种用于基于对媒体内容的分析来确定一个或多个光效果的系统（1），所述媒体内容包括视频内容和音频内容，并且所述系统（1）包括：
至少一个输入接口（3）；
至少一个输出接口（4）；以及
以及至少一个处理器（5），其被配置成：
-使用所述至少一个输入接口（3）来允许用户影响用于确定一个或多个光效果的视频权重和音频权重，所述视频权重表示在所述一个或多个光效果的所述确定中所述视频内容的权重，并且所述音频权重表示在所述确定中所述音频内容的权重，
-使用所述至少一个输入接口（3）来获取与所述视频内容相关的信息和/或与所述音频内容相关的信息，
-确定当呈现所述媒体内容时要在一个或多个光源（13-17）上呈现的所述一个或多个光效果，根据所述视频权重而基于与所述视频内容相关的所述信息来确定所述一个或多个光效果，并且根据所述音频权重而基于与所述音频内容相关的所述信息来确定所述一个或多个光效果，以及
-使用所述至少一个输出接口（4）来控制所述一个或多个光源（13-17），以呈现所述一个或多个光效果和/或存储指定所述一个或多个光效果的光脚本，
-其中，与所述视频内容相关的所述信息包括从所述视频内容提取的色彩信息，并且所述至少一个处理器（5）被配置成通过使用特定的色彩提取方法从所述色彩信息中确定色彩，并且
-其中，如果所述视频权重具有特定非零值并且所述音频权重具有特定非零值，则至少基于与所述音频内容相关的所述信息来选择所述特定色彩提取方法。
2.根据权利要求1所述的系统（1），其中所述视频权重包括用于不同类型的视频信息的多个权重分量和/或所述音频权重包括用于不同类型的音频信息的多个权重分量。
3.根据前述权利要求中任一项所述的系统（1），其中所述至少一个处理器（5）被配置成确定所述视频权重和所述音频权重是否具有非零的特定值，确定光脚本是否可用于所述音频内容，并且在确定所述视频权重和所述音频权重具有所述特定非零值并且所述光脚本可用时，使用所述至少一个输出接口（4）来控制所述一个或多个光源以呈现所述可用光脚本中指定的光效果。
4.根据权利要求3所述的系统（1），其中所述至少一个处理器（5）被配置成确定所述音频内容是否包括超过一定量的对话，并且在确定所述视频权重和所述音频权重具有所述特定非零值、所述光脚本可用且所述音频内容包括不超过所述一定量的对话时，使用所述至少一个输出接口（4）来控制所述一个或多个光源（13-17），以呈现所述可用光脚本中指定的所述光效果。
5.根据前述权利要求中任一项所述的系统（1），其中与所述音频内容相关的所述信息包括和声、效价、能量、情绪和/或可舞蹈性信息，并且/或者与所述视频内容相关的所述信息包括色彩信息。
6.根据前述权利要求中任一项所述的系统（1），其中所述至少一个处理器（5）被配置成通过确定所述一个或多个光效果中的每一个的色彩、开始时间和持续时间来确定所述一个或多个光效果。
7.根据权利要求6所述的系统（1），其中所述至少一个处理器（5）被配置成通过将所述一个或多个光效果中的每一个分配给所述一个或多个光源（13-17）中的至少一个来进一步确定所述一个或多个光效果。
8.根据权利要求6或7所述的系统（1），其中确定所述一个或多个光效果的所述开始时间和所述持续时间，使得如果所述视频权重具有零值，则所述一个或多个光效果与所述音频内容中的音乐的节拍、小节和/或节奏同步。
9.根据权利要求8所述的系统（1），其中，如果与所述音频内容相关的所述信息包括第一能量值，则选择第一色彩提取方法，并且如果与所述音频内容相关的所述信息包括第二能量值，则选择第二色彩提取方法，所述第二能量值高于所述第一能量值，并且所述第二色彩提取方法涉及比所述第一色彩提取方法更低的平滑度。
10.根据权利要求8所述的系统（1），其中，如果与所述音频内容相关的所述信息包括第一效价值，则选择第一色彩提取方法，并且如果与所述音频内容相关的所述信息包括第二效价值，则选择第二色彩提取方法，所述第二效价值高于所述第一效价值，并且所述第二色彩提取方法确定比由所述第一色彩提取方法确定的色彩更饱和的色彩。
11.一种照明系统（21），包括权利要求1至12中任一项所述的系统（1）和所述一个或多个光源（13-17）。
12. 根据权利要求11所述的照明系统（21），还包括：
-包括所述处理器（5）的移动设备（1），和
-桥接器（11），其中所述桥接器（11）被配置成与所述一个或多个光源（13-17）和所述移动设备（1）无线通信，以通过所述移动设备（1）控制所述一个或多个光源（13-17）。
13.一种基于对媒体内容的分析来确定一个或多个光效果的方法，所述媒体内容包括视频内容和音频内容，并且所述方法包括：
-允许（301，401）用户影响用于确定一个或多个光效果的视频权重和音频权重，所述视频权重表示在所述一个或多个光效果的所述确定中所述视频内容的权重，并且所述音频权重表示在所述确定中所述音频内容的权重；
-获取（303，405）与所述视频内容相关的信息和/或与所述音频内容相关的信息；
-确定（305，407）当呈现所述媒体内容时要在一个或多个光源上呈现的所述一个或多个光效果，根据所述视频权重而基于与所述视频内容相关的所述信息来确定所述一个或多个光效果，并且根据所述音频权重而基于与所述音频内容相关的所述信息来确定所述一个或多个光效果；以及
-存储（307）指定所述一个或多个光效果的光脚本和/或控制（309，409）所述一个或多个光源以呈现所述一个或多个光效果，
-其中，与所述视频内容相关的所述信息包括从所述视频内容提取的色彩信息，并且所述至少一个处理器（5）被配置成通过使用特定的色彩提取方法从所述色彩信息中确定色彩，并且
-其中，如果所述视频权重具有特定非零值并且所述音频权重具有特定非零值，则至少基于与所述音频内容相关的所述信息来选择所述特定色彩提取方法。
14.根据权利要求13所述基于对媒体内容的分析来确定一个或多个光效果的方法，其中，如果与所述音频内容相关的所述信息包括第一能量值，则选择第一色彩提取方法，并且如果与所述音频内容相关的所述信息包括第二能量值，则选择第二色彩提取方法，所述第二能量值高于所述第一能量值，并且所述第二色彩提取方法涉及比所述第一色彩提取方法更低的平滑度。
15.一种计算机程序或计算机程序套件，其包括至少一个软件代码部分或存储至少一个软件代码部分的计算机程序产品，当在计算机系统上运行时，所述软件代码部分被配置成使权利要求13-14的方法能够被执行。
CN201980072603.3A 2018-11-01 2019-10-28 根据视频和音频权重而基于视频和音频信息来确定光效果 Active CN112913331B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18203932 2018-11-01
EP18203932.1 2018-11-01
PCT/EP2019/079345 WO2020089144A1 (en) 2018-11-01 2019-10-28 Determining light effects based on video and audio information in dependence on video and audio weights

Publications (2)

Publication Number Publication Date
CN112913331A true CN112913331A (zh) 2021-06-04
CN112913331B CN112913331B (zh) 2024-04-16

Family

ID=64267437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072603.3A Active CN112913331B (zh) 2018-11-01 2019-10-28 根据视频和音频权重而基于视频和音频信息来确定光效果

Country Status (5)

Country Link
US (1) US11510300B2 (zh)
EP (1) EP3874911B1 (zh)
JP (1) JP7080399B2 (zh)
CN (1) CN112913331B (zh)
WO (1) WO2020089144A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286405B (zh) * 2021-04-30 2022-06-28 深圳市凯润智能照明有限公司 实现音频与图像同步控制灯光的系统及方法
CN113771738B (zh) * 2021-08-11 2023-09-08 深圳市智岩科技有限公司 车载灯光控制方法、装置、系统、设备及存储介质
CN115334099B (zh) * 2022-07-20 2024-02-27 榜威电子科技（上海）有限公司 流媒体音/视频数据与灯具的联动系统、方法及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003624A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences
CN1906951A (zh) * 2004-01-05 2007-01-31 皇家飞利浦电子股份有限公司 由子采样视频内容和通过非再生色彩空间映射得出的环境光
CN1977529A (zh) * 2004-06-30 2007-06-06 皇家飞利浦电子股份有限公司 从通过未着色色空间映射的视频内容得到的环境光的主色提取
CN1977569A (zh) * 2004-06-30 2007-06-06 皇家飞利浦电子股份有限公司 来自视频内容的环境照明和伴随受感知规律和用户偏好影响的发射
CN1977542A (zh) * 2004-06-30 2007-06-06 皇家飞利浦电子股份有限公司 利用感知规律提取主色以产生来自视频内容的环境光
CN1988595A (zh) * 2005-12-23 2007-06-27 上海乐金广电电子有限公司 利用视频信号的动作效果提供系统及其方法
US20070177576A1 (en) * 2006-01-31 2007-08-02 Niels Thybo Johansen Communicating metadata through a mesh network
CN101077014A (zh) * 2004-08-09 2007-11-21 尼尔逊媒介研究股份有限公司 用于监视来自各种源的音频/视觉内容的方法及装置
US20100036878A1 (en) * 2008-08-08 2010-02-11 Itovi Inc. System for Extracting Reduced Information of Multimedia Digital Content and System and Method for Displaying Multiple Content Using Reduced Information
CN101682962A (zh) * 2007-05-22 2010-03-24 皇家飞利浦电子股份有限公司 用于显示器设备的环境照明系统以及这种环境照明系统的操作方法
US20100265414A1 (en) * 2006-03-31 2010-10-21 Koninklijke Philips Electronics, N.V. Combined video and audio based ambient lighting control
CN106332393A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种音乐灯光律动系统及方法
WO2017182365A1 (en) * 2016-04-22 2017-10-26 Philips Lighting Holding B.V. Controlling a lighting system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6473385A (en) * 1987-09-14 1989-03-17 Japan Broadcasting Corp Lighting effect apparatus
JP4889731B2 (ja) 2006-03-20 2012-03-07 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
US20090109340A1 (en) 2006-04-21 2009-04-30 Sharp Kabushiki Kaisha Data Transmission Device, Data Transmission Method, Audio-Visual Environment Control Device, Audio-Visual Environment Control System, And Audio-Visual Environment Control Method
EP2749139B1 (en) 2011-11-07 2021-01-06 Signify Holding B.V. User interface using sounds to control a lighting system
EP3434073B1 (en) 2016-03-22 2020-08-26 Signify Holding B.V. Enriching audio with lighting

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906951A (zh) * 2004-01-05 2007-01-31 皇家飞利浦电子股份有限公司 由子采样视频内容和通过非再生色彩空间映射得出的环境光
CN1977529A (zh) * 2004-06-30 2007-06-06 皇家飞利浦电子股份有限公司 从通过未着色色空间映射的视频内容得到的环境光的主色提取
CN1977569A (zh) * 2004-06-30 2007-06-06 皇家飞利浦电子股份有限公司 来自视频内容的环境照明和伴随受感知规律和用户偏好影响的发射
CN1977542A (zh) * 2004-06-30 2007-06-06 皇家飞利浦电子股份有限公司 利用感知规律提取主色以产生来自视频内容的环境光
WO2006003624A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences
CN101077014A (zh) * 2004-08-09 2007-11-21 尼尔逊媒介研究股份有限公司 用于监视来自各种源的音频/视觉内容的方法及装置
CN1988595A (zh) * 2005-12-23 2007-06-27 上海乐金广电电子有限公司 利用视频信号的动作效果提供系统及其方法
US20070177576A1 (en) * 2006-01-31 2007-08-02 Niels Thybo Johansen Communicating metadata through a mesh network
US20100265414A1 (en) * 2006-03-31 2010-10-21 Koninklijke Philips Electronics, N.V. Combined video and audio based ambient lighting control
CN101682962A (zh) * 2007-05-22 2010-03-24 皇家飞利浦电子股份有限公司 用于显示器设备的环境照明系统以及这种环境照明系统的操作方法
US20100036878A1 (en) * 2008-08-08 2010-02-11 Itovi Inc. System for Extracting Reduced Information of Multimedia Digital Content and System and Method for Displaying Multiple Content Using Reduced Information
CN106332393A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种音乐灯光律动系统及方法
WO2017182365A1 (en) * 2016-04-22 2017-10-26 Philips Lighting Holding B.V. Controlling a lighting system
US20190124745A1 (en) * 2016-04-22 2019-04-25 Philips Lighting Holding B.V. Controlling a lighting system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付一超;张宏;林高雅;胡志强;赵瑞瑞;: "音乐播放中RGB-LED混光呈现匹配研究与实现", 哈尔滨理工大学学报, no. 06 *
贺祥: "基于AVS的视频检索系统研究与实现", 中国优秀硕士学位论文全文数据库, no. 2009 *

Also Published As

Publication number Publication date
WO2020089144A1 (en) 2020-05-07
EP3874911B1 (en) 2022-06-29
JP7080399B2 (ja) 2022-06-03
CN112913331B (zh) 2024-04-16
US11510300B2 (en) 2022-11-22
EP3874911A1 (en) 2021-09-08
JP2022500837A (ja) 2022-01-04
US20220039239A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
CN112913330B (zh) 选择一种从视频内容中提取颜色以产生光效果的方法
CN112913331B (zh) 根据视频和音频权重而基于视频和音频信息来确定光效果
US11574654B2 (en) Automatic generation of video playback effects
EP2376207B1 (en) Method and system for generating data for controlling a system for rendering at least one signal
JP2009531825A (ja) ビデオ及びオーディオに基づく組み合わせのアンビエント照明制御
JP7273856B2 (ja) 遅延の変動に応じた１つ以上のライト効果の選択
JP2024504984A (ja) 音声特徴に基づくアニメーションエフェクト付加
WO2023144269A1 (en) Determining global and local light effect parameter values
WO2019228969A1 (en) Displaying a virtual dynamic light effect
JP7170884B2 (ja) メディアコンテンツにおけるスピーチの度合に基づく光効果の決定
US20230360352A1 (en) Determining an image analysis region for entertainment lighting based on a distance metric
WO2020144196A1 (en) Determining a light effect based on a light effect parameter specified by a user for other content taking place at a similar location
WO2020074303A1 (en) Determining dynamicity for light effects based on movement in video content
US20240114610A1 (en) Gradually reducing a light setting before the start of a next section
WO2023131498A1 (en) Extracting a color palette from music video for generating light effects
EP4274387A1 (en) Selecting entertainment lighting devices based on dynamicity of video content
WO2023139044A1 (en) Determining light effects based on audio rendering capabilities
CN117716798A (zh) 用于基于媒体内容随时间控制照明单元的控制器和方法
WO2023274700A1 (en) A controller for controlling a plurality of lighting devices based on media content and a method thereof
CN118044337A (zh) 基于第二音频声道内容有条件地调整光效果

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant