CN115553066A - 基于距离度量确定娱乐照明的图像分析区域 - Google Patents
基于距离度量确定娱乐照明的图像分析区域 Download PDFInfo
- Publication number
- CN115553066A CN115553066A CN202180037989.1A CN202180037989A CN115553066A CN 115553066 A CN115553066 A CN 115553066A CN 202180037989 A CN202180037989 A CN 202180037989A CN 115553066 A CN115553066 A CN 115553066A
- Authority
- CN
- China
- Prior art keywords
- distance
- light source
- analysis
- size
- image content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 title description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 191
- 230000001795 light effect Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000002156 mixing Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/20—Controlling the colour of the light
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/155—Coordinated control of two or more light sources
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
一种用于在显示器显示图像内容时基于对图像内容的分析区域(131‑141)中的图像内容(101)的分析来控制光源的系统,该系统被配置成获得图像内容,获得光源和表面之间的距离,基于该距离确定分析区域的尺寸和/或位置,通过分析分析区域中的图像内容来确定图像内容的特性,基于该特性确定光效果,以及控制光源来呈现光效果。
Description
技术领域
本发明涉及一种用于在显示器显示图像内容时,基于对所述图像内容的分析区域中的图像内容的分析来控制光源的系统。
本发明进一步涉及一种在显示器显示图像内容时,基于对所述图像内容的分析区域中的图像内容的分析来控制光源的方法。
本发明还涉及一种使得计算机系统能够执行这种方法的计算机程序产品。
背景技术
应用于Window PC和Apple计算机的Philips HueSync应用程序将游戏、音乐或电影的氛围直接带入具有用户的房间。当应用程序激活时,选定的灯光将播放光效果以伴随内容。一款名为HDMI Sync box的新产品,HDMI模块,最近已经添加到Hue娱乐系列产品(portfolio)。这个新设备不需要计算机,并且旨在供连接到TV的流设备和游戏设备使用。
像素化的光条带可以安装在TV周围,以产生沉浸式体验,例如在US 2010/0097408A1中描述的由TV产生的体验。围绕TV的像素化条带的关键问题之一是,TV通常被不同的消费者放置在表面前的不同距离处。该表面可以是光投射在其上的墙壁或其他表面,例如其中已经放置了TV的柜的背侧。
例如,一些消费者可能将TV直接安装到墙壁,而另一些消费者可能将其放在离墙壁10-20 cm处的TV柜或桌子上。尽管US 2010/0097408 A1公开了基于到墙壁的距离来改变TV中像素化光源的角度位置,但是当TV靠近墙壁时娱乐光效果的质量和当TV更远离墙壁时娱乐光效果的质量之间仍然存在大的差异。
文献WO2020/089150A1公开了一种用于基于视频内容的分析来确定一个或多个光效果的系统。由此,应用选定的颜色提取方法来从所述视频内容的一个或多个帧中提取颜色。基于所述提取的颜色的光效果随后被呈现在光源上。
发明内容
本发明的第一个目的是提供一种系统,该系统能够控制光源来呈现娱乐光效果,该娱乐光效果的质量较少取决于光源和表面之间的距离。
本发明的第二个目的是提供一种方法,该方法可以用于控制光源来呈现娱乐光效果,该娱乐光效果的质量较少取决于光源和表面之间的距离。
在本发明的第一方面中,一种用于在显示器显示图像内容时,基于对所述图像内容的分析区域中的图像内容的分析来控制光源的系统,包括至少一个输入接口、至少一个输出接口以及至少一个处理器,该至少一个处理器被配置成经由所述至少一个输入接口获得所述图像内容,获得所述光源和表面之间的距离,基于所述距离确定所述分析区域的尺寸和/或位置,通过分析所述分析区域中的所述图像内容来确定所述图像内容的特性,基于所述特性来确定光效果,以及经由所述至少一个输出接口来控制所述光源以将所述光效果呈现到表面上。光效果可以包括颜色和/或强度。
所述特性可以包括或者是例如颜色(例如像素值)和/或例如强度。遍及本申请,所述特性例如可以是颜色,其中所述颜色可以通过分析所述分析区域中的所述图像内容来确定,即例如利用颜色提取方法。
当光源相对远离表面(例如墙壁)放置时,来自像素化照明设备(也称为像素)的不同光源的光的混合将通过光学混合自动发生。光源/像素和表面之间的距离越大,由光源/像素发射的光将混合得越多。在短距离处,像素之间几乎将没有任何混合。用户感知测试已经示出,当不发生混合时,用户发现娱乐光效果具有较低的质量。为此原因,使用混合来自像素的颜色的算法方式,该方式取决于光源和表面之间的距离。例如,该距离可以从传感器或用户设备获得。在后一种情况下,该距离由用户输入确定。例如,用户设备可以是用户输入设备。例如,分析区域的位置可以是分析区域的质心或一个或多个角落的位置。图像内容通常是视频内容。因此,根据本发明的系统可以包括传感器或用户设备。在诸方面中,光源可以包括传感器或用户设备(例如用户输入设备或用户接口设备)。
所述至少一个处理器可以被配置成当所述距离具有第一值时确定具有第一尺寸和第一位置的第一分析区域,并且当所述距离具有第二值时确定具有第二尺寸和第二位置的第二分析区域,所述第二尺寸不同于所述第一尺寸和/或所述第二位置不同于所述第一位置,所述第一分析区域比所述第二分析区域具有更大的与相邻分析区域的重叠,并且所述第一值小于所述第二值。因此,随着光源/像素和表面之间的距离变更小,相邻分析区域之间的重叠增加,以更高程度地混合从分析区域确定的光效果(例如混合从分析区域提取的颜色)。例如,可以通过增加一个或多个分析区域的尺寸来增加分析区域之间的重叠。
在诸方面中,根据本发明的尺寸可以是预定义的或恒定的,而位置可以基于所述距离来确定。在诸方面中,根据本发明的位置可以是预定义的或恒定的,而尺寸可以基于所述距离来确定。
在诸方面中,遍及本申请,但是替代地表述,根据本发明的处理器可以被配置为基于所述距离确定所述分析区域的图像分析属性,其中图像分析属性可以包括所述分析区域的尺寸和/或位置。因此,尺寸和/或位置可以被定义为图像分析属性。
所述光源可以被包括在照明设备中,所述照明设备可以包括另外的光源,所述距离也可以表示所述另外的光源和所述表面之间的距离,并且所述至少一个处理器可以被配置为:基于所述距离确定所述图像内容的另外的分析区域的尺寸和/或位置,通过分析所述另外的分析区域中的所述图像内容来确定所述图像内容的另外的特性,基于所述另外的特性确定另外的光效果,以及控制所述另外的光源来呈现所述另外的光效果。因此,在示例中,所述距离可以是照明设备和所述表面之间的距离;在示例中,这可以被认为是设备距离。该另外的光效果可以包括颜色和/或强度。所述另外的特性可以例如包括或者是颜色(例如像素值)和/或例如强度。
通常,照明设备被放置成使得每个光源和表面之间的距离对于照明设备的所有光源都是相同的,并且因此假设照明设备的多个(例如所有)光源和表面之间的距离是相同的适用于许多情形。如果光源和表面之间的距离不相同、但略有不同,则这种假设通常仍会导致高质量的娱乐光效果。
所述至少一个处理器可以被配置成获得所述照明设备和所述表面之间的设备距离,获得所述照明设备和所述表面之间的另外的设备距离,并且通过计算所述设备距离和所述另外的设备距离的平均值来确定所述距离。如果获得多个设备距离(例如照明设备的两个边缘和表面之间的距离),则这是有益的。
所述光源可以被包括在照明设备中,所述照明设备可以包括另外的光源,并且所述至少一个处理器可以被配置成:获得所述另外的光源和所述表面之间的另外的距离,基于所述另外的距离确定所述图像内容的另外的分析区域的尺寸和/或位置,通过分析所述另外的分析区域中的所述图像内容来确定所述图像内容的另外的特性,基于所述另外的特性确定另外的光效果,以及控制所述另外的光源来呈现所述另外的光效果。该另外的光效果可以包括颜色和/或强度。所述另外的特性可以例如包括或者是颜色(例如像素值)和/或例如强度。如果光源和表面之间的距离之间存在相当大的差异,则为同一照明设备的不同光源确定不同的距离是有益的。例如,当包括垂直布置的光源的照明设备被倚靠在墙壁上放置时,或者当光条带水平附接到弯曲的显示器或放置在角落中的显示器时,可能是这种情况。
所述至少一个处理器可以被配置成:获得所述照明设备和所述表面之间的设备距离,获得所述照明设备和所述表面之间的另外的设备距离,基于所述设备距离、所述另外的设备距离、和所述照明设备上的所述光源的位置来确定所述光源和所述表面之间的所述距离,以及基于所述设备距离、所述另外的设备距离、和所述照明设备上的所述另外的光源的位置来确定所述另外的光源和所述表面之间的所述另外的距离。如果没有为每个光源获得光源和表面之间的距离,则仍然有可能基于已经获得的(例如两个)设备距离来为每个光源确定相对准确的到表面的距离。
所述至少一个处理器可以被配置成:基于所述距离来估计由所述光源投射在所述表面上的光和由所述另外的光源投射在所述表面上的光之间的光重叠量,基于所述估计的光重叠量来确定所述分析区域和所述另外的分析区域之间的期望区域重叠量,以及基于所述期望区域重叠量来确定所述分析区域的所述尺寸和/或位置以及所述另外的分析区域的所述尺寸和/或位置。例如,如果用户能够改变光源的角度,则这可能是有益的。如果用户不能够改变光源的角度,则也有可能使用距离和期望的区域重叠之间或者距离和分析区域尺寸和/或位置之间的预定映射。
所述至少一个处理器可以被配置成:进一步基于所述光源的尺寸、所述显示器的尺寸、和/或包括所述光源的照明设备的尺寸来确定所述分析区域的所述尺寸和/或位置。作为第一个示例,当d小于某个阈值T时,公式C=p+b/(0.1*d+1)可以用于计算以厘米为单位的(例如LED)像素的分析区域的尺寸,C是以厘米为单位的分析区域的尺寸,b是混合因子,d是以厘米为单位的(估计的或测量的)数值距离值,并且p是以厘米为单位的像素尺寸。在这个示例中,当d大于或等于阈值T时,使用最小分析区域尺寸。
作为第二个示例,可以使用映射表,其中对于到表面的多个距离范围给出重叠的百分比。例如,0和5 cm之间的距离可以映射到50%的重叠百分比,5和10 cm之间的距离可以映射到25%的重叠百分比,等等。然后,可以基于像素的尺寸和所确定的重叠百分比来确定分析区域的尺寸。
像素(光源)尺寸和显示器尺寸之间的比率可以进一步用作参数。例如,可以修改上述公式,使得C是p(像素尺寸)、d(到表面的距离)和r(显示器尺寸和像素尺寸之间的比率)的函数。在第一实施方式中,像素的尺寸相对于显示器的尺寸越大,重叠百分比越小。例如,在到墙壁的距离为5 cm的情况下,对于具有55英寸显示器(55英寸是对角线尺寸)的TV,相邻分析区域之间的重叠对于6.25 cm像素可能是40%并且对于12.5 cm像素可能是20%,并且对于具有75英寸显示器的TV,相邻分析区域之间的重叠对于6.25 cm像素可能是50%并且对于12.5 cm像素可能是25%。所述至少一个处理器可以被配置成进一步基于所述光源和所述显示器之间的距离来确定所述分析区域的所述尺寸和/或位置。例如,当光源和显示器之间的距离较大时,如果使用较大的分析区域,则娱乐光效果可能看起来更好。
所述光源可以包括不能够呈现不同光效果的多个光元件。换句话说,如果这些光元件呈现光效果,则它们呈现相同的光效果。像素化照明设备通常包括多个这样的光源。在像素化照明设备中,光源也被称为像素或段。例如,光元件可以是LED。
在本发明的第二方面中,一种在显示器显示图像内容时基于对所述图像内容的分析区域中的图像内容的分析来控制光源的方法,包括:获得所述图像内容,获得所述光源和表面之间的距离,基于所述距离确定所述分析区域的尺寸和/或位置,通过分析所述分析区域中的所述图像内容来确定所述图像内容的特性,基于所述特性确定光效果,以及控制所述光源将所述光效果呈现到表面上。所述方法可以由运行在可编程设备上的软件来执行。光效果可以包括颜色和/或强度。该软件可以作为计算机程序产品提供。所述特性可以例如包括或者是颜色(例如像素值)和/或例如强度。
此外,提供了用于实行本文所描述的方法的计算机程序,以及存储该计算机程序的非暂时性计算机可读存储介质。计算机程序可以例如由现有设备下载或上载到现有设备,或者在制造这些系统时被存储。
一种非暂时性计算机可读存储介质存储至少一个软件代码部分,该软件代码部分当由计算机执行或处理时被配置成执行可执行操作,用于在显示器显示图像内容时,基于对所述图像内容的分析区域中的图像内容的分析来控制光源。
可执行操作包括:获得所述图像内容,获得所述光源和表面之间的距离,基于所述距离确定所述分析区域的尺寸和/或位置,通过分析所述分析区域中的所述图像内容来确定所述图像内容的特性,基于所述特性确定光效果,以及控制所述光源将所述光效果呈现到表面上。光效果可以包括颜色和/或强度。所述特性可以例如包括或者是颜色(例如像素值)和/或例如强度。
如本领域技术人员将领会的,本发明的诸方面可以体现为设备、方法或计算机程序产品。因此,本发明的诸方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,在本文中通常都可以被称为“电路”、“模块”或“系统”。本公开中描述的功能可以实施为由计算机的处理器/微处理器执行的算法。此外,本发明的诸方面可以采取在一种或多种计算机可读介质中体现的计算机程序产品的形式,该一种或多种计算机可读介质具有在其上体现(例如,存储)的计算机可读程序代码。
可以利用一种或多种计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于:电子、磁、光学、电磁、红外或半导体系统、装置或设备,或前述的任何适合组合。计算机可读存储介质的更具体示例可以包括但不限于以下:具有一条或多条导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式致密盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述的任何适合组合。在本发明的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
计算机可读信号介质可以包括传播的数据信号,该信号具有体现在其中(例如,在基带中或作为载波的一部分)的计算机可读程序代码。这种传播的信号可以采取各种形式中的任何一种,包括但不限于电磁、光学、或其任何适合的组合。计算机可读信号介质可以是任何计算机可读介质,其不是计算机可读存储介质,并且其可以传达、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
在计算机可读介质上体现的程序代码可以使用任何适当的介质(包括但不限于无线、有线、光纤、线缆、RF等,或前述的任何适合组合)来传送。用于实行本发明的诸方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写,该一种或多种编程语言包括面向对象的编程语言(诸如Java(TM)、Smalltalk、或C++等)和常规的过程性编程语言(诸如“C”编程语言或相似的编程语言)。程序代码可以完全在用户的计算机上、部分地在用户的计算机上、作为独立的软件包、部分地在用户的计算机上并且部分地在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种场景下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者可以与外部计算机进行连接(例如,通过使用互联网服务提供商的互联网)。
下面参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图示和/或框图来描述本发明的诸方面。将要理解,流程图示和/或框图的每个框以及流程图示和/或框图中的框的组合可以通过计算机程序指令来实施。这些计算机程序指令可以提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器,特别是微处理器或中央处理单元(CPU),以产生机器,使得经由计算机的处理器、其他可编程数据处理装置、或其他设备执行的指令创建用于实施流程图和/或一个或多个框图框中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中,该计算机可读介质可以指导计算机、其他可编程数据处理装置、或其他设备以特别的方式运转,使得存储在所述计算机可读介质中的指令产生制品,该制品包括实施流程图和/或一个或多个框图框中指定的功能/动作的指令。
计算机程序指令还可以加载到计算机、其他可编程数据处理装置、或其他设备上,以使一系列操作步骤在计算机、其他可编程装置、或其他设备上执行,以产生计算机实施的过程,使得在计算机或其他可编程装置上执行的指令提供用于实施流程图和/或一个或多个框图框中指定的功能/动作的过程。
各图中的流程图和框图图示了根据本发明的各种实施例的设备、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面,流程图或框图中的每个框可以表示代码的模块、段或部分,其包括用于实施指定的(多个)逻辑功能的一个或多个可执行指令。还应注意,在一些替代实施方式中,框中所述的功能可以不按照图中所述的顺序出现。例如,连续示出的两个框事实上可以基本上同时执行,或者有时可以以相反的顺序执行这些框,这取决于所涉及的功能。还将注意,框图和/或流程图示的每个框以及框图和/或流程图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统、或者专用硬件和计算机指令的组合来实施。
附图说明
参考附图,通过示例的方式,本发明的这些和其他方面是清楚的并将被进一步阐明,在附图中:
图1是系统的第一实施例的框图;
图2是系统的第二实施例的框图;
图3示出了具有到墙壁的第一距离的照明设备的示例;
图4示出了具有到墙壁的第二距离的照明设备的示例;
图5示出了具有到墙壁的第三距离的照明设备的示例;
图6示出了其中可以使用图1的系统的住宅的平面图的示例;
图7是该方法的第一实施例的流程图;
图8示出了视频帧的示例;
图9-13示出了用于分析图8的视频帧的分析区域的示例;
图14是该方法的第二实施例的流程图;
图15是该方法的第三实施例的流程图;
图16是该方法的第四实施例的流程图;以及
图17是用于执行本发明方法的示例性数据处理系统的框图。
附图中的对应元件由相同的附图标记代表。
具体实施方式
图1示出了用于在显示器显示图像内容时基于图像内容的分析区域中的图像内容的分析来控制光源的系统的第一实施例:HDMI模块1。例如,HDMI模块1可以是Hue PlayHDMI Sync Box。在图1的示例中,图像内容被呈现在显示器23上。替代地,图像内容可以呈现在多个显示器(例如视频墙)上。
在图1的示例中,HDMI模块1可以经由桥接器19控制照明设备13-15。例如,桥接器19可以是Hue桥接器。桥接器19例如使用Zigbee技术与照明设备13-15通信。HDMI模块1例如经由Wi-Fi连接到无线LAN接入点21。桥接器19还例如经由Wi-Fi或以太网连接到无线LAN接入点21。
替代地或附加地,HDMI模块1可以能够例如使用Zigbee技术直接与桥接器19通信,和/或可以能够经由互联网/云与桥接器19通信。替代地或附加地,HDMI模块1可以能够在没有桥接器的情况下(例如直接经由Wi-Fi、蓝牙或Zigbee或者直接经由互联网/云)控制照明设备13-15。
无线LAN接入点21连接到互联网25。媒体服务器27也连接到互联网25。例如,媒体服务器27可以是视频点播服务的服务器,诸如Netflix、Amazon Prime Video、Hulu、Disney+或Apple TV+。HDMI模块1经由HDMI连接到显示器23和本地媒体接收机31和32。本地媒体接收机31和32可以包括一个或多个流或内容生成设备,例如Apple TV、Microsoft Xbox One和/或Sony PlayStation 4,和/或一个或多个线缆或卫星TV接收机。
在图1的示例中,照明设备13和14是垂直布置的光源阵列,如例如Philips HueSigne,并且照明设备15是水平布置的光源阵列,例如水平放置的光条带。照明设备13包括四个光源(像素)41-44和一个距离传感器67,照明设备14包括四个光源(像素)46-49并且没有距离传感器,并且照明设备15包括五个光源(像素)61-65和两个距离传感器68和69。例如,距离传感器67-69可以包括一个或多个红外距离传感器和/或一个或多个超声波距离传感器。
照明设备13-15也被称为像素化照明设备。实际上,像素化照明设备包括多于四个或五个像素。在图1的示例中,每个光源(像素)包括两个光元件(例如LED),它们不能够呈现不相同的光效果。光源41-44、46-49和61-65也被称为光元件的可单独寻址的段。
HDMI模块1包括接收机3、发射机4、处理器5和存储器7。处理器5被配置成:经由接收机3(例如从媒体接收机31或32)获得视频内容,例如从传感器67-69中的一个或多个或从用户设备29获得每个照明设备的光源和表面之间的距离;以及基于该距离为每个光源确定与该光源相关联的分析区域的尺寸和/或位置。例如,用户设备29可以是移动电话或平板电脑。
处理器5还被配置成:通过分析分析区域中的视频内容来确定视频内容的特性,基于该特性来确定光效果的颜色和/或强度,以及经由发射机4控制光源41-44、46-49和61-65来呈现光效果。所述特性可以例如包括或者是颜色(例如像素值)和/或例如强度。
在图1的示例中,对于照明设备13-15中的每一个,光源和表面之间的距离是已知的,并因此可以基于这些距离来确定分析区域。具有独立于距离的尺寸和位置的分析区域可以用于光源和表面之间的距离未知的光源。
在图1的示例中,从照明设备15获得两个设备距离,并且从照明设备13获得一个设备距离。设备距离是照明设备和光投射在其上的表面(例如墙壁)之间的距离。可以从用户设备29获得照明设备13的第二设备距离。替代地,从照明设备13获得的单个设备距离可以被认为代表照明设备13的所有光源和表面之间的距离,或者,如果照明设备13的顶部打算倚靠在表面上,则第二设备距离可以被确定为零。从用户设备29获得照明设备14的一个或多个设备距离。
如果对于照明设备仅获得单个设备距离,则表面和照明设备的每个光源之间的距离被假定为该单个设备距离。如果对于照明设备获得多个设备距离,则表面和照明设备的每个光源之间的距离可以是设备距离的平均值,或者光源和表面之间的距离可以基于设备距离和光源在照明设备上的位置来确定。
作为前者的示例,如果距离传感器68测量30 cm的距离,并且距离传感器69测量50cm的距离,则表面和照明装置15的每个光源之间的距离可以被认为是40 cm。作为后者的示例,如果距离传感器68测量30 cm的距离,并且距离传感器69测量50 cm的距离,则光源61-65和表面之间的距离可以分别被认为是30、35、40、45和50 cm。
如果假设照明设备的每个光源和表面之间的距离相同,那么在确定(平均)设备距离之后,没有必要确定每个光源的距离。处理器5然后可以直接基于(平均)设备距离来确定分析区域的尺寸和/或位置。
在图1所示的HDMI模块1的实施例中,HDMI模块1包括一个处理器5。在替代实施例中,HDMI模块1包括多个处理器。HDMI模块1的处理器5可以是(例如基于ARM的)通用处理器或者可以是专用处理器。例如,HDMI模块1的处理器5可以运行基于Unix的操作系统。存储器7可以包括一个或多个存储器单元。例如,存储器7可以包括固态存储器。
例如,接收机3和发射机4可以使用一种或多种有线或无线通信技术(例如Zigbee)来与桥接器19通信,以及可以使用一种或多种有线或无线通信技术(例如HDMI)来与显示器23并与本地媒体接收机31和32通信。在替代实施例中,使用多个接收机和/或多个发射机来代替单个接收机和单个发射机。在图1所示的实施例中,使用了单独的接收机和单独的发射机。在替代实施例中,接收机3和发射机4被组合成收发机。HDMI模块1可以包括典型用于网络设备的其他组件,例如电源连接器。本发明可以使用运行在一个或多个处理器上的计算机程序来实施。
在图1的实施例中,本发明的系统是HDMI模块。在替代实施例中,该系统可以是另一设备,例如移动设备、膝上型电脑、个人计算机、桥接器、媒体呈现设备、流设备、或互联网服务器。在图1的实施例中,本发明的系统包括单个设备。在替代实施例中,该系统包括多个设备。
视频内容的分析可以实时执行,即就在控制光源和显示视频内容之前。替代地,视频内容的分析可以更早执行,例如通过使用自动光脚本。例如,自动光脚本可以由上述互联网服务器来执行。在自动光脚本中,视频内容的分析是在用户观看/流式传输它之前(通常在云中)完成的(它也可以接近实时(例如有5分钟的缓冲)地完成)。这可以用来确保内容和光效果之间的完美同步。
运行在云中的处理系统可以使用用户简档来生成个性化脚本,其中用户简档指示到表面的距离。替代地,系统可以针对几个常见距离(例如,0-5 cm、5-10 cm、和大于10 cm)预先生成脚本集,并且当用户开始流式传输电影时,系统然后可以选择最接近用户设置的脚本。后者将在流式传输热门电影时节省云中的资源。
图2示出了用于在显示器显示图像内容时基于图像内容的分析区域中的图像内容的分析来控制光源的系统的第二实施例:移动设备51。例如,移动设备51可以是智能手机或平板电脑。照明设备13-15可以由移动设备51经由桥接器19来控制。移动设备51例如经由Wi-Fi连接到无线LAN接入点21。
移动设备51包括接收机53、发射机54、处理器55、存储器57和显示器59。图像内容优选地显示在外部显示器23上,但是也可以显示在移动设备51的显示器59上。处理器55被配置成经由接收机53例如从媒体服务器27获得视频内容,并且例如从传感器67-69中的一个或多个(参见图1)或者从移动设备51本身的输入接口(例如触摸屏显示器或麦克风)获得每个照明设备的光源和表面之间的距离。
处理器55还被配置成基于距离为每个光源确定与该光源相关联的分析区域的尺寸和/或位置,通过分析分析区域中的视频内容来确定视频内容的特性,基于该特性确定光效果的颜色和/或强度,以及经由发射机54控制光源41-44、46-49和61-65来呈现光效果。替代地,所述“确定光效果的颜色和/或强度”可以被表述为“确定光效果”,其中所述光效果可以包括颜色和/或强度。
在图2所示的移动设备51的实施例中,移动设备51包括一个处理器55。在替代实施例中,移动设备51包括多个处理器。移动设备51的处理器55可以是(例如来自ARM或Qualcomm的)通用处理器或者可以是专用处理器。例如,移动设备51的处理器55可以运行Android或iOS操作系统。例如,显示器59可以是触摸屏显示器。例如,显示器59可以包括LCD或OLED显示面板。存储器57可以包括一个或多个存储器单元。例如,存储器57可以包括固态存储器。
例如,接收机53和发射机54可以使用一种或多种无线通信技术(诸如Wi-Fi(IEEE802.11))来与无线LAN接入点21通信。在替代实施例中,使用多个接收机和/或多个发射机来代替单个接收机和单个发射机。在图2所示的实施例中,使用单独的接收机和单独的发射机。在替代实施例中,接收机53和发射机54被组合成收发机。移动设备51还可以包括相机(未示出)。例如,该相机可以包括CMOS或CCD传感器。移动设备51可以包括典型用于移动设备的其他组件,例如电池和电源连接器。本发明可以使用运行在一个或多个处理器上的计算机程序来实施。
在图2的实施例中,照明设备13-15经由桥接器19来控制。在替代实施例中,照明设备13-15中的一个或多个在没有桥接器的情况下(例如直接经由蓝牙)被控制。在图1和图2的实施例中,本发明的系统仅包括本地设备。在替代实施例中,本发明的系统包括一个或多个互联网/云服务器。
图3示出了具有到墙壁81的第一距离71的图1和图2的照明设备15的示例。照明设备15已经附接到图1的显示器23的背面。图4示出了具有到墙壁81的第二距离72的照明设备15的示例。图5示出了具有到墙壁81的第三距离73的照明设备15的示例。第一距离71比第二距离72短。第二距离72比第三距离73短。
图6描绘了其中使用图1的系统的空间的示例。住宅的楼层91包括走廊93、厨房94和起居室95。照明设备13-15已经安装在起居室95中。垂直布置的照明设备13和14已经分别放置在显示器23的左侧和右侧,显示器23例如可以是TV。水平布置的照明设备15已经附接到显示器23的背面。
无线LAN接入点21已经安装在走廊93中。HDMI模块1已经安装在起居室95中的显示器23旁边。桥接器19已经被安装在无线LAN接入点21附近的起居室95中。一个人99正在看TV。如图4所示,照明设备15具有到墙壁的第二距离72。照明设备13具有到显示器23的距离76。照明设备14具有到显示器23的距离77。
图7中示出了在显示器显示图像内容时,基于图像内容的分析区域中的图像内容的分析来控制光源的方法的第一实施例。步骤201包括获得视频内容。
步骤202包括获得与照明设备相关的照明设备信息。例如,对于每个照明设备,照明设备信息可以包括水平布置的照明设备的宽度或垂直布置的照明设备的高度以及光源/像素的尺寸。
例如,当用户将某个照明设备添加到他的照明系统中时,可以获得与该照明设备相关的照明设备信息。例如,当添加新的照明设备时,HDMI模块、移动设备或桥接器可以从照明设备下载照明设备信息并存储它。当此信息存储在桥接器上时,HDMI模块或移动设备可能能够稍后从桥接器获得此信息。
在更简单的实施例中,可以省略步骤202。在更先进的实施例中,照明设备信息可以包括关于照明设备的另外的信息,例如像素密度(例如每米的光像素数量)、像素间距(例如两个单独像素的中心之间的距离),和/或可以指示像素的光学属性(例如像素化光源的光束宽度和光束角度)。
步骤203包括获得照明设备的每个光源(即每个像素)和表面(例如墙壁)之间的距离。通常,从传感器或从用户设备获得一个或多个设备距离。照明设备的每个光源和表面之间的距离可以是相同的。替代地,可以基于所获得的一个或多个设备距离来确定每个光源的不同距离。
像素化光源和待照明区域(即表面)之间的距离可以以各种方式来确定。在一个简单的实施例中,用户例如经由智能电话UI提供对距离的输入。这可以是数值或近似值的输入,例如通过对如何安装TV(壁挂式对立式)选择图标。在更先进的实施例中,光源和待照明区域(即表面)之间的距离经由外部传感器自动确定,例如通过使用嵌入或附接到照明设备的一个或多个传感器(例如飞行时间传感器),或者通过分析如由智能手机相机捕获的来自TV设置的(深度)图像。
步骤205包括基于距离为每个光源确定与该光源相关联的分析区域的尺寸和/或位置。当距离具有第一值时,在步骤205中为第一光源确定具有第一尺寸和第一位置的第一分析区域;并且当距离具有第二值时,在步骤205中为该第一光源确定具有第二尺寸和第二位置的第二分析区域。
第一分析区域比第二分析区域具有更大的与相邻分析区域的重叠,并且第一值小于第二值。第二尺寸不同于第一尺寸和/或第二位置不同于第一位置。尽管通过仅改变至少一个相邻分析区域的位置来创建更大的重叠可以是可能的,但是通过(也)使用更大的分析区域来实现这一点可以更容易。
在图7的实施例中,当d小于某个阈值T时,公式C=p+b/(0.1*d+1)用于计算像素的分析区域的尺寸(以厘米为单位),C是分析区域的尺寸(以厘米为单位),b是混合因子,d是(估计的或测量的)数值距离值(以厘米为单位),并且p是像素的尺寸(以厘米为单位)。当d大于或等于阈值T时,使用最小分析区域尺寸。
像素可以包括多个光元件,例如多个LED。6厘米的像素可以包括例如6个LED封装,照明设备(例如,光条带)的每厘米放置一个。所有6个LED以一种颜色被控制。例如,6个LED可以包括三个RGB LED和三个白色LED。
例如,对于混合因子为6、像素宽度为6 cm并且到墙壁的距离为50 cm的水平布置的像素,颜色分析区域的宽度可以计算如下:6+6/(0.1*50+1) = 7 cm。如果TV将抵靠墙壁放置(0 cm),则颜色分析区域的宽度将为12 cm。这将意味着它将占据两个相邻像素的50%。当放置成距墙壁10 cm时,颜色分析区域将是9 cm宽(占据两个相邻像素的25%)。在这个示例中,阈值T大于50 cm。如果阈值T低于50 cm,并且到墙壁的距离为50 cm,则颜色分析区域的宽度将被确定为6 cm。
对于垂直布置的像素,颜色分析区域的高度可以以上述与水平布置的像素的颜色分析区域的宽度相关的方式来确定。
以像素为单位的颜色分析区域尺寸可以通过以下来确定:将以厘米为单位的颜色分析区域尺寸的宽度乘以视频内容的水平像素数除以以厘米为单位的水平布置的照明设备的宽度;或者将以厘米为单位的颜色分析区域尺寸的高度乘以视频内容的垂直像素数除以以厘米为单位的垂直布置的照明设备的高度。
对于水平布置的像素,颜色分析区域的高度可以独立于到墙壁的距离来确定(例如可以是固定值),或者可以基于例如颜色分析区域的宽度来确定。对于垂直布置的像素,颜色分析区域的宽度可以独立于到墙壁的距离来确定(例如可以是固定值),或者可以基于例如颜色分析区域的高度来确定。
水平和垂直布置的像素可以是附接到显示设备的光条带的一部分;或者可以是位于离显示设备稍远的照明设备的一部分,例如放置在墙壁附近并加入娱乐体验的落地式灯具(如Hue Signe)。
在该实施例的变型中,像素(光源)尺寸和显示器尺寸之间的比率进一步用作参数。例如,可以修改上述公式,使得C是p(像素尺寸)、d(到表面的距离)和r(显示器尺寸和像素尺寸之间的比率)的函数。在第一实施方式中,像素的尺寸相对于显示器的尺寸越大,重叠百分比越小。例如,在到墙壁的距离为5 cm的情况下,对于具有55英寸显示器(55英寸是对角线尺寸)的TV,相邻分析区域之间的重叠对于6.25 cm像素可能是40%并且对于12.5 cm像素可能是20%,并且对于具有75英寸显示器的TV,相邻分析区域之间的重叠对于6.25 cm像素可能是50%并且对于12.5 cm像素可能是25%。例如,可以在步骤202中或者在步骤202之前、之后或(部分地)与步骤202并行执行的单独步骤中获得指示显示器尺寸的信息。
在更简单的实施例中,颜色分析区域尺寸的确定可以是简单的二元决策。如果TV(带有附接或嵌入的光源)安装在支架上,则颜色分析区域一对一地映射到像素。因此,如果像素是6 cm宽,则颜色分析区域具有相应的宽度。如果TV抵靠墙壁安装,则颜色分析区域扩大,并占据两个相邻像素的50%的颜色分析区域。
在稍微不太简单的实施例中,可以使用映射表,其中对于到表面的多个距离范围给出重叠的百分比。例如,0和5 cm之间的距离可以映射到50%的重叠百分比,5和10 cm之间的距离可以映射到25%的重叠百分比,等等。然后,可以基于像素的尺寸和所确定的重叠百分比来确定分析区域的尺寸。
在更先进的实施例中,使用更复杂的函数。此外,混合因子b可以是可变的并且由用户或系统选择(例如基于内容的类型)。
步骤206包括基于对还没有确定(多个)分析区域的视频内容的分析,检查是否有另外的照明设备要被控制。如果是,则针对该另外的照明设备重复步骤203和205。如果不是,则执行步骤207。例如,在执行步骤202之前或在步骤206和207之间,步骤201可以与一个或多个步骤202-206的至少一部分并行执行。
步骤207包括通过在与光源之一相关联的分析区域中分析视频内容(通常是视频内容的视频帧)来确定视频内容的特性。在图7的实施例中,从分析区域中的视频内容中提取颜色。可以使用各种颜色提取方法,例如取该区域中的平均色或三均值色(average ortrimean color)。颜色提取方法也可以取决于分析区域的总尺寸量和绝对尺寸量而变化。例如,对于没有重叠的较小区域,取平均可能工作得最好(稳定但去饱和的方法),而对于较大的重叠区域,三均值法可能工作得最好(导致较不稳定但更饱和的颜色)。
如果期望,则可以在步骤207中调整在步骤203中确定的颜色分析区域的尺寸和/或位置,例如基于内容中的颜色和/或亮度对比度和/或边缘数量。例如,如果视频帧包含与光像素对齐的高对比度元素,则即使在到墙壁的距离短的情况下,分析区域也可以减少。类似地,如果内容已经非常平滑,则重叠区域将没有好处,并且只会导致光效果的去饱和。可以对每个像素进行这种分析,并且从而允许对于一些像素减少重叠并对于其他像素增加重叠。然而,这通常将只有在系统可以足够快地分析内容的情况下才是可能的,因为它将需要对每个视频帧进行。
步骤209包括基于该特性确定要在该光源上呈现的光效果。如果在步骤207中提取了颜色,则该颜色可以用作要在光源上呈现的光效果的颜色。
步骤210包括检查是否存在已经与分析区域相关联并且还没有为其确定光效果的另外的光源。如果是,则为该另外的光源重复步骤207和209。如果不是,则执行步骤211。步骤211包括控制光源,以通过将指定光效果之一的光控制命令直接传输到相应的光源或者传输到包括光源的照明设备,来呈现在步骤209中确定的光效果。
步骤212包括检查是否已经到达视频内容的结尾。如果不是,则对视频内容的下一部分(例如下一帧)重复步骤207-211。
图8示出了正在例如图1的显示器23上呈现的视频内容的视频帧101的示例。图9示出了可以用于从视频帧101中提取特性的分析区域111-121的示例。在这个示例中,屏幕的多个区域被映射到不同的照明设备,并且每个分析区域被单独分析,例如从每个分析区域提取平均颜色。例如,分析区域111至114可以映射到图1的照明设备13的像素41-44,分析区域114至118可以映射到图1的照明设备15的像素61-65,并且分析区域118至121可以映射到图1的照明设备14的像素46-49。
图10示出了可以用于从视频帧101中提取特性的分析区域的另外的示例。在这个示例中,分析区域131至134可以被映射到图1的照明设备13的像素41-44,分析区域134至138可以被映射到图1的照明设备15的像素61-65,并且分析区域138至141可以被映射到图1的照明设备14的像素46-49。
图10的分析区域131-141大于图9的分析区域111-121,并且结果是,在图10中的相邻分析区域之间存在重叠,而在图9中的相邻分析区域之间没有这种重叠。如果像素化照明设备的像素和表面(例如墙壁)之间的距离是相对小的,则这种重叠是有益的。
在图9和10的示例中,每个分析区域具有相同的尺寸。然而,也可以使用不同尺寸的分析区域,如图11所示。在视频帧左侧的分析区域151-154中,分析区域151最大,并且分析区域154最小。
图11还展示了在不增加相邻分析区域之间的重叠的情况下增加分析区域的尺寸是可能的。例如,如果像素化照明设备离表面足够远,使得不需要相邻分析区域之间的重叠,则分析区域的尺寸仍然可以增加,以将光效果更多地朝向环境聚焦,而不是仅仅聚焦在靠近光源所在的屏幕一侧的颜色上。因此,在不改变重叠的情况下,改变分析区域的尺寸,使得它占据视频帧的更大部分,而不影响相邻的分析区域。
在图11的示例中,照明设备的像素/光源具有到表面的不同距离。例如,像素化光设备可以倚靠在墙壁上(即相对于墙壁成角度),可以附接到弯曲显示器的背面,或者可以放置在两个墙壁的角落中的显示器后面。在图11的示例中,与分析区域151相关联的光源离表面最远,并且与分析区域154相关联的光源离表面最近。光源离墙壁越远,它(在墙壁上)产生的效果就越大。因此,有时分析视频帧的较大部分可能是有益的,即使到墙壁的距离是大的,使得墙壁上的大效果反射视频帧的较大部分、而不是仅反射侧面上的视频帧的小部分。
在图10的示例中,每对相邻的分析区域具有相同的重叠。然而,对于不同对的相邻分析区域使用不同的重叠也是可能的,如图12所示。在视频帧左侧的分析区域161-164中,相邻的分析区域163和164具有最大的重叠,并且相邻的分析区域161和162具有最小的重叠。例如,如果照明设备的像素/光源具有到表面的不同距离,则这可能是有益的。
通过为每个光源单独确定到表面的距离,有可能对不同对的相邻分析区域使用不同的重叠。在图12的示例中,与分析区域161相关联的光源离表面最远,并且与分析区域164相关联的光源离表面最近。在图12的示例中,所有分析区域具有相同的尺寸,但是它们不同地堆叠在彼此的顶部上;离墙壁较远的相邻像素之间的重叠区域相对小,并且较靠近墙壁的相邻像素之间的重叠区域相对大。因此,只有分析区域的位置(并且不是尺寸)取决于到表面的距离。
图12还展示了改变两个相邻分析区域之间的重叠而不改变所有分析区域之间的总重叠是可能的。当像素化照明设备相对于墙壁的角度增加并且与分析区域164相关联的光源之间的距离因此增加时,相邻的分析区域163和164之间的重叠可能减少,并且相邻的分析区域161和162之间的重叠可能增加,从而保持总重叠相同。
在图12的示例中,在相邻的分析区域161和162之间仍然有小的重叠。然而,与离表面最远的光源相关联的分析区域161也可能完全不与相邻的分析区域162重叠。此外,相邻的区域163和164之间的重叠甚至可能比图12所示的更大。
在图9至图12的示例中,所有分析区域都具有矩形形状。也有可能使用一个不同的形状或多个不同的形状,如图13中关于分析区域171-174所示。
图14中示出了在显示器显示图像内容时,基于图像内容的分析区域中的图像内容的分析来控制光源的方法的第二实施例的一部分。在该第二实施例中,图7的步骤203由子步骤231-241实施。在步骤203之后,执行步骤205-212,如图7所示。
步骤231包括获得照明设备和表面之间的一个或多个设备距离。通常,这一个或多个设备距离是从传感器或从用户设备(例如,用户输入设备)获得的。如果垂直布置的照明设备的一端需要倚靠在墙壁上,并且针对另一端获得了设备距离,那么可以自动获得为零的第二设备距离。
接下来,步骤232包括检查是否在步骤231中获得了一个设备距离或者是否在步骤231中获得了多个设备距离。如果在步骤232中确定在步骤231中获得了单个设备距离,则接下来执行步骤233。步骤233包括基于在步骤232中确定的单个设备距离来确定另外的光源和表面之间的距离。通常,另外的光源和表面之间的距离等于单个设备距离。在步骤233之后执行步骤205。
如果在步骤232中确定在步骤231中获得了多个设备距离,则接下来执行步骤235。步骤235包括计算在步骤231中确定的多个设备距离的平均值。如果在步骤231中确定了例如照明设备两端的两个设备距离,那么在步骤235中计算单个平均值。如果在步骤231中确定了多于两个的设备距离,那么可以在步骤235中计算多个平均值。接下来,步骤237包括基于在步骤235中计算的(多个)平均值来确定另外的光源和表面之间的距离。如果在步骤235中计算了单个平均值,则另外的光源和表面之间的距离通常等于该单个平均值。在步骤237之后执行步骤205。
图15中示出了在显示器显示图像内容时,基于图像内容的分析区域中的图像内容的分析来控制光源的方法的第三实施例的一部分。与图14的第二实施例相比,步骤235和237已经被步骤251和253替换,步骤255和257已经被添加在步骤205之前,并且步骤205由步骤259实施。
步骤251包括确定照明设备上的光源的位置。步骤253包括基于在步骤231中确定的设备距离和在步骤251中确定的光源位置中的至少两个来确定每个光源和表面之间的距离。相对于照明设备上的参考点(例如照明设备的边缘)来指示设备距离。如果光源的位置在两个参考点之间,则基于对应于这些参考点的两个设备距离以及光源的位置和这些参考点之间的距离来确定该光源和表面之间的距离。
步骤255包括基于在步骤203中确定的距离来估计由相邻光源投射在表面上的光之间的光重叠量。参见图7的步骤202,所获得的照明设备信息可以用于估计重叠量。例如,光束宽度、光束角度、和到墙壁的距离可以用来更精确地计算如投射在墙壁上的不同像素的照明区域之间的光重叠量。光束宽度和光束角度通常对光学混合有影响。例如,当使用更宽的光束和/或当光束角度更尖锐(由于到表面的距离更长)时,发生更多的光学混合。
步骤257包括基于估计的光重叠量来确定相邻光源的相邻分析区域之间的期望区域重叠量。当发生更多的光学混合时,期望区域重叠量可能更低。步骤259包括基于期望区域重叠量来确定分析区域的尺寸和/或位置。在步骤259之后执行步骤206。
图16示出了在显示器显示图像内容时,基于图像内容的分析区域中的图像内容的分析来控制光源的方法的第四实施例。在该第四实施例中,在步骤205之前可选地执行附加步骤271、273和/或275,并且步骤205由步骤277实施。
步骤271包括确定照明设备的(多个)光源的尺寸。步骤273包括确定照明设备的尺寸。步骤275包括确定(多个)光源和显示器之间的距离。步骤277包括基于在步骤203中确定的距离并且可选地基于在步骤271中确定的照明设备的(多个)光源的尺寸、在步骤273中确定的照明设备的尺寸、和/或(多个)光源和显示器之间的距离来确定分析区域的尺寸和/或位置。在步骤277之后执行步骤206。
图7和图14至图16的实施例在多个方面中彼此不同,即已经添加或替换了多个步骤。在这些实施例的变型中,仅添加或替换这些步骤的子集和/或省略一个或多个步骤。例如,步骤271、273和275中的一个或多个可以添加到图14和/或图15的实施例,并且图15的步骤255、257、259可以添加到图14的实施例和/或从图15的实施例中省略。
图17描绘了说明可以执行如参照图7以及图14至图16所描述的方法的示例性数据处理系统的框图。
如图17中所示,数据处理系统300可以包括通过系统总线306耦合到存储器元件304的至少一个处理器302。如此,数据处理系统可以将程序代码存储在存储器元件304内。进一步,处理器302可以执行经由系统总线306从存储器元件304存取的程序代码。在一个方面中,数据处理系统可以实施为适合于存储和/或执行程序代码的计算机。然而,应当领会,数据处理系统300可以以包括处理器和存储器的任何系统的形式来实施,该处理器和存储器能够执行本说明书内描述的功能。
存储器元件304可以包括一个或多个物理存储器设备,诸如例如本地存储器308和一个或多个大容量存储设备310。本地存储器可以指代一般在程序代码的实际执行期间使用的随机存取存储器或(多个)其他非持久性存储器设备。大容量存储设备可以实施为硬盘驱动器或其他持久数据存储设备。处理系统300还可以包括一个或多个高速缓冲存储器(未示出),该一个或多个高速缓冲存储器提供至少一些程序代码的临时存储,以便减少在执行期间必须从大容量存储设备310检索程序代码的次数。例如,如果处理系统300是云计算平台的一部分,则处理系统300还可能能够使用另一处理系统的存储器元件。
描绘为输入设备312和输出设备314的输入/输出(I/O)设备可以可选地耦合到数据处理系统。输入设备的示例可以包括但不限于键盘、诸如鼠标的指点设备、麦克风(例如用于声音和/或语音识别)等。输出设备的示例可以包括但不限于监视器或显示器、扬声器等。输入和/或输出设备可以直接或通过中间的I/O控制器耦合到数据处理系统。
在实施例中,输入和输出设备可以实施为组合的输入/输出设备(在图17中以围绕输入设备312和输出设备314的虚线图示)。这种组合的设备的示例是触敏显示器,有时也称为“触摸屏显示器”或简称为“触摸屏”。在这样的实施例中,可以通过物理对象(诸如例如手写笔或用户的手指)在触摸屏显示器上或附近的移动来提供对设备的输入。
网络适配器316还可以耦合到数据处理系统以使得其能够通过中间的私有或公共网络耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括用于接收由所述系统、设备和/或网络传送到数据处理系统300的数据的数据接收机,以及用于将数据从数据处理系统300传送到所述系统、设备和/或网络的数据发射机。调制解调器、线缆调制解调器和以太网卡是可以与数据处理系统300一起使用的不同类型的网络适配器的示例。
如图17中所绘制,存储器元件304可以存储应用程序318。在各种实施例中,应用程序318可以存储在本地存储器308、一个或多个大容量存储设备310中,或者与本地存储器和大容量存储设备分开。应当领会,数据处理系统300可以进一步执行可以促进应用程序318的执行的操作系统(图17中未示出)。以可执行程序代码的形式实施的应用程序318可以由数据处理系统300(例如由处理器302)执行。响应于执行应用程序,数据处理系统300可以被配置为执行本文描述的一个或多个操作或方法步骤。
本发明的各种实施例可以实施为与计算机系统一起使用的程序产品,其中程序产品的(多个)程序定义实施例的功能(包括本文描述的方法)。在一个实施例中,(多个)程序可以包含在各种非暂时性计算机可读存储介质上,其中如本文所使用的,表述“非暂时性计算机可读存储介质”包括所有计算机可读介质,唯一的例外是暂时性传播信号。在另一个实施例中,(多个)程序可以包含在各种暂时性计算机可读存储介质上。说明性的计算机可读存储介质包括但不限于:(i)其上永久存储信息的不可写存储介质(例如,计算机内的只读存储器设备,诸如由CD-ROM驱动器可读的CD-ROM盘、ROM芯片、或任何类型的固态非易失性半导体存储器);和(ii)其上存储可更改信息的可写存储介质(例如,闪存、软盘驱动器或硬盘驱动器内的软盘、或任何类型的固态随机存取半导体存储器)。计算机程序可以在本文描述的处理器302上运行。
本文使用的术语仅仅是为了描述特定的实施例的目的,并且不旨在限制本发明。如本文所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文另有清晰指示。将进一步理解,当在本说明书中使用时,术语“包括”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件、和/或其组。
以下权利要求中的所有装置或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其他所要求保护的元件组合地执行功能的任何结构、材料或动作。出于说明的目的已经展现了本发明的实施例的描述,但不旨在穷尽或局限于所公开形式中的实施方式。在不脱离本发明的范围和精神的情况下,许多修改和变型对于本领域普通技术人员将是清楚的。选取和描述实施例以便最好地解释本发明的原理和一些实际应用,并且使得本领域的其他普通技术人员能够针对具有适合于设想的特定的用途的各种修改的各种实施例理解本发明。
Claims (15)
1.一种用于在显示器(23)显示图像内容(101)时,基于对所述图像内容(101)的分析区域(114,134)中的图像内容(101)的分析来控制光源(61)的系统(1,51),所述系统(1,51)包括:
至少一个输入接口(3,53);
至少一个输出接口(4,54);和
至少一个处理器(5,55),被配置为:
-经由所述至少一个输入接口(3,53)获得所述图像内容(101),
-获得所述光源(61)和表面(81)之间的距离(71-73),
-基于所述距离(71-73)确定所述分析区域(114,134)的尺寸和/或位置,
-通过分析所述分析区域(114,134)中的所述图像内容(101)来确定所述图像内容的特性,
-基于所述特性确定光效果,以及
-经由所述至少一个输出接口(4,54)控制所述光源(61)以将所述光效果呈现到所述表面上。
2.根据权利要求1所述的系统(1,51),其中,所述至少一个处理器(5,55)被配置成当所述距离具有第一值时确定具有第一尺寸和第一位置的第一分析区域(134),并且当所述距离具有第二值时确定具有第二尺寸和第二位置的第二分析区域(114),所述第二尺寸不同于所述第一尺寸和/或所述第二位置不同于所述第一位置,所述第一分析区域比所述第二分析区域具有更大的与相邻分析区域的重叠,并且所述第一值小于所述第二值。
3.根据权利要求2所述的系统(1,51),其中,所述第一尺寸大于所述第二尺寸。
4.根据前述权利要求中任一项所述的系统(1,51),其中,从传感器(67-69)或从用户设备(29)获得所述距离。
5.根据权利要求1至4中任一项所述的系统(1,51),其中,所述光源(61)被包括在照明设备(15)中,所述照明设备(15)包括另外的光源(62-65),所述距离(71-73)也表示所述另外的光源(62-65)和所述表面(81)之间的距离,并且所述至少一个处理器(5,55)被配置为:
-基于所述距离(71-73)确定所述图像内容(101)的另外的分析区域(115-118,135-138)的另外的尺寸和/或另外的位置,
-通过分析所述另外的分析区域(115-118,135-138)中的所述图像内容(101)来确定所述图像内容(101)的另外的特性,
-基于所述另外的特性确定另外的光效果,以及
-控制所述另外的光源(62-65)以将所述另外的光效果呈现到所述表面上。
6.根据权利要求5所述的系统(1,51),其中,所述至少一个处理器(5,55)被配置为:
-获得所述照明设备(15)和所述表面(81)之间的设备距离(71-73),
-获得所述照明设备(15)和所述表面(81)之间的另外的设备距离,以及
-通过计算所述设备距离和所述另外的设备距离的平均值来确定所述距离。
7.根据权利要求1至4中任一项所述的系统(1,51),其中,所述光源(61)被包括在照明设备(15)中,所述照明设备(15)包括另外的光源(62-65),并且所述至少一个处理器(5,55)被配置为:
-获得所述另外的光源(62-65)和所述表面(81)之间的另外的距离,
-基于所述另外的距离确定所述图像内容(101)的另外的分析区域(115-118,135-138)的另外的尺寸和/或另外的位置,
-通过分析所述另外的分析区域(115-118,135-138)中的所述图像内容(101)来确定所述图像内容(101)的另外的特性,
-基于所述另外的特性确定另外的光效果,以及
-控制所述另外的光源(62-65)以将所述另外的光效果呈现到所述表面上。
8.根据前述权利要求1-7中任一项所述的系统,其中,所确定的光效果包括颜色和/或强度,并且/或者其中,所确定的另外的光效果包括颜色和/或强度。
9.根据权利要求5至8中任一项所述的系统(1,51),其中,所述至少一个处理器(5,55)被配置为:
-基于所述距离估计由所述光源投射在所述表面(81)上的光和由所述另外的光源投射在所述表面(81)上的光之间的光重叠量,
-基于所述估计的光重叠量,确定所述分析区域和所述另外的分析区域之间的期望区域重叠量,以及
-基于所述期望区域重叠量,确定所述分析区域的所述尺寸和/或位置以及所述另外的分析区域的所述尺寸和/或位置。
10.根据前述权利要求中任一项所述的系统(1,51),其中,所述至少一个处理器(5,55)被配置成进一步基于所述光源(61)的尺寸、所述显示器的尺寸、和/或包括所述光源(61)的照明设备的尺寸来确定所述分析区域的所述尺寸和/或位置。
11.根据前述权利要求中任一项所述的系统(1,51),其中,所述至少一个处理器(5,55)被配置成进一步基于所述光源(61)和所述显示器(23)之间的距离来确定所述分析区域的所述尺寸和/或位置。
12.根据前述权利要求中任一项所述的系统(1,51),其中,所述光源(61)包括多个光元件,所述多个光元件不能够呈现不同的光效果。
13.根据权利要求4所述的系统(1,51),其中,所述传感器是飞行时间传感器。
14.一种在显示器显示图像内容时,基于对所述图像内容的分析区域中的图像内容的分析来控制光源的方法,所述方法包括:
-获得(201)所述图像内容;
-获得(203)所述光源和表面之间的距离;
-基于所述距离确定(205)所述分析区域的尺寸和/或位置;
-通过分析所述分析区域中的所述图像内容来确定(207)所述图像内容的特性;
-基于所述特性确定(209)光效果;以及
-控制(211)所述光源以将所述光效果呈现到所述表面上。
15.一种计算机程序或计算机程序套件,包括至少一个软件代码部分或者存储至少一个软件代码部分的计算机程序产品,所述软件代码部分当在包括至少一个处理器的系统上运行时被配置用于执行权利要求14所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20176239.0 | 2020-05-25 | ||
EP20176239 | 2020-05-25 | ||
PCT/EP2021/063419 WO2021239560A1 (en) | 2020-05-25 | 2021-05-20 | Determining an image analysis region for entertainment lighting based on a distance metric |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115553066A true CN115553066A (zh) | 2022-12-30 |
Family
ID=70804570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180037989.1A Pending CN115553066A (zh) | 2020-05-25 | 2021-05-20 | 基于距离度量确定娱乐照明的图像分析区域 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230360352A1 (zh) |
EP (1) | EP4159006A1 (zh) |
JP (1) | JP2023529073A (zh) |
CN (1) | CN115553066A (zh) |
WO (1) | WO2021239560A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024088953A1 (en) | 2022-10-24 | 2024-05-02 | Signify Holding B.V. | Detecting black bars in video content |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100097408A1 (en) | 2006-12-07 | 2010-04-22 | Koninklijke Philips Electronics N.V. | Ambient lighting system for a display device |
WO2017080879A1 (en) * | 2015-11-11 | 2017-05-18 | Philips Lighting Holding B.V. | Image based lighting control |
EP3874912B1 (en) | 2018-11-01 | 2022-07-13 | Signify Holding B.V. | Selecting a method for extracting a color for a light effect from video content |
-
2021
- 2021-05-20 EP EP21726132.0A patent/EP4159006A1/en active Pending
- 2021-05-20 CN CN202180037989.1A patent/CN115553066A/zh active Pending
- 2021-05-20 JP JP2022572467A patent/JP2023529073A/ja active Pending
- 2021-05-20 US US17/924,368 patent/US20230360352A1/en active Pending
- 2021-05-20 WO PCT/EP2021/063419 patent/WO2021239560A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2021239560A1 (en) | 2021-12-02 |
EP4159006A1 (en) | 2023-04-05 |
US20230360352A1 (en) | 2023-11-09 |
JP2023529073A (ja) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10645506B2 (en) | Electronic device and music visualization method thereof | |
JP6909554B2 (ja) | 視覚効果を有するオブジェクトを表示する装置及び方法 | |
US11102543B2 (en) | Control of large screen display using wireless portable computer to pan and zoom on large screen display | |
US11589110B2 (en) | Digital media system | |
CN105531991B (zh) | 用于投射光以指示设备状态的方法、系统和介质 | |
US20180095531A1 (en) | Non-uniform image resolution responsive to a central focus area of a user | |
US10609305B2 (en) | Electronic apparatus and operating method thereof | |
CN115553066A (zh) | 基于距离度量确定娱乐照明的图像分析区域 | |
EP4018646B1 (en) | Selecting an image analysis area based on a comparison of dynamicity levels | |
KR102349376B1 (ko) | 전자 장치 및 그의 영상 보정 방법 | |
US10924721B2 (en) | Volumetric video color assignment | |
WO2019228969A1 (en) | Displaying a virtual dynamic light effect | |
KR102559635B1 (ko) | 디스플레이 장치 및 방법 | |
US11487413B2 (en) | Mobile device and control method for mobile device | |
EP4274387A1 (en) | Selecting entertainment lighting devices based on dynamicity of video content | |
WO2024088953A1 (en) | Detecting black bars in video content | |
WO2024022846A1 (en) | Selecting lighting devices based on an indicated light effect and distances between available lighting devices | |
BR102013033971B1 (pt) | Sistema de projeção de mídia multi-canal tridimensional com projeção mapeada |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |