CN109315054A - 灯光控制 - Google Patents

Abstract

一种用来通过以下步骤控制被监控区域的照明的方法和设备：检测源自待监控区域的声音（202）；以及分析声音，以识别对应于诸如冒犯性叫喊、呼喊或歌唱的不希望的行为的一个或多个目标声音（222）。基于接收到的声音，确定(224)目标声音的位置；并且使所确定的位置暴露于不利的灯光（212），诸如过度曝光或曝光不足、或者闪烁或闪光效果，这些效果是刺激性的或令人不适的。

Description

灯光控制

技术领域

本公开涉及对灯光的控制，并且特别地但非排他性地，涉及对灯光的控制以修正诸如体育场、竞技场等场所中的行为。

背景技术

体育场、竞技场、音乐厅等中的观众人群创造了令人兴奋的氛围，并通过门票销售产生了巨额收入。然而不幸的是，可能会发生不希望的行为，诸如具有冒犯性或令人心烦性质的呼喊。这不仅会对那些被冒犯的人产生负面影响，还会对相关的其他支持者/观众、组织者、俱乐部和场所所有者产生负面影响。在足球比赛的例子中，这种不期望的人群行为可能会导致对相关俱乐部的罚款、诸如在没有支持者的情况下打比赛的处罚、对俱乐部或组织者的声誉的损害以及失去赞助。在极端情况下，这种不希望的行为可能会潜在地导致暴力，并且因此是安全和安保的考虑因素。

然而，很难检测到这种不希望的行为，也很难解决或缓解它。实时检测和采取措施特别困难。

发明内容

根据本发明的第一方面，提供了一种灯光控制方法，包括:检测源自待监控区域的声音；分析检测到的声音以识别指示所述区域中一个或多个对象的行为的一个或多个目标声音；基于检测到的声音，确定目标声音源在被监控区域中的位置；以及将所确定的位置暴露于灯光效果以修正所述行为。

以这种方式，可能检测通常不希望或不期望的行为，并使用有针对性的灯光来修正这种行为，理想地以阻止或防止这种行为、或者减少参与的人数。例如，这种行为包括具有(预定的)冒犯性或令人心烦性质的叫喊、呼喊或歌唱。然而，被定义为不希望的行为可能因应用而异，并且任何可听见的行为都可能被定义为不希望的，这取决于具体情况，特别是当被法律、规则或规定禁止的时候。

优选地，灯光效果针对参与这种行为的人是不利的或令人不快的灯光。

在实施例中，灯光效果被设计成例如通过曝光不足或曝光过度阻止个体观看比赛或赛事来挫败他们。灯光效果也可以设计成通过创建不愉快的效果（例如使用频闪或低强度激光的闪光或闪烁模式）来迷惑或刺激个体。

灯光效果可以是效果和模式的组合，例如上面列出的那些。在实施例中，可以动态地控制灯光效果，以考虑目标声音的变化或演变，和/或随时间的行为。变化的可能是声音的性质，例如检测到的声音或呼喊的节奏，或者声音源的位置，例如正在向更大数量的参与者传播的呼喊。灯光效果的控制通常可以包括设置照明参数，例如强度调制模式（诸如调制深度）和频率。

在实施例中，目标声音是由人或者可能甚至动物（例如狗的吠叫）产生的声音。目标声音可以通过诸如语音识别或例如语言、语调、音调、语法和节奏的识别的技术来识别。通常，这些因素的组合将用于识别目标声音的算法中。这种算法可以使用训练数据，并且可以例如基于机器学习来更新。在检测到多个目标声音的情况下，可以对目标声音进行分类或归类以指示严重性，或者根据紧急程度或重要性进行排序。在实施例中，该信息可用于确定是否应该采取行动以及应该采取什么行动。

在一些实施例中，使用检测到的声音的互相关和到达时间差(TDOA)中的至少一个来执行确定目标声音的位置。在实施例中，期望将目标声音确定到允许识别单个人或少数人(比如2 - 5人)的精度。大约1 m或更小、2 m或更小或者5 m或更小的精度在某些应用中可能是合适的。

在本发明的另一方面，提供了一种用于控制被监控区域的照明的灯光控制设备，所述设备包括：输入，其适于接收代表源自待监控区域的声音的音频数据；声音识别处理器，其适于处理所接收的音频数据，以便识别指示所述区域中的一个或多个对象的行为的一个或多个目标声音；声源定位处理器，其适于处理所接收的音频数据，以便确定所识别的目标声音源在被监控区域中的位置；以及，灯光控制模块，其适于控制一个或多个照明器，以基于所确定的位置选择性地照射所识别的目标声音源，来修正所述行为。

在实施例中，提供了一个或多个声音换能器，其适于捕获来自被监控区域的声音并将音频数据提供给所述输入。这种声音换能器通常是麦克风或麦克风阵列。来自不同换能器的音频数据可以被提供给声音识别处理器和声源定位处理器，不同的换能器反映数据用于的不同目的。例如，这种不同的换能器可以设置在待监控区域内和其周围的不同位置。在实施例中，方位以及方位的精度和知识对于位置确定特别重要，而品质和分辨率对于识别声音可能更重要。替代地，来自相同或重叠的换能器组的数据可以被提供用于识别和定位，但是可能经受不同的过滤和/或预处理。

在某些实施例中，提供了适于由所述灯光控制器控制的一个或多个照明器。这种照明器适于在待监控的区域中提供照明，例如指向体育场的观众看台或座位。这种照明器通常可以包括聚光灯、频闪闪光灯和/或激光灯。在实施例中，可以使用待监控区域中的现有或遗留灯光，其中现有或遗留灯光可以由灯光控制器控制，并提供适当的方向性/辨别性和效果。在实施例中，期望创建的灯光效果能够只针对单个人或一小群人(例如2 - 5人)。优选地，灯光可以指向到1 m或更小、3 m或更小或者5 m或更小的精度。

在一个实施例中，在被监控区域之内和/或之外提供扬声器，并且可以创建声音来限制其他人的不希望的声音的可听度。在这样的实施例中优选地提供定向声音输出。

本发明还提供一种计算机程序和计算机程序产品，用于执行本文所描述的任何方法和/或用于体现本文所描述的任何设备特征；以及一种计算机可读介质，其上存储有用于执行本文所描述的任何方法和/或用于体现本文所描述的任何设备特征的程序。

本发明延伸到基本上如本文参考附图所描述的方法、设备和/或用途。

本发明的一个方面的任何特征可以以任何适当的组合应用于本发明的其他方面。特别地，方法方面的特征可以应用于设备方面，且反之亦然。

此外，以硬件实现的特征通常可以以软件实现，且反之亦然。本文对软件和硬件特征的任何提及都应该被相应地解释。

附图说明

现在将参照附图，纯粹以示例的方式来描述本发明的优选特征，其中:

图1示出了采用灯光控制系统的体育场的一部分；

图2是灯光控制系统的示意图；

图3是示出灯光控制方法的示例的流程图；

图4是示出闪烁敏感度曲线的曲线图。

具体实施方式

图1示出了体育场的区域，包括上看台102和下看台104。看台上的座位由线106表示。屋顶部分108设置在看台上方。灯或灯光阵列110指向看台，用于向看台的期望区域或位置提供照明或灯光效果。麦克风112设置来检测源自看台的声音。

灯光110和麦克风112被示出为悬挂在屋顶部分108上，但是可以替代地或附加地位于例如另一个结构（诸如灯光架）上或者地面水平处。

体育场的特定区域或部分可能被指定用于监控。待监控的区域可以是看台的特定部分或层，例如所图示的那些。体育场的所有观众区域都可以被监控，或者只有指定的部分（比如客队的支持者，或者主场和客队支持者靠近的区域）被监控。在某些情况下，可以监控特定的座位号或排。每个指定部分优选地具有其自己的灯光110和声音监控112能力，这些能力可以被独立操作和控制。

图2示出了灯光控制系统的示意性布置，包括用于将声音输入转换成提供给处理器204的音频信号的声音换能器202。通常麦克风用作声音换能器。为了说明起见，示出了以两组三个麦克风的六个麦克风，但是可以提供十个或更多或者100个或更多麦克风。麦克风可以以一个或多个阵列提供，并且在实施例中提供“声学照相机”的功能。麦克风输出可以直接提供给处理器204，或者可以经由用于执行预处理的中间处理器206来提供。麦克风202可以通过有线连接或无线地连接到处理器204。在包括中间处理器206的情况下，它可以通过有线连接来连接到麦克风，并且无线地连接到处理器206。

处理器204包括能够分析检测到的声音并识别特定声音或声音模式的声音识别模块222，以及能够基于来自换能器202的信号确定特定声音源的位置的源定位模块224。

声音识别模块分析检测到的声音，以寻找某些可听见的行为，例如冒犯性呼喊。可以通过执行语音识别来识别特定的单词或短语，但是识别可以基于其他有区别的音频特征和模式，例如语调、音调、语法和节奏。

通常使用在一个或多个处理器上运行的、使用本领域已知的技术（例如统计建模、声学建模和语言建模）的算法来执行识别。可以使用参考或训练数据，例如关键字或短语、或者先前记录的不希望的呼喊和其他目标声音，并且这种数据可以存储在例如存储器或服务器208上。存储器或服务器208可以经由诸如互联网的网络连接到处理器。

将理解，通常在诸如体育场或运动场的环境中是嘈杂的环境，并且将会呈现来自多个源的音频信号的混合。因此，可以执行一些过滤或信号分离来隔离来自不同源的声音，以帮助识别。信号分离技术（如盲信号分离）在本领域中是已知的，许多降噪技术也是如此。

优选地，基于麦克风或麦克风阵列202捕获的声音信息来执行识别到的声音源的定位。声音信息可以首先经历由例如中间处理器206进行的预处理（例如降噪）。附加地或替代地，声音信息可以经历由声音识别模块222或与声音识别模块222组合来进行的处理。例如，声音识别模块的输出可用于过滤源定位模块的输入，即使两个模块使用来自不同麦克风或麦克风阵列的音频数据。声源的定位可以使用在相隔已知距离的两个或更多麦克风处接收的信号的三角测量，有效地基于到达时间差(TDOA)来执行。互相关也可用于确定在两个或更多麦克风处接收的声源的方位。

定位可以提供距接收声音的麦克风或麦克风阵列的距离和方向，以在三维中指定位置。替代地，可以仅提供相对于参考点的方向（例如方位角和仰角），参考点可以是麦克风的位置、或者一组麦克风或麦克风阵列的中心参考的位置。在诸如体育场这样的环境中，距离或范围可以通过考虑体育场的布局(例如观众看台的方位)来确定。然而，如下文将解释的，在本发明的实施例中，没有距离的方向可以是足够的。

定位可以足够精确，以识别作为声音源的单个个体，即大约1 m或更小的精度。替代地，识别一小群个体可以是足够的，即例如大约2 m或更小、或者大约5 m或更小的精度。

声音识别和源定位可以基于相同音频数据（即来自相同（一个或多个）麦克风的数据）来执行，或者每个功能可以使用捕获相同的一个或多个声音的、但是具有不同的特性或者位于不同的方位的单独的麦克风或一组麦克风。

在实施例中，处理器204可以监控特定声音(例如呼喊)随时间的发展。例如，呼喊可能以单个个体开始，但可能会传播到越来越多的个体。该系统可以有利地识别声音的演变，并确定它的源的传播。相反，如果仅能够获得足以确定与一组个体相对应的位置的数据，则处于该组中心的个体可能被识别为不希望的行为(例如呼喊)的可能发起者。

可选地，可以提供相机200，以捕获所确定的目标声音源的位置的图像和/或视频。例如，如果识别出冒犯性或令人心烦的呼喊，可以捕获到一个或多个有责任的人的视频。相机的平移（pan）和倾斜可以根据源定位的输出来控制。焦点也可以基于定位来控制，或者可以是自动的。

一个或多个灯或照明器212设置在待监控的区域附近，例如体育场的一部分。照明器能够在被监控区域提供照明和灯光效果。在灯光控制器210的控制下，照明器能够向被监控区域的特定指定方位或区域提供特定光输出。这通常是通过使用具有用来操纵定向光束的可调节的平移和倾斜轴线的一个或多个照明器。例如，光源可以安装在从动轭（drivenyoke）上，或者可以采用双轴双反射镜布置。替代地，可以使用具有固定或有限光束方向性的多个光源，并且可以通过选择性地切换不同光源来控制照明方向。

不同类型的照明器可以组合使用，并且为了控制的目的可以集合在一起。可能的照明器或光源的示例包括聚光灯、频闪闪光灯和激光源。在激光的情况下，安全性应该是一个重要考虑因素，并且因此优选地应该采用分类为1类、1M类、2类或2M类的无害激光。

灯光控制器210可以基于从处理器204提供的信息来控制照明器212的输出。输出可以基于所确定的声源位置、和声音的性质或分类、以及可选地通过用户接口(未示出)提供的用户输入。控制输出可以是动态的，响应于正被监控的声音的性质和/或位置的变化而变化。通常控制输出以将由源定位224确定的点或区域暴露于不利的灯光效果。因此，除了方向之外，控制器还可以控制光的模式，控制光的诸如强度、调制和频率等参数。例如，方向可以由平移和倾斜的单独值来控制，然而光输出模式可以基于对应于一个或多个已知效果（例如闪光模式或炫目照明模式）的预设参数值。

照明器可以通过有线连接或无线地连接到灯光控制器210。可以提供多组照明器，并且每组可以具有单独的灯光控制器。

参照图3，在初始步骤302，监控特定指定区域中的声音，优选基本上连续监控。在步骤304，对检测到的声音进行分析，以获得可识别的模式，例如语音或呼喊。分析可以包括预处理，例如噪声过滤和信号源分离。步骤304的输出在实施例中可以是与例如语音或歌唱相对应的不同的所识别的声音或声音部分，或者在其他实施例中可以简单地是由单独声源分解的音频信号。

在步骤306，确定步骤304的输出是否包括一个或多个目标声音，例如，如参考图2的声音识别模块22所讨论的那样。目标声音通常是系统操作者认为代表不期望的行为的任何声音，例如冒犯性语言、种族诽谤、侮辱性噪音等。如果没有识别出目标声音，则系统返回到步骤302中的监视。

在步骤308，任何识别出的目标声音可以可选地被分类，并且可以在步骤310确定是否期望采取措施作为响应。在可能有多种措施的实施例中，可以对不希望的行为的类型或严重性进行评估，以确定要采取的响应。例如，所估计的相关人数或音量可以用来确定是否应该采取行动以及应该采取什么行动。这种确定可以是自动的（例如作为分类308的结果），或者可以依赖于用户输入（例如通过用户接口）。所识别的目标声音或所识别的目标声音的子集可以例如被播放给操作者，以提醒操作者检测到的声音和被监控区域中的相应行为，并提示操作者做出关于是否要采取行动的决定，该决定可以输入到控制系统。

如果在步骤310中确定将响应于特定目标声音采取缓解行动，则确定该声音源的位置，例如，如参考图2的源定位模块224所讨论的那样。可选地，位置数据可以被发送给安保人员，并且可以触发音频和/或视频记录被进行。替代地，可以在确定位置之后确定是否采取缓解行动。在这种情况下，作为操作者交互的一部分，与相应的所识别的声音一起，声音源的视频或图像可以附加地提供给用户或操作者。

接下来，在步骤314，设置用于向目标声音源输出灯光效果的灯光参数。这种灯光条件可以包括以下之一或其组合:

设计为挫败个体的灯光——例如，限制观看比赛或赛事的机会的低光条件或过度曝光；

设计为迷惑或刺激个体的灯光——例如使用频闪或低强度激光的闪光或闪烁模式；

基于检测到的声音或呼喊节奏的动态受控灯光——灯可以与呼喊节奏异步闪烁，以减少其他观众可以跟着唱的机会。

例如，当例如500勒克斯的光束直射到眼睛中时，灯光效果通常将会被感知为是不愉快的。

在实施例中，可以检测目标声音的节奏。拍速和节拍分析可以例如通过提取某些子带包络并分析这些包络的幅度来执行。在一个示例中，可以使用一组梳状滤波器，这组梳状滤波器具有每个可能拍速的周期。此外，如果一个目标声音对应于已知的歌曲或呼喊，那么该呼喊的已知节奏，或者至少一个模板节奏（即使它与已知节奏例如在拍速上略有不同）可以用来确定目标声音的节奏。基于检测到的节奏，可以产生灯光效果，该效果被设计成使得相关的一个或多个人难以继续产生目标声音，例如呼喊或歌曲。

研究已经调查了语音和音乐表现中使用的运动控制功能，例如运动活动的时序、顺序和空间组织。已经研究了与这些运动功能与听觉和视觉的交互，例如前馈和反馈交互，并表明运动表现可能会受到显著影响——尤其是当反馈受延迟或失真操纵时。因为这种异步反馈可能会显著扰乱运动表现的时序，使得例如唱歌或讲话变得更加困难。因此，在本发明的实施例中，修正灯光效果与目标声音的节奏异步。例如，具有与目标声音异步的调制模式的闪光或脉冲灯光效果。在实施例中，修正效果可以是基于检测到的节奏的延迟和/或失真的反馈效果。

已经发现闪烁效果的感知通常取决于闪烁的频率和调制深度。在确定适当的值时，应该考虑诸如光敏性癫痫的情况(3.5%的癫痫患者对光闪烁敏感)。已经发现，这样的情况通常对10至30赫兹频率范围内的光效果表现出最大的敏感度。因此，在一个示例中，选择2 Hz与7 Hz之间或35 Hz与100 Hz之间的频率，以避免该范围，并具有适当的安全裕度。

对于给定的频率值，在实施例中选择高于“闪烁正弦敏感度曲线”(如图4所示)大约5%的调制深度(光波随时间的对比度)。

响应于检测到的音频和可选地视频，可以顺序地和/或组合采用灯光效果/条件。例如，灯光模式可以逐步升级，从警告模式升级为更强、更不利的起到增强的威慑作用的模式。这可能是一段固定的警告期，或者是响应于对不希望的行为的持续监控，例如以确定它是持续的、增加的还是增加的。相反，响应于行为减少或停止，可以采用不太不利的模式。

灯光条件和效果可以优选地以高精度指向小的区域或范围。优选地，灯光效果可以只指向单个个体，或者只指向一个小群体(例如，3、4或5个人)，同时让相邻的个体基本不受影响。因此，效果可以优选地被限制在目标区域，精度为1 m或更小、或者3 m或更小、或者5 m或更小。为了满足诸如国际足联(FIFA)和欧洲足联(UEFA)的机构施加的规定，灯光效果应当优选地在电视转播时难以或不可能被检测到。

最后，在步骤316，根据在步骤314中设置的参数照射目标声源。照明可以持续预定的周期或持续时间，这可以在步骤316中确定。

将理解，以上已经纯粹通过示例的方式描述了本发明，并且可以在本发明的范围内对细节进行修改。在说明书以及(在适当的情况下)权利要求和附图中公开的每个特征可以独立地或者以任何适当的组合提供。

结合本公开描述的各种说明性逻辑块、功能块、模块和电路可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散硬件组件或其任意组合来实现或执行，其被设计成执行本文描述的一个或多个功能，可选地与存储在存储器或存储介质中的指令组合。所描述的处理器也可以实现为计算设备的组合，例如DSP和微处理器的组合、或者多个微处理器。反之，单独描述的功能块或模块可以集成到单个处理器中。结合本公开描述的方法或算法的步骤可以直接体现在硬件中、由处理器执行的软件模块中或者两者的组合中。软件模块可以存在于本领域已知的任何形式的存储介质中。可以使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘和CD - ROM。

通过对附图、公开内容和所附权利要求的研究，本领域技术人员在实施要求保护的发明时可以理解和实现对所公开的实施例的其它变化。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中叙述的几个项目的功能。在相互不同的从属权利要求中叙述某些措施的纯粹事实并不表示这些措施的组合不能被有利地使用。计算机程序可以存储和/或分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质，但是也可以以其他形式分布，例如通过因特网或其他有线或无线。

Claims (15)

1.一种灯光控制方法，包括:

检测(302)源自待监控区域的声音；

分析(304，306)检测到的声音，以识别一个或多个指示行为的目标声音，所述行为包括所述区域中一个或多个对象的叫喊、呼喊和歌唱中的至少一个；

基于所述检测到的声音，确定(312)所述目标声音源在所述被监控区域中的位置；

确定所述检测到的声音的节奏；和

控制一个或多个照明器将所确定的位置暴露(316)于与所确定的节奏异步的灯光效果，以修正所述行为。

2.根据权利要求1所述的方法，其中所述灯光效果是闪光或闪烁灯光。

3.根据权利要求1或2所述的方法，其中所述灯光效果是曝光不足或曝光过度。

4.根据任一前述权利要求所述的方法，其中将所述确定的位置暴露于灯光效果包括设置照明参数，包括强度、调制模式和频率中的至少一个。

5.根据任一前述权利要求所述的方法，其中分析所述检测到的声音包括执行语音识别。

6.根据任一前述权利要求所述的方法，其中分析所述检测到的声音包括识别语言、语调、音调、语法或节奏中的至少一个。

7.根据任一前述权利要求所述的方法，其中分析所述检测到的声音包括监控一个或多个目标声音的演变。

8.根据任一前述权利要求所述的方法，其中使用所述检测到的声音的互相关和到达时间差(TDOA)中的至少一个来执行确定所述目标声音源的位置。

9. 根据任一前述权利要求所述的方法，其中所述目标声音源的位置被确定至大约1 m或更小、2 m或更小或者5 m或更小的精度。

10.根据任一前述权利要求所述的方法，其中将所述确定的位置暴露于与所述确定的节奏异步的灯光效果以修正所述行为包括，将所述确定的位置暴露于灯光效果，所述灯光效果被设计成阻止或防止所述行为或减少参与所述行为的人数。

11.一种用于控制被监控区域的照明的灯光控制设备，所述设备包括:

输入，其适于接收表示源自待监控区域的声音的音频数据；

声音识别模块(222)，其适于处理所接收的音频数据，以便识别指示行为的一个或多个目标声音，所述行为包括所述区域中的一个或多个对象的叫喊、呼喊和歌唱中的至少一个；

声源定位模块(224)，其适于处理所述接收的音频数据，以便确定所识别的目标声音源在所述被监控区域中的位置；

确定检测到的声音的节奏；和

灯光控制模块(210)，其适于控制一个或多个照明器将所确定的位置暴露于与所确定的节奏异步的灯光效果，以修正所述行为。

12.根据权利要求11所述的设备，还包括一个或多个声音换能器(112，202)，其适于捕获来自所述被监控区域的声音并向所述输入提供音频数据。

13.根据权利要求11或12所述的设备，还包括一个或多个照明器(110，212)，所述照明器适于由所述灯光控制器控制。

14.根据权利要求13所述的设备，其中所述照明器包括聚光灯、频闪闪光灯或激光器中的至少一个。

15.一种计算机程序，包括当在计算机上执行时使所述计算机执行权利要求1至10中任一项所述的方法的指令。