CN111295017A

CN111295017A - 一种灯光控制方法、控制系统和设备

Info

Publication number: CN111295017A
Application number: CN202010106188.3A
Authority: CN
Inventors: 不公告发明人
Original assignee: Chengdu Century Photosynthesis Technology Co ltd
Current assignee: Chengdu Century Photosynthesis Technology Co ltd
Priority date: 2020-02-21
Filing date: 2020-02-21
Publication date: 2020-06-16
Anticipated expiration: 2040-02-21
Also published as: CN111295017B

Abstract

本发明公开了一种灯光控制方法，包括以下步骤：识别输入音乐所属的音乐节奏类型；从所述输入音乐中分离出多个声源，从所述声源中提取出声源特征信息；根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令。本发明结合音乐节奏和声源特征两方面的因素来设置灯光控制指令，不仅表现出了音乐的节奏变化，且通过分离输入音乐的声源，针对不同声源分别提取声源特征信息，构成音乐的每个声源的特征变化都被综合分析，得到的灯光控制指令更准确全面。本发明基于对输入音乐的全面分析，实现全自动的音乐灯光交互控制，具有易于操作、成本低且实用性强的优点。

Description

一种灯光控制方法、控制系统和设备

技术领域

本发明涉及声光控制领域，特别是涉及一种灯光控制方法、控制系统和设备。

背景技术

在一些应用场景，如舞台、酒吧、舞厅等文化娱乐场所，通常会有专门用于调节气氛的灯光控制系统，由专业的灯光师使用控制台进行操作，灯光师根据音乐节奏、氛围等元素操作灯光控制系统，从而控制场景中的灯光效果。而优秀的灯光师却是凤毛麟角，针对聘请专业灯光师成本较高。

灯光师行业人才稀缺很难找到合适的灯光师，而且一些应用场景如家庭聚会或小型演出中，无法负担专业灯光师的聘请成本。

现有技术的缺点是灯光控制仅依赖于灯光师控制实现，灯光师的聘请成本高且应用场景受限。

发明内容

本发明的目的是提供一种能根据输入音乐自动实现灯光控制的灯光控制方法、控制系统和设备。

为解决上述技术问题，本发明提供一种灯光控制方法，包括以下步骤：

识别输入音乐所属的音乐节奏类型；

从所述输入音乐中分离出多个声源，从所述声源中提取出声源特征信息；

根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令。

其中，所述根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令后，还包括：

根据输入音乐的播放时间和实时网络延迟调整灯光控制指令的发送时间，使输入音乐的播放与灯光控制指令的运行同步。

其中，所述识别输入音乐所属的音乐节奏类型，包括：

提取输入音乐的时域和频域特征；

通过所述时域和频域特征对输入音乐进行分类，得到输入音乐的音乐节奏类型。

其中，所述通过所述时域和频域特征对输入音乐进行分类，得到输入音乐的音乐节奏类型，包括：

基于预先建立的K-means学习模型对所述时域和频域特征聚类，根据预设的音乐特征计算与输入音乐的距离后迭代直到收敛，获得k个聚类中心，与所述输入音乐距离最近的聚类中心所属的音乐节奏类型为输入音乐的音乐节奏类型。

其中，所述从所述输入音乐中分离出多个声源，从所述声源中提取出声源特征信息，包括：

对输入音乐进行声源分离，根据输入音乐的不同构成成分，得到多个与输入音乐的时长一致的声源；

对多个声源分别进行分析并提取出灯光控制所需的声源特征信息。

其中，所述对输入音乐进行声源分离，根据输入音乐的不同构成成分，得到多个与输入音乐的时长一致的声源后，还包括：

采用维纳滤波对分离后的多个声源进行频域上的滤波。

其中，所述对输入音乐进行声源分离，根据输入音乐的不同构成成分，得到多个与输入音乐的时长一致的声源，包括：

利用预先建立的多层Bi-LSTM学习模型对输入音乐进行声源分离，将输入音乐输入多层Bi-LSTM，取多层Bi-LSTM中每个细胞的隐层状态作为输出，对得到的输入音乐的隐层状态进行拼接，得到多个与输入音乐时长一致的声源。

其中，所述对多个声源分别进行分析并提取出灯光控制所需的声源特征信息，包括：

对多个声源分别进行分析提取出灯光控制所需的声源特征信息，多个声源各自有独立的控制起始点，所述控制起始点包括音符起始点、节奏点或者能量变化拐点。

用户可通过预先建立的调整学习模型对所述灯光控制指令的具体参数进行调整。

本发明还提供一种灯光控制系统，包括：

音乐节奏分类模块，用于识别输入音乐所属的音乐节奏类型；

声源分离与特征提取模块，用于从所述输入音乐中分离出多个声源，从所述声源中提取出声源特征信息；

指令生成模块，用于根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令。

本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的灯光控制方法。

本发明所提供的一种灯光控制方法、控制系统和设备，结合音乐节奏和声源特征两方面的因素来设置灯光控制指令，不仅表现出了音乐的节奏变化，且通过分离输入音乐的声源，针对不同声源分别提取声源特征信息，构成音乐的每个声源的特征变化都被综合分析，得到的灯光控制指令更准确全面。本发明基于对输入音乐的全面分析，实现全自动的音乐灯光交互控制，具有易于操作、成本低且实用性强的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的灯光控制方法的流程图；

图2为本发明实施例中的灯光控制方法的同步播放流程图；

图3为本发明实施例中的灯光控制方法的节奏识别流程图；

图4为本发明实施例中的灯光控制方法的K-means聚类流程图；

图5为本发明实施例中的灯光控制方法的声源特征提取流程图；

图6为本发明实施例中的灯光控制方法的声源滤波流程图；

图7为本发明实施例中的灯光控制方法的多层Bi-LSTM分离流程图；

图8为本发明实施例中的灯光控制方法的声源起始点流程图；

图9为本发明实施例中的灯光控制方法的用户调整流程图；

图10为本发明实施例中的灯光控制系统的结构框图；

图11为本发明实施例中的计算机设备的结构框图。

具体实施方式

本发明的核心是提供一种能根据输入音乐自动实现灯光控制的灯光控制方法、控制系统和设备。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明实施例提供的一种灯光控制方法，如图1所示，包括以下步骤：

S100：识别输入音乐所属的音乐节奏类型。

具体地，通过识别输入音乐的节奏特征，识别输入音乐所属的音乐节奏类型，具体的音乐节奏类型和类型数可由用户自定义设置。

S300：从所述输入音乐中分离出多个声源，从所述声源中提取出声源特征信息。

具体地，绝大部分音乐是以一条居于支配地位的主旋律配以不同的和弦的主音音乐或由两条以上彼此独立的旋律线交织而成的复音音乐。因此对输入音乐进行分离提取出不同的旋律声源，从而分别控制灯光就能够更好的体现音乐与灯光的互动效果。

具体地，将构成输入音乐的多条旋律相互分离，每一条作为一个独立的声源，并对每条声源的旋律特征进行提取。

S500：根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令。

具体地，根据音乐节奏类型和声源特征信息可得到对应的灯光控制的参数信息，包括灯光的最低亮度、灯光亮度的上升以及下降时间、灯光亮度的变化速度等，根据灯光控制的参数信息，生成对灯光的控制参数进行控制的灯光控制指令，完成从“听觉”到“视觉”的转换过程。

本发明所提供的一种灯光控制方法结合音乐节奏和声源特征两方面的因素来设置灯光控制指令，不仅表现出了音乐的节奏变化，且通过分离输入音乐的声源，针对不同声源分别提取声源特征信息，构成音乐的每个声源的特征变化都被综合分析，得到的灯光控制指令更准确全面。本发明基于对输入音乐的全面分析，实现全自动的音乐灯光交互控制，具有易于操作、成本低且实用性强的优点。

可选地，如图2所示，所述S500后，还包括：

S700：根据输入音乐的播放时间和实时网络延迟调整灯光控制指令的发送时间，使输入音乐的播放与灯光控制指令的运行同步。

具体地，具体应用场景中，输入音乐的播放时间可能会受到设备、网速等影响出现延迟，而实时网络延迟同样会影响输入音乐的播放和控制指令的执行，因此，本实施例根据输入音乐的播放时间和实时网络延迟校准发送指令的具体时刻，使输入音乐的播放与灯光控制指令的能同步运行。

本实施例的灯光控制方法，具体针对灯光控制过程中的延迟现象，对控制指令进行时间校准，本实施例的灯光控制方法更具体、更实用。

可选地，如图3所示，所述S100包括：

S110：提取输入音乐的时域和频域特征。

具体地，提取输入音乐的时域、频域特征如：过零率、平均功率、拍速等特征信息。

S120：通过所述时域和频域特征对输入音乐进行分类，得到输入音乐的音乐节奏类型。

具体地，通过输入音乐的时域和频域特征进行聚类，根据聚类点判断输入音乐属于预设的哪一种音乐节奏类型。

本实施例的灯光控制方法，具体针对灯光控制过程中的音乐节奏类型识别，把得到的音乐节奏类型作为灯光控制指令的参数之一，本实施例的灯光控制方法更具体、更实用。

可选地，如图4所示，所述S120包括：

S121：基于预先建立的K-means学习模型对所述时域和频域特征聚类，根据预设的音乐特征计算与输入音乐的距离后迭代直到收敛，获得k个聚类中心，与所述输入音乐距离最近的聚类中心所属的音乐节奏类型为输入音乐的音乐节奏类型。

具体地，为判断输入音乐的音乐节奏类型，预先建立的K-means学习模型，作为判断和优化判断过程的基础，基于预先建立的K-means学习模型对前述时域和频域特征聚类，根据预设的音乐特征计算与每首输入音乐的距离后迭代直到收敛，获得k个聚类中心，每个聚类中心分属不同的音乐节奏类型，将与输入音乐距离最近的聚类中心所属的音乐节奏类型为输入音乐的音乐节奏类型。

本实施例的灯光控制方法，具体针对根据时域和频域特征聚类判断输入音乐的音乐节奏类型过程，采用K-means的聚类方法作为判断的基础，本实施例的灯光控制方法更具体、更实用。

可选地，如图5所示，所述S300包括：

S310：对输入音乐进行声源分离，根据输入音乐的不同构成成分，得到多个与输入音乐的时长一致的声源。

具体地，声源分离过程中，根据输入音乐的不同构成成分，对输入音乐进行声源分离，每个声源相互独立，有各自的声源特征。又因为多个声源并不一定都是从输入音乐的起始点就开始有旋律的，有的声源可能在播放了一定时间之后才开始有有效的旋律，但是为了方便多个声源的对照和后续的指令整合，对多个声源选择与输入音乐一致的时长，即以输入音乐的起点作为多个声源的起点，以输入音乐的终点作为多个声源的终点。

S330：对多个声源分别进行分析并提取出灯光控制所需的声源特征信息。

具体地，提取分离后的声源与灯光联动的具体特征信息，用以对应灯光变化的时刻点、颜色、亮度等参数。

本实施例的灯光控制方法，具体针对声源的分离和特征提取过程，对每个声源单独分析，本实施例的灯光控制方法更全面、更实用。

可选地，如图6所示，所述S310后，还包括：

S320：采用维纳滤波对分离后的多个声源进行频域上的滤波。

具体地，分离后的声源可能会由于分离的不够彻底而包含一部分白噪声，这样包含噪声的声源其特征提取会受到干扰。本实施例对分离后的音频进行优化，保证分离后的声源质量。

具体地，采用维纳滤波对分离后的声源进行频域上的滤波，是因为维纳滤波(Wiener Filtering)是一种基于最小均方误差准则、对平稳过程的最优估计器，这种滤波方式的输出与期望输出之间的均方误差为最小，因此，在本实施例中是一个理想的滤波方式。

本实施例的灯光控制方法，具体针对声源分离后的滤波优化过程，采用维纳滤波对声源进行频域上的滤波，本实施例的灯光控制方法更全面、更实用。

可选地，如图7所示，所述S310包括：

S311：利用预先建立的多层Bi-LSTM学习模型对输入音乐进行声源分离，将输入音乐输入多层Bi-LSTM，取多层Bi-LSTM中每个细胞的隐层状态作为输出，对得到的输入音乐的隐层状态进行拼接，得到多个与输入音乐时长一致的声源。

具体地，多层Bi-LSTM的结构为每层层叠两个LSTM模块，分别处理向前和向后的信息，可以同时兼顾前后两端的信息对当前的影响。同时，多层Bi-LSTM学习模型可以对处理过程进行学习并优化。

具体地，基于Bi-LSTM的可以处理长时间前后依赖的特性，我们将输入音乐的音频数据通过预先建立并训练好的Bi-LSTM模型中，取每个细胞的隐层状态(h(t))作为输出，这样我们就得到了多个与输入音频输入大小一致的预测结果，从而分离出音乐中的不同乐器成分。

本实施例的灯光控制方法，具体针对声源分离过程，采用多层Bi-LSTM学习模型进行声源分离，本实施例的灯光控制方法更全面、更实用。

具体地，如图8所示，所述S320包括：

S321：对多个声源分别进行分析提取出灯光控制所需的声源特征信息，多个声源各自有独立的控制起始点，所述控制起始点包括音符起始点、节奏点或者能量变化拐点。

具体地，因为每种声源的构成都不同，所以针对不同的声源采取不同的控制起始点来确定控制指令发送时间，控制起始点包括音符起始点、节奏点或者能量变化拐点等能体现声源变化的节点，从而将音乐的整体变化转换成灯光的变化。多种控制起始点的设置能兼顾表现出不同声源中音乐的幅度变化、音乐的节奏频率变化，具有更丰富的情感表现力。

本实施例的灯光控制方法，具体针对声源特征提取过程，采用多个声源多个控制起始点进行特征提取，本实施例的灯光控制方法更全面、更实用。

具体地，如图9所示，所述S500后，还包括：

S600：用户可通过预先建立的调整学习模型对所述灯光控制指令的具体参数进行调整。

具体地，用户可以自行设置灯光控制指令的相关参数，对如音乐的节奏类型、灯光的颜色、亮度等方面的参数进行微调。预先建立的调整学习模型将对用户的指令调整数据进行采集，转换成优化参数所需要的训练集，进而对整个灯光控制方法的算法进行优化参数设置，从而获得更好的用户体验。

本实施例的灯光控制方法，具体针对用户的自定义调整过程，采用调整学习模型对用户的指令调整过程进行采集并优化算法，本实施例的灯光控制方法更全面、更实用。

本发明实施例提供一种灯光控制系统，如图10所示，包括：

音乐节奏分类模块10，用于识别输入音乐所属的音乐节奏类型。

声源分离与特征提取模块20，用于从所述输入音乐中分离出多个声源，从所述声源中提取出声源特征信息。

指令生成模块30，用于根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令。

其中，灯光控制系统还包括：

指令同步模块，用于根据输入音乐的播放时间和实时网络延迟调整灯光控制指令的发送时间，使输入音乐的播放与灯光控制指令的运行同步。

其中，音乐节奏分类模块10包括：

节奏特征子模块，用于提取输入音乐的时域和频域特征。

节奏分离子模块，用于通过所述时域和频域特征对输入音乐进行分类，得到输入音乐的音乐节奏类型。

其中，节奏分离子模块包括：

K-means学习模型单元，用于基于预先建立的K-means学习模型对所述时域和频域特征聚类，根据预设的音乐特征计算与输入音乐的距离后迭代直到收敛，获得k个聚类中心，与所述输入音乐距离最近的聚类中心所属的音乐节奏类型为输入音乐的音乐节奏类型。

其中，声源分离与特征提取模块20包括：

声源分离子模块，用于对输入音乐进行声源分离，根据输入音乐的不同构成成分，得到多个与输入音乐的时长一致的声源。

特征提取子模块，用于对多个声源分别进行分析并提取出灯光控制所需的声源特征信息。

其中，声源分离与特征提取模块20，还包括：

声源滤波子模块，用于采用维纳滤波对分离后的多个声源进行频域上的滤波。

其中，所述声源分离子模块包括：

多层Bi-LSTM学习模型单元，用于利用预先建立的多层Bi-LSTM学习模型对输入音乐进行声源分离，将输入音乐输入多层Bi-LSTM，取多层Bi-LSTM中每个细胞的隐层状态作为输出，对得到的输入音乐的隐层状态进行拼接，得到多个与输入音乐时长一致的声源。

其中，特征提取子模块包括：

特征提取单元，用于对多个声源分别进行分析提取出灯光控制所需的声源特征信息，多个声源各自有独立的控制起始点，所述控制起始点包括音符起始点、节奏点或者能量变化拐点。

其中，灯光控制系统还包括：

用户调整模块，用于用户可通过预先建立的调整学习模型对所述灯光控制指令的具体参数进行调整。

本实施例所提供的灯光控制系统可以对输入音乐进行分析，从音乐节奏类型和声源特征信息两方面去分析生成相应的灯光控制指令，针对每种声源分别分析，不仅得到的灯光控制指令更准确全面，且更具实用性。

本发明实施例提供一种计算机设备，如图11所示，包括存储器1和处理器2，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的灯光控制方法。

其中，存储器1至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器1在一些实施例中可以是灯光控制系统的内部存储单元，例如硬盘。存储器1在另一些实施例中也可以是灯光控制系统的外部存储设备，例如插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器1还可以既包括灯光控制系统的内部存储单元也包括外部存储设备。存储器1不仅可以用于存储安装于灯光控制系统的应用软件及各类数据，例如灯光控制程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器2在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器1中存储的程序代码或处理数据，例如执行灯光控制程序等。

本实施例所提供的计算机设备可以对输入音乐进行分析，从音乐节奏类型和声源特征信息两方面去分析生成相应的灯光控制指令，针对每种声源分别分析，不仅得到的灯光控制指令更准确全面，且更具实用性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的灯光控制方法、控制系统和计算机设备进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种灯光控制方法，其特征在于，包括以下步骤：

识别输入音乐所属的音乐节奏类型；

2.如权利要求1所述的灯光控制方法，其特征在于，所述根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令后，还包括：

3.如权利要求1所述的灯光控制方法，其特征在于，所述识别输入音乐所属的音乐节奏类型，包括：

提取输入音乐的时域和频域特征；

4.如权利要求3所述的灯光控制方法，其特征在于，所述通过所述时域和频域特征对输入音乐进行分类，得到输入音乐的音乐节奏类型，包括：

5.如权利要求1所述的灯光控制方法，其特征在于，所述从所述输入音乐中分离出多个声源，从所述声源中提取出声源特征信息，包，括：

6.如权利要求5所述的灯光控制方法，其特征在于，所述对输入音乐进行声源分离，根据输入音乐的不同构成成分，得到多个与输入音乐的时长一致的声源后，还包括：

采用维纳滤波对分离后的多个声源进行频域上的滤波。

7.如权利要求5所述的灯光控制方法，其特征在于，所述对输入音乐进行声源分离，根据输入音乐的不同构成成分，得到多个与输入音乐的时长一致的声源，包括：

8.如权利要求5所述的灯光控制方法，其特征在于，所述对多个声源分别进行分析并提取出灯光控制所需的声源特征信息，包括：

9.如权利要求1所述的灯光控制方法，其特征在于，所述根据所述音乐节奏类型和所述声源特征信息，生成对灯光的控制参数进行控制的灯光控制指令后，还包括：

10.一种灯光控制系统，其特征在于，包括：

11.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-9任一项所述的灯光控制方法。