CN107493641A - 一种利用音乐驱动的灯光控制方法和装置 - Google Patents

一种利用音乐驱动的灯光控制方法和装置 Download PDF

Info

Publication number
CN107493641A
CN107493641A CN201710728239.4A CN201710728239A CN107493641A CN 107493641 A CN107493641 A CN 107493641A CN 201710728239 A CN201710728239 A CN 201710728239A CN 107493641 A CN107493641 A CN 107493641A
Authority
CN
China
Prior art keywords
music
light
segment
mrow
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710728239.4A
Other languages
English (en)
Other versions
CN107493641B (zh
Inventor
王树青
张晓飞
殷开荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201710728239.4A priority Critical patent/CN107493641B/zh
Publication of CN107493641A publication Critical patent/CN107493641A/zh
Application granted granted Critical
Publication of CN107493641B publication Critical patent/CN107493641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种利用音乐驱动的灯光控制方法和装置，预先获取多条相互匹配的音乐数据和灯光数据；对每条音乐数据及其匹配的灯光数据进行切片，将得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项；对所有第一音乐片段进行分类，基于第一音乐片段分类划分匹配项，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型；播放音乐文件时，将该音乐文件的音乐数据进行切片得到多个第二音乐片段，根据所有第一音乐片段对应的音乐灯光相似度模型确定每一第二音乐片段对应的最优灯光片段；根据所有第二音乐片段对应的最优灯光片段确定播放该音乐文件时的最优灯光变换序列。

Description

一种利用音乐驱动的灯光控制方法和装置
技术领域
本发明涉及灯控技术领域，特别涉及一种利用音乐驱动的灯光控制方法和装置。
背景技术
在传统领域，音乐播放时的灯光变化控制，一般有以下几种方法：
1、人工预设灯光变化的情景模式，通常只有几种变化风格可以选择；
2、人工编排音乐对应的灯光变化，多用在演唱会等高水平场所；
3、根据音乐的节奏进行灯光变化，一般只分析音乐节奏快慢，音量大小。
以上三种方法中，第1种方法比较耗时，灯光变化风格也比较少，难以突出一整首的特色。第2种方法成本较高，每一首需要播放的音乐都需要人工编排对应的灯光变化。第3种方法，只是简单的根据音乐的节奏和音量的变化来控制灯光变化，难以体现音乐的“情绪”，造成音乐氛围与灯光变化的不匹配。
发明内容
有鉴于此，本发明的目的在于提供一种利用音乐驱动的灯光控制方法和装置，能够实现音乐氛围与灯光变化的相互匹配，且不需要人工操作，实现成本较低。
为了达到上述目的，本发明提供了如下技术方案：
一种利用音乐驱动的灯光控制方法，预先获取多条音乐数据及每条音乐数据匹配的灯光数据；该方法包括：
对每条音乐数据及其匹配的灯光数据进行切片，将切片得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项；
对所有第一音乐片段进行分类，基于第一音乐片段分类划分匹配项，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合；
播放音乐文件时，将该音乐文件的音乐数据进行切片得到多个第二音乐片段，根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段；根据所有第二音乐片段对应的最优灯光片段确定播放该音乐文件时的最优灯光变换序列。
一种利用音乐驱动的灯光控制装置，该装置包括：
获取单元，用于预先获取多条音乐数据及每条音乐数据匹配的灯光数据；
切片单元，用于对每条音乐数据及其匹配的灯光数据进行切片，将切片得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项；
模型生成单元，用于对所有第一音乐片段进行分类，基于第一音乐片段分类划分匹配项；根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合；
控制单元，用于播放音乐文件时，将该音乐文件的音乐数据进行切片得到多个第二音乐片段，根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段；根据所有第二音乐片段对应的最优灯光片段确定播放该音乐文件时的最优灯光变换序列。
由上面的技术方案可知，本发明中，通过对大量相互匹配的音乐数据和灯光数据进行切片，得到第一音乐片段与灯光片段的匹配项；基于第一音乐片段分类划分这些匹配项，得到每类第一音乐片段对应的原始训练数据，并利用这些原始训练数据计算得到每类第一音乐片段对应的音乐灯光相似度模型，从而可以基于每类第一音乐片段对应的音乐灯光相似度模型确定播放任意音乐文件时的最优灯光变换序列，实现音乐氛围与灯光变化的相互匹配，且此过程不需要人工操作，实现成本较低。
附图说明
图1是本发明实施例利用音乐驱动的灯光控制方法流程图；
图2是本发明实施例利用音乐驱动的灯光控制装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。
参见图1，图1是本发明实施例利用音乐驱动的灯光控制方法流程图，如图1所示，该方法包括以下步骤：
步骤101、预先获取多条音乐数据及每条音乐数据匹配的灯光数据。
现有实现中，已经存在大量人工预设或编排而成的相互匹配的音乐数据和灯光数据，本发明中，可以预先获取并利用这些相互匹配的音乐数据和灯光数据生成一批原始训练数据，以用于后续的模型生成。
步骤102、对每条音乐数据及其匹配的灯光数据进行切片，将切片得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项。
对每条音乐数据及其匹配的灯光数据进行切片，可以得到很多音乐片段和灯光片段。在本实施例中，将这些音乐片段统称为第一音乐片段，将切片得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项(Mi,Li)。
本发明中，灯光片段可以使用以下信息表示：方向变换信息、亮度变换信息、速度变换信息和颜色变换信息。第一音乐片段与灯光片段的匹配项(Mi,Li)可存储到数据库中作为原始训练数据。
步骤103、对所有第一音乐片段进行分类，基于第一音乐片段分类划分匹配项，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合；
本发明中，可以预先从音乐库或音乐网站获取主流的音乐语义标签，目前常见的主流音乐语义标签如表一所示：
表一
获取的音乐语义标签之后，可以利用现有技术方法，计算前述每个第一音乐片段属于各音乐语义标签的概率，例如，可以利用文献“IEEE TRANSACTIONS ON AUDIO,SPEECHAND LANGUAGE PROCESSING1Semantic Annotation and Retrieval of Music and SoundEffects”中提到方法计算语义标签属性的概率。每个第一音乐片段属于各音乐语义标签的概率可以作为该第一音乐片段的语义特征。
可以基于所有第一音乐片段属于各音乐语义标签的概率，采用归一化分割法对所有第一音乐片段进行分类。这样，步骤102中切片得到的所有第一音乐片段将被划分到不同音乐类，而由于第一音乐片段和灯光片段是一一对应的，因此，音乐类的划分也使得与属于该音乐类的每个第一音乐片段匹配的灯光片段也相应划分到同一灯光类。例如浪漫型的音乐片段，其对应的灯光片段应该是灯光颜色偏暖色调，灯光变换慢，灯光方向变换不大，亮度暗，这些灯光片段尽管存在差别，但都会被划归到同一灯光类。
基于第一音乐片段分类，可以将步骤102中生成的所有匹配项划分不同集合中，即每个匹配项可以根据该匹配项中的第一音乐片段所属分类，划分到该类第一音乐片段对应的匹配项集合中。
每类第一音乐片段对应的匹配项集合，即为该类第一音乐片段的原始训练数据，利用这些原始训练数据可以生成该类第一音乐片段对应的音乐灯光相似度模型，除此这些原始训练数据之外，还需要额外获取一些相互匹配的音乐片段与灯光片段，这里，将额外获取的音乐片段统称为第三音乐片段，每一第三音乐片段和与之匹配的灯光片段同样参与音乐灯光相似度模型的生成过程。
生成每类第一音乐片段对应的音乐灯光相似度模型的具体方法为：
从该类第一音乐片段对应的匹配项集合选择多个匹配项作为参考对；
获取至少一个第三音乐片段及其对应的灯光片段，计算每个第三音乐片段与各参考对之间的音乐语义距离，以及该第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离；
根据所有第三音乐片段与各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型。
其中，
计算每个第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离的方法为使用以下公式：
上述公式中，c代表第一音乐片段分类；M代表第三音乐片段，表示第r个参考对中的第一音乐片段，表示M与之间的音乐语义方差，表示总体M的方差。
这里，总体M的方差表示所有参考对中的第一音乐片段的方差，具体的方差计算公式为： 为第r个参考对中的第一音乐片段值，u表示R个参考对中的第一音乐片段的平均值，R为参考对个数。其中第一音乐片段值可以使用节奏、音量等因子表示。
计算每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离的方法为使用以下公式：
上述公式中，c代表第一音乐片段分类；L代表第三音乐片段对应的灯光片段，表示第r个参考对中的灯光片段，表示L与之间的灯光语义方差，表示总体L的方差。
这里，总体L的方差表示所有参考对中的第一音乐片段的方差，具体的方差计算公式为： 为第r个参考对中的灯光片段值，u表示R个参考对中的灯光片段的平均值，R为参考对个数。其中灯光片段值可以使用方向变换信息、亮度变换信息、速度变换信息和颜色变换信息等因子表示。
计算出所有第三音乐片段与各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离之后，就可以利用计算的音乐语义距离和灯光语义距离，计算该类第一音乐片段对应的音乐灯光相似度模型，具体方法如下：
根据所有第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型，包括：
将每一第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为则所有第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为其中，R表示参考对数量，I表示第三音乐片段数量。
将每一第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为则所有第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为
使用以下公式计算X和Y的相似度：
其中，u和v是使矩阵的奇异值最大的一对左右奇异向量；SXY＝cov(X,Y)，cov(X,Y)是X和Y的协方差。
生成每类第一音乐片段对应的音乐灯光相似度模型的具体方法为：
对于从该类第一音乐片段对应的匹配项集合中选择作为参考对的多个匹配项，对该多个匹配项中的灯光片段进行相似度比较，将相似度低于预设相似度阈值的所有灯光片段划分到同一灯光片段集合，从划分的每一灯光片段集合中选择一个灯光片段，将选择的所有灯光片段构成的集合作为该类第一音乐片段对应的备选灯光片段集合。
在对该多个匹配项中的灯光片段进行相似度比较时，实际上是对所有灯光片段进行两两比较，具体为：对于该多个匹配项中任意两个匹配项中的灯光片段，计算该两个灯光片段的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值并进行归一化处理，计算归一化处理后得到的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值的均值，将该均值作为该两个灯光片段的相似度。
步骤104、播放音乐文件时，将该音乐文件的音乐数据进行切片得到多个第二音乐片段，根据所有第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段；根据所有第二音乐片段对应的最优灯光片段确定播放该音乐文件时的最优灯光变换序列。
生成每类第一音乐片段对应的音乐灯光相似度模型之后，当需要播放音乐文件时，就可以利用这些音乐灯光相似度模型找出与之对应的最优灯光变换序列，从而在播放音乐时，根据最有灯光变换序列进行灯光控制，实现音乐与灯光之间的相互匹配。
为了得到最优灯光变化序列，本发明中，将待播放音乐文件的音乐数据切片得到多个音乐片段，将这些音乐片段统称为第二音乐片段，然后可以对于每个第二音乐片段，可以执行以下操作以确定该第二音乐片段对应的最优灯光片段：
针对每类第一音乐片段，基于该类第一音乐片段对应的音乐灯光相似度模型计算该第二音乐片段和该类第一音乐片段对应的备选灯光片段集合中的各灯光片段的相关度，将相关度最高的灯光片段确定为该第二音乐片段对应于该类第一音乐片段的最优灯光片段；
比较该第二音乐片段对应于每类第一音乐片段的最优灯光片段与该第二音乐片段的相关度，将相关度最高的最优灯光片段确定为该第二音乐片段对应的最优灯光片段。
以一个具体了例子进行说明，假设有两类第一音乐片段，第一类第一音乐片段对应的音乐灯光相似度模型为M1，对应的备选灯光片段集合中有两个灯光片段L1和L2；第二类第一音乐片段对应的音乐灯光相似度模型为M2，对应的备选灯光片段集合中有两个灯光片段L3和L4，则在确定某个第二音乐片段Mx对应的最优灯光片段时，执行以下操作：
先以Mx和L1作为模型M1的输入得到一个相关度值ρ1，以Mx和L2作为模型M1的输入得到一个相关度值ρ2，假设ρ1大于ρ2，则确定L1是该第二音乐片段Mx对应于第一类第一音乐片段的最优灯光片段；再以Mx和L3作为模型M2的输入得到一个相关度值ρ3，以Mx和L4作为模型M2的输入得到一个相关度值ρ4，假设ρ3大于ρ4，则确定L3是该第二音乐片段Mx对应于第二类第一音乐片段的最优灯光片段；最后通过比较L1与Mx的相关度ρ1和L3与Mx的相关度ρ3，假设，ρ1大于ρ3，则可以确定L1是该第二音乐片段Mx对应的最优灯光片段。
利用上述方法，可以得到所有第二音乐片段对应的最优灯光片段，这些最有灯光片段则构成了播放该音乐文件时的最优灯光变化序列。
在播放该音乐文件时，可以对灯光变化序列进行平滑处理，并基于平处理后的最优灯光变化序列进行灯光控制。平滑处理方法采用现有技术。
需要说明的是，本发明中，第一音乐片段、第二音乐片段、第三音乐片段均使用波形信息表示。
以上对本发明利用音乐驱动的灯光控制方法进行了详细说明，本发明还提供了一种利用音乐驱动的灯光控制装置，以下结合图2进行详细说明。
参见图2，图2是本发明实施例利用音乐驱动的灯光控制装置的结构示意图，如图2所示，该装置包括：
获取单元，用于预先获取多条音乐数据及每条音乐数据匹配的灯光数据；
切片单元；用于对每条音乐数据及其匹配的灯光数据进行切片，将切片得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项；
模型生成单元，用于对所有第一音乐片段进行分类，基于第一音乐片段分类划分匹配项；根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合；
控制单元，用于播放音乐文件时，将该音乐文件的音乐数据进行切片得到多个第二音乐片段，根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段；根据所有第二音乐片段对应的最优灯光片段确定播放该音乐文件时的最优灯光变换序列。
图2所示装置中，
所述模型生成单元，对所有第一音乐片段进行分类，包括：
获取所有音乐语义标签；
确定每个第一音乐片段属于各音乐语义标签的概率；
根据每个第一音乐片段属于各音乐语义标签的概率，采用归一化分割法对所有第一音乐片段进行分类。
图2所示装置中，
所述模型生成单元，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型时，用于：
从该类第一音乐片段对应的匹配项集合选择多个匹配项作为参考对；
获取至少一个第三音乐片段及其对应的灯光片段，计算每个第三音乐片段与各参考对之间的音乐语义距离，以及该第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离；
根据所有第三音乐片段与各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型。
图2所示装置中，
所述模型生成单元，计算每个第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离时，使用以下公式：
所述模型生成单元，计算每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离时，使用以下公式：
其中，
c代表第一音乐片段分类；
M代表第三音乐片段，表示第r个参考对中的第一音乐片段，表示M与之间的音乐语义方差，表示总体M的方差；
L代表第三音乐片段对应的灯光片段，表示第r个参考对中的灯光片段，表示L与之间的灯光语义方差，表示总体L的方差；
图2所示装置中，
所述模型生成单元，根据所有第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型，包括：
将每一第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为则所有第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为
将每一第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为则所有第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为
使用以下公式计算X和Y的相似度：
其中，u和v是使矩阵的奇异值最大的一对左右奇异向量；SXY＝cov(X,Y)，cov(X,Y)是X和Y的协方差。
图2所示装置中，
所述模型生成单元，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的备选灯光片段集合时，用于：
对于从该类第一音乐片段对应的匹配项集合中选择作为参考对的多个匹配项，对该多个匹配项中的灯光片段进行相似度比较，将相似度低于预设相似度阈值的所有灯光片段划分到同一灯光片段集合，从划分的每一灯光片段集合中选择一个灯光片段，将选择的所有灯光片段构成的集合作为该类第一音乐片段对应的备选灯光片段集合。
图2所示装置中，
所述灯光片段使用方向变换信息、亮度变换信息、速度变换信息和颜色变换信息表示；
所述模型生成单元，对该多个匹配项中的灯光片段进行相似度比较，包括：
对于该多个匹配项中任意两个匹配项中的灯光片段，计算该两个灯光片段的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值并进行归一化处理，计算归一化处理后得到的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值的均值，将该均值作为该两个灯光片段的相似度。
图2所示装置中，
所述控制单元，根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段时，用于：
针对每类第一音乐片段，基于该类第一音乐片段对应的音乐灯光相似度模型计算该第二音乐片段和该类第一音乐片段对应的备选灯光片段集合中的各灯光片段的相关度，将相关度最高的灯光片段确定为该第二音乐片段对应于该类第一音乐片段的最优灯光片段；
比较该第二音乐片段对应于每类第一音乐片段的最优灯光片段与该第二音乐片段的相关度，将相关度最高的最优灯光片段确定为该第二音乐片段对应的最优灯光片段。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种利用音乐驱动的灯光控制方法，其特征在于，预先获取多条音乐数据及每条音乐数据匹配的灯光数据；该方法包括：
对每条音乐数据及其匹配的灯光数据进行切片，将切片得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项；
对所有第一音乐片段进行分类，基于第一音乐片段分类划分匹配项，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合；
播放音乐文件时，将该音乐文件的音乐数据进行切片得到多个第二音乐片段，根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段；根据所有第二音乐片段对应的最优灯光片段确定播放该音乐文件时的最优灯光变换序列。
2.根据权利要求1所述的方法，其特征在于，
对所有第一音乐片段进行分类，包括：
获取所有音乐语义标签；
确定每个第一音乐片段属于各音乐语义标签的概率；
根据每个第一音乐片段属于各音乐语义标签的概率，采用归一化分割法对所有第一音乐片段进行分类。
3.根据权利要求2所述的方法，其特征在于，
根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型的方法为：
从该类第一音乐片段对应的匹配项集合选择多个匹配项作为参考对；
获取至少一个第三音乐片段及其对应的灯光片段，计算每个第三音乐片段与各参考对之间的音乐语义距离，以及该第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离；
根据所有第三音乐片段与各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型。
4.根据权利要求3所述的方法，其特征在于，
计算每个第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离的方法为使用以下公式：
<mrow> <msubsup> <mi>S</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mi>M</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>M</mi> <mo>,</mo> <msubsup> <mi>M</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>M</mi> <mn>2</mn> </msubsup> </mfrac> <mo>}</mo> <mo>;</mo> </mrow>
计算每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离的方法为使用以下公式：
<mrow> <msubsup> <mi>S</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mi>L</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>L</mi> <mo>,</mo> <msubsup> <mi>L</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>L</mi> <mn>2</mn> </msubsup> </mfrac> <mo>}</mo> <mo>;</mo> </mrow>
其中，
c代表第一音乐片段分类；
M代表第三音乐片段，表示第r个参考对中的第一音乐片段，表示M与之间的音乐语义方差，表示总体M的方差；
L代表第三音乐片段对应的灯光片段，表示第r个参考对中的灯光片段，表示L与之间的灯光语义方差，表示总体L的方差；
5.根据权利要求4所述的方法，其特征在于，
根据所有第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型，包括：
将每一第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为则所有第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为
将每一第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为则所有第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为
使用以下公式计算X和Y的相似度：
<mrow> <msup> <mi>S</mi> <mrow> <mi>C</mi> <mi>C</mi> <mi>A</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>&lt;</mo> <mi>a</mi> <mi>X</mi> <mo>,</mo> <mi>b</mi> <mi>Y</mi> <mo>&gt;</mo> <mo>=</mo> <mfrac> <mrow> <mi>cov</mi> <mrow> <mo>(</mo> <mi>a</mi> <mi>X</mi> <mo>,</mo> <mi>b</mi> <mi>Y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mi>X</mi> <mo>)</mo> </mrow> </mrow> </msqrt> <msqrt> <mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>b</mi> <mi>Y</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，u和v是使矩阵的奇异值最大的一对左右奇异向量；SXY＝cov(X,Y)，cov(X,Y)是X和Y的协方差。
6.根据权利要求3所述的方法，其特征在于，
根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的备选灯光片段集合的方法为：
对于从该类第一音乐片段对应的匹配项集合中选择作为参考对的多个匹配项，对该多个匹配项中的灯光片段进行相似度比较，将相似度低于预设相似度阈值的所有灯光片段划分到同一灯光片段集合，从划分的每一灯光片段集合中选择一个灯光片段，将选择的所有灯光片段构成的集合作为该类第一音乐片段对应的备选灯光片段集合。
7.根据权利要求6所述的方法，其特征在于，
所述灯光片段使用方向变换信息、亮度变换信息、速度变换信息和颜色变换信息表示；
对该多个匹配项中的灯光片段进行相似度比较，包括：
对于该多个匹配项中任意两个匹配项中的灯光片段，计算该两个灯光片段的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值并进行归一化处理，计算归一化处理后得到的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值的均值，将该均值作为该两个灯光片段的相似度。
8.根据权利要求1所述的方法，其特征在于，
根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段的方法为：
针对每类第一音乐片段，基于该类第一音乐片段对应的音乐灯光相似度模型计算该第二音乐片段和该类第一音乐片段对应的备选灯光片段集合中的各灯光片段的相关度，将相关度最高的灯光片段确定为该第二音乐片段对应于该类第一音乐片段的最优灯光片段；
比较该第二音乐片段对应于每类第一音乐片段的最优灯光片段与该第二音乐片段的相关度，将相关度最高的最优灯光片段确定为该第二音乐片段对应的最优灯光片段。
9.一种利用音乐驱动的灯光控制装置，其特征在于，该装置包括：
获取单元，用于预先获取多条音乐数据及每条音乐数据匹配的灯光数据；
切片单元，用于对每条音乐数据及其匹配的灯光数据进行切片，将切片得到的第一音乐片段与灯光片段按切片顺序一一对应，生成多个第一音乐片段与灯光片段的匹配项；
模型生成单元，用于对所有第一音乐片段进行分类，基于第一音乐片段分类划分匹配项；根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合；
控制单元，用于播放音乐文件时，将该音乐文件的音乐数据进行切片得到多个第二音乐片段，根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段；根据所有第二音乐片段对应的最优灯光片段确定播放该音乐文件时的最优灯光变换序列。
10.根据权利要求9所述的装置，其特征在于，
所述模型生成单元，对所有第一音乐片段进行分类，包括：
获取所有音乐语义标签；
确定每个第一音乐片段属于各音乐语义标签的概率；
根据每个第一音乐片段属于各音乐语义标签的概率，采用归一化分割法对所有第一音乐片段进行分类。
11.根据权利要求10所述的装置，其特征在于，
所述模型生成单元，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的音乐灯光相似度模型时，用于：
从该类第一音乐片段对应的匹配项集合选择多个匹配项作为参考对；
获取至少一个第三音乐片段及其对应的灯光片段，计算每个第三音乐片段与各参考对之间的音乐语义距离，以及该第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离；
根据所有第三音乐片段与各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型。
12.根据权利要求11所述的装置，其特征在于，
所述模型生成单元，计算每个第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离时，使用以下公式：
<mrow> <msubsup> <mi>S</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>M</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mi>M</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>M</mi> <mo>,</mo> <msubsup> <mi>M</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>M</mi> <mn>2</mn> </msubsup> </mfrac> <mo>}</mo> <mo>;</mo> </mrow>
所述模型生成单元，计算每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离时，使用以下公式：
<mrow> <msubsup> <mi>S</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>L</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mi>L</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>L</mi> <mo>,</mo> <msubsup> <mi>L</mi> <mi>c</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>L</mi> <mn>2</mn> </msubsup> </mfrac> <mo>}</mo> <mo>;</mo> </mrow>
其中，
c代表第一音乐片段分类；
M代表第三音乐片段，表示第r个参考对中的第一音乐片段，表示M与之间的音乐语义方差，表示总体M的方差；
L代表第三音乐片段对应的灯光片段，表示第r个参考对中的灯光片段，表示L与之间的灯光语义方差，表示总体L的方差；
13.根据权利要求12所述的装置，其特征在于，
所述模型生成单元，根据所有第三音乐片段与该类第一音乐片段的各参考对之间的音乐语义距离，以及每个第三音乐片段对应的灯光片段与该类第一音乐片段的各参考对之间的灯光语义距离，使用相关分析方法确定该类第一音乐片段对应的音乐灯光相似度模型，包括：
将每一第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为则所有第三音乐片段与该类第一音乐片段的所有参考对之间的音乐语义距离矩阵表示为
将每一第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为则所有第三音乐片段对应的灯光片段与该类第一音乐片段的所有参考对之间的灯光语义距离矩阵表示为
使用以下公式计算X和Y的相似度：
<mrow> <msup> <mi>S</mi> <mrow> <mi>C</mi> <mi>C</mi> <mi>A</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>&lt;</mo> <mi>a</mi> <mi>X</mi> <mo>,</mo> <mi>b</mi> <mi>Y</mi> <mo>&gt;</mo> <mo>=</mo> <mfrac> <mrow> <mi>cov</mi> <mrow> <mo>(</mo> <mi>a</mi> <mi>X</mi> <mo>,</mo> <mi>b</mi> <mi>Y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mi>X</mi> <mo>)</mo> </mrow> </mrow> </msqrt> <msqrt> <mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>b</mi> <mi>Y</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，u和v是使矩阵的奇异值最大的一对左右奇异向量；SXY＝cov(X,Y)，cov(X,Y)是X和Y的协方差。
14.根据权利要求11所述的装置，其特征在于，
所述模型生成单元，根据每类第一音乐片段对应的匹配项集合，生成该类第一音乐片段对应的备选灯光片段集合时，用于：
对于从该类第一音乐片段对应的匹配项集合中选择作为参考对的多个匹配项，对该多个匹配项中的灯光片段进行相似度比较，将相似度低于预设相似度阈值的所有灯光片段划分到同一灯光片段集合，从划分的每一灯光片段集合中选择一个灯光片段，将选择的所有灯光片段构成的集合作为该类第一音乐片段对应的备选灯光片段集合。
15.根据权利要求14所述的装置，其特征在于，
所述灯光片段使用方向变换信息、亮度变换信息、速度变换信息和颜色变换信息表示；
所述模型生成单元，对该多个匹配项中的灯光片段进行相似度比较，包括：
对于该多个匹配项中任意两个匹配项中的灯光片段，计算该两个灯光片段的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值并进行归一化处理，计算归一化处理后得到的方向变换差值、亮度变换差值、速度变换差值和颜色变换差值的均值，将该均值作为该两个灯光片段的相似度。
16.根据权利要求9所述的装置，其特征在于，
所述控制单元，根据所有类别的第一音乐片段对应的音乐灯光相似度模型和备选灯光片段集合确定每一第二音乐片段对应的最优灯光片段时，用于：
针对每类第一音乐片段，基于该类第一音乐片段对应的音乐灯光相似度模型计算该第二音乐片段和该类第一音乐片段对应的备选灯光片段集合中的各灯光片段的相关度，将相关度最高的灯光片段确定为该第二音乐片段对应于该类第一音乐片段的最优灯光片段；
比较该第二音乐片段对应于每类第一音乐片段的最优灯光片段与该第二音乐片段的相关度，将相关度最高的最优灯光片段确定为该第二音乐片段对应的最优灯光片段。
CN201710728239.4A 2017-08-23 2017-08-23 一种利用音乐驱动的灯光控制方法和装置 Active CN107493641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710728239.4A CN107493641B (zh) 2017-08-23 2017-08-23 一种利用音乐驱动的灯光控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710728239.4A CN107493641B (zh) 2017-08-23 2017-08-23 一种利用音乐驱动的灯光控制方法和装置

Publications (2)

Publication Number Publication Date
CN107493641A true CN107493641A (zh) 2017-12-19
CN107493641B CN107493641B (zh) 2020-06-12

Family

ID=60646750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710728239.4A Active CN107493641B (zh) 2017-08-23 2017-08-23 一种利用音乐驱动的灯光控制方法和装置

Country Status (1)

Country Link
CN (1) CN107493641B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268072A (zh) * 2018-01-26 2018-07-10 浙江圣火智远文化发展有限公司 一种舞台用音乐变化的灯光调节系统
CN110155075A (zh) * 2018-06-01 2019-08-23 腾讯大地通途（北京）科技有限公司 氛围设备控制方法及相关装置
CN113613369A (zh) * 2021-08-11 2021-11-05 深圳市智岩科技有限公司 一种灯光效果控制方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097247A (ja) * 1996-09-24 1998-04-14 Casio Comput Co Ltd 音楽演出用照明装置
US20090140960A1 (en) * 2007-11-29 2009-06-04 Apple Inc. Communication Using Light-Emitting Device
CN102323989A (zh) * 2011-09-16 2012-01-18 西安电子科技大学 基于奇异值分解非局部均值的极化sar数据相干斑抑制方法
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
CN104203101A (zh) * 2012-03-27 2014-12-10 皇家飞利浦有限公司 背景刺激的选择
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN105635912A (zh) * 2016-01-29 2016-06-01 深圳市因为科技有限公司 发光装置及声光组合装置
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
CN105681900A (zh) * 2015-12-31 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种信息处理方法及移动终端
CN105992445A (zh) * 2016-07-22 2016-10-05 石家庄爱度科技有限公司 一种音效控制的舞台灯光系统
CN106527734A (zh) * 2016-11-30 2017-03-22 杭州联络互动信息科技股份有限公司 一种音乐播放控制方法以及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097247A (ja) * 1996-09-24 1998-04-14 Casio Comput Co Ltd 音楽演出用照明装置
US20090140960A1 (en) * 2007-11-29 2009-06-04 Apple Inc. Communication Using Light-Emitting Device
CN102323989A (zh) * 2011-09-16 2012-01-18 西安电子科技大学 基于奇异值分解非局部均值的极化sar数据相干斑抑制方法
CN104203101A (zh) * 2012-03-27 2014-12-10 皇家飞利浦有限公司 背景刺激的选择
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
CN105050247A (zh) * 2015-06-24 2015-11-11 河北工业大学 基于表情模型识别的灯光智能调节系统及其方法
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
CN105681900A (zh) * 2015-12-31 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种信息处理方法及移动终端
CN105635912A (zh) * 2016-01-29 2016-06-01 深圳市因为科技有限公司 发光装置及声光组合装置
CN105992445A (zh) * 2016-07-22 2016-10-05 石家庄爱度科技有限公司 一种音效控制的舞台灯光系统
CN106527734A (zh) * 2016-11-30 2017-03-22 杭州联络互动信息科技股份有限公司 一种音乐播放控制方法以及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268072A (zh) * 2018-01-26 2018-07-10 浙江圣火智远文化发展有限公司 一种舞台用音乐变化的灯光调节系统
CN110155075A (zh) * 2018-06-01 2019-08-23 腾讯大地通途（北京）科技有限公司 氛围设备控制方法及相关装置
CN113613369A (zh) * 2021-08-11 2021-11-05 深圳市智岩科技有限公司 一种灯光效果控制方法、装置、设备及存储介质
CN113613369B (zh) * 2021-08-11 2023-09-08 深圳市智岩科技有限公司 一种灯光效果控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107493641B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN108648767B (zh) 一种流行歌曲情感综合与分类方法
Gulati et al. Phrase-based rāga recognition using vector space modeling
West et al. Features and classifiers for the automatic classification of musical audio signals.
Coviello et al. Time series models for semantic music annotation
US7930281B2 (en) Method, apparatus and computer program for information retrieval
JP2009508156A (ja) 音楽分析
CN107493641B (zh) 一种利用音乐驱动的灯光控制方法和装置
Anglade et al. Improving music genre classification using automatically induced harmony rules
CN112750442B (zh) 一种具有小波变换的朱鹮种群生态体系监测系统及其方法
Gulati et al. Mining melodic patterns in large audio collections of Indian art music
CN112735442B (zh) 一种具有音频分离声纹识别的湿地生态监测系统及其音频分离方法
CN111462761A (zh) 声纹数据生成方法、装置、计算机装置及存储介质
Genussov et al. Musical genre classification of audio signals using geometric methods
Hou et al. Transfer learning for improving singing-voice detection in polyphonic instrumental music
Park Classification of audio signals using Fuzzy c-Means with divergence-based Kernel
CN112735444B (zh) 一种具有模型匹配的中华凤头燕鸥识别系统及其模型匹配方法
Zanoni et al. Searching for dominant high-level features for music information retrieval
CN106663110B (zh) 音频序列对准的概率评分的导出
Bargaje Emotion recognition and emotion based classification of audio using genetic algorithm-an optimized approach
Mohamed et al. Plant species recognition using Bag-Of-Word with SVM classifier in the context of the LifeCLEF challenge
Nagavi et al. Content based audio retrieval with MFCC feature extraction, clustering and sort-merge techniques
CN112687280B (zh) 一种具有频谱-时间空间界面的生物多样性监测系统
Shirali-Shahreza et al. Fast and scalable system for automatic artist identification
Yang et al. Improving Musical Concept Detection by Ordinal Regression and Context Fusion.
Yang Towards real-time music auto-tagging using sparse features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant