CN112232118A - 一种自适应音律变换的混光调节方法及系统 - Google Patents

一种自适应音律变换的混光调节方法及系统 Download PDF

Info

Publication number
CN112232118A
CN112232118A CN202010934893.2A CN202010934893A CN112232118A CN 112232118 A CN112232118 A CN 112232118A CN 202010934893 A CN202010934893 A CN 202010934893A CN 112232118 A CN112232118 A CN 112232118A
Authority
CN
China
Prior art keywords
color
music
track
note
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010934893.2A
Other languages
English (en)
Inventor
鲁广玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Feihe Electric Appliance Co ltd
Original Assignee
Nanjing Feihe Electric Appliance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Feihe Electric Appliance Co ltd filed Critical Nanjing Feihe Electric Appliance Co ltd
Priority to CN202010934893.2A priority Critical patent/CN112232118A/zh
Publication of CN112232118A publication Critical patent/CN112232118A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10—Controlling the intensity of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30—Driver circuits
    • H05B45/32—Pulse-control circuits
    • H05B45/325—Pulse-width modulation [PWM]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明提出了一种自适应音律变换的混光调节方法及系统，通过深度学习研究音乐特征控制灯光照射的模式，提高音乐与色彩结合的魅力，展现丰富多彩的音乐视听效果。首先，获取大量不同风格的音乐做货训练集；其次，利用通过MIDI文件进行音乐特征的提取，并深度学习利用提取到的特征参数进行贝叶斯分类器的监督学习；最后得到可以根据音乐更换实时更改灯光展现效果的照明设备。

Description

一种自适应音律变换的混光调节方法及系统
技术领域
本发明涉及一种自适应音律变换的混光调节方法及系统，特别是涉及一种深度学习的光照变换自适应调节领域。
背景技术
随着生活水平的提高以及审美体验感的追求下，大众对生活中视觉审美的要求越来越高。氛围灯作为一种新型灯，通常用于展厅、酒店、演唱会舞台等商业空间，从而达到衬托现场氛围的效果。
而现有技术中，商业场合中已有的氛围灯仅是通过设置时间参数或者固定安装方式进行灯光效果的布局，针对不同场景需要不同的安装照明设备，人工成本及材料消耗很大。
发明内容
发明目的：一个目的是提出一种自适应音律变换的混光调节方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。
技术方案：一种自适应设备亮度调节的方法包括以下步骤：
步骤一：建立音乐曲库训练集；
步骤二：构建监督学习分类器；
步骤三：根据信息接收端实时接收的音乐进行混光调节。
在进一步的实施例中，所述步骤一进一步为：建立音乐曲库训练集中，训练集用于步骤二中构建的分类器进行监督学习，其中单首音乐的时间长度为整首歌播放完的时长。
在进一步的实施例中，所述步骤二进一步为：构建有监督学习的分类器，首先通过MIDI文件进行音乐信息的提取并计算与主旋律相关的特征信息；其次，利用贝叶斯分类器将计算出的旋律特征信息作为事件变量，并进行监督学习，最后通过基-2FFT和小波变换的方式，获得音乐的时频信号，进一步对和弦进行检测和分类。
其中音乐信息的提取为通过程序实现循环遍历读取每个轨道，打印轨道中所有MIDI时间列表，给出每个事件的MIDI消息的执行时间的绝对刻度时间戳。旋律特征的提取为首先对主音轨信息进行处理，解读出每个时间戳音符的时长、力度和音高；其次根据MIDI已有的音符代码表查询已解析的MIDI文件，进一步获得对应的时间戳音符的时长、力度和音高；最后通过标准库解析标准的MIDI文件，获得旋律相关的特征量。
对主旋律的提取为采用贝叶斯分类器，通过概率的不同对主音轨进行筛选；其中先验概率的组成为
Figure BDA0002671580480000021
其中Q′ty表示数量，同时非主旋律的闲言概率满足P(K＝1)＝1-P(K＝1)，先验概率解出后建立后验概率模型即
Figure BDA0002671580480000022
Figure BDA0002671580480000023
Figure BDA0002671580480000024
其中POS(K＝1)表示音轨为主旋律的后验概率，POS(K＝0)表示音轨不是主旋律的概率，Evidence表示证据因子，
Figure BDA0002671580480000025
表示不考虑其所在音轨为仅适用单一文件的特征量。
对和弦的判定采用FFT通过和弦频率分量比对来判断；在音频信号特征进行提取时，采用离散傅里叶变换对信号进行处理，采集信号的离散序列长度为2的整数次幂，复指数的周期性存在
Figure BDA0002671580480000026
离散序列X(k)进一步为
Figure BDA0002671580480000027
Figure BDA0002671580480000028
对于音乐的时频采用小波变换进行分析，通过分解和弦小波变换时频谱，分辨出不同的音进而获得对应的频率，实现完成对和弦的检测和分类器的构建。
在进一步的实施例中，所述步骤三进一步为：当信息接收端接收到实时传输过来的音乐后，将音乐传输至步骤二构建的分类器中，完成学习后的分类器对当前音乐进行分类划分，并作出调控灯光色彩变换的对应指令，在灯光设备接收到变换指令后做出对应颜色的调节。
其中混光调节为利用状态空间表达式根据测量的三基色参数与合成颜色的坐标便可获得各个基色分量的PWM占空比，进而对颜色进行控制。
其中三基色为光源三基色即红色、蓝色、绿色，构建色系坐标，当三基色坐标为(X1，Y1)，(X2，Y2)，(X3，Y3)时，混合得到的颜色O的色系坐标为(X，Y)具体为：
Figure BDA0002671580480000031
其中，a，b，c为基色所占比例，即光源O的三刺激值之比；利用色度计测量各基色的色坐标，并测量基色光在各自最大光强下混合后的色坐标计算各色光的基色量比例；当基色R，G，B对应的横纵坐标值及最大发光强度分别为(x1,y1,Z1)，(x2,y2,Z2)，(x3,y3,Z3)时，待合成色坐标为(x0,y0)合成后的发光强度为Z0，即混合光的坐标为：
Figure BDA0002671580480000032
Figure BDA0002671580480000033
其中涉及照明的设备LED的混色是通过PWM改变基色的发光强度，进而产生不同的基色，具有PWM占空比影响下，即
Figure BDA0002671580480000034
Figure BDA0002671580480000035
Z0＝DrZ1+DgZ2+DbZ3
其中Dr、Dg、Db分别表示三基色的PWM占空比值，状态空间表达式为
Figure BDA0002671580480000036
状态空间表达式、测量的三基色参数与合成颜色的坐标，获得各个基色分量的PWM占空比，实现目标颜色的混合，达到对灯光色彩的控制。
一种自适应音律变换的混光调节系统用于实现上述方法，其中包含：
用于读取音乐特征的第一模块；
用于构建监督学习分类器的第二模块；
用于进行光照呈现的第三模块。
在进一步的实施例中，所述第一模块进一步为采用乐器数字接口MIDI文件进行处理，通过程序实现循环遍历读取每个轨道，打印轨道中的所有的MIDI时间的列表，给出每个事件的MIDI消息的执行时间的绝对刻度时间戳；旋律特征的提取为，首先对主音轨信息进行处理，解读出每个时间戳音符的时长、力度和音高；其次，根据MIDI已有的音符代码表查询已解析的MIDI文件，进一步获得对应的时间戳音符的时长、力度和音高；最后，通过标准库解析标准的MIDI文件，获得旋律相关的特征量。
其中特征量的获得包含预分析、通道号、左右声道的均衡度、平均力度、音符持续时间、发音面积参数计算。
通道号中，一个MIDI文件最多为16个音轨，10号为打击乐，不作为主旋律输出；左右声道的均衡度中，每个音轨都记录了一个力度均衡值，彼此表示左右声道均衡度，64代表左右声道平衡，音轨k的均衡度可表示为：
Figure BDA0002671580480000041
平均力度中，由于主旋律的平均力度比其他音轨平均力度高，所以音轨的平均力度F2(k)为：
Figure BDA0002671580480000042
其中Vol(k,i)表示第k音轨中第i音符的按键力度；
特征值音符持续时间F3(k)表示为：
Figure BDA0002671580480000043
其中tΔ(k,i)＝toff(k,i)-ton(k,i)，ton(k,i)表示第k音轨第i个音符开启的时间，toff(k,i)表示第k音轨第i个音符关闭时间，对于多个音符同一时刻出现同一音轨时采用音高最高的音符，对于交叉发音即当一个音符未结束，另一个音符开启时，采用一个时间戳内，最后一个音符结束时间减去第一个音符开始时间tΔ。
发音面积特征量中，结合音符连续时间，特征量发音面积F4(k)具体为：
Figure BDA0002671580480000051
其中pat(k,i)表示第k轨道第i个音符的音高。
在进一步的实施例中，所述第二模块进一步为利用贝叶斯通过概率的不同对主音轨进行筛选；其中先验概率的组成为
Figure BDA0002671580480000052
其中Q′ty表示数量，同时非主旋律的闲言概率满足P(K＝1)＝1-P(K＝1)，先验概率解出后建立后验概率模型即
Figure BDA0002671580480000053
Figure BDA0002671580480000054
Figure BDA0002671580480000055
其中POS(K＝1)表示音轨为主旋律的后验概率，POS(K＝0)表示音轨不是主旋律的概率，Evidence表示证据因子，
Figure BDA0002671580480000056
表示不考虑其所在音轨为仅适用单一文件的特征量。
对和弦的判定采用FFT通过和弦频率分量比对来判断；在音频信号特征进行提取时，采用离散傅里叶变换对信号进行处理，采集信号的离散序列长度为2的整数次幂，复指数的周期性存在
Figure BDA0002671580480000057
离散序列X(k)进一步为
Figure BDA0002671580480000058
Figure BDA0002671580480000059
对于音乐的时频采用小波变换进行分析，通过分解和弦小波变换时频谱，分辨出不同的音进而获得对应的频率，最终完成对和弦的检测和分类。
在进一步的实施例中，所述第三模块进一步包括发光照明设备、单片机指令接收发射器。照明设备为RGB-LED灯泡，一个组合的RGB-LED由一个红色，一个绿色和一个蓝色的LED组成，通过PWM调光方式，以三基色作为三刺激值(X，Y，Z)，发射器连接到单独的引线，分别独立控制光源。
有益效果：本发明提出了一种自适应音律变换的混光调节方法及系统，首先，获取大量不同风格的音乐做货训练集，其次，利用通过MIDI文件进行音乐特征的提取，并深度学习利用提取到的特征参数进行贝叶斯分类器的监督学习，最后得到可以根据音乐更换实时更改灯光展现效果的照明设备。通过深度学习研究音乐特征控制灯光照射的模式，提高音乐与色彩结合的魅力，展现丰富多彩的音乐视听效果。
附图说明
图1为本发明的实现方法流程示意图。
具体实施方式
申请人认为，氛围灯作为一种新型灯，通常用于展厅、酒店、演唱会舞台等商业空间，从而达到衬托现场氛围的效果。而现有技术中，商业场合中已有的氛围灯仅是通过设置时间参数或者固定安装方式进行灯光效果的布局，针对不同场景需要不同的安装照明设备，人工成本及材料消耗很大。
为解决现有技术存在的问题，本发明通过一种自适应音律变换的混光调节方法及实现系统实现根据现场音乐节奏的变换从而更改灯光颜色的目的。
下面通过实施例，并结合附图对本方案做进一步具体说明。
在本申请中，我们提出了一种自适应音律变换的混光调节方法及实现该方法的系统，其中包含的一种自适应音律变换的混光调节方法，具体为包括以下步骤：
步骤一：建立音乐曲库训练集；建立音乐曲库训练集中，训练集用于步骤二中构建的分类器进行监督学习，其中单首音乐的时间长度为整首歌播放完的时长。
步骤二：构建监督学习分类器；构建有监督学习的分类器，首先通过MIDI文件进行音乐信息的提取并计算与主旋律相关的特征信息；其次，利用贝叶斯分类器将计算出的旋律特征信息作为事件变量，并进行监督学习，最后通过基-2FFT和小波变换的方式，获得音乐的时频信号，进一步对和弦进行检测和分类。
其中音乐信息的提取为通过程序实现循环遍历读取每个轨道，打印轨道中所有MIDI时间列表，给出每个事件的MIDI消息的执行时间的绝对刻度时间戳；旋律特征的提取为首先对主音轨信息进行处理，解读出每个时间戳音符的时长、力度和音高；其次根据MIDI已有的音符代码表查询已解析的MIDI文件，进一步获得对应的时间戳音符的时长、力度和音高；最后通过标准库解析标准的MIDI文件，获得旋律相关的特征量。
对主旋律的提取为采用贝叶斯分类器，通过概率的不同对主音轨进行筛选；其中先验概率的组成为
Figure BDA0002671580480000071
其中Q′ty表示数量，同时非主旋律的闲言概率满足P(K＝1)＝1-P(K＝1)，先验概率解出后建立后验概率模型即
Figure BDA0002671580480000072
Figure BDA0002671580480000073
Figure BDA0002671580480000074
其中POS(K＝1)表示音轨为主旋律的后验概率，POS(K＝0)表示音轨不是主旋律的概率，Evidence表示证据因子，
Figure BDA0002671580480000075
表示不考虑其所在音轨为仅适用单一文件的特征量。
对和弦的判定采用FFT通过和弦频率分量比对来判断；在音频信号特征进行提取时，采用离散傅里叶变换对信号进行处理，采集信号的离散序列长度为2的整数次幂，复指数的周期性存在
Figure BDA0002671580480000076
离散序列X(k)进一步为
Figure BDA0002671580480000077
Figure BDA0002671580480000078
对于音乐的时频采用小波变换进行分析，通过分解和弦小波变换时频谱，分辨出不同的音进而获得对应的频率，实现完成对和弦的检测和分类器的构建。
步骤三：根据信息接收端实时接收的音乐进行混光调节，当信息接收端接收到实时传输过来的音乐后，将音乐传输至步骤二构建的分类器中，完成学习后的分类器对当前音乐进行分类划分，并作出调控灯光色彩变换的对应指令，在灯光设备接收到变换指令后做出对应颜色的调节。
其中混光调节为利用状态空间表达式根据测量的三基色参数与合成颜色的坐标便可获得各个基色分量的PWM占空比，进而对颜色进行控制。
其中三基色为光源三基色即红色、蓝色、绿色，构建色系坐标，当三基色坐标为(X1，Y1)，(X2，Y2)，(X3，Y3)时，混合得到的颜色O的色系坐标为(X，Y)具体为：
Figure BDA0002671580480000081
其中，a，b，c为基色所占比例，即光源O的三刺激值之比；利用色度计测量各基色的色坐标，并测量基色光在各自最大光强下混合后的色坐标计算各色光的基色量比例；当基色R，G，B对应的横纵坐标值及最大发光强度分别为(x1,y1,Z1)，(x2,y2,Z2)，(x3,y3,Z3)时，待合成色坐标为(x0,y0)合成后的发光强度为Z0，即混合光的坐标为：
Figure BDA0002671580480000082
Figure BDA0002671580480000083
其中涉及照明的设备LED的混色是通过PWM改变基色的发光强度，进而产生不同的基色，具有PWM占空比影响下，即
Figure BDA0002671580480000084
Figure BDA0002671580480000085
Z0＝DrZ1+DgZ2+DbZ3
其中Dr、Dg、Db分别表示三基色的PWM占空比值，状态空间表达式为
Figure BDA0002671580480000086
状态空间表达式、测量的三基色参数与合成颜色的坐标，获得各个基色分量的PWM占空比，实现目标颜色的混合，达到对灯光色彩的控制。
基于上述方法，可以构建一种用于实现上述方法的系统，该实现系统包含：
用于读取音乐特征的第一模块；该模块首先通过MIDI文件进行音乐信息的提取并计算与主旋律相关的特征信息，其次。利用贝叶斯分类器将计算出的旋律特征信息作为事件变量，并进行监督学习，最后通过基-2FFT和小波变换的方式，获得音乐的时频信号，进一步对和弦进行检测和分类。
其中音乐特征提取模块中，由于普通格式的音乐不适合直接分析与处理，所以对音乐特征的分析采用乐器数字接口MIDI文件进行处理。程序中利用循环遍历读取每个轨道，打印轨道中的所有的MIDI时间的列表，给出每个事件的MIDI消息的执行时间的绝对刻度时间戳。旋律特征的提取为首先对主音轨信息进行处理，解读出每个时间戳音符的时长、力度和音高；其次根据MIDI已有的音符代码表查询已解析的MIDI文件，进一步获得对应的时间戳音符的时长、力度和音高；最后通过标准库解析标准的MIDI文件，获得旋律相关的特征量。
特征量的获得包含预分析、通道号、左右声道的均衡度、平均力度、音符持续时间、发音面积参数计算。其中预分析为MIDI文件音轨头中包含乐曲相关说明，进一步获得音轨通道的分配情况；通道号中，一个MIDI文件最多为16个音轨，10号为打击乐，不作为主旋律输出；左右声道的均衡度中，每个音轨都记录了一个力度均衡值，彼此表示左右声道均衡度，64代表左右声道平衡，音轨k的均衡度可表示为：
Figure BDA0002671580480000091
平均力度中，由于主旋律的平均力度比其他音轨平均力度高，所以音轨的平均力度F2(k)的表示如下：
Figure BDA0002671580480000092
其中Vol(k,i)表示第k音轨中第i音符的按键力度；特征值音符持续时间F3(k)表示为：
Figure BDA0002671580480000093
其中ton(k,i)表示第k音轨第i个音符开启的时间，toff(k,i)表示第k音轨第i个音符关闭时间，对于多个音符同一时刻出现同一音轨时采用音高最高的音符，对于交叉发音即当一个音符未结束，另一个音符开启时，采用一个时间戳内，最后一个音符结束时间减去第一个音符开始时间tΔ，即tΔ(k,i)＝toff(k,i)-ton(k,i)；发音面积特征量中，结合音符连续时间，特征量发音面积F4(k)具体为：
Figure BDA0002671580480000101
其中pat(k,i)表示第k轨道第i个音符的音高。在文件不同，音轨数不同时，音轨的特征量则按照如下表达式行程数据集
Figure BDA0002671580480000102
Figure BDA0002671580480000103
Figure BDA0002671580480000104
Figure BDA0002671580480000105
其中
Figure BDA0002671580480000106
不考虑其所在音轨为仅适用单一文件的特征量，10号音轨为打击乐为不影响概分布，引入集合k＝{1,2,3…km},km为最大音轨数。
用于构建监督学习分类器的第二模块，该模块通过构建分类器从而进行对获得音乐的分类，其中对主旋律的提取为采用贝叶斯分类器，通过概率的不同对主音轨进行筛选。
其中先验概率的组成为
Figure BDA0002671580480000107
其中Q′ty表示数量，同时非主旋律的闲言概率满足P(K＝1)＝1-P(K＝1)，先验概率解出后建立后验概率模型即
Figure BDA0002671580480000108
Figure BDA0002671580480000109
Figure BDA00026715804800001010
其中POS(K＝1)表示音轨为主旋律的后验概率，POS(K＝0)表音轨不是主旋律的概率，Evidence表示证据因子，不改变各类后验概率的相对大小只改变绝对大小。
对和弦的判定采用FFT通过和弦频率分量比对来判断。在音频信号特征进行提取时，采用离散傅里叶变换对信号进行处理，其中为提高运算效率，使得采集信号的离散序列长度为2的整数次幂，因为复指数的周期性存在
Figure BDA0002671580480000111
所以离散序列X(k)进一步为
Figure BDA0002671580480000112
Figure BDA0002671580480000113
通过MATLAB对不同和弦的分析，可以看出频率的幅值差异所在。对于音乐的时频采用小波变换进行分析，通过分解和弦小波变换时频谱，分辨出不同的音进而获得对应的频率，最终完成对和弦的检测和分类。
用于进行光照呈现的第三模块，该模块用于对系统中含有的照明设备进行混光模式的效果呈现，其中照明模块中涉及的照明设备为RGB-LED灯泡，一个组合的RGB-LED由一个红色，一个绿色和一个蓝色的LED组成，通过PWM调光方式，以三基色作为三刺激值(X，Y，Z)，发射器连接到单独的引线，从而达到分别独立控制光源的目的。
色度的混合为混合后的颜色色标总在两种颜色的连线上，R，G，B三基色所在点的具体位置划分后，根据B，R两个分量一定比例的混合，获得B，R连线上的M点，再通过M，G两个分量的比例混合，可获得目标颜色O，即三种基色混合后得到的颜色可位于三基色坐标围成的三角形内的任意位置，其实际位置取决于三基色的混合比例。当三基色坐标为(X1，Y1)，(X2，Y2)，(X3，Y3)时，混合得到的颜色O的色系坐标为(X，Y)具体为：
Figure BDA0002671580480000114
其中，a，b，c为基色所占比例，即光源O的三刺激值之比。利用色度计测量各基色的色坐标，并测量基色光在各自最大光强下混合后的色坐标计算各色光的基色量比例。当基色R，G，B对应的横纵坐标值及最大发光强度分别为(x1,y1,Z1)，(x2,y2,Z2)，(x3,y3,Z3)时，待合成色坐标为(x0,y0)合成后的发光强度为Z0，因此根据基色坐标可获得：
Figure BDA0002671580480000115
Figure BDA0002671580480000121
LED的混色是通过PWM改变基色的发光强度，进而产生不同的基色，具有PWM占空比影响下，即
Figure BDA0002671580480000122
Figure BDA0002671580480000123
Z0＝DrZ1+DgZ2+DbZ3
其中Dr、Dg、Db分别表示三基色的PWM占空比值，状态空间表达式为
Figure BDA0002671580480000124
利用状态空间表达式根据测量的三基色参数与合成颜色的坐标便可获得各个基色分量的PWM占空比，随后将获得的指令发送至单片机中，生成对应的变换指令，当照明设备接收到变换指令后，进行灯光的调控从而实现对灯光颜色呈现效果的改变。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (8)

1.一种自适应音律变换的混光调节方法，其特征在于，包括：
步骤一：建立音乐曲库训练集；
步骤二：构建监督学习分类器；
步骤三：根据信息接收端实时接收的音乐进行混光调节。
2.根据权利要求1所述的一种自适应音律变换的混光调节方法，其特征在于，所述步骤一进一步为：
建立音乐曲库训练集中，训练集用于步骤二中构建的分类器进行监督学习，其中单首音乐的时间长度为整首歌播放完的时长。
3.根据权利要求1所述的一种自适应音律变换的混光调节方法，其特征在于，所述步骤二进一步为：
构建有监督学习的分类器，首先通过MIDI文件进行音乐信息的提取并计算与主旋律相关的特征信息；其次，利用贝叶斯分类器将计算出的旋律特征信息作为事件变量，并进行监督学习，最后通过基-2FFT和小波变换的方式，获得音乐的时频信号，进一步对和弦进行检测和分类；
其中音乐信息的提取为通过程序实现循环遍历读取每个轨道，打印轨道中所有MIDI时间列表，给出每个事件的MIDI消息的执行时间的绝对刻度时间戳；旋律特征的提取为首先对主音轨信息进行处理，解读出每个时间戳音符的时长、力度和音高；其次根据MIDI已有的音符代码表查询已解析的MIDI文件，进一步获得对应的时间戳音符的时长、力度和音高；最后通过标准库解析标准的MIDI文件，获得旋律相关的特征量；
对主旋律的提取为采用贝叶斯分类器，通过概率的不同对主音轨进行筛选；其中先验概率的组成为
Figure FDA0002671580470000011
其中Q′ty表示数量，同时非主旋律的闲言概率满足P(K＝1)＝1-P(K＝1)，先验概率解出后建立后验概率模型即
Figure FDA0002671580470000012
Figure FDA0002671580470000013
Figure FDA0002671580470000021
其中POS(K＝1)表示音轨为主旋律的后验概率，POS(K＝0)表示音轨不是主旋律的概率，Evidence表示证据因子，
Figure FDA0002671580470000022
表示不考虑其所在音轨为仅适用单一文件的特征量；
对和弦的判定采用FFT通过和弦频率分量比对来判断；在音频信号特征进行提取时，采用离散傅里叶变换对信号进行处理，采集信号的离散序列长度为2的整数次幂，复指数的周期性存在
Figure FDA0002671580470000023
离散序列X(k)进一步为
Figure FDA0002671580470000024
Figure FDA0002671580470000025
对于音乐的时频采用小波变换进行分析，通过分解和弦小波变换时频谱，分辨出不同的音进而获得对应的频率，实现完成对和弦的检测和分类器的构建。
4.根据权利要求1所述的一种自适应音律变换的混光调节方法，其特征在于，所述步骤三进一步为：
当信息接收端接收到实时传输过来的音乐后，将音乐传输至步骤二构建的分类器中，完成学习后的分类器对当前音乐进行分类划分，并作出调控灯光色彩变换的对应指令，在灯光设备接收到变换指令后做出对应颜色的调节；
其中混光调节为利用状态空间表达式根据测量的三基色参数与合成颜色的坐标便可获得各个基色分量的PWM占空比，进而对颜色进行控制；
其中三基色为光源三基色即红色、蓝色、绿色，构建色系坐标，当三基色坐标为(X1，Y1)，(X2，Y2)，(X3，Y3)时，混合得到的颜色O的色系坐标为(X，Y)具体为：
Figure FDA0002671580470000026
其中，a，b，c为基色所占比例，即光源O的三刺激值之比；利用色度计测量各基色的色坐标，并测量基色光在各自最大光强下混合后的色坐标计算各色光的基色量比例；当基色R，G，B对应的横纵坐标值及最大发光强度分别为(x1，y1，Z1)，(x2，y2，Z2)，(x3，y3，Z3)时，待合成色坐标为(x0，y0)合成后的发光强度为Z0，即混合光的坐标为：
Figure FDA0002671580470000027
Figure FDA0002671580470000031
其中涉及照明的设备LED的混色是通过PWM改变基色的发光强度，进而产生不同的基色，具有PWM占空比影响下，即
Figure FDA0002671580470000032
Figure FDA0002671580470000033
Z0＝DrZ1+DgZ2+DbZ3
其中Dr、Dg、Db分别表示三基色的PWM占空比值，状态空间表达式为
Figure FDA0002671580470000034
状态空间表达式、测量的三基色参数与合成颜色的坐标，获得各个基色分量的PWM占空比，实现目标颜色的混合，达到对灯光色彩的控制。
5.一种自适应音律变换的混光调节系统，用于实现上述权利要求1～4中任一项所述方法，其特征在于，包括：
用于读取音乐特征的第一模块；
用于构建监督学习分类器的第二模块；
用于进行光照呈现的第三模块。
6.根据权利要求5所述的一种自适应音律变换的混光调节系统，其特征在于，所述第一模块进一步采用乐器数字接口MIDI文件进行处理，通过程序实现循环遍历读取每个轨道，打印轨道中的所有的MIDI时间的列表，给出每个事件的MIDI消息的执行时间的绝对刻度时间戳；旋律特征的提取为，首先对主音轨信息进行处理，解读出每个时间戳音符的时长、力度和音高；其次，根据MIDI已有的音符代码表查询已解析的MIDI文件，进一步获得对应的时间戳音符的时长、力度和音高；最后，通过标准库解析标准的MIDI文件，获得旋律相关的特征量；
其中特征量的获得包含预分析、通道号、左右声道的均衡度、平均力度、音符持续时间、发音面积参数计算；
通道号中，一个MIDI文件最多为16个音轨，10号为打击乐，不作为主旋律输出；左右声道的均衡度中，每个音轨都记录了一个力度均衡值，彼此表示左右声道均衡度，64代表左右声道平衡，音轨k的均衡度可表示为：
Figure FDA0002671580470000041
平均力度中，由于主旋律的平均力度比其他音轨平均力度高，所以音轨的平均力度F2(k)为：
Figure FDA0002671580470000042
其中Vol(k，i)表示第k音轨中第i音符的按键力度；
特征值音符持续时间F3(k)表示为：
Figure FDA0002671580470000043
其中tΔ(k，i)＝toff(k，i)-ton(k，i)，ton(k，i)表示第k音轨第i个音符开启的时间，toff(k，i)表示第k音轨第i个音符关闭时间，对于多个音符同一时刻出现同一音轨时采用音高最高的音符，对于交叉发音即当一个音符未结束，另一个音符开启时，采用一个时间戳内，最后一个音符结束时间减去第一个音符开始时间tΔ；
发音面积特征量中，结合音符连续时间，特征量发音面积F4(k)具体为：
Figure FDA0002671580470000044
其中pat(k，i)表示第k轨道第i个音符的音高。
7.根据权利要求5所述的一种自适应音律变换的混光调节系统，其特征在于，所述第二模块进一步利用贝叶斯通过概率的不同对主音轨进行筛选；其中先验概率的组成为
Figure FDA0002671580470000051
其中Q′ty表示数量，同时非主旋律的闲言概率满足P(K＝1)＝1-P(K＝1)，先验概率解出后建立后验概率模型即
Figure FDA0002671580470000052
Figure FDA0002671580470000053
Figure FDA0002671580470000054
其中POS(K＝1)表示音轨为主旋律的后验概率，POS(K＝0)表示音轨不是主旋律的概率，Evidence表示证据因子，
Figure FDA0002671580470000055
表示不考虑其所在音轨为仅适用单一文件的特征量；
对和弦的判定采用FFT通过和弦频率分量比对来判断；在音频信号特征进行提取时，采用离散傅里叶变换对信号进行处理，采集信号的离散序列长度为2的整数次幂，复指数的周期性存在
Figure FDA0002671580470000056
离散序列X(k)进一步为
Figure FDA0002671580470000057
Figure FDA0002671580470000058
对于音乐的时频采用小波变换进行分析，通过分解和弦小波变换时频谱，分辨出不同的音进而获得对应的频率，最终完成对和弦的检测和分类。
8.根据权利要求5所述的一种自适应音律变换的混光调节系统，其特征在于，所述第三模块进一步包括发光照明设备、单片机指令接收发射器；
照明设备为RGB-LED灯泡，一个组合的RGB-LED由一个红色，一个绿色和一个蓝色的LED组成，通过PWM调光方式，以三基色作为三刺激值(X，Y，Z)，发射器连接到单独的引线，分别独立控制光源，利用状态空间表达式根据测量的三基色参数与合成颜色的坐标便可获得各个基色分量的PWM占空比，随后将获得的指令发送至单片机中，生成对应的变换指令，当照明设备接收到变换指令后，进行灯光的调控从而实现对灯光颜色呈现效果的改变。
CN202010934893.2A 2020-09-08 2020-09-08 一种自适应音律变换的混光调节方法及系统 Withdrawn CN112232118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010934893.2A CN112232118A (zh) 2020-09-08 2020-09-08 一种自适应音律变换的混光调节方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010934893.2A CN112232118A (zh) 2020-09-08 2020-09-08 一种自适应音律变换的混光调节方法及系统

Publications (1)

Publication Number Publication Date
CN112232118A true CN112232118A (zh) 2021-01-15

Family

ID=74116706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010934893.2A Withdrawn CN112232118A (zh) 2020-09-08 2020-09-08 一种自适应音律变换的混光调节方法及系统

Country Status (1)

Country Link
CN (1) CN112232118A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911774A (zh) * 2021-01-18 2021-06-04 智马达汽车有限公司 一种氛围灯的控制方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911774A (zh) * 2021-01-18 2021-06-04 智马达汽车有限公司 一种氛围灯的控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
TWI600992B (zh) 一種音樂燈光律動系統及方法
CN111836437B (zh) 一种灯光显示的控制方法及装置
US20210295811A1 (en) Mapping characteristics of music into a visual display
CN107135578A (zh) 基于TonaLighting调节技术的智能音乐和弦‑氛围灯系统
WO2019176950A1 (en) Machine learning method, audio source separation apparatus, audio source separation method, electronic instrument and audio source separation model generation apparatus
US20120126722A1 (en) Combined lighting and video control system
CN108200703A (zh) 一种与音频互动的灯光的控制方法、装置及电子设备
CN102123546A (zh) 一种全彩声光转换控制方法及系统
US11508393B2 (en) Controller for real-time visual display of music
JP3908649B2 (ja) 環境同期制御システム、制御方法及びプログラム
CN112232118A (zh) 一种自适应音律变换的混光调节方法及系统
CN114449713A (zh) 一种智能音频识别灯光控制系统
CN113853047A (zh) 灯光控制方法、装置、存储介质和电子设备
JP3077192B2 (ja) 演奏環境に対応する電子楽器
CN105611693B (zh) 音响与调光灯的控制方法及装置
CN107493641A (zh) 一种利用音乐驱动的灯光控制方法和装置
CN115571047A (zh) 车载氛围灯律动控制方法、装置、设备、芯片和系统
CN1477914A (zh) 音乐灯及其实现方法
CN110100450A (zh) 主再现设备、从再现设备及其光发射方法
CN114684013A (zh) 车内氛围灯智能调节系统及控制方法
CN111295017B (zh) 一种灯光控制方法、控制系统和设备
KR101793094B1 (ko) 음원 연주장치를 이용한 ｌｅｄ 조명장치의 제어시스템
WO2018016008A1 (ja) 音響機器制御操作入力装置、および音響機器制御操作入力プログラム
KR20200082997A (ko) 무빙 조명 시스템 및 이를 이용한 무빙 제어 방법
JP2011232640A (ja) 歌声ピッチの正確さにより変化する旋律連動式カラオケ電飾システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210115

WW01 Invention patent application withdrawn after publication