CN106875930B - 基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统 - Google Patents
基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统 Download PDFInfo
- Publication number
- CN106875930B CN106875930B CN201710071206.7A CN201710071206A CN106875930B CN 106875930 B CN106875930 B CN 106875930B CN 201710071206 A CN201710071206 A CN 201710071206A CN 106875930 B CN106875930 B CN 106875930B
- Authority
- CN
- China
- Prior art keywords
- frequency
- rhythm
- song
- low
- rhythm point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明的基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统,方法为:获得歌曲中的歌曲伴音和话筒人声信号;按照预设时间采样间隔对歌曲进行频率采样,得到多个采样频率的增益;根据多个低频率的增益和多个高频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;按照第二预设判定条件进行节奏分类判断,得到高频节奏点;根据低频节奏点和高频节奏点,按照第三预设判定条件将歌曲分成不同的演唱阶段;进行歌曲的灯光设置,得到具有灯光节奏效果的歌曲。本发明针对不同歌曲的旋律节奏特征,采用歌曲伴音和话筒人声全频检测技术和实时软件分析技术,判断出歌曲的不同演唱阶段,调用不同的灯光效果。
Description
技术领域
本发明涉及数据处理领域,尤其涉及基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统。
背景技术
目前KTV系统都包括有卡拉OK点播系统和包房音响系统。卡拉OK点播系统输出伴奏音乐(以下简称伴音),音响系统包含有专门的话筒设备拾取唱歌者的声音(以下简称话筒人声),伴音和话筒人声经过音响系统的综合处理送到音箱,完成了歌曲演唱。目前的卡拉OK歌曲的数量已经达到十几万首之多。
另外,KTV系统也包含包房灯光系统,除了房间照明灯具外,各种舞台效果灯具也越来越广泛,目前的做法是针对选定的灯具,预先编制几种包房灯光效果,通过灯光控制器的伴音低音检测,两者有机结合,形成了灯光与音乐的同步联动,实现了智能灯光效果或者说灯光随节奏变化。
目前,卡拉OK歌曲数量达十几万甚至上百万首,针对每首歌、每个KTV包房灯具,都编辑出个性化的、独有的、最符合这首歌情感表达的灯光效果是不切实际的。但目前应用的这种声光联动模式是固定的几种或多种效果,不论什么歌曲,都是不断的重复,对于消费者来说没有什么新意,容易审美疲劳,对于商家来说花了不少的投入却没有达成个性化多样化的舞美灯光效果带来的经济效益。
因此,现有技术中的缺陷是,现有的灯光随节奏变化效果,不论是什么歌曲,灯光随节奏变化的效果都是不断重复的,没有针对不同的歌曲达到不同的效果,使用户体验度低。
发明内容
针对上述技术问题,本发明提供一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统,针对不同歌曲的旋律节奏特征,采用歌曲伴音和话筒人声全频检测技术和实时的软件分析技术,判断出歌曲的不同演唱阶段,即可以调用不同的灯光效果,实现灯光效果跟着歌曲的不同情感阶段自动进行变化。
为解决上述技术问题,本发明提供的技术方案是:
第一方面,本发明提供一种基于歌曲伴音和话筒人声实时检测的灯光控制方法,包括:
步骤S1,获得歌曲中的歌曲伴音和话筒人声信号;
步骤S2,按照预设时间采样间隔对所述歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算所述多个采样频率的增益,所述多个采样频率由多个低频率和多个高频率组成;
步骤S3,根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
步骤S4,根据所述多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
步骤S5,根据所述低频节奏点和所述高频节奏点,按照第三预设判定条件将所述歌曲分成不同的演唱阶段;
步骤S6,根据所述不同的演唱阶段,进行所述歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
本发明的基于歌曲伴音和话筒人声实时检测的灯光控制方法,其技术方案是:获得歌曲中的歌曲伴音和话筒人声信号;按照预设时间采样间隔对所述歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算所述多个采样频率的增益,所述多个采样频率由多个低频率和多个高频率组成;
根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;根据所述多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
根据所述低频节奏点和所述高频节奏点,按照第三预设判定条件将所述歌曲分成不同的演唱阶段;根据所述不同的演唱阶段,进行所述歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
本发明的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法,针对不同歌曲的旋律节奏特征,采用歌曲伴音和话筒人声全频检测技术和实时的软件分析技术,判断出歌曲的不同演唱阶段,即可以调用不同的灯光效果,实现灯光效果跟着歌曲的不同情感阶段自动进行变化。
针对数量庞大的VOD歌曲,在编辑灯光效果工作量不增加或者只增加很少工作量的情况下,让灯光效果实现千变万化,可以做到每首歌的灯光效果都不同,甚至多次唱同一首歌其灯光效果也不一样。这样,可以让用户感受到每一首歌的舞美光效都不一样,增加娱乐性,让用户感觉到自己演唱时的房间灯光效果每一首都是专属定制,提高用户体验度。
进一步地,所述步骤S3,具体为:
获得第一预设判定条件,所述第一预设判定条件为:
第一个低频率的增益大于第一待比较值,所述第一个低频率的增益为通过计算从所述多个低频率中选择的一个低频率得到的,所述第一待比较值为所述第一个低频率的增益的均值乘以第一预设阈值;
当所述多个低频率的增益满足所述第一预设判定条件,实现对所述第一个节奏点的识别;
选择所述第一个低频率之后的连续两个低频率,所述两个低频率大于所述第一个低频率;
当所述两个低频率满足第二个节奏点的识别条件,按照所述第一个节奏点的识别过程,进行第二个节奏点的识别,所述第一个节奏点与所述第二个节奏点之间最短的采样间隔大于350毫秒。
进一步地,所述第二个节奏点的识别条件为:
所述两个低频率的增益均小于第二待比较值,所述第二待比较值为所述第一个低频率的增益的均值乘以第二预设阈值。
进一步地,所述步骤S4,具体为:
获得第二预设判定条件,所述第二预设判定条件为:
连续识别到至少3个节奏点;
所述多个高频率持续时间超过预设阈值;
第一个高频率的增益大于第三待比较值,所述第三待比较值为所述最大值乘以第三预设阈值,所述最大值为在所述第一个高频率采样对应的过去1秒内的增益中选择的增益值,所述第一个高频率的增益为通过计算从所述多个高频率中选择的一个高频率得到的;
当所述多个高频率的增益满足所述第二预设判定条件,判定为高频节奏点。
进一步地,所述步骤S5,具体为:
获得第三预设判定条件,所述第三预设判定条件为:
当6秒内没有一个节奏点,判定为第一演唱阶段;
当6秒内有大于一个节奏点,且3秒内没有大于2个节奏点,判定为第二演唱阶段;
当3秒内至少有大于2个节奏点,判定为第三演唱阶段;
当节奏点的持续时间至少为1秒,判定为第四演唱阶段;
根据所述低频节奏点和所述高频节奏点,按照所述第三预设判定条件将所述歌曲分成不同的演唱阶段。
第二方面,本发明提供了一种基于歌曲伴音和话筒人声实时检测的灯光控制系统,包括:
歌曲及话筒人声数据获取模块,用于获得歌曲中的歌曲伴音和话筒人声信号;
采样频率模块,用于按照预设时间采样间隔对所述歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算所述多个采样频率的增益,所述多个采样频率由多个低频率和多个高频率组成;
低频节奏点判定模块,用于根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
高频节奏点判定模块,用于根据所述多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
演唱阶段判定模块,用于根据所述低频节奏点和所述高频节奏点,按照第三预设判定条件将所述歌曲分成不同的演唱阶段;
节奏灯光设置模块,用于根据所述不同的演唱阶段,进行所述歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
本发明提供的基于歌曲伴音和话筒人声实时检测的灯光控制系统,其技术方案为:通过歌曲及话筒人声数据获取模块,获得歌曲中的歌曲伴音和话筒人声信号;通过采样频率模块,按照预设时间采样间隔对所述歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算所述多个采样频率的增益,所述多个采样频率由多个低频率和多个高频率组成;
通过低频节奏点判定模块,根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;通过高频节奏点判定模块,根据所述多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
通过演唱阶段判定模块,根据所述低频节奏点和所述高频节奏点,按照第三预设判定条件将所述歌曲分成不同的演唱阶段;通过节奏灯光设置模块,根据所述不同的演唱阶段,进行所述歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
本发明的基于歌曲伴音和话筒人声实时检测的灯光控制系统,针对不同歌曲的旋律节奏特征,采用歌曲伴音和话筒人声全频检测技术和实时的软件分析技术,判断出歌曲的不同演唱阶段,即可以调用不同的灯光效果,实现灯光效果跟着歌曲的不同情感阶段自动进行变化。
针对数量庞大的VOD歌曲,在编辑灯光效果工作量不增加或者只增加很少工作量的情况下,让灯光效果实现千变万化,可以做到每首歌的灯光效果都不同,甚至多次唱同一首歌其灯光效果也不一样。这样,可以让用户感受到每一首歌的舞美光效都不一样,增加娱乐性,让用户感觉到自己演唱时的房间灯光效果每一首都是专属定制,提高用户体验度。
进一步地,所述低频节奏点判定模块,具体用于:
获得第一预设判定条件,所述第一预设判定条件为:
第一个低频率的增益大于第一待比较值,所述第一个低频率的增益为通过计算从所述多个低频率中选择的一个低频率得到的,所述第一待比较值为所述第一个低频率的增益的均值乘以第一预设阈值;
当所述多个低频率的增益满足所述第一预设判定条件,实现对所述第一个节奏点的识别;
选择所述第一个低频率之后的连续两个低频率,所述两个低频率大于所述第一个低频率;
当所述两个低频率满足第二个节奏点的识别条件,按照所述第一个节奏点的识别过程,进行第二个节奏点的识别,所述第一个节奏点与所述第二个节奏点之间最短的采样间隔大于350毫秒。
进一步地,所述第二个节奏点的识别条件为:
所述两个低频率的增益均小于第二待比较值,所述第二待比较值为所述第一个低频率的增益的均值乘以第二预设阈值。
进一步地,所述高频节奏点判定模块,具体用于:
获得第二预设判定条件,所述第二预设判定条件为:
连续识别到至少3个节奏点;
所述多个高频率持续时间超过预设阈值;
第一个高频率的增益大于第三待比较值,所述第三待比较值为所述最大值乘以第三预设阈值,所述最大值为在所述第一个高频率采样对应的过去1秒内的增益中选择的增益值,所述第一个高频率的增益为通过计算从所述多个高频率中选择的一个高频率得到的;
当所述多个高频率的增益满足所述第二预设判定条件,判定为高频节奏点。
进一步地,所述演唱阶段判定模块,具体用于:
获得第三预设判定条件,所述第三预设判定条件为:
当6秒内没有一个节奏点,判定为第一演唱阶段;
当6秒内有大于一个节奏点,且3秒内没有大于2个节奏点,判定为第二演唱阶段;
当3秒内至少有大于2个节奏点,判定为第三演唱阶段;
当节奏点的持续时间至少为1秒,判定为第四演唱阶段;
根据所述低频节奏点和所述高频节奏点,按照所述第三预设判定条件将所述歌曲分成不同的演唱阶段。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法的流程图;
图2示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制系统的示意图;
图3示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的63Kz频率采样示意图;
图4示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的KTV包房灯光系统示意图;
图5示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图6示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图7示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图8示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图9示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图10示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图11示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图12示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图13示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图14示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图15示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的样本歌曲仿真示意图;
图16示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统的灯光控制器示意图;
图17示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统中的基于歌曲情感识别的灯光控制结构示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一
图1示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法的流程图;如图1所示,实施例一提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法,包括:
步骤S1,获得歌曲中的歌曲伴音和话筒人声信号;特别强调的是歌曲伴音和话筒人声是从分别设备提取的,因为唱歌的时候是没有原唱的。
步骤S2,按照预设时间采样间隔对歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算多个采样频率的增益,多个采样频率由多个低频率和多个高频率组成;
步骤S3,根据多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
步骤S4,根据多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
步骤S5,根据低频节奏点和高频节奏点,按照第三预设判定条件将歌曲分成不同的演唱阶段;
步骤S6,根据不同的演唱阶段,进行歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
本发明的基于歌曲伴音和话筒人声实时检测的灯光控制方法,其技术方案是:获得歌曲中的歌曲伴音和话筒人声信号;按照预设时间采样间隔对歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算多个采样频率的增益,多个采样频率由多个低频率和多个高频率组成;
根据多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;根据多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
根据低频节奏点和高频节奏点,按照第三预设判定条件将歌曲分成不同的演唱阶段;根据不同的演唱阶段,进行歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
通常对歌曲的演唱阶段的主观认识包括以下几方面:
a、准备阶段:开始但没有声音。可能很短一两秒。
b、开场阶段:音乐开始,到人开始唱歌的时候。
c、演唱阶段:开始唱歌,到高潮前的时间段。
d、高潮阶段:歌曲达到情绪的最高峰。
e、高潮消退阶段:高潮之后的下降阶段,有些歌曲是直接停止或是很短暂的无声。这一阶段之后通常会再次返回演唱阶段。
f、尾声阶段:歌曲演唱完以后,进入持续的配乐直到结束。
有些歌曲并不一定按照这几个阶段,只有其中的部分阶段。
唱歌是感情抒发的过程,每首歌曲都有自身情感的特点,体现在歌曲旋律和节奏节拍上的不同,根据音乐和人声中每个音的高低、长短、强弱等元素进行电子电路分析,我们大致可以判断出歌曲的几个演唱阶段。如音的高低对应频率,强弱对应增益等,综合可以分析出歌曲的旋律节奏,如有的舒缓、有的欢快、有的急速。
因此,本发明的一种基于歌曲伴音和话筒人声实时检测的灯光控制方法,针对不同歌曲的旋律节奏特征,采用歌曲伴音和话筒人声全频检测技术和实时的软件分析技术,判断出歌曲的不同演唱阶段,即将一首歌曲分为四个演唱阶段,之后可以根据各阶段的特点编程不同的灯光效果,实现灯光效果跟着歌曲的不同情感阶段自动进行变化。
针对数量庞大的VOD歌曲,在编辑灯光效果工作量不增加或者只增加很少工作量的情况下,让灯光效果实现千变万化,可以做到每首歌的灯光效果都不同,甚至多次唱同一首歌其灯光效果也不一样。这样,可以让用户感受到每一首歌的舞美光效都不一样,增加娱乐性,让用户感觉到自己演唱时的房间灯光效果每一首都是专属定制,提高用户体验度。
每首歌曲大约的时间为5分钟。本实施例中使用10毫秒的预设时间采样间隔,进行频率采样,得到多个采样频率,每首歌曲的典型频点为63Hz、160Hz、400Hz、1kHz、2.5kHz、6.3kHz等。参见图3,以63Hz为例;然后识别歌曲频率成分中的部分频率增益大小,进行综合判断确定歌曲节奏节拍的时间点,采样样本值大约为30000个。
本实施例中的节奏检测,即节奏点分类判断是基于歌曲伴音的63Hz和160Hz进行综合判断。
本实施例中选择63Hz频率为例,对多个低频率进行节奏分类判断,具体过程为:
获得第一预设判定条件,第一预设判定条件为:
第一个低频率(63Hz)的增益大于第一待比较值,第一个低频率的增益为通过计算从多个低频率中选择的一个低频率得到的,第一待比较值为第一个低频率的增益的均值乘以第一预设阈值,其中第一预设阈值为140%;
当多个低频率的增益满足第一预设判定条件,实现对第一个节奏点的识别,认为是一个节奏点;
选择第一个低频率之后的连续两个低频率,两个低频率大于第一个低频率(63Hz);
当两个低频率满足第二个节奏点的识别条件,按照第一个节奏点的识别过程,进行第二个节奏点的识别,第一个节奏点与第二个节奏点之间最短的采样间隔大于350毫秒。
其中,第二个节奏点的识别条件为:
两个低频率的增益均小于第二待比较值,第二待比较值为第一个低频率的增益的均值乘以第二预设阈值,本实施例中,第二预设阈值为110%。
人声的高频检测是直接检测话筒接收机或者音响前级效果器中置输入的人声信号。本实施例中的多个高频率选择2.5kHz和6.3kHz,对2.5kHz和6.3kHz的高频成分的高频节奏点的识别过程,具体为:
获得第二预设判定条件,第二预设判定条件为:
连续识别到至少3个节奏点;
多个高频率持续时间超过预设阈值,即人声2.5kHz和6.3kHz以上声音持续超过2秒;
第一个高频率的增益大于第三待比较值,第三待比较值为最大值乘以第三预设阈值,本实施例中,第三预设阈值为140%,最大值为在第一个高频率采样对应的过去1秒内的增益中选择的增益值,第一个高频率的增益为通过计算从多个高频率中选择的一个高频率得到的;
以上述条件作为高潮开始的判断条件;
当多个高频率的增益满足第二预设判定条件,判定为高频节奏点。
将节奏点分类后,进行不同演唱阶段的判断,具体过程为:
获得第三预设判定条件,第三预设判定条件为:
当6秒内没有一个节奏点,判定为第一演唱阶段,即缓慢无低音;
当6秒内有大于一个节奏点,且3秒内没有大于2个节奏点,判定为第二演唱阶段,即慢拍;
当3秒内至少有大于2个节奏点,判定为第三演唱阶段,即快拍;
当节奏点的持续时间至少为1秒,判定为第四演唱阶段,即高潮;
高潮的具体判断过程为各种条件的复合判断,当高潮开始后持续时间有1秒,若1秒内有触发,即有持续的低频节奏点,时间按照触发时开始,再次持续1秒,即第四演唱阶段持续。
根据低频节奏点和高频节奏点,按照第三预设判定条件将歌曲分成不同的演唱阶段。
根据四个演唱阶段,进行灯光节奏的效果设置,具体过程为:
1、灯光效果的编程
灯光效果按照缓慢无低音、慢拍、快拍、高潮四个演唱阶段进行编程,每个阶段可以编制最多有25个程序,全叠加有10个程序,在每一阶段可同时运行9个程序,而每切换到不同的区域,会执行不同的灯光程序。
2、灯光效果的组合数量
假设一首歌四个阶段各出现一次,按照四个阶段25个程序进行组合,变化有25的4次方为390625;
实际上一首歌曲的各阶段可能出现几次,由于是软件随机调用,变化更多。
3、灯光效果的控制
演唱歌曲时的灯光效果的控制,其灯光效果事先通过软件程序自动编制完成。硬件完成伴音和话筒人声信号的检测和灯具的控制,软件完成灯光效果的自动调用。
本发明针对歌曲的不同演唱阶段进行分类,每种类别再编辑多种灯光效果,通过控制系统的随机排列组合,完成整个歌曲的灯光效果,让每首歌曲都有自己独特的灯光效果,让演唱者感觉到灯光效果的千变万化。可以说让灯光效果更加贴近于歌曲,每首歌曲都有不一样的专属的灯光效果。
图2示出了本发明实施例所提供的一种基于歌曲伴音和话筒人声实时检测的灯光控制系统的示意图,本实施例提供了一种基于歌曲伴音和话筒人声实时检测的灯光控制系统10,包括:
歌曲及话筒人声数据获取模块101,用于获得歌曲中的歌曲伴音和话筒人声信号;
采样频率模块102,用于按照预设时间采样间隔对歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算多个采样频率的增益,多个采样频率由多个低频率和多个高频率组成;
低频节奏点判定模块103,用于根据多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
高频节奏点判定模块104,用于根据多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
演唱阶段判定模块105,用于根据低频节奏点和高频节奏点,按照第三预设判定条件将歌曲分成不同的演唱阶段;
节奏灯光设置模块106,用于根据不同的演唱阶段,进行歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
本发明提供的基于歌曲伴音和话筒人声实时检测的灯光控制系统10,其技术方案为:通过歌曲及话筒人声数据获取模块101,获得歌曲中的歌曲伴音和话筒人声信号;通过采样频率模块102,按照预设时间采样间隔对歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算多个采样频率的增益,多个采样频率由多个低频率和多个高频率组成;
通过低频节奏点判定模块103,根据多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;通过高频节奏点判定模块104,根据多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
通过演唱阶段判定模块105,根据低频节奏点和高频节奏点,按照第三预设判定条件将歌曲分成不同的演唱阶段;通过节奏灯光设置模块106,根据不同的演唱阶段,进行歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
通常对歌曲的演唱阶段的主观认识包括以下几方面:
a、准备阶段:开始但没有声音。可能很短一两秒。
b、开场阶段:音乐开始,到人开始唱歌的时候。
c、演唱阶段:开始唱歌,到高潮前的时间段。
d、高潮阶段:歌曲达到情绪的最高峰。
e、高潮消退阶段:高潮之后的下降阶段,有些歌曲是直接停止或是很短暂的无声。这一阶段之后通常会再次返回演唱阶段。
f、尾声阶段:歌曲演唱完以后,进入持续的配乐直到结束。
有些歌曲并不一定按照这几个阶段,只有其中的部分阶段。
唱歌是感情抒发的过程,每首歌曲都有自身情感的特点,体现在歌曲旋律和节奏节拍上的不同,根据音乐和人声中每个音的高低、长短、强弱等元素进行电子电路分析,我们大致可以判断出歌曲的几个演唱阶段。如音的高低对应频率,强弱对应增益等,综合可以分析出歌曲的旋律节奏,如有的舒缓、有的欢快、有的急速。
因此,本发明的一种基于歌曲伴音和话筒人声实时检测的灯光控制系统10,针对不同歌曲的旋律节奏特征,采用歌曲伴音和话筒人声全频检测技术和实时的软件分析技术,判断出歌曲的不同演唱阶段,即将一首歌曲分为四个演唱阶段,之后可以根据各阶段的特点编程不同的灯光效果,实现灯光效果跟着歌曲的不同情感阶段自动进行变化。
针对数量庞大的VOD歌曲,在编辑灯光效果工作量不增加或者只增加很少工作量的情况下,让灯光效果实现千变万化,可以做到每首歌的灯光效果都不同,甚至多次唱同一首歌其灯光效果也不一样。这样,可以让用户感受到每一首歌的舞美光效都不一样,增加娱乐性,让用户感觉到自己演唱时的房间灯光效果每一首都是专属定制,提高用户体验度。
每首歌曲大约的时间为5分钟。本实施例中使用10毫秒的预设时间采样间隔,进行频率采样,得到多个采样频率,每首歌曲的典型频点为63Hz、160Hz、400Hz、1kHz、2.5kHz、6.3kHz等。参见图3,以63Hz为例;然后识别歌曲频率成分中的部分频率增益大小,进行综合判断确定歌曲节奏节拍的时间点,采样样本值大约为30000个。
本实施例中的节奏检测,即节奏点分类判断是基于歌曲伴音的63Hz和160Hz进行综合判断。
本实施例中选择63Hz频率为例,对多个低频率进行节奏分类判断,具体过程为,即低频节奏点判定模块103,具体用于:
获得第一预设判定条件,第一预设判定条件为:
第一个低频率(63Hz)的增益大于第一待比较值,第一个低频率的增益为通过计算从多个低频率中选择的一个低频率得到的,第一待比较值为第一个低频率的增益的均值乘以第一预设阈值,其中第一预设阈值为140%;
当多个低频率的增益满足第一预设判定条件,实现对第一个节奏点的识别,认为是一个节奏点;
选择第一个低频率之后的连续两个低频率,两个低频率大于第一个低频率(63Hz);
当两个低频率满足第二个节奏点的识别条件,按照第一个节奏点的识别过程,进行第二个节奏点的识别,第一个节奏点与第二个节奏点之间最短的采样间隔大于350毫秒。
其中,第二个节奏点的识别条件为:
两个低频率的增益均小于第二待比较值,第二待比较值为第一个低频率的增益的均值乘以第二预设阈值,本实施例中,第二预设阈值为110%。
人声的高频检测是直接检测话筒接收机或者音响前级效果器中置输入的人声信号。本实施例中的多个高频率选择2.5kHz和6.3kHz,对2.5kHz和6.3kHz的高频成分的高频节奏点的识别过程,具体为:
获得第二预设判定条件,第二预设判定条件为:
连续识别到至少3个节奏点;
多个高频率持续时间超过预设阈值,即人声2.5kHz和6.3kHz以上声音持续超过2秒;
第一个高频率的增益大于第三待比较值,第三待比较值为最大值乘以第三预设阈值,本实施例中,第三预设阈值为140%,最大值为在第一个高频率采样对应的过去1秒内的增益中选择的增益值,第一个高频率的增益为通过计算从多个高频率中选择的一个高频率得到的;
以上述条件作为高潮开始的判断条件;
当多个高频率的增益满足第二预设判定条件,判定为高频节奏点。
将节奏点分类后,进行不同演唱阶段的判断,具体过程为:
获得第三预设判定条件,第三预设判定条件为:
当6秒内没有一个节奏点,判定为第一演唱阶段,即缓慢无低音;
当6秒内有大于一个节奏点,且3秒内没有大于2个节奏点,判定为第二演唱阶段,即慢拍;
当3秒内至少有大于2个节奏点,判定为第三演唱阶段,即快拍;
当节奏点的持续时间至少为1秒,判定为第四演唱阶段,即高潮;
高潮的具体判断过程为各种条件的复合判断,当高潮开始后持续时间有1秒,若1秒内有触发,时间按照触发时开始,再次持续1秒,即第四演唱阶段持续。
根据低频节奏点和高频节奏点,按照第三预设判定条件将歌曲分成不同的演唱阶段。
根据四个演唱阶段,进行灯光节奏的效果设置,具体过程为:
1、灯光效果的编程
灯光效果按照缓慢无低音、慢拍、快拍、高潮四个演唱阶段进行编程,每个阶段可以编制最多有25个程序,全叠加有10个程序,在每一阶段可同时运行9个程序,而每切换到不同的区域,会执行不同的灯光程序。
2、灯光效果的组合数量
假设一首歌四个阶段各出现一次,按照四个阶段25个程序进行组合,变化有25的4次方为390625;
实际上一首歌曲的各阶段可能出现几次,由于是软件随机调用,变化更多。
3、灯光效果的控制
演唱歌曲时的灯光效果的控制,其灯光效果事先通过软件程序自动编制完成。硬件完成伴音和话筒人声信号的检测和灯具的控制,软件完成灯光效果的自动调用。
本发明针对歌曲的不同演唱阶段进行分类,每种类别再编辑多种灯光效果,通过控制系统的随机排列组合,完成整个歌曲的灯光效果,让每首歌曲都有自己独特的灯光效果,让演唱者感觉到灯光效果的千变万化。可以说让灯光效果更加贴近于歌曲,每首歌曲都有不一样的专属的灯光效果。
实施例二
基于实施例一中的基于歌曲伴音和话筒人声实时检测的灯光控制方法和基于歌曲伴音和话筒人声实时检测的灯光控制系统10,以歌曲“死了都要爱”为例,应用于KTV的包房灯光系统进行具体说明,参见图4,在KTV的卡拉OK点播系统及包房音响系统(含话筒)中,对歌曲进行伴音全频检测和话筒人声全频检测,得到四个演唱阶段的分类,不同的歌曲有不同的分类结果;
基于实例一中的基于歌曲伴音和人声实时检测的灯光控制方法和基于歌曲伴音和话筒人声实时检测的灯光控制系统10,对“死了都要爱”这首歌曲,通过软件程序进行四个演唱阶段的分类,分类结果如表1所示:
根据大数据分析和实际验证,结果表明采用本发明中的软件算法,可以准确分析出歌曲的四个演唱阶段。
接着进行灯光节奏的控制设计,样本歌曲“死了都要爱”中,无低音2次,慢拍4次,快拍8次,高潮6次,其灯光效果是以下组合效果的其中一种:25的20次方,也就是390625的5次方。
参见图5至图15,为歌曲“死了都要爱”的样本分析结果,由分析结果可看出,通过本发明的基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统,歌曲的节奏分类准确,灯光控制效果灵活多变,让演唱者感觉到灯光效果的千变万化。可以说让灯光效果更加贴近于歌曲,每首歌曲都有不一样的专属的灯光效果。
实施例三
基于实施例一中的基于歌曲伴音和话筒人声实时检测的灯光控制系统10,针对不同的歌曲,根据不同歌曲的节奏,配合不同的灯光效果,但灯光和歌曲节奏如果不能进行统一的控制,就会影响灯光和歌曲节奏配合的显示效果;因此,对于灯光和歌曲节奏的统一控制可使本发明的基于歌曲伴音和话筒人声实时检测的灯光控制系统10的实现效果更好,比如随着音乐的节奏统一控制的灯光的亮与灭,或随着音乐的节奏统一闪动方式或速率,从而达不到音乐节奏和灯光的闪烁节奏统一的炫丽效果。
参见图16,基于上述对歌曲节奏和灯光的统一控制,基于歌曲伴音和话筒人声实时检测的灯光控制系统10还包括一种灯光控制器107,灯光控制器107可以是采用外接电源的模式进行操作,或者是采用填充电池的方式来提供电源,对于其具体的供电模式本实施例并不具体限定,可以想到的是若外接电源,如交流电等需要连接电源适配器,以对不符合规格的电压进行变压。
灯光控制器107包括声音采集模块1071、处理模块1072以及信号输出模块1073。
处理模块1072分别耦接于声音采集模块1071与信号输出模块1073。声音采集模块1071用以采集声音信号,因此,声音采集模块1071可以是但并不局限于麦克风或其他形式的收音装置。处理模块1072包括有主控集成电路芯片,用以从声音采集模块1071接收声音信号以及识别此声音信号中的音符和节拍,并且将识别后的声音信号中的音符和节拍进行存储。
信号输出模块1073包括有通讯芯片,用以根据音符和节拍发送相应的控制信号至灯具,因此在信号输出模块1073和灯具上分别配置有相应的信号收发装置,例如适用于DMX512格式的信号收发装置,让信号输出模块1073可以发送控制信号来驱动灯具的灯光开启或关闭的频率。
其中,控制信号可以包括DMX512信号,其遵守DMX512协议,其具有的简单性、可靠性以及灵活性使其迅速成为资金允许情况下选择的协议,除了调光器外,一系列不断增长的控制设备就是证据。
具体地,处理模块1072从声音采集模块1071接收声音信号,并且对声音信号中的音符和节拍进行识别。
其中,当声音信号通过声音采集模块上所配置的输入输出口(I/O口)时,会在输入输出口上产生频率,此时通过处理模块1072将此频率取回,并且通过处理模块1072上所配置的定时器在预定时间内关闭而中断处理模块对声音信号的侦测及取回,也就是在预定时间内侦测声音信号的频率。以标准音高A为例:A的频率f=400Hz,其对应的周期为:T=1/f=1/400=2272μs。利用处理模块1072的中断触发方式采集,如采集到此时的周期为2272μs,则识别此时演奏的音符的声调为A,也就是根据频率的周期判断音符的声调。
此外,如果在某一段时间采集的声调为A,通过处理模块1072的对比发现声调变为B,此时处理模块即判断声调A演奏了多长时间,然后将这段音符的演奏时间定位为节拍,也就是根据音符的演奏时间定位节拍。
如下表2所示,为通过处理模块所识别的不同音符与节拍。
声调 | 1 | 1” | 2 | 2” | 3 | 4 | 4” | 5 | 5” | 6 | 6” | 7 |
音符 | 523 | 553 | 586 | 621 | 658 | 697 | 739 | 783 | 830 | 879 | 931 | 987 |
节拍 | 1.2 | 1.5 | 1.7 | 1.3 | 1.5 | 1.6 | 1.3 | 1.2 | 0.5 | 0.7 | 1.3 | 2 |
基于此,声音采集模块1071接收进来的声音信号(例如歌曲)的音符和节拍以量化数据的形式呈现,并且存储在处理模块1072中。
然后,信号输出模块1073从处理模块1072取得声音信号的音符和节拍,并且根据这些音符和节拍发送相应的控制信号至灯具,其中,控制信号包括灯光熄灭信号、灯光熄灭的延时时间、灯光开启信号以及开关灯光的重复次数等,让灯具可以在延时时间内熄灭灯光;在延时时间后开启灯光;并且,根据周期及节拍决定重复熄灭灯光与开启灯光的操作次数;以及重复熄灭灯光与开启灯光的操作等。例如,对于音符频率为525Hz、节拍为1.2秒(s)的声调1而言,信号输出模块1073所发出的控制信号可以是先包含有数据字段全为0的一串数据,此时灯具的灯光全灭,并且在1916μs(周期T=1/525)的延时时间后,再发送另一数据字段全为1的一串数据,此时灯具的灯光亮,从而实现声调1的音符。接着,重复上述灯光熄灭与开启的动作626次(1.2秒内),即实现声调1的节拍。
通过上述方式,根据音符的演奏时间定位节拍,根据节拍进行灯光的控制,可使灯光节奏与音乐节奏达成一致,而产生炫丽的声光效果。
实施例四
基于实施例一至实施例三,是基于歌曲的节奏进行灯光的设置,由于歌曲中还包括有其他因素,因此,将歌曲中的其他因素也考虑到灯光控制中,可使灯光控制的效果更好,本实施例中,将歌曲中的情感特征结合到灯光控制中,进行进一步的说明。
参见图17,首先要对音乐和灯光的情感特征进行识别和分析,然后根据两者所体现的情感特征,实现音乐情感和灯光动作的同步匹配,从而得到相应的灯光变化效果。
主要进行如下三方面的工作:
①在提取音乐基本特征的基础上,构建出表征情感内涵的特征空间,经过情感模糊推理机处理后,得到对音乐情感的识别结果。
②在对灯光颜色、造型及动作变换进行情感分析的基础上,设计出符合情感内涵的灯光动作库。
③进行音乐作品与灯光动作的匹配,即根据情感为各个MIDI音乐找到合适的灯光动作序列,实现灯光变化效果。
其中,针对音乐的情感进行模糊逻辑推理,以音乐情感信息的基本特征作为输入,灯光的控制要素作为输出。首先需要将基本特征进行模糊化处理,通过一定的模糊规则将基本特征转换为灯光控制的要素,然后通过反模糊化将灯光控制的要素转换为数值输出。
对于音乐情感识别而言,本实施例中采用Mamdani模糊推理的方法,主要包括以下几个步骤:首先对输入变量进行模糊化;其次是根据模糊规则进行推理;最后对输出变量进行反模糊化。
1、输入变量的模糊化
将能够表征音乐情感的多种特征矢量作为情感驱动模型的输入,采用多输入的模糊推理系统对这些特征矢量进行分析。主要选取了平均音高、平均音强、音强标准差、音高标准差、音程绝对值的均值、音速这几个特征矢量作为模糊推理系统的输入变量。
其中输入包括以下音乐情感信息的基本特征:
①均音高(音区),输入范围[50,70];
②平均音强(力度),输入范围[40,95];
③音强标准差(力度稳定性),输入范围[0,20];
④音高标准差(音高稳定性),输入范围[0,15];
⑤音程绝对值的均值(音程跨度),输入范围[0,15];
⑥音速(音符持续的倒数),输入范围[0,55];
要对这些特征矢量进行模糊化,需要选择不同的隶属度函数。根据音乐特性,选择隶属度函数时,选用高斯模型和三角模型。对于平均音高和平均音强有高、中、低三种隶属度;对于音强的标准差和音高的标准差有大、小两种隶属度;对于音程绝对值的均值和音速有快、中、慢三种隶属度。通过选择的隶属度函数,分别对上述特征矢量进行模糊化。
2、基于模糊规则的推理
在绝大多数运用模糊集合的领域,模糊IF-THEN规则是应用最为广泛的推理规则。它也被称为模糊隐含,或者模糊条件句。这种规则形式简单,逻辑清晰,便于模糊推理。它的规则形式为:
IF x是A THENy是B
其中A和B分别代表论域X和论域Y上的模糊集合所定义的语言值。通常,称“X是A”为前件或前提,“y是B”为后件或结论。
将要实现的情感模糊推理机就是对不同音乐特征信息模糊化后得到的模糊集合,采用18条IF-THEN规则进行模糊推理,分析得到Hevner情感模型中的八类情感类型及与情感相对应的灯光控制信息的模糊集合。
情感类型包括H(神圣的)、S(悲伤的)、F(向往的)、A(欢快的)、L(轻盈的)、P(热情的)、V(生机的)、E(行情的)。
3、输出变量的去模糊化
在模糊系统中,采用的是模糊集合进行推理。而在实际控制系统中,通常需要输出精确的数值。因此,在经过模糊推理之后,还需要对推理的结果进行去模糊化。经过模糊推理后输出的是情感类型和灯光控制信息的模糊集合,要想得到控制实际灯光效果的控制信息,则需对这些输出变量进行去模糊化。
去模糊化主要包括面积中心法、面积等分法、极大平均法、极大最小法、极大最大法这几种方法。
本实施例中构建的基于模糊推理的音乐情感驱动模型,属于实时控制模型,即在对首乐曲进行分析时,是在实时提取的音乐特征信息的基础上,采用模糊规则通过模糊推理实现的,得到的情感信息和灯光控制信息是随着乐曲演奏的时间而不断变化的。这种实时控制模型,能够准确分析出一首乐曲在随时间轴变化过程中的情感变化,从而根据情感的变化设计出与之相符合的灯光变化方案。
因此,通过结合歌曲中的感情特征因素,可根据歌曲中包含的不同情感,进行灯光的变化控制,使灯光不仅可以基于歌曲节奏进行控制,还可以基于歌曲中的情感进行控制,使灯光的变化效果更多样。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.基于歌曲伴音和话筒人声实时检测的灯光控制方法,其特征在于,包括:
步骤S1,获得歌曲中的歌曲伴音和话筒人声信号;
步骤S2,按照预设时间采样间隔对所述歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算所述多个采样频率的增益,所述多个采样频率由多个低频率和多个高频率组成;
步骤S3,根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
步骤S4,根据所述多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
步骤S5,根据所述低频节奏点和所述高频节奏点,按照第三预设判定条件将所述歌曲分成不同的演唱阶段;
步骤S6,根据所述不同的演唱阶段,进行所述歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
2.根据权利要求1所述的基于歌曲伴音和话筒人声实时检测的灯光控制方法,其特征在于,
所述步骤S3,具体为:
根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
获得第一预设判定条件,所述第一预设判定条件为:
第一个低频率的增益大于第一待比较值,所述第一个低频率的增益为通过计算从所述多个低频率中选择的一个低频率得到的,所述第一待比较值为所述第一个低频率的增益的均值乘以第一预设阈值;
当所述多个低频率的增益满足所述第一预设判定条件,实现对第一个节奏点的识别;
选择所述第一个低频率之后的连续两个低频率,所述两个低频率大于所述第一个低频率;
当所述两个低频率满足第二个节奏点的识别条件,按照所述第一个节奏点的识别过程,进行第二个节奏点的识别,所述第一个节奏点与所述第二个节奏点之间最短的采样间隔大于350毫秒。
3.根据权利要求2所述的基于歌曲伴音和话筒人声实时检测的灯光控制方法,其特征在于,
所述第二个节奏点的识别条件为:
所述两个低频率的增益均小于第二待比较值,所述第二待比较值为所述第一个低频率的增益的均值乘以第二预设阈值。
4.根据权利要求1所述的基于歌曲伴音和话筒人声实时检测的灯光控制方法,其特征在于,
所述步骤S4,具体为:
获得第二预设判定条件,所述第二预设判定条件为:
连续识别到至少3个节奏点;
所述多个高频率持续时间超过预设阈值;
第一个高频率的增益大于第三待比较值,所述第三待比较值为最大值乘以第三预设阈值,所述最大值为在所述第一个高频率采样对应的过去1秒内的增益中选择的增益值,所述第一个高频率的增益为通过计算从所述多个高频率中选择的一个高频率得到的;
当所述多个高频率的增益满足所述第二预设判定条件,判定为高频节奏点。
5.根据权利要求1所述的基于歌曲伴音和话筒人声实时检测的灯光控制方法,其特征在于,
所述步骤S5,具体为:
获得第三预设判定条件,所述第三预设判定条件为:
当6秒内没有一个节奏点,判定为第一演唱阶段;
当6秒内有大于一个节奏点,且3秒内没有大于2个节奏点,判定为第二演唱阶段;
当3秒内至少有大于2个节奏点,判定为第三演唱阶段;
当节奏点的持续时间至少为1秒,判定为第四演唱阶段;
根据所述低频节奏点和所述高频节奏点,按照所述第三预设判定条件将所述歌曲分成不同的演唱阶段。
6.基于歌曲伴音和话筒人声实时检测的灯光控制系统,其特征在于,包括:
歌曲及话筒人声数据获取模块,用于获得歌曲中的歌曲伴音和话筒人声信号;
采样频率模块,用于按照预设时间采样间隔对所述歌曲伴音和话筒人声信号进行频率采样,得到多个采样频率,并计算所述多个采样频率的增益,所述多个采样频率由多个低频率和多个高频率组成;
低频节奏点判定模块,用于根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
高频节奏点判定模块,用于根据所述多个高频率的增益,按照第二预设判定条件进行节奏分类判断,得到高频节奏点;
演唱阶段判定模块,用于根据所述低频节奏点和所述高频节奏点,按照第三预设判定条件将所述歌曲分成不同的演唱阶段;
节奏灯光设置模块,用于根据所述不同的演唱阶段,进行所述歌曲的灯光设置,得到具有灯光节奏效果的歌曲。
7.根据权利要求6所述的基于歌曲伴音和话筒人声实时检测的灯光控制系统,其特征在于,
所述低频节奏点判定模块,具体用于:
根据所述多个低频率的增益,按照第一预设判定条件进行节奏分类判断,得到低频节奏点;
获得第一预设判定条件,所述第一预设判定条件为:
第一个低频率的增益大于第一待比较值,所述第一个低频率的增益为通过计算从所述多个低频率中选择的一个低频率得到的,所述第一待比较值为所述第一个低频率的增益的均值乘以第一预设阈值;
当所述多个低频率的增益满足所述第一预设判定条件,实现对第一个节奏点的识别;
选择所述第一个低频率之后的连续两个低频率,所述两个低频率大于所述第一个低频率;
当所述两个低频率满足第二个节奏点的识别条件,按照所述第一个节奏点的识别过程,进行第二个节奏点的识别,所述第一个节奏点与所述第二个节奏点之间最短的采样间隔大于350毫秒。
8.根据权利要求7所述的基于歌曲伴音和话筒人声实时检测的灯光控制系统,其特征在于,
所述第二个节奏点的识别条件为:
所述两个低频率的增益均小于第二待比较值,所述第二待比较值为所述第一个低频率的增益的均值乘以第二预设阈值。
9.根据权利要求6所述的基于歌曲伴音和话筒人声实时检测的灯光控制系统,其特征在于,
所述高频节奏点判定模块,具体用于:
获得第二预设判定条件,所述第二预设判定条件为:
连续识别到至少3个节奏点;
所述多个高频率持续时间超过预设阈值;
第一个高频率的增益大于第三待比较值,所述第三待比较值为最大值乘以第三预设阈值,所述最大值为在所述第一个高频率采样对应的过去1秒内的增益中选择的增益值,所述第一个高频率的增益为通过计算从所述多个高频率中选择的一个高频率得到的;
当所述多个高频率的增益满足所述第二预设判定条件,判定为高频节奏点。
10.根据权利要求6所述的基于歌曲伴音和话筒人声实时检测的灯光控制系统,其特征在于,
所述演唱阶段判定模块,具体用于:
获得第三预设判定条件,所述第三预设判定条件为:
当6秒内没有一个节奏点,判定为第一演唱阶段;
当6秒内有大于一个节奏点,且3秒内没有大于2个节奏点,判定为第二演唱阶段;
当3秒内至少有大于2个节奏点,判定为第三演唱阶段;
当节奏点的持续时间至少为1秒,判定为第四演唱阶段;
根据所述低频节奏点和所述高频节奏点,按照所述第三预设判定条件将所述歌曲分成不同的演唱阶段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710071206.7A CN106875930B (zh) | 2017-02-09 | 2017-02-09 | 基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710071206.7A CN106875930B (zh) | 2017-02-09 | 2017-02-09 | 基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106875930A CN106875930A (zh) | 2017-06-20 |
CN106875930B true CN106875930B (zh) | 2020-05-19 |
Family
ID=59166460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710071206.7A Active CN106875930B (zh) | 2017-02-09 | 2017-02-09 | 基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106875930B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107580399B (zh) * | 2017-09-22 | 2019-08-23 | 江苏领焰智能科技股份有限公司 | 灯光控制方法及装置 |
CN107610716A (zh) * | 2017-09-22 | 2018-01-19 | 上海韵焰智能科技有限公司 | 音乐分析方法及装置 |
CN107613608A (zh) * | 2017-09-22 | 2018-01-19 | 上海韵焰智能科技有限公司 | 灯光生成方法及装置 |
CN109922556A (zh) * | 2017-12-12 | 2019-06-21 | 深圳思码威科技有限公司 | 灯光音联动控制方法及系统 |
CN108281157B (zh) * | 2017-12-28 | 2021-11-12 | 广州市百果园信息技术有限公司 | 音乐中鼓点节拍的检测方法及计算机存储介质、终端 |
JP6921345B1 (ja) * | 2018-06-15 | 2021-08-18 | シグニファイ ホールディング ビー ヴィSignify Holding B.V. | 照明シーンに基づいてメディアコンテンツを選択するための方法及びコントローラ |
CN111271807A (zh) * | 2019-07-22 | 2020-06-12 | 宁波奥克斯电气股份有限公司 | 一种空调控制系统、方法、空调器及介质 |
CN110688518B (zh) * | 2019-10-12 | 2024-05-24 | 广州酷狗计算机科技有限公司 | 节奏点的确定方法、装置、设备及存储介质 |
CN111104964B (zh) * | 2019-11-22 | 2023-10-17 | 北京永航科技有限公司 | 音乐与动作的匹配方法、设备及计算机存储介质 |
CN112634814B (zh) * | 2020-12-01 | 2022-04-08 | 黑龙江建筑职业技术学院 | 一种跟随音乐的led三维立体显示器的节奏控制方法 |
CN114501742A (zh) * | 2021-12-31 | 2022-05-13 | 深圳市爱图仕影像器材有限公司 | 基于运动状态识别的光效控制方法及装置、灯具 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1094441A1 (en) * | 1999-10-14 | 2001-04-25 | Sony Computer Entertainment Inc. | Entertainment system |
CN1384446A (zh) * | 2001-04-28 | 2002-12-11 | 中国科学院自动化研究所 | 多媒体计算机音乐喷泉智能控制系统及方法 |
US7019205B1 (en) * | 1999-10-14 | 2006-03-28 | Sony Computer Entertainment Inc. | Entertainment system, entertainment apparatus, recording medium, and program |
CN101252801A (zh) * | 2008-03-21 | 2008-08-27 | 中兴通讯股份有限公司 | 一种灯光控制方法及装置 |
CN101667422A (zh) * | 2009-09-22 | 2010-03-10 | 北京中星微电子有限公司 | 一种调节歌曲伴奏的调式的方法及装置 |
CN101944355A (zh) * | 2009-07-03 | 2011-01-12 | 深圳Tcl新技术有限公司 | 伴奏音乐生成装置及其实现方法 |
CN102053998A (zh) * | 2009-11-04 | 2011-05-11 | 周明全 | 一种利用声音方式检索歌曲的方法及系统装置 |
CN104599663A (zh) * | 2014-12-31 | 2015-05-06 | 华为技术有限公司 | 歌曲伴奏音频数据处理方法和装置 |
CN105451413A (zh) * | 2015-11-13 | 2016-03-30 | 小米科技有限责任公司 | 灯光控制方法、装置及系统 |
CN106023969A (zh) * | 2011-07-29 | 2016-10-12 | 音乐策划公司 | 用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的系统和方法 |
CN106211502A (zh) * | 2016-07-01 | 2016-12-07 | 福建星网视易信息系统有限公司 | 一种音频控制灯光的方法及系统 |
CN106332392A (zh) * | 2015-06-30 | 2017-01-11 | 芋头科技(杭州)有限公司 | 一种灯光显示效果控制系统 |
CN106376148A (zh) * | 2015-07-22 | 2017-02-01 | 炬才微电子(深圳)有限公司 | 音频灯具的控制方法、系统及音频灯具 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080105110A1 (en) * | 2006-09-05 | 2008-05-08 | Villanova University | Embodied music system |
US20140320030A1 (en) * | 2013-04-24 | 2014-10-30 | Cheng-Yao CHIANG | Programmable controller of light string |
-
2017
- 2017-02-09 CN CN201710071206.7A patent/CN106875930B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1094441A1 (en) * | 1999-10-14 | 2001-04-25 | Sony Computer Entertainment Inc. | Entertainment system |
US7019205B1 (en) * | 1999-10-14 | 2006-03-28 | Sony Computer Entertainment Inc. | Entertainment system, entertainment apparatus, recording medium, and program |
CN1384446A (zh) * | 2001-04-28 | 2002-12-11 | 中国科学院自动化研究所 | 多媒体计算机音乐喷泉智能控制系统及方法 |
CN101252801A (zh) * | 2008-03-21 | 2008-08-27 | 中兴通讯股份有限公司 | 一种灯光控制方法及装置 |
CN101944355A (zh) * | 2009-07-03 | 2011-01-12 | 深圳Tcl新技术有限公司 | 伴奏音乐生成装置及其实现方法 |
CN101667422A (zh) * | 2009-09-22 | 2010-03-10 | 北京中星微电子有限公司 | 一种调节歌曲伴奏的调式的方法及装置 |
CN102053998A (zh) * | 2009-11-04 | 2011-05-11 | 周明全 | 一种利用声音方式检索歌曲的方法及系统装置 |
CN106023969A (zh) * | 2011-07-29 | 2016-10-12 | 音乐策划公司 | 用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的系统和方法 |
CN104599663A (zh) * | 2014-12-31 | 2015-05-06 | 华为技术有限公司 | 歌曲伴奏音频数据处理方法和装置 |
CN106332392A (zh) * | 2015-06-30 | 2017-01-11 | 芋头科技(杭州)有限公司 | 一种灯光显示效果控制系统 |
CN106376148A (zh) * | 2015-07-22 | 2017-02-01 | 炬才微电子(深圳)有限公司 | 音频灯具的控制方法、系统及音频灯具 |
CN105451413A (zh) * | 2015-11-13 | 2016-03-30 | 小米科技有限责任公司 | 灯光控制方法、装置及系统 |
CN106211502A (zh) * | 2016-07-01 | 2016-12-07 | 福建星网视易信息系统有限公司 | 一种音频控制灯光的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106875930A (zh) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106875930B (zh) | 基于歌曲伴音和话筒人声实时检测的灯光控制方法及系统 | |
Shetty et al. | Raga mining of Indian music by extracting arohana-avarohana pattern | |
Korzeniowski et al. | End-to-end musical key estimation using a convolutional neural network | |
Bhat et al. | An efficient classification algorithm for music mood detection in western and hindi music using audio feature extraction | |
Wieczorkowska et al. | Extracting emotions from music data | |
EP2515249A1 (en) | Performance data search using a query indicative of a tone generation pattern | |
CN111601433A (zh) | 舞台灯光效果控制策略的预测方法及装置 | |
CN109979428B (zh) | 音频生成方法和装置、存储介质、电子设备 | |
Anglade et al. | Genre Classification Using Harmony Rules Induced from Automatic Chord Transcriptions. | |
CN110108008A (zh) | 语音空调灯光的控制方法、装置及空调 | |
Ramirez et al. | Automatic performer identification in commercial monophonic jazz performances | |
Dixon | An empirical comparison of tempo trackers | |
Elowsson et al. | Modeling music modality with a key-class invariant pitch chroma CNN | |
Sharma et al. | Comparison of ML classifiers for Raga recognition | |
CN105895079A (zh) | 语音数据的处理方法和装置 | |
Liu et al. | Music pattern mining for chromosome representation in evolutionary composition | |
Masood et al. | Singer identification in Indian Hindi songs using MFCC and spectral features | |
CN101370216B (zh) | 一种手机音频文件的情绪化处理和播放方法 | |
Ramirez et al. | Performance-based interpreter identification in saxophone audio recordings | |
MA et al. | Four-way classification of tabla strokes with models adapted from Automatic Drum Transcription | |
Stein | Automatic detection of multiple, cascaded audio effects in guitar recordings | |
Dressler | Towards computational auditory scene analysis: Melody extraction from polyphonic music | |
Kang et al. | Automatic music generation and machine learning based evaluation | |
Pranav et al. | Machine Learning based Comparison of Different Emotional Dimensional Models for Tamil Cine Music | |
JP6954780B2 (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |