CN108877749A - 一种脑波ai音乐的生成方法及系统 - Google Patents

一种脑波ai音乐的生成方法及系统 Download PDF

Info

Publication number
CN108877749A
CN108877749A CN201810378433.9A CN201810378433A CN108877749A CN 108877749 A CN108877749 A CN 108877749A CN 201810378433 A CN201810378433 A CN 201810378433A CN 108877749 A CN108877749 A CN 108877749A
Authority
CN
China
Prior art keywords
music
state
pitch
generation
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810378433.9A
Other languages
English (en)
Other versions
CN108877749B (zh
Inventor
陈子豪
雷京颢
易昊翔
童路遥
李哲越
丘志强
张晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Kether Electronic Technology Co Ltd
Original Assignee
Hangzhou Kether Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Kether Electronic Technology Co Ltd filed Critical Hangzhou Kether Electronic Technology Co Ltd
Priority to CN201810378433.9A priority Critical patent/CN108877749B/zh
Publication of CN108877749A publication Critical patent/CN108877749A/zh
Application granted granted Critical
Publication of CN108877749B publication Critical patent/CN108877749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/375Electroencephalography [EEG] using biofeedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/38Chord

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Dermatology (AREA)
  • Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种脑波AI音乐的生成方法及系统,其中方法包括:根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量,然后基于提取的脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。本发明通过结合机器学习方法,根据不同的应用场景从脑波中提取能够反映使用者当前状态的脑波状态量,可以实时生成符合当前状态的脑波AI音乐。本发明弥补了现有的AI音乐在时操控性与艺术性方面的不足,实现了对AI音乐的脑波实时操控,保证了脑波生成的音乐具有良好的艺术性。

Description

一种脑波AI音乐的生成方法及系统
技术领域
本发明涉及人工智能技术领域,尤其涉及一种脑波AI音乐的生成方法及系统。
背景技术
脑波音乐,简单说就是由脑波衍生出来的音乐,它含有大脑的生理信息。近年来,国内外的相关研究人员基于不同理论,提出了多种方法将单导或多导脑电信号(Electroencephalograph,简称EEG)以及和EEG同步采集的功能磁共振信号(functionalmagnetic resonance imaging,简称FMRI)转换为音乐,并对得到的音乐进行分析和应用,展示了探索大脑与音乐关系的一个新途径。
音乐原本与信息技术、生物医学工程是截然不同的领域,而脑波音乐则将音乐与生物医学工程结合在一起。目前对于脑波音乐的研究基本是根据原始脑波的频率、幅度等特征直接映射到音乐的音长、音高上的,生成的音乐依赖于人体本身的生物信号,可以反映出使用者当前的状态。由于脑波音乐在生物信号与音乐之间的映射关系上一直缺少一种比较权威的方式,并且研究者大多在音乐方面较不擅长,因此现有技术得到的脑波音乐比较生硬,也缺乏艺术性。
AI(Artificial Intelligence,人工智能)音乐是将音乐与信息技术联系起来,通过算法让计算机生成的音乐。随着人工智能的发展,AI音乐的研究受到越来越多的关注,但基本都是通过搭建模型或者用大量乐曲训练神经网络的方式,由计算机进行谱曲。AI音乐虽然在机器学习的发展背景下能够获得富有艺术性的乐曲,但目前的研究基本停留在计算机谱曲上,现有技术生成的AI音乐很大程度上依赖模型架构和训练数据,缺乏实时的人机交互性。
因此,基于现有技术生成的脑波音乐和AI音乐都各有利弊,目前缺乏一种能够实现脑波实时操控、并富有艺术性的AI音乐生成技术。
发明内容
基于此,本发明提供了一种脑波AI音乐的生成方法及系统,该技术通过将音乐与生物医学工程(即脑电波)、信息技术(即计算机算法)结合起来,实现了对AI音乐的脑波实时操控性,保证了脑波生成的音乐具有良好的艺术性。
本发明提供的脑波AI音乐的生成方法,包括以下步骤:
根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量;
基于提取的所述脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。
作为一种可实施方式,根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量,包括以下步骤:
实时采集使用者的原始脑波;
根据所述原始脑波在不同频段上的能量占比以及波形的复杂度,选择提取能够反映使用者当前状态的所述脑波状态量。
作为一种可实施方式,基于提取的所述脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐,包括以下步骤:
在乐理基础上构建音乐生成模型;
基于所述音乐生成模型,根据所述脑波状态量计算音乐参数,并根据所述音乐参数生成符合使用者当前状态的音乐。
作为一种可实施方式,基于所述音乐生成模型,根据所述脑波状态量计算音乐参数,并根据所述音乐参数生成符合使用者当前状态的音乐,包括以下步骤:
基于所述音乐生成模型,生成和弦序列;
根据所述和弦序列与所述脑波状态量生成相应的伴奏;
根据所述和弦序列与所述脑波状态量生成相应的旋律;
将所述旋律与所述伴奏进行组合,得到完整的音乐。
作为一种可实施方式,所述和弦序列的生成采用隐马尔科夫模型,由机器学习得到和弦之间的转移概率矩阵。
作为一种可实施方式,根据所述和弦序列与所述脑波状态量生成相应的旋律,包括以下步骤:
根据所述脑波状态量生成音型,所述音型包括节拍点、音长、以及音符数;
根据所述脑波状态量、和弦序列以及得到的音型生成音高;
根据所述和弦序列以及得到的音型、音高生成音强;
根据播放速度以及得到的音型计算实际时间点和实际时长;
根据得到的节拍点、音长、音高、音强、实际时间点、实际时长与预先设置的音轨组成完整的旋律。
作为一种可实施方式,根据所述脑波状态量、和弦序列以及得到的音型生成音高,包括以下步骤:
根据所述脑波状态量与当前的和弦序列选取和弦音与和弦外音;
根据选取的和弦音与和弦外音生成相应的钢琴指法路径;
判断当前的音高是否达到该小节音型所需的音高数;
若是,则输出该小节的音高;
若否,则按照生成的钢琴指法路径爬行,获得下一音高,并计算此时的累计不和谐度;
判断所述累计不和谐度是否超出预设的阈值,若是,则重新生成钢琴指法路径;若否,则生成音高,继续判断生成的音高是否达到该小节音型所需的音高数,依次循环。
作为一种可实施方式,根据所述音乐参数生成符合使用者当前状态的音乐,包括以下步骤:
根据所述音乐参数,输出一个小节内的音乐参数指令;
判断上一小节音乐是否已经播放完毕;
若是,则根据当前小节的所述音乐参数指令调用对应的音源,播放当前小节音乐;
若否,则等待,直至上一小节音乐播放完毕后,根据当前小节的所述音乐参数指令调用对应的音源,播放当前小节音乐。
相应地,本发明还提供了一种脑波AI音乐的生成系统,包括脑波提取模块和机器学习模块;
所述脑波提取模块,用于根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量;
所述机器学习模块,用于基于所述脑波提取模块提取的所述脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。
作为一种可实施方式,所述脑波提取模块包括原始脑波采集单元和脑波状态量选取单元;
所述原始脑波采集单元用于实时采集使用者的原始脑波;
所述脑波状态量选取单元用于根据所述原始脑波在不同频段上的能量占比以及波形的复杂度,选择提取能够反映使用者当前状态的所述脑波状态量。
作为一种可实施方式,所述机器学习模块包括建模单元和学习单元;
所述建模单元,用于在乐理基础上构建音乐生成模型;
所述学习单元,用于基于所述建模单元构建的所述音乐生成模型,根据所述脑波状态量计算音乐参数,并根据所述音乐参数生成符合使用者当前状态的音乐。
作为一种可实施方式,所述学习单元包括和弦序列生成单元、伴奏生成单元、旋律生成单元以及组合单元;
所述和弦序列生成单元,用于基于所述音乐生成模型生成和弦序列;
所述伴奏生成单元,用于根据所述和弦序列与所述脑波状态量生成相应的伴奏;
所述旋律生成单元,用于根据所述和弦序列与所述脑波状态量生成相应的旋律;
所述组合单元,用于将所述旋律与所述伴奏进行组合,得到完整的音乐参数。
作为一种可实施方式,所述旋律生成单元包括音型生成子单元、音高生成子单元、音强生成子单元、实际时间点和实际时长生成子单元以及旋律组合子单元;
所述音型生成子单元,用于根据所述脑波状态量生成音型,所述音型包括节拍点、音长、以及音符数;
所述音高生成子单元,用于根据所述脑波状态量、和弦序列以及得到的音型生成音高;
所述音强生成子单元,用于根据所述和弦序列以及得到的音型、音高生成音强;
所述实际时间点和实际时长生成子单元,用于根据播放速度以及得到的音型计算实际时间点和实际时长;
所述旋律组合子单元,用于根据得到的节拍点、音长、音高、音强、实际时间点、实际时长与预先设置的音轨组成完整的旋律。
作为一种可实施方式,所述音高生成子单元包括选取子单元、钢琴指法路径生成子单元、第一判断子单元和第二判断子单元;
所述选取子单元,用于根据所述脑波状态量与当前的和弦序列选取和弦音与和弦外音;
所述钢琴指法路径生成子单元,用于根据选取的和弦音与和弦外音生成相应的钢琴指法路径;
所述第一判断子单元,用于判断当前的音高是否达到该小节音型所需的音高数;若是,则输出该小节的音高;若否,则按照生成的钢琴指法路径爬行,获得下一音高,并计算此时的累计不和谐度;
所述第二判断子单元,用于判断所述累计不和谐度是否超出预设的阈值,若是,则重新生成钢琴指法路径;若否,则生成音高,继续判断生成的音高是否达到该小节音型所需的音高数,依次循环。
与现有技术相比,本技术方案具有以下优点:
本发明脑波AI音乐的生成方法及系统,根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量,然后基于提取的脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。其通过结合机器学习方法,根据不同的应用场景从脑波中提取能够反映使用者当前状态的脑波状态量,可以实时生成符合当前状态的脑波AI音乐。本发明弥补了现有的AI音乐在生成音乐的实时操控性与艺术性方面的不足,实现了对AI音乐的脑波实时操控,同时保证了脑波生成的音乐具有良好的艺术性。
附图说明
图1为本发明实施例一提供的脑波AI音乐的生成方法的一流程示意图;
图2为图1中的计算音乐参数的数据传递关系示意图;
图3为图2中的旋律的计算过程中的数据传递示意图;
图4为图3中的音高的计算过程示意图;
图5为本发明实施例一提供的脑波AI音乐的生成方法的一音乐播放时序图。
具体实施方式
以下结合附图,对本发明上述的和另外的技术特征和优点进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的部分实施例,而不是全部实施例。
参见图1,本发明实施例一提供了一种脑波AI音乐的生成方法,包括以下步骤:
S100、根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量。
S200、基于提取的脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。
本实施例提供的脑波AI音乐的生成方法,主要是通过脑波音乐和AI音乐两种技术相结合实现,一是从原始脑波中提取特征并分析得到能够反映使用者当前状态的脑波状态量;二是基于提取的脑波状态量,采用机器学习方法获得音乐参数,从而生成符合使用者当前状态的音乐。通过结合机器学习方法,根据不同的应用场景从脑波中提取能够反映使用者当前状态的脑波状态量,可以实时生成符合当前状态的脑波AI音乐,从而弥补了现有的AI音乐在生成音乐的实时操控性与艺术性方面的不足。
具体地,步骤S100可以通过以下两个步骤实现:
S110、实时采集使用者的原始脑波;
S120、根据原始脑波在不同频段上的能量占比以及波形的复杂度,选择提取能够反映使用者当前状态的脑波状态量。
具体地,步骤S200可以通过以下两个步骤实现:
S210、在乐理基础上构建音乐生成模型;
S220、基于音乐生成模型,根据脑波状态量计算音乐参数,并根据音乐参数生成符合使用者当前状态的音乐。
作为一种可实施方式,使用者的原始脑波可以采用现有的脑电波传感器等硬件设备获取,采集的原始脑波数据可以为每2s一批次,这一采集速率也决定了音乐的生成速率。实时的脑波状态量由实时的原始脑波在不同频段上的能量占比以及波形的复杂度分析得到。
本实施例中,根据具体的使用场景对脑波状态量进行选择,例如在助眠功能下,采用睡眠曲线值作为脑波状态量,该值越高表示使用者越清醒,反之越接近深度睡眠;而在注意力训练功能下,可采用专注度值作为脑波状态量,该值越高表示使用者注意力越集中,反之注意力越分散。
上述步骤S120的主要目的是从复杂的原始脑波中归纳得到使用者的当前状态,将多维的脑波数据转化为简单的一维标量,从而减少音乐生成过程中的输入量维度,降低模型的复杂程度。
上述音乐参数包括音符的节拍点、音长、音高、音强、音轨、实际时间点以及实际时长,是生成音乐必不可少的要素。其中,音轨决定音符的演奏音色,可人为设定;实际时间点和实际时长根据节拍点和音长按比例计算得到,比例决定了音乐的播放速度。为了与脑波的采集速率(每2s一批次)相匹配,音乐的播放速度取60拍每分钟或120拍每分钟,每小节4拍,即每小节4s或2s,这样可同时保证输出音乐的连贯性和实时性。节拍点、音长、音高对音乐起决定性作用,而音强对音乐的演奏情感有较大影响。
本实施例提供的脑波AI音乐的生成方法,通过在乐理基础上算法建模,结合机器学习方法,根据不同的应用场景从脑波中提取能够反映使用者当前状态的脑波状态量,可以实时生成符合当前状态的脑波AI音乐,兼顾了生成音乐的实时操控性与艺术性。
在具体场景中,本发明的优势更加明显,例如在助眠功能下,脑波AI音乐随使用者状态而改变,不仅有引导入睡的效果,而且在使用者接近入睡时能够创造更有利的睡眠环境,而普通的助眠音乐不具实时性,循环播放容易造成听觉上的重复感。
在计算音乐参数时,为了兼顾音乐与脑波的交互体验与艺术性,本发明将音乐分为旋律与伴奏两个层次。
如图2所示,作为一种可实施方式,步骤S220基于音乐生成模型,根据脑波状态量计算音乐参数,并根据音乐参数生成符合使用者当前状态的音乐,包括以下步骤:
S221、基于音乐生成模型,生成和弦序列;
S222、根据和弦序列与脑波状态量生成相应的伴奏;
S223、根据和弦序列与脑波状态量生成相应的旋律;
S224、将旋律与伴奏进行组合,得到完整的音乐。
具体的,在步骤S221中,和弦序列的生成可以采用隐马尔科夫模型,由机器学习得到和弦之间的转移概率矩阵,以保证生成的和弦序列符合乐理。
步骤S222和步骤S223不分先后,可以同时执行。脑波状态量对伴奏和旋律的影响策略根据具体的使用场景设定。例如在助眠功能下,睡眠曲线值越高,则伴奏与旋律的音长普遍较小,音高较高,直观感受为音符密集,节奏明快,旋律清亮,此时使用者更容易专注于音乐,因此脑波频率更容易与音乐同步;而睡眠曲线值越低,则伴奏与旋律音长普遍较长,音高较低,直观感受为音符稀疏,节奏缓和,旋律低沉,此时音乐更有利于使用者入睡。
伴奏决定了音乐的色彩,但不表达主要信息。具体的,对于步骤S222,可以通过人工方式筛选出不同和弦下的较典型的伴奏库,结合机器学习提取伴奏的音型特征(包括节拍点、音长和音符数)与主要音高,根据当前小节的和弦与当前的脑波状态量计算伴奏的各项音乐参数。
在符合乐理的伴奏基础上,旋律可以具有较大的自由度。旋律直接决定了音乐的听觉感受,因此旋律生成模型是该技术中的核心模型。具体的,在步骤S223中,旋律生成模型主要分为音型生成、音高生成和音强生成三大部分,如图3所示,步骤S223可以通过以下步骤实现:
S310、根据脑波状态量生成音型,音型包括节拍点、音长、以及音符数;
S320、根据脑波状态量、和弦序列以及得到的音型生成音高;
S330、根据和弦序列以及得到的音型、音高生成音强;
S340、根据播放速度以及得到的音型计算实际时间点和实际时长;
S350、根据得到的节拍点、音长、音高、音强、实际时间点、实际时长与预先设置的音轨组成完整的旋律。
其中音型生成与步骤S222中的伴奏生成类似,可以通过人工筛选结合机器学习的方式获得。音强生成依靠机器学习得到情绪模型,根据已生成的音型和音高可生成相应的音强。其中,步骤S320中音高生成可以具体采用如下方式实现,如图4所示:
S410、输入脑波状态量、和弦序列、音型;
S420、根据脑波状态量与当前的和弦序列选取和弦音与和弦外音;
S430、根据选取的和弦音与和弦外音生成相应的钢琴指法路径;
S440、判断当前的音高是否达到该小节音型所需的音高数;
S450、若是,则输出该小节的音高;
S460、若否,则按照生成的钢琴指法路径爬行,获得下一音高,并计算此时的累计不和谐度;
S470、判断累计不和谐度是否超出预设的阈值,若是,则返回步骤430,重新生成钢琴指法路径;若否,则生成音高,返回步骤440,继续判断当前生成的音高是否达到该小节音型所需的音高数,依次循环。
其中,钢琴指法路径的生成是通过对大量乐曲的旋律片段进行机器学习实现的,不和谐度是该技术自定义的,其计算是通过大量统计分析各种乐曲中旋律音在不同和弦下的出现频率和音长完成的,不和谐度阈值的设定可以保证旋律与伴奏的和谐程度,即保证乐曲的可听性。
上述实施例中,根据音乐参数生成符合使用者当前状态的音乐,还可以通过以下步骤实现:
首先,根据音乐参数,输出一个小节内的音乐参数指令;
其次,判断上一小节音乐是否已经播放完毕;若是,则根据当前小节的音乐参数指令调用对应的音源,播放当前小节音乐;若否,则等待,直至上一小节音乐播放完毕后,根据当前小节的音乐参数指令调用对应的音源,播放当前小节音乐。
在得到旋律与伴奏的音乐参数后,还可以将一个小节内的音乐参数转换为播放器指令,从而控制播放器将按照指令顺序调用相应的音源进行播放。
例如,播放器指令分为Note Command与Sleep Command两个类。Note Command中包含每个音符的音高、音长、音强、音轨信息,决定了播放器调用的音源文件以及播放音量控制;Sleep Command中包含了音符的节拍点信息,决定了播放器播放音源的时刻与顺序。
为保证脑波AI音乐的实时操控性,每一小节的音乐参数须根据当前的脑波状态量生成,因此音符的生成速度应与脑波的采集速度一致。同时考虑到音乐播放的连贯性,避免计算过程带来的延迟,实际处理中,在播放当前小节音乐时,根据当前的脑波状态量计算下一小节的音乐参数。即判断当前正在播放的音乐小节是否已经播放完毕,等待上一小节音乐播放完毕再播放当前小节音乐,并进入下一小节音乐的计算。
如图5所示,以某个脑波AI音乐片段为例,已经计算生成当前小节的音乐参数指令为S510~S560,播放器根据当前小节的音乐参数指令播放音源,同时算法模型计算下一小节的音乐参数指令S570~S580。播放器处理指令与播放音源的时序为:
指令S510,根据Note Command播放相应的音源;
指令S520,根据Note Command播放相应的音源;
指令S530,根据Sleep Command等待相应的时长;
指令S540,上一Sleep Command等待时间结束后,根据指令S550的Note Command播放相应的音源;
指令S550,根据Sleep Command等待相应的时长;
指令S560,上一Sleep Command等待时间结束后,再根据指令S560的SleepCommand等待相应的时长,直到该小节结束;
下一小节的处理方式以此类推。
由于播放器处理音乐参数指令的速度很快,图5所示的音乐参数指令实际听觉感受为:S510的音符与S520的音符同时播放,在S530对应的时长后,播放S540的音符,直至下一小节开始,播放S570的音符。
本发明利用脑波分层次分批次生成AI音乐,首先生成和弦序列,再依次计算伴奏与旋律的各个音乐参数,每一批次计算得到一个小节内的音乐,最后组合得到完整乐曲。
基于同一发明构思,本发明实施例二还提供了一种脑波AI音乐的生成系统,该系统的实施可参照上述方法实现,重复之处不在冗述。
本发明实施例二提供的脑波AI音乐的生成系统,包括脑波提取模块和机器学习模块。脑波提取模块用于根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量;机器学习模块用于基于脑波提取模块提取的脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。
作为一种可实施方式,脑波提取模块包括原始脑波采集单元和脑波状态量选取单元;原始脑波采集单元用于实时采集使用者的原始脑波;脑波状态量选取单元用于根据原始脑波在不同频段上的能量占比以及波形的复杂度,选择提取能够反映使用者当前状态的脑波状态量。
作为一种可实施方式,机器学习模块包括建模单元和学习单元;建模单元用于在乐理基础上构建音乐生成模型;学习单元用于基于建模单元构建的音乐生成模型,根据脑波状态量计算音乐参数,并根据音乐参数生成符合使用者当前状态的音乐。
作为一种可实施方式,学习单元包括和弦序列生成单元、伴奏生成单元、旋律生成单元以及组合单元。
和弦序列生成单元用于基于音乐生成模型生成和弦序列;伴奏生成单元用于根据和弦序列与脑波状态量生成相应的伴奏;旋律生成单元用于根据和弦序列与脑波状态量生成相应的旋律;组合单元用于将旋律与伴奏进行组合,得到完整的音乐参数。
和弦序列生成单元采用隐马尔科夫模型,由机器学习得到和弦之间的转移概率矩阵,以保证生成的和弦序列符合乐理。
作为一种可实施方式,旋律生成单元包括音型生成子单元、音高生成子单元、音强生成子单元、实际时间点和实际时长生成子单元以及旋律组合子单元。音型生成子单元用于根据脑波状态量生成音型,音型包括节拍点、音长、以及音符数;音高生成子单元用于根据脑波状态量、和弦序列以及得到的音型生成音高;音强生成子单元用于根据和弦序列以及得到的音型、音高生成音强;实际时间点和实际时长生成子单元用于根据播放速度以及得到的音型计算实际时间点和实际时长;旋律组合子单元用于根据得到的节拍点、音长、音高、音强、实际时间点、实际时长与预先设置的音轨组成完整的旋律。
作为一种可实施方式,音高生成子单元包括选取子单元、钢琴指法路径生成子单元、第一判断子单元和第二判断子单元。选取子单元用于根据脑波状态量与当前的和弦序列选取和弦音与和弦外音;钢琴指法路径生成子单元用于根据选取的和弦音与和弦外音生成相应的钢琴指法路径;第一判断子单元用于判断当前的音高是否达到该小节音型所需的音高数;若是,则输出该小节的音高;若否,则按照生成的钢琴指法路径爬行,获得下一音高,并计算此时的累计不和谐度;第二判断子单元用于判断累计不和谐度是否超出预设的阈值,若是,则重新生成钢琴指法路径;若否,则生成音高,继续判断生成的音高是否达到该小节音型所需的音高数,依次循环。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (14)

1.一种脑波AI音乐的生成方法,其特征在于,包括以下步骤:
根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量;
基于提取的所述脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。
2.根据权利要求1所述的脑波AI音乐的生成方法,其特征在于,根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量,包括以下步骤:
实时采集使用者的原始脑波;
根据所述原始脑波在不同频段上的能量占比以及波形的复杂度,选择提取能够反映使用者当前状态的所述脑波状态量。
3.根据权利要求1或2所述的脑波AI音乐的生成方法,其特征在于,基于提取的所述脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐,包括以下步骤:
在乐理基础上构建音乐生成模型;
基于所述音乐生成模型,根据所述脑波状态量计算音乐参数,并根据所述音乐参数生成符合使用者当前状态的音乐。
4.根据权利要求3所述的脑波AI音乐的生成方法,其特征在于,基于所述音乐生成模型,根据所述脑波状态量计算音乐参数,并根据所述音乐参数生成符合使用者当前状态的音乐,包括以下步骤:
基于所述音乐生成模型,生成和弦序列;
根据所述和弦序列与所述脑波状态量生成相应的伴奏;
根据所述和弦序列与所述脑波状态量生成相应的旋律;
将所述旋律与所述伴奏进行组合,得到完整的音乐。
5.根据权利要求4所述的脑波AI音乐的生成方法,其特征在于,所述和弦序列的生成采用隐马尔科夫模型,由机器学习得到和弦之间的转移概率矩阵。
6.根据权利要求4所述的脑波AI音乐的生成方法,其特征在于,根据所述和弦序列与所述脑波状态量生成相应的旋律,包括以下步骤:
根据所述脑波状态量生成音型,所述音型包括节拍点、音长、以及音符数;
根据所述脑波状态量、和弦序列以及得到的音型生成音高;
根据所述和弦序列以及得到的音型、音高生成音强;
根据播放速度以及得到的音型计算实际时间点和实际时长;
根据得到的节拍点、音长、音高、音强、实际时间点、实际时长与预先设置的音轨组成完整的旋律。
7.根据权利要求6所述的脑波AI音乐的生成方法,其特征在于,根据所述脑波状态量、和弦序列以及得到的音型生成音高,包括以下步骤:
根据所述脑波状态量与当前的和弦序列选取和弦音与和弦外音;
根据选取的和弦音与和弦外音生成相应的钢琴指法路径;
判断当前的音高是否达到该小节音型所需的音高数;
若是,则输出该小节的音高;
若否,则按照生成的钢琴指法路径爬行,获得下一音高,并计算此时的累计不和谐度;
判断所述累计不和谐度是否超出预设的阈值,若是,则重新生成钢琴指法路径;若否,则生成音高,继续判断生成的音高是否达到该小节音型所需的音高数,依次循环。
8.根据权利要求3所述的脑波AI音乐的生成方法,其特征在于,根据所述音乐参数生成符合使用者当前状态的音乐,包括以下步骤:
根据所述音乐参数,输出一个小节内的音乐参数指令;
判断上一小节音乐是否已经播放完毕;
若是,则根据当前小节的所述音乐参数指令调用对应的音源,播放当前小节音乐;
若否,则等待,直至上一小节音乐播放完毕后,根据当前小节的所述音乐参数指令调用对应的音源,播放当前小节音乐。
9.一种脑波AI音乐的生成系统,其特征在于,包括脑波提取模块和机器学习模块;
所述脑波提取模块,用于根据不同的应运场景,从使用者的原始脑波中提取能够反映使用者当前状态的脑波状态量;
所述机器学习模块,用于基于所述脑波提取模块提取的所述脑波状态量,采用机器学习的方法计算音乐参数,生成符合使用者当前状态的音乐。
10.根据权利要求9所述的脑波AI音乐的生成系统,其特征在于,所述脑波提取模块包括原始脑波采集单元和脑波状态量选取单元;
所述原始脑波采集单元用于实时采集使用者的原始脑波;
所述脑波状态量选取单元用于根据所述原始脑波在不同频段上的能量占比以及波形的复杂度,选择提取能够反映使用者当前状态的所述脑波状态量。
11.根据权利要求9或10所述的脑波AI音乐的生成系统,其特征在于,所述机器学习模块包括建模单元和学习单元;
所述建模单元,用于在乐理基础上构建音乐生成模型;
所述学习单元,用于基于所述建模单元构建的所述音乐生成模型,根据所述脑波状态量计算音乐参数,并根据所述音乐参数生成符合使用者当前状态的音乐。
12.根据权利要求11所述的脑波AI音乐的生成系统,其特征在于,所述学习单元包括和弦序列生成单元、伴奏生成单元、旋律生成单元以及组合单元;
所述和弦序列生成单元,用于基于所述音乐生成模型生成和弦序列;
所述伴奏生成单元,用于根据所述和弦序列与所述脑波状态量生成相应的伴奏;
所述旋律生成单元,用于根据所述和弦序列与所述脑波状态量生成相应的旋律;
所述组合单元,用于将所述旋律与所述伴奏进行组合,得到完整的音乐参数。
13.根据权利要求12所述的脑波AI音乐的生成系统,其特征在于,所述旋律生成单元包括音型生成子单元、音高生成子单元、音强生成子单元、实际时间点和实际时长生成子单元以及旋律组合子单元;
所述音型生成子单元,用于根据所述脑波状态量生成音型,所述音型包括节拍点、音长、以及音符数;
所述音高生成子单元,用于根据所述脑波状态量、和弦序列以及得到的音型生成音高;
所述音强生成子单元,用于根据所述和弦序列以及得到的音型、音高生成音强;
所述实际时间点和实际时长生成子单元,用于根据播放速度以及得到的音型计算实际时间点和实际时长;
所述旋律组合子单元,用于根据得到的节拍点、音长、音高、音强、实际时间点、实际时长与预先设置的音轨组成完整的旋律。
14.根据权利要求13所述的脑波AI音乐的生成系统,其特征在于,所述音高生成子单元包括选取子单元、钢琴指法路径生成子单元、第一判断子单元和第二判断子单元;
所述选取子单元,用于根据所述脑波状态量与当前的和弦序列选取和弦音与和弦外音;
所述钢琴指法路径生成子单元,用于根据选取的和弦音与和弦外音生成相应的钢琴指法路径;
所述第一判断子单元,用于判断当前的音高是否达到该小节音型所需的音高数;若是,则输出该小节的音高;若否,则按照生成的钢琴指法路径爬行,获得下一音高,并计算此时的累计不和谐度;
所述第二判断子单元,用于判断所述累计不和谐度是否超出预设的阈值,若是,则重新生成钢琴指法路径;若否,则生成音高,继续判断生成的音高是否达到该小节音型所需的音高数,依次循环。
CN201810378433.9A 2018-04-25 2018-04-25 一种脑波ai音乐的生成方法及系统 Active CN108877749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810378433.9A CN108877749B (zh) 2018-04-25 2018-04-25 一种脑波ai音乐的生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810378433.9A CN108877749B (zh) 2018-04-25 2018-04-25 一种脑波ai音乐的生成方法及系统

Publications (2)

Publication Number Publication Date
CN108877749A true CN108877749A (zh) 2018-11-23
CN108877749B CN108877749B (zh) 2021-01-29

Family

ID=64326641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810378433.9A Active CN108877749B (zh) 2018-04-25 2018-04-25 一种脑波ai音乐的生成方法及系统

Country Status (1)

Country Link
CN (1) CN108877749B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110585554A (zh) * 2019-09-24 2019-12-20 喜临门家具股份有限公司 一种助眠音乐控制系统
CN110947076A (zh) * 2019-11-27 2020-04-03 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN112820254A (zh) * 2021-01-22 2021-05-18 索思(苏州)医疗科技有限公司 一种音乐生成方法、装置、电子设备和存储介质
CN112870522A (zh) * 2021-01-12 2021-06-01 谭新杰 一种基于双耳波差脑波音频的注意力调节方法及系统
WO2021103829A1 (zh) * 2019-11-27 2021-06-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN113143289A (zh) * 2021-03-31 2021-07-23 华南理工大学 一种可互联互动的智能脑波音乐耳机
CN113171534A (zh) * 2021-04-21 2021-07-27 浙江柔灵科技有限公司 基于音乐和能量波函数的叠加增强神经调制方法及装置
CN113571030A (zh) * 2021-07-21 2021-10-29 浙江大学 一种基于听感和谐度评估的midi音乐修正方法和装置
CN113763910A (zh) * 2020-11-25 2021-12-07 北京沃东天骏信息技术有限公司 一种音乐生成方法和装置
WO2022073128A1 (en) * 2020-10-07 2022-04-14 Mindset Innovation, Inc. Method for generating music with biofeedback adaptation
CN114913873A (zh) * 2022-05-30 2022-08-16 四川大学 一种耳鸣康复音乐合成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105126187A (zh) * 2015-08-31 2015-12-09 杭州回车电子科技有限公司 一种通过脑电波辅助睡眠的方法和系统
JP2017042562A (ja) * 2015-08-28 2017-03-02 国立大学法人大阪大学 楽曲聴取経験有無推定方法、楽曲聴取経験有無推定装置、及び楽曲聴取経験有無推定プログラム
CN106652984A (zh) * 2016-10-11 2017-05-10 张文铂 一种使用计算机自动创作歌曲的方法
CN107515925A (zh) * 2017-08-24 2017-12-26 北京小米移动软件有限公司 音乐播放方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017042562A (ja) * 2015-08-28 2017-03-02 国立大学法人大阪大学 楽曲聴取経験有無推定方法、楽曲聴取経験有無推定装置、及び楽曲聴取経験有無推定プログラム
CN105126187A (zh) * 2015-08-31 2015-12-09 杭州回车电子科技有限公司 一种通过脑电波辅助睡眠的方法和系统
CN106652984A (zh) * 2016-10-11 2017-05-10 张文铂 一种使用计算机自动创作歌曲的方法
CN107515925A (zh) * 2017-08-24 2017-12-26 北京小米移动软件有限公司 音乐播放方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴丹: "无标度脑波音乐研究", 《中国博士学位论文全文数据库 医药卫生科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110585554A (zh) * 2019-09-24 2019-12-20 喜临门家具股份有限公司 一种助眠音乐控制系统
CN110585554B (zh) * 2019-09-24 2022-04-26 喜临门家具股份有限公司 一种助眠音乐控制系统
GB2608690A (en) * 2019-11-27 2023-01-11 Univ South China Tech Personalized mental state adjustment system and method based on brainwave music
CN110947076A (zh) * 2019-11-27 2020-04-03 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
WO2021103829A1 (zh) * 2019-11-27 2021-06-03 华南理工大学 基于脑波音乐的个性化精神状态调节系统及调节方法
CN110947076B (zh) * 2019-11-27 2021-07-16 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
WO2022073128A1 (en) * 2020-10-07 2022-04-14 Mindset Innovation, Inc. Method for generating music with biofeedback adaptation
CN113763910A (zh) * 2020-11-25 2021-12-07 北京沃东天骏信息技术有限公司 一种音乐生成方法和装置
CN112870522A (zh) * 2021-01-12 2021-06-01 谭新杰 一种基于双耳波差脑波音频的注意力调节方法及系统
CN112820254A (zh) * 2021-01-22 2021-05-18 索思(苏州)医疗科技有限公司 一种音乐生成方法、装置、电子设备和存储介质
CN113143289A (zh) * 2021-03-31 2021-07-23 华南理工大学 一种可互联互动的智能脑波音乐耳机
CN113171534A (zh) * 2021-04-21 2021-07-27 浙江柔灵科技有限公司 基于音乐和能量波函数的叠加增强神经调制方法及装置
CN113571030A (zh) * 2021-07-21 2021-10-29 浙江大学 一种基于听感和谐度评估的midi音乐修正方法和装置
CN113571030B (zh) * 2021-07-21 2023-10-20 浙江大学 一种基于听感和谐度评估的midi音乐修正方法和装置
CN114913873A (zh) * 2022-05-30 2022-08-16 四川大学 一种耳鸣康复音乐合成方法及系统
CN114913873B (zh) * 2022-05-30 2023-09-01 四川大学 一种耳鸣康复音乐合成方法及系统

Also Published As

Publication number Publication date
CN108877749B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN108877749A (zh) 一种脑波ai音乐的生成方法及系统
CN105247609B (zh) 利用言语合成对话语进行响应的方法及装置
KR100591995B1 (ko) 캐릭터의 표시제어장치, 표시제어방법 및 기록매체
CN109036388A (zh) 一种基于对话设备的智能语音交互方法
CN109785820A (zh) 一种处理方法、装置及设备
Solberg et al. Pleasurable and intersubjectively embodied experiences of electronic dance music
Scherer How emotion is expressed in speech and singing
CN110070879A (zh) 一种基于变声技术制作智能表情及声感游戏的方法
Canazza et al. An abstract control space for communication of sensory expressive intentions in music performance
CN104992712B (zh) 能识别音乐自动成谱的方法
CN108109622A (zh) 一种早教机器人语音互动教育系统及方法
CN109559725A (zh) 电子乐器及电子乐器的控制方法
CN107463646A (zh) 一种助眠音乐智能推荐方法及装置
CN106557156A (zh) 一种基于情感的智能音乐播放系统
Dotov et al. Collective dynamics support group drumming, reduce variability, and stabilize tempo drift
CN112463108B (zh) 语音交互处理方法、装置、电子设备及存储介质
Bogaers et al. Music-driven animation generation of expressive musical gestures
Madison Properties of expressive variability patterns in music performances
CN108922505A (zh) 信息处理方法及装置
CN101976514B (zh) 由腹式呼吸控制的学习机及其学习内容的播放方法
CN108694934B (zh) 一种位图转换为音乐旋律的方法
Tseng et al. Interpersonal communication on the Japanese concept``Ma''
CN109872709A (zh) 一种基于音符复杂网络的低相似度新曲生成方法
Wang Embedded Systems for Analyzing Digital Art Aesthetics in Piano Performances using Emotional Recognition
Li Analysis of the Role of Appreciation of Traditional Chinese Ethnic Music in Improving the Quality of College Students

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant