CN110853605B - 音乐生成方法、装置及电子设备 - Google Patents
音乐生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110853605B CN110853605B CN201911126614.3A CN201911126614A CN110853605B CN 110853605 B CN110853605 B CN 110853605B CN 201911126614 A CN201911126614 A CN 201911126614A CN 110853605 B CN110853605 B CN 110853605B
- Authority
- CN
- China
- Prior art keywords
- music
- current moment
- emotion
- style
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008451 emotion Effects 0.000 claims abstract description 122
- 230000002996 emotional effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 39
- 210000001747 pupil Anatomy 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000008909 emotion recognition Effects 0.000 claims description 17
- 230000036772 blood pressure Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000037007 arousal Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000001225 therapeutic effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000000051 music therapy Methods 0.000 description 3
- 238000013186 photoplethysmography Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明提供了一种音乐生成方法、装置及电子设备，该方法包括：采集目标对象的虹膜图像，并根据虹膜图像计算目标对象在当前时刻的情绪参数；根据当前时刻的情绪参数调整当前时刻的前一时刻对应的音乐风格，得到当前时刻的音乐风格；将当前时刻的音乐风格输入至音乐生成网络，得到音乐生成网络针对当前时刻的音乐风格输出的情绪调节音乐，用以调节目标对象在当前时刻的情绪。本发明可以有效提高音乐对用户情绪的调节效果。
Description
技术领域
本发明涉及深度学习技术领域，尤其是涉及一种音乐生成方法、装置及电子设备。
背景技术
音乐治疗是一种利用音乐缓解负性情绪给用户带来的不良影响的治疗手段，随着音乐治疗的发展，现已提出一种人工智能音乐生成系统，通过在治疗伊始获知用户的初始情绪状态，并根据该初始情绪状态选择或生成相应的治疗音乐，进而全程利用该治疗音乐对用户的情绪进行调节，但是治疗过程中用户的情绪状态可能发生改变，而这种方式无法根据用户情绪动态地生成治疗音乐，进而导致治疗音乐对用户情绪的调节效果不佳。
发明内容
有鉴于此，本发明的目的在于提供一种音乐生成方法、装置及电子设备，可以有效提高音乐对用户情绪的调节效果。
第一方面，本发明实施例提供了一种音乐生成方法，包括：采集目标对象的虹膜图像，并根据所述虹膜图像计算所述目标对象在当前时刻的情绪参数；根据所述当前时刻的情绪参数调整所述当前时刻的前一时刻对应的音乐风格，得到所述当前时刻的音乐风格；将所述当前时刻的音乐风格输入至音乐生成网络，得到所述音乐生成网络针对所述当前时刻的音乐风格输出的情绪调节音乐，用以调节所述目标对象在当前时刻的情绪。
在一种实施方式中，所述根据所述虹膜图像计算所述目标对象在当前时刻的情绪参数的步骤，包括：对所述虹膜图像进行图像识别，得到所述目标对象的血压值和心率值；基于所述血压值和所述心率值，计算所述目标对象的情感识别参数；采用瞳孔半径识别算法测量所述虹膜图像中的瞳孔变化率；基于所述瞳孔变化率计算所述目标对象的用户反应参数；将所述情感识别参数和所述用户反应参数确定为所述目标对象在当前时刻的情绪参数。
在一种实施方式中，所述根据所述当前时刻的情绪参数调整所述当前时刻的前一时刻对应的音乐风格，得到所述当前时刻的音乐风格的步骤，包括：将所述当前时刻的情绪参数和所述当前时刻的前一时刻对应的音乐风格，输入至预先训练的风格选取模型，得到所述风格选取模型针对所述当前时刻的情绪参数和所述当前时刻的前一时刻对应的音乐风格输出的当前时刻的音乐风格。
在一种实施方式中，所述风格选取模型包括DeepFM模型或HMM模型。
在一种实施方式中，在所述将所述当前时刻的音乐风格输入至音乐生成网络的步骤之前，所述方法还包括：获取训练集，并获取预设白噪声；其中，所述训练集包括多个训练乐谱，所述训练乐谱标注有音乐风格；将所述训练集和所述预设白噪声输入至音乐生成网络，对所述音乐生成网络进行训练。
在一种实施方式中，所述获取训练集的步骤，包括：获取多个候选乐谱，并提取各个所述候选乐谱的乐曲特征；针对每个候选乐谱的乐曲特征，计算该乐曲特征与所述当前时刻的音乐风格的特征相似值；将所述特征相似值大于预设阈值的乐曲特征对应的候选乐谱，作为训练集。
在一种实施方式中，所述音乐生成网络包括生成对抗网络。
第二方面，本发明实施例还提供一种音乐生成装置，包括：参数计算模块，用于采集目标对象的虹膜图像，并根据所述虹膜图像计算所述目标对象在当前时刻的情绪参数；风格调整模块，用于根据所述当前时刻的情绪参数调整所述当前时刻的前一时刻对应的音乐风格，得到所述当前时刻的音乐风格；音乐生成模块，用于将所述当前时刻的音乐风格输入至音乐生成网络，得到所述音乐生成网络针对所述当前时刻的音乐风格输出的情绪调节音乐，用以调节所述当前时刻的情绪。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。
第四方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令。
本发明实施例提供的一种音乐生成方法、装置及电子设备，首先采集目标对象的虹膜图像，并根据虹膜图像计算目标对象在当前时刻的情绪参数，进而根据情绪参数调整前一时刻对应的音乐风格得到当前时刻的音乐风格，然后将当前时刻的音乐风格输入至音乐生成网络，得到音乐生成网络输出的情绪调节音乐，其中，输出的情绪调节音乐可以用于调节目标对象在当前时刻的情绪。上述方式基于虹膜图像确定目标对象当前的情绪参数，并基于当前的情绪参数确定目标音乐风格，进而可以得到与当前的情绪参数对应的情绪调节音乐，相较于现有技术中全程均采用同一种风格的情绪调节音乐对目标对象的情绪进行调节，本发明实施例可以生成与当前的情绪参数对应的情绪调节音乐，进而可以通过该情绪调节音乐较好地对目标对象的当前情绪进行调节，有效提高了情绪调节音乐对目标对象情绪的调节效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种音乐生成方法的流程示意图；
图2为本发明实施例提供的一种Arousal-Valence情感模型的示意图；
图3为本发明实施例提供的一种音乐生成网络的结构示意图；
图4为本发明实施例提供的一种音乐生成系统的交互示意图；
图5为本发明实施例提供的一种音乐生成装置的结构示意图；
图6为本发明实施例提供的另一种音乐生成装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有的音乐生成方法生成的音乐无法较好地对用户情绪进行调节，基于此，本发明实施提供了一种音乐生成方法、装置及电子设备，可以有效提高音乐对用户情绪的调节效果。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种音乐生成方法进行详细介绍，参见图1所示的一种音乐生成方法的流程示意图，该方法可以包括以下步骤S102至步骤S106：
步骤S102，采集目标对象的虹膜图像，并根据虹膜图像计算目标对象在当前时刻的情绪参数。
其中，目标对象的虹膜图像可以为包含有用户虹膜的图像，情绪参数可以包括用户情感参数和/或用户反应参数，用于表征用户的情绪。在一种实施方式中，可以利用具有拍摄功能的设备(诸如摄像头或智能手机等)对准目标对象的眼部区域，并对目标对象的眼部区域进行采集，以得到包含有目标对象虹膜信息的虹膜图像，进而利用虹膜识别算法得到目标对象的当前时刻对应的情绪参数。
步骤S104，根据当前时刻的情绪参数调整当前时刻的前一时刻对应的音乐风格，得到当前时刻的音乐风格。
可以理解的，同一乐谱采用不同风格演绎可以得到不同音乐，且不同音乐对用户情绪的影响存在一定差异。在一些实施方式中，可以随机选取音乐风格或采用现有的智能音乐生成系统选择与用户的初始情绪对应的音乐风格，基于初始时刻的情绪参数对选取的音乐风格进行调整，得到初始时刻的音乐风格，并在情绪调节过程中利用当前时刻的情绪参数对当前时刻的前一时刻对应的音乐风格进行调整，得到当前时刻的音乐风格。在实际应用中，可以利用最优音乐风格选取算法利用当前时刻的情绪参数对前一时刻对应的音乐风格进行调整，得到当前时刻的音乐风格。
步骤S106，将当前时刻的音乐风格输入至音乐生成网络，得到音乐生成网络针对当前时刻的音乐风格输出的情绪调节音乐，用以调节当前时刻的情绪。
为了使音乐生成网络生成的情绪调节音乐更适合目标对象在当前时刻的情绪，可以选择与当前时刻的音乐风格相似的音乐训练集对音乐生成网络进行训练，进而生成当前时刻的情绪调节音乐，通过向目标对象播放当前时刻的情绪调节音乐，以达到调节目标对象在当前时刻的情绪的目的。
本发明实施例提供的一种音乐生成方法、装置及电子设备，首先采集目标对象的虹膜图像，并根据虹膜图像计算目标对象在当前时刻的情绪参数，进而根据情绪参数调整前一时刻对应的音乐风格得到当前时刻的音乐风格，然后将当前时刻的音乐风格输入至音乐生成网络，得到音乐生成网络输出的情绪调节音乐，其中，输出的情绪调节音乐可以用于调节目标对象在当前时刻的情绪。上述方式基于虹膜图像确定目标对象当前的情绪参数，并基于当前的情绪参数确定目标音乐风格，进而可以得到与当前的情绪参数对应的情绪调节音乐，相较于现有技术中全程均采用同一种风格的情绪调节音乐对目标对象的情绪进行调节，本发明实施例可以生成与当前的情绪参数对应的情绪调节音乐，进而可以通过该情绪调节音乐较好地对目标对象的当前情绪进行调节，有效提高了情绪调节音乐对目标对象情绪的调节效果。
考虑到现有的情绪监测工具携带不方便并且价格高昂，例如EFG(Electroencephalogram，脑电图)通过头戴式设备检测出目标对象的脑电波，进而见脑电波转换为用户情绪，为降低检测用户情绪所需的成本，本发明实施例根据虹膜图像检测目标对象的情绪，本发明实施例提供了一种根据虹膜图像计算目标对象在当前时刻的情绪参数的具体实现方式，参加如下步骤a至步骤e：
步骤a，对虹膜图像进行图像识别，得到目标对象的血压值和心率值。在一种实施方式中，可以将虹膜图像转换为灰度图像，并分离图像灰度值得到光电容积脉搏波，利用滤波器滤除光电容积脉搏波中的信号噪声，进而利用差分阈值法基于滤除信号噪声后的光电容积脉搏波计算目标对象的血压值和心率值。
步骤b，基于血压值和心率值，计算目标对象的情感识别参数。其中，情感识别参数A包括Arousal(唤醒度)和Valence(效价)，唤醒度是指生理或心理被吵醒或是对外界刺激重新产生反应，定义在[-1,1]的数学空间，效价是对经验状态主观的正面评价，定义在[-1,1]的数学空间。在实际应用中，目标对象的机体的心率值和血压值会随着外界刺激、运动和反应发生改变，且目标对象的情感识别参数也会受外界刺激、运动和反应的影响，也即心率值、血压值与情感识别参数之间存在对应关系，因此本发明实施例基于血压值和心率值可以倒推计算得到目标对象的情感识别参数。在一种实施方式中，可以将血压值和心率值输入至预先配置的Arousal-Valence情感模型中，Arousal-Valence情感模型将针对输入的血压值和心率值输出目标对象的情感识别参数。为便于对Arousal-Valence情感模型进行理解，本发明实施例提供了一种Arousal-Valence情感模型的示意图，如图2所示，图2中以坐标系形式示意出了Arousal和Valence之间的关系，例如当Valence为x1且Arousal为y1时，目标对象的情绪为开心。
步骤c，采用瞳孔半径识别算法测量虹膜图像中的瞳孔变化率。其中，瞳孔半径识别算法可以用于检测虹膜图像中瞳孔的尺寸，在一种实施方式中，可以利用检测灰度的瞳孔图像中的瞳孔边缘点像素，通过计算边缘点像素之间的距离得到虹膜图像中的瞳孔尺寸，进而基于前一时刻采集的虹膜图像中的瞳孔尺寸，得到瞳孔变化率。
步骤d，基于瞳孔变化率计算目标对象的用户反应参数。其中，用户反应参数包括Negative(消极)、Netural(自然)和Positive(积极)中的一种或多种。在实际应用中，可以预先配置瞳孔变化率与用户反应之间存在对应关系，进而确定目标对象当前的用户反应参数。
步骤e，将情感识别参数和用户反应参数确定为目标对象在当前时刻的情绪参数。上述基于虹膜图像确定目标对象在当前时刻的情绪参数具有成本低、便捷和实时性高等特点。
为便于对上述步骤S104进行理解，本发明实施例提供了一种根据当前时刻的情绪参数调整当前时刻的前一时刻对应的音乐风格，得到当前时刻的音乐风格的具体实施方式，在一种实施方式中，可以利用最优音乐风格选取算法利用当前时刻的情绪参数对前一时刻对应的音乐风格进行调整，以得到当前时刻最优的音乐风格，其中，最优音乐风格选取算法可以采用深度学习算法DeepFM(Deep-Factorization Machines)模型或HMM模型(Hidden Markov Model，隐马尔科夫模型)等机器学习算法，在具体实现时，将当前时刻的情绪参数和当前时刻的前一时刻对应的音乐风格，输入至预先训练的风格选取模型，得到风格选取模型针对当前时刻的情绪参数和当前时刻的前一时刻对应的音乐风格输出的当前时刻的音乐风格，其中，风格选取模型包括DeepFM模型或HMM，可以采用专家进行音乐治疗过程中的最优音乐风格与用户情绪和用户反应作为风格选取模型的训练集。
在一种实施方式中，本发明实施例提供的音乐生成网络可以采用生成对抗网络(GAN，Generative adversarial networks)，GAN网络包括生成模型和判别模型，图3提供了一种音乐生成网络的结构示意图，其中，音乐生成网络包括依次连接的生成模型和判别模型。为使音乐生成网络输出的情绪调节音乐可以更好地调节目标对象当前的情绪，可以在将当前时刻的音乐风格输入至音乐生成网络的之前，利用当前时刻的音乐风格对音乐生成网络进行训练，具体可参见如下步骤1至步骤2：
步骤1，获取训练集，并获取预设白噪声。其中，训练集包括多个训练乐谱，训练乐谱标注有音乐风格，例如，音乐风格1记为类型A且演奏乐器为a，音乐风格2记为类型B且演奏乐器为b。为使在具体实现时，为使训练集的特征与当前时刻的音乐风格的特征更为相似，可以采用如下步骤1.1至步骤1.3获取训练集：
步骤1.1，获取多个候选乐谱，并提取各个候选乐谱的乐曲特征。其中，候选乐谱可以选择钢琴谱或其他乐谱，可基于实际情况选择所需的乐谱作为候选乐谱，乐曲特征可以包括音高、音长和音强中的一种或多种，在一种实施方式中，可通过图像形式记录候选乐谱，并将图像形式的候选乐谱输入至特征提取网络，以提取候选乐谱的乐曲特征。
步骤1.2，针对每个候选乐谱的乐曲特征，计算该乐曲特征与当前时刻的音乐风格的特征相似值。本发明实施例计算当前时刻的音乐风格和候选乐谱的乐曲特征的加权和，得到当前时刻的音乐风格与乐曲特征的特征距离，并将特征距离最近的候选乐谱作为训练集。
步骤1.3，将特征相似值大于预设阈值的乐曲特征对应的候选乐谱，作为训练集。其中，特征相似值与特征距离呈反比，也即特征距离越近，特征相似值越大。
步骤2，将训练集和预设白噪声输入至音乐生成网络，对音乐生成网络进行训练。其中，音乐生成网络中的生成模型的输入为当前时刻的音乐风格，输出为情绪调节音乐，音乐生成网络中的判别模型的输入为生成的情绪调节音乐和训练集中的候选乐谱，且情绪调节音乐和候选乐谱共用一个音乐风格标签，由判别模型对输入的音乐的来源进行判别，并利用判别模型输出的判别结果分别计算生成模型损失函数和判别模型损失函数，进而利用生成模型损失函数和判别模型损失函数对生成模型和判别模型进行交叉训练，直至生成模型损失函数和判别模型损失函数均收敛。另外，通过将预设白噪声输入至音乐生成网络，可以生成的情绪调节音乐中伴随有白噪声，从而利用白噪声遮蔽周围嘈杂的声音，以便于更好的利用情绪调节音乐调节用户的情绪。
为便于对上述实施例提供的音乐生成装置进行理解，本发明实施例提供了另一种音乐生成方法，该方法可应用于音乐生成系统，参见图4所示的一种音乐生成系统的交互示意图，首先利用虹膜识别算法对用户的虹膜进行识别，得到用户的情感识别参数和用户反应参数，将情感识别参数和用户反应参数输入至最优音乐风格选取算法，由最优音乐风格选取算法输出当前时刻的音乐风格，最后将当前时刻的音乐风格、白噪声和与当前时刻的音乐风格特征相似的钢琴谱输入至GAN网络，可以得到GAN网络输出的情绪调节音乐M，利用该情绪调节音乐可以对用户的情绪进行调节，上述过程相当于形成了生成音乐-用户情绪的闭环控制，可以动态地根据用户的情绪生成对应的音乐，进而达到较好地情绪调节效果。进一步的，上述最优音乐风格选取算法可以表示为：S＝max(f(A,R,S’))，其中，A表示情感识别，R表示用户反应参数，S’表示当前时刻的前一时刻的音乐风格，S表示当前时刻的音乐风格。
本发明实施例可以达到如下特点至少之一：
(1)通过虹膜识别算法识别用户情绪具有简单、经济、实时性好等特点。
(2)通过最优音乐风格选取算法得到用户反应参数和情感识别参数与不同音乐风格的映射关系能够跟踪用户的音乐风格习惯，通过多次对同一用户进行治疗，可以形成针对性的音乐治疗方案。
(3)利用GAN网络以及白噪声技术根据情绪调节音乐，可以满足用户对音乐风格的需求，进而使生成的情绪调节音乐能够更好的响应用户的情绪变化，满足音乐治疗需求。
(4)通过生成音乐-用户情绪的闭环控制算法能够持续跟踪和提升音乐治疗干预效果。
综上所述，本发明实施例提供的音乐生成方法，通过虹膜识别技术识别用户情绪，并利用最优音乐风格选取算法确定与用户情绪对应的最优的音乐风格，进而利用能GAN网络技术和白噪声技术生成情绪调节音乐，上述方式通过对用户情绪进行检测，形成生成音乐-用户情绪的闭环控制，从何可以动态地生成与用户情绪对应的音乐，进而可以有效提高情绪调节效果。上述方法能够有针对性地帮助用户迅速进入深度放松状态，缓解负性情绪带来的不良影响，有效调节情绪、缓解压力、维护身心健康和提升心理素质。
对于前述实施例提供的音乐生成方法，本发明实施例提供了一种音乐生成装置，参见图5所示的一种音乐生成装置的结构示意图，该装置主要包括以下部分：
参数计算模块502，用于采集目标对象的虹膜图像，并根据虹膜图像计算目标对象在当前时刻的情绪参数。
风格调整模块504，用于根据当前时刻的情绪参数调整当前时刻的前一时刻对应的音乐风格，得到当前时刻的音乐风格。
音乐生成模块506，用于将当前时刻的音乐风格输入至音乐生成网络，得到音乐生成网络针对当前时刻的音乐风格输出的情绪调节音乐，用以调节目标对象在当前时刻的情绪。
本发明实施例提供的上述音乐生成装置，基于虹膜图像确定目标对象当前的情绪参数，并基于当前的情绪参数确定目标音乐风格，进而可以得到与当前的情绪参数对应的情绪调节音乐，相较于现有技术中全程均采用同一种风格的情绪调节音乐对目标对象的情绪进行调节，本发明实施例可以生成与当前的情绪参数对应的情绪调节音乐，进而可以通过该情绪调节音乐较好地对目标对象的当前情绪进行调节，有效提高了情绪调节音乐对目标对象情绪的调节效果。
在一种实施方式中，上述参数计算模块502还用于：对虹膜图像进行图像识别，得到目标对象的血压值和心率值；基于血压值和心率值，计算目标对象的情感识别参数；采用瞳孔半径识别算法测量虹膜图像中的瞳孔变化率；基于瞳孔变化率计算目标对象的用户反应参数；将情感识别参数和用户反应参数确定为目标对象在当前时刻的情绪参数。
在一种实施方式中，上述风格调整模块504还用于：将当前时刻的情绪参数和当前时刻的前一时刻对应的音乐风格，输入至预先训练的风格选取模型，得到风格选取模型针对当前时刻的情绪参数和当前时刻的前一时刻对应的音乐风格输出的当前时刻的音乐风格。
在一种实施方式中，上述风格选取模型包括DeepFM模型或HMM模型。
在上述图5的基础上，本发明实施例提供了另一种音乐生成装置，参见图6所示的另一种音乐生成装置的结构示意图，图6示意出了上述音乐生成装置还包括训练模块602，用于，在将当前时刻的音乐风格输入至音乐生成网络之前，获取训练集和预设白噪声；其中，训练集包括多个训练乐谱，训练乐谱标注有音乐风格；将训练集和预设白噪声输入至音乐生成网络，对音乐生成网络进行训练。
在一种实施方式中，上述训练模块602还用于：获取多个候选乐谱，并提取各个候选乐谱的乐曲特征；针对每个候选乐谱的乐曲特征，计算该乐曲特征与当前时刻的音乐风格的特征相似值；将特征相似值大于预设阈值的乐曲特征对应的候选乐谱，作为训练集。
在一种实施方式中，上述音乐生成网络包括生成对抗网络。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图7为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器70，存储器71，总线72和通信接口73，所述处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。
其中，存储器71可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器71用于存储程序，所述处理器70在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。
处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种音乐生成方法，其特征在于，包括：
采集目标对象的虹膜图像，并根据所述虹膜图像计算所述目标对象在当前时刻的情绪参数；
根据所述当前时刻的情绪参数调整所述当前时刻的前一时刻对应的音乐风格，得到所述当前时刻的音乐风格；
将所述当前时刻的音乐风格输入至音乐生成网络，得到所述音乐生成网络针对所述当前时刻的音乐风格输出的情绪调节音乐，用以调节所述目标对象在所述当前时刻的情绪；
所述根据所述当前时刻的情绪参数调整所述当前时刻的前一时刻对应的音乐风格，得到所述当前时刻的音乐风格的步骤，包括：
将所述当前时刻的情绪参数和所述当前时刻的前一时刻对应的音乐风格，输入至预先训练的风格选取模型，得到所述风格选取模型针对所述当前时刻的情绪参数和所述当前时刻的前一时刻对应的音乐风格输出的当前时刻的音乐风格。
2.根据权利要求1所述的方法，其特征在于，所述根据所述虹膜图像计算所述目标对象在当前时刻的情绪参数的步骤，包括：
对所述虹膜图像进行图像识别，得到所述目标对象的血压值和心率值；
基于所述血压值和所述心率值，计算所述目标对象的情感识别参数；
采用瞳孔半径识别算法测量所述虹膜图像中的瞳孔变化率；
基于所述瞳孔变化率计算所述目标对象的用户反应参数；
将所述情感识别参数和所述用户反应参数确定为所述目标对象在当前时刻的情绪参数。
3.根据权利要求1所述的方法，其特征在于，所述风格选取模型包括DeepFM模型或HMM模型。
4.根据权利要求1所述的方法，其特征在于，在所述将所述当前时刻的音乐风格输入至音乐生成网络的步骤之前，所述方法还包括：
获取训练集，并获取预设白噪声；其中，所述训练集包括多个训练乐谱，所述训练乐谱标注有音乐风格；
将所述训练集和所述预设白噪声输入至音乐生成网络，对所述音乐生成网络进行训练。
5.根据权利要求4所述的方法，其特征在于，所述获取训练集的步骤，包括：
获取多个候选乐谱，并提取各个所述候选乐谱的乐曲特征；
针对每个候选乐谱的乐曲特征，计算该乐曲特征与所述当前时刻的音乐风格的特征相似值；
将所述特征相似值大于预设阈值的乐曲特征对应的候选乐谱，作为训练集。
6.根据权利要求1所述的方法，其特征在于，所述音乐生成网络包括生成对抗网络。
7.一种音乐生成装置，其特征在于，包括：
参数计算模块，用于采集目标对象的虹膜图像，并根据所述虹膜图像计算所述目标对象在当前时刻的情绪参数；
风格调整模块，用于根据所述当前时刻的情绪参数调整所述当前时刻的前一时刻对应的音乐风格，得到所述当前时刻的音乐风格；
音乐生成模块，用于将所述当前时刻的音乐风格输入至音乐生成网络，得到所述音乐生成网络针对所述当前时刻的音乐风格输出的情绪调节音乐，用以调节所述目标对象在所述当前时刻的情绪；
所述风格调整模块还用于：
将所述当前时刻的情绪参数和所述当前时刻的前一时刻对应的音乐风格，输入至预先训练的风格选取模型，得到所述风格选取模型针对所述当前时刻的情绪参数和所述当前时刻的前一时刻对应的音乐风格输出的当前时刻的音乐风格。
8.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至6任一项所述的方法。
9.一种计算机存储介质，其特征在于，用于储存为权利要求1至6任一项所述方法所用的计算机软件指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126614.3A CN110853605B (zh) | 2019-11-15 | 2019-11-15 | 音乐生成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126614.3A CN110853605B (zh) | 2019-11-15 | 2019-11-15 | 音乐生成方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110853605A CN110853605A (zh) | 2020-02-28 |
| CN110853605B true CN110853605B (zh) | 2022-04-19 |
Family
ID=69601922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911126614.3A Active CN110853605B (zh) | 2019-11-15 | 2019-11-15 | 音乐生成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110853605B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113496243A (zh) * | 2020-04-07 | 2021-10-12 | 北京达佳互联信息技术有限公司 | 背景音乐获取方法及相关产品 |
| CN111831250B (zh) * | 2020-07-10 | 2023-05-30 | Oppo广东移动通信有限公司 | 音频处理方法、装置、存储介质及电子设备 |
| CN112545516A (zh) * | 2020-12-07 | 2021-03-26 | 中国第一汽车股份有限公司 | 一种情绪调节方法、装置、系统及存储介质 |
| CN112785993B (zh) * | 2021-01-15 | 2024-04-12 | 杭州网易云音乐科技有限公司 | 一种乐曲生成方法、装置、介质和计算设备 |
| CN113035162A (zh) * | 2021-03-22 | 2021-06-25 | 平安科技（深圳）有限公司 | 民族音乐生成方法、装置、设备及存储介质 |
| CN116504206B (zh) * | 2023-03-18 | 2024-02-20 | 深圳市狼视天下科技有限公司 | 一种识别环境并生成音乐的摄像头 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522441A (zh) * | 2019-01-09 | 2019-03-26 | 昆山快乐岛运动电子科技有限公司 | 音乐筛选方法 |
| CN110136678A (zh) * | 2019-04-26 | 2019-08-16 | 北京奇艺世纪科技有限公司 | 一种编曲方法、装置及电子设备 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101822863A (zh) * | 2010-01-28 | 2010-09-08 | 深圳先进技术研究院 | 情绪调节装置和方法 |
| CN102496005A (zh) * | 2011-12-03 | 2012-06-13 | 辽宁科锐科技有限公司 | 基于眼球特征的审讯辅助研判分析系统 |
| TWI557563B (zh) * | 2014-06-04 | 2016-11-11 | 國立成功大學 | 情緒調控系統及其調控方法 |
| CN107392124A (zh) * | 2017-07-10 | 2017-11-24 | 珠海市魅族科技有限公司 | 情绪识别方法、装置、终端及存储介质 |
| RU179414U1 (ru) * | 2017-11-03 | 2018-05-14 | Анастасия Дмитриевна Усанова | Многофункциональное портативное интерактивное устройство для отслеживания движений и параметров глаз с целью оценки психоэмоционального и физиологического состояния, диагностики различного рода патологий |
| CN109840449A (zh) * | 2017-11-27 | 2019-06-04 | 上海聚虹光电科技有限公司 | 消除环境光影响的瞳孔缩放情绪判断方法 |
| CN108447545A (zh) * | 2018-06-13 | 2018-08-24 | 新华网股份有限公司 | 确定生理状态调整策略的方法及装置 |
| CN108919953A (zh) * | 2018-06-29 | 2018-11-30 | 咪咕文化科技有限公司 | 一种音乐调整方法、装置及存储介质 |
| CN108830265A (zh) * | 2018-08-29 | 2018-11-16 | 奇酷互联网络科技（深圳）有限公司 | 在网络交流中的情绪提醒的方法、通信终端和存储装置 |
| CN109829082A (zh) * | 2018-12-21 | 2019-05-31 | 贵州财富之舟科技有限公司 | 情绪识别的应用方法、系统及智能终端 |
| CN109815817A (zh) * | 2018-12-24 | 2019-05-28 | 北京新能源汽车股份有限公司 | 一种驾驶员的情绪识别方法及音乐推送方法 |
| CN109977255A (zh) * | 2019-02-22 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 模型生成方法、音频处理方法、装置、终端及存储介质 |
| CN110085203A (zh) * | 2019-04-18 | 2019-08-02 | 东华大学 | 一种基于对偶生成对抗网络的音乐风格融合方法 |
| CN110097398A (zh) * | 2019-04-25 | 2019-08-06 | 深圳传音控股股份有限公司 | 一种基于听众情绪的产品推广方法、智能终端和计算机可读存储介质 |
-
2019
- 2019-11-15 CN CN201911126614.3A patent/CN110853605B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522441A (zh) * | 2019-01-09 | 2019-03-26 | 昆山快乐岛运动电子科技有限公司 | 音乐筛选方法 |
| CN110136678A (zh) * | 2019-04-26 | 2019-08-16 | 北京奇艺世纪科技有限公司 | 一种编曲方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110853605A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110853605B (zh) | 音乐生成方法、装置及电子设备 | |
| US9149719B2 (en) | Device and method for generating a representation of a subject's attention level | |
| Kasprowski et al. | First eye movement verification and identification competition at BTAS 2012 | |
| CN107577991B (zh) | 随访数据处理方法、装置、存储介质和计算机设备 | |
| Drissi et al. | Diagnosis of Parkinson’s disease based on wavelet transform and mel frequency cepstral coefficients | |
| Alvarado-González et al. | P300 detection based on EEG shape features | |
| Reiss et al. | PPG-based heart rate estimation with time-frequency spectra: A deep learning approach | |
| CN113196410A (zh) | 疼痛治疗的系统和方法 | |
| JP6479708B2 (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
| CN108509034A (zh) | 电子装置、信息处理方法及相关产品 | |
| KR101524918B1 (ko) | 생체 신호를 이용한 감정 인식 방법 및 그 장치 | |
| CN111297327A (zh) | 一种睡眠分析方法、系统、电子设备及存储介质 | |
| Elden et al. | A computer aided diagnosis system for the early detection of neurodegenerative diseases using linear and non-linear analysis | |
| CN109634422B (zh) | 一种基于眼动识别的背诵监控方法及学习设备 | |
| Guven et al. | A novel biometric identification system based on fingertip electrocardiogram and speech signals | |
| CN112914536A (zh) | 运动状态的检测方法、装置、计算机设备和存储介质 | |
| TW202133117A (zh) | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 | |
| KR101413853B1 (ko) | 적외선 영상을 이용한 생체 신호 측정 방법 및 장치 | |
| KR102239430B1 (ko) | 내수용 뇌파를 이용한 감정 자극 판독 방법 및 장치 | |
| KR102216360B1 (ko) | 근전도 신호를 이용하는 감정 인식 방법 및 장치 | |
| CN112446307A (zh) | 基于局部约束的非负矩阵分解的心电身份识别方法及系统 | |
| CN112992340A (zh) | 基于行为识别的疾病预警方法、装置、设备及存储介质 | |
| CN111723700A (zh) | 一种人脸识别方法、装置及电子设备 | |
| Toulni et al. | Heart problems diagnosis using ECG and PCG signals and a k-nearest neighbor classifier | |
| KR20190061874A (ko) | Emg 신호에 기반한 보행패턴을 이용한 사용자 인식 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |