CN117062641A - 用于改变用户情绪状态的设备和方法 - Google Patents

用于改变用户情绪状态的设备和方法 Download PDF

Info

Publication number
CN117062641A
CN117062641A CN202280016588.2A CN202280016588A CN117062641A CN 117062641 A CN117062641 A CN 117062641A CN 202280016588 A CN202280016588 A CN 202280016588A CN 117062641 A CN117062641 A CN 117062641A
Authority
CN
China
Prior art keywords
emotional state
sound
sound file
sequence
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280016588.2A
Other languages
English (en)
Inventor
阿黛娜伊斯·奥斯拉蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Afelio
Original Assignee
Afelio
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Afelio filed Critical Afelio
Publication of CN117062641A publication Critical patent/CN117062641A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2210/00Anatomical parts of the body
    • A61M2210/06Head
    • A61M2210/0693Brain, cerebrum
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/08Other bio-electrical signals
    • A61M2230/10Electroencephalographic signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Anesthesiology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pain & Pain Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

该用于改变用户情绪状态的设备(100)包括:‑脑电图信号的实时读取器(105);‑用于基于所读取的脑电图信号确定情绪状态的模块(110);‑用于确定目标情绪状态的装置(115);‑基于所确定的目标情绪状态、所读取的脑电图信号以及至少一个与每个所述声音文件相关联的参数,从先前组装的声音文件列表中选择至少一个声音文件的序列的自动选择器(120);‑配置用于播放所选择的声音文件序列的电声换能器(125);‑声音文件的第二选择器(130);以及,‑用于基于由第二选择器手动选择的声音文件更新序列的装置(135)。

Description

用于改变用户情绪状态的设备和方法
技术领域
本发明涉及一种用于改变用户情绪状态的设备和方法。它尤其适用于提升个人幸福感和控制个人情绪状态的领域。
背景技术
认知、运动和感官能力的发展是延长人类预期寿命的愿望的一部分。在追求业绩和幸福感的过程中,神经技术是一个关键的解决方案。这一研究领域是神经科学和计算融合的结果,是心理模型和地图变化的根源。
神经技术的目标之一是提高人类业绩并提升他们的幸福感。这种提高和提升可能是通过改变(例如人类的情绪压力)实现的。
例如,情绪压力是人体在面对环境刺激(压力源)时的一种正常、非病理性反应。因此,这种压力是一种可以适用于所有人、与疾病无关的古老的自然防御机制。
目前,已知以下解决方案:
-Melomind(注册商标):一种包括可传递声音以用于直接监测个人的放松程度的音频头戴式耳机的系统;
-Muse(注册商标):一种包括测量大脑中微小电场的EEG(用于“脑电图”)传感器,以及心率、呼吸和血氧计传感器的系统;
-Dreem-Urgo(注册商标):一种包括生理数据传感器和脑电图传感器的系统;以及
-Emotiv(注册商标):一种包括脑电图传感器和耳机的、能够指示用户的压力和分心程度的系统。
然而,所有这些解决方案都有以下缺点:
-用户对声音刺激的偏好没有被考虑在内:提供声音刺激的算法只考虑个人的大脑活动,施加个人不习惯的噪音,从而导致个人对解决方案不感兴趣,甚至拒绝;
-没有实时灵活性:尽管这些技术实时收集大脑活动的信号,但所使用的算法无法对用户在使用过程中的意外变化做出反应。它们的设计使得通常基于用户的大脑活动和/或生理(心率)的单一路径将用户从A点带到B点;
-极其有限的情绪轨迹:目前,用户无法瞄准他想要达到的情绪状态。事实上,如果他买了一个Melomind或Muse耳机,那只是为了放松。虽然一些系统,如Emotiv,可以读取不同的情绪,但它们无法将用户从一种情绪带到另一种情绪。这些技术通常是单向的。他们从压力开始接近放松或集中的状态。因此,逆向是不可能的。
文献CN110947076是已知的,其公开了一种用于调节精神状态的脑电波音乐的智能便携式设备。文献US2019/060 605也是已知的,其公开了一种用于修改用户的认知状态的设备。然而,这两种设备都无法根据用户的选择实时调整播放的声音文件。
此外,文献US2018/027 347是已知的,其公开了一种用于自动预测这些声音将对用户产生的影响的声音分析系统。然而,该设备不能实现对用户情绪状态的实时检测和基于用户的选择对播放的声音文件的实时调整的结合。
发明内容
本发明旨在补救所有或部分这些缺点。
为此,根据第一方面,本发明设想了一种用于改变用户情绪状态的设备,该设备包括:
-脑电图信号的实时读取器;
-用于基于所读取的脑电图信号来确定情绪状态的模块;
-用于确定目标情绪状态的装置;
-根据所确定的目标情绪状态、所读取的脑电图信号以及至少一个与每个所述声音文件相关联的参数,从先前组装的声音文件列表中自动选择至少一个声音文件的序列的自动选择器;
-配置用于播放所选择的声音文件序列的电声换能器;
-用于声音文件的第二选择器;以及
-用于基于由第二选择器手动选择的声音文件更新序列的装置。
由于这些设置,用户可以自愿地识别要达到的情绪状态,设备确定最佳声音文件矢量并按顺序播放每个声音文件,以逐渐调整用户的情绪状态。
脑电图信号的实时读取器的使用使得能够基于序列在改变用户情绪状态或他的动作方面的成功(例如,需要更新声音文件矢量的声音文件的意外播放)来动态调整序列。
预先组装的声音文件列表的使用,特别是由用户喜爱的艺术家制作的声音文件,可以最大限度地降低用户拒绝该设备的风险。
此外,这些实施例允许用户自愿选择要播放的声音文件,中断所选择的序列,同时使设备能够根据该中断调整声音文件序列。
在一些实施例中,作为本发明主题的设备包括:
-声音文件标识符的收集器;以及
-配置用于将表示由该声音文件培养的情绪状态的参数与至少一个声音文件标识符相关联的声音文件分类器。
这些实施例使得可以将在选择要播放的声音文件中使用的指示符与预先组装的列表中的声音文件相关联。
在一些实施例中,分类器是经过训练的机器学习系统。
这些实施例使得能够自动地对新的声音文件进行分类,从而确保预先组装的声音文件列表的有效更新。
在一些实施例中,经过训练的机器学习系统是配置用于接收作为输入层的参数值以及作为输出层的与输入层相对应的情绪状态指示符的监督神经网络。
在一些实施例中,分类器配置用于通过将值分配给三个特性中的至少一个对声音文件进行分类:
-效价;
-唤醒度;以及
-支配度;至少一个特征性被用来确定由音轨培养的情绪状态。
在一些实施例中,机器学习系统还通过使用对用户非专用的一组数据进行预训练。
由于这些设置,机器学习系统例如在使用设备之前通过外部数据进行预训练。因此,该系统需要接受额外的培训。因此,加强了学习系统的前期培训。
在一些实施例中,至少一个声音文件与用户关于每个所述声音文件的行为的指示符相关联,自动选择器配置用于基于该指示符的值来选择至少一个音频文件的序列。
这些实施例使得可以量化用户对声音文件的偏好,从而使所选择的序列被拒绝的风险最小化。
在一些实施例中,用户行为的指示符是表示有利于另一音轨的播放次数和/或播放中断次数的参数。
由于这些设置,行为指示符很容易被确定。
在一些实施例中,自动选择器包括基于用户关于至少一个声音文件的行为的至少一个指示符的声音文件过滤器,选择器配置用于从由过滤器过滤的声音文件的列表中选择声音文件序列。
这些实施例使得可以量化用户对声音文件的偏好,从而使所选择的序列被拒绝的风险最小化。
在一些实施例中,自动选择器用于选择声音文件序列的参数是表示与至少一个声音文件相关联的情绪状态值的指示符。
在一些实施例中,自动选择器用于选择声音文件序列的参数另外是从声音文件的持续时间、模式、音调、节拍的量化和节奏中选择的技术参数。
由于这些设置,由自动选择器进行的选择是基于声音文件中固有的技术参数。因此,提高了设备的自动化程度。
在一些实施例中,声音文件序列配置用于具有与所确定的目标情绪状态相对应的情绪状态值增加的梯度。
这些实施例使得可以确定与目标情绪状态相关联的强度增加的序列。
在一些实施例中,脑电图信号的实时读取器是非侵入性的。
在一些实施例中,阅读器是脑电图类型的头戴式耳机。
由于这些设置,设备的使用变得更加容易。此外,在使用该设备期间,用户的身体完整性得以保持。换句话说,使用该设备时不会出现身体不适。此外,当读取器是耳机时,设备可以随着用户的运动而移动。
根据第二方面,本发明设想了一种用于改变用户情绪状态的方法,该方法包括:
-确定目标情绪状态的步骤;
然后,迭代地执行以下步骤的至少一部分步骤:
-实时读取脑电图信号的步骤;
-基于所读取的脑电图信号确定情绪状态的步骤;
-基于所确定的目标情绪状态、所读取的脑电图信号以及至少一个与每个所述声音文件相关联的参数,从预先组装的声音文件列表中自动选择至少一个声音文件的序列的步骤;
-电声换能器播放所选择的声音文件序列的步骤;
-对声音文件进行二次选择的步骤;以及
-基于由第二选择器手动选择的声音文件更新序列的步骤。
由于作为本发明主题的方法的特定特征、优点和目的与作为本发明的主题的设备的特定特征、优点和目的相同,因此在此不再重复。
附图说明
本发明的其他优点、目的和特定特征将从作为本发明主题的设备和方法的至少一个特定实施例的以下非限制性描述中变得显而易见,参考附录中包括的附图,其中:
-图1示意性地表示作为本发明主题的设备的第一特定实施例;
-图2示意性地表示作为本发明主题的设备的第二特定实施例;
-图3以逻辑图的形式示意性地表示作为本发明主题的方法的一系列特定步骤;
-图4示意性地表示音乐文件样本在激励性质方面的分布,其值在0.1和1之间;
-图5示意性地表示音乐文件样本在舞蹈性质方面的分布,其值在0.1和1之间;
-图6示意性地表示要播放的声音文件的分布,该分布对应于为修改情绪状态而确定的对数向量;
-图7示意性地表示要播放的声音文件的分布,该分布对应于为修改情绪状态而确定的线性向量;
-图8示意性地表示与不同情绪状态相对应的声音文件的声学值的分布;以及
-图9示意性地表示与不同情绪状态相对应的声音文件的音量值的分布。
具体实施方式
本说明书以非限制性的方式给出,其中实施例的每个特征可以有利的方式与任何其他实施例的任何其他特性相结合。
请注意,这些附图不是按比例的。
术语“情绪状态”是指主观和客观因素通过神经或内分泌系统相互作用的结果,神经或内分泌系统可以:
-引起如警觉、愉悦或不快的感觉;
-产生如在感知层面上进行适当的重新定位、评估、标记的认知过程;
-激活整体生理调节;
-诱导最常见的表现性、目标导向性和适应性行为。
例如,对于一个人来说,这种情绪状态是:
-压力(难以集中注意力,思维过程混乱,受到压力源、唤醒、恐惧的干扰);
-放松(平静状态,缺乏思考活动或低的思考活动,思想流动缓慢);
-专注(大脑活动强烈,对外界信号不敏感);以及
-兴趣或参与度(衡量对任何刺激的沉浸程度)。
在沉浸在可能是积极的或消极的刺激中的过程中,参与度可能增加。大脑实验研究发现,在无聊、单调和无意识的认知过程中,参与度会下降。
图1不是按比例示出的,它示出了作为本发明主题的设备100的一个实施例的示意图。该用于改变用户情绪状态的设备100包括:
-脑电图信号的实时读取器105;
-用于基于所读取的脑电图信号确定情绪状态的模块110;
-用于确定目标情绪状态的装置115;
-基于所确定的目标情绪状态、所读取的脑电图信号以及至少一个与每个声音文件相关联的参数,从预先组装的声音文件列表中选择包括至少一个声音文件的序列的自动选择器120;以及
-配置用于播放所选择的声音文件序列的电声换能器125。
读取器105例如是配备有充当电声换能器125的耳机的脑电图类型的头戴式耳机。所考虑的脑电图类型可以是神经技术领域的技术人员已知的任何类型。优选地,使用非侵入性脑电图。
脑电图的功能是捕捉大量神经元突触后同步电位总和产生的电信号。这样的信号可以表示佩戴读取器105的个体的神经生理学活动,并且因此表示该个体的情绪状态。
例如,根据10-20系统,通过放置在用户头皮上的七个干电极(优选地在位置A1、T3、C3、CZ、C4、T4、A2、T5和T6)进行采集。这些电极测量不同位置与放置在最接近耳朵上的“大地”之间的电势差(单位为伏特)。
这些电极位置的选择主要与头戴式耳机的几何形状和使用舒适性有关,但也与某些不易受运动伪影影响(眨眼,嗅闻等)的点的选择有关。
电极连接到数字卡。该卡配置用于将信号传输到确定模块110或传输到计算机,例如通过蓝牙传输到插入计算机的USB接收器。
所选择的采样间隔例如为5秒(每5秒,接收最近5秒的信号)。该值可以增加到8秒,甚至10秒,5秒、8秒和10秒是允许最佳推断情绪的采样间隔。
根据原始信号,可以通过傅立叶变换来计算不同频率的强度。可以应用第一个信号预处理来去除接近50Hz(49Hz–51Hz)或60Hz(59Hz–61Hz)的频率(在接入记录设备(耳机)附近电网的电器存在的情况下,这些频率会被强烈寄生)。
第二带通滤波器可用于仅保留2Hz–58Hz范围内的频率,以消除蓝牙不能让我们正确描述的高频伽马带(60Hz及更高)和低频寄生噪声。
例如,所使用的两个滤波器是五阶巴特沃斯型(Butterworth)滤波器。
确定模块110例如是在电子计算电路上运行的计算机系统。例如,该确定模块110被配置用于确定下列的个人的情绪状态。
选择用来描述情绪的模型是常用的三变量系统,称为“VAD”(效价(Valence)、唤醒度(Arousal)和支配度(Dominance)轴)模型。
效价描述与情绪相关的否定、中立或肯定的特性。
唤醒度衡量所描述的情绪状态的被动、中性或主动特性。
支配度描述所描述的情绪状态的主导或顺从的特性。例如,这个轴可以区分愤怒和恐惧(两者都以低效价和高唤醒度为特性),或者放松和快乐。
对于每个轴,定义了3个可能的离散值:
效价:-1表示否定,0表示中立,1表示肯定;
唤醒度:-1表示被动,0表示中性,1表示主动;以及
支配度:-1代表低,0代表中,1代表高。
以下标签分配给V-A-D值三元组:
-兴奋:(1,1,1)
-快乐:(1,0,1)
-满足:(1,0,0)
-放松,悠闲:(1,-1,0)
-平静:(0,-1,0)
-悲伤,沮丧:(-1,-1,-1)
-减压:(0,1,0)
-中性:(0,0,0)
-深深的悲伤:(-1,0,-1)
除了VAD值之外,还可以使用其他情绪描述符,因为很容易从大脑记录中检测和识别,例如放松和集中。
每个音轨都可以根据这些坐标进行分类,以进行逐步矢量计算,从而可以根据确定的坐标到达与目标情绪状态相对应的其他坐标。
确定模块110可以在本地或远程实现,并可以经由数据网络访问。例如,确定模块110可以在具有到读取器105的有线或优选无线连接的智能手机上实现。
用于确定目标情绪状态的装置115例如是人机界面(例如,与输入设备相关联的图形界面)或软件接口(例如用于应用编程接口的API)。该确定装置115配置用于在输入端接收在几个可能的情绪状态之间可变的信号。
这些情绪状态可以是预先确定的,即形成一个有限的可能性列表,执行界面可以从中进行选择。
这些情绪状态可以基于经由界面做出的条目的内容来确定。例如,人机界面允许代表人类语言的字母数字字符的自由输入,设备100的用户输入要达到的情绪状态的描述符关键字,确定装置115配置用于将定义的情绪状态与这些关键字相关联。
确定装置115可以在本地或远程实现,并可以经由数据网络访问。例如,确定装置115可以在与确定模块110相关联的智能手机上实现。
自动选择器120例如是在电子计算电路上运行的计算机系统。自动选择器120配置用于例如执行测量设备100的用户读取的情绪状态与由确定装置115确定的目标状态之间的距离的算法。根据以这种方式测量的距离,基于与每个所述声音文件相关联的至少一个参数来选择包括至少一个声音文件的序列。
例如,这样的参数可以是:
-技术参数,例如声音文件的持续时间、模式、音调、节拍的量化或节奏;或
-声学或心理声学参数,其表示:
-声音文件的声学性质,即是否使用电子仪器和/或其使用比例;
-声音文件的激励或振奋性质,即强度和活动的感知测量—对这一属性有贡献的感知特性包括动态范围、感知声音强度、音色、出现率和一般熵;
-声音文件的工具性质,即该声音文件中是否使用了话音;
-声音文件的舞蹈性质,例如基于音频文件的节奏、韵律的稳定性、节拍的强度和一般规律性来测量;
-声音文件的效价,即声音文件的积极性;
-声音文件录制的性质,即在录音室或直接演出期间录制的声音文件;
-话语密度的性质,即声音文件中话语和音乐的比例;和/或
-声音文件的强度,即以分贝为单位测量的声音文件的平均强度。
这些参数中的每一个都可以直接与情绪状态相关联,因此,取决于目标情绪状态,可以将其包含在声音文件序列中。
这些参数的值与情绪状态之间的关联(例如,通过V-A-D数据图表)可以通过使用学习算法来实现,该算法以类似于佛罗里达大学情绪与注意力研究中心的IADS-E数据集的方式获得。
或者,可以使用专家系统,将V-A-D数据图表的特定值与情绪状态相关联。上述提供了这种利用的示例。
在简化的模式中,能量性质和舞蹈性质与唤醒度有关,模式与效价有关,强度与支配度有关。
对于每个样本,然后构建例如每个声学描述符的统计模型。例如,所选择的模型是高斯混合,即一到五条高斯曲线(“钟形(bell)曲线”)的加权集,其平均值和标准偏差以及与每个高斯相关的权重都被记录下来。所获得的混合高斯模型描述了概率密度曲线,该曲线与声学参数的每个值相关联,该声学参数被认为是对给定组的音轨(高效价或低效价、高唤醒度或低唤醒度、高支配度或低支配度)观察到的概率。
这给出了具有给定声学特性的音轨在VAD空间的每个象限中的概率的近似值。
在每个轴上以及对于每个音轨,计算属于正象限和负象限的概率的平均值。通过这种方式,可以获得所考虑的声音文件在VAD空间中的坐标。当确定要添加到播放列表的音轨时,将读取VAD空间中的该位置。
图4示意性地示出了音乐文件样本在激励性质方面的分布,其值在0.1到1之间。
图5示意性地示出了音乐文件样本在舞蹈性质方面的分布,其值在0.1和1之间。
图8示意性地示出了声音文件样本的声学性质的量化分布,特别是对应于两种不同的状态:
-平静的情绪状态805;以及
-专注的情绪状态810。
图9示意性地示出了声音文件样本的音量的量化分布,特别是对应于两种不同的状态:
-专注的情绪状态905;以及
-强烈的身体活动的情绪状态910。
优选地,由自动选择器120用于选择声音文件序列的参数是表示与至少一个声音文件相关联的情绪状态值的指示符。然后将每个声音文件与将至少一种情绪状态的影响进行量化的向量相关联。例如,一个声音文件可以具有与该声音文件对听众的压力水平的影响相对应的第一值,以及与该声音文件对听众的放松水平的影响相对应的第二值。
优选地,声音文件序列配置用于具有与所确定的目标情绪状态相对应的情绪状态值增加的梯度。
换句话说,在多维空间中,通过以上列出的全部或部分参数构成的轴上的坐标来描述所确定的实际和目标情绪状态。
这样的矢量可以由上述参数中的至少一个构成。
在定义的维空间中,这样的向量可以对应于线性或对数函数。
根据第一种算法,首先计算VAD空间中两点之间的理论直线路径。它在物理上还没有对应于声音文件的列表。接下来,算法对沿着这条理论线规则间隔的点进行采样(基于所需声音文件的数量,其本身是播放列表的所需持续时间的函数)。最后,选择数据库中在该空间中坐标最接近每个理论点的声音文件,产生声音文件的有序列表。
根据第二算法,通过系统地搜索最接近搜索区间的边界之间的中点的文件,迭代地执行音轨的选择。首先,计算两点(实际状态和目标状态)之间的理论中点。接下来,使用其坐标来确定数据库中在VAD空间中最接近该点的声音文件。该文件可以将音程一分为二,并生成两个新的音程,在这两个音程上重复该过程,直到获得最大数量的音轨(可选)。
所获得的最终路径不如算法1的线性,但允许轨迹之间更平滑的过渡。
自动选择器120可以在本地或远程实现,并可以通过数据网络访问。例如,自动选择器120可以在与确定装置115和确定模块110相关联的智能手机上实现。
声音文件序列被发送到电声换能器125。这种传输可以通过与自动选择器120接口的智能手机的主板或声卡执行。
在一些特定的实施例中,例如图1所示的实施例,作为本发明主题的设备100包括:
-声音文件标识符的收集器140;以及
-配置用于将表示由该声音文件培养的情绪状态的参数与至少一个声音文件标识符相关联的声音文件分类器145。
标识符的收集器140例如是在电子计算电路上运行的计算机系统。该收集器140例如配置用于收集声音文件的标识符,该声音文件的播放由与设备100相关联的至少一个用户通过用于播放声音文件的第三方应用来控制。在一些变型中,标识符的收集器140是用于读取存储在本地或远程计算机存储器中的声音文件标识符的元数据的软件系统。
标识符的收集器140可以在本地或远程实现,并可以经由数据网络访问。
分类器145例如是在电子计算电路上运行的计算机系统。如上所述,该分类器145配置用于基于声音文件的参数,将声音文件对收听者的情绪状态的影响的定量值分配给声音文件。
在一些特定实施例中,分类器145是经过训练的机器学习系统。例如,这样的分类器145可以是深度学习类型的机器学习算法(无论是否有监督)。
例如,这样的机器学习系统是配置用于作为输入层接收如上所述的参数值以及作为输出层接收与输入层相对应的情绪状态指示符的监督神经网络设备。
在一些实施例中,分类器145配置用于通过将值分配给三个特性中的至少一个来对声音文件进行分类:
-效价;
-唤醒度;以及
-支配度;
至少一个特性被用来确定由音轨培养的情绪状态。可选地,专注和/或放松可以经由分类器145或另一分配机制接收值。
在由产生这样的分类器145组成的实现的示例中,当用户在身体中深切地感觉到他处于上面列出的情绪状态之一时,计算机程序允许用户报告。如果他确认了自己的状态,记录的样本就会被发送到分类模型,从而加强其学习。
频繁使用这种强化工具对于模型正确学习是必要的。在用户充分使用该工具之前(使用几十次代表了所有情绪),模型的性能会从随机到差,再到一般,最终是可以接受。预先训练的分类器145可以通过使用一组非用户专用的数据来实现,以从一开始就具有正确的性能。
该模型被训练来识别情绪,不是从原始信号,而是从它的转换,称为特性,这些特性是根据在时间t期间记录的样本在上面列出的7个通道上计算的:
对于每个通道:
-空间特性:通过傅立叶变换获得的α[7Hz-13 Hz]、β[14Hz-30 Hz]和γ[31Hz-90Hz]频带的强度,以及差分熵;以及
-时间特性:近似熵、样本熵和分形维数。
通过考虑所有通道:
-多尺度特性(多尺度熵特性);以及
-仁义熵(或者,更具体地,仁义熵的非参数估计)。
分类算法可以是一种称为“随机森林”的集成方法(一种对多个分类器的预测进行平均的方法),所使用的分类器是决策树。例如,使用了一百个决策树的总体。
决策树是一系列使用特征值阈值的规则。
该算法的训练阶段包括改变这些阈值,直到获得可接受的预测质量。获得的每个新样本的相关情绪状态都是已知的,这使得可以进一步细化阈值。
模型的性能因个体而异,无法以一般方式进行估计。科学文献表明,正确预测的平均值在60%到85%之间波动,具体取决于个人。
因此,形成训练装置的计算机程序执行以下步骤:
-接收来自EEG头戴式耳机的原始信号(5秒样本);
-计算信号的特征;
-通过使用决策树预测的方法来估计用户实际情绪状态的效价、唤醒度和支配度值。
-通过计算到VAD空间中这些已知情绪的位置的欧几里得距离以及到这些距离的归一化逆,将所获得的坐标(V,A,D)变换为已知标签的每个情绪的百分比,
-如果用户通过输入设备(键盘、触摸屏)报告他处于已知的情绪状态,则建议使用最近的样本参与训练模型,并且如果得到确认,则使用该新样本来调整决策树的阈值;以及
-等待,直到接收到新的样本。
当训练程序停止时,备份决策树的总体以在下一次启动时加载。
在一些特定实施例中,至少一个声音文件与用户关于每个所述声音文件的行为的指示符相关联,自动选择器120配置用于基于该指示符的值选择至少一个声音文件的序列。
这样的行为的指示符例如是表示播放次数的参数、有利于另一音轨的播放中断次数或表示用户愿望的任何其他参数。这种行为的指示符可以用于声音文件序列的选择,例如,通过将较低的权重分配给具有高于平均播放中断次数的候选声音文件,反映用户在播放这些文件时的不满。
在一些实施例中,自动选择器120使用的至少一个参数是表示声音文件之间的音乐相似性的参数。例如,可以基于表示音乐流派的元数据或者基于以上关于自动选择器120描述的参数建立这种音乐相似性。
音乐相似性是基于上面示例的参数(通过它们的单位归一化)的空间中的欧几里得距离来确定的。
在一些特定的实施例中,例如图1所示的实施例,自动选择器120包括基于用户关于至少一个声音文件的行为的至少一个指示符的声音文件过滤器121,选择器配置用于从过滤器过滤的声音文件列表中选择声音文件序列。
这样的滤波器121例如是软件滤波器,使得能够在实际选择之前建立要在声音文件序列中选择的候选声音文件的样本。
在一些特定的实施例中,例如图1所示的实施例,作为本发明主题的设备100还包括声音文件的第二选择器130和用于基于由第二选择器手动选择的声音文件更新序列的装置135。
第二选择器130例如是人机界面(例如,与输入设备相关联的图形界面)或软件接口(例如API)。该第二选择器130配置用于在输入端接收用于播放的声音文件标识符。这种第二选择器130的一个变型例如是与能够输入声音文件标识符的图形用户界面(“GUI”)相关联的触摸屏。
该选择器130允许用户强制播放声音文件,而不管该声音文件对所确定的目标情绪状态的有利或不利影响。
然而,这种有益或负面影响的量化使得确定装置115能够基于播放由第二选择器130选择的声音文件所引起的偏差来确定新的声音文件序列,从而使得能够达到随后的目标情绪状态。
第二选择器130可以本地或远程实现,并且可以经由数据网络访问。
图2示意性地示出了技术生态系统200的特定实施例,该技术生态系统能够实现作为本发明主题的设备100。该技术生态系统200包括:
-中央终端205,配置用于执行软件形式的算法指令序列的电子计算电路,例如计算机、服务器或智能手机;
-可经由中央终端205访问的音频文件的数据库215;
-配备有能够回放音频文件的耳机的EEG头戴式耳机210,其连接到中央终端205以:
-接收要播放的音频文件(或要播放的资源在数据网络上的位置);以及
-向该终端205发送表示所读取的EEG信号的指示符,该终端205例如通过使用计算机服务器本地确定头戴式耳机210的佩戴者的情绪状态,或者发送该指示符以远程确定;
-与声音文件相关联的情绪状态的分类数据库220,与配置用于执行分类算法的用于计算的计算机资源相关联(未编号),该数据库220可以在中央终端205播放音频文件时被馈送,或者直接连接到音频文件的数据库215;
-界面225,用于由中央终端205(或另一计算资源)访问分类数据库220,其配置用于基于所确定的目标情绪状态产生候选声音文件的列表,所述候选声音文件用于包括在要产生的用于改变用户情绪状态的序列中,或者可替换地直接产生要播放的声音文件的序列;以及
-可选地,使得能够显示统计数据的监视和控制界面230,以及用于设备100的参数化的界面。
图3示意性地示出了作为本发明主题的方法300的特定实施例。该用于改变用户情绪状态的方法300包括:
-确定目标情绪状态的步骤305;
然后,迭代地执行以下步骤的至少一部分步骤:
-脑电图信号的实时读取的步骤310;
-基于所读取的脑电图信号来确定情绪状态的步骤315;
-基于所确定的目标情绪状态、所读取的脑电图信号以及至少一个与每个所述声音文件相关联的参数,从预先组装的声音文件列表中自动选择包括至少一个声音文件的序列的步骤320;以及
-电声换能器播放所选择的声音文件序列的步骤325。
在一些实施例中,如图3所示,方法300还包括:
-对声音文件进行二次选择的步骤330;以及
-基于由第二选择器手动选择的声音文件更新序列的步骤335。
如参考图1和图2所述,参考相应的装置来描述方法300的步骤的实施例。
优选地,设备100和技术生态系统200的装置配置用于实现如上所述的方法300及其实施例的步骤,并且方法300及其不同实施例可以通过设备100和/或技术生态系统的装置来实现。

Claims (15)

1.一种用于改变用户情绪状态的设备(100),所述设备(100)包括:
-脑电图信号的实时读取器(105);
-用于基于所读取的脑电图信号确定情绪状态的模块(110);
-用于确定目标情绪状态的装置(115);
-基于所确定的目标情绪状态、所读取的脑电图信号以及至少一个与每个声音文件相关联的参数,从预先组装的声音文件列表中选择至少一个声音文件的序列的自动选择器(120);以及
-配置用于播放所选择的声音文件序列的电声换能器(125);
其中,所述设备还包括:
-声音文件的第二选择器(130);以及
-用于基于由所述第二选择器手动选择的声音文件更新所述序列的装置(135)。
2.根据权利要求1所述的设备(100),其中,所述设备(100)包括:
-声音文件标识符的收集器(140);以及
-配置用于将表示由所述声音文件培养的情绪状态的参数与至少一个声音文件标识符相关联的声音文件分类器(145)。
3.根据权利要求2所述的设备(100),其中,所述分类器(145)是经过训练的机器学习系统。
4.根据权利要求3所述的设备(100),其中,所述经过训练的机器学习系统是配置用于作为输入层接收参数值以及作为输出层接收与所述输入层相对应的情绪状态指示符的监督神经网络。
5.根据权利要求3或4所述的设备(100),其中,所述分类器(145)配置用于通过将值分配给下列三个特征中的至少一个来对声音文件进行分类:
-效价;
-唤醒度;以及
-支配度;
至少一个特征被用来确定由音轨培养的情绪状态。
6.根据权利要求3至5中任一项所述的设备,其中,所述机器学习系统还通过使用对用户非专用的一组数据进行预训练。
7.根据权利要求1至6中任一项所述的设备(100),其中,至少一个声音文件与用户关于每个所述声音文件的行为的指示符相关联,所述自动选择器(120)配置用于基于用于至少一个声音文件的该指示符的值选择至少一个声音文件的序列。
8.根据权利要求7所述的设备(100),其中,所述用户行为的指示符是表示有利于另一音轨的播放次数和/或播放中断次数的参数。
9.根据权利要求7或8所述的设备(100),其中,所述自动选择器(120)包括基于用户关于至少一个声音文件的行为的至少一个指示符的声音文件过滤器(121),所述自动选择器配置用于从由所述过滤器过滤的声音文件的列表中选择声音文件序列。
10.根据权利要求1至9中任一项所述的设备(100),其中,由所述自动选择器(120)使用以选择声音文件序列的参数是表示与至少一个声音文件相关联的情绪状态值的指示符。
11.根据权利要求10所述的设备(100),其中,由所述自动选择器(120)使用以选择声音文件序列的参数是另外从所述声音文件的持续时间、模式、音调、节拍的量化和节奏中选择的技术参数。
12.根据权利要求10或11所述的设备(100),其中,所述声音文件序列配置用于具有与所确定的目标情绪状态相对应的情绪状态值增加的梯度。
13.根据权利要求1至12中任一项所述的设备(100),其中,脑电图信号的实时读取器(105)是非侵入性的。
14.根据权利要求13所述的设备(100),其中,所述读取器(105)是脑电图类型的头戴式耳机。
15.一种用于改变用户情绪状态的方法(300),包括:
-确定目标情绪状态的步骤(305);
以及然后,迭代地执行以下步骤的至少一部分步骤:
-实时读取脑电图信号的步骤(310);
-基于所读取的脑电图信号确定情绪状态的步骤(315);
-基于所确定的目标情绪状态、所读取的脑电图信号以及至少一个与每个所述声音文件相关联的参数,从预先组装的声音文件列表中自动选择至少一个声音文件的序列的步骤(320);
-电声换能器播放所选择的声音文件序列的步骤(325);
其特征在于,所述方法还包括:
-对声音文件进行二次选择的步骤(330);以及
-基于由第二选择器手动选择的声音文件更新所述序列的步骤(335)。
CN202280016588.2A 2021-02-23 2022-02-23 用于改变用户情绪状态的设备和方法 Pending CN117062641A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2101749A FR3119990A1 (fr) 2021-02-23 2021-02-23 Dispositif et procédé de modification d’un état émotionnel d’un utilisateur
FRFR2101749 2021-02-23
PCT/EP2022/054518 WO2022180092A1 (fr) 2021-02-23 2022-02-23 Dispositif et procédé de modification d'un état émotionnel d'un utilisateur

Publications (1)

Publication Number Publication Date
CN117062641A true CN117062641A (zh) 2023-11-14

Family

ID=77021377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280016588.2A Pending CN117062641A (zh) 2021-02-23 2022-02-23 用于改变用户情绪状态的设备和方法

Country Status (5)

Country Link
EP (1) EP4297832A1 (zh)
KR (1) KR20230148166A (zh)
CN (1) CN117062641A (zh)
FR (1) FR3119990A1 (zh)
WO (1) WO2022180092A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115644870B (zh) * 2022-10-21 2024-03-08 东北林业大学 基于TSM-ResNet模型的脑电信号情感识别方法
CN117257305A (zh) * 2023-11-22 2023-12-22 致讯科技(天津)有限公司 基于脑电数据特征提取的情感识别方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201109731D0 (en) * 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
CN107106063A (zh) * 2014-11-02 2017-08-29 恩戈格勒公司 智能音频头戴式耳机系统
US10695529B2 (en) * 2017-08-30 2020-06-30 Intel Corporation Methods, systems, and apparatus for configuring cognitive states
CN110947076B (zh) * 2019-11-27 2021-07-16 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备

Also Published As

Publication number Publication date
WO2022180092A1 (fr) 2022-09-01
EP4297832A1 (fr) 2024-01-03
FR3119990A1 (fr) 2022-08-26
KR20230148166A (ko) 2023-10-24

Similar Documents

Publication Publication Date Title
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
Liu et al. Real-time fractal-based valence level recognition from EEG
CN107427716B (zh) 人类绩效优化与训练的方法及系统
KR101955793B1 (ko) 외상 후 스트레스 장애를 관리하기 위한 음악 컨텐츠 제공 방법 및 음악 컨텐츠 생성 방법
CN117062641A (zh) 用于改变用户情绪状态的设备和方法
KR20170082571A (ko) 스마트 오디오 헤드폰 시스템
CN108366732A (zh) 困倦起始检测
WO2014200433A1 (en) Sound-induced sleep method and a system therefor
Djamal et al. EEG based emotion monitoring using wavelet and learning vector quantization
Niu et al. Research on genetic algorithm based on emotion recognition using physiological signals
CN117041807B (zh) 蓝牙耳机播放控制方法
Kim et al. Dual-function integrated emotion-based music classification system using features from physiological signals
CN115227243A (zh) 判别脑疲劳及情绪的自动检索背景音乐bci系统
US20230218221A1 (en) Brain State Optimization with Audio Stimuli
Burns et al. A mathematical approach to correlating objective spectro-temporal features of non-linguistic sounds with their subjective perceptions in humans
CN117562542A (zh) 基于脑电信号的情感识别方法、计算机设备及存储介质
CN113220122A (zh) 脑波音频处理方法、设备及系统
Dalida et al. Music mood prediction based on spotify’s audio features using logistic regression
Pozzi Music emotion detection. A framework based on electrodermal activities
CN117539356B (zh) 一种基于冥想的交互式用户情绪感知方法及系统
KR102381117B1 (ko) 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치
EP4156717A1 (en) Method and computer program for early detection of a health issue, controller for a hearing device, hearing device, and hearing system comprising a hearing device
WO2024009944A1 (ja) 情報処理方法、記録媒体、及び情報処理装置
Sadek et al. Detecting digital stimulant music using bidirectional deep long short term memory
Zerafa et al. Idle State Detection with an Autoregressive Multiple Model Probabilistic Framework in SSVEP-Based Brain-Computer Interfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40095905

Country of ref document: HK