CN107066801A - 用于分析声音的方法和系统 - Google Patents

用于分析声音的方法和系统 Download PDF

Info

Publication number
CN107066801A
CN107066801A CN201710054616.0A CN201710054616A CN107066801A CN 107066801 A CN107066801 A CN 107066801A CN 201710054616 A CN201710054616 A CN 201710054616A CN 107066801 A CN107066801 A CN 107066801A
Authority
CN
China
Prior art keywords
music
sound
wake
track
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710054616.0A
Other languages
English (en)
Inventor
尼格尔·奥斯本
罗伯特·阿什克罗夫特
保罗·罗伯森
彼得·金斯利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X-SYSTEM Ltd
Original Assignee
X-SYSTEM Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X-SYSTEM Ltd filed Critical X-SYSTEM Ltd
Publication of CN107066801A publication Critical patent/CN107066801A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
    • G10H2220/376Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information using brain waves, e.g. EEG
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/135Library retrieval index, i.e. using an indexing scheme to efficiently retrieve a music piece

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Otolaryngology (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明涉及分析音轨(例如音乐)的方法和系统。描述了人类大脑中的下层皮质、边缘和皮质下区域中的一个或多个的神经生理运行和对声音的反应的预测模型。声音被分析,以便合适的声音能够被选择和播放给收听者,以便刺激和/或操纵收听者的神经生理唤醒。该方法和系统特别适用于利用生物反馈资源的应用。

Description

用于分析声音的方法和系统
本申请是申请人为:X-系统有限公司,发明名称为:用于分析声音的方法和系统,国际申请号为PCT/GB2012/051314,国际申请日为2012年6月11日,国家申请号为201280039163.X,进入中国国家阶段日期为2014年2月10日的发明专利申请的分案申请。
发明背景
1.技术领域
本发明涉及一种分析声音的方法和系统(例如,音乐音轨)。来自于声音——例如音乐——数据库的音轨能够被分析,以便自动预测这些声音对收听者产生的效果和影响。
2.技术背景
公知地存在最适合例如学习、放松、睡觉或运动这样具体的活动特定神经生理唤醒水平(涉及情绪、精神状态和情感)。然而,因为这些唤醒水平是由意识心智、环境刺激、自主神经系统、内分泌活动、神经传递和基础代谢之间的复杂的相互作用引起的,所以其很难控制和维持。
也公知地存在基于一系列复杂功能的对于音乐的普遍的人类反应,该一系列复杂功能从感知系统延伸,通过大脑皮层和其它的过程,以激活大脑和躯体系统的核心情感中心。同样公知这些功能存在于大脑的某部分中,例如,耳蜗、初级听皮层、运动前区皮层、杏仁核和导水管周围灰质(等)。例如节奏对运动前区皮层、自主神经系统、躯体系统、内分泌系统和神经传递具有可测量的影响。音乐结构和体验的其它方面也可影响人类的神经生理学,如下所述。
3.相关技术的论述
已知三种对用于唤醒和逆唤醒人类的音乐的分析方法(为了简便起见,术语“唤醒”在本文中有时也包括逆唤醒)。第一种方法需要个人的判断,此人可以是专家或受检者本身。第二种方法是通过测试一些人并问其对于不同音乐音轨的感受。这两者都不可靠,因为每个都太过主观。
第三种方法是分析根据音乐自身计算出的韵律(通常是节拍,但也包括平均能量的测量),并且将该韵律与所需的主体的唤醒状态关联。有几种这样的系统,其中一些将在下文中引用。其中大多数依赖于“诱导”(在惠斯登感应中,也就是与外部的节拍或节奏同步的倾向)或者增加的节拍(在已知的情况下,能量)和增加的作用或者唤醒之间的相关性(并且,对于减少的节拍和能量则相反)。
现有技术的系统的实例是利用根据节拍选定的音乐来操纵唤醒和逆唤醒,包括专利文献US282045、US191037、US113725、US270667、WO151116、US5267942。该技术可利用计算的每分钟的节拍数来预测诱导,或者,如专利文献US060446所述,可以调控节拍以便改进诱导。虽然该技术可以定向地校正,并且,通过惠斯登诱导原理(Huygens’entrainmentprinciple)的扩展,其很可能通过一些曲目在一定程度上起效,但是,节拍难以被自动检测,并且其自身在容易而准确地检测节拍并且节拍接近收听者的当前心率(见下段)的受限情况下才可以最佳地用于计算神经生理影响。任何重要的分离和诱导的效果很可能会丢失。最重要地,如下所述,有效的节奏诱导不仅取决于每分钟的节拍数,并且不可分离地协同并依赖于其它的唤醒的音乐生成器,举个例子,例如谐度和扰动(turbulence)。
专利文献US5667470是凭借对照曲目中确定的模式来实现或者否定音乐预期结果,而专利文献US4883067引入训练大脑的构思,以通过结合某些声音信号来复制神经活动的积极模式。一项专利文献US5267942,引用阿特舒勒在1948年记录的情绪同态原理(iso-moodic principle)作为其推断的证据,即,音乐节拍要对诱导心率产生任何影响,其必须位于个体的实际心率的“诱导范围”内,即接近它。其引入这样一个概念,即,一段音乐的神经生理影响依赖于受检者的初始状态,也就是说任何给定的音乐片段的影响是相对的而不是绝对的。也可以参考专利文献US2007/0270667,尝试使用生物计量反馈来操纵唤醒。
也可以参考心理声学。心理声学已经广泛地应用在音乐压缩技术中(例如MP3),但另一个应用记录在专利文献US7081579中,其描述了一种基于七个测量的特性进行的歌曲相似性分析的方法,这七个特性是:亮度、频带宽、音量、节拍、节奏、低频噪声和八度音阶。在神经生理学术语中,这些技术能够识别“相似声音”的音乐(关于这点目前有许多),但是不能用于预测音乐的神经生理效果。
发明内容
本发明是一种用于分析声音——例如音轨——的计算机实现的系统,该系统根据来源于或关联到神经生理运行的预测模型的音乐参数以及人类大脑中的下层皮质(lowercortical)、边缘(limbic)和皮质下区域(subcortical region)中的一个或多个对声音的反应来自动分析音乐;
并且在其中,该系统分析声音,以便可以选择和播放合适的声音给收听者,从而刺激和/或操纵该收听者的神经生理唤醒。
该模型是一种“人类神经生理运行和响应的预测模型”,因为其预测大脑(例如,在下层皮质、边缘和皮质下的区域中的结构,包括相关的自主神经系统、内分泌系统、和神经传递系统)将如何响应特定的声音。
在一个实施例中,分析了来自于音乐数据库的音轨,以便自动预测这些声音将给收听者带来的神经生理效果或影响。由此能够选择不同的音轨及其最佳的播放顺序,以操纵神经生理唤醒、精神状态和/或情感——例如接近、达到或保持所需的唤醒或逆唤醒状态、精神状态或情感(术语“情感”用在情绪、心情或状态的心理感受中)。
我们可以将该系统与传统的心理声学(是例如MPEG MP3音频压缩算法的基础)进行比较,因为心理声学总体上涉及通过模拟信号处理来了解如何处理引入的压力波,该信息的处理是由例如耳蜗和初级听觉皮层承担,然而,本发明涉及声音效果——例如大脑中的下层皮质、边缘和皮质下的区域的神经生理运行以及对声音的反应。并且,心理声学科学不涉及为了刺激和操纵所需的收听者的唤醒状态而选择特定声音。
我们也可以将该系统与音乐效果的普通模型(trivial model)进行比较,例如增加的节拍导致更大的唤醒。从这样的模型中完全缺失的是对神经生理运行和对声音的反应的广义理解;而且,在实际中,这样的模型过于薄弱以至于不具备真正的预测特性,并且,基于上述原因,该模型不是针对选择不同声音以便刺激和操纵收听者的唤醒水平的技术问题的通用的解决方案,这与本发明不同。
源于或关联到预测模型的音乐参数可涉及节奏性和谐度也可涉及扰动——这些术语将在下面详细解释。本发明可用于音乐的搜索、选择、定序(即按顺序安排)、使用、推广、订购和销售。其可进一步用于选择、修改、定购或设计非音乐的声音,以对收听者产生期望的神经生理效果,或可以用于允许选择,例如设计或修改发动机排气音调、电影配乐、工业噪声和其它的音频源。
本发明通过一种称为X-系统的系统实现。X-系统包括音乐音轨的数据库,根据源于或关联到人类神经生理运行的预测模型的音乐参数以及对那些音轨的反应已经分析了该音乐音轨。X-系统也可以包括传感器、用于选择合适的音轨的音乐选择算法/播放列表计算器以及连接音乐播放器的连接器。一旦激活传感器,系统将诊断受检者的神经生理唤醒的初始水平,并自动构建源自于对X-系统编码的音乐或声音数据库的搜索的播放列表,该播放列表将首先符合或反映此唤醒水平,之后将收听者引导向和帮助将他/她保持在期望的唤醒水平。按照需要,根据定期的神经生理或其它指示信号的测量而重新计算播放列表。
神经生理状态的测量可以利用多种技术实现,例如电子脑造影、正电子放射断层造影术、血浆、唾液或其它的细胞采样、皮肤电导、心率以及一些其它的技术,同时反应的预测可以通过任何合适的算法集得以实现,其首先假设,之后通过测试来完善。任何给定的算法集将依赖于模拟的刺激以及测量刺激效果的生物计量,但是,即使给定常量参数,也有很多有效的数学方法:因此在本说明书中所述的特定的算法本身不是本发明最根本的特征,即使该系统中的大部分算法在构思和实施上都是独特的。也没有选择特定的生物计量来测量神经生理状态,尽管皮肤电导和心率都适合于一般用途,这是因为它们使测量能够容易地和非侵入性地实施,同时能够给出对自主神经系统中的唤醒或逆唤醒的良好指示,这又在很大程度上协同于内分泌活动和相关的神经传递。
X-系统代表了基于现有技术的改进,因为:a)通过参考大脑的音频刺激处理,该音频刺激包括音乐,描述了音乐的生物活性成分(除了节拍和能量以外),和b)描述了如何将任何给定的声源校准到受检者的初始状态,以便具有最大化的诱导效果。其提供了很多优于其它系统的优点,其既不需要节拍的调制(从专利文献US2007/0113725、US20070060446A1、US2006/0107822A1已知节拍调制)也不需要心理声学校正的成分、合成音乐(从专利文献US4883067已知)来实现其效果。在无需以任何方式操纵音乐的渲染的情况下,X-系统提供了利用全世界的音乐曲目进行情感的调制的可能性。
X-系统是以我们将其称之为“对音乐的先天神经生理反应”(INRM-我们将在下面详细描述)的范例为基础的,并且以与这些反应相关的下层皮质、边缘和皮质下功能中的一个或多个的独特信息模拟为基础。X-系统具有独特的能力来自动分析音轨并构建产生收听者的唤醒和逆唤醒水平的可能性。这一独特的分析方法是人类通用的分析方法,并且其不但可以适用于所有人类文化的音乐而且适用于环境的和其它的声源。X-系统有能力根据核心情感效应将音乐和声音数据库归类。X-系统可远程地实施自动分类,例如针对个人的曲目。利用独特的基于无线电电极和扩音器的电导/心率传感器和其它装置,X-系统也可以具有检测用户的心理状态和身体的能力。X-系统可使用该传感器数据从任何选择的曲目中子选择音乐,无论是通过单独的音轨还是诱导的序列,当听这些曲目时,将帮助用户实现兴奋、放松、专注、警觉、提高身体活动的潜力等目标状态。其实现是通过分析用户的音乐数据库中的音轨(利用源于人类神经生理反应的预测模型的音乐参数),并且之后自动创建音乐播放列表,其也可以根据实时的生物反馈被动态地重新计算,该音乐播放列表将播放给用户,以便引导她/他接近,且有助于保持她/他处于期望的目标状态。
如上所述,X-系统模拟音乐对大脑下部和中部的特定部分——包括边缘系统和皮质下系统——的效果,但是大脑对音乐做出反应的部分不仅仅是这些。其他的中心支配着更多的个人感受,包括偏好、修养、记忆和联想、歌词的意义、写下它们的历史背景、表演者或作曲家有关情形的认识以及其它的因素。这些也具有显著的效果,因此重要的是不要期待任何音乐片段对任何个体具有绝对的影响。INRM描述了音乐效果的重要部分,但不是全部。某些音乐片段将使收听者平静、甚至诱发睡眠的预测不像药物或麻醉剂,其中某种剂量的效果可以以合理的精确性预测到,并且该效果不能被有意识的努力所抵抗。然而,实验证实了INRM模型所基于的大脑的每个元素紧密的联系着唤醒和逆唤醒。然而,当适当地选择以伴随所需的状态或活动时音乐具有其最大的效果,并且X-系统提供了选择总是适合于收听者正在做的事情的音乐的自动化方法,这在许多情况下可以非常有效,从治疗焦虑症以增强松弛或专注,或刺激创造“流”,或为体育活动带来力量和流畅性。支持X-系统的大脑模拟提供其它存在的分类系统所不能提供的进一步能力:就是普遍性;X-系统可针对全世界的音乐曲目准确地预测心理唤醒的水平,无论是西方古典和流行、中国或印度的古典或民间的音乐、非洲流行或传统、还是前卫的电子或爵士乐。
已经证明,在广泛的曲目中,X-系统在根据心率和皮电反应电阻这样的生物计量参数预测唤醒/逆唤醒的总指数(general index)方面能够胜过音乐专家,但是在这些生物计量参数不同的情况下,等式——我们将在本文的后面部分中描述——几乎确定需要修改。同样地,有很多本领域技术人员熟悉的数学技术,其已经用于预测一段音乐的神经生理效果,并且许多中的任何一项可产生同样令人满意的结果。因此,本发明的关键特征在于对音乐中的模式的识别,其是有神经生理活性的(“生物活性”)且对于人类的神经生理——包括唤醒和逆唤醒——具有可预测的效果。
本发明的其它方面
我们下面列举了本发明15个进一步的方面,每个也可以与其它任何一个相结合:
1.一种以这样一种方式将声音分类的通过计算机实施的方法(例如无论流派或文化渊源的任何音乐片段)(例如根据源于人类的下层皮质、边缘和皮质下的神经生理运行和对音乐片段的反应的预测模型的音乐参数),即,其可以被选择(例如根据由传感器捕获的生物计量数据自动地进行)以用于诱导神经生理唤醒接近目标水平;这可能发生在引导收听者接近一些预先指定的精神状态和/或情感中的一个或多个的时候,或者为了引导收听者接近一些预先指定的精神状态和/或情感中的一个或多个而发生。
2.在远程数据库中(例如根据源于人类的下层皮质、边缘和皮质下的神经生理运行和对音乐片段的反应的预测模型的音乐参数)的声音(例如音乐片段)的自动分类。这包括我们能够搜索/发现具有类似于X-系统深层结构的的音乐和将传统的分类方案(等)与X-系统交叉匹配的计划。作为自动分类的另一种选择,或者除此之外,X-系统提供了用于商业和宣传目的的选择和“推送”,或者用于特定音乐的描述和检测的方法论,其针对所有的应用,而不仅是诱导。一个实例是一种根据对音乐的先天神经生理反应将不论流派或文化渊源的任何音乐片段分类的通过计算机实现的方法,以用于搜索、引导、音乐发现、检索和选择的目的。
我们现在扩大搜索/发现的概念,其中X-系统提供远程或者本地音乐数据库以及X-系统编码服务的自动搜索。在本发明中,用户可以:
·通过在其计算机或者智能手机的X-系统设备应用程序上按下“查找更多”或“我喜欢”键,就可以搜索具有与他们标记为喜欢的音乐类似的签名的音乐。
·通过社交网络群体中的收听喜好模式搜索和搜索社交网络群体中的收听喜好模式,这样通过分享自己的喜好和选择并且将这些与自己的朋友交流,人们将看到自己对特定音轨的情绪反应和在网络中与其它人的对照之间的关系。
·通过音乐或体验之旅搜索,这样可以存储特定的音乐序列在例如自己的智能手机中,并且当自己按下“我喜欢该序列,存储其以便我再次播放”时重复。
·通过发现模式和用户标记为“我喜欢”的音轨之间的关系搜索,这样所述流派、音乐家、活动的类似的组合和X-系统编码的唤醒数据能够主动进行推荐。因此,例如,X-系统将产生播放列表建议,其将结合爵士、特定的迈尔斯·戴维斯音轨、记录一篇短文、专注和唤醒水平,其前提是类似的组合已经从更早的收听序列中标记(标记的活动是智能手机应用程序的一部分);和
·在Google和其它网站搜索X-系统编码的信息,这样,例如,对音乐、视频或其它网页内容进行分类和标记——这是自动地进行;或者与搜索引擎服务商合作,以便其“宣传”X-系统唤醒或情绪状态;或者根据在查看网页时自动标记网站的访问者。
3.个体的下层皮质、边缘和皮质下神经生理唤醒的水平的自动诊断并将其表达为数值,以便对应于在数据库中理论上数量无上限的音乐片段中的任何一个的音乐效果。可选择地或附加地,可以提供一种自我诊断的反复试验的方法,例如通过上述的歌曲选择。
4.一种创建音轨播放列表的计算机实施的方法,该音轨播放列表是由自动(或实际上手动)分析音乐参数产生的,该音乐参数源于人类的下层皮质、边缘和皮质下的神经生理运行和对音乐片段的反应的预测模型,以便诱导唤醒和引导精神状态和/或情感。可选择地,其可包括:
通过参考现有的描述性元数据——如果可用,例如流派或用户创建的播放列表——来在数据库中挑选音乐的子集;b)通过将用户的下层皮质、边缘和皮质下的神经生理唤醒的初始水平与音乐效果矩阵的相关行中包含的音乐进行匹配(我们将在之后详细解释该矩阵),从该音乐子集中选择符合该神经生理唤醒的初始水平的一些片段;c)选择目标的精神状态和/或情感;d)选择一系列升序或降序的音乐效果值,其对应于从初始的到所需的神经生理唤醒水平的预期诱导通路;e)在这一系列的值的基础上,从音乐数据库选择合格的目录;f)从合格的内容中随机挑选播放列表,该合格的内容服从于其他的规则,例如流派喜好、防重复规则(看下面的“音乐选择算法”)或美国的千禧年数字版权法(DMCA)规则;g)以连续的生物计量反馈为基础每隔一段时间重复播放列表的计算,例如,基于包括最新反馈的生物计量反馈,播放列表可以被每分钟重复计算一次。
5.一种确定音乐数据库(例如个人的)对于情感的诱导的充分性并且之后将关于充分和不充分的信息显示给用户的方法。
6.一种推荐音乐内容的补充给个人的音乐数据库以便保证充分性的方法,这是通过使用源于人类的下层皮质、边缘和皮质下的神经生理运行和对该音乐的反应的预测模型的音乐参数实现的。
7.一种选择具有类似的音乐效果的音乐的方法(例如根据源于人类的下层皮质、边缘和皮质下的神经生理运行和对音乐片段的反应的预测模型的音乐参数)。其可包括X-系统编码的搜索。
8.一种根据音乐效果而不是描述性特性的将音乐分类的方法。
9.一种通过将每段的音乐效果与音乐效果矢量所描述的值的时间序列匹配以便给播放列表中的一系列音乐片段排序的方法。
10.一种利用上述任何一种方法和系统操纵用户唤醒的方法。
11.一种利用上述任何一种方法和系统来修改任何给定的环境中的环境声属性以便在收听者中产生所需的神经生理反应的方法。以及其作为定义这些反应的选择、控制或设计的工具的用途。
12.一种适于执行上述任何一种方法的系统。
13.北边称为或者适应于执行上述的任何方法或形成上述系统的一部分的软件(不论是装置驻留、网络驻留或其它位置)、固件、系统芯片(SoC)或音频堆栈(audiostack)。
14.一种适于通过利用上述任何方法或通过利用或包括上述任何系统、软件、固件、系统芯片或音频堆栈来操纵用户的唤醒的计算装置,例如智能手机或平板电脑。
15.适于与上述定义的计算装置一起工作的传感器。
一些更广义的说明如下:
关于音乐中的哪些结构和经验现象(experiential phenomena)激活原脑(primitive brain)的哪些部分的识别,利用数字签名分析来测量的技术的发展,以及一系列通用模型结构的构建,其使用相对简单的等式预测大脑的相关区域和器官的激活水平并且进而预测其在生物计量指标上效果,这些是本发明的关键方面。
本发明的实例可对所有的音乐流派有效并且不依赖于任何预存在数字化音乐数据库中的元数据。该数据库可以由用户从他或她自己的收藏中汇编并且存储在本地播放器中,在这种情况下,数据库中的音乐可以进行远程地描述,其可以在数字存储装置上被提供预分析,或其可以从中央服务器流动式接收。在后一种情况下,音乐可以与其它的数据和/或数字媒体关联,以便增强用户的体验,或者可以描述和包括签名片段(signatureexcerpt),以便促进所需的效果。
本发明可以作为应用软件在远程服务器、音乐播放器自身或另一个直接或通过本地或广域网连接音乐播放器的装置,或固件或嵌入在芯片中执行;其可以形成音频堆栈的一部分或用作一组设计工具的一部分。这些实施例可实现音轨和其它声音的实时分析,都在例如智能手机或平板电脑这样的便携式计算装置内部本地地完成,或在服务器上远程地完成,或一些分散式的基于本地和服务器的处理的组合。所有这些部署也将支持一致的API(应用程序界面),使应用程序供应商和服务提供商有接入系统的能力,例如,使新的应用程序被构建和部署。
如果必要的元数据是可用的,可在音乐数据库上的这些元数据中挑选首选的音乐风格;如果必要的元数据不是可用的,系统也可从全部音乐数据库而不是挑选的子集中选择。
如下术语在本文中采用特定含义:
“神经生理唤醒的水平”:一种计算出的指数,其根据例如皮肤电导和脉搏率来计算,虽然也可以选择其它的参数,包括需要更复杂的测量的情况。不同的神经生理唤醒水平促进不同的活动、精神状态和情感。
“精神状态”:与例如创造力、学习、沉思、想象等这样的不同类型的思维相关的大脑的功能区之间的动态关系。
“情感”(名称):在心理学中使用以表示感觉或情绪,以及在精神病学中表示表达出的或观察到的情绪反应。心情。
“音乐效果”:由给定的音乐片段引起的精神状态或心情,以及其对神经生理唤醒的影响。
“声音”:包括任何声音,其包括如传统地理解的音乐,但是也延伸到其它的声音,例如,在工作场所、电影院、家、商店、车辆、汽车、火车、飞机——声音可以在理论上影响收听者的唤醒的任何地方——的环境或背景噪声。例如,调谐汽车排气的音律就是一个实例;修改引擎声是另一个实例。自然的声音(风、海等)、动物的声音、超声(行星、恒星、花、树、金融市场、细胞活性等)是“声音”的其它实例。在本文中,我们将涉及“音乐”,但是该术语应该被宽泛地解释为,不仅包括艺术形式的音乐,其中的声音和/或乐器联合展现了和谐、优美或自我表现,而且还包括其它所有的声音形式,如上述宽泛定义的术语。
关于术语的说明:初级听觉皮层位于新皮质——大脑中最“进化”的部分——的颞叶中,但是其实质上在系统的“下层”,因此是“下层皮质”。对X-系统关键的器官——例如海马和杏仁核(amygdala)——通常被描述为“边缘”(来自拉丁文“limen、liminis”,意思是“阈值”,即,在新皮质的下限部分)。这与情绪相关的区域接近,例如伏隔核(nucleusaccumbens)、和导水管周围灰质有时也被视为边缘。边缘系统也可以描述为原脑皮质(archicortex)和旧皮质(paleocortex)——“主要的、最初的或支配的”和“旧的”皮质。最终,涉及节奏,核心情感和运动的很多X-系统区域是皮质下,例如基底神经节和小脑。
因此,相对于新皮质的更多认知相关、文化相关和反射区域来说,X-系统主要涉及大脑的下层皮质、边缘和皮质下区域,关系到对音乐的基本的和普遍的反应。
附图说明
图1表示涉及适用于X-系统的音频处理的神经元件的图解示意图。实线框内封闭的元件是现有模型的一部分;包含在虚线框中的元件可以包括在该模型中。
图2表示其中系统的用户既要选择他们所需的情感目标又是产生的输出的接受者的整个系统结构。
图3表示其中由系统用户以外的一方做出目标情感的选择的整个系统结构。
图4表示X-系统发明的一个实施例,其中,软件的各个方面都位于用户的个人电脑上(术语“个人电脑”应该被宽泛地解释为涵盖任何形状因素的任何计算装置,包括能够执行计算功能的任何装置)。
图5表示X-系统发明的一个实施例,其中,初级的音乐库和分析软件位于用户的个人电脑上,其有能力传递选择的音乐给个人音乐播放器,其之后基于可用的音乐产生动态播放列表。
图6表示X-系统发明的一个实施例,其中,外部服务提供商通过网络连接提供分析工具。音频可位于用户的个人电脑上或由服务提供商“流动式接收”,并且存储音乐情感的数据库可用于最小化音轨分析。
图7A是表示X-系统音频分析工具的用于分析谐度的主要部分的详细的方框图。
图7B是表示X-系统音频分析工具的所有主要部分的详细的方框图。
图8是表示X-系统音乐重放和监测应用程序的主要部分的详细的方框图。
图9表示以图表表示针对兴奋、平稳或放松的通路的随时间变化的唤醒。
图10:通过使用A-加权滤波器实现耳蜗和初级听觉通路的模拟。其弱化低频和增大高频,向着人类听觉的频率上限再次快速地下降。
图11表示随时间变化的节拍能量(Beat Energy)。
图12表示随时间变化的谐波能量(Harmonic Energy)。
图13表示随时间变化的谐波损失(Harmonic Cost)。
图14表示随时间变化的音量。
图15表示随时间变化的谐波能量。
图16表示从迈尔斯·戴维斯的曲目中的取样分类。
图17表示其它手动分类的实例,其中,音轨被进一步分类成稳定、上升和下降的矢量。
图18表示来自贝多芬交响曲的乐章中已经根据矢量分类的实施例。
具体实施方式
具体实施方式由以下部分组成:
A.高级概念
B.对音乐的先天神经生理反应(INRM)的详细解释
C.如何使用X-系统
D.一个或多个传感器
E.音乐选择算法
F.音乐播放器
G.诊断和成流软件
H.手动分类
I.手动分类矢量
J.社交网络
K.扩展/增强的时机
L.X-系统的优势。
A.高级概念
科学证明,通过直接神经生理的参与,音乐诱导和塑造唤醒、精神状态和情感;本发明关注对音乐的先天神经生理反应的测定的发现和一般方法,并且包括一种利用这种现象的新方法。如上所述,本发明通过称为X-系统的产品实现。X-系统利用音乐的潜力来影响收听者的神经生理变化,尤其涉及唤醒和逆唤醒以及相关的精神状态,致力于大脑的边缘、下层皮质和皮质下区域的最基本的、先天的神经生理活动和反应的水平。
其不同于其它的音乐分类方法,因为其不关注通过符号标记或通过声学特性的分析的音乐相似性。其也不同于标准的治疗方法,例如情绪的分类。
X-系统通过INRM(对音乐的先天神经生理反应)的预测性、确定性模拟(奥斯本2009,未出版),如图1所示,以及通过接近身体和精神的目标状态的通路的构建来工作。B部分详细解释了INRM。简而言之,INRM范例采取听觉的标准解释,从耳道到耳蜗的卵圆窗。模拟耳蜗本身以复制人类听觉特征的模型。范例进一步假定了到下丘和初级听觉皮层的神经通路。通过对镜像神经元(mirror neuron)和与前运动区相关的系统的简单模拟来预测脉冲和节奏性相关的唤醒的水平,包括节拍感应以及节奏功率和密度的指数。其它的音乐的生物活性特征也可以被模拟,其中包括例如在右前次级听觉皮层中的节奏模式的识别。
X-系统附加地模拟黑索氏回(Heschls gyrus)、后颞平面(posterior planumtemporale)、颞上沟和岛环状沟(circular insular sulcus)的活动,以预测与唤醒相关的音质和与指数级数相关的频率结构,包括八度音阶等值。还存在其他模拟的可能性,例如,利用例如谐度指数来模拟颞上回前部(planum polare)中色度(chroma)(旋律的单个音符)之间的与唤醒相关的效果。
最后,计算“扰动”的一般水平以作为对核心情感位置和器官——例如导水管周围灰质和杏仁核——中唤醒和逆唤醒的预测。
将计算出的预测性唤醒和逆唤醒的值结合,以模拟自主神经系统和例如HPA(下丘—垂体—肾上腺)轴这样的相关系统中的唤醒和逆唤醒的过程。
传感器可选择地用于确定用户的唤醒状态,并通过INRM范例的预测性模拟分类的音乐被流动式接受/回放,以实现用户的目标唤醒状态。在一个可选择的实施例中未提供传感器。改为,初始和目标状态都是直接或间接地自选择的(例如,通过选择具有关于用户真实的当前状态的唤醒值的“开始曲”)。例如,用户做出粗略的初始选择,首先,他/她最初可以从歌曲之间一一跳过,直到发现一个(即通过反复试验)既“喜欢”又“适合”他们的初始状态的歌曲。由此,在无传感器的实施例中,X-系统可以根据预期的正常人的反应来创造趋向所需的唤醒状态的播放列表。
另一替代方案中,提供了一个将一群人看作具有软件但没有传感器、依靠平均预期的反应的系统的实施例。一种应用是适用于“人群”的应用程序,其中,自动的电台音乐节目主持人(DJ)将能够在聚会中操纵一群人的情绪。
其它的替代方案包括这些应用,即,通过传感器发送情绪暗示给系统来控制个人的音频环境,以及通过传感器或无传感器的输入来调查群体的情绪,以便诱导个人或群体接近所需的反应。
其它可选的应用包括,根据音乐的神经生理内容的音乐的搜索、选择、说明、检测、分享或推广。
在所有的系统和活动都涉及音乐和唤醒的情况下,个体之间的存在反应上的变差,以及由身体和精神、药物等的极端或罕见的状态造成的变化。X-系统的优势是,其以最根本的生理反应为基础工作,其可以随着用户有意识和无意识的应答在道德和民主的协同作用中发挥作用。基于INRM分类系统的进一步的优势是,其可以适用于任何人类文化的音乐,并真正地适用于声音设计和自然世界的声音。
B.对音乐的先天神经生理反应(INRM)的详细解释
图1表示与听觉处理和解释有关的神经结构的简化模型。本发明的实例X-系统可模拟这些系统响应于以下部分所描述的声音(例如音乐的)刺激作出的运行和行为。
对音乐范例的先天神经生理反应是精神和身体对音乐的最基本的反应的预测性、确定性的模型。虽然对音乐的反应深深地受文化、个人的历史和背景的影响,但是基本的神经生理反应通用到所有的音乐体验中。目前在神经生理学和神经科学中研究的真正的主体——包括来自于功能性磁共振成像、脑电图(EEG)和电子发射断层扫描(PositronEmission Tomography)的证据,以及与内分泌和自主活动相关的研究——使得建立大脑的下层皮质、皮质下和边缘部分如何对音乐起反应的预测模型成为可能。
X-系统使用以下协议用于音频输入。输入取自于未压缩的WAV文件或任何其它合适的格式(当X-系统进行远程分类时——例如分类在远程服务器或个人装置上的音乐音轨,X-系统可使用较低质量的文件格式。同样地,较高质量的文件格式可能更适合于其它情况)。如果音轨是立体声,我们通过将其均分来结合两个声道。这是特别重要的,例如,对于上世纪六十年代的音轨,其中一些响亮的乐器全部配置在左边或右边。这样应该不会导致干扰,除非音频由故障的立体声设备传出(例如错位的磁头)。音轨被分成给定长度的部分,并且独立地对每部分进行分析。
图7A是表示在X-系统中用于分析谐度的主要组件的方框图,以及图7B是音乐分析工具的全部主要组件的方框图表示。主要组件的运行将在B部分的其余部分中描述。
B.1耳蜗和初级听觉通路
耳蜗和初级听觉通路的模拟通过使用A-加权滤波器来实现,如IEC(国际电工委员会)61672中所规定的。这弱化低频和增强高频,向着人类听觉的频率上限再次快速地下降;滤波器“拐点”在6kHz左右。需要用该加权来确保,(如在人类听觉中)高能量低频率的声音不会覆盖其它频谱信息。参照图10。
B.2谐度:黑索氏回和相关的音质图(tonotopic map)
“谐度”描述了声音(例如音乐)与谐波列(harmonic series)(当风吹过树洞,用你的手指轻轻地拨动小提琴或吉他的弦,或者渐进地吹长笛上更刺耳的单音符时,谐波列出现在你听到的声音中)的模式的对应。该谐波列在对称的共鸣对象中是声能量浓度的通用模式:基音f,伴随其谐波f2、f3、f4等联合发出的声音。该模式在有感知的生命形式的进化过程中自始至终都是非常重要的,从原始细胞的谐波共振,经过感知在环境中的谐波声音的“安全性”,到乐器和人类声音的赏心悦目的谐波共振。“谐度”或者谐波列的模式的对应是通过黑索氏回来检测,其位于大脑的初级听觉皮层中。谐度激活大脑的核心情感中心中逆唤醒和快乐的中心。失谐度(Inharmonicity)或者缺乏与谐波列的对应激活唤醒系统。
X-系统通过确定谐度和失谐度的水平来模拟黑索氏回对声音的活动和反应。这可能是一个复杂的过程。音乐结构可包括数个基音,每个都有各自的谐波或非谐波频谱。
X-系统是前所未有的,因为其将音高和音色的所有情感处理结合成两个与谐度相关的算法。音色(声音的内部结构“色”),谐度(内部结构对应于谐波列的模式的程度)和个别的音高是在初级听觉皮层中进行最初地处理。处理音色的主要区域是黑索氏回和颞上沟,延伸到岛环状沟中(McAdams等1995;Griffiths等1998;Menon等2002)。音高是逐渐地更加深入地在黑索氏回周围的区域中处理:色度(或者说八度音阶中音高的差异,例如在大多数传统的旋律中)激活黑索氏回和颞平面前部的双侧区域,而音高的改变(八度音阶移调等,例如男人和女人唱同样的曲调之间的差异)激活黑索氏回和颞平面后部的双侧区域(Brugge 1985;Pantev等1988;Recanzone等1993;Zatorre等1994;Warren等2000;Patterson等2002;Formisano 2003;Decety和Chaminade 2003;Jeannerod 2004;Talavage2004)。谐度和音高结构激活杏仁核和海马区域,并进而激活自主神经系统、核心情感中心、和内分泌和神经传递系统(Wieser和Mazzola 1986;Blood和Zatorre 2001;Brown等2004;Baumgartner等2006;Koelsch等2006)。X-系统通过分析垂直谐度窗口来预测性地模拟简单音色的神经生理的感觉(黑索氏回、颞上沟、岛环状沟):X-系统通过谐波乘积频谱(harmonic product spectrum)的计算来检测主要的基音,之后在不同的基音频谱内部和之间确定谐度的度。该分析“垂直地”应用于瞬时时刻,和“水平地”应用于音高和频谱随时间的演进(与黑索氏回周围区域的音质映射相关)并以线性谐波损失的方式表示出来。
在一个非常简单的实施例中,线性谐波损失(C)的平均值和瞬时的谐度(H)结合在一起计算一段声音的失谐度(I),其中:
I=C/10-H
该等式是如何计算失谐度非限制性实例,并且将I与C和H结合的其它方式可能也是适合的;而且,I可以以其它或附加的变量来定义,就像C和H。如图12和13,表示随时间变化的谐波能量和损失。
关于谐度计算的更多细节现说明如下:
B.2.1频谱分析
首先,利用8192样本的窗口长度和2250样本的间距(0.05秒)进行音频的STFT(短时傅里叶变换)。其产生时间相对于频率的二维数组。
B.2.2耳蜗建模
在处理节奏的情况下,分析是在输入样本数据的变换的实例上进行的,其解释听觉通路的某些方面,主要是耳蜗拾音器(cochlea pick-up)。耳蜗的特性是众所周知的,并且已经发展出了精确地模型。我们将基于频率的增益函数应用于输入信号,该输入信号减弱低音信号并放大高音部分,在在6kHz具有滤波器“拐点”。使用的确切变换是在IEC61672中规定的“A加权”。
B.2.3基本频率的检测
在STFT数组的每个时间片中,基本频率的确定是利用谐波乘积频谱的方法(harmonic product spectrum method),如下所示:
·取频谱,通过因数2、3、4和5,产生其沿着频率轴压缩的副本。
·乘以所有5个副本(包括原始的)
·基本频率是由此产生的频谱的最大值。
B.2.4平均谐度
对于STFT数组的每个时间片,平均谐度是谐波能量和时间片中存在的当前总能量的比值。谐波能量是在后面的基音、以及基音的1/2和1/4的谐波中所获得的能量:[1 2 3 45 6 7]。对于每个这些谐波,我们计算在最接近STFT存储桶(STFT bucket)加上每一侧的3个存储桶中获得的能量的总和,。
B.2.5线性谐波损失
在黑索氏回的周围区域(颞平面、后颞平面)的活动和演进(progression)的预测——包括色度、八度音阶的变化和和弦进行(chord progression)等——被结合在一个单一操作中,描述为“线性谐度”或“谐波损失”。
这完全是前所未有的:其根据每个步骤的偏离于谐波列的简单比例有多远来分析全部旋律和谐波的演进:线性谐波损失从STFT时间片上升,STFT时间片的基本频率与之前的时间片的基本频率不同。在基音上无变化时间片损失为零。基音频率第一次归一化是通过将其凑整至A440音调以下的最接近的音符值,之后,将其转换为单八度音阶。之后将该(归一化的)基音与前一个进行比较:如果它们完全一样,损失为零。如果新的基音是之前(归一化的)基音的以下谐波和次谐波(1/9 1/7 1/6 1/5 1/3 3 6 7 9)之一,那么损失将定义为谐波的乘数或次谐波的除数。否则损失定义为15。
线性谐波损失以每秒的损失表示。因此,度量标准既代表基音变化的比率,也代表变化的谐波距离。数值越大,表示更强的刺激效果。
线性谐度将类似的情感系统激活为垂直的谐度(Wieser和Mazzola 1986;Blood和Zatorre 2001;Brown等2004;Baumgartner等2006;Koelsch等2006)。
B.2.6谐度和效价
垂直和线性的谐度都是效价的强有力的指数(Fritz 2009),或者说声音是“正面的”还是“负面的”,“令人愉快的”还是“不那么令人愉快的”。线性谐度可追踪效价指标随时间的发展——原理只不过是谐波越多、正效价越多,谐波越少、负效价越多。
可以想象的是,与黑索氏回相关的等式可以由不同的数学方法重新构建。颞平面函数能用任何不同的方式逼近是极不可能的。
B.3节奏性:镜像神经元、听觉皮层和前运动区皮层
人类对音乐节奏的反应涉及一组复杂的精神和身体系统的活动(Osborne1.2009;Osborne 2009.2;Osborne 2012.3),包括感知系统、蜗背侧核(dorsal cochlearnucleus)、下丘和脊柱系统(Meloni和Davis 1998;Li等1998)初级和次级听觉皮层(Peretz和Kolinsky 1993;Penhune等1999)、镜像神经元(Rizzolati等2001;Gallese 2003;Molnar-Szakacs和Overy 2006;Overy和Molnar-Szakacs 2009)、运动前和运动皮层、基底神经节、前庭系统和小脑(Zatorre和Peretz 2001;Peretz和Zatorre 2003;Turner和Ioannides 2009;)、自主神经系统(Updike和Charles 1987;Iwanaga和Tsukamoto 1997;Byers和Smyth 1997;Cardigan等2001;Knight和Rickard 2001;Aragon等2002;Mok和Wong2003;Lee等2003;Iwanaga等2005),以及最终的身体和核心情感的系统(Holstege等1996;Gerra等1998;Panksepp和Trevarthen 2009)。其中一些可能特别涉及能够使编码在声音中的感知行为、生命力情感和活力再生的镜像神经元的激励,及其在在收听者的精神和身体中的表现形式。高能量的快节奏激活自主神经系统和内分泌系统中的唤醒,例如下丘脑-垂体-肾上腺轴。慢节奏激活逆唤醒。
X-系统根据每分钟的节拍数检测基本的、“默认的”节奏脉冲。经常在确定韵律的时候遇到困难,但是X-系统通过节奏事件的功率(power of a rhythmic event)随时间的累积来接近韵律结构的唤醒效果。节奏事件的功率定义为节拍前的能量与之后的能量的比率。在一个非常简单的实施例中,每分钟节拍的值(B)与节拍强度(S)的平均值结合以产生节奏性的值(R),其中:
R=√B*S^2
该等式是如何计算节奏的非限制性实例,并且将R与B和S结合的其它方式也可能适合;而且,R可以以其它或附加的变量来定义。一般来说,R可以是B和S的函数,但是最佳的关系将依赖于各种因素。如图11,表示随时间变化的的节拍能量。
关于节奏性的更多细节:
B.3.1耳蜗的模型
根据前面的解释,节奏的听觉感知是由传统的耳蜗模型预测的:随着音频输入,在输入样本数据的转换实例上执行所有的后续分析,其解释听觉通路的某些方面,主要是耳蜗拾音器。耳蜗的行为是众所周知的并且已经开发出了精确的模型。我们将基于频率的增益函数应用于输入信号,该输入信号减弱低音信号和放大高音部分,具有6kHz左右处的滤波器“拐点”。使用的确切变换是在IEC61672中规定的“A加权”。
B.3.2节奏感应
通过节拍感应,利用具体校准的起始窗口预测性地模拟原始脊柱通路和运动前环(pre-motor loop)(包括基底神经节、前庭系统、小脑等)的激活,所有这些都与对节奏脉动的原始反应有关。
当然,节奏性是模拟样本基本节拍以及其中的高阶韵律结构的参数。其首先通过利用频谱峰值通量的检测确定音符起点(note onset)来计算。这些起点之后用于产生和给大量的韵律结构假设打分。利用Dixon的方法[音频节拍追踪系统节拍根源的评价(Evaluation of the Audio Beat Tracking System BeatRoot),新音乐研究杂志(Journal of New Music Research),36(1),39-50,2007]来产生、过滤和和评分备选的假设。除了所描述的方法,我们将该程序延伸至包括起点事件周围的频谱通量的量级,以便评价更高阶的结构。产生的假设利用同样的方法进行过滤和打分,终端输出包含样本的基本节拍的预测,根据预测的韵律结构加权节拍的次级输出,其中,低音节拍的重音节拍越明显,该值越高。针对所有得分高于给定的阈值的节拍假说,置信度值也表示为这些输出的分布方差。将该置信度值归一化以允许横向比较样本。
B.3.3自相关
节奏模式识别和保持(例如在颞叶的二级听觉皮层中)是通过自相似性/自相关算法(self-similarity/auto-correlation algorithm)(例如Foote http://207.21.18.5/publications/FXPAL-PR-99-093.pdf)进行预测性地模拟。
首先音频在重叠步骤中用汉明窗口处理;针对每个窗的功率谱的记录,每个窗通过DFT(精细的傅里叶变换)的平均值计算。这些系数通过梅尔缩放(Mel-scaling)感知加权。最终,第二个DFT用于创造倒谱系数(cepstral coefficient)。高阶MFCC(梅尔频率倒谱系数)被删除,留下了12个低阶MFCC,在100Hz速度时形成13维的特征矢量(12加能量)。这些数据之后经过矢量自相关,绘制在二维窗中,其中,x和y轴随时间绘制音轨的展开。向上读数——例如从x轴上的音轨的第一瞬间上——的“亮度”区域显示相似点,和可能的韵律结构。
点的分布密度也用在节奏诱导的唤醒的预测指数中(密度越大,唤醒越高)。
B.3.4功率
镜像神经元系统——除了别的之外,其检测“节奏的”活动的功率、轨迹和意向性——的激活通过节奏功率的指数预测性地模拟,该指数包括音量级、音量峰值密度、“低谷”,或能量缺乏和运行能量的动态分布的计算。
B.3.5音量包络分析(Volume envelope analysis)
音量包络的计算为振幅数据的5毫秒的片的均方根。
B.3.6音量级
这是简单的在时间段内的平均的均方根级。
B.3.7音量峰值密度
每片(通常10秒)音量峰值的数量——如通过最小峰值间距=100毫秒的矩阵实验室(MATLAB)寻找峰值函数(findpeaks function)获得——乘以超过音量平均值的峰值平均高度,除以音量标准偏差。
B.3.8音量微分峰密度(Volume differential peak density)
类似于音量峰密度,但是采用音量的第一微分。
B.3.9音量波谷长度
音量比音量平均值低标准偏差的一半的平均持续时间。
B.3.10音量波谷的最小值
音量波谷的音量最小值的平均值除以音量标准偏差。
B.3.11动态分布图
此外,在起始之前和之间的能量损失的分布图(陡峭对于高唤醒,平滑对于低唤醒),其出现重要的镜像神经元信息,将在以后通过导致重要的发音的能量流的分布计算来预测。
例如,τ“tau”(希腊文第十九个字母)耦合(Lee 2005):τx=Kx,gτg
其中,tau=滑音原点的时间(前一个起始的终点),x=在下一个可预测的起始之前的间隙,g=通过神经元组装的电能的模式流(patterned flow),kappa=由大脑确定的移动值。能量的分布图将由kappaXG的平均值的分布图确定。
B.3.12标准的、市售的用于节奏检测的软件可能令人满意地用于一些音乐流派,但是这样的软件可能不能检测任何给定的音乐片段的特定生物激活的节奏,并且可能在检测某些节奏上依然有些困难。预测性地模拟大脑的核心节奏处理中心的激活的上述算法已经被证明是可靠的。这些算法中的一些——例如节拍检测——在理论上能被其它的数学程序代替。本发明的独创性在于前所未有的仿生性质。因此,我们在音乐(节奏)中有一个现象,就是已知对自主神经系统(也有核心情感系统、内分泌活动和神经传递)中的唤醒和逆唤醒产生效果,已知其进而对你的感觉产生强大的影响:放松、能够专注、想跳舞等。我们也具有测量节奏效果的的手段(我们的传感器)。我们的分类算法(上述的)作为来自于数字签名分析的有关数据的输入,并且产生对挑选的生物计量有预测性影响的输出。强烈的节奏将具有唤醒的效果而温和的节奏将具有镇静的效果,并且基于同样原理,没有现有技术中的不足。在模拟对节奏的先天神经生理反应中,假设、测试和细化将节奏的测量与其预期的对心率和皮肤电导产生的效果(在本实施例中)连接的算法。
B.4扰动和核心情感系统(位置和器官)
一段音乐的“扰动”涉及其在一段时间内变化的速度和程度,根据节奏性和谐度以及声压中的一般波动。
“扰动”将涉及上述通路的节奏和谐度的变化指数与听觉脑干和皮质活动结合,该听觉脑干和皮质活动使杏仁核、海马和核心情感区域受神经支配,该杏仁核、海马和核心情感区域影响神经传递和内分泌系统,包括肾上腺轴、多巴胺回路和,例如去甲肾上腺素、褪黑素和催产素的水平(Miluk-Kolasa等1995;Gerra等1998;Kumar等1999;Evers和Suhr2000;Schneider等2001;Blood和Zatorre 2001;Grape等2003;Uedo等004;Stefano等2004;Herbert等2005;Nilsson等2005)。唤醒和逆唤醒的这一重要的预测器可被表示为节奏和谐度的微分。
因此,“扰动”是音乐体验中的变化率的测量和变化程度的测量。这些因素似乎可以激活大脑的核心情感系统,例如杏仁核和导水管周围灰质,其进而与自主和内分泌系统连接。高水平的音乐能量扰动可提高唤醒;在低水平的音乐能量扰动可增加逆唤醒效果。
一段的总扰动(T)被确定为片段的谐度(H’)和音轨(P)的音量峰值期间存在的能量的扰动的结合。谐度的扰动计算公式为谐度的微分的标准偏差除以微分的平均值。
在一个非常简单的实施例中,总扰动的计算公式是:
T=dH/dt*P
该等式是如何计算扰动的非限制性实例,并且将T与H和P结合的其它方式可能也是适合的;而且,T可以以其它或附加的变量来定义。
如图14和15,表示随时间变化的音量和谐波能量。
B.5结合值
上述通过测试假设和完善的每个算法有效地成为了大脑的“虚拟器官”,这有助于我们预测对唤醒和逆唤醒模式的水平所产生的效果,其能够在音乐中利用数字签名分析来检测。每个“器官”的相对加权可以适于利用启发式的、机器学习或其它技术来校准一组协调一致地工作的“虚拟器官”的整体预测能力。
上述分析的任何子集可以结合在一起以产生单数估算,其中一段音乐(或其部分)位于从放松至兴奋的尺度上。执行该结合的公式可能来源于实验数据,如下:许多收听者听相同选择的音轨。每个收听者之后独立地将所有音轨排列成序,从他们认为最令人放松的到最令人兴奋的。(该排序过程也可以通过测量收听者的生理数据来客观地实施,但是,这到目前为止给了收听者很多不太一致的结果。)统计回归分析在此之后执行,平均的人类排序作为因变量,以及音乐分析的所选子集作为自变量。换句话说,产生使用分析来预测人类排序的单一公式。在该公式中的系数被挑选以用于给出最好的预测,并针对所有音轨。所得到的公式可之后用于产生针对大量音轨的大规模地自动预测。考虑下面的示例数据:
任何统计回归方法可用于产生整体公式。例如,如果我们使用具有普通最小平方法估计的多元线性回归,我们将获得以下公式:
预测的顺序=-6.59*mh+1.63*vol+0.0018*rhy+1.36
也可以使用一个变量的非线性变换(例如对数或倒数)或者多个变量的非线性组合(它们的乘积或比例),这是通过预先计算它们以及之后将它们作为回归分析中的附加变量来实现的。
用在每个算法中的系数和算法的相对加权相结合,可利用元数据(例如流派和艺术家)针对不同的音乐风格进行优化,该元数据通常携带在以数字化格式散布的音乐中,例如光盘和因特网上。随着大量的(匿名的)人类反应数据的累积,其可以反馈(经过收听者的同意)到网络部署的X-系统中,这将有可能微调两个方程的系数的相对加权并将它们的相对权重结合来提高精确度。类似的系数和加权的优化将通过将分析用户数据与音乐元数据(例如流派和艺术家)结合来实现,该元数据典型地在以数字格式散布的音乐中可用,并在适当的时候,这种优化将扩展到个别用户和特定唱片中。
为每段音乐计算的全部唤醒指数可以表示为描述从开始听到结束的所有神经生理效果的单个数字,或者其可以以唤醒指数为纵轴和以时间为横轴地以图形表示出来。最终的轨迹将有效地描述收听者从开始听到结束的预期的收听者神经生理学行程。后者很可能特别用在更长更复杂的音乐片段中,例如大部分的经典曲目,反之一些其它的曲目,例如现代西方流行音乐可能更方便用单一数值表示。不论哪种情况,音乐片段的效果是固有的(因为,它是在音乐中检测到的模式的结果)并且依赖于收听者的状态(因为,音乐的神经生理效果是相对的而不是绝对的[Altshuler“I情绪同态原理(The Iso-Moodic Principle)”1948])。
当我们更深入更细致的学习诱导大脑时,以及当传感器技术进一步发展时,将开发不同的等式来预测不同的音乐结构在不同的可测量的输出上产生的效果。所有这些对音乐的先天神经生理反应的应用实例将作为本发明的不同的实施例,本发明要求保护一种预测来自于任何音乐传统的任何音乐片段对普遍的人类神经生理产生的效果的新的系统和方法,这通过分析音乐中的生物激活模式和利用适合于特定生物计量指数的数学公式来预测这些音乐模式在挑选出的生物计量指数上产生的效果来实现。
B.6本部分描述一种替代方法,其是将节奏性、失谐度和扰动的值结合而获得兴奋值(E)。在该变换方法中,E由以下公式给出:
E=(10*I*R)+T
该等式是如何计算兴奋值E的非限制性实例,并且将E与I、R和T连接的其它方式也可能是适合的;而且,E可以以其它或附加的变量来定义。
这通常产生一个来自于-1至7之间的数字,表示逆唤醒-唤醒的数值范围。一般,五种类别的唤醒的阈值近似于:
-1至0.6=1
0.6至2.2=2
2.2至3.8=3
3.8至5.4=4
5.4至7=5
另一种选择是,节奏性和谐度相乘再加上扰动的等式。在一个实施例中,对数标度和斐波那契数列可用在听觉数据的分析中。
详细信息:针对每个R、H和T,X-系统记录进一步分类成上升、下降或恒定的单个平均值(μR、μH、μT)和变化属性(ΔR>0,ΔR<0,ΔR=0;ΔH>0,ΔH<0,ΔH=0;ΔT>0,ΔT<0,ΔT=0)。
R、H和T的平均值映射到(在最简单的情况下取归一化的平均值)表征生理状态的n维的点p上。R、H和T的变差也映射到(再次,在最简单的情况下取归一化的平均值)另一个表征这些值在生理状态上产生的定向效果的n维的点q上。
p和q的连结允许每个音乐片段被映射到音乐效果矩阵M、一种2*n维矩阵上,n维对应于由E所测量的、表示E可落入的粒状范围的生理参数,其它的n维对应于音轨对生理参数产生的效果(上升、下降或保持任何给定的生理参数或E的维度)。
我们现在更详细地描述音乐效果矩阵M是如何产生的。如前面所指出的,图7A是表示X-系统中用于分析谐度的主要组件的方框图,以及图7B是音乐分析工具的所有主要组件的方框图表示。由分析输出的值指定为t中的函数,特定测量的时间指数。这些值(对应于R、H和T)分组如下:
X(t):关于节奏“存在”的值,与脉搏相关的节奏结构节拍、功率和密度,和与大脑皮层活动、核心情感位置,和自主和内分泌反应有关的谐波节奏的值。
Y(t):在人类感知的极限内,与旋律与谐度中的与指数系列相关的频率结构符合度——涉及耳蜗、黑索氏回和大脑皮层处理,核心情感位置和自主和内分泌反应。
Z(t):X(t)、Y(t)和动态功率(W(t))中变化的比例和幅度,其测量是利用归一化的、增益调整的音量级别——涉及核心情感系统、和内分泌和自主神经系统的变化。
在分类之前可以是关于音轨的聚集、记录出处、流派和其它数据。这可能是根据行业标准来执行的,例如提供的行业标准,这可能是个人用户编辑的、众包方法(crowd-sourcing method)的结果,例如协同筛选,或者可能是未来聚集标准的结果,其基于,例如数字签名分析。聚集的目的是允许用户挑选喜欢的音乐风格,虽然这对于X-系统的正常工作不是严格必须的。
为了减少分析一段音乐的计算费用,只检查某些区域。基于递归地检查具有大的变化率的区域的配置参数和适应机制,这些区域的位置和长度被动态地确定。这产生了针对每个函数的稀疏数组值,由时间指数确定。由于递归分析,步长_t在函数定义域t中将有所不同。
在算法上,这些区域通过将窗口函数(windowing function)应用于引入的音频数据来产生。之后,采样窗口在该区域“分级”,并且将每级的结果聚集以形成在时间t的单个输出。例如,一个区域可包括(绝对的)时间间隔(0s;1s),其进一步加窗为50ms的样本,其具有10ms步长。这产生了总共96个样本点,将其结合以形成单一值X(0)=x。
由“声流”执行X(t)的分析——基于将节奏感应与模式识别和功率和密度指数相结合。
利用两项主要的技术执行节奏感应;带限的功率谱密度起始分析、自适应梳状滤波(adaptive comb filtering)。之后,两个技术的结果经受一定数目的基于音乐理论的探试法,并结合以形成音乐节奏的单一估计。
探试法包括例如将合理的节奏最小化和最大化的规则,或者适合于如果已知的给定输入流派的节拍的一些概率分布。其也可以包括基于输入的某些频段的加重和去加重。
频谱密度起始分析使用加窗样本的短时傅里叶变换序列来计算存在于特定频带中的能量。该数据被暂时追踪以观察频带中的峰值,其表征节奏事件。
梳状滤波包括输入信号的卷积,其具有各种不同间距的脉冲序列,在脉冲间隔接近输入节奏的基础上,整体卷积结果将增加。该技术在之后递归地用于发现表征输入节奏的最适合的脉冲间隔。
Y(t)值的确定是通过听觉场景分析的改编。音频输入数据经过伽马音耳蜗滤波器组(gammatone cochlear filter bank),将其分成多个流。针对每个流,计算特设的频率和起始信息。
从每个流的立体声音轨获得空间信息,频率峰值利用傅里叶变换来计算,起始探测器映射(onset detector map)用于寻找声音元素的开始。
该信息被合并且被相互关联,以分割输入到声源中的音频数据。针对这些声源中的每一个,数字的计算公式为其基频的谐波内的声能与其基频的谐波外的声能的比值。Y(t)是针对每个片段的声源的比例的平均值。
基频的确定是利用谐波积谱(Harmonic Product Spectrum)实现的,其中,信号反复乘以其自身向下采样的副本,导致在频谱中出现对应基频的大的峰。标准信号处理技术也适用于将产生的输出去噪。
在X(t)、Y(t)和(W(t))中的变化的比例和幅度下测量Z(t)。
在每种情况下(X(t)、Y(t)和Z(t)),系统记录单个平均值(μX,μY,μZ)和进一步分成上升、下降或稳定的变化的曲线。
·上升的——在函数X(t)、Y(t)和Z(t)中是整体正趋势的。
·下降的——在函数X(t)、Y(t)和Z(t)中是整体负趋势的。
·平稳的——仅微小地偏离于音频输入信号中产生的平均值μ。
X、Y和Z的平均值被映射到(在最简单的情况下采用归一化的平均值)表征生理状态的n维点p上。X、Y和Z的变差也映射到(再次,在最简单的情况下采用归一化的平均值)另一个表征这些值在生理状态上产生的定向效果的n维的点q上。
p和q的连结允许每个音乐片段被映射到音乐效果矩阵M、一种2*n维矩阵上,n维对应于由E所测量的、表征E可以落入的粒状范围的生理参数,其它的n维对应于音轨对生理参数产生的效果(上升、下降或保持任何给定的生理参数或E的维度)。
C.如何使用X-系统
如上所述,X-系统可使用受检者的生物计量数据(传感器是可用的情况下)来测量神经生理唤醒。之后,其引导受检者分阶段接近这种目标的唤醒水平、精神和/或情感状态。这是在具有音乐数据库的情况下实现的,其利用先天神经生理反应的预测模型进行预先分类。也可能是实时或近实时的分类。分类可以直观地显示出来(例如在用于音乐回放的计算装置的显示屏上);这包括针对每个音轨的E值的显示,或E(兴奋值)值在音轨中如何变化;R、I、H、C和T可以直观地显示出来。选择预测或匹配受检者当前的神经生理唤醒水平的一段音乐,并且在音乐每部分的基本音乐效果的基础上创建播放列表。听播放列表会引导或鼓动用户通过随着音乐的无意识的神经生理诱导接近期望的唤醒水平、精神和/或情感状态,并使这种水平能够保持下去。受检者当前的神经生理唤醒水平也可以直观地表示出来,能够收敛到期望的目标状态。
在一个实施例中,X-系统是设计用于感知用户的精神和身体状态,和成流所选曲目以实现目标状态,例如:
·兴奋
·放松
·集中
·警觉
·身体活动的强化
例如,参照图2、3和9。
C.1X-系统中的组件
X-系统包括:
·能够根据特定的唤醒和逆唤醒水平将所有文化的音乐远程或近程分类的自动分类软件;这种分类可被提供用于一般独立使用的传感器和诊断软件。这可能是基于奈杰尔·奥斯本的INRM(对音乐的先天神经生理反应)范例。
·手动或自动分类的音乐数据库(利用自动分类软件),以实现特定的唤醒和逆唤醒水平
·传感器,检测唤醒(例如激动)和逆唤醒的生理指标(困倦),包括心率和皮肤电导
·诊断软件,其使用传感器数据,以监测用户中的唤醒和逆唤醒水平
·音乐回放/成成流(例如播放列表选择)软件,其选择从数据库中预先分类的音乐来成流适当的曲目,以通过逐步的诱导过程实现精神和身体的目标状态,该过程开始于当前诊断出的“状态”;通过诊断软件监测接近这些目标的进度。根据来自于收听者的生物反馈,可选择针对收听者的特定音轨用于回放(通过成流或其它方式);播放列表可以在本地创建并且要求的音轨用于成流/下载等;这也可能用于将生物反馈和期望的“状态”信息发送给远程音乐服务器,并且为此,服务器产生适当的播放列表且提供音轨给本地、个人的回放装置。在该变体中,个人回放装置不必有本地音乐库或X-系统软件/固件等;其仅需要有检测收听者的音频偏好和生物反馈数据,以及利用低容量的反向通道将其传递给远程服务器,并且之后接收来自于远程音乐服务器的音乐的能力。
需要注意的是,所有软件也可以实施在硬件、固件、系统级芯片中,作为第三方音频堆栈的一部分,以及以其它任何方便的方式。
附录1是X-系统组件的更详细的说明。
C.2X-系统的实际应用
传感器意在用于测量一个或多个预先确定的用户的精神和身体状态的参数,并将该信息传递给处理器;该处理器设计用于从音乐分类数据中选择适合于将用户从她的/他的当前的精神和身体状态引导到唤醒和逆唤醒的预期状态的音轨。该组合将允许X-系统:
·实时地感知人的精神和身体的神经生理状态;
·分析用户的音乐收藏,或他/她有权访问的任何其它的收藏,例如以音乐服务为基础的基于云或远程/中央服务器;和
·根据期望的唤醒状态计算和传递播放列表。
这将使用户诱导自身到期望的状态,例如:
·被激励并准备运动或锻炼;例如,为了比赛而增加血氧水平或减少手术后的恢复时间;
·使自身放松并能够渐渐入睡;
·在深思状态中支持洞察力的发展;
·在深思状态中支持创造性思维的发展;和
·保持专注并能够集中精力。
(例如,提供支持来克服例如失眠的状态,以减少创伤后精神紧张性精神障碍(PTSD)和狂躁症患者中的药物治疗,从而开发和组织记忆,通过数据保留所需的短期、中期和长期来分类。),并创造一种鼓励创造力和想象力的状态。
图4的图表示X-系统的当前计划的实施例。在一个可选择的图4的实施例中,因为无处不在的移动计算模糊了装置之间的差别,图4中示出的元件在用户的PC内(音乐播放器、音乐库、自动化分析和音乐效果数据库)可以分布在两个或两个以上的计算装置中。在一个商业实例中,其也可以设置成与便携式音频装置一起工作:参照图5。
虽然这些组件是X-系统的关键元件,其核心创新技术是音乐的生物活性成分的定义(根据预测性的对音乐的先天神经生理反应的范例,Osborne 2009,例如参照图1),该算法用于根据数字签名分析和校准方法来计算这些生物活性成分,该校准方法用于使系统和个体的先天神经生理反应一致。
D.一个或多个传感器
传感器可以是腕带、手持或任何其它适于执行必须的参数测试的形式。传感器可以是身体搭载的,或使用耳机的(例如,将传感器合成到头戴式耳机中),通过红外或听觉、无线,或更普遍的任何形式的生命传感来远程监测的。捕获到的数据优选包含生物计量参数,例如,心率(包括脉搏节律分析)、血压、肾上腺素和催产素水平、肌张力、脑电波和皮肤电导性。可选择的设备形式包括项链、手镯、嵌入在衣服中的传感器、其它首饰、皮肤下植入的传感器、头戴式耳机、听筒、手持式的传感器,例如涵盖了手机、MP3播放器,或其它的移动计算装置。
当前用在X-系统项目中的传感器包含用于测量皮电反应(GSR)腕带传感器,和用于心率和血氧测量的标准夹指氏血氧仪。为了商业化的目的,这些传感器将结合成单一的、可佩戴的无线装置。其它的潜在的生物传感器和移动传感器也可以包括在内,只要它们在经济上可行。
这些传感器必须能够与任何其它可能的测量结合来测量脉搏率和皮肤电的组合体,以及必须对用户的运动或环境的变化的破坏有抵抗力;其同时必须使长时间穿戴该传感器没有不适和尴尬成为可能。其它的传感器包括实体的生物传感器,例如氧合作用、EDA、EDC、EDR、ECG、血糖水平、BPM、EEG等,以及多频谱传感器(无线电、红外、紫外、热力学、和广谱),其检测身体辐射光环。
图5表示期望的体系结构概述。图5表示本发明的X-系统的一个实施例,其中,基本的音乐库和分析软件存在于用户或第三方远程或本地地可操作个人电脑中,具有将选择的音乐传递给个人音乐播放器装置的能力,之后,其基于可用的音乐产生动态的播放器列表。
X-系统传感器测量某些挑选出的用户生理状态的参数并将结果数据无线传递给(或与之通信)播放列表计算器的处理器,其存在于或是以其它方式连接到音乐回放装置的(例如,个人电脑、智能手机、MP3播放器或其它音频装置)。传递方式优选无线地,但是需要理解的是,其它传递方式也是可能的。当然,处理器可以与传感器集成。
挑选出的生理状态参数由P表示。函数F(P)将这些参数减少为单个的、归一化的点E,表征用户的一般生理状态。在最简单的情况下,E是用户的生理唤醒(或逆唤醒)的一维测量。随着进一步的输入,可能会获得更加复杂的测量,从产生n维的点E。一种有效的原型已经被开发出来,其利用脉搏率‘p’和皮肤电导性‘v’来计算生理唤醒的简单指数:其中E=p+v。目前,该原型使用的是美国燕牌指夹氏脉冲血氧仪(Nonin X Pod Pulse Oximeter)和皮肤电导生物传感器。用户的脉搏率、血氧和皮肤电导是不断地监测的;心率可用于控制电传导中的平均值。这两个传感器目前都是独立地工作并且与控制计算机无线连接。其可以被替换为一个集成的传感器。可选择地,采用任何其它形式的有线或无线连接,将传感器输出与播放器与输出装置连接都是可能的。附录1给出了更多的细节。
用户最初提供具有其个人音乐收藏的系统(或者使用可成流或可下载的线上音乐库)。这是针对兴奋水平的分析,其利用INRM分类与信号处理和机器学习技术相结合。用户之后使该信息与其音乐播放器同步并选择兴奋/唤醒的水平;除了用户的其他人也可以选择兴奋水平。腕带式传感器提供给系统不断更新的用户兴奋度的实时状态,允许该系统对在用户中产生的外部影响做出反应,并且“捕获”它们,利用诱导的原理将它们带回到接近期望的状态。一旦用户已经达到兴奋的目标水平,他们将通过确定有效于保持该状态的音乐被保持于此。
虽然X-系统的传感器的当前版本是基于心率和皮肤电导,但是存在针对其它测量的前期整合的强有力的论据,该其他测量包括例如EEG、脑电波传感器。这将允许例如集中、警觉、沉思、困倦或创意流这样的因素直接被监测,这是通过大脑中的神经元诱发启动的频率的感测,而不是直接通过唤醒的指示器。第二组相关的激发存在于机器学习的进一步的方面中。个体的生理反应差别很大,因人而异,取决于当时的情况、新陈代谢状态等。X-系统可从个人用户得知他们的生理反应的范围,以便识别相关的唤醒水平,并单独校准诊断软件。正如已经阐明的,其也可以通过他们所选择的曲目得知他们的个人喜好。X-系统也可以直接从一组音乐特性出发,利用神经网络来预测这些特性在生理测试上产生的效果,不是先减少这些特性到预期的兴奋/唤醒水平。
E.音乐选择算法
某些神经生理唤醒的水平一些活动的必要的先兆,例如,睡眠、放松、加速学习和研究,或提高警觉性和活动力。用户将优选地被呈现以用户界面并从这些活动菜单中挑选,以便使系统建立唤醒和情感的目标水平,这将有利于所选的活动。
表征由传感器诊断出的受检者的神经生理状态的点E用于从音轨数据库中选择音乐,该音轨数据库是由音乐效果矩阵M索引的,基于粒状点r和指向生理状态的方向d,用户已经选择移动向该生理状态(更多细节可参照之前的E部分)。
选择的第一段音乐将对应受检者的初级神经生理状态,由E表示。随后的片段是基于它们在M中的值选择,这样,每个都将——按顺序播放——有能力逐步地引导受检者的状态接近目标状态。一段音乐被选择包括在播放列表中的顺序由矢量确定,其代表M中合适的、系列的音乐效果值临时组织的上升,或下降。数据库中满足该系列效果值的要求的一组音乐片段被称为‘合格的目录’。
该合格的目录根据一组规则安排在实际的播放列表中,包括但不限于随机选择、防重复、流派偏好或一些其它的探试法。在某些情况下,可能要遵守US数字千年版权法案(DMCA)。
在使用传感器的情况下,之后会建立生物反馈回路,以便保证播放列表连续的重算来校正基于全部情感的任何维度的干扰、个体敏感性和其它因素,其易受连续测量的影响。接近非测量的精神和/或情感状态参数的方向将依然会发生,尽管缺少生物反馈回路,因为神经生理唤醒是精神状态和情感的必要的前提,并且其建立了一些条件,在这些条件下,收听者最容易受到所有音乐效果的这些其它方面的影响。
一旦已经播放一段音乐,为了最小化循环周期,优选将其从潜在可用的目录中移除,以便避免不必要的重复播放。该防重复规则服从可行性试验,以便可以将合适的严重性消息显示给用户,如音乐数据库中内容或内容多样性不充足的警报,以使系统能够随着改进的建议有效运行,例如更多音乐片段的推荐,可以将其添加到数据库中以改进其运行。
在该情况下,目录已经被分散式的预分类或者从中央服务器中成流,播放列表可以以动态模式进行初始化计算,该模式中,从数据库取用短片段。一旦收听者已达到唤醒的目标水平,长片段将被允许进入到合格的目录库中,为的是播放列表计算和系统可进入到维持模式。由超过一个预先确定的因素引起用户的唤醒水平变化的任何干扰,可导致系统重新进入基于短片段的动态模式和重新计算播放列表,以便诱导用户以更快的速度回到目标状态。
适用于短片段的防重复规则可用于计算最小要求的目录尺寸,其以独立的音乐风格的数量为基础,该独立的音乐风格数量可以由用户、短片段的平均长度、最小周期数、以及落入音乐效果矩阵的最小构成单元中的可用的短片段的数量来选择,在防重复规则允许歌曲或片段回到选择池中之前必须通过该最小周期数。
F.音乐播放器
音乐播放器可以是标准行业软件的改编,例如Windows媒体播放器,其能够根据音乐选择算法建立动态的播放列表,以及能够提供给用户更多的辅助程序,例如,音乐风格的选择、相关元数据的显示和视频目录。
音乐播放器也可以是从通过互联网访问的应用软件商店下载的应用软件。图8概括了一种播放器系统和与传感器子系统集成的设计。在一个实施例中,播放器系统和子系统可以分布在两个或两个以上的计算装置中;与移动计算和个人输入相似的普遍存在的计算方法可以与处理和传递音频输出的多种方式一起使用,无论是私人的还是公共的。因此不仅播放器,而且处理器和人机互交装置,包括但不限于通过情感暗示以及排序或定序消耗的交互作用的诱导和个人环境的控制,可以用在实施方式中。
G.诊断和成流软件
当传感器用在X-系统中时,那么诊断和成流软件就有读取来自于传感器的值和确定用户的唤醒状态的能力。皮肤电导的性质意味着绝对值能够明显地改变,这是因为其与皮肤的接触程度,因人而异并通过正常出汗实现的。为了解决这个问题,皮肤电导值可以基于用户的心率进行自动校准。
系统的用户佩戴该系统,选择他们喜欢听的音乐曲目,决定他们想要达到什么兴奋水平并穿上传感器。一旦对用户的唤醒状态作出诊断,随着选择的兴奋水平,该数据会用于选择来自于曲目的音轨程序。
可选择地,用户选择音乐的曲目,例如,爵士乐、古典的、印度的、世界、巴洛克式,并决定他们应该达到什么唤醒水平(例如放松、兴奋、稳定)并穿戴该传感器。一旦对用户的当前唤醒水平作出诊断,曲目将自动选择引导或“诱导”收听者从其当前状态进入到他们所选择的唤醒状态。这是通过定义播放列表执行的,其诱导用户从由INRM参数定义的多维空间中的当前情感位置,以小步长移动至接近INRM空间中已经定义的位置,其由期望的终点定义。
H.手动分类
在一个实施例中,曲目已经被手动地分类,这是利用节拍器通过脉搏/韵律的综合检测,以及关于唤醒和逆唤醒的水平的直观地预测判断,该唤醒和逆唤醒水平与各种音乐参数关联,包括节奏、谐度、扰动等,例如,脉搏/韵律越快,唤醒越高,谐度越高,唤醒越低。在图16的样本分类中(选自迈尔斯·戴维斯的曲目),音轨被置入到对应激活/唤醒水平的五个类别之一。
I.手动分类矢量
举例说明,在另一种手动分类中,音轨被进一步分成平稳、上升和下降的矢量,例如,如果用户选择高的激活/唤醒目标状态,“类型4上升”将被选择;如果用户希望保持适度激活状态,“类型4平稳”将被选择。例如,参照图17。
在图18的实施例中,选自贝多芬交响曲的乐章已经根据矢量进行了分类。需要注意的是,没有乐章被识别适合于4/平稳或2/平稳。
本发明的实施例已经参照其对人类的影响而被说明。然而,音乐对动物的影响是有据可查的。这几乎确定取决于声音环境的简单心理声学影响,而不是就音乐/生物本身的论述,但是除了一般的消费者、专业的、运动的、健康、医疗、以及其它市场,本发明的实施例还可看到在畜牧业或兽医学中的应用。
J.社交网络
在本方面的应用中,X-系统作为诊断、监测或诱导工具,适用于促进由X-系统的算法确定的神经生理状态、唤醒、情感和效价数据通过短距离无线和蓝牙网络和更广泛的社交网络——例如,Facebook和Twitter——传递给朋友,以及传递给医护人员。
该应用实现了一系列在智能手机和其它装置上的引导和连通的应用程序,能够允许用户‘连通和引导唤醒的先天状态’(情绪或情感)以及‘连通和引导体验’。其使个别的X-系统用户不仅能够看到显示器显示他们自己的先天状态,而且,当他们体验丰富多彩的活动时,从听音乐到运动和在医疗机构中的恢复和术后护理,允许其他人‘读取’他们的真实的或无意识的状态。
一种系统和方法,其用于连通X-系统诊断能力,以解码神经生理状态,将其改编,以促进更深入的、更直接的唤醒状态和效价的连通,同时将其用于社交网络中的个体和群体之间的各种各样的活动(包括但不限于音乐)。
一种根据唤醒的实际状态(由X-系统测试的)产生请求信息给搜索引擎的系统和方法,该搜索引擎例如Google——该唤醒信息能够在之后作为给搜索算法和控制显示的广告的算法的输入(例如,当在特定的唤醒状态时网络用户可以更容易接受关于某种产品的广告,并且利用唤醒状态信息将搜索结果和广告定制为最大相关性)。该唤醒信息也能够用于指示‘当前’状态信息(“我心情很好,正在听贝多芬”等。)。
X-系统将个体的先天神经生理‘状态’按照数据的连续体和精细的类别进行分类,从1(高唤醒)到5(逆唤醒)进行排列。这将核心的X-系统应用连接到了音乐选择上。
在该‘社交网络’或‘分享’应用中,先天的‘状态’唤醒/逆唤醒和个体的效价数据被各种标准的通信网络(包括但不限于Wi-Fi、蓝牙、GSM,以及其它移动网络和固话互联网)直接地以及经过广泛社交网络系统(例如Facebook)传递出去,以使端对端和一个对多个的唤醒连同(可选地)指示同时的音乐或其它的娱乐选择,或自发的活动(‘正在看电影的是我;响应一个广告;在村庄中行走;跑步、骑车’)的编码的连通成为可能,所有都是实时的,或接近实时的。例如,X-系统检测音轨的情感唤醒参数信息,并且之后将该信息嵌入到音轨中或与音轨连接的电子设备中,或者作为与音轨关联的元数据。
X-系统‘状态’数据能够被分成实时快照(当前的唤醒和效价);实时流(连续流);作为历史(昨天的唤醒和效价),随着或不随着当时所选择的音乐的数据。这可能被称为“个人的活力指数”(活力:有生气;活泼)。
该数据之后将作为图形、彩色代码,或各种统计表方式被显示出来。用户将能够给该数据和音乐注释以‘活动标签’(我当时在跑步,或者正在做作业)其将开辟其它形式的关于唤醒、效价、音乐、其它娱乐体验和活动之间的关系分析。
该应用将使个体能够在他们社交网络中搜索具有类似的情绪,或从事类似的活动的人,例如‘在我的网络中寻找某个想要说话的人’或者情绪低落但热衷于谈话的人。这能够通过情绪板指示出来或在Facebook和其它社交网络上扩大状态信息。
随着大量的用户,参加(在匿名表达规则和同意分享的影响下)的人表达他们自动产生的情绪,该数据可指示在群体和更大的社区之间的全部唤醒状态。
该应用将被扩展,以提供图形化的网络地图,其示出社会团体之间的情绪的模式和群集,创造一种‘社会情感’景象,在社会环境中,其针对从事他们自己的个体活动或者聚集在一起的活动群体,例如,在社交聚会中,或听音乐会,或跳舞。
这与社交网络分析的早期实例相反,其受源自语言和语义分析的数据挖掘和模式匹配的限制,并因此限制了他们的精确度。X-系统将通过捕捉真实的先天神经生理状态信息,产生个体和群体唤醒更真实和准确的解释。
该应用通过将X-系统的用户连接到网站的cookies,也将用于优化网站,这样,如果我正在浏览网站并同意使用X-系统读取我的先天状态信息,cookies将产生网站或特定网页对情绪影响的分析。这将使网站设计者尝试各种文本、影片、音乐和画面显示,布局和体验以及获得关于用户的情绪反应的即时反馈。
该信息之后将用于与广告和营销索引进行匹配,这样,对网站体验的反应可以与品牌价值和创造特定产品和服务目标的期望的情绪或要求进行匹配。因此,例如,反馈机制可用于匹配关于特定汽车的广告的情绪反应。
X-系统的核心算法的这种扩展创造了一个新的连通形式,其在深层次运行,超越了文化的界限、语言的情绪表达,选择性地将其连接到当前活动中,包括音乐的选择、其它的娱乐活动以及其它的活动。
该无意识的、前语言水平的唤醒、情感和效价的连通,开辟了一个新的社交网络和医疗诊断的范例。在医疗机构中,例如,监测病人的‘状态’信息将提供自知力而不是利用传统的诊断技术。X-系统可以与各种传统的医疗、护理和诊断装置和应用程序集成,以创造病人病情和情绪状态的更全面的描绘。
X-系统关于先天唤醒、效价和音乐选择的核心数据,通过标准界面传递给广泛使用的社交网络,例如,Facebook和Twitter,以及直接传递给局域网络中的智能手机。
X-系统将被嵌入到智能手机和其它装置中,以与各种软件、固件和芯片硬件的多种组合的方式。X-系统API将使专业应用程序开发人员能够创造各种工具和技术,以利用‘状态’信息流,创造反馈和监测服务。
有很多将数据和界面传递给社交网络和智能手机的协议和系统。X-系统的该应用是独一无二的,因为,其能够以新数据扩展这些系统,否则将无法使用。X-系统扩展到目标的先天唤醒和效价的连通,其具有在本地、广域和社交网络中的个人或群体中指示此时的音乐、其它娱乐活动或自发的活动的随附数据。
X-系统也能够分享唤醒值给搜索引擎,该唤醒值与用户和搜索引擎,例如之间的互动相关。该搜索引擎随后可以使用这些值优化该搜索引擎的搜索和广告选择。
X-系统也能够分享唤醒值,其与用户在具有网站优化系统的网站中浏览特定网站或网页相关,以便网站优化系统能够使用这些值来优化网站和/或特定的网页(内容、布局、声音等)。
K.扩展/增强的时机
对产品的改进和扩展的主要方向如下:
·识别对音乐的情绪反应是受记忆或对歌词的刺激或歌曲或一段音乐的其它方面的反应,而不是生物学——由过滤掉预期的生理反应开发。
·传感器的发展和配件,例如,新一代的微型脑电图描记器(EEG)、大脑扫描传感器。一种可能的方法是在耳机和手套中包括传感器(测试任何上述的参数,例如,脉搏、皮肤电导等)。
·高级的音乐搜索、导航和发现系统。
·高级的音乐搜索、导航和发现系统,包括推广、订购、选择和控制界面。
·专业的医学应用。
·分析音乐,以确定先天的情绪反应;和
从早期采用者中捕获和分析传感器数据,以微调整唤醒水平。
有两个用于细化分析功能的进一步的策略。第一个是通过系统的大规模使用。其计划招募一百名志愿者分五个阶段来测试该系统。他们在听音乐过程中的生理数据,包括心率和皮肤电导的读数,该数据将与自动分类数据和手动分类的结果进行比较,作为在自动分析程序中识别优势和劣势的手段,无论是在数据的捕获还是值的组合中。第二个用于细化的策略是通过机器学习,利用线性回归和/或神经网络方法。训练阶段将在五个测试阶段的每一个之后。该方法将具有这些价值,即,审阅现存值和它们的组合,并建立所了解的信息和程序的发展资源。其可能不能够显著地细化自动分类。如果这被证明是事实的话,机器学习程序和统计分析将被用于产生必要的细化。此外,在自动分类系统中的劣势能够通过收集和分析特定音轨对用户产生的影响的真实的测试来修正。本领域的技术人员将认识到,可以使用人工智能(AI)和基于探试规则的方法,以及迭代自动化和测试方法论。
X-也能够用于在零售环境、和/或在线社区中,通过播放合适的音乐来创造和调节‘情绪’。个体能够通过网站界面连接,以产生常见的反应/读数。
类似地,X-系统能够用在理解和匹配对品牌的情绪反应中——基本上是利用X-系统作为一种工具,用来诊断并且之后分享对品牌的情绪反应,这是通过准确地将这些品牌与针对目标受众的合适的音乐关联实现的。X-系统能够用于判断不同社交群体对品牌音乐的反应。
利用轮询和类似的人群传感技术,X-系统也能够作为在群体环境中的动态群体诱导工具使用,以选择加剧唤醒的音乐,例如在运动或娱乐活动中,以及用来在公共环境中减少群体的紧张和挫败,例如交通工具、医院和政府大楼中。
L.X-系统的优势
该技术预期会具有广泛的社会、生理和生物优势,在减少压力、治疗失眠中,在集中和学习的优化中,在提高创造性思维中,以及在促进最佳的运动模式中,无论是普通的人群或是针对优秀运动员的培训制度,还用在提高活动的竞争力中。
X-系统可以适用在针对特定医疗条件的治疗方法中。有大量的文献提供音乐药物和音乐疗法的功效的证据,其作为对于以下状况的治疗的补充支持,例如,慢性疼痛、痴呆、帕金森氏病、抑郁症、创伤后紧张症和失语症,以及在缓和剂、手术后、中风后护理。可能的优势包括手术后减少卧床休息时间和减少药物使用时间。
作为一个实例,简希望能够更加集中在手头的工作上,因此她滑动腕带式无线传感器,触摸她的iPhone上的“集中”符号,并且当她继续工作时听。该系统将监测她的思想和身体状态,并播放合适的音乐来保持适当的集中水平。
应该注意的是,此外,X-系统的自动分类算法具有相当大的潜在的市场价值,因为其“独一无二”,不依赖于传感器技术,能够针对音乐成流系统提供一种“情绪的”导引能力。
本发明可有利地用于根据音乐的神经生理效果选择和分类音乐,包括但不限于,根据音乐的神经生理影响,进行音乐的排序/定序、使用、宣传、订购和销售。本发明也可以有利地用于将这种分类连接到其它常用的分类方案中。
该系统其它潜在的用途可以是从音乐数据库中选择合适的音乐片段用于在电影中的配音,其期望观众的特定情绪。其也能够用在视觉艺术中,其期望观众的特定情绪。因此,这些应用程序将是视觉应用程序或视听应用程序,而不仅是音频应用程序。
相关的产品和服务将从这样两个方面产生,以产生关于市场中的发展趋势的市场情报,即,涉及音乐分析的产品和服务,以确定先天的情绪反应,以及将产生来自早期采用者的传感器数据的捕获和分析以微调整唤醒水平,以产生关于在未来市场中的趋势的情报。实例中可包括服务于电子游戏产业以促进声道选择从而提高互动游戏技术的情绪体验,或者作为对音乐作曲家寻求引起对所推荐的乐曲的整体或部分产生特定的反应的辅助。
注释
应当理解的是,上面引用的设置仅仅是针对本发明的原理的应用的说明。可以在不背离本发明的精神和范围的情况下做出更多的修改和其它的安排。虽然本发明已在附图中示出,并且结合目前认为是本发明最实用和优选的实施例,详细具体地在以上充分说明,对本领域的技术人员显而易见地是,在不背离如本文所列的本发明的原理和概念的情况下可以做出更多的修改。例如,在本文中给出的数学方程仅是特定的和非限制性的实例。
附录1
X-系统技术要点:组件概述
从根本上,X-系统包含3个组件,其中的两个是软件,另一个是硬件。
一个软件(“音乐分析器”)用在脱机的(不与系统的实时操作直接连接)模式中,以分析候选音乐文件,以及建立他们的兴奋/情感影响的评估。
第二个软件部分是回放组件。其负责实际播放音乐文件并且也负责接收来自于传感器硬件的数据,并利用它来升级它的内部模型,该内部模型确定之后要播放的音轨。
最后,硬件组件包含多个传感器,其收集来自于本地环境、主要是实际用户的实时数据。
详细说明
音乐分析
音乐分析子系统的分析方面已经在别处详细描述,在这里不再赘述。本部分仅描述集成方面。如上所述,预期其主要在脱机时以非互交方式运行。其将针对于一批音乐输入周期地运行,其结果是产生描述音轨的某些属性的一组值。这些值也能够结合用于产生音轨的单一的‘兴奋’图,其由回放系统使用。单独存储组件的优势是,当数据被收集用于调谐系统时,在不需要重新分析整个音轨的情况下,兴奋值能够随着不同的系数被重新计算,这大大地减少了开销。
所有的分析输出将被存储在数据库中,并以多个参数被索引,至少包括音轨和艺术家标识符,并且其中一些形成声学特征,其是相对宽容的编码差异和背景噪声。
这些索引将在用户‘输入’他们的音乐收藏时使用。如果有任何曲目已经在数据库中存在,它们的值将不需要被重新计算。
反馈程序将是一种选择系统(opt-in system),在该系统中,用户同意提供关于他们的匿名信息供系统使用,以改进该系统。
可以使用自动化功能,例如,唤醒中的归一化变化、建议的音轨的重放/跳过、和合计的传感器数据。也可以使用以喜欢/不喜欢的应答以及偶尔的随机问卷调查的形式的显示反馈。
使用反馈以诱导系统参数可以以总体和每个用户为基础。大规模的数据挖掘、模式识别、机器学习系统将用于改进音乐的情感/唤醒评估。
分析组件将作为互联网访问服务运行,结合一些音乐成流服务以提供音频,或者纯粹作为运行用户的个人音乐收藏的控制系统。
在可以使用快速和可靠的互联网服务的地方,程序的重要组分能够被卸载到托管的X-系统服务中。这允许比典型的终端装置更强大的程序,并且也保护了分析器的IP。
附加的用途
除了‘唤醒调整’的主要目标——促进放松或兴奋——还存在音乐分析的其它可能的用途。其可以用于将额外的维度加入到音乐发现和导引中,这通过观察大量的短音乐样本对用户产生的影响,并且之后建议类似特征的音轨或艺术家给用户。如果该系统已经被一些人在任何合理的时间使用,并且具有适应良好的个人模式,将不需要初始步骤。类似于“像艺术家/专辑X的音乐”的导航,也有可能是基于音轨分析中所确定的特征。
回放和决定
回放组件处理两个任务。基于传感器输入来控制音乐回放和运行实时的唤醒分析/诱导模型。该组件可负责实际播放音乐,或者可以是在现有媒体播放器——例如,iTunes/Windows媒体播放器等——的基础上的控制层。唤醒分析模型将基于X-系统INRM模型,使用来自于作为起始点的音乐分析组件的预先计算的值。用户将选择期望的输出,以及传感器将用于测量接近每个音轨输出的进度。显式的超控装置将允许用户一次手动跳过特定的音轨,或者永久地将其计入黑名单中,以保证其永远不再被选择。除了它们的效果之外,这些超控装置将给决定模型提供回馈。
该组件的功能将在一定程度上取决于其正在运行的环境。在相关的低功率的装置上,例如,手机和便携式音乐播放器,其可能以较小的精确度、较小的计算集约模式运行,或者如果可能的话,卸载一些程序到远程服务中。
针对笔记本电脑/台式机/平板电脑的应用程序,可使用更复杂的模型。针对小生境的使用,其可与模拟器或视频回放组件相结合运行,以增强诱导的效果。
很多用户很可能希望在多个不同的主机上使用该系统,例如,他们的手机和平板电脑上。该播放器需要一些在系统之间同步和分享这些模型数据的方法。这可能最好通过(或基于)一些类似于苹果iCloud或GooglegDrive的互联网服务实现。这也将提供用于显示数据给分析系统从而用于模拟/训练的渠道。
附加的用途、注释
给予足够的训练,也许有可能开发一个X-系统版本,其能够某种程度上在没有传感器反馈的情况下运行。其效果很可能低于机械化装置,但是对于用户可以有足够的价值,在于避免传感器购买、维修和穿着不便的复杂化。如果这被证明是不可能或不可取的,将很可能通过没有直接连接用户的传感器获得一些反馈,例如,在他们的口袋里携带的手机的加速计,或者在同时指示他们的位置的GPS。
传感器硬件
目前,系统的传感部分使用两个不同的传感器。一个是脉搏血氧仪,其用于监测心率,另一个是皮肤电导传感器,其测量皮肤的电传导性(电阻的倒数)。
脉搏血氧仪
脉搏血氧仪在通过血流中(氧)血红蛋白的光吸收波长原理的基础上运行。通过比较红光和红外的波长吸收值,可以确定含氧血的相对比例,产生‘血氧饱和度’(spO2)图。以相对高的频率追踪该值,其允许指示心跳引起的脉搏的突然变化的检测,因此,能够确定心跳的速度。尽管在医疗环境中很有用,血氧不发生显著地变化或在对X-系统有用的时间尺度上不发生显著地变化或,并且在只有心率数据被收集。
当前系统使用COTS(商品化的产品和技术)传感器,燕牌3150腕带式氧传感器无线脉搏血氧仪。该装置使用软橡胶指尖夹来覆盖光线发射器/检测器,其是典型的传感器类型。可选择地,可使用传感器轻轻夹紧耳朵的耳垂,以及身体的其他方面的装置。该装置使用蓝牙(具有标准和通用的SPP-串行端口协议)用于数据传输。
在该传感器的将来的实施例中,很可能使用比指尖更便利和更少侵入性的传感器位置。通过利用直接传递吸收(即,光直接穿过相对较薄的身体部分,例如手指或耳垂),传感器的可靠性和准确性被大大地改善,但是可以以反射模式运行的装置确实存在,允许其几乎可以放在任何位置,虽然区域要求是血管密度高的位置,并且优选相对靠近皮肤表层的位置。一个好的位置——即,非常适合X-系统的目标的位置——将是表带的一部分,具有在手腕内侧的传感器,其中,表带扣位于典型的表带上。
皮肤电导
皮肤电导,有不同的术语,EDA(电子皮肤活性)、GRS(皮肤电阻抗),或仅是皮肤电阻/电导,其是皮肤带电的能力的测量。基于显而易见的安全因素,电流必须保持在非常低的值,并且需严格控制。针对个人和他们的本地环境的基线皮肤电导率取决于多个因素,但是在短时间尺度上,主要的影响因素是汗液。汗液,本质上是富含电解质的水,是一种良好的导体,并且它的存在降低了皮肤的有效电阻。顺便说一句,电导率(由西门子/欧姆测得(Siemens/mhos))被定义为电阻的倒数(以欧姆表示)。按照惯例,在描述这些系统的时候使用电导,虽然其转换为电阻是微不足道的。
出汗受多种因素的影响,但是我们更感兴趣其与副交感神经系统的关系。唤醒增强与出汗增加有很大的关联性,从而使皮肤电导增加。这种效果是比较快的,可数秒完成。身体汗腺密度最高的区域——手和脚的工作表面——是最有效的传感位置,但是其它位置也是可能的,结果各不相同。手腕和前臂外侧已经显示出可以提供合适的结果[可供参考]。
测量皮肤电导可以多种方式实现。目前的传感器使用简单的分压器,其具有高精度电阻作为接脚,并且两个皮肤接触器应用于用户以作为另外的接脚。为了测量,中央节点也与缓冲的ADC(数模转换器)以用于测量。
也存在其它的设计,并且已经利用惠斯登电桥——特殊的电路结构,其允许高精度微分测量——做了一些原型产品,以改进精度和噪声抑制。
该参数的一个重要的方面是,值可以变化几个数量级。干性皮肤,在寒冷的、干燥的环境中,可以具有微西门子(micro-Siemen)(兆欧姆)范围的电导,而且极爱出汗的皮肤可以降到数百的毫西门子(milli-Siemen)(1-1000欧姆)。在这么大的范围内的精确测量,对于传感器的设计提出了重大的挑战。
现有的传感器,如上所述的,使用相对简单的分压器。其通过集成在传感器微控制器(MCU)中的模拟-数字转换器(ADC),在50Hz左右采样。
目前使用的特定的MCU是德州仪器(Texas Instruments)MSP430F2774。除了ADC之外,该装置包含集成的可编程的增益放大器(PGA),其用于放大来自于1x至16x的信号。这提供了从4位到现有的10位ADC的精度的有效增加。前述的分放大器是另一个用在跟随器(增益)模式的集成的运算放大器,其运行以缓冲信号,并且提供高阻抗负载给分压器,以保证读数不会因为流经采样子系统的大电流而失真。
ADC输入是在近似50Hz的范围采样。如果测试的值落入靠近其全部测量范围的上端或下端的两个区域之一,PGA的前置放大器的增益将被调整,以将其提高来接近测量范围的中心。紧随本次调整之后(在放大器所需的短的稳定期之后)将采用另一个样本。一个滞后的方法在每个区域的边缘实现,以使两个放大器增益水平之间的‘翻滚’的可能性以及与及时采集的值的干扰被反复地减到最少。此外,相对高的采样速率(50Hz)与约2Hz的传输速率相比,留有足够大的空间给放大器调节。高采样率的读数利用具有10Hz的保险装置的简单的低通(FIR)滤波器平均化。
一旦第二个样本完成,落入这些边缘区域并导致放大的变化的样本将被删除。软件信号灯用在固件中,以保证通信子系统当其使用或包含不可靠的数据的时候不能访问样本缓冲器。
如果读数落入缓冲区域但是前置放大器可能已经设置到最大值或最小值,该读数将被存储和传输,但标记有指示潜在的饱和/消波错误的标记。
MCU也与无线电模块连接,其用于与USB基站连通。无线通信在同样不受管制的频带运行,例如WiFi和蓝牙,在2.4GHz。然而,它们具有非常低的功率和数据速率,并被设计成与这些附近的其它装置共存。
更高级别的无线电通信的运用是利用在传感器装置和基站上的SimpliciTI(简单网络协议)专有网络协议的稍加修改的版本。其允许多个传感器在彼此的范围内运行,同时保证数据被正确的基站接收。基站是利用第二个MSP430实现,这次有USB接口,并且其使用标准的USB串行装置驱动器,该驱动器由几乎所有的主机装置和操作系统支持。分层的网络协议之上是X-系统传感器协议,其存在主要是为了传感器读数的方便传输、提供调试输出,以及为了节约功率而允许传感器的选择性启用/禁用。传感器升级的频率也可以调节。
该传感器是采用电池供电的,可以通过USB在原位充电。这允许完全无线操作,并且使可能出现在外部电源线的噪音最小化。
注释
上述部分描述了现有的实施例,但是还有许多计划但尚未展开的附加特征。这些包括升级当前的传感模式,以及与传感器附加类型的结合。
升级包括:
●心率:
○适合手腕式传感的反射红外脉搏血氧计。
○针对心脏波形和节律分析的高频体积描记的采样,超过了简单的‘心率’值。
●皮肤电导:
○基于皮肤电导传感器的惠斯登电桥,其具有分散或集成的精密仪表放大器。
○更复杂的数字滤波阶段。
○使用附属于/靠近皮肤接触的同步加速器来将因为接触式移动物品的读数标记为可疑。
附加的特征包括:
●EEG类型的传感器或针对脑波活动的‘帽子’
●肌电图仪肌张力/触发率
●针对高分辨率的心脏波形的多点ECG
●呼吸深度/速度
●眼球追踪/注视/眨眼分析
未来的数据源尚不可行,但是其将有利于该系统,包括:应激激素(例如皮质醇)血浆浓度、神经触发速率、区域的大脑活动。
在传感器的发展中,将要克服的主要障碍是便利。如果针对大众市场,很少的用户会忍受繁琐的连接线或他们的手或感官的障碍,例如,与治疗或医疗市场相比。将传感器合并成单一的程序包中,例如手表或耳机这样的用品,将是理想的方式。其它的可行性包括将柔性电路集成于服装或鞋类中。
传感器包应该有能力与尽可能多的主机装置具备可行的互用性。这可包括智能手机、功能手机、平板电脑、便携式音乐播放器、手提电脑、家庭音响、和车载音频。最常用的接口可能是WiFi或蓝牙,虽然支持所述主机的范围明显不同。
附录2
模拟人类神经生理反应
下列文件,其通过引用并入本文,在模拟人类的神经生理反应方面提供了信息。
Aragon D,Farris C,Byers JF,竖琴音乐在血管中和胸外科手术病人中的效果(The effects of harp music in vascular and thoracic surgical patients),保健与医学替代疗法(Alternative Therapies in Health and Medicine),2002 9-10,;8(5):52-4,56-60;Baumgartner T,Lutz K,Schmidt CF,Jancke L,音乐的情感力量:音乐如何增强情感图像的感觉(The emotional power of music:how music enhances the feelingof affective pictures),脑研究(Brain Research),2006 2;1075(1):151-64;BernardiL,Porta C,Sleight P,在音乐家和非音乐家中不同类型的音乐引起的心血管,脑血管呼吸的变化:消除噪音的重要性(Cardiovascular,cerebrovascular and respiratorychanges induced by different types of music in musicians and non-musicians:the importance of silence),心脏(英国心脏学会)(Heart(British CardiacSociety)),2006 4;92(4):445-52;Blood AJ,Zatorre RJ,对与涉及奖励和情感的大脑区域中的活动关联的音乐的强烈愉悦的反应(Intensely pleasurable responses to musiccorrelate with activity in brain regions implicated in reward and emotion),美国国家科学院院刊(Proceedings of the National Academy of Sciences),2001 9 25;98(20):11818-23;Brown S,Martinez MJ,Parsons LM,被动式音乐聆听将自发地连接边缘和旁边缘系统(Passive music listening spontaneously engages limbic andparalimbic systems),神经报告(Neuroreport),2004 9 15;15(13):2033-7;Brugge JF,在听觉皮层中的组织模式(Patterns of organisation in auditory cortex),美国声学学会杂志(Journal of the Acoustical Society of America),78(1/2)1985 353-359;Byers JF,Smyth KA,音乐干预对心脏手术病人的噪音滋扰、心率和血压的影响(Effect ofa musical intervention on noise annoyance,heart rate,and blood pressure incardiac surgery patients),美国危症护理杂志(American Journal of CriticalCare),1997 5;6(3):183-91;Cardigan ME,Caruso NA,Haldeman SM,McNamara ME,NoyesDA,Spadafora MA,Carroll DL,音乐对卧床休息的心血管病人的影响(The effects ofmusic on cardiac patients on bed rest),心血管病护理进展(Progress inCardiovascular Nursing),2001冬;16(1):5-13;Decety J,Chaminade T,感觉同情的神经管理(Neural correlates of feeling sympathy),神经心理学(Neuropsychologia),412003 127-138;Evers S,Suhr B,在短时间内音乐感知过程中血清素变化但荷尔蒙未变化(Changes of the neurotransmitter serotonin but not of hormones during shorttime music perception),欧洲神经病学文献与临床神经科学(European Archives ofPsychiatry and Clinical Neuroscience),2000;250(3):144-7;Formisano E,Kim DS,DiSalle F,van de Moortele PF,Ugurbil K,Goebel R,在人类初级听觉皮层中的镜面对称音质映射(Mirror-symmetric tonotopic maps in human primary auditory cortex),神经元(Neuron),40(4)2003 859-869;Gallese V,移情作用的根源。共享歧管假说和主体间性的神经基础(The roots of empathy.The shared manifold hypothesis and theneural basis of intersubjectivity),精神病理学(Psychopathology),36 2003 171-180;Gerra G,A,Franchini D,Palladino M,Giucastro G,Reali N,Maestri D,Caccavari R,Delsignore R,Brambilla F,健康志愿者对‘高技术音乐’的神经内分泌反应:与人格特质和情绪状态的关系(Neuroendocrine responses of healthy volunteersto'techno-music':relationships with personality traits and emotional state),国际心理生理学杂志(International Journal of Psychophysiology),1998 1;28(1):99-111;Grape C,Sandgren M,Hansson LO,Ericson M,Theorell T,唱歌能够促进健康?:专业和业余歌手歌唱课程中的实证研究(Does singing promote well-being?:Anempirical study of professional and amateur singers during a singing lesson),综合生理和行为的科学(Integrative Physiological and Behavioral Science),20031-3;38(1):65-74;Griffiths TD,Buchel C,Frackowiak RS,Patterson RD,人类大脑对声音中的时间结构的分析(Analysis of temporal structure in sound by the humanbrain),自然神经科学(Nature Neuroscience),1(5)1998 422-427;Hebert S,Beland R,Dionne-Fournelle O,Crete M,Lupien SJ,生理应激对玩视频游戏的反应:内置音乐的贡献(Physiological stress response to video-game playing:the contribution ofbuilt-in music),生命科学(Life Sciences),2005 4 1;76(20):2371-80;Holstege G,Bandler R,Saper CB(编),情感运动系统(The emotional motor system),大脑研究进展(Progress in Brain Research)107,爱思唯尔(Elsevier),阿姆斯特丹1996;Iwanaga M,心率和偏爱的音乐节奏之间的关系(Relationship between heart rate and preferencefor tempo of music),知觉和运动技能(Perceptual and Motor Skills),1995 10;81(2):435-40;Iwanaga M,Kobayashi A,Kawasaki C,反复接触音乐的心率变异性(Heartrate variability with repetitive exposure to music),生物心理学(BiologicalPsychology),2005 9;70(1):61-6;Iwanaga M,Tsukamoto M,兴奋和镇静的音乐对主观和生理放松的影响(Effects of excitative and sedative music on subjective andphysiological relaxation),知觉和运动技能(Perceptual and Motor Skills),1997 8;85(1):287-96;Jeannerod M,视觉和行动线索有助于自我-他人的区分(Visual andaction cuescontribute to the self-other distinction),自然神经科学(NatureNeuroscience),7(3)2004 421-422;Knight WE Rickard NS,轻松的音乐可防止诱导增加在健康的男性和女性中的主观焦虑、收缩压和心率(Relaxing music prevents stress-induced increases in subjective anxiety,systolic blood pressure and heartrate in healthy males and females),音乐治疗杂志(Journal of Music Therapy),2001冬;38(4):254-72;Koelsch S,Fritz T,V Cramon DY,Muller K,Friederici AD,音乐情感的调查:功能磁共振成像研究(Investigating emotion with music:an fMRIstudy),人类大脑成像(Human Brain Mapping),2006 3;27(3):239-50;Kumar AM,Tims F,Cruess DG,Mintzer MJ,Ironson G,Loewenstein D,Cattan R,Fernandez JB,EisdorferC,Kumar M,音乐疗法增加了患阿耳滋海默氏病病人的血清褪黑激素水平(Music therapyincreases serum melatonin levels in patients with Alzheimer's disease),保健与医学替代疗法(Alternative Therapies in Health and Medicine),1999 11;5(6):49-57;Lee DN,耦合T介子的指导运动(Guiding movement by coupling taus),生态心理学(Ecological Psychology),1998:10(3-4):221-250;Lee OK,Chung YF,Chan MF,Chan WM,Music and its effect on the音乐及其对接受机械通风的病人的生理反应和焦虑水平的影响:试点研究(Music and its effect on the physiological responses and anxietylevels of patients receiving mechanical ventilation:a pilot study),临床护理杂志(Journal of Clinical Nursing),2005 5;14(5):609-20;Li L,Korngut LM,Frost BJ,Beninger RJ,下神经丘的病变后的前脉冲抑制:前脉冲强度函数(Prepulse inhibitionfollowing lesions of the inferior collicus:prepulse intensity functions),生理学与行为(Physiology and Behavior),1998 8;65(1):133-9;McAdams S,Winsberg S,Donnadieu S,De Soete G,Krimphoff J,合成的音乐音质的知觉比例:通用维度、特异性、和潜在的主题类型(Perceptual scaling of synthesised musical timbres:commondimensions,specidicities,and latent subject classes),心理学研究(PsychologicalResearch),58 1995 177-192;Meloni EG,Davis M,蜗背侧核有助于大鼠的听觉惊跳反射的高强度组元(The dorsal cochlear nucleus contributes to a high intensitycomponent of the acoustic startle reflex in rats),听觉研究(Hearing Research),1998 5;119(1-2):69-80;Menon V,Levitin DJ,Smith BK,Lembke A,Krasnow RD,GlazerD,Glover GH,McAdams S,在谐波声音中的音色变化的神经关联(Neural correlates oftimbre change in harmonic sounds),神经成像(Neuroimage),17(4)2002 1742-1754;Miluk-Kolasa B,Obminski Z,Stupnicki R,Golec L,音乐治疗对患者在手术前紧张而分泌的唾液皮质醇的影响(Effects of music treatment on salivary cortisol inpatients exposed to pre-surgical stress),实验与临床内分泌学(Experimental andClinical Endocrinolog),1994;102(2):118-20;Mok E,Wong KY,音乐对病人的焦虑的影响(Effects of music on patient anxiety),美国手术期护理杂志(AORN Journal),20032;77(2):396-7,401-6,409-10;Molnar-Szakacs I,Overy K,音乐和镜像神经元:从运动到‘电子’运动(Music and mirror neurons:from motion to'e'motion),社会认知情感神经科学(Social Cognitive Affective Neuroscience 1),2006 235-241;Nilsson U,Unosson M,Rawal N,病人在手术后接触平静的音乐可减少压力和镇痛:一项随机对照试验(Stress reduction and analgesia in patients exposed to calming musicpostoperatively:a randomized controlled trial),欧洲麻醉学杂志(EuropeanJournal of Anaesthesiology),2005 2;22(2):96-102;Osborne N 1,在冲突和冲突后区域中的儿童音乐(Music for children in zones of conflict and post-conflictin.),交际音乐性编(Communicative Musicality ed),Malloch和Trevarthen,牛津大学出版社(OUP)2009;Osborne N 2,接近音乐节奏的时间生物学(Towards a chronobiology ofmusical rhythmin),交际音乐性编(Communicative Musicality ed),Malloch和Trevarthen,牛津大学出版社(OUP)2009;Osborne N 3,神经科学和现实世界的实践...(Neuroscience and real world practice...)纽约客学院记事(Annals of the NewYork Academy of Sciences)2012(出版中);Overy K,Molnar-Szakacs I,在一起的时间:音乐体验和镜像神经元系统(Being together in time:musical experience and themirror neuron system),音乐知觉(Music Perception),26 2009 489-504;Pachetti C,Aglieri R,Mancini F,Martignoni E,Nappi G,主动音乐治疗和帕金森氏病(Activemusic therapy and Parkinson's disease:methods),功能性神经学(FunctionalNeurology),1998 1-3;13(1):57-67;Panksepp J,Trevarthen C,情感神经科学(Theneuroscience of emotion in musicin),交际音乐性编(Communicative Musicality),牛津大学出版社(OUP)2009;Pantev C,Hoke M,Lehnertz K,Lutkenhoner B,Anogianakis G,Wittkowski W,瞬时听觉诱发磁场脑电图揭示的人类听觉皮层的音质组织(Tonotopicorganisation of the human auditory cortex revealed by transient auditory-evoked magnetic fields),临床神经生理学(Electroencephalographic ClinicalNeurophysiology),69(2)1988 160-170;Patterson RD,Uppenkamp S,Johnsrude IS,Griffiths TD,听觉皮层中的时间间距和旋律信息的处理(The processing of temporalpitch and melody information in the auditory cortes)神经元(Neuron)36(4)2002767-776;Penhune VB,Zatorre RJ,Feindel WH,在颞叶清除——包括黑索氏回——的病人中听觉皮层在节奏模式保留中的作用的研究(The role of auditory cortex inretention of rhythmic patterns as studied in patients with temporal loberemovals including Heschl's gyrus),神经心理学(Neuropsychologia).1999 3;37(3):315-31;Peretz I,听大脑:对音乐情绪的生物反应(Listen to the brain:a biologicalperspective on musical emotionsin);Juslin P,Sloboda J(编),音乐和情感:理论和研究(Music and Emotion:Theory and Research)牛津大学出版社,伦敦2001;Peretz I,Zatorre RJ(编),音乐的认知神经科学(The cognitive neuroscience of music)牛津大学出版社,伦敦2003;Peretz I,Kolinsky R,音乐鉴别中节律之间的可分性边界:以神经心理学的角度(Boundaries of separability between rhythm in music discrimination:a neuropsychological perspective),实验心理学季刊(The Quarterly Journal ofExperimental Psychology)1993 5;46(2):301-25;Reinhardt U,癌症患者在放松疗法中的心率和音乐节律的研究(Investigations into synchronisation of heart rate andmusical rhythm in relaxation therapy in patients with cancer pain),(德语)Forschende Komplementarmedizin 1999 6;6(3):135-41;Rencanzone GH,Schreiner CE,Merzenich MM,成年猫头鹰猴在辨别训练之后的初级听觉皮层的频率表示中可塑性(Plasticity in the frequency representations of primary auditory cortexfollowing discrimination training in adult owl monkeys)神经系统科学(Neuroscience)13(1)1993 87-103;Rizzolati G,Fogassi I,Gallese V.以理解和模仿动作为基础的神经生理结构(Neuro-physiological mechanisms underlying theunderstanding and imitation of action)神经系统科学自然评论(Nature ReviewsNeuroscience),2,2001 661-670;Schneider N,Schedlowski M,Schurmeyer TH,BeckerH,通过音乐使经历脑血管造影术的病人减轻压力(Stress reduction through music inpatients undergoing cerebral angiography)神经放射学(Neuroradiology)2001 6;43(6):472-6;Stefano GB,Zhu W,Cadet P,Salamon E,Mantione KJ,音乐本质地改变收听者中的快速麻醉和细胞因子过程(Music alters constitutively expressed opiate andcytokine processes in listeners),医学科学评议(Medical Science Monitor)2004 6;10(6):MS18-27;Sutoo D,Akiyama K,音乐改进多巴胺能的神经传递:基于音乐对血压调节的实例(Music improves dopaminergic neurotransmission:demonstration based onthe effect of music on blood pressure regulation)脑研究(Brain Research)2004 86;1016(2):255-62;Talavage TM,Sereno MIO,Melcher JR,Ledden PJ,Rosen BR,DaleAM,由频率灵敏度的级数揭示的人类听觉皮层中的音质组织(Tonotopic organisation inhuman auditory cortex revealed by progressions of frequency sensitivity)神经生理学杂志(Journal of Neurophysiology)91(3)20041282-1296;Trevarthen C,音乐性和内在的音乐脉冲:来自于人类的神经生物学和婴儿沟通的证据(Musicality and theIntrinsic Motive Pulse:Evidence from human psychobiology and infantcommunication),音乐科学特刊:人际交往的节奏、故事和起源(Special Issue ofMusicae Scientiae:Rhythm,Narrative and Origins of Human Communication)1999:157-213;Trevarthen C,Malloch SN,健康之舞:定义音乐治疗效果(The Dance ofWellbeing:Defining the Musical Therapeutic Effect)北欧音乐治疗杂志(NordicJournal of Music Therapy)2000;9(2):65-126;Turner R,Ioannides AA,大脑、音乐和音乐性:神经影像的推论(Brain,music and musicality:inferences from neuroimaging)交际音乐性(Communicative Musicality)牛津大学出版社2009;Uedo N,Ishikawa H,Morimoto K,Ishihara R,Narahara H,Akedo I,Ioka T,Kaji I,Fukuda S,在结肠镜检查中降低唾液皮质醇水平的音乐疗法(Reduction in salivary cortisol level by musictherapy during colonoscopic examination),肝-胃肠病学(Hepato-gastroenterology)20043-4;51(56):451-3;Updike PA,Charles DM,音乐治疗方案:等待整形手术的术前患者对录制的音乐节目的生理和情绪反应(Music Rx:physiological and emotionalresponses to taped music programs of preoperative patients awaiting plasticsurgery),整形外科杂志(Annals of Plastic Surgery).19877;19(1):29-33;Urakawa K,Yokoyama K,音乐能够增强由心率变异性评估的运动诱发的交感神经优势(Music canenhance exercise-induced sympathetic dominancy assessed by heart ratevariability),日本东北实验医学杂志(The Tohoku Journal of ExperimentalMedicine)20057;206(3):213-8;VanderArk SD,Ely D,生物和音乐专业的大学生对不同偏好值的音乐刺激的皮质醇、生物化学、和皮肤电反应(Cortisol,biochemical,andgalvanic skin responses to music stimuli of different preference values bycollege students in biology and music),知觉和运动技能(Perceptual and MotorSkills).19938;77(1):227-34;Warren JD,Uppenkamp S,Patterson RD,Griffiths TD,在人类大脑中分离音高浓度和音高高度(Separating pitch chroma and pitch height inthe human brain),美国国家科学院院刊(Proceedings of the National Academy ofSciences)美国,100(17)2003 10038-10042;Wieser HG,Mazzola G,音乐和音和不和谐度:它们是通过左右海马单独地辨别吗?(Musical consonances and dissonances:are theydistinguished independently by the right and left hippocampi?)神经生理学(Neuropsychologia)1986;24(6):805-12;Yamamoto T,Ohkuwa T,Itoh H,Kitoh M,Terasawa J,Tsuda T,Kitagawa S,Sato Y,运动前听慢和快节奏的音乐对超大的循环性能和选择的代谢变量的影响(Effects of pre-exercise listening to slow and fastrhythm music on supramaximal cycle performance and selected metabolicvariables)生物化学与生理学文献(Archives of Physiology and Biochemistry)20037;111(3):211-4;Zatorre RJ,Peretz I(编)音乐的生物学基础(The biologicalfoundations of music),纽约科学院(New York Academy of Sciences)2001;Zatorre R,J,Evans AC,Meyer E,以针对音高的旋律感知和记忆为基础的神经机制(Neuralmechanisms underlying melodic perception and memory for pitch),神经科学杂志(Journal of Neuroscience)14(4)1994 1908-1919。

Claims (40)

1.一种用于非治疗目的的分析声音的通过计算机实现的系统,该系统包括处理器,其编程为根据以人类大脑中的下部皮质、边缘和皮质下的一个或多个区域的神经生理运行和对声音的反应的预测模型为来源或者相关联的音乐参数自动地分析声音;
该系统分析声音,可以选择和播放合适的声音给收听者,以便刺激和/或操控该收听者的神经生理唤醒;其特征在于,该系统适于自动分析声音并将该分析的结果存储在数据库中,以便随后能够从该数据库中选择合适的声音,并将其播放给收听者,以向该收听者提供神经生理唤醒的期望的刺激和/或操控。
2.根据权利要求1所述的系统,其特征在于,声音是音轨、或任何其它类型的声音。
3.根据权利要求1所述的系统,其特征在于,音乐参数涉及节奏性。
4.根据权利要求1所述的系统,其特征在于,音乐参数涉及谐度,其是与谐波列的对应程度。
5.根据权利要求1所述的系统,其特征在于,音乐参数涉及扰动,其是音乐体验中的变化率和变化程度的测量。
6.根据权利要求3所述的系统,其特征在于,通过分析节拍感应,本系统利用具体校准的初始窗口预测性地模拟原始脊髓通路和运动前回路,其所有都涉及对有节奏的脉动的原始反应。
7.根据权利要求6所述的系统,其特征在于,运动前回路是基底神经节、前庭系统或小脑。
8.根据权利要求3所述的系统,其特征在于,通过利用自相似/自相关算法,本系统预测性地模拟节奏模式识别和保持区域。
9.根据权利要求8所述的系统,其特征在于,保持区域是颞叶的次级听觉皮层。
10.根据权利要求3所述的系统,其特征在于,本系统预测性地模拟镜像神经元系统的活动,其通过以下一个或多个检测节奏性活动的功率、轨迹和意向性:节奏功率的索引,包括音量级别的计算、音量峰值密度、音量低谷、或能量的缺乏和、运行能量的动态曲线。
11.根据权利要求3所述的系统,其特征在于,通过分析起始之前和起始中的能量消耗曲线、重要的镜像神经元信息,以及导致明显发音的能量流的曲线的计算,本系统预测性地模拟镜像神经元的活动。
12.根据权利要求4所述的系统,其特征在于,通过确定谐度和失谐度的水平,本系统预测性地模拟黑索氏回对声音的运行和反应。
13.根据权利要求4所述的系统,其特征在于,其通过谐波乘积频谱的计算来检测主要的基音,之后建立不同基音频谱内和之间的谐度的等级。
14.根据权利要求13所述的系统,其特征在于,将主要的基音的检测和谐度等级的确定“垂直地”应用于瞬时的时刻,和“水平地”应用于音高和频谱随时间的演进(涉及黑索氏回周围区域的音质映射),并且以线性谐波损失的方式表示,该谐波损失代表基音变化的速率和变化的谐波距离。
15.根据权利要求14所述的系统,其特征在于,通过分析瞬时时刻的垂直谐度的窗口,本系统预测性地模拟黑索氏回、颞上沟、岛环状沟对简单的音色的神经生理感觉。
16.根据权利要求14所述的系统,其特征在于,本系统根据每个短时傅里叶变换(STFT)时间片偏离于谐波列的简单比例的程度来预测性地模拟旋律和谐波的演进,线性谐波损失从基音频率不同于之前的片的短时傅里叶变换(STFT)时间片处上升;在基音上无变化的时间片具有零损失。
17.根据权利要求5所述的系统,其特征在于,扰动将节奏性和谐度的变化索引与听觉脑干和皮质活动相结合,该听觉脑干和皮质活动神经支配杏仁核、海马和核心情感系统区域,该杏仁核、海马和核心情感系统区域影响神经传递和内分泌系统,包括肾上腺轴、多巴胺回路和去甲肾上腺素、褪黑素和催产素的水平。
18.根据权利要求1所述的系统,其特征在于,声音的分析在本地存储的音乐数据上实时地运行,并且该系统包括在个人计算装置上运行的软件、固件和/或硬件。
19.根据权利要求1所述的系统,其特征在于,将定义针对特定的声音的节奏性、谐度和扰动的数据以给出代表唤醒的单一输出的方式结合。
20.根据权利要求19所述的系统,其特征在于,特定的声音是音乐音轨或该音轨的部分。
21.根据权利要求3所述的系统,其特征在于,利用等式确定节奏性,该等式将R与B和S关联,等式R=√B*S^2,并且其中R是节奏性,B是每分钟的节拍,S是节拍强度的平均值。
22.根据权利要求3所述的系统,其特征在于,利用等式确定节奏性,该等式将I与C和H关联,等式I=C/10–H,并且其中I是失谐度,C是线性谐度损失,和H是瞬时的节奏。
23.根据权利要求5所述的系统,其特征在于,利用等式确定扰动,该等式将T与H和P联系起来,等式T=dH/dt*P,其中,T是扰动,H是节奏性,和P是峰值音量期间的能量。
24.根据权利要求1所述的系统,其特征在于,将针对给定的音轨的节奏性、谐度和波动的值结合在一起,并映射到表征生理状态的n维点p中,并且其中,该系统利用等式确定兴奋状态,该等式将E与I、R和T联系起来,等式E=(10*I*R)+T,其中,E是兴奋状态,R是节奏性、I是失谐度,和T是波动。
25.根据权利要求1所述的系统,其特征在于,分析声音是为了导航、或发现、或检索、或选择、或创建播放列表、或诱导情感或诱导情绪的目的。
26.根据权利要求1所述的系统,其特征在于,该系统用于根据人类受检者预先选择的期望的唤醒状态来选择音轨并将其回放给人类受检者,选择音轨是根据人类的神经生理对音乐的反应的模型来进行,使用神经生理反应的模型来选择回放的音轨是根据该神经生理反应的模型预测的人类对音乐音轨的神经生理反应。
27.根据权利要求1所述的系统,其特征在于,主要的音乐库和分析软件存在于人类受检者远程或本地可操作的计算机上,其具有将音乐的选择传递给个人音乐播放器装置的能力,之后,该个人音乐播放器装置根据可用的音乐产生动态播放列表。
28.根据权利要求1所述的系统,其特征在于,通过机器学习完善对声音的人类神经生理反应的模型。
29.根据权利要求1所述的系统,其特征在于,机器学习是线性回归和/或神经网络方法。
30.根据权利要求1所述的系统,其特征在于,传感器用于测量人类受检者的唤醒状态,并且通过预测性模拟人类神经生理反应的模型来分类的声音被流媒体式提供或以其它方式提供,以便实现人类受检者预先选择的期望的唤醒状态。
31.根据权利要求1所述的系统,其特征在于,该系统包含传感器,这样,一旦激活传感器,系统测量人类受检者的初始神经生理唤醒水平,并且该系统将自动地创建播放列表,其将首先反映出该唤醒水平,之后引导人类受检者接近并使他们保持在人类受检者的预先选择的期望唤醒状态。
32.根据权利要求1所述的系统,其特征在于,创建播放列表,以便诱导或保持唤醒,以及引导精神状态和/或情感。
33.根据权利要求1所述的系统,其特征在于,个体的神经生理唤醒水平的测量被自动地进行并表示为数值,以便使其能够通过数据库中的理论上无限数量的音乐片段的任意一个的音乐效果所反映。
34.根据权利要求1所述的系统,其特征在于,该系统可操作为检测音轨的情绪唤醒参数信息,并且进一步可操作为将该信息嵌入到音轨或指向音轨的电子链接中,或作为与音轨关联的元数据。
35.根据权利要求1所述的系统,其特征在于,该系统可操作为能够实现对存储在远程或本地的数据库中的音乐的自动搜索,以查找具有满足定义的标准的音乐。
36.根据权利要求1所述的系统,其特征在于,该系统可操作为在社交网络应用程序中分享唤醒值。
37.根据权利要求1所述的系统,其特征在于,该系统可操作为将与搜索引擎交互的用户所关联的唤醒值分享给该搜索引擎,以便该搜索引擎能够在之后使用这些值来优化通过搜索引擎进行的搜索和/或广告选择。
38.一种用于非治疗目的的分析声音的方法,其特征在于,包含自动分析声音的步骤,分析是根据人类大脑中的下部皮质、边缘和皮质下的一个或多个区域的人类神经生理运行和对声音的反应的预测模型来进行;其中,该系统适于自动分析声音并将该分析的结果存储在数据库中,以便随后能够从该数据库中选择合适的声音,并将其播放给收听者,以向该收听者提供神经生理唤醒的期望的刺激和/或操控。
39.根据权利要求38所述的用于非治疗目的的分析声音的方法,其特征在于,声音或音轨用于根据人类受检者预先选择的期望唤醒状态回放给人类受检者,包含以下步骤:
(i)存储一组可操作用于回放选择的单独的音轨;
(ii)根据人类大脑中的下部皮质、边缘和皮质下区域中的一个或多个的运行和对声音的反应的神经生理模型,预测对单独的音轨的神经生理反应;
(iii)接收人类受检者选择的期望的唤醒状态,和
(iv)根据预测的对单独的音轨的神经生理反应和人类受检者选择的期望的唤醒状态,选择音轨。
40.一种通过计算机实现的用于非治疗目的的方法,其特征在于,创建通过自动或手动分析音乐参数产生的音轨的播放列表,以便诱导唤醒和引导精神状态和/或情感,该音乐参数源于人类的下部皮质、边缘和皮质下的神经生理运行和对音乐片段的反应的预测模型;其中,该系统适于自动分析声音并将该分析的结果存储在数据库中,以便随后能够从该数据库中选择合适的声音,并将其播放给收听者,以向该收听者提供神经生理唤醒的期望的刺激和/或操控。
CN201710054616.0A 2011-06-10 2012-06-11 用于分析声音的方法和系统 Pending CN107066801A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1109731.8 2011-06-10
GBGB1109731.8A GB201109731D0 (en) 2011-06-10 2011-06-10 Method and system for analysing audio tracks
CN201280039163.XA CN103890838A (zh) 2011-06-10 2012-06-11 用于分析声音的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280039163.XA Division CN103890838A (zh) 2011-06-10 2012-06-11 用于分析声音的方法和系统

Publications (1)

Publication Number Publication Date
CN107066801A true CN107066801A (zh) 2017-08-18

Family

ID=44357513

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710054616.0A Pending CN107066801A (zh) 2011-06-10 2012-06-11 用于分析声音的方法和系统
CN201280039163.XA Pending CN103890838A (zh) 2011-06-10 2012-06-11 用于分析声音的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280039163.XA Pending CN103890838A (zh) 2011-06-10 2012-06-11 用于分析声音的方法和系统

Country Status (7)

Country Link
US (4) US9736603B2 (zh)
EP (1) EP2729931B1 (zh)
JP (1) JP2014526057A (zh)
CN (2) CN107066801A (zh)
GB (4) GB201109731D0 (zh)
HK (1) HK1199321A1 (zh)
WO (1) WO2012168740A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578785A (zh) * 2017-09-05 2018-01-12 哈尔滨工业大学 基于Gamma分布分析的音乐连续情感特征分析评价方法
CN108417228A (zh) * 2018-02-02 2018-08-17 福州大学 乐器音色迁移下的人声音色相似性度量方法
CN108986843A (zh) * 2018-08-10 2018-12-11 杭州网易云音乐科技有限公司 音频数据处理方法及装置、介质和计算设备
WO2021103084A1 (zh) * 2019-11-28 2021-06-03 中国科学院深圳先进技术研究院 一种用于睡眠调节的深度声音刺激系统和方法
RU2762019C1 (ru) * 2018-05-29 2021-12-14 Као Корпорейшн Способ оценки функциональной способности листа вызывать ощущение комфорта и лист, вызывающий ощущение комфорта

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102040199B1 (ko) * 2012-07-11 2019-11-05 한국전자통신연구원 오디오 품질 측정 장치 및 그 방법
TW201404359A (zh) * 2012-07-18 2014-02-01 Univ Nat Taiwan 情緒亢奮度量測系統及方法
US9195649B2 (en) 2012-12-21 2015-11-24 The Nielsen Company (Us), Llc Audio processing techniques for semantic audio recognition and report generation
US9183849B2 (en) 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
US9158760B2 (en) 2012-12-21 2015-10-13 The Nielsen Company (Us), Llc Audio decoding with supplemental semantic audio recognition and report generation
JP6368073B2 (ja) * 2013-05-23 2018-08-01 ヤマハ株式会社 音源装置およびプログラム
JP5888305B2 (ja) * 2013-10-11 2016-03-22 セイコーエプソン株式会社 計測情報表示装置、計測情報表示システム、計測情報表示方法及び計測情報表示プログラム
JP6433650B2 (ja) * 2013-11-15 2018-12-05 国立大学法人佐賀大学 気分誘導装置および気分誘導プログラムならびにコンピュータの動作方法
US9972357B2 (en) * 2014-01-08 2018-05-15 Adobe Systems Incorporated Audio and video synchronizing perceptual model
US20150216468A1 (en) * 2014-01-31 2015-08-06 Konica Minolta Laboratory U.S.A., Inc. Method and system for real-time insight detection using eeg signals
US12029573B2 (en) 2014-04-22 2024-07-09 Interaxon Inc. System and method for associating music with brain-state data
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
US10642845B2 (en) * 2014-05-30 2020-05-05 Apple Inc. Multi-domain search on a computing device
TWI557563B (zh) * 2014-06-04 2016-11-11 國立成功大學 情緒調控系統及其調控方法
US20160055420A1 (en) * 2014-08-20 2016-02-25 Puretech Management, Inc. Systems and techniques for identifying and exploiting relationships between media consumption and health
CN104332167B (zh) * 2014-09-30 2018-01-16 上海斐讯数据通信技术有限公司 一种音乐播放器及配置有音乐播放器的手机
US20160133241A1 (en) * 2014-10-22 2016-05-12 Humtap Inc. Composition engine
US10431192B2 (en) 2014-10-22 2019-10-01 Humtap Inc. Music production using recorded hums and taps
JP2018504719A (ja) * 2014-11-02 2018-02-15 エヌゴーグル インコーポレイテッド スマートオーディオヘッドホンシステム
SE1451410A1 (sv) 2014-11-21 2016-05-17 Melaud Ab Earphones with sensor controlled audio output
EP3229661B1 (en) * 2014-12-11 2022-11-30 Koninklijke Philips N.V. System and method for determining spectral boundaries for sleep stage classification
CN104777356A (zh) * 2015-03-10 2015-07-15 三峡大学 一种基于神经网络的实时高精度谐波检测方法
CN104688222B (zh) * 2015-04-03 2017-04-26 清华大学 基于脑电信号的音色合成装置
US9978426B2 (en) * 2015-05-19 2018-05-22 Spotify Ab Repetitive-motion activity enhancement based upon media content selection
US9563268B2 (en) 2015-05-19 2017-02-07 Spotify Ab Heart rate control based upon media content selection
US10372757B2 (en) 2015-05-19 2019-08-06 Spotify Ab Search media content based upon tempo
US20160357498A1 (en) * 2015-06-03 2016-12-08 Microsoft Technology Licensing, Llc Gamified Adaptive Digital Disc Jockey
GB2581032B (en) * 2015-06-22 2020-11-04 Time Machine Capital Ltd System and method for onset detection in a digital signal
CN105232038A (zh) * 2015-10-21 2016-01-13 深圳市冠旭电子有限公司 一种基于智能耳机的脑波分析方法及装置
US20170046973A1 (en) * 2015-10-27 2017-02-16 Thea Kuddo Preverbal elemental music: multimodal intervention to stimulate auditory perception and receptive language acquisition
EP3188182A1 (de) * 2015-12-30 2017-07-05 Josip Meixner Akustisches signal
US10369323B2 (en) * 2016-01-15 2019-08-06 Robert Mitchell JOSEPH Sonification of biometric data, state-songs generation, biological simulation modelling, and artificial intelligence
US10209690B2 (en) 2016-01-15 2019-02-19 Google Llc Systems and methods for provisioning devices using acoustic signals
US10185766B2 (en) 2016-01-15 2019-01-22 Google Llc Systems and methods for monitoring objects and their states by using acoustic signals
US9756281B2 (en) 2016-02-05 2017-09-05 Gopro, Inc. Apparatus and method for audio based video synchronization
US11113346B2 (en) 2016-06-09 2021-09-07 Spotify Ab Search media content based upon tempo
US10984035B2 (en) 2016-06-09 2021-04-20 Spotify Ab Identifying media content
CN110633067B (zh) * 2016-06-16 2023-02-28 Oppo广东移动通信有限公司 一种音效参数的调节方法及移动终端
GB2551807B (en) 2016-06-30 2022-07-13 Lifescore Ltd Apparatus and methods to generate music
EP3481294B1 (en) 2016-07-11 2021-03-10 Arctop Ltd Method and system for providing a brain computer interface
US10326806B1 (en) * 2016-07-19 2019-06-18 Google Llc Persisting state of a streaming application
US9697849B1 (en) 2016-07-25 2017-07-04 Gopro, Inc. Systems and methods for audio based synchronization using energy vectors
US9640159B1 (en) 2016-08-25 2017-05-02 Gopro, Inc. Systems and methods for audio based synchronization using sound harmonics
CN106231484A (zh) * 2016-08-29 2016-12-14 北海爱飞数码科技有限公司 多音效智能音箱
US9653095B1 (en) 2016-08-30 2017-05-16 Gopro, Inc. Systems and methods for determining a repeatogram in a music composition using audio features
JP6945127B2 (ja) * 2016-09-16 2021-10-06 パナソニックIpマネジメント株式会社 ストレスマネジメントシステム、ストレスマネジメント方法及びコンピュータプログラム
US9916822B1 (en) 2016-10-07 2018-03-13 Gopro, Inc. Systems and methods for audio remixing using repeated segments
JP6791258B2 (ja) * 2016-11-07 2020-11-25 ヤマハ株式会社 音声合成方法、音声合成装置およびプログラム
JP6843992B2 (ja) * 2016-11-23 2021-03-17 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 相関分離フィルタの適応制御のための方法および装置
JP6540681B2 (ja) * 2016-12-26 2019-07-10 カシオ計算機株式会社 楽音生成装置および方法、電子楽器
CN108268530B (zh) * 2016-12-30 2022-04-29 阿里巴巴集团控股有限公司 一种歌词的配乐生成方法和相关装置
US10203216B2 (en) 2016-12-31 2019-02-12 Spotify Ab Duration-based customized media program
US10412183B2 (en) * 2017-02-24 2019-09-10 Spotify Ab Methods and systems for personalizing content in accordance with divergences in a user's listening history
CN107071612B (zh) * 2017-03-20 2019-06-28 广东小天才科技有限公司 一种基于耳机的用户设备播放控制方法及耳机
US10838685B2 (en) * 2017-03-23 2020-11-17 Fuji Xerox Co., Ltd. Information processing device and non-transitory computer-readable medium
CN110495189A (zh) * 2017-04-18 2019-11-22 奥姆尼欧声音有限公司 利用心理声学分组现象的立体声展开
US10388034B2 (en) * 2017-04-24 2019-08-20 International Business Machines Corporation Augmenting web content to improve user experience
US10068557B1 (en) * 2017-08-23 2018-09-04 Google Llc Generating music with deep neural networks
US10545720B2 (en) 2017-09-29 2020-01-28 Spotify Ab Automatically generated media preview
EP3688997A4 (en) 2017-09-29 2021-09-08 Warner Bros. Entertainment Inc. PRODUCTION AND CONTROL OF CINEMATIC CONTENT IN RESPONSE TO A USER'S EMOTIONAL STATE
CN107613427B (zh) * 2017-11-02 2019-06-11 广州市双泰电子科技有限公司 一种智能音响用定向播放调节装置
GB201718894D0 (en) * 2017-11-15 2017-12-27 X-System Ltd Russel space
US11020560B2 (en) * 2017-11-28 2021-06-01 International Business Machines Corporation System and method to alleviate pain
EP3508972A1 (en) * 2018-01-04 2019-07-10 Harman International Industries, Incorporated Biometric personalized audio processing system
WO2019136394A1 (en) * 2018-01-08 2019-07-11 Chappell Arvel A Social interactive applications for detection of neuro-physiological state
CN108345676A (zh) * 2018-02-11 2018-07-31 广东欧珀移动通信有限公司 信息推送方法及相关产品
FR3078249A1 (fr) * 2018-02-28 2019-08-30 Dotsify Systeme interactif de diffusion de contenu multimedia
CN110309327B (zh) * 2018-02-28 2024-10-01 北京搜狗科技发展有限公司 音频生成方法、装置以及用于音频的生成装置
CN108742602A (zh) * 2018-03-26 2018-11-06 校宝在线(杭州)科技股份有限公司 一种基于脑电波的结巴检测方法
CN108682431B (zh) * 2018-05-09 2021-08-03 武汉理工大学 一种pad三维情感空间中的语音情感识别方法
CN108694951B (zh) * 2018-05-22 2020-05-22 华南理工大学 一种基于多流分层融合变换特征和长短时记忆网络的说话人辨识方法
US11508393B2 (en) * 2018-06-12 2022-11-22 Oscilloscape, LLC Controller for real-time visual display of music
DK3582514T3 (da) * 2018-06-14 2023-03-06 Oticon As Lydbehandlingsapparat
CN109035968B (zh) * 2018-07-12 2020-10-30 杜蘅轩 钢琴学习辅助系统和钢琴
IT201800008080A1 (it) * 2018-08-13 2020-02-13 Viscount Int Spa Sistema per la generazione di suono sintetizzato in strumenti musicali.
CN109060109B (zh) * 2018-08-22 2021-12-24 湖南城市学院 基于阻抗技术的大提琴共鸣箱信息化声学检测方法及系统
US20200103309A1 (en) * 2018-09-28 2020-04-02 Computational Systems, Inc. Historical Playback of Waveform Data
US10936647B2 (en) * 2018-10-04 2021-03-02 International Business Machines Corporation Generating and playing back media playlists via utilization of biometric and other data
US11328700B2 (en) * 2018-11-15 2022-05-10 Sony Interactive Entertainment LLC Dynamic music modification
WO2020131148A1 (en) 2018-12-21 2020-06-25 Hi Llc Biofeedback for awareness and modulation of mental state using a non-invasive brain interface system and method
JP2020106753A (ja) * 2018-12-28 2020-07-09 ローランド株式会社 情報処理装置および映像処理システム
US11694786B1 (en) 2019-01-04 2023-07-04 Yasmine Van Wilt Recommendation methods, systems and devices
US11205414B2 (en) 2019-02-15 2021-12-21 Brainfm, Inc. Noninvasive neural stimulation through audio
WO2020171035A1 (ja) * 2019-02-20 2020-08-27 ヤマハ株式会社 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
US20200302825A1 (en) 2019-03-21 2020-09-24 Dan Sachs Automated selection and titration of sensory stimuli to induce a target pattern of autonomic nervous system activity
JP7318253B2 (ja) * 2019-03-22 2023-08-01 ヤマハ株式会社 楽曲解析方法、楽曲解析装置およびプログラム
EP3946013A1 (en) 2019-04-04 2022-02-09 Hi LLC Modulation of mental state of a user using a non-invasive brain interface system and method
US11172869B2 (en) 2019-04-26 2021-11-16 Hi Llc Non-invasive system and method for product formulation assessment based on product-elicited brain state measurements
CN110070888A (zh) * 2019-05-07 2019-07-30 颐保医疗科技(上海)有限公司 一种基于卷积神经网络的帕金森语音识别方法
EP3736804A1 (en) * 2019-05-07 2020-11-11 Moodagent A/S Methods and systems for determining compact semantic representations of digital audio signals
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
JP2022536356A (ja) 2019-06-11 2022-08-15 エイチアイ エルエルシー プライミング効果の自覚によるユーザーの精神状態の検出及び変調のための非侵襲的システム並びに方法
CN110399521B (zh) * 2019-06-21 2023-06-06 平安科技(深圳)有限公司 音乐检索方法、系统、计算机设备及计算机可读存储介质
CN110728995A (zh) * 2019-09-19 2020-01-24 中国康复研究中心 应用于卒中后失语症的语音及音乐能力评估系统
US20210090535A1 (en) * 2019-09-24 2021-03-25 Secret Chord Laboratories, Inc. Computing orders of modeled expectation across features of media
CN114630613A (zh) * 2019-11-12 2022-06-14 梅德律动公司 用于神经康复的系统和方法
WO2021178298A1 (en) 2020-03-04 2021-09-10 Hi Llc Systems and methods for training and using a neurome that emulates the brain of a user
US11694113B2 (en) * 2020-03-05 2023-07-04 International Business Machines Corporation Personalized and adaptive learning audio filtering
EP4115629A1 (en) * 2020-03-06 2023-01-11 algoriddim GmbH Method, device and software for applying an audio effect to an audio signal separated from a mixed audio signal
JP7501026B2 (ja) * 2020-03-23 2024-06-18 ヤマハ株式会社 楽器および楽器連携プログラム
US12059533B1 (en) * 2020-05-20 2024-08-13 Pineal Labs Inc. Digital music therapeutic system with automated dosage
CN111642022B (zh) * 2020-06-01 2022-07-15 重庆邮电大学 一种支持数据包聚合的工业无线网络确定性调度方法
FR3119990A1 (fr) 2021-02-23 2022-08-26 Athénaïs OSLATI Dispositif et procédé de modification d’un état émotionnel d’un utilisateur
US20220335915A1 (en) * 2021-04-18 2022-10-20 Tony Jonathan Graber Methods and systems of sound-stimulation practice
US20230027322A1 (en) * 2021-06-09 2023-01-26 Coro Health, Llc Therapeutic music and media processing system
US11957467B2 (en) 2021-07-02 2024-04-16 Brainfm, Inc. Neural stimulation through audio with dynamic modulation characteristics
US11966661B2 (en) * 2021-10-19 2024-04-23 Brainfm, Inc. Audio content serving and creation based on modulation characteristics
EP4429535A1 (en) 2021-11-08 2024-09-18 X-System Limited Computer system, computer-implemented method and methods of treatment
US20230207098A1 (en) * 2021-12-23 2023-06-29 Luvo LLC Vibratory output health device
KR20240095697A (ko) * 2022-12-16 2024-06-26 현대자동차주식회사 컨텐츠 제공 장치 및 방법
WO2024137281A1 (en) * 2022-12-22 2024-06-27 Oscilloscape, LLC Systems and methods for music recommendations for audio and neural stimulation
CN116312971B (zh) * 2023-05-15 2023-08-29 之江实验室 认知训练素材生成方法、认知训练方法、装置和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040237759A1 (en) * 2003-05-30 2004-12-02 Bill David S. Personalizing content
WO2006050512A2 (en) * 2004-11-03 2006-05-11 Plain Sight Systems, Inc. Musical personal trainer
EP1730491A1 (en) * 2004-03-31 2006-12-13 DIGITAL BIO TECHNOLOGY Seoul National University Institute of Advance Device having an optical part for analyzing micro particles
US20070131096A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Automatic Music Mood Detection
CN101743037A (zh) * 2007-05-25 2010-06-16 托马斯杰弗逊大学 根据主体需求改进其注意力和记忆力的治疗方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4883067A (en) 1987-05-15 1989-11-28 Neurosonics, Inc. Method and apparatus for translating the EEG into music to induce and control various psychological and physiological states and to control a musical instrument
US5267942A (en) 1992-04-20 1993-12-07 Utah State University Foundation Method for influencing physiological processes through physiologically interactive stimuli
JP3588781B2 (ja) * 1993-10-15 2004-11-17 マツダ株式会社 自動車の覚醒制御装置
US5667470A (en) 1994-02-08 1997-09-16 Jiri Janata Apparatus and method for using listener feedback to determine the nature of sound stimuli presented to the listener
JPH09187512A (ja) * 1996-01-12 1997-07-22 Matsushita Electric Ind Co Ltd 入眠覚醒器
JP3797547B2 (ja) * 2001-03-21 2006-07-19 松下電器産業株式会社 プレイリスト生成装置、オーディオ情報提供装置、オーディオ情報提供システムおよびその方法、プログラム、記録媒体
EP1244033A3 (en) 2001-03-21 2004-09-01 Matsushita Electric Industrial Co., Ltd. Play list generation device, audio information provision device, system, method, program and recording medium
DE10123281C1 (de) * 2001-05-14 2002-10-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen des Audiosignals unter Verwendung einer Autokorrelationsfunktion
US7081579B2 (en) 2002-10-03 2006-07-25 Polyphonic Human Media Interface, S.L. Method and system for music recommendation
US9949004B2 (en) * 2003-03-10 2018-04-17 Daniel E. Cohen Sound and vibration transmission device
US7521623B2 (en) 2004-11-24 2009-04-21 Apple Inc. Music synchronization arrangement
US20190175895A1 (en) * 2003-09-04 2019-06-13 Parallel Biotechnologies, LLC Vibration system localized proximate a target artery
US20130281897A1 (en) * 2003-09-04 2013-10-24 Ahof Biophysical Systems Inc. Non-invasive reperfusion system by deformation of remote, superficial arteries at a frequency much greater than the pulse rate
EP1679093B1 (en) * 2003-09-18 2019-09-11 Action Research Co., Ltd. Apparatus for environmental setting
US7326507B2 (en) 2004-01-30 2008-02-05 Eastman Kodak Company Preparation of a toner for reproducing a metallic hue and the toner
EP1703491B1 (en) * 2005-03-18 2012-02-22 Sony Deutschland GmbH Method for classifying audio data
JP2007075172A (ja) 2005-09-12 2007-03-29 Sony Corp 音出力制御装置、音出力制御方法および音出力制御プログラム
CN101495942A (zh) * 2005-09-26 2009-07-29 皇家飞利浦电子股份有限公司 用于分析正被提供内容信息的用户的情绪状态的方法和设备
US7683252B2 (en) 2005-11-23 2010-03-23 Microsoft Corporation Algorithm for providing music to influence a user's exercise performance
JP2009529753A (ja) 2006-03-09 2009-08-20 グレースノート インコーポレイテッド メディアナビゲーション方法及びシステム
EP1895505A1 (en) 2006-09-04 2008-03-05 Sony Deutschland GmbH Method and device for musical mood detection
US20100191037A1 (en) 2007-06-01 2010-07-29 Lorenzo Cohen Iso music therapy program and methods of using the same
EP2088518A1 (en) * 2007-12-17 2009-08-12 Sony Corporation Method for music structure analysis
US20100075806A1 (en) * 2008-03-24 2010-03-25 Michael Montgomery Biorhythm feedback system and method
US20110137111A1 (en) * 2008-04-18 2011-06-09 Neuromonics Pty Ltd Systems methods and apparatuses for rehabilitation of auditory system disorders
WO2010027509A1 (en) * 2008-09-05 2010-03-11 Sourcetone, Llc Music classification system and method
WO2010040184A1 (en) * 2008-10-10 2010-04-15 Neuromonics Pty Ltd Systems, methods, and devices for rehabilitation of auditory system disorders using pharmaceutical agents and auditory devices
JP5011266B2 (ja) 2008-11-19 2012-08-29 パナソニック株式会社 快適性評価モデル作成装置、快適性評価装置および快適環境提供装置
US8071869B2 (en) * 2009-05-06 2011-12-06 Gracenote, Inc. Apparatus and method for determining a prominent tempo of an audio work
JP5454878B2 (ja) 2009-07-22 2014-03-26 株式会社東芝 Rofシステム、親局装置、及び伝送路遅延時間調整方法
US20110106750A1 (en) * 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US9258642B2 (en) * 2010-12-17 2016-02-09 Valkee Oy Audio-optical arrangement, accessory, earpiece unit and audio device
JP2012168780A (ja) * 2011-02-15 2012-09-06 Panasonic Corp 変化対応型嗜好推定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040237759A1 (en) * 2003-05-30 2004-12-02 Bill David S. Personalizing content
EP1730491A1 (en) * 2004-03-31 2006-12-13 DIGITAL BIO TECHNOLOGY Seoul National University Institute of Advance Device having an optical part for analyzing micro particles
WO2006050512A2 (en) * 2004-11-03 2006-05-11 Plain Sight Systems, Inc. Musical personal trainer
US20070131096A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Automatic Music Mood Detection
CN101743037A (zh) * 2007-05-25 2010-06-16 托马斯杰弗逊大学 根据主体需求改进其注意力和记忆力的治疗方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAN LIU ETAL.: "Automatic Mood Detection from Acoustic Music Data", 《PROCEEDINGS ANNUAL INTERNATIONAL SYMPOSIUM ON MUSIC INFORMATIONRETRIEVAL》 *
K. WANG AND S. SHAMMA: "Representation of Acoustic Signals in the Primary Auditory Cortex", 《IEEE TRANS. AUDIO AND SPEECH PROCESSING》 *
MARTA TOLOS ETAL.: "Mood-based navigation through large collections of musical data", 《CONSUMER COMMUNICATIONS AND NETWORKING CONFERENCE,2005.CCNC.2005 SECOND IEEE》 *
SHIHAB SHAMMA: "On the role of space and time in auditory processing", 《TRENDS IN COGNITIVE SCIENCES》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578785A (zh) * 2017-09-05 2018-01-12 哈尔滨工业大学 基于Gamma分布分析的音乐连续情感特征分析评价方法
CN107578785B (zh) * 2017-09-05 2020-08-14 哈尔滨工业大学 基于Gamma分布分析的音乐连续情感特征分析评价方法
CN108417228A (zh) * 2018-02-02 2018-08-17 福州大学 乐器音色迁移下的人声音色相似性度量方法
RU2762019C1 (ru) * 2018-05-29 2021-12-14 Као Корпорейшн Способ оценки функциональной способности листа вызывать ощущение комфорта и лист, вызывающий ощущение комфорта
CN108986843A (zh) * 2018-08-10 2018-12-11 杭州网易云音乐科技有限公司 音频数据处理方法及装置、介质和计算设备
CN108986843B (zh) * 2018-08-10 2020-12-11 杭州网易云音乐科技有限公司 音频数据处理方法及装置、介质和计算设备
WO2021103084A1 (zh) * 2019-11-28 2021-06-03 中国科学院深圳先进技术研究院 一种用于睡眠调节的深度声音刺激系统和方法

Also Published As

Publication number Publication date
EP2729931A1 (en) 2014-05-14
US9736603B2 (en) 2017-08-15
HK1199321A1 (zh) 2015-06-26
US20220285006A1 (en) 2022-09-08
US11342062B2 (en) 2022-05-24
EP2729931B1 (en) 2020-10-07
US20180027347A1 (en) 2018-01-25
WO2012168740A1 (en) 2012-12-13
GB201210251D0 (en) 2012-07-25
GB201109731D0 (en) 2011-07-27
US20200213790A1 (en) 2020-07-02
GB201206690D0 (en) 2012-05-30
US20140307878A1 (en) 2014-10-16
GB201206982D0 (en) 2012-06-06
US10587967B2 (en) 2020-03-10
GB2491722A (en) 2012-12-12
JP2014526057A (ja) 2014-10-02
CN103890838A (zh) 2014-06-25

Similar Documents

Publication Publication Date Title
US11342062B2 (en) Method and system for analysing sound
US20200286505A1 (en) Method and system for categorizing musical sound according to emotions
US12029573B2 (en) System and method for associating music with brain-state data
US11786163B2 (en) System and method for associating music with brain-state data
Lundqvist et al. Emotional responses to music: Experience, expression, and physiology
Yu et al. Unwind: a musical biofeedback for relaxation assistance
Gomez et al. Relationships between musical structure and psychophysiological measures of emotion.
JP2018504719A (ja) スマートオーディオヘッドホンシステム
Garg et al. Machine learning model for mapping of music mood and human emotion based on physiological signals
Ogg et al. Psychophysiological indices of music-evoked emotions in musicians
Parncutt et al. Chuckrow’s theory of the prenatal origin of music
Wang et al. Musical rhythms affect heart rate variability: Algorithm and models
Lee et al. Music for sleep and wake-up: an empirical study
de l’Etoile et al. Infant movement response to auditory rhythm
US20230027322A1 (en) Therapeutic music and media processing system
Kaneshiro Toward an objective neurophysiological measure of musical engagement
Poudrier The influence of rate and accentuation on subjective rhythmization
Chen et al. Finding therapeutic music for anxiety using scoring model
Ferguson et al. Digital music interventions for stress with bio-sensing: a survey
US11635934B2 (en) Systems and methods for identifying segments of music having characteristics suitable for inducing autonomic physiological responses
Filipcic The age of music streaming: the use of music metadata to inform music therapy clinical decisions
Pan The use of music therapy/music to address sleep quality and sleep disorders: a systematic literature review
Soliński et al. A framework for modeling performers' beat-to-beat heart intervals using music features and Interpretation Maps
Saucedo Music and Associated Physiological Biomarkers of the Stress Response in General Populations: A Systematic Review
Curran Effects of synchronous music in sport and exercise: A meta-analytic review and field studies of ultra-distance athletes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818