CN104869501B - 音频处理系统、音频处理方法和计算机可读介质 - Google Patents

音频处理系统、音频处理方法和计算机可读介质 Download PDF

Info

Publication number
CN104869501B
CN104869501B CN201410291396.XA CN201410291396A CN104869501B CN 104869501 B CN104869501 B CN 104869501B CN 201410291396 A CN201410291396 A CN 201410291396A CN 104869501 B CN104869501 B CN 104869501B
Authority
CN
China
Prior art keywords
audio
signal
group
user
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410291396.XA
Other languages
English (en)
Other versions
CN104869501A (zh
Inventor
曾伟明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
City University of Hong Kong CityU
Original Assignee
City University of Hong Kong CityU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by City University of Hong Kong CityU filed Critical City University of Hong Kong CityU
Publication of CN104869501A publication Critical patent/CN104869501A/zh
Application granted granted Critical
Publication of CN104869501B publication Critical patent/CN104869501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/001Digital control of analog signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

提供音频信号的神经诱导增强以有助于提高用户的听觉享受。音频处理器组件可以检测在不同的频段的用户的脑电波,分析每个不同频段的脑电波信号,以及可以至少部分基于分析结果来调整一个或多个音频增强效果。音频处理器组件可以调整音频信号的空间效果,整合音频信号的空间扩展效果的周期性或随机性变化,调整延迟的音频信号的空间效果,整合延迟的音频信号的空间扩展效果的周期性或随机性变化,或者至少部分基于分析结果调整另外的音频增强效果,包括与脑电波的一个或多个不同频段的各强度有关的信息。

Description

音频处理系统、音频处理方法和计算机可读介质
技术领域
本主题公开一般涉及信号处理,例如,涉及音频信号的神经诱导增强。
背景技术
利用传统的多声道(例如,立体声)音频系统,记录在环境中的声场可以通过两个或更多个扬声器(例如,扩音器)被重现。通过这些扬声器,听众可以享受通过重现的声场而呈现的音乐。然而,由于传统的记录和回放设备的限制,重放的音乐的真实感不够,这因此可能降低听众的听觉享受。虽然存在一些用于增强音频信号的空间效果的传统技术,但这种传统技术典型地不能根据听众的期望以自主的方式操作。因此,基于这种传统技术,一些听众可能会得到不满意的、随着时间段延长变差的、或者对听众而言过于强烈的听觉体验。虽然可以通过一些用户界面(例如,按钮、刻度盘)手动调整音频增强效果,但从听众角度看这可能导致享受音乐的过程被打扰,因此可能降低听众的听觉享受。
上述说明仅旨在提供与数字全息图有关的背景的概述,而并非意为穷尽性的。
发明内容
下面提出本公开主题的各个方案的简要概述,以便提供对本文所描述的一些方案的基本理解。该概述并非本公开主题的广泛概述。其既非旨在确定本公开主题的核心或关键要素,也非旨在界定这种方案的范围。其唯一的目的仅在于作为稍后呈现的更详细说明的前序,而以简化的形式提出本公开主题的一些概念。
例如本文公开的一个或多个系统、方法、计算机可读存储介质和技术的一个或多个实施例涉及处理和生成音频信号。本文公开一种系统,包括:至少一个存储器,存储计算机可执行组件;以及至少一个处理器,执行或有助于执行所述计算机可执行组件。所述计算机可执行组件包括:检测器组件,检测与用户大脑的大脑活动相关联的一组信号,其中该组信号至少包括与第一频段相关联的第一信号和与第二频段相关联的第二信号。所述计算机可执行组件还包括:音频处理器组件,至少部分基于该组信号的分析结果,控制一个或多个音频效果对通过音频设备生成的音频信号的施加,以生成处理后的音频信号呈现给所述用户。
本文还公开一种方法,包括:通过包括处理设备的一系统感测与用户的大脑活动相关联的一组脑电波信号,其中该组脑电波信号至少包括与第一频段相关联的第一脑电波信号和与第二频段相关联的第二脑电波信号。所述方法还包括:至少部分基于该组脑电波信号的分析结果,通过所述系统控制一组音频效果对通过音频设备生成的音频信号的施加,以生成处理后的音频信号呈现给所述用户。
本文还公开一种存储计算机可执行指令的非暂时性计算机可读介质,其响应于执行而使包括处理器的系统执行操作。所述操作包括:检测与用户的大脑活动相关联的一组脑电波信号,其中该组脑电波信号至少包括与第一频段相关联的第一脑电波信号和与第二频段相关联的第二脑电波信号。所述操作还包括:至少部分基于分析该组脑电波信号的结果,管理一组音频效果对通过音频系统生成的多声道音频信号的施加,以生成处理后的音频信号呈现给所述用户。
本公开主题还包括:系统,包括用于感测与用户的大脑活动相关联的一组信号的装置,其中该组信号至少包括与第一频段相关联的第一信号和与第二频段相关联的第二信号。所述系统还包括:用于至少部分基于该组信号的分析结果,控制一组音频效果对通过音频系统生成的多声道音频信号的施加,以生成处理后的音频信号呈现给所述用户。
下面的描述和附图详细提出了本公开主题的多个特定的示意性方案。然而,这些方案仅显示了可采用本公开主题原理的各种方式中的几个,并且本公开主题旨在包括所有这些方案及其等同方案。从结合附图考虑的本公开主题的以下详细描述中,本公开主题的其它优点和显著特征将变得明显。
附图说明
图1示出根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号来控制施加到音频演示的音频信号的一个或多个音频效果的示例系统的方框图。
图2描述根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号来控制施加到经由一组扬声器呈现给用户的音频演示的音频信号的一个或多个音频效果的示例系统的视图。
图3示出根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号来控制施加到音频演示的音频信号的一个或多个音频效果的示例音频系统的方框图。
图4描述根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号利用智能来有助于控制(例如,自适应控制)施加到音频演示的音频信号的一个或多个音频效果的系统。
图5示出根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号来控制(例如,自适应控制)施加到通过音频系统呈现的音频演示的音频信号的一个或多个音频效果的示例方法的流程图。
图6描述根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号来控制施加到通过音频系统呈现的音频演示的音频信号的一个或多个音频效果的另外的示例方法的流程图。
图7示出根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号来控制施加到通过音频系统呈现的音频演示的音频信号的各音频频段和/或各音频声道的一个或多个音频效果的示例方法的流程图。
图8是示出适合的操作环境的示意性方框图。
图9是样品计算环境的示意性方框图。
具体实施方式
将参照附图对本公开主题加以描述,其中通篇始终使用类似的附图标记表示类似的元件。在下面的描述中,为了解释的目的,陈述了多个具体细节以便于提供对本公开的彻底理解。然而,显而易见的是,本公开主题可以无需这些具体细节。在其他示例中,公知的结构和装置是以方框图的形式示出,以有利于本文的各实施例的说明。
对于聆听声音(例如音乐),可以存在人的听觉享受与人的心理之间的关系,并且这种关系已经引起心理学家、音乐家等的兴趣。常常会发现人的听觉享受与“期望”和“习惯”有关。期望可以指听众期待将来听到某些信息,这通常会带来某种程度的愉悦性。另一方面,挫败的期望可能导致听众的不安或焦虑。假设期望可以学习。因此,听众采用的启发式期望可以是音乐本身的封装,基于听众已经听到的期望声音。对这点进一步扩展,如果听众可以重复地将一些变化运用到音乐并之后评估修正后的版本,他或她可以想出一首可以与听众的期望相匹配的音乐,从而给用户带来比原始版本音乐更多的听觉享受。第二心理因素,“习惯”典型地可以指人(例如,听众)可以体验的无趣的感觉,当过于频繁地对人重复一种刺激(例如,在这种情况下为音乐)时,会使人在受到这种刺激时不再有任何出乎意料的元素。可以想象,如果同一种音乐被重复太多次,则最初因为内容变得越来越熟悉而增加听觉享受,因此更易于被听众预测。然而,随着时间的流逝,可能会由于例如引起嗜睡感以及降低唤醒水平和听众的注意力的习惯步骤而导致听觉享受下降。
从聆听的心理学所获得的研究成果能够且已经成功地适用于音乐作品。例如,在一些因素上对旋律结构的分析类似于间距接近、惯性步进、后跳反转和趋向中心间距。已经采用了传统的分析方法,例如概率在建模相邻的音调之间的转变中的使用,以及信息论。然而,这种传统的分析方法通常涉及到对原始音乐作品的变化。
利用传统的多声道(例如,立体声)音频系统,在环境中记录的声场可以通过两个或更多个扬声器(例如,扩音器)被重现。通过这些扬声器,听众可以享受通过重现的声场展示的音乐。然而,由于传统的记录和回放设备的限制,重放的音乐的真实感不够,这可能因此降低听众的听觉享受。
存在一些用于改变例如音频信号的音频效果(例如,空间效果、过滤、延迟、声道混合)的传统技术。然而,这种传统技术通常不能根据听众的期望以自主的方式操作。此外,不同的用户可能有他们自己对听觉享受的感觉的期望,并且可以基于诸如多种因素(例如,时间、听觉发生的环境和/或听众的情绪(例如,情绪状态))来改变用户的这种听觉享受。通过使用这种传统技术给不同听众带来效果可能是不确定的,特别是在长时间聆听之后。因此,基于这种传统技术,一些听众可能会得到不满意的、随着时间段延长而变差的、或者对听众太过强烈的听觉体验。
例如,这种用于音频修正的传统技术可能面临与关联于聆听声音(例如,音乐)的有关心理学的上述心理因素(例如,期望、习惯)有关的缺点。因此,如果将以前曾经听过并且已经用静态效果修正的一种音乐传输给听众,则额外的快感可能不明显。例如,即使添加低增强(boost)滤波器可以增加听众对低频率信号的听觉享受,这种出乎意料的感觉似乎会随着时间流逝而使听众变得更习惯低增强滤波器效果。这可能是维特根斯坦悖论的典型案例,即,如果一个人确切地知道将听到的是什么则不会有惊奇出现。
某些传统技术通过一些用户界面(例如,按钮、刻度盘)也能够手动调节音频增强效果。例如,这种技术通常可以涉及到根据通常未考虑到听众的期望的某些预定义的设定组合左右声道,其中,如果听众不满意施加到正呈现给听众的音频的音频效果,听众不得不使用某些控制装置手动修正以便调整呈现听众喜好的音频。因此,从听众的角度,这种用于手动音频增强的传统技术可能导致听众在享受音乐的过程分心,因此可能降低听众的听觉享受。更糟糕的是,从听众的角度,由听众进行的错误的手动设定甚至可能进一步降低音乐的感受质量。
脑电波(例如,神经)技术还可以应用到音频以及相关的应用。例如,现有的脑电波技术已经典型地应用于诸如玩具、简单控制、音乐创作和治疗(例如,催眠术)。在类似催眠术或神经反馈的应用中,可以将旨在加强或诱导大脑活动的某些特性的外来音频信号添加到音乐中。对于类似音乐创作的应用,可以通过整合多个短时间片段的音频信号来形成一种音乐,每个短时间片段的音频信号根据脑电波的某些特性而被选择。
为此,提出用于音频信号的神经诱导增强的技术,该音频信号通过音频系统(例如,多声道音频系统)呈现给用户以便于提高正聆听音频信号的用户的听觉享受。本公开主题可以通过对音频信号进行适合的处理来执行呈现给用户的音频信号的神经诱导增强。在处理音频信号中,本公开主题还可以考虑到不同用户在聆听音频演示时可以对听觉享受的感觉有不同的期望,以及还可以考虑到各用户的各听觉享受可以至少部分基于多种因素(例如,诸如时间、环境以及例如在用户聆听音频呈现时用户的各情绪等)而改变。
在一些实施方式中,音频处理器组件可以经由在不同的频段的用户的脑电波信号(例如,脑电图(EEG)脑电波信号)来监测用户的精神状态,以及可以至少部分基于(例如,响应于)在不同的频段的用户的脑电波信号的分析结果来调整(例如,自动或动态地调整)与(例如,施加到)音频和/或视觉呈现的音频信号相关联的一个或多个音频效果(例如,音频增强效果)。对于用户,响应于听到音频信号或处理后的音频信号和/或响应于在聆听音频信号或处理后的音频信号时通过用户感知或体验的其它刺激,通常可以改变在不同频段的脑电波信号(例如,可以改变在不同频段的脑电波信号的信号强度)。响应于听到音频信号或处理后的音频信号和/或响应于通过用户在听到音频信号或处理后的音频信号时感觉或体验的其它刺激,音频处理器组件可以评估在不同频段的脑电波信号的这些变化,以及可以调整施加到音频信号的一个或多个音频效果以处理呈现给用户的音频信号,从而有助于提高用户的听觉体验。
对于音频信号的神经诱导增强的过程,用户(例如,听众)可以下意识地选择以便于执行该过程,在这种情况下,可以通过追踪和密切观察用户的精神状态或情绪的音频处理器组件来执行音频增强。也就是说,本公开主题可提供各种装置,用于根据用户的精神状态,以潜意识和自主的方式,通过用户来调整聆听音频呈现的快感。在其他实施方式中,用户还可以通过调用某些心理活动(例如,诸如通过用户有意增加或减少用户对音频演示的注意力)有意地修正用户的脑电波,以便于通过音频处理器组件执行音频信号的神经诱导增强的处理。例如,根据本公开主题,通过适合的训练,可以通过用户的精神状态或情绪的有意控制来由用户作出或推动对于音频演示的听觉享受的调整。
在一些实施方式中,能够包括一个或多个传感器的传感器组件可以与用户(例如,听众)相关联。例如,响应于感知(例如,聆听、观看等)音频和/或视觉呈现(例如歌曲、视频(例如,音乐视频)、电影、电视节目等),传感器可以(例如,以不同的频段)监测和感测用户的脑电波信号或其他物理信号(例如,面部表情、眼睛反应、手势等)。在一些实施方式中,一个或多个传感器可以通过无线与用户相关联(例如,无线连接至用户),使得一个或多个传感器可以通过与用户接触或接近用户来感测或检测用户的脑电波信号或其他物理信号。这些一个或多个传感器也可以是具有通信和/或计算能力的电子设备的一部分或者与具有通信和/或计算能力的电子设备相关联,该电子设备可以将与用户的脑电波信号或其他物理信号有关的信息无线传输给音频处理器组件,用于通过音频处理器组件进行分析以便于控制施加到呈现给用户的音频信号的一个或多个音频效果。例如,一个或多个传感器可以是具有通信和/或计算能力的移动电话、电子平板或平板电脑、计算机、电子眼镜的一部分、或者是用于将与用户的脑电波信号或其他物理信号有关的信息传输(例如,无线传输)给音频处理器组件的另外电子设备的一部分,或者与具有通信和/或计算能力的移动电话、电子平板或平板电脑、计算机、电子眼镜相关联、或者与用于将与用户的脑电波信号或其他物理信号有关的信息传输(例如,无线传输)给音频处理器组件的另外电子设备相关联。在其他实施方式中,一个或多个传感器可以以有线的方式连接至用户和/或音频处理器组件,其中一个或多个传感器可以经由有线通信连接将与用户的脑电波信号或其他物理信号有关的信息传输给关联的电子设备和/或音频处理器组件。
例如,一个或多个传感器在感知音频演示时可以与用户佩戴的一组耳塞或耳机集成在一起,其中该组耳塞或耳机可以经由有线或无线通信连接连接至电子设备(例如,移动电话、电子平板或平板电脑、计算机、音频播放器等)和/或音频处理器组件。作为另外的示例,当感知音频呈现时,一个或多个传感器可以集成到用户佩戴的一副电子眼镜的镜腿、端片或框架中,其中该一个或多个传感器可以经由无线或有线通信连接连接至另外的电子设备(例如,移动电话、电子平板或平板电脑、计算机、音频播放器等)和/或音频处理器组件。
音频处理器组件可以从传感器组件或关联的电子设备接收与用户的脑电波信号或其他物理信号有关的信息。音频处理器组件可以检测或确定在不同频段的用户的脑电波信号和/或可以至少部分基于所接收到的与用户的脑电波信号或其他物理信号有关的信息来检测用户的其他物理信号。
音频处理器组件可以分析在每个不同频段的脑电波信号和/或与用户的其他物理信号有关的信息,以有助于确定(例如,自动或动态地确定)能够对一个或多个音频效果做出的调整,该一个或多个音频效果能够被施加到音频信号从而便于提高用户的听觉享受。例如,作为分析的一部分,音频处理器组件可以(例如,响应于感知音频信号)确定或测量与用户相关联的一个或多个不同频段的脑电波信号的各强度,其中可以至少部分根据用户的脑电波的不同频段的各信号强度反映用户的精神状态。音频处理器组件可以至少部分基于与用户相关联的一个或多个不同频段的脑电波信号的各强度(例如,基于所确定的用户的精神状态),确定对施加到音频信号的一个或多个音频效果进行的调整,以有助于提高用户的听觉享受。作为另外的示例,作为分析的一部分,音频处理器组件可以至少部分基于与用户的表情、姿势、眼镜反应等有关的分析结果,响应于感知音频信号而确定、识别或推断用户的表情、姿势(例如,手势或手指姿势)、眼睛反应等,以及可以确定对施加到音频信号的一个或多个音频效果进行的调整,以有助于提高用户的听觉享受。
至少部分基于分析结果,音频处理器组件可以因此调整(例如,自动或动态地调整)施加到音频信号的一个或多个音频效果(例如,基于所确定的效果调整),以通过音频信号的这种增强后的处理来有助于提高、增强或增进用户的听觉体验。例如,音频处理器组件可以至少部分基于包括与脑电波的一个或多个不同频段的各强度有关的信息的分析结果,来调整音频信号(例如,通过用户感知)的空间扩展效果,整合音频信号的空间扩展效果的周期性或随机性变化,调整延迟的音频信号(例如,通过用户感知)的空间扩展效果,或者整合延迟的音频信号的空间扩展效果的周期性或随机性变化。例如,音频处理器组件可以经由不同频段的用户的脑电波来监测(例如,连续监测、周期监测或监测响应于事件的发生)用户的精神状态,以及可以至少部分基于一个或多个不同频段的脑电波信号的各强度来调整一个或多个音频效果。
参阅图1,其示出根据本公开主题的各个方案和实施例的示例系统100的方框图,该示例系统100可以至少部分基于用户的脑电波信号来控制(例如,自适应控制)至音频呈现的音频信号的一个或多个音频效果的施加。系统100可以包括将音频信号(例如,歌曲)呈现给用户的音频系统102。在一些实施方式中,音频系统102可以是内容呈现系统的一部分或者与内容呈现系统相关联。所述内容呈现系统可以将音频信号和/或视觉信号呈现给用户作为音频或视觉呈现(例如,歌曲、视频、电影、电视节目等)的一部分。系统100可以使通过音频系统102对呈现给用户的音频信号的神经诱导增强,以有助于提高聆听音频信号的用户的听觉享受。在一些实施方式中,音频系统102可以是多声道音频系统,包括可以提供音频呈现的各音频信号的两个或更多个音频声道以及两个或更多个音频扬声器。例如,音频系统102可以包括两个音频声道(例如,左声道或第一声道、右声道或第二声道)以及两个音频扬声器(可以用立体声呈现两个单独的音频信号),或者四个音频声道(例如,左前声道或第一声道、右前声道或第二声道、左后声道或第三声道、右后声道或第四声道)以及四个音频扬声器(可以在四声道呈现四个单独的音频信号)。
系统100可以包括音频处理器组件104,适合地处理音频信号以通过音频系统102来有助于对呈现给用户的音频信号的神经诱导增强。音频处理器组件104可以执行音频信号的这种增强而无需改变基本的音乐作品(例如,音符、节奏、节拍、插入和删除)。可替代地,音频处理器组件104可以通过音频呈现(例如,音乐)的一个或多个非结构特性的自适应调整来实现听觉享受的增强,使得可以(例如,听众)实现并通过用户感知期望与习惯印象之间所需的(例如,正确的、有利的)均衡。
从听众的心理学角度,为了有助于提高或增进听觉享受,音频处理器组件104可以通过例如一个或多个下面属性(非结构特性)的动态修正(例如,变化)来实现音频信号的增强:音频信号的幅度、相位、延迟和/或多声道混合。例如,音频信号的非结构性调整能够是但不限于下述的这些:时间信号的瞬时幅度的修正,时间信号的瞬时相位的修正,一个或多个音频声道的延迟,和/或音频信号的多声道混合。音频处理器组件104可以通过根据经由转换系统(例如,音频处理器组件104的转换器组件)从听众的脑电波信号获得的一组信号来控制音频信号的增强度。
根据各个方案和实施方式,音频处理器组件104可以考虑到不同用户在聆听音频呈现时具有对听觉享受的感觉的不同期望,以及还可考虑到各用户的各听觉享受至少部分基于各种因素(例如,诸如时间、环境以及用户的各种情感(例如,在用户聆听音频呈现时))而可改变。另外,对于本公开主题,没必要让听众具备关于如何调整施加到音频信号的音频效果以获得所需的听众期望的任何在先知识,而这种所需的听众期望通常可以随着例如不同的音频呈现(例如,不同首的音乐)、听众的聆听环境、正在播放哪个音频呈现的装置、或者听众的情绪而改变。这是因为音频处理器组件104可以动态或自动地执行施加到音频信号的音频效果所需的调整,至少部分基于听众的响应(例如,潜意识的响应,或者可选地、有意识的响应)来聆听音频呈现。应当理解的是,在一些实施方式中,音频处理器组件104可以提供能够使听众手动调整被施加到音频信号的音频效果的界面(例如,按钮、控制装置、刻度盘),以便于对于音频呈现进行听众的示意且真实期望的手动操控。
在一些实施方式中,音频处理器组件104可以经由在不同的频段的用户的脑电波信号(例如,EEG脑电波信号)监测聆听通过音频系统102呈现的音频呈现的用户的精神状态,以及可以至少部分基于(例如,响应于)在不同频段的用户的脑电波信号的分析结果来调整与(例如,施加到)音频(和/或视觉)呈现的音频信号相关联的一个或多个音频效果(例如,音频增强效果)。对于用户,响应于聆听音频信号或处理后的音频信号和/或响应于在聆听音频信号或处理后的音频信号时由用户体验或感知的其他刺激,通常在不同频段的脑电波信号(例如,可以改变在不同频段的脑电波信号的信号强度)可被改变。响应于聆听音频信号或处理后的音频信号和/或响应于在聆听音频信号或处理后的音频信号时由用户体验或感知的其他刺激,音频处理器组件104可以评估在不同频段的脑电波信号的这些变化。至少部分基于评估结果,音频处理器组件104可以调整(例如,自动或动态地调整)能被施加到音频信号的一个或多个音频效果(例如,空间扩展效果、音频延迟、混响、均衡、音频过滤、声道混合等),以通过音频系统102处理呈现给用户的音频信号,从而有助于提高用户的听觉体验。
对于音频信号的神经诱导增强的过程,用户(例如,听众)可以下意识地选择有助于执行该过程,因此,在这种情况下,可以通过追踪和密切关注用户的精神状态或情绪并调整一个或多个音频效果(例如,调整一个或多个音频效果的一个或多个参数)的音频处理器组件104来执行音频增强。也就是说,本公开主题可提供各种装置,用于根据用户的精神状态,以潜意识和自主的方式,通过用户来调整聆听音频演示的快感。在其他实施方式中,用户还可以通过调用某些心理活动(例如,诸如通过用户有意增加或减少用户对音频演示的注意力)有意地修正用户的脑电波,以通过音频处理器组件104有助于执行音频信号的神经诱导增强的处理。例如,根据本公开主题,通过合适的训练,可以通过用户的精神状态或情绪(其可以通过音频处理器组件104来检测且用于有助于执行音频信号的神经诱导增强的处理)的有意控制,对于通过音频系统102呈现的音频演示由用户作出或推动用户的听觉享受的调整。
在一些实施方式中,系统100可以包括与(例如,通信连接至)音频处理器组件104和用户(例如,听众)相关联的传感器组件106。传感器组件106可以包括一个或多个传感器,其被配置为或适用于例如响应于感知(例如,聆听、观看等)通过音频系统102呈现的音频演示和/或视觉呈现,监测、感测和/或捕获用户的脑电波信号(例如,在不同的频段)或其他物理信号(例如,表情、眼睛反应、手势等),其中音频演示和/或视觉呈现可以是例如歌曲、视频(例如,音乐视频)、电影、电视节目等。因此,传感器组件106可以在用户聆听音频信号时经由接口从用户的脑电波中捕获用户对于音频或视觉呈现的音频信号的响应。
在一些实施方式中,传感器组件106的一个或多个传感器可以通过无线与用户相关联(例如,无线连接至用户),使得一个或多个传感器可以通过与用户接触或接近用户来感测或检测用户的脑电波信号或其他物理信号。在一些实施方式中,这些一个或多个传感器也可以是具有通信和/或计算能力的电子设备的一部分或者与具有通信和/或计算能力的电子设备相关联,该电子设备可以将与用户的脑电波信号或其他物理信号有关的信息无线传输给音频处理器组件104,用于通过音频处理器组件104进行分析以有助于控制施加到通过音频系统102呈现给用户的音频信号上的一个或多个音频效果。例如,传感器组件106的一个或多个传感器可以是具有通信和/或计算能力的移动电话、电子平板或平板电脑、计算机、电子眼镜、音频播放器、或者用于将与用户的脑电波信号或其他物理信号有关的信息传输(例如,无线传输)给音频处理器组件104的另外的电子设备的一部分,或者与具有通信和/或计算能力的移动电话、电子平板或平板电脑、计算机、电子眼镜、音频播放器、或者用于将与用户的脑电波信号或其他物理信号有关的信息传输(例如,无线传输)给音频处理器组件104的另外的电子设备相关联,一个或多个传感器可以是电子设备的一部分或者可以是与该电子设备相关联的单独的组件,其中,在一些实施方式中,电子设备可以包括音频系统102或者可以与音频系统102相关联。在其他实施方式中,一个或多个传感器可以以有线的方式连接至用户和/或音频处理器组件104,其中一个或多个传感器可以经由有线通信连接将与用户的脑电波信号或其他物理信号有关的信息传输给所关联的电子设备和/或音频处理器组件104。
例如,当感知通过音频系统102呈现的音频演示时,传感器组件106的一个或多个传感器可以与用户佩戴的一组耳塞或耳机集成在一起,其中该组耳塞或耳机可以经由有线或无线通信连接而连接至电子设备(例如,移动电话、电子平板或平板电脑、计算机、音频播放器等)和/或音频处理器组件104。作为另外的示例,当感知通过音频系统102呈现给用户的音频演示时,传感器组件106的一个或多个传感器可被集成到用户佩戴的一副电子眼镜的镜腿、端片或框架中,其中该一个或多个传感器可以经由无线或有线通信连接连接至另外的电子设备(例如,移动电话、电子平板或平板电脑、计算机、音频播放器等)和/或音频处理器组件104。
音频处理器组件104可以从传感器组件106或所关联的电子设备接收与用户的脑电波信号或其他物理信号有关的信息。音频处理器组件104可以至少部分基于所接收到的与用户的脑电波信号或其他物理信号有关的信息,检测或确定(例如,自动或动态地检测或确定)在不同频段的用户的脑电波信号和/或检测用户的其他物理信号。
音频处理器组件104可以分析在每个不同频段的脑电波信号和/或与用户的其他物理信号有关的信息,以有助于确定对施加到音频信号的一个或多个音频效果进行调整,从而有助于提高用户的听觉享受。例如,作为分析的一部分,响应于感知音频演示的音频信号,音频处理器组件104可以确定或测量与用户相关联的一个或多个不同频段的脑电波信号的各强度,其中可以至少部分根据用户的脑电波的不同频段的各信号强度来反映用户的精神状态。当聆听音频信号或处理后的音频信号时,响应于用户感知音频演示的音频信号(例如,作为音频演示连续地呈现给用户)和/或响应于通过用户感知或体验的其他刺激,音频处理器组件104还可以检测、识别或确定与用户相关联的一个或多个不同频段的脑电波信号的各信号强度的改变(例如,变化)。
音频处理器组件104可以至少部分基于与用户相关联的一个或多个不同频段的脑电波信号的各强度,确定(例如,自动或动态地确定)对能够被施加到音频信号上的一个或多个音频效果作出的调整,以有助于提高用户的听觉享受(例如,基于所确定的用户的精神状态)。作为另外的示例,作为分析的一部分,响应于感知音频信号,音频处理器组件104还可以至少部分基于与用户的表情、姿势、眼镜反应等有关的分析结果,确定、识别或推断用户的表情、姿势(例如,手势或手指姿势)、眼睛反应等,以及可以确定对施加到音频信号的一个或多个音频效果进行的调整,以有助于提高用户听觉享受。对一个或多个音频效果进行的调整可以有助于调整(例如,修正)与音频信号相关联的一个或多个属性(例如,幅度、相位、延迟和/或多声道混合)。
至少部分基于分析结果,音频处理器组件104可以因此调整(例如,自动或动态地调整)到音频信号的一个或多个音频效果的施加(例如,调整参数或控制)(例如,至少部分基于所确定的效果调整),以通过这种音频信号的增强处理来有助于提高、增强或增进用户的听觉体验。例如,音频处理器组件104可以至少部分基于分析结果(例如,至少部分基于不同频段的用户大脑的脑电波信号的各信号强度)来调整(例如,如通过用户感知的)施加到音频信号的空间扩展效果。音频处理器组件104还可以至少部分基于分析结果来整合音频信号的空间扩展效果的周期性或随机性变化。在一些实施方式中,音频处理器组件104可以进一步将延迟效果引入到音频信号以生成延迟的音频信号,以及可以至少部分基于分析结果来(例如,通过用户感知)调整延迟的音频信号的空间扩展效果。音频处理器组件104还可以至少部分基于分析结果整合延迟的音频信号的空间扩展效果的周期性或随机性变化。例如,音频处理器组件104可以经由不同频段的用户的脑电波来监测(例如,连续监测、周期监测或监测响应于发生的事件)用户的精神状态,以及可以至少部分基于一个或多个不同频段的脑电波信号的各强度来调整一个或多个音频效果。
简要地(与图1一起)参阅图2,图2描述根据本公开主题的各个方案和实施例的可以至少部分基于用户的脑电波信号来控制施加到经由一组扬声器呈现给用户的音频演示的音频信号的一个或多个音频效果的示例系统200的视图。在一些实施方式中,示例系统200可以包括可包括音频处理器组件104的音频系统102以及与用户和音频系统102相关联的传感器组件106。
音频系统102可以包括音频信号的一组声道,包括第一(例如,左声道)声道和第二(例如,右声道)声道,其可以有助于用立体声来呈现音频演示的音频信号。音频系统102可以包括一组扬声器(例如,扩音器)或者可以与一组扬声器相关联,该组扬声器包括第一(例如,左扬声器)扬声器108和第二(例如,右扬声器)扬声器110,其可以是例如机电换能器,其中音频处理器组件104以及该组扬声器(例如,108、110)可以有助于将每个声道转换为可以被用户听到的可听声波。应当认识和理解的是,当该示例涉及两个声道和两个扬声器时,本公开主题可以将本文公开的原理和方案应用到三个或更多个声道以及三个或更多个扬声器。
传感器组件106可以包括一组传感器,该组传感器可以配置为或适用于例如响应于聆听通过音频系统102呈现的音频演示来监测、感测和/或捕获用户的脑电波信号(例如,在不同的频段)或其他物理信号(例如,表情、眼睛反应、手势等)。传感器组件106可以因此在用户聆听音频信号时经由接口(例如,与用户的接口)从用户的脑电波中捕获用户对音频演示的音频信号的响应。
用户的脑电波的不同频率组件可以反映用户想法的不同状态(例如,精神或情绪状态)。例如,β波可以反映压力,而α波可以反映松弛。可以采用用户(例如,听众)的脑电波来破译用户例如对聆听音频信号的响应。例如,强β波可以表示违反了用户对响应于聆听呈现的音频信号的期望,而强α波可以是对响应于聆听呈现的音频信号的习惯(例如,厌烦)的指征。
音频演示的左音频信号和右音频信号可以分别通过时变波形L(t)(例如,左时变波形)和R(t)(例如,右时变波形)来表示。不失一般性,在该示例实施方式中,仅包括本公开主题的操作以修正音频演示的左音频信号和右音频信号。修正的结果可以是通过以下方式给出的一对新的音频声道:
以及
其中T是恒定的时间延迟,w1、w2、w3、w4、w5、w6、w7和w8是通过音频处理器组件104控制左音频信号和右音频信号的修正的变量,是修正后的左时变波形,以及是修正后的右时变波形。不失一般性,可以使用以下分配(例如,通过音频处理器组件104)。
w5=w1, (3)
w6=w2, (4)
w7=w3, (5)
以及w8=w4. (6)
音频处理器组件104可以通过用户的脑电波的脑电波频率中的一个的幅度来控制每个变量。例如,音频处理器组件104可以将w1、w3、w5和w7中的每个的值设定为1,以及可以将剩余变量w2、w4、w6和w8中的每个设定或配置为这样一个值,该值被标准化到范围[0,1]内且可以与对应于用户的脑电波的α波的幅度成正比。响应于表现出厌烦迹象的用户(例如,听众),例如,如强α波所指示的,音频处理器组件104的这种分配可以通过增加空间扩展效果(例如,通过音频处理器组件104)来唤起用户惊喜。在一些实施方式中,音频处理器组件104可以通过低通滤波来处理在不同的频率的用户的脑电波,从而使得可以以想要的平滑和自然的方式修正音频信号。在某些实施方式中,音频处理器组件104可以经由时间相关函数或经由时间无关函数将用户的每个脑电波的频率的幅度映射为新值,以有助于引入额外的惊喜到音频演示中,从而在聆听音频演示时降低用户体验的习惯效果,这可以进一步增强用户对于音频演示的听觉享受。
如本文公开的,音频处理器组件104可以将一个或多个手动控制的界面提供给用户以有助于用户操作一个或多个手动控制,从而便于用户对于音频演示的示意性和真实的期望的手动操控。另外,如本文公开的,当用户不需要这样做时,用户可以对用户的脑电波(例如,通过用户有意的专注或放松)随意地施加控制,以便响应于用户的脑电波而通过音频处理器组件104实施期望的(例如,目标)音频信号的修正。例如,音频处理器组件104可以将变量w2、w4、w6和w8设定或分配为与对应于用户的脑电波的α波成正比,作为行家听众的用户出于增强施加到音频信号的空间扩展效果为目的而可以有意进行放松以有助于增加α波。
传感器组件106可以感测用户的脑电波。音频处理器组件104可以接收与用户的脑电波有关的信息。音频处理器组件104可以分析与用户的脑电波有关的信息,以及可以至少部分基于该分析来检测α波已经增加。检测到的α波的增加可以因此指示音频处理器组件104增强施加到音频信号的空间扩展效果,以有助于增强用户的听觉享受。因此,响应于α波的增加,音频处理器组件104可以调整空间扩展效果的参数以有助于增强(例如,增加)空间扩展效果以及可以将增强后的扩展效果施加到音频信号以生成处理后的(例如,修正后的)音频信号。音频处理器组件104和该组扬声器(例如,108、110)可以有助于将处理后的音频信号转换为能够经由该组扬声器(例如,108、110)呈现(例如,传输)呈现给用户的相应的声频信号。当然,当由用户对音频演示的潜意识响应而导致出现这种α波的增加时,音频处理器组件104响应于这种与用户相关联的α波的增加也可以确定相同的调整以及将相同的调整施加到空间扩展效果。
本公开主题可以用于各种产品或用于各个用户。例如,本公开主题可以被用于玩具中、作为音频系统的一部分、作为医疗或科研设备的一部分、或者用于另外想要的产品或用于其它想要的用途。
图3示出根据本公开主题的各个方案和实施例的示例音频系统300的方框图,该示例音频系统300可以至少部分基于用户的脑电波信号来控制(例如,自适应控制)一个或多个音频效果到音频演示的音频信号的施加。音频系统300可以包括音频处理器组件302,该音频处理器组件302可以至少部分基于(例如,响应于)用户的脑电波信号来控制一个或多个音频效果到音频演示的音频信号的施加,以在用户聆听音频演示时有助于增强用户的听觉享受。音频处理器组件302可以包括例如通信器组件304、聚合器组件306、检测器组件308、控制器组件310、分析器组件312、转换器组件314、音频发生器组件316、确定组件318和音频效果组件320。
通信器组件304可以用于传输(例如,发送、接收)音频系统300与其他组件(例如,传感器组件、处理器组件、用户界面、音频接口(例如,从音频系统300中分离的音频接口)、数据存储器等)之间的信息。信息可以包括例如当体验音频演示时与响应于音频演示的用户的脑电波信号有关的信息、与响应于音频演示的用户的物理信号有关的信息、与用户响应于其他刺激有关的信息、音频信号、用户指令或选择信息、音频-效果相关信息等。
聚合器组件306可以汇总从各种实体(例如,传感器组件、处理器组件、用户界面、音频接口、数据存储器等)接收到的(例如,获得的)数据。聚合器组件306可以至少部分基于数据类型、数据源、数据生成或接收的时间或日期、与数据相关联的音频信号、与数据相关联的音频声道、与数据相关联的音频效果、与数据相关联的音频演示、与数据相关联的用户等对各数据项进行相关,以有助于处理数据(例如,通过控制器组件310、分析器组件312、……、音频效果组件322进行数据的分析和其他处理)。
检测器组件308可以监测和/或检测与由传感器组件感测的响应于音频演示或其他刺激的脑电波信号或物理信号有关的信息。例如,当用户聆听音频演示时,检测器组件308可以监测和/或检测与脑电波信号有关的信息,该脑电波信号通过与用户相关联的传感器组件被输出。
控制器组件310可以控制与处理信息(该处理信息与音频演示、音频效果和/或用户有关)有关的操作以有助于通过音频处理器组件302生成处理后的(例如,增强后的)可以呈现给用户的音频信号,从而在用户聆听音频演示时有助于增强用户的听觉享受。控制器组件310可以有助于控制通过音频处理器组件302的各组件执行的操作,控制音频处理器组件302的各组件之间的数据流,控制音频处理器组件302与音频系统300的其他组件之间的数据流等。
分析器组件312可以响应于音频演示来分析数据以有助于将与用户的脑电波信号或物理信号有关的信息转换为表示脑电波、情绪、反应、身体表达等的信息。分析器组件312还可以至少部分基于用户的脑电波信号来分析数据以有助于确定可以施加到音频效果的音频参数和/或可以施加到音频演示的音频信号的音频效果,和/或执行与音频演示或用户有关的信息的另外的过程,以在用户聆听音频演示时有助于增强用户的听觉享受。分析器组件312可以至少部分基于这种数据分析来生成分析结果,其中数据分析可以被另外的组件(例如,控制器组件310、转换器组件314、……、音频效果组件322)使用,以有助于执行音频处理器组件302的各种操作。
转换器组件314可以将与在感知音频演示时响应于感知(例如,聆听)音频演示或响应于其他刺激的用户的脑电波信号或物理信号有关的信息转换为数据(例如,数据信号),该数据可以表示或反映用户的脑电波信号或物理信号,和/或可以表示或反映用户响应于感知音频演示或响应于感受其他刺激的精神状态、情绪和/或表达。转换后的数据(例如,数据信号)可以具有音频处理器组件302可用的形式(例如,数据格式),以有助于确定用户对音频演示或其他刺激的响应(例如,精神状态、表达、反应或其他响应),有助于确定施加到音频信号的音频效果,有助于确定调整用于待施加到音频信号的音频效果的参数有助于,确定部分音频信号(例如,频率范围、音频声道等)以施加音频效果或参数调整,和/或有助于以其他方式处理音频信号等。
音频发生器组件316可以有助于从原始音频源(例如,来自数据存储的音频数据、来自光盘或数字视频光盘的音频数据等)生成音频信号和/或生成从原始音频源获得的处理后的音频信号。例如,音频发生器组件316可以有助于获取、接收或识别来自原始音频源的音频信号,以及音频发生器组件316可以有助于生成处理后的(例如,增强后的)音频信号,该音频信号可以至少部分基于原始音频信号以及与用户的脑电波信号有关的信息。
至少部分基于用户的脑电波信号,确定组件318可以执行数据(例如,与脑电波信号、物理信号、其他刺激、音频信号等有关的信息)的确定、测量和/或计算,以有助于确定在不同频段的脑电波信号的信号强度,有助于确定可以施加到音频效果上的音频参数和/或可以施加到音频演示的音频信号上的音频效果,和/或有助于执行对与音频演示或用户有关的信息的另外的处理,以在用户聆听音频演示时有助于增强用户的听觉享受。
音频效果组件320可以包括施加到音频信号以有助于增强呈现给用户的音频信号的一个或多个音频效果。一个或多个音频效果可以包括在聆听音频演示时有助于增强用户的听觉享受的例如空间或3-D效果(例如,空间扩展效果)、音频延迟效果、平移或声道混音效果、均衡或过滤效果、混响效果和/或可以有助于增强音频演示的音频信号的一个或多个其他音频效果。
在一些实施方式中,音频系统300可以包括音频接口组件322或与者可以与音频接口组件322相关联,音频接口组件322可以包括一组扬声器或者可以与一组扬声器相关联(例如,通信连接至一组扬声器或与一组扬声器连接口),该组扬声器可以用于将音频信号(例如,原始或增强后的音频信号)呈现(例如,广播、发射、投射等)给用户。该组扬声器可以包括两个或更多个扬声器。在一些实施方式中,该组扬声器可以是一组扩音器、头戴式耳机或耳塞的一部分。
音频系统300还可以包括处理器组件324,该处理器组件324可以与其他组件(例如,音频处理器组件302、音频接口组件322等)一起协同操作以有助于执行音频系统300的各种功能。处理器组件324可以使用一个或多个处理器(例如,中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等)、微处理器或者控制器,这些都可以处理数据(例如,与用户的脑电波、用户的物理动作有关的信息、音频信号、音频效果、与一个或多个音频效果有关的参数或系数等)以及可以控制音频系统300与音频系统300相关联的其他组件之间的数据流,以有助于确定使用与音频演示有关的音频效果,有助于确定用于音频效果的音频效果参数,有助于以其它方式处理(例如,增强)音频信号,或有助于执行与处理音频信号有关的其他操作。
在另外的方案中,音频系统300可以包含数据存储器326,该数据存储器326可以存储数据结构(例如,用户数据、元数据);代码结构(例如,模块、对象、类、程序)、命令或指令;与用户的脑电波、用户的物理动作、音频信号、音频效果、与一个或多个音频效果有关的参数或系数等有关的信息;算法(例如,可以有助于将感测到的与用户的脑电波有关的信息转换为指示了用户响应于音频演示的精神状态或响应的信息的算法,音频处理算法或音频效果算法等)等等。在一个方案中,处理器组件324可以功能地耦接至(例如,通过存储器总线)数据存储器326,以便存储和检索为操作和/或赋予至少部分功能至音频处理器组件302、音频接口组件322等所需的信息和/或音频系统300的实质上任何其他操作方案。应当认识和理解的是,音频系统300的各组件可以传输彼此之间和/或与音频系统300相关联的其他组件之间所需的信息以执行音频系统300的操作。应当进一步认识和理解的是,音频系统300的各组件(例如,音频处理器组件302、音频接口组件322等)中的每一个可以是独立的单元,可以被包括在音频系统300(上述的)内,可以与音频系统300的另外组件或从音频系统300中分离的组件结合,和/或根据需要而可以是实际上任何合适的他们的组合。
参见图4,其描述根据本公开主题的各个方案和实施例的系统400的方框图,该系统400可以利用智能以至少部分基于用户的脑电波信号便于控制(例如,自适应控制)一个或多个音频效果到音频演示的音频信号的施加。如本文充分公开的,系统400可以包括音频处理器组件402,该音频处理器组件402可以至少部分基于用户的脑电波信号理想地控制一个或多个音频效果到通过音频系统(图4中未示出)呈现的音频演示的音频信号的施加。应当理解的是,如本文充分公开的,音频处理器组件402可以与各组件(例如,分别命名的组件)相同或相似,和/或可以包含与各组件相同或相似的功能。例如,如本文充分公开的,响应于感知(例如,聆听)通过音频系统提供的音频演示,音频处理器组件402可以与和用户相关联的传感器组件(图4中未示出)相关联(例如,通信连接至传感器组件),以有助于感测用户的脑电波信号。
系统400还可以包括处理器组件404,该处理器组件404经由总线与音频处理器组件402和/或其他组件(例如,系统400的组件)相关联(例如,通信连接至音频处理器组件402和/或其他组件)。根据本公开主题的实施例,处理器组件404可以是管理通信和运行应用的应用处理器。例如,处理器组件404可以是被计算机、移动计算设备、个人数字助理(PDA)或其他电子计算设备利用的处理器。处理器组件404可以生成、传输和/或执行命令,以便有助于分析与用户(例如,听众)的脑电波信号或物理信号(例如,表情、眼睛反应、手势或手指姿势等)有关的信息,检测用户(例如,听众)的脑电波信号的各强度,确定施加或调整哪个(哪些)音频效果以有助于理想地(例如,适合地)处理音频信号,确定对一个或多个音频效果的参数和控制进行的调整以有助于调整一个或多个音频效果到音频演示的音频信号的施加,处理音频信号以生成处理后的音频信号等。
系统400还可以包括智能组件406,该智能组件406可以与音频处理器组件402、处理器组件404和/或与系统400相关联的其他组件相关联(例如,通信连接至音频处理器组件402、处理器组件404和/或与系统400相关联的其他组件),以有助于分析诸如当前和/或历史信息的数据,以及可以至少部分基于这种信息,例如关于用户的脑电波信号的各强度推断和/或确定施加或调整哪个(哪些)音频效果以有助于理想地处理音频信号,推断和/或确定对一个或多个音频效果的参数或控制的调整以有助于调整一个或多个音频效果到音频演示的音频信号的施加,推断和/或确定如何处理音频信号以生成处理后的音频信号等。
例如,部分基于当前和/或历史证据,智能组件406可以推断或确定在特定频段的用户的脑电波信号的信号强度,可以推断或确定施加或调整哪个(哪些)音频效果有助于理想地处理音频信号,可以推断或确定对一个或多个音频效果的参数或控制进行调整以有助于调整一个或多个音频效果到音频演示的音频信号的施加,可以推断或确定施加到音频信号的处理以有助于生成处理后的音频信号等。
在一个方案中,智能组件406可以将与推断和/或确定有关的信息传输给音频处理器组件402。至少部分基于通过智能组件406进行推断或确定,音频处理器组件402可以采取(例如,自动或动态地采取)一个或多个动作以有助于理想地处理音频信号,从而生成处理后的音频信号,该音频信号可以在用户聆听音频演示时增强用户的听觉享受。例如,如本文所公开的,音频处理器组件402可以确定或识别对于特定频段的用户的脑电波信号的信号强度,可以确定或识别有助于理想地处理音频信号的音频效果的施加或调整,可以确定或识别对一个或多个音频效果的参数或控制的调整以有助于调整施加到音频演示的音频信号的一个或多个音频效果,可以确定或识别施加到音频信号的处理以便于生成处理后的音频信号。
应当理解的是,智能组件406可以从经由事件和/或数据捕获的一组观测中提供关于系统、环境和/或用户的推理或推断系统、环境和/或用户的状态。例如,推断可以用来识别具体环境或动作,或者可以生成状态的概率分布。推断可以是概率,也就是说,基于数据和事件的考虑因素,计算感兴趣的状态的概率分布。推断也可以指一种从一组事件和/或数据中构成更高级别事件所采用的技术。这种推断导致根据一组观测到的事件和/或存储的事件数据(例如,历史数据)来构建新的事件或动作,而无论该事件是否与紧密的时间接近(close temporal proximity)相关,以及无论该事件和数据是否来自一个或多个事件和数据源。各种分类(显式和/或隐式训练)方案和/或系统(例如,支持向量机、神经网络、专家系统、贝叶斯网络、模糊逻辑、数据融合引擎……)可以用来执行与本公开主题有关的自动和/或推断的动作。
分类器是将输入属性向量x=(x1,x2,x3,x4,xn)映射为输入属于类的置信(confidence)的函数,也就是说,f(x)=置信(类)。这种分类可以使用概率和/或统计分析(例如,考虑到分析工具和成本)来预测或推断用户期望待自动执行的动作。支持向量机(SVM)是能够被采用的分类器的一种示例。SVM通过在可能的输入的空间内发现超曲面来进行操作,其中超曲面试图从非触发事件中分离出触发条件。直观地,这使得这使得这种分类对于附近的测试数据正确,但不完全与训练数据相同。其他定向(directed)和非定向(non-directed)模型分类方法包括例如可以采用提供不同的独立模式的朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型和概率分类模型。本文所使用的分类还包括用于开发优先级模型的统计回归。
系统400还可以包括演示组件408,该演示组件408可以与处理器组件404连接。演示组件408可以提供各种类型的用户界面以有助于用户与耦接至处理器组件404的任何组件之间进行交互。如上所述,演示组件408是独立的实体,其可以利用处理器组件404以及相关的组件。然而,应当理解的是,演示组件408和/或类似的查看组件可以并入到处理器组件404中和/或可以是独立的单元。演示组件408可以提供一个或多个图形用户界面(GUI)(例如,触摸屏GUI),命令行界面等等。例如,GUI可以被呈现,其为用户提供用于加载数据、导入数据、读取数据等的区域或者装置,并可以包括呈现这种结果的区域。这些区域可以包括已知文本和/或包括对话框、静态控件、下拉菜单、列表框、弹出菜单、编辑控件、组合框、单选按钮、复选框、按下按钮和图形框的图像区域。此外,可以采用用于有助于演示以确定区域是否可视的应用程序(utility)(诸如用于导航和工具栏按钮的垂直和/或水平滚动条)。例如,用户可以与耦接至处理器组件404和/或结合到处理器组件404中的一个或多个组件进行交互。
例如,用户还可以与区域进行交互以经由各种设备(例如,鼠标、滚球、小型键盘、键盘、触摸屏、笔和/或语音激活)选择和提供信息。典型地,可以在输入信息之后采用例如按钮或键盘上的回车键的机制以便启动搜索。然而,应当理解的是,所请求保护的主题不限于此。例如,仅高亮复选框可以启动信息传送。在另外的示例中,可以采用命令行接口。例如,命令行接口可以通过提供文本信息来为用户提示信息(例如,通过显示器上的文本信息和音频音调)。用户可以提供适合的信息,例如与界面提示中提供的选项或者在提示中提出的问题的回答相对应的字母数字输入。应当理解的是,可以采用与GUI和/或API有关的命令行接口。此外,可以采用与硬件(例如,视频卡)和/或具有有线的图形支持的显示器(例如,黑和白以及EGA)和/或低带宽通信声道有关的命令行接口。
根据本公开主题的一个实施例,音频处理器组件402和/或其他组件可以位于或实现于单个集成电路芯片上。根据另外的实施例,音频处理器组件402和/或其他组件可以实现于特定用途集成电路(ASIC)芯片上。在另外的实施例中,音频处理器组件402和/或其他组件可以位于或实现于多个管芯或芯片上。
上述的系统和/或设备已经描述了关于几个组件之间的交互作用。应当理解的是,这种系统和组件可以包括这些组件或在其中指定的子组件、一些指定的组件或子组件和/或额外的组件。子组件也可以被实施为可通信地耦接至其他组件的组件而不是被包括在父组件内的组件。更进一步,一个或多个组件和/或子组件可以结合到提供聚合功能的单个组件中。为了简便起见,组件还可以与本文未具体描述的、但本领域技术人员公知的一个或多个其他组件交互作用。
图5-图7示出根据本公开主题的方法和/或流程图。为了简要说明,对方法进行描述且将其描述为一系列动作。应当理解和认识的是,本公开不限于示出的动作和/或动作的顺序,例如动作可以以各种顺序和/或与本文未示出和描述的其他动作同时发生。此外,并非所有示出的动作都需要根据本公开主题的方法实施。此外,本领域技术人员应当理解和认识的是,该方法可以经由状态图或事件可选择地表示为一系列相互关联的状态。因此,还应当理解的是,下文公开的且贯穿本说明书的方法可以存储在制造的物品上以有助于将这种方法传输和转移至计算机。本文所使用的制造的物品的术语旨在包含从任何计算机可读的设备、载体或介质可以访问的计算机程序。
参见图5,其示出根据本公开主题的各个方案和实施例的示例方法500的流程图,该示例方法500可以至少部分基于用户的脑电波信号来控制(例如,自适应控制)一个或多个音频效果到通过音频系统呈现的音频演示的音频信号的施加。如本文更充分地描述,方法500可以由与音频系统和传感器组件相关联的音频处理器组件来实施。
在502,可以检测与用户聆听音频演示的音频信号有关的用户的脑电波信号,其中脑电波信号可以处于不同的频段。当用户聆听通过音频系统呈现的音频演示时,传感器组件可以感测用户的脑电波信号和/或物理信号,该脑电波信号可以指征响应于聆听音频演示的用户的大脑活动或大脑的响应。音频处理器组件可以从传感器组件接收(例如,实时或接近实时)与用户的脑电波信号和/或物理信号有关的信息。音频处理器组件可以至少部分基于通过音频处理器组件对从与脑电波信号有关的信息的分析中获得的分析结果,来检测或确定(例如,实时或接近实时)脑电波信号(例如,检测或确定脑电波信号的α波值和/或β波值)。
在504,可以至少部分基于对与用户的脑电波信号和/或物理信号有关的信息的分析结果来控制(例如,自适应控制、实时或即时)一个或多个音频效果到音频信号的施加。音频处理器组件可以分析与用户的脑电波信号和/或物理信号有关的信息。至少部分基于该分析,音频处理器组件可以通过音频系统确定(例如,自动或动态地确定、实时或接近实时地)一个或多个音频效果到音频信号的施加或调整一个或多个音频效果到音频信号的施加,以有助于理想地处理音频信号以生成处理后的音频信号呈现给用户,从而在用户聆听音频演示时有助于增强用户的听觉享受。音频处理器组件可以通过音频系统(例如,自动或动态地、实时或接近实时)施加一个或多个音频效果和/或调整一个或多个音频效果(例如,调整一个或多个音频效果的参数)来有助于处理音频信号以生成处理后的音频信号呈现给用户。音频处理器组件可以在用户聆听音频演示时连续地监测用户响应于聆听音频演示的音频信号(例如,处理后的音频信号)的反馈(例如,用户的脑电波信号或物理信号)或在用户聆听音频演示时由用户体验的其他刺激,以及可以至少部分基于对来自用户的反馈的分析来连续地控制一个或多个音频效果到音频信号的施加。
参阅图6,其描述根据本公开主题的各个方案和实施例的另外的示例方法600的流程图,该示例方法600可以至少部分基于用户的脑电波信号来控制一个或多个音频效果到通过音频系统呈现的音频演示的音频信号的施加。如本文更充分地描述,方法600可以由与音频系统和传感器组件相关联的音频处理器组件来实施。
在602,可以在用户聆听通过音频系统呈现的音频演示时监测用户的脑电波信号和/或物理信号。在604,可以在用户聆听通过音频系统呈现的音频演示时(例如,实时或接近实时地)检测用户的脑电波信号和/或物理信号。传感器组件可以感测或检测响应于聆听音频演示的脑电波信号和/或用户的物理信号,和/或可以在用户聆听音频演示时感测或检测用户对于其他刺激的响应,该脑电波信号可以指征用户响应于聆听音频演示的大脑活动或响应。音频处理器组件可以在用户聆听通过音频系统呈现的音频演示时监测用户的脑电波信号和/或物理信号,以及可以从传感器组件中(例如,实时或接近实时地)检测或接收与用户的脑电波信号和/或物理信号有关的信息和/或用户对其他刺激的响应。
在606,可以分析与用户的脑电波信号和/或物理信号、和/或用户对其他刺激的响应有关的信息。音频处理器组件可以分析与用户的脑电波信号和/或物理信号、和/或用户对其他刺激的响应有关的信息,并生成可以有助于控制一个或多个音频效果到音频演示的音频信号的施加以便于增强用户的听觉体验的分析结果。
在608,可以分析音频信号(例如,未处理或处理后的音频信号)。除了对与用户的脑电波信号和/或物理信号、和/或用户对其他刺激的响应有关的信息的分析,音频处理器组件还可以分析音频演示的音频信号以有助于生成分析结果,该分析结果可以用于有助于控制施加到音频演示的音频信号的一个或多个音频效果以有助于增强用户的听觉体验。在一些实施方式中,方法600可以继续进行至参考点A,其中另外的方法(例如与图7相关联的方法700)可以从参考点A继续进行。
在610,可以至少部分基于对与用户的脑电波信号和/或物理信号有关的信息、与用户对其他刺激的响应有关的信息、和/或音频信号的分析结果来确定一个或多个音频效果的各参数(例如,音频效果参数)。音频处理器组件可以至少部分基于这种分析结果来确定一个或多个音频效果的各参数。
在612,可以至少部分基于一个或多个音频效果的各参数控制一个或多个音频效果到音频信号的施加,以根据用户的脑电波信号来帮助增强用户的听觉享受。音频处理器组件可以至少部分基于一个或多个音频效果的各参数来控制(例如,设定、调整、修正等)一个或多个音频效果到音频信号的施加。例如,音频处理器组件可以有助于设定、调整、修正或者控制一个或多个音频效果的各音频参数,以有助于控制一个或多个音频效果到音频信号的施加。
在614,可以至少部分基于音频演示的音频信号来生成处理后的音频信号以及控制施加到音频信号的一个或多个音频效果。音频处理器组件可以通过所控制的一个或多个音频效果的施加来帮助处理音频信号,以生成处理后的音频信号。
在616,可以经由音频接口(例如,一组扬声器)将处理后的音频演示的音频信号呈现给用户。音频处理器组件可以与音频接口相关联,该音频接口可以是一组两个或更多个扬声器。音频处理器组件可以将处理后的音频信号传输给音频接口用于呈现(例如,通信、广播等)给用户以有助于将增强后的音频演示呈现给用户,从而在用户聆听音频演示(例如,增强后的音频演示)时增强用户的听觉享受。
图7示出根据本公开主题的各个方案和实施例的示例方法700的流程图,该示例方法700可以至少部分基于用户的脑电波信号来控制(例如,自适应控制)一个或多个音频效果至由音频系统呈现的音频演示的音频信号的各音频频段和/或各音频声道的施加。如本文更充分地描述,方法700可以通过与音频系统和传感器组件相关联的音频处理器组件来实施。在一些实施方式中,方法700可以从与图6相关联的参考点A继续进行。
在702,可以至少部分基于与用户的脑电波信号和/或物理信号有关的信息、与用户对于其他刺激的响应的信息、和/或音频信号的分析结果,来关于与音频演示相关联的第一音频频段和/或第一音频声道确定一个或多个音频效果的第一子集参数(例如,第一子集音频效果参数)。音频处理器组件可以至少部分基于这种分析结果来为音频演示的第一音频频段(例如,音频频率的第一范围)和/或第一音频声道确定一个或多个音频效果的第一子集参数。
在704,可以至少部分基于与用户的脑电波信号和/或物理信号有关的信息、与用户对于其他刺激的响应的信息、和/或音频信号的分析结果来确定对应于第二音频频段和/或与音频演示相关联的第二音频声道的一个或多个音频效果的第二子集参数(例如,第二子集音频效果参数)。音频处理器组件可以至少部分基于这种分析结果来确定用于第二音频频段和/或音频演示的第二音频声道的一个或多个音频效果的第二子集参数。例如,第一音频频段可以是较低范围的音频频率而第二音频频段可以是较高范围的音频频率。
在706,可以至少部分基于与一个或多个音频效果相关联的第一子集参数,控制一个或多个音频效果对音频信号的第一音频频段和/或第一音频声道的施加,以根据用户的脑电波信号来有助于增强用户的听觉享受。音频处理器组件可以至少部分基于第一子集音频效果参数来控制(例如,设定、调整、修正等)施加到音频信号的第一音频频段和/或第一音频声道的一个或多个音频效果。例如,音频处理器组件可以至少部分基于第一子集参数来便于设定、调整、修正或者控制一个或多个音频效果的各音频参数,以有助于控制施加到音频信号的第一音频频段和/或第一音频声道的一个或多个音频效果。
在708,可以至少部分基于与一个或多个音频效果相关联的第二子集参数,控制一个或多个音频效果到音频信号的第二音频频段和/或第二音频声道的施加,以根据用户的脑电波信号来帮助增强用户的听觉享受。音频处理器组件可以至少部分基于第二子集音频效果参数来控制(例如,设定、调整、修正等)一个或多个音频效果到音频信号的第二音频频段和/或第二音频声道的施加。例如,音频处理器组件可以至少部分基于第二子集参数来便于设定、调整、修正或者控制一个或多个音频效果的各音频参数,以有助于控制一个或多个音频效果到音频信号的第二音频频带和/或第二音频声道的施加。
在710,可以至少部分基于音频演示的音频信号和所控制的一个或多个音频效果对音频信号的施加,来生成处理后的音频信号,所述一个或多个音频效果对音频信号的施加是至少部分基于与第一音频频段和/或第二音频声道有关的第一子集参数音频信号以及与第二音频频段和/或第二音频声道有关的第二子集参数的。音频处理器组件可以有助于处理经由控制施加一个或多个音频效果的音频信号来生成处理后的音频信号。
在712,可以经由音频接口(例如,一组扬声器)将处理后的音频演示的音频信号呈现给用户。音频处理器组件可以与音频接口相关联,该音频接口可以是一组两个或更多个扬声器。音频处理器组件可以将处理后的音频信号传输给音频接口用于呈现给用户以有助于将增强后的音频演示呈现给用户,从而增强用户的听觉享受。
为了提供本公开主题的各个方案的上下文,图8和图9以及下面的讨论旨在提供适合环境的简短的、通用的描述,其中可以实现本公开主题的各个方案。当已经在运行在计算机和/或电脑上的计算机程序的计算机可执行指令的通用上下文中描述本主题时,本领域技术人员将认识到本公开也可以与其他程序模块结合实施。通常,程序包括执行特定任务和/或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外,本领域技术人员应当理解,该方法可以通过其他计算机系统配置实行,其他计算机系统配置包括单处理器或多处理器计算机系统、微型计算设备、大型计算机以及个人计算机、手持计算设备(例如,个人数字助理(PDA)、电话、手表)、基于微处理器或可编程消费者或工业电子等等。示出的方案也可以在分布式计算环境下实行,其中通过经由通信网络连接的远程处理设备来执行任务。然而,一些,并非所有本公开的方案可以在独立的计算机上实行。在分布式计算环境下,程序可以位于本地和远程存储设备中。
参见图8,用于实现所请求保护的主题的各个方案的适合环境800包括计算机812。计算机812包括处理单元814、系统存储器816和系统总线818。应当理解的是,可以使用与实现与例如图1-图7显示和/或描述有关的的一个或多个系统或组件(例如,音频处理器组件、音频系统、传感器组件、处理器组件、数据存储器等)有关的计算机812。系统总线818将包括系统存储器816的系统组件耦接至处理单元814,但不限于此。处理单元814可以是任何各种可用的处理器。双微处理器和其他多处理器结构也可以实现为处理单元814。
系统总线818可以是任何各种类型的总线结构,包括存储器总线或存储器控制器、外设总线或外部总线和/或使用任意多种可用总线结构的本地总线,包括工业标准结构(ISA)、微声道结构(MSA)、扩展ISA(EISA)、智能驱动电子(IDE)、VESA局部总线(VLB)、外围组件互连(PCI)、卡总线、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储器卡国际协会总线(PCMCIA)、火线(IEEE 1394)以及小型计算机系统界面(SCSI),但不限于此。
系统存储器816包括易失性存储器820和非易失性存储器822。基本输入/输出系统(BIOS),包含基本例程以在计算机812内的元件之间传输信息,例如在启动期间,被存储在非易失性存储器822中。通过举例而不是限制的方式,非易失性存储器822可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存存储器。易失性存储器820包括用作外部高速缓存存储器的随机存取存储器(RAM)。通过举例而不是限制的方式,RAM以多种形式可用,例如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、内存总线直接RAM(RDRAM)、直接内存总线动态RAM(DRDRAM)和内存总线动态RAM(RDRAM)。
计算机812还可以包括可移动/不可移动、易失性/非易失性计算机存储介质。图8示出例如磁盘824。磁盘存储器824包括类似磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动、LS-100驱动器、闪存存储器卡或存储器棒的设备,但不限于此。此外,磁盘存储器824可以包括单独地或与包括例如光盘ROM设备(CD-ROM)的光盘驱动器、CD可记录驱动器(CD-R驱动器)、CD可擦写驱动器(CD-RW驱动器)或数字通用光盘ROM驱动器(DVD-ROM)的其他存储介质有关的存储介质,但不限于此。为了有助于磁盘存储设备824连接至系统总线818,典型地使用可移动或不可移动的接口,例如接口826。
应当理解的是,图8描述用作在适合操作环境800下描述的用户与基本的计算机资源之间的媒介的软件。这种软件包括操作系统828。可以存储在磁盘存储器824上的操作系统828用于控制和分配计算机系统812的资源。系统应用830通过操作系统828经由存储在系统存储器816中或磁盘存储器824上的程序模块832和程序数据834利用管理资源。应当理解的是,本主题可以通过各种操作系统或操作系统的组合来实现。
用户通过输入设备836将命令或信息键入到计算机812中。输入设备836包括指向设备,例如鼠标、滚轮、定位笔、触摸板、键盘、麦克风、操纵杆、游戏平板、圆盘式卫星电视天线、扫描仪、TV调谐卡、数码相机、数码摄像机、网络摄像机等,但不限于此。这些和其他输入设备通过系统总线818经由接口端口838连接至处理单元814。接口端口838包括例如串行端口、并行端口、游戏端口和通用串行总线(USB)。输出设备840使用一些相同类型的端口作为输入设备836。因此,例如,USB端口可以用于将输入提供至计算机812,以及将从计算机812中输出的信息提供至输出设备840。输出适配器842被提供以在需要特殊适配器的其他输出设备840之间示出类似监测器、扬声器和打印机的一些输出设备840。通过举例而不是限制的方式,输出适配器842包括提供输出设备840与系统总线818之间的连接手段的显卡和声卡。应当注意的是,提供输入和输出能力(例如远程计算机844)的设备的其他设备和/或系统。
可以使用逻辑连接至一个或多个远程计算(例如远程计算机844)在网络环境下操作计算机812。远程计算机844可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器设备、对等设备或其他公共网络节点等,并且典型地包括相对于计算机812描述的很多或所有元件。为了方便起见,只有存储设备846通过远程计算机844被示出。远程计算机844通过网络接口848逻辑连接至计算机812,然后经由通信连接850被物理连接。网络接口848包括有线和/或无线通信网络,例如局域网(LAN)和广域网(WAN)。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式数据接口(CDDI)、以太网、令牌环等。WAN技术包括点对点连接、电路交换网络(类似综合业务数字网(ISDN)及其变化)、分组交换网络和数字用户线路(DSL),但不限于此。
通信连接850是指用来将网络接口848连接至总线818的硬件/软件。当通信连接850被显示用于清楚示出内部计算机812时,其也可以是外部计算机812。仅为了示例性目的,需要连接至网络接口848的硬件/软件包括内部和外部技术,例如调制解调器,包括普通电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器和以太网卡。
图9是可以与本公开进行交换的样品计算环境900的示意性方框图。系统900包括一个或多个客户端910。客户端910可以是硬件和/或软件(例如,线程、进程、计算设备)。系统900还包括一个或多个服务器930。因此,系统900可以对应于两层客户端服务器模式或多层模式(例如,客户端、中间层服务器、数据服务器),其中包括其他模式。服务器930也可以是硬件和/或软件(例如,线程、进程、计算设备)。例如,服务器930可以容置线程以通过使用本公开来执行转换。客户端910与服务器930之间的一种可能的通信可以以数据包的形式在两个或更多个计算机进程之间发送。
系统900包括可以用来有助于在客户端910与服务器930之间通信的通信框架950。客户端910可操作地连接至可以用来存储本地客户端910的信息的一个或多个客户端数据存储器920。类似地,服务器930可操作地连接至可以用来存储本地服务器930的信息的一个或多个服务器数据存储器940。
应当认识和理解的是,如对于特定系统或方法描述的组件(例如,音频处理器组件、音频系统、音频接口或扬声器、传感器组件、处理器组件、数据存储器等)可以包括与如对于本文公开的其他系统或方法描述的各组件(例如,分别命名的组件或相似命名的组件)相同或相似的功能。
此外,术语“或”旨在表示包括性的“或”而非排他性的“或”。也就是说,除非另有规定或从上下文显而易见,否则“X采用A或B”旨在表示任意自然包括性的置换。也就是说,如果X采用A;X采用B;或者X采用A和B,则“X采用A或B”满足前述任一举例。此外,本说明书和附图中所使用的冠词“一”应当一般性地解读为表示“一个或更多个”,除非另有规定或从上下文显而易见是指向单数形式。
如本文所使用的,术语“示例”和/或“示例性”是指充当示例、举例、或示意。为了避免疑问,本公开主题不限于这种示例。此外,本文作为“示例”和/或“示例性”描述的任何方案或设计都不能被必然解读为比其他方案或设计更为优选或有益。使用的“示例性”用词只是为了以具体的样式来提出概念。
如本文所使用的,术语“组件”、“系统”等可以指计算机相关联实体,硬件、软件(例如,执行中)和/或固件。例如,组件可以是在处理器、对象、可执行文件、程序和/或计算机上运行的进程。通过举例说明的方式,在服务器上运行的应用和服务器可以是组件。一个或多个组件可以存在于进程内并且组件可以定位在一计算机上和/或分布在两个或更多个计算机之间。
此外,本公开主题可以作为方法、设备或制造的产品被实现,使用标准编程和/或工程技术来生产软件、固件、硬件或其任意组合来控制计算机以实现本公开主题。本文所使用的术语“制造的产品”可以包含来自任何计算机可读设备、载体或媒介的计算机程序访问。例如,计算机可读介质可以包括磁存储设备(例如,硬盘、软、磁条……)、光盘(例如,光盘(CD)、数字通用光盘(DVD)……)、智能卡和闪存设备(例如,卡、棒、键驱动……),但不限于此。此外,应当理解的是,载波可以用来执行计算机可读电子数据,例如用在发送和接收电子邮件或在访问网络(因特网或局域网(LAN))中的这些。如本文所使用和限定的,术语“计算机可读存储设备”不包括暂时存储介质。当然,在不脱离本公开主题的范围或精神下,本领域技术人员将确认可以对该配置进行许多变型。
由于其用在本说明书中,术语“处理器”实质上可以指任何计算处理单元或设备,包括单核处理器、具有软件多线程执行能力的单核处理器、多核处理器、具有软件多线程执行能力的多核处理器、具有硬件多线程技术的多核处理器、并联平台和具有分布式共享存储器的并联平台,但不限于此。此外,处理器可以指集成电路、特定用途集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、图形处理器(GPU)、可编程逻辑控制器(PLC)、复杂可编程逻辑器件(CPLD)、离散门或晶体管逻辑、离散硬件组件或者设计为执行本文所描述的功能的其任意组合。此外,为了优化空间使用或提高用户设备的性能,处理器可以利用纳米级结构,例如分子和量子点晶体管、开关和门,但不限于此。处理器也可以实现为计算处理单元的组合。
在本公开中,术语例如“存储”、“存储器”、“数据存储”、“数据存储器”、“数据库”和实质上与操作相关联的任何其他信息存储组件以及和组件的功能用于指在“存储器”中体现的“存储器组件”实体或包括存储器的组件。应当理解的是,本文所描述的存储器和/或存储器组件可以是易失性存储器或非易失性存储器,或者可以包括易失性和非易失性存储器。
通过举例而不是限制的方式,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存或非易失性随机存取存储器(RAM)(例如,铁电RAM(FeRAM))。易失性存储器可以包括例如用作外部高速缓存存储器的RAM。通过举例而不是限制的方式,RAM以多种形式可用,例如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、内存总线直接RAM(RDRAM)、直接内存总线动态RAM(DRDRAM)和内存总线动态RAM(RDRAM)。此外,本文公开的系统或方法的存储器组件旨在包括而非限制包括这些和任何其他适合类型的存储器。
详细描述的一些部分已经以算法和/或符号的方式呈现在计算机存储器内的数据位上。这些算法描述和/或重新演示是本领域技术人员采用的手段以有效地将他们的工作实质传输给其它同样的技术人员。在这里算法通常被设想为导致期望结果的动作的自洽序列。该动作是那些需要物理量的物理操作。通常,尽管不是必须的,这些量采用能够被存储、转移、比较和/或别的方式操作的电信号和/或磁信号的形式。
已经多次证实,主要是为了通用的原因,将这些信号称为比特、值、元素、符号、字符、术语、数字等等。然而,应当牢记的是,所有这些和类似的术语将与适当的物理量相关联,并且应用到这些量仅是方便标记。除非特别说明,否则从前面的讨论可以明显看出,可以理解的是,贯穿本公开主题,利用例如处理、运算、计算、确定和/或显示等的讨论是指,计算机系统的作用和过程,和/或类似的消费者和/或工业电子设备和/或机器,其表示为将计算机和/或机器的寄存器和存储器的物理(电和/或电子)量的数据操作和/或转换为类似表示为机器和/或计算机系统存储器或寄存器或其他这种信息存储、传输和/或显示设备内的物理量的其他数据。
上述已经说明的包括本公开主题实施例的多个示例。出于说明所请求保护的主题的目的,当然不可能描述组件或方法的所有能想到的组合,但应当理解还有各实施例的许多其他组合和置换也是可能的。因此,所请求保护的主题旨在涵盖落入所附权利要求精神和范围内的所有这种修正、改进、和变化。此外,在某种程度上,详细说明书或权利要求中使用了“包括”、“包含”、“具有”、“含有”等用语及其变形以及其他类似的用词,这些用语旨在以类似于用语“包括有”作为开放过渡用词的方式那样是包括性的,而并不排除任何附加的或其他元素。

Claims (32)

1.一种音频处理系统,包括:
至少一个存储器,存储计算机可执行组件;以及
至少一个处理器,执行或有助于执行所述计算机可执行组件,所述计算机可执行组件包括:
检测器组件,检测与用户大脑的大脑活动相关联的一组信号,其中该组信号至少包括与第一频段相关联的第一信号和与第二频段相关联的第二信号;以及
音频处理器组件,至少部分基于该组信号的分析结果,控制一个或多个音频效果对通过音频设备生成的音频信号的施加,以生成处理后的音频信号呈现给所述用户,该组信号的分析结果表示与所述第一频段相关联的所述第一信号的第一信号强度以及与所述第二频段相关联的所述第二信号的第二信号强度。
2.根据权利要求1所述的系统,其中所述音频处理器组件分析该组信号和所述音频信号以有助于确定与所述一个或多个音频效果有关的一组效果参数。
3.根据权利要求2所述的系统,其中所述音频处理器组件至少部分基于该组信号的分析结果和所述音频信号的另外的分析结果来确定该组效果参数。
4.根据权利要求3所述的系统,其中所述音频处理器组件将该组效果参数施加到所述一个或多个音频效果以有助于控制所述一个或多个音频效果对所述音频信号的施加。
5.根据权利要求2所述的系统,其中所述音频处理器组件至少部分基于该组信号的分析结果来确定该组信号的各信号的各信号强度。
6.根据权利要求5所述的系统,其中所述音频信号为至少与第一音频声道和第二音频声道相关联的多声道音频信号。
7.根据权利要求6所述的系统,其中所述一个或多个音频效果包括空间效果,并且其中所述音频处理器组件至少部分基于该组信号的所述各信号的所述各信号强度来调整施加到所述多声道音频信号的所述空间效果的空间维度。
8.根据权利要求7所述的系统,其中对所述空间效果的空间维度的调整包括对施加到所述多声道音频信号的所述空间效果的扩展调整,并且其中所述音频处理器组件整合对施加到所述多声道音频信号的所述空间效果的扩展的周期性调整或随机性调整的至少一个。
9.根据权利要求7所述的系统,其中所述音频处理器组件将延迟效果施加到所述多声道音频信号以生成延迟的多声道音频信号,以及对所述空间效果的所述空间维度的调整包括调整施加到所延迟的多声道音频信号的所述空间效果的扩展,并且其中所述音频处理器组件整合对施加到所延迟的多声道音频信号的所述空间效果的扩展的周期性调整或随机性调整的至少一个。
10.根据权利要求2所述的系统,其中所述音频处理器组件至少部分基于与所述第一频段相关联的所述第一信号强度来确定该组效果参数的第一效果参数,以及至少部分基于与所述第二频段相关联的所述第二信号强度来确定该组效果参数的第二效果参数。
11.根据权利要求10所述的系统,其中所述音频处理器组件将所述第一效果参数和所述第二效果参数施加到所述一个或多个音频效果中的至少一个音频效果以有助于控制所述至少一个音频效果对所述音频信号的施加。
12.根据权利要求10所述的系统,其中所述音频处理器组件将所述第一效果参数施加到所述一个或多个音频效果中的至少一个音频效果以有助于控制所述至少一个音频效果对所述音频信号的第一音频频段的施加,以及将所述第二效果参数施加到所述至少一个音频效果以有助于控制所述至少一个音频效果对所述音频信号的第二音频频段的施加。
13.根据权利要求1所述的系统,其中所述音频处理器组件有助于将所处理后的的音频信号经由音频接口呈现给所述用户。
14.根据权利要求1所述的系统,其中所述一个或多个音频效果包括空间扩展效果、延迟效果、混响效果、均衡器效果或平移效果中的至少一个。
15.一种音频处理方法,包括:
通过包括处理设备的一系统感测与用户的大脑活动相关联的一组脑电波信号,其中该组脑电波信号至少包括与第一频段相关联的第一脑电波信号和与第二频段相关联的第二脑电波信号;以及
至少部分基于该组脑电波信号的分析结果,通过所述系统控制一组音频效果对由音频设备生成的音频信号的施加,以生成处理后的音频信号呈现给所述用户,其中该组脑电波信号的分析结果包括与所述第一频段相关联的所述第一脑电波信号的第一信号强度以及与所述第二频段相关联的所述第二脑电波信号的第二信号强度。
16.根据权利要求15所述的方法,还包括:
通过所述系统监测与所述用户的大脑活动相关联的该组脑电波信号,其中所述感测该组脑电波信号包括感测与响应于所述音频信号或所处理后的的音频信号中的至少一个对所述用户的呈现而出现的用户的大脑活动相关联的该组脑电波信号的变化。
17.根据权利要求15所述的方法,还包括:
通过所述系统分析该组脑电波信号和所述音频信号,以有助于确定施加到该组音频效果的一组效果参数。
18.根据权利要求17所述的方法,还包括:
通过所述系统至少部分基于该组脑电波信号的所述分析结果和所述音频信号的另外的分析结果来确定该组效果参数。
19.根据权利要求18所述的方法,还包括:
通过所述系统将该组效果参数施加到该组音频效果中的至少一个音频效果,以有助于控制所述至少一个音频效果对音频信号的施加。
20.根据权利要求17所述的方法,还包括:
通过所述系统至少部分基于该组脑电波信号的所述分析结果,来确定该组脑电波信号的各脑电波信号的各信号强度。
21.根据权利要求20所述的方法,其中所述音频信号为多声道音频信号。
22.根据权利要求21所述的方法,其中所述音频效果包括空间扩展效果,并且其中所述方法还包括:
通过所述系统至少部分基于该组脑电波信号的所述各脑电波信号的各信号强度来修正施加到所述多声道音频信号的所述空间扩展效果的空间扩展的等级。
23.根据权利要求22所述的方法,其中所述修正施加到所述多声道音频信号的所述空间扩展效果的空间扩展的等级包括周期地或随机地修正施加到所述多声道音频信号的所述空间扩展效果的空间扩展的等级这两种修正方式的至少之一。
24.根据权利要求21所述的方法,还包括:
通过所述系统将延迟效果施加到所述多声道音频信号,以有助于生成延迟的多声道音频信号;以及
通过所述系统至少部分基于该组脑电波信号的所述各脑电波信号的各信号强度,来修正施加到所延迟的多声道音频信号的空间扩展效果的空间扩展的等级。
25.根据权利要求24所述的方法,其中所述修正施加到所延迟的多声道音频信号的所述空间扩展效果的空间扩展的等级包括周期地或随机地修正施加到所延迟的多声道音频信号的所述空间扩展效果的空间扩展的等级这两种修正方式的至少之一。
26.根据权利要求17所述的方法,还包括:
通过所述系统确定与所述第一频段相关联的所述第一脑电波信号的第一信号强度;
通过所述系统确定与所述第二频段相关联的所述第二脑电波信号的第二信号强度;
通过所述系统至少部分基于与所述第一频段相关联的所述第一信号强度来确定该组效果参数的第一效果参数;以及
通过所述系统至少部分基于与所述第二频段相关联的所述第二信号强度来确定该组效果参数的第二效果参数。
27.根据权利要求26所述的方法,还包括:
通过所述系统将所述第一效果参数和所述第二效果参数施加到该组音频效果的至少一个音频效果以有助于控制所述至少一个音频效果对所述音频信号的施加,从而有助于生成所处理后的的音频信号。
28.根据权利要求26所述的方法,还包括:
通过所述系统将所述第一效果参数施加到该组音频效果的至少一个音频效果以有助于控制所述至少一个音频效果对所述音频信号的第一音频频段的施加,从而有助于生成所处理后的的音频信号;以及
通过所述系统将所述第二效果参数施加到所述至少一个音频效果以有助于控制所述至少一个音频效果对所述音频信号的第二音频频段的施加,从而有助于生成所处理后的的音频信号。
29.一种存储计算机可执行指令的非暂时性计算机可读介质,其响应于执行,使包括处理器的系统执行包括下述的操作:
检测与用户的大脑活动相关联的一组脑电波信号,其中该组脑电波信号至少包括与第一频段相关联的第一脑电波信号和与第二频段相关联的第二脑电波信号;以及
至少部分基于该组脑电波信号的分析结果,管理一组音频效果对由音频系统生成的多声道音频信号的施加,以生成处理后的音频信号呈现给所述用户,其中该组脑电波信号的分析结果涉及与所述第一频段相关联的所述第一脑电波信号的第一信号强度以及与所述第二频段相关联的所述第二脑电波信号的第二信号强度。
30.根据权利要求29所述的非暂时性计算机可读介质,其中该组音频效果包括空间扩展效果,并且其中所述操作还包括:
监测与所述用户的大脑活动相关联的该组脑电波信号,其中所述检测该组脑电波信号包括检测与所述用户响应于所述音频信号或所处理后的的音频信号中的至少一个对所述用户的呈现的大脑活动相关联的该组脑电波信号的变化;以及
响应于该组脑电波信号的变化来调整施加到所述多声道音频信号的所述空间扩展效果的空间扩展的等级。
31.一种音频处理系统,包括:
用于感测的装置,用于感测与用户的大脑活动相关联的一组信号,其中该组信号至少包括与第一频段相关联的第一信号和与第二频段相关联的第二信号;以及
用于控制的装置,用于至少部分基于该组信号的分析结果,控制一组音频效果对由音频系统生成的多声道音频信号的施加,以生成处理后的音频信号呈现给所述用户,其中该组信号涉及与所述第一频段相关联的所述第一信号的第一信号强度以及与所述第二频段相关联的所述第二信号的第二信号强度。
32.根据权利要求31所述的系统,其中该组音频效果包括空间效果,并且其中所述系统还包括:
用于监测的装置,用于监测与所述用户的所述大脑活动相关联的该组信号,其中所述用于感测的装置包括用于感测所述第一信号的第一信号强度或所述第二信号的第二信号强度中的至少一个的变化的装置,所述装置响应于所述音频信号或所处理后的的音频信号中的至少一个对所述用户的呈现来进行感测;以及
用于修正的装置,用于至少部分基于所述第一信号的所述第一信号强度或所述第二信号的所述第二信号强度中的至少一个的变化,来修正施加到所述多声道音频信号的所述空间效果的空间扩展的等级。
CN201410291396.XA 2014-02-21 2014-06-25 音频处理系统、音频处理方法和计算机可读介质 Active CN104869501B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/186,706 2014-02-21
US14/186,706 US9326086B2 (en) 2014-02-21 2014-02-21 Neural induced enhancement of audio signals

Publications (2)

Publication Number Publication Date
CN104869501A CN104869501A (zh) 2015-08-26
CN104869501B true CN104869501B (zh) 2018-04-10

Family

ID=53883557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410291396.XA Active CN104869501B (zh) 2014-02-21 2014-06-25 音频处理系统、音频处理方法和计算机可读介质

Country Status (2)

Country Link
US (1) US9326086B2 (zh)
CN (1) CN104869501B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108261775B (zh) * 2016-12-30 2020-06-19 上海艺珥信息科技有限公司 一种玩具及一种玩具交互系统
US11179564B2 (en) 2017-04-25 2021-11-23 Washington University Resorbable implant for stimulating tissue, systems including such implant, and methods of using
US20180318544A1 (en) * 2017-05-03 2018-11-08 Ugur Dogan Brainwave entrainment method altering specific parts of the brain
CN107277075A (zh) * 2017-08-18 2017-10-20 京东方科技集团股份有限公司 认证装置和认证方法
CN107865656A (zh) * 2017-10-30 2018-04-03 陈锐斐 一种利于脑力增强的音乐文件的制作方法
EP3777239A4 (en) * 2018-04-05 2021-12-22 Cochlear Limited IMPROVED HABILITATION AND / OR REHABILITATION FOR THE ACCEPTANCE OF HEARING PROSTHESIS
CN110839193A (zh) * 2018-08-15 2020-02-25 宏碁股份有限公司 电子系统及音频处理方法
WO2020204934A1 (en) * 2019-04-05 2020-10-08 Hewlett-Packard Development Company, L.P. Modify audio based on physiological observations
US11184723B2 (en) * 2019-04-14 2021-11-23 Massachusetts Institute Of Technology Methods and apparatus for auditory attention tracking through source modification
TWI782249B (zh) * 2020-01-14 2022-11-01 達發科技股份有限公司 腦波誘導音製造方法及聲音調整裝置
CN113223541A (zh) * 2020-01-17 2021-08-06 原相科技股份有限公司 脑波诱导音制造方法及声音调整装置
US11689878B2 (en) * 2021-09-07 2023-06-27 Qualcomm Incorporated Audio adjustment based on user electrical signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2872546Y (zh) * 2006-01-24 2007-02-21 陈奚平 播放器控制器
CN101467875A (zh) * 2007-12-28 2009-07-01 周常安 耳戴式生理反馈装置
CN102446533A (zh) * 2010-10-15 2012-05-09 盛乐信息技术(上海)有限公司 音乐播放器
EP2560412A1 (en) * 2012-10-08 2013-02-20 Oticon A/s Hearing device with brain-wave dependent audio processing

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4056805A (en) 1976-12-17 1977-11-01 Brady William M Programmable electronic visual display systems
US4748669A (en) 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
US4910778A (en) 1987-10-16 1990-03-20 Barton Geoffrey J Signal enhancement processor for stereo system
US4866774A (en) 1988-11-02 1989-09-12 Hughes Aircraft Company Stero enhancement and directivity servo
US5403261A (en) 1991-06-18 1995-04-04 Matsushita Electric Industrial Co., Ltd. Illumination equipment
US5213338A (en) 1991-09-30 1993-05-25 Brotz Gregory R Brain wave-directed amusement device
US5661808A (en) 1995-04-27 1997-08-26 Srs Labs, Inc. Stereo enhancement system
JPH09182193A (ja) 1995-12-27 1997-07-11 Nec Corp 補聴器
US5970153A (en) 1997-05-16 1999-10-19 Harman Motive, Inc. Stereo spatial enhancement system
WO2001039547A1 (en) 1999-11-25 2001-05-31 Embracing Sound Experience Ab A method of processing and reproducing an audio stereo signal, and an audio stereo signal reproduction system
KR200281003Y1 (ko) 2002-04-12 2002-07-13 주식회사 드림프리 뇌파 유도 신호 발생장치
JP3993069B2 (ja) 2002-10-30 2007-10-17 三菱電機株式会社 脳波信号を利用した制御装置
WO2005065794A1 (en) 2004-01-02 2005-07-21 Interactive Productline Ab Method for playing games using brain waves
KR101014234B1 (ko) 2004-03-31 2011-02-14 엘지전자 주식회사 오디오 기기에서의 맥동 잡음 발생장치 및 방법
US7674224B2 (en) 2005-10-14 2010-03-09 Vitrepixel Holdings, Llc Method for incorporating brain wave entrainment into sound production
GB0603545D0 (en) 2006-02-22 2006-04-05 Fletcher Edward S Apparatus and method for reproduction of stereo sound
WO2008131454A1 (en) 2007-04-24 2008-10-30 Altman Mitchell A Guide glasses
CN102114303A (zh) 2009-12-30 2011-07-06 深圳富泰宏精密工业有限公司 催眠装置及方法
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8755782B2 (en) * 2010-08-24 2014-06-17 Lg Electronics Inc. Mobile terminal and method of controlling operation of the mobile terminal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2872546Y (zh) * 2006-01-24 2007-02-21 陈奚平 播放器控制器
CN101467875A (zh) * 2007-12-28 2009-07-01 周常安 耳戴式生理反馈装置
CN102446533A (zh) * 2010-10-15 2012-05-09 盛乐信息技术(上海)有限公司 音乐播放器
EP2560412A1 (en) * 2012-10-08 2013-02-20 Oticon A/s Hearing device with brain-wave dependent audio processing

Also Published As

Publication number Publication date
US20150245156A1 (en) 2015-08-27
US9326086B2 (en) 2016-04-26
CN104869501A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104869501B (zh) 音频处理系统、音频处理方法和计算机可读介质
Best et al. Sound externalization: A review of recent research
Carlile et al. The perception of auditory motion
US10366778B2 (en) Method and device for processing content based on bio-signals
Zacharov Sensory evaluation of sound
CN104423707B (zh) 使用分段和组合的触觉转换系统
US20160183019A1 (en) Systems and methods for tracking and presenting tinnitus therapy data
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
JP2018504719A (ja) スマートオーディオヘッドホンシステム
KR101003379B1 (ko) 이명 탐색/치료 방법 및 시스템
CN104254358A (zh) 用于通过控制音量来增强有效脑电波的系统和方法
US11051748B2 (en) Multiple frequency neurofeedback brain wave training techniques, systems, and methods
Schaefer et al. Intuitive visualizations of pitch and loudness in speech
US11532240B2 (en) Audio-only interference training for cognitive disorder screening and treatment
WO2021215266A1 (ja) 制御装置、及び制御方法
Varsani et al. Sensorial computing
Nagarajan et al. There's data all around you: Improving data literacy in high schools through STEAM based activities
Brambilla et al. Measurements and Techniques in Soundscape Research
Akshay et al. There’s Data all around you: Improving data literacy in high schools through STEAM based activities
Williams Evaluating BCI for musical expression: Historical approaches, challenges and benefits
KR102593549B1 (ko) 3d 입체 음향 및 바이노럴 비트에 기반한 사운드 테라피 제공 방법 및 장치
Miner Creating wavelet-based models for real-time synthesis of perceptually convincing environmental sounds
WO2021215267A1 (ja) 制御装置、及び制御方法
US11402974B2 (en) User interface system and method
Chapman Context-based Sound and the Ecological Theory of Perception

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant