CN106843477A - 多通道融合的声色联觉测评方法及系统 - Google Patents

Abstract

本发明提供了一种多通道融合的声色联觉测评方法及系统，包括：1)对声音与色彩的单属性分别进行分解与提取；2)构建声色关联软件测试系统，应用内隐联想法，被试者对步骤1)中提取后的单属性的声音与色彩进行主观匹配，得到匹配规律；3)对步骤2)的结果进行分析与再提取，提取匹配度最高、最稳定的声色属性搭配，构建二次测试界面及系统，进行额区与顶区的脑电信号采集与处理的客观分析；4)将脑电信号的频段活跃度变化表征认知过程中的舒适性与愉悦性，提出该实验应用于视听觉设计的参考价值。本发明降低人的主观情绪化或提高认知与工作效率，并且，实验系统在其他领域存在可扩展的广泛应用。

Description

多通道融合的声色联觉测评方法及系统

【技术领域】

本发明属于认知心理学与神经科学交叉领域，具体涉及一种多通道融合的声色联觉测评方法及系统。

【背景技术】

多通道的人机交互模式和技术在迅速发展，但对人体的感知过程和认知机理却较少关注，随着直觉化交互的多通道情景体验模式的兴起，人体直觉化交互特性与多感知通道间的响应规律有着密不可分的联系，因此对人的多通道感知关联的响应规律进行研究，是研究人的直觉化交互的重要依据。

人的多通道感知关联性主要是指对人的视觉、听觉、触觉、味觉等通道之间，一种感觉通道特征与另一感觉通道之间的相互作用与影响。人对外部信息的接收主要依靠6种基本通道：视觉、听觉、味觉、触觉、嗅觉和本体觉等，而这6种通道也是人类自身发展进化最本质、最直觉化的信息获取方式。研究表明，83％依赖视觉通道、11％依赖听觉通道、3.15％嗅觉通道、1.15％依赖触觉通道、1％依赖味觉通道；融合2种或多种通道会使认知效率和认知可靠度提高约50％，而视觉和听觉是人接收信息的两大主要通道，因此，对视听觉的通道研究在多通道感知研究中最为重要。目前，很多研究机构都对通道的感知关联性研究上进行了研究，如英国牛津大学的跨通道心理研究实验室(Cross-modal ResearchLaboratory)通过内隐联想法实验对颜色与味道、声音与味道的关联性进行了研究，即视觉和听觉与味觉的通道感知关联性；美国的耶鲁大学也在心理学领域对视听觉进行了一定的研究；德国的IUUI研究所(intuitive use of user interfaces)和澳大利亚的Blackler团队等在直觉化交互领域进行了探索。

目前，国际上关于多通道感知关联性研究主要集中在心理学领域，缺乏从神经生理学角度的深入研究。随着通道接收信息量的增加，基于人的认知机理对人直觉化交互的多通道融合感知效率也提出更高要求，因此从神经生理学和认知心理学角度，结合主观和客观分析人体直觉化交互特性与多感知通道关联的响应规律显得十分必要。

【发明内容】

为解决现有技术存在的问题，本发明提供一种多通道融合的声色联觉测评方法及系统。该声色联觉测评方法对人体的认知机理进行客观的、量化的、更加有科学依据的验证分析。

本发明目的是通过以下技术方案来实现的：

一种多通道融合的声色联觉测评方法，包括以下步骤：

1)、对声音与色彩的属性特征分解与提取，以及对每个属性分级处理；

2)、应用内隐联想法，被试者对步骤1)中提取后的单属性的声音与色彩进行主观匹配，得到匹配规律；

3)、对步骤2)的结果进行分析与再提取，提取匹配度最高、最稳定的声色属性搭配，进行额区与顶区的脑电信号采集与处理分析；

4)、将脑电信号的频段活跃度变化表征认知过程中的舒适性与愉悦性，为多通道界面的视听觉融合设计提供参考与指导。

步骤1)中，分解声音属性得到5个声音单属性特征，同时对每个单属性特征进行4个等级处理，5个声音单属性特征包括声音的音高、音强、音速、粗糙度和尖锐度；分解声音属性，得到色彩的3个单属性特征及并对其分级处理，包括：色相、明度、纯度。

分级处理具体为：①音高，以C大调为基音的和弦作为基础，通过以八度音程为基准改变音阶，从C2到中选取较为适中的C3、C4、C5、C6；②音强，通过改变音乐中所有的音符序列的起始时间从4.2到99毫秒，选取4.2毫秒、30毫秒、60毫秒、99毫秒四个等级；③音速，通过改变节奏的大小，选取65BPM～200BPM之间段的四个等级：65BPM、120BPM、150BPM、200BPM；④粗糙度，通过一个70赫兹恒定调职频率的颤音效果应用在不同的调制振幅，选取范围为0-100％，选取0％、45％、75％、100％四个等级；⑤尖锐度，通过应用频率滤波器衰减或提振低于或高于1000HZ。

色彩的色相选取ff0000、ffa500、ff00ff、ffff00、00ff00、0000ff、00ffff；明度，在色相选取的基础上，分别依次选取每一个色彩的饱和度值为80％、60％、40％的对应颜色；纯度，在色相选取的基础上，分别依次选取明度值为10％、30％、50％的对应颜色；最终得到，7×7的色彩基本模块。

步骤2)中，将色彩设定为一级和二级选项，一级选项包含色相的7类，二级选项在一级的选择结果影响下显示对应的纯度、明度进行二次选择。

步骤4)中的脑电波数据通过40个国际10-20标准放置电极进行采集，采样频率为1KHz；标准放置电极采集的脑电波数据经过40导信号放大器放大、A/D转化后，传至电脑进行处理数据。

分析人的舒适性与愉悦性是根据脑电的脑电波频段的活跃度计算的。

一种多通道融合的声色联觉测评系统，包括：声色主观测试系统、二次测试系统和生理信号采集及处理系统；

所述的声色主观测试系统，用于对声音与色彩的属性特征分解与提取，以及对每个属性分级处理；还用于完成被试者通过内隐联想法进行声色属性匹配的主观测试，以及收集测试结果的数据，同时根据被试数据的结果分析，再次生成二次测试系统；

所述的二次测试系统，用于通过对第一次主观测试结果分析得出的声音与色彩匹配结论，生成声色混合界面，应用于脑电生理信号的采集与分析，用于客观分析人的认知机理；

所述的生理信号采集及处理系统包括视觉界面显示装置以及脑电信号采集处理设备；视觉界面显示装置包括第一计算机、显示器(2)、音响设备(1)及辅助操作设备(3)，显示器(2)、音响设备(1)及辅助操作设备(3)均连接第一计算机；脑电信号采集处理设备包括依次连接的电极帽(4)、脑电放大器(5)和第二计算机。

所述的声色主观测试系统还用于：在被试者在第一计算机显示输入基本信息后，针对系统随机播放的声音在一定时间对两部分色彩设定进行选择，得出数据进行统计与分析，寻找规律以及声色单属性最高、最稳定搭配；在主观测试的数据结果分析上，提取最高、最稳定的声色单属性搭配，构建针对该匹配的多个不同等级的声色混合界面，使用二次测试系统和生理信号采集及处理系统对被试者进行脑电生理信号采集，根据脑电信号分析人的舒适性与愉悦性，由此结合心理学和神经生理学，主客观分析声色属性的匹配结果对人的认知影响，，完成多通道融合的声色联觉测试。

所述的脑电信号采集处理设备用于：通过第一计算机及外连接的音响设备，显示二次测试系统的声色混合界面，被试者头戴脑波仪，通过眼睛直视第一计算机显示的声色混合界面；在此过程中，脑波信号传入第二计算机中，记录脑电信号，提取事件相关电位；关闭音响设备，此时传输信息的界面只显示色彩，被试者眼睛直视界面，此时，脑波信号传入第二计算机中，记录脑电信号，采集的信号包括额区、顶区的脑电信号，分别对两次获取的信号进行伪迹矫正处理以及叠加平均，提取事件相关电位进行分析，观察特定频段的波动，由此估计针对多通道融合的界面对被试者的认知舒适度与愉悦性差异。

相对于现有技术，本发明具有以下优点：

与现有主观心理测试相比，本发明一种多通道融合的声色联觉实验方法，通过对声音与色彩的属性分解，对属性的关联性更加细致的进行主观研究分析并得到其关联规律，同时在主观的测试基础上，增添脑电信号的应用于声色实验，对人体的认知机理进行客观的、量化的、更加有科学依据的验证分析。本发明的评测方法从心理学和神经科学对多通道融合的感知关联性进行研究，不但可以为后期的人体多感知通道的功能分配、信息提取以及直觉化响应研究提供重要的数据参考，同时为幽闭的装备舱室或密闭作业空间中声音与灯光等的环境布置与设计提供理论指导，而且可望推广应用于为心理医学、环境音效光效设计等行业的优化设计提供参考数据，以创造更高的经济和社会价值。

针对现有技术，在实验系统的构建上，本发明建立了一套内容比较完整的声色实验在线主观测试系统，包括声色主观测试系统、二次测试系统和生理信号采集及处理系统；通过建立对声色联觉的心理实验系统，主观方法测试出声色属性的匹配规律，同时用脑电信号的客观方法对结果进行二次测试，从而给视听设计提供重要的参考信息，以更好的提供交互或环境体验，降低人的主观情绪化或提高认知与工作效率，并且，实验系统在其他领域存在可扩展的广泛应用。能够更方便的修改声音与颜色的特征，并能在短时间内收集大量的主观测试数据，使结果更有说服力；本发明在脑电信号测试的方法上从更客观的角度分析了主观声色属性匹配的结果对人大脑活动的影响。

本发明的试验方法基于面向多通道融合设计的声色联觉测评系统，通过对两部分色彩设定进行选择，得出数据进行统计与分析，寻找规律以及声色单属性最高、最稳定搭配；使用二次测试系统和生理信号采集及处理系统对被试者进行脑电生理信号采集，根据脑电信号分析人的舒适性与愉悦性，由此结合心理学和神经生理学，主客观分析声色属性的匹配结果对人的认知影响，完成多通道融合的声色联觉实验，操作方法简单，处理结果可靠，为多通道界面的视听觉融合设计提供重要的参考与指导。

【附图说明】

图1实验测试系统主要硬件设备；

图2声色关联主观测试系统操作流程图；

图3脑电电极分布示意图；

图4脑电信号测试流程图；

附图标记说明：1、音响设备；2、显示器；3、辅助操作设备；4、脑机接口设备；5、脑电放大器。

【具体实施方式】

下面结合附图，对本发明的具体实施方式进行详细阐述，但本发明不限于该实施例。为了使公众对本发明有彻底的了解，在以下本发明优选施例中详细说明具体的细节。

本发明多通道融合的声色联觉测评方法，包括以下步骤：

1)、对声音与色彩的单属性分别进行分解与提取；

2)、构建声色关联软件测试系统，应用内隐联想法，被试者对步骤1)中提取后的单属性的声音与色彩进行主观匹配，得到匹配规律；

3)、对步骤2)的结果进行分析与再提取，提取匹配度最高、最稳定的声色属性搭配，构建二次测试界面及系统，进行额区与顶区的脑电信号采集与处理分析；

4)、将脑电信号的频段活跃度变化表征认知过程中的舒适性与愉悦性，提出该实验应用于视听觉设计的参考价值。

下面具体结测试系统和实验方法对本发明的多通道融合的声色联觉测评方法进行说明。

1.多通道融合的声色联觉测试系统

多通道融合的声色联觉测试系统，包括声色主观测试系统及二次测试系统和生理信号采集及处理系统；主要硬件设备包括视觉界面显示装置以及脑电信号采集处理设备；

如图1，视觉界面显示装置包括第一计算机、显示器2、音响设备1及辅助操作设备3。辅助操作设备3包括鼠标、键盘等；

脑电信号采集处理设备包括依次连接的电极帽4、脑电放大器5和第二计算机。

所述的声色主观测试系统，用于声音与色彩的分解与提取元素，由测试软件构建。所述的声音与颜色的提取元素，包括对声音提取5个属性特征，即音高、音强、音速、粗糙度、尖锐度，并对每个属性特征进行分级处理。分级处理的方法：①音高，以C大调为基音的和弦作为基础，通过以八度音程为基准改变音阶，从C2(65.406HZ)到C7(2093.0)中选取较为适中的C3(130.81HZ)/C4(261.63HZ)/C5(523.25HZ)C6(1046.5HZ)；②音强，通过改变音乐中所有的音符序列的起始时间从4.2到99毫秒，选取4.2毫秒、30毫秒、60毫秒、99毫秒四个等级；③音速，通过改变节奏的大小，选取65BPM～200BPM之间段的四个等级，即65BPM、120BPM、150BPM、200BPM；④粗糙度，通过一个70赫兹恒定调职频率的颤音效果应用在不同的调制振幅，选取范围为0-100％，选取0％、45％、75％、100％四个等级；⑤尖锐度，通过应用频率滤波器衰减(+12/-12dB)或提振(-12/+12dB)低于或高于1000HZ；同时包括对色彩提取的三个属性特征，即色相、纯度、明度，基于属性之间的关系，提取7×7模块色彩。其中，色彩的色相选取ff0000、ffa500、ff00ff、ffff00、00ff00、0000ff、00ffff；明度，在色相选取的基础上，分别依次选取每一个色彩的饱和度值为80％、60％、40％的对应颜色；纯度，在色相选取的基础上，分别依次选取明度值为10％、30％、50％的对应颜色。最终得到，7×7的色彩基本模块，如表1所示。

表1

软件测试系统是基于C++和Javascript的可视化测试系统。测试软件的构建，主要完成被试者通过内隐联想法进行声色属性匹配的主观测试，以及收集测试结果的数据，同时根据被试数据的结果分析，再次生成二次测试系统。二次可视化测试系统主要完成通过对第一次主观测试结果分析得出的声音与色彩匹配结论，生成声色混合界面，应用于脑电生理信号的采集与分析，用于客观分析人的认知机理。

系统通过为声音添加代码及调用函数，实现对声音的随机单个调用，通过按钮的创建及代码控制实现方案的逻辑控制，最终生成程序。测试系统中包括不同单属性的声音和色彩，允许点选等操作，要求被试在随机声音播放的同时在一定反应时间内通过内隐联想法对色彩做出选择。其中同一音乐对应的色彩选项分为两个级别，第一级别选项为色相属性类别下的7个选择，第二级别选项，为在第一级别选项的选择下进行子选择，即第一级别选项的色相属性类别选择的颜色(如红ff0000)，那么第二级别选项中则会出现对应该颜色(如红ff0000)生成的子选择项，即显示该颜色(如红ff0000)对应的7个纯度、明度属性类别选项，供被试者进行第二次选择。测试系统同时记录被试者的做出选择的反应时间，以此作为分析数据的参考依据。

二次测试系统中，包括基于主观测试结果生成的多个声色混合界面，用于下一步的脑电生理信号采集与分析。

系统的整体软件操作具体流程图，如图2。

生理信号采集及处理系统是由脑机接口设备4、脑电放大器5、第二计算机组成，如图1。脑电电极分布示意图，如图3，用40导的脑电放大器按图中方式进行连接，采样频率为1KHz。被试者头部佩戴脑电帽，采集被试交互过程中的脑电变化，信号经脑电放大器5、A/D转化后，由USB接口传至第二计算机，由第二计算机处理数据。

2.多通道融合的声色联觉测试方法

首先，需要采集基于内隐联想法的主观测试数据，在基于声音与色彩的分解与提取上构建的声色软件测试系统，由第一计算机显示，被试者在输入基本信息(性别、年龄、是否有音乐基础)后，针对系统随机播放的声音在一定时间对两部分色彩设定进行选择。被试者要求年龄在20～50岁之间，被试人数要求最低为100人，其中男女比例各占50％，是否有音乐基础各占50％；得出数据进行统计与分析，寻找规律，以及声色单属性最高、最稳定搭配。例如，数据显示，声音的音高属性在多数人的色彩的明度属性选择中比较一致，则视为音高属性与色彩的明度属性匹配影响最高。

其次，在主观测试的数据结果分析上，提取最高、最稳定的声色单属性搭配(如声音的音高属性与色彩的明度属性)，构建针对该匹配的多个不同等级的声色混合界面，使用二次测试系统和生理信号采集及处理系统对被试者进行脑电生理信号采集。

脑电生理信号采集的过程：通过第一计算机及外连接音响设备，显示二次测试系统的声色混合界面，被试者头戴脑波仪，通过眼睛直视第一计算机显示的声色混合界面，在此过程中，脑波信号传入第二计算机中，记录脑电信号，提取事件相关电位；关闭音响设备，此时传输信息的界面只显示色彩(无声音)，被试者眼睛直视界面，此时，脑波信号传入第二计算机中，记录脑电信号，采集的信号包括额区、顶区的脑电信号，分别对两次获取的信号进行伪迹矫正处理以及叠加平均，提取事件相关电位进行分析，观察特定频段的波动，由此可估计针对多通道融合的界面对被试者的认知舒适度与愉悦性差异，完成多通道融合的声色联觉测试，根据测试结果，为多通道界面的视听觉融合设计提供重要的参考与指导。(图4)。

本发明同样可以用于其他方面的参考，例如，医学上针对聋哑儿童、色盲患者等，可以为更好的为他们利用声音(色彩)感知色彩(声音)提供参考的数据支持；同时，对于飞机座舱、潜水座舱等密闭舱室，为舱室环境的声音与灯光设计提供重要的实验数据参考支持。

以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (10)

1.一种多通道融合的声色联觉测评方法，其特征在于，包括以下步骤：

1)、对声音与色彩的属性特征分解与提取，以及对每个属性分级处理；

2)、应用内隐联想法，被试者对步骤1)中提取后的单属性的声音与色彩进行主观匹配，得到匹配规律；

3)、对步骤2)的结果进行分析与再提取，提取匹配度最高、最稳定的声色属性搭配，进行额区与顶区的脑电信号采集与处理分析；

4)、将脑电信号的频段活跃度变化表征认知过程中的舒适性与愉悦性，为多通道界面的视听觉融合设计提供参考与指导。

2.根据权利要求1所述的一种多通道融合的声色联觉测评方法，其特征在于，步骤1)中，分解声音属性得到5个声音单属性特征，同时对每个单属性特征进行4个等级处理，5个声音单属性特征包括声音的音高、音强、音速、粗糙度和尖锐度；分解声音属性，得到色彩的3个单属性特征及并对其分级处理，包括：色相、明度、纯度。

3.根据权利要求2所述的一种多通道融合的声色联觉测评方法，其特征在于，分级处理具体为：①音高，以C大调为基音的和弦作为基础，通过以八度音程为基准改变音阶，从C2到中选取较为适中的C3、C4、C5、C6；②音强，通过改变音乐中所有的音符序列的起始时间从4.2到99毫秒，选取4.2毫秒、30毫秒、60毫秒、99毫秒四个等级；③音速，通过改变节奏的大小，选取65BPM～200BPM之间段的四个等级：65BPM、120BPM、150BPM、200BPM；④粗糙度，通过一个70赫兹恒定调职频率的颤音效果应用在不同的调制振幅，选取范围为0-100％，选取0％、45％、75％、100％四个等级；⑤尖锐度，通过应用频率滤波器衰减或提振低于或高于1000HZ。

4.根据权利要求2所述的一种多通道融合的声色联觉测评方法，其特征在于，色彩的色相选取ff0000、ffa500、ff00ff、ffff00、00ff00、0000ff、00ffff；明度，在色相选取的基础上，分别依次选取每一个色彩的饱和度值为80％、60％、40％的对应颜色；纯度，在色相选取的基础上，分别依次选取明度值为10％、30％、50％的对应颜色；最终得到，7×7的色彩基本模块。

5.根据权利要求1所述的一种多通道融合的声色联觉测评方法，其特征在于，步骤2)中，将色彩设定为一级和二级选项，一级选项包含色相的7类，二级选项在一级的选择结果影响下显示对应的纯度、明度进行二次选择。

6.根据权利要求1所述的一种多通道融合的声色联觉测评方法，其特征在于，步骤4)中的脑电波数据通过40个国际10-20标准放置电极进行采集，采样频率为1KHz；标准放置电极采集的脑电波数据经过40导信号放大器放大、A/D转化后，传至电脑进行处理数据。

7.根据权利要求6所述的一种多通道融合的声色联觉测评方法，其特征在于，分析人的舒适性与愉悦性是根据脑电的脑电波频段的活跃度计算的。

8.一种多通道融合的声色联觉测评系统，其特征在于，包括：声色主观测试系统、二次测试系统和生理信号采集及处理系统；

所述的声色主观测试系统，用于对声音与色彩的属性特征分解与提取，以及对每个属性分级处理；还用于完成被试者通过内隐联想法进行声色属性匹配的主观测试，以及收集测试结果的数据，同时根据被试数据的结果分析，再次生成二次测试系统；

所述的二次测试系统，用于通过对第一次主观测试结果分析得出的声音与色彩匹配结论，生成声色混合界面，应用于脑电生理信号的采集与分析，用于客观分析人的认知机理；

所述的生理信号采集及处理系统包括视觉界面显示装置以及脑电信号采集处理设备；视觉界面显示装置包括第一计算机、显示器(2)、音响设备(1)及辅助操作设备(3)，显示器(2)、音响设备(1)及辅助操作设备(3)均连接第一计算机；脑电信号采集处理设备包括依次连接的电极帽(4)、脑电放大器(5)和第二计算机。

9.根据权利要求8所述的多通道融合的声色联觉测评系统，其特征在于，所述的声色主观测试系统还用于：在被试者在第一计算机显示输入基本信息后，针对系统随机播放的声音在一定时间对两部分色彩设定进行选择，得出数据进行统计与分析，寻找规律以及声色单属性最高、最稳定搭配；在主观测试的数据结果分析上，提取最高、最稳定的声色单属性搭配，构建针对该匹配的多个不同等级的声色混合界面，使用二次测试系统和生理信号采集及处理系统对被试者进行脑电生理信号采集，根据脑电信号分析人的舒适性与愉悦性，由此结合心理学和神经生理学，主客观分析声色属性的匹配结果对人的认知影响，，完成多通道融合的声色联觉测试。

10.根据权利要求8或9所述的多通道融合的声色联觉测评系统，其特征在于，所述的脑电信号采集处理设备用于：通过第一计算机及外连接的音响设备，显示二次测试系统的声色混合界面，被试者头戴脑波仪，通过眼睛直视第一计算机显示的声色混合界面；在此过程中，脑波信号传入第二计算机中，记录脑电信号，提取事件相关电位；关闭音响设备，此时传输信息的界面只显示色彩，被试者眼睛直视界面，此时，脑波信号传入第二计算机中，记录脑电信号，采集的信号包括额区、顶区的脑电信号，分别对两次获取的信号进行伪迹矫正处理以及叠加平均，提取事件相关电位进行分析，观察特定频段的波动，由此估计针对多通道融合的界面对被试者的认知舒适度与愉悦性差异。