CN107024993A - 交互系统、方法及装置 - Google Patents

交互系统、方法及装置 Download PDF

Info

Publication number
CN107024993A
CN107024993A CN201710312121.3A CN201710312121A CN107024993A CN 107024993 A CN107024993 A CN 107024993A CN 201710312121 A CN201710312121 A CN 201710312121A CN 107024993 A CN107024993 A CN 107024993A
Authority
CN
China
Prior art keywords
user
encephalograms
electrode
array
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710312121.3A
Other languages
English (en)
Inventor
朱琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710312121.3A priority Critical patent/CN107024993A/zh
Publication of CN107024993A publication Critical patent/CN107024993A/zh
Priority to US16/324,270 priority patent/US11928982B2/en
Priority to PCT/CN2018/076955 priority patent/WO2018201779A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

本发明实施例提供了一种交互系统、方法及装置，所述交互系统包括：覆盖于用户头部表面的脑电电极阵列，微型麦克风阵列以及信号处理电路。信号处理电路分别与脑电电极阵列和微型麦克风阵列电连接；该交互系统还包括与信号处理电路电连接的存储，以及存储于存储器中的至少一个程序，该程序被配置为由信号处理电路执行用于：根据微型麦克风阵列输出的基于声源的音频信号，确定出声源的方位；确定出脑电电极阵列中与声源方向相对应的脑电电极；调用与声源方向相对应的脑电电极输出触感信号，使得正在体验本系统的用户感知到声源方位，大大提升了具有听力障碍的用户与其他用户进行交流沟通的几率。

Description

交互系统、方法及装置
技术领域
本发明涉及终端技术领域，具体而言，本发明涉及一种交互系统、方法及装置。
背景技术
目前存在很多听力受损或听力障碍的用户，例如耳聋的用户。这些听力障碍的用户(本文后续简称用户)，通常采用手语或者书写的交互方式，与其他用户进行交流。
然而，本发明的发明人发现，在用户已经感知到其他用户在向该用户主动交互的基础上，上述手语或书写的交互方式才得以成立。当用户没有感知到其他用户在向该用户主动交互时，无法进行手语或书写交流。例如，当其他用户主动向用户打招呼，期望与该用户交流时，该用户因为听力障碍，没有感知到存在其他用户期望与其交流，自然不会进入到手语或书写的交互阶段。这种现有的交互方法，导致用户容易错过大量的交流沟通的机会，大大降低了用户与其他用户进行交流的几率，严重影响用户的日常生活、工作和学习。
另一种现有的交互方法通常是，用户通过佩戴的助听器，感知其他用户的声音，进而与其他用户进行交流。然而，本发明的发明人发现，对于听力障碍较为严重的用户而言，即使已佩戴了助听器，也经常出现忽略发声(例如打招呼)期望与该用户进行交流的其他用户，容易错过大量的交流沟通的机会，大大降低了用户与其他用户进行交流的几率，严重影响用户的日常生活、工作和学习。
综上，针对听力障碍的用户的现有的交互方法，存在听力障碍的用户容易忽略期望通过语音与其进行交流的其他用户而错失交流机会的缺陷。
发明内容
本发明针对现有的听力障碍的用户存在的容易忽略期望通过语音与该用户进行交流的其他用户的缺陷，提供了一种交互系统、交互方法以及交互装置，目的在于将声源(例如其他用户)发出的声音转换为人脑可以感知到的触感信号，使得听力存在障碍的用户通过触觉感知到声源方位，从而意识到该方位存在期望与其交流的其他用户，大大提升了具有听力障碍的用户与其他用户进行交流沟通的几率。
本发明实施例根据第一个方面，提供一种交互系统，包括：
脑电电极阵列，覆盖于用户头部表面；
微型麦克风阵列；
信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接；
存储器，与所述信号处理电路电连接；
至少一个程序，存储于所述存储器中，被配置为由所述信号处理电路执行，用于：
根据所述微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；
确定出所述脑电电极阵列中与所述声源的方位相对应的脑电电极；
调用所述相对应的脑电电极输出触感信号，使得所述用户感知。
进一步地，所述信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接，包括：
信号处理电路，位于所述脑电电极阵列之上，并与所述脑电电极阵列电连接；
微型麦克风阵列，覆盖于所述信号处理电路，并与所述信号处理电路电连接。
进一步地，所述微型麦克风阵列包括：多个微型麦克风；
所述信号处理电路包括：处理器和多个转换电路；以及
所述微型麦克风阵列，与所述信号处理电路电连接，包括：
各微型麦克风分别与各转换电路电连接；各转换电路都与所述处理器电连接；以及
所述信号处理电路，与所述脑电电极阵列电连接，包括：
所述处理器与所述脑电电极阵列中的各脑电电极电连接；以及
所述至少一个程序，被配置为由所述信号处理电路执行，包括：
所述至少一个程序被配置为由所述处理器执行。
进一步地，所述至少一个程序具体配置用于：
根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；
根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。
较佳地，本发明实施例提供的交互系统还包括：显示设备；以及
所述至少一个程序还配置用于确定出所述声源的方位后，调用所述显示设备进行对应显示。
较佳地，本发明实施例提供的交互系统还包括：扬声器阵列；所述扬声器阵列中的多个扬声器都与所述处理器电连接；以及
所述至少一个程序还配置用于通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
进一步地，所述至少一个程序配置用于通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；
确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
进一步地，所述至少一个程序还配置用于确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；
确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
本发明的实施例根据第二个方面，还提供了一种交互方法，包括：
根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；
确定出脑电电极阵列中与所述声源的方位相对应的脑电电极；
调用所述相对应的脑电电极输出触感信号，使得所述用户感知。
进一步地，所述根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位，包括：
根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；
根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。
较佳地，本发明实施例提供的交互方法，在确定出所述声源的方位后还包括：
调用显示设备对确定出的所述声音的方向进行对应显示。
较佳地，本发明实施例提供的交互方法中，调用显示设备对确定出的所述声音的方向进行对应显示，还包括：
通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
进一步地，所述通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向，包括：
通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；以及
所述调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音，包括：
确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
进一步地，所述通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向，还包括：
确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；以及
所述调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音，还包括：
确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
本发明的实施例根据第三个方面，还提供了一种交互装置，包括：
声源方向确定模块，用于根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；
脑电电极确定模块，用于确定出脑电电极阵列中与所述声源的方位相对应的脑电电极；
信号输出模块，用于调用所述相对应的脑电电极输出触感信号，使得所述用户感知。
进一步地，所述声源方向确定模块具体用于根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。
进一步地，所述信号输出模块还用于调用显示设备对所述声源方向确定模块确定出的所述声音的方向进行对应显示。
较佳地，还包括：声音输出模块，用于通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
进一步地，所述声音输出模块具体用于通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
进一步地，所述声音输出模块还用于确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
本发明的实施例(提供的交互系统、交互方法或交互装置)中，根据微型麦克风阵列输出的基于声源的音频信号，可以确定出声源(例如其他用户)的方向；确定出脑电电极阵列中与声源的方位相对应的脑电电极并输出触感信号，相当于将声音转换成触感信号，通过与用户头部皮肤相接触的脑电电极激励用户头部使其感知，并且输出触感信号的脑电电极的所对应的方位表示了声源的方位。即使用户听力障碍，也可以通过触觉感知到对应的脑电电极输出的触感信号及其方位，从而意识到该方位存在期望与其交流的其他用户，可大大提升用户与其他用户进行交流沟通的几率，有助于提升用户的生活、工作和学习品质。
而且，本发明的实施例中，实现了无需采集或确定每个微型麦克风的音频信号的方向，利用微型麦克风阵列所接收到得音频信号强度皆可实现声源定向，由于微型麦克风与声源之间的距离并不包含方向，属于标量，因此对各微型麦克风与声源之间的距离进行处理确定出声源位置的过程，是一个对标量进行处理的过程，相比于传统的利用包含方向的矢量进行处理的过程，大大降低了运算量，提升了确定出声源位置的速度和效率，有利于提升交互系统后续输出触感信号的实时性。
进一步，本发明的实施例中，通过利用各种界面具体、形象地引导用户选择方向，输入待表达的内容，使得具有听力障碍或言语障碍的用户与其他用户交流更加方便。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为用户佩戴本发明实施例的交互系统中的头戴式交互设备的头型示例。
图2为本发明实施例的脑电电极阵列的一个实例示意图。
图3为本发明实施例中交互系统中的头戴式交互设备一个实例的结构示意图。
图4a为本发明实施例提供的一种交互方法的流程示意图。
图4b为本发明实施例提供的另一种交互方法的流程示意图。
图5a和5b为本发明实施例提供的交互方法中的声源定位原理和方法的一个实例的示意图
图6为本发明实施例提供的交互方法的第一方向选择界面的一个实例的示意图。
图7为本发明实施例提供的交互方法的第二方向选择界面的一个实例的示意图。
图8为本发明实施例提供的交互装置的内部结构的框架示意图。
附图标记如下：101-脑电电极，102-固定电极，103-振动膜片，104-MEMS麦克风，105-信号处理电路，106-保护外壳，107-绝缘结构，108-电极，109-保护罩，110-头部皮肤。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明的发明人考虑到，可以采用多个麦克风，例如电容式麦克风，又称电容式传声器，来采集声源发出的声音，并通过后续处理确定出声源的位置，并通知到听力障碍的用户。
然而，本发明的发明人发现，直接采用多个麦克风(电容式传声器)采集声源发出的声音存在很多技术问题。例如，传统的电容式传声器的重量和体积都较大，用户难以随身携带。例如，电容式传声器的输出阻抗呈容性，电容量小，但低频时容抗会很大。为了保证电容式传声器在低频时的灵敏度，应有一个输入阻抗大于或等于传声器输出阻抗的阻抗变换器与其相连，经阻抗变换后再用传输线与放大器相连；并且电容式传声器需要使用电源，电源的存在导致整个装置或设备的重量和体积都较大，导致使用很不方便。
下面结合附图介绍本发明的技术方案。本发明的技术方案所适用的用户包括：听力障碍的用户。听力障碍可以是先天性的、也可以是后天造成的。听力障碍的用户可以包括：指定声响以下不具备听力的用户(例如100分贝以下不具备听力的用户)、彻底丧失听力的用户(俗称聋人)。进一步，听力障碍的用户还可以包括：听力和语言能力都存在障碍的用户；例如聋哑人。
本发明提供的交互系统的一个具体实施例包括：头戴式交互设备。
头戴式交互设备包括：脑电电极阵列、信号处理电路、微型麦克风阵列和存储器。例如，图1的左半部分为佩戴有本发明实施例交互系统(中的头戴式交互设备)的用户头型的左侧视示意图。图1的左半部分中接近于圆形的大圆表示用户的头部、大圆下方探出的圆柱面表示用户的脖子、大圆左侧探出的三角形表示用户的鼻子、大圆内与该三角形对应的小椭圆表示用户的左眼、以及大圆内上部的小圆表示本发明实施例中的脑电电极阵列中的脑电电极101。图1的右半部分为佩戴有本发明实施例交互系统(中的头戴式交互设备)的用户头型的俯视示意图。图1的右半部分中大圆表示用户的头部、大圆下方探出的三角形表示用户的鼻子、大圆内的小圆表示脑电电极阵列中的脑电电极101。
脑电电极阵列，覆盖于用户头部表面，例如，脑电电极阵列与用户的头部的皮肤直接接触。
信号处理电路，分别与脑电电极阵列和微型麦克风阵列电连接。
较佳地，信号处理电路，位于脑电电极阵列之上，并与脑电电极阵列电连接。
存储器，与信号处理电路电连接。
微型麦克风阵列，覆盖于信号处理电路，并与信号处理电路电连接。
可以理解，信号处理电路位于脑电电极阵列与微型麦克风阵列之间，相当于在大体上将脑电电极阵列与微型麦克风阵列相互(空间)隔离，有利于减少脑电电极阵列与微型麦克风阵列之间的干扰；脑电电极阵列位于交互系统的头戴式交互设备的最下方，有利于向下获取用户的脑电信号；微型麦克风阵列位于交互系统的头戴式交互设备的最上方，有利于向上和向水平周围获取各种声源发出的声音；并且，减少微型麦克风阵列和脑电电极阵列两者工作时的相互干扰。为了满足不同客户的使用偏好，本实施例中涉及的微型麦克风的数量独立，没有固定限制，可以根据不同用户需求灵活选择不同数量的微型麦克风，以多种布设方式形成微型麦克风阵列覆盖于用户头部表面。
进一步，此处的上方和下方仅仅相对于脑电电极阵列、信号处理电路、和微型麦克风阵列之间的设置层面而言，实际产品为脑电电极阵列、信号处理电路、和微型麦克风阵列皆承载于头戴式交互设备的衬底上，为一体式设备。头戴式交互设备的衬底可以根据实际需要，设置为发夹形、头箍形、帽形或头盔形等等适合用户头部佩戴的形状。
较佳地，微型麦克风阵列包括：多个微型麦克风。微型麦克风具体可以是MEMS(Micro-Electro-Mechanical System，微机电系统)麦克风。本领域技术人员，可以根据实验数据、经验数据、历史数据和/或实际情况，确定微型麦克风阵列中微型麦克风的数量和排布方式。MEMS也叫做微电子机械系统、微系统、微机械等，是在微电子技术(半导体制造技术)基础上发展起来的，融合了光刻、腐蚀、薄膜、LIGA、硅微加工、非硅微加工和精密机械加工等技术制作的高科技电子机械器件。
LIGA这一词源自德文Lithographie，Galvanoformung和Abformung三个词语的缩写，LI指深度X射线刻蚀，G指电铸成型，A指的是塑料铸模。
信号处理电路包括：处理器和多个转换电路。处理器可以具体是CPU(CentralProcessing Unit，中央处理器)、MCU(Microprogrammed Control Unit，微程序控制器)或FPGA(Field-Programmable Gate Array，现场可编程门阵列)等。
脑电电极阵列包括：多个脑电电极。本领域技术人员，可以根据实验数据、经验数据、历史数据和/或实际情况，确定脑电电极阵列中脑电电极的数量和排布方式。
例如，图2示出了本发明实施例的脑电电极阵列的一个实例，可以看出图2中的脑电电极阵列中多个脑电电极的排布方式考虑到人体脑部的多个对应部位以求后续精准定位声源方向和采集脑电信号。图2中包含AF、F、P、PO等字样的小圆圈皆代表(标准)脑电电极，为了区分脑电电极和两大脑半球的关系，通常将设置在用户头顶右侧用以采集用户右脑半球的脑电信号的脑电电极用偶数标记，将设置在用户头顶左侧用以采集用户左脑半球的脑电信号的脑电电极用奇数标记。从鼻根至枕骨粗隆连一正中矢状线，再从两瞳孔向上、向后与正中矢状线等距的平行线顺延至枕骨粗隆称左右瞳枕线。上述脑电电极的数量和排布方式只是本发明可以采用的众多数量和排布方式中的一种特例，还可以根据不同用户的不同需求灵活调整脑电电极的数量和排布方式。
微型麦克风阵列中的各微型麦克风分别与信号处理电路中的各转换电路电连接；各转换电路都与处理器电连接。处理器与脑电电极阵列中的各脑电电极电连接。处理器与存储器电连接。物理上，处理器可以与存储器集成在一起，例如集成在同一芯片中。
较佳地，下面介绍本发明实施例中交互系统中的头戴式交互设备的一个实例。图3为本发明实施例中交互系统中的头戴式交互设备一个实例的结构示意图。为了便于理解，如图3所示，以一个MEMS麦克风104表示微型麦克风阵列，以一个脑电电极101表示脑电电极阵列；头戴式交互设备最下层是直接接触用户头部皮肤的脑电电极阵列，脑电电极阵列位于交互设备最下方，覆盖于用户头部表面；有利于向下获取用户的脑电信号；连接脑电电极阵列的是位于脑电电极阵列之上的信号处理电路105，信号处理电路105分别与脑电电极阵列和位于头戴式交互设备的最上方的微型麦克风阵列电连接；微型麦克风阵列覆盖于信号处理电路105，位于交互装置最上方，有利于向上和水平周围获取声音；信号处理电路105包括处理器和多个转换电路。为了更精准高效地获取音频，每个转换电路可以一一对应一个微型麦克风。而处理器只需配置一个，有利于简化交互系统电路、降低系统装置成本。
图3中，脑电电极的底面与用户头部皮肤110直接接触，绝缘结构覆盖脑电电极的上表面，信号处理电路105设置在绝缘结构107的上表面，MEMS麦克风104设置在信号处理电路105的上方。“倒L型”的电极108起到连接导线的作用，用以将信号处理电路105中处理器的输入输出引脚与脑电电极101相电连接。可以理解，诸如MCU的处理器型号多种多样、其输入输出引脚的数量和排布方式也是多种多样，因此“倒L型”仅仅是一个连接导线的特例或其部分的剖面图示，也可以选择其他种类处理器的输入输出引脚与连接导线之间的连接，形状包括但不局限于“倒L型”。
MEMS麦克风(属于微型麦克风)包括位于最外层的保护罩109、位于内部空腔中的振动膜片103和位于底部的固定电极102。该固定电极102与信号处理电路105电连接。进一步，脑电电极还配置有保护外壳106，用以抵抗外界干扰，例如抵抗机械外力或化学物的侵蚀，抗外界电信号干扰，从而保护脑电电极。
更优的，本发明实施例的交互系统中，还包括：显示设备。在结构上，显示设备可以设置在头戴式交互设备中，也可以设置在周围环境中；在信号交互上，显示设备可以与信号处理电路有线或者无线电连接。
显示设备包括显示屏幕，显示屏幕用于输入和/或显示用户指定的(用以主动交互的)方向。
显示屏幕的实体形态有多种选择，可以是板式显示屏，也可以是满足具有听力障碍的用户向声源方向回应交流的迫切需求，进一步支持用户主动发起交互的需求，例如基于虚拟现实技术研制出的VR(Virtual Reality，虚拟现实)眼镜。还可以是通过远程无线连接并且可供多人同时观看的大屏幕。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
更优的，本发明实施例的交互系统的头戴式交互设备中，还包括：扬声器阵列。
扬声器阵列中的多个扬声器都与处理器电连接。扬声器阵列中的多个扬声器都与信号处理电路中的处理器电连接；当信号处理电路中的至少一个程序通过脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向后；调用对应的至少一个扬声器输出基于交互内容脑电信号的声音，即扬声器阵列朝向声源方向发出语音。
扬声器的数量设置和排布方式也有多种，根据用户不同需求可以设置一个、两个或两个以上扬声器。当设置一个扬声器时，可以选择将扬声器设设置在头顶正上方；当设置两个扬声器时，可以选择将扬声器分别排布在左右脑半球区域；当设置两个以上扬声器，例如四个扬声器时，可以选择将扬声器分别排布在东西南北不同方向的头部区域。
与上述实施例提供的交互系统相配套，本发明还提供一种交互方法，该方法的流程示意图如图4a所示，包括下述步骤：S401：根据微型麦克风阵列输出的基于声源的音频信号，确定出声源的方位。S402：确定出脑电电极阵列中与声源的方位相对应的脑电电极。S403：调用相对应的脑电电极输出触感信号，使得用户感知。
上述步骤S401中，根据微型麦克风阵列输出的基于声源的音频信号，确定出声源的方位的具体方法，进一步包括：
根据多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与声源之间的距离。根据各微型麦克风与声源之间的距离，确定出声源的方位。
进一步地，微型麦克风阵列包含多个微型麦克风，利用多个微型麦克风针对同一声源所采集转化的音频信号强度，确定出声源位置。
上述利用多个微型麦克风针对同一声源所采集转化的音频信号强度，确定出声源位置的过程，无需采集或确定每个微型麦克风的音频信号的方向，利用基于声源的音频信号的强度，即可确定出各微型麦克风与声源之间的距离，进而确定出声源位置。
本发明的发明人经过研究发现，声源发出的音频会随着音频传输距离而变化，在没有外界扩音设备参与下，音频强度与传播距离成反比关系；位于头部上方不同位置的多个微型麦克风针对同一声源在同一时间所采集的音频信号强度有所不同，信号强代表声源与强信号所对应的微型麦克风之间的距离较小，信号弱代表声源与弱信号所对应的微型麦克风之间的距离较大。因此，基于上述发现，本发明实施例中可以根据多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与声源之间的距离。
容易看出，本发明实施例中，确定出的微型麦克风与声源之间的距离与该微型麦克风接收到声源的声音强度成正比，接收到的声音强度越大，转换出的音频信号的强度越大，确定出的微型麦克风与声源之间的距离越小。反之亦然。
微型麦克风与声源之间的距离并不包含方向，属于标量，因此对各微型麦克风与声源之间的距离进行处理确定出声源位置的过程，是一个对标量进行处理的过程，相比于传统的利用包含方向的矢量进行处理的过程，大大降低了运算量，提升了确定出声源位置的速度和效率，有利于提升交互系统后续输出触感信号的实时性。
下面具体介绍根据各微型麦克风与声源之间的距离，确定出声源的方位的原理和方法。
较佳地，根据各微型麦克风与声源之间的距离，确定出声源的方位的一种原理和方法包括：
根据第一、二个微型麦克风与声源之间的距离，确定出声源的多个候选位置，这些候选位置构成以该两个微型麦克风所在线段为轴的圆。
根据第三个微型麦克风与声源之间的距离，从声源的多个候选位置中，确定出声源的两个镜像候选位置。具体地，第一、二个微型麦克风投影到多个候选位置所在平面的投影点(重合)都为上述圆的圆心，第三个微型麦克风投影到该平面的投影点为第三投影点，过圆心和第三投影点的直径将上述圆分成轴对称的(镜像的)两部分。通常该圆上存在两个点关于上述直径对称，即为声源的两个镜像候选位置。两个镜像候选位置到第三投影点的距离(可以称为面内距离)相等；第三个微型麦克风到每个镜像候选位置的距离，都等于第三个微型麦克风到上述平面的距离(可以称为轴向距离)。因此，第三个微型麦克风到声源的两个镜像候选位置的距离相等。
根据第四个微型麦克风与声源之间的距离，从声源的两个镜像候选位置中，确定出声源的真实位置。
可以理解，无需遍历微型麦克风陈列中的所有微型麦克风，只需任意或者随机选择4个(例如第一至第四)微型麦克风，就可以根据4个微型麦克风与声源之间的距离，确定出声源的真实位置。
进一步，可以从微型麦克风陈列中选取相互之间距离超过设定间距阈值的4个微型麦克风，微型麦克风之间的间距越大，则不同微型麦克风针对同一声源输出的音频信号的强度的差值越大，确定出的不同微型麦克风与同一声源之间的距离的差别更大，更有利于减小误差对确定声源的真实位置的影响。例如，可以从微型麦克风陈列中选取最靠前、最靠后、最靠左和最靠右的4个微型麦克风，以确定出声源的真实位置。
例如，如图5a所示，A、B、C和D4个小圆分别表示微型麦克风阵列中的4个微型麦克风，位于上方的小圆表示声源的真实位置。a、d、r分别表示微型麦克风A与声源之间的距离、微型麦克风D与声源之间的距离、微型麦克风A与微型麦克风D之间的距离。
图5b为声源定位过程中声源的多个候选位置所在平面的一个实例的示意图，图5b的观看角度(或方向)为基于图5a，沿点D向点A方向的观看角度(或方向)。
如图5b所示，以AD为轴旋转一周，得到一个位于与AD垂直的平面上的圆，A和D都投影在该圆上。D1为D在该平面中的投影点。该圆上的每个点都是声源的候选位置。也就是说，声源的每个候选位置都满足到微型麦克风A、D的距离分别为a和d。
引入第三个微型麦克风B，将B到声源的之间的距离分解为B点到声源的多个候选位置构成圆所在平面的轴向距离(即B到其投影点B1的距离)、以及B的投影点B1与声源的候选位置之间的面内距离。B1和D1所在直径将该圆等分成对称的两半，将从该圆上确定出到B投影点B1的面内距离相等且该面内距离符合B到声源的之间的距离的两个点，作为声源的两个镜像候选位置。图5b中S1和S’1分别为作为声源的两个候选位置。所谓面内距离符合B到声源的之间的距离，包括：以轴向距离和面内距离分别为直角三角形的两个直角边长度，满足该直接三角形的斜边长度等于B到声源的之间的距离。此时，声源的两个镜像候选位置与B之间的距离相等，且都等于B与声源之间的距离。
引入第四个微型麦克风C，声源的两个镜像候选位置中必然只存在一个位置，使得该一个位置与C之间的距离，等于预先确定出的C与音源之间的距离，该一个位置即为声源的真实位置。因此，可以根据C与音源之间的距离，从声源的两个镜像候选位置中确定出声源的真实位置。
较佳地，根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位的另一种原理和方法包括：
首先，以每个微型麦克风底部的固定电极所在位置为一个基准点，选取至少四个基准点，所选的四个基准点满足以下条件：四个基准点中任意三个基准点不在同一直线上。
其次，微型麦克风接收到的来自声源的声音信号，由于声音信号的强弱与声源至微型麦克风的距离有关系，因此需要检测声源至每个微型麦克风接收到的音频的强度特征进而获得每个微型麦克风与声源之间的距离参数。
再次，在上述已选取的四个基准点中任意选择出三个基准点，根据三角定理推算出得出第一声源位置和第二声源位置，所述第一声源位置为真实声源，所述第二声源位置为真实声源的虚拟镜像。
然后，引入第四个基准点，结合第四个基准点所属微型麦克风与声源之间的距离参数特征，依据音频强度与传播距离成反比关系，排除不符合客观规律的第二声源位置，进而唯一判断出真实声源方位。
还可以：先选择两个基准点，然后随机引入第三个基准点，判定所选的三个基准点是否在同一直线上，若三点在同一直线，则将第三个基准点作为无效点处理，重新引入新的第三个基准点，再次判断，直至三点不同属同一条直线为止。根据三角定理推算得出代表真实声源的第一声源位置和代表虚拟镜像的第二声源位置。随机引入第四个基准点，依据音频强度与传播距离成反比关系，排除不符合客观规律的第二声源位置，进而唯一判断出真实声源方位。
四个基准点的选取还存在另一种实施方式：即
预先设定一个阈值，作为引入基准点的准入条件；接下来，随机选取两个基准点，判断所选取的两个基准点之间的距离是否大于或等于预先设定的这个阈值；若所选的两个基准点之间的距离大于或等于这个阈值，则认为所选的这两个基准点为有效点，保留；若小于这个预先设定的阈值，则认为这两个基准点为无效点，舍弃。重新选择基准点，直至所选的两个基准点皆满足准入条件；阈值的设定一方面考虑到脑电电极阵列所包含的脑电电极的数量，另一方面考虑到脑电电极阵列的排布方式，若脑电电极两个基准点之间的距离优选为大于两个相邻脑电电极的直线距离。然后随机引入第三个基准点，判定所选的第三个基准点是否与上述已经选出的两个基准点在同一直线上，若三点在同一直线上，则将第三个基准点作为无效点处理，重新引入新的第三个基准点，再次判断，直至三点不同属同一条直线为止。
根据三角定理推算得出代表真实声源的第一声源位置和代表虚拟镜像的第二声源位置。随机引入第四个基准点，依据音频强度与传播距离成反比关系，排除不符合客观规律的第二声源位置，进而唯一判断出真实声源方位。
上述步骤S402中，确定出脑电电极阵列中与声源的方位相对应的脑电电极的具体方法进一步包括：将已确定出的声源方向与布设在不同方位的脑电电极的朝向进行匹配，选出朝向与声源方向最为契合(最为接近)的一个或多个脑电电极，作为与声源的方位相对应的脑电电极。较佳地，将朝向与声源方向最为契合(最为接近)的一个或多个脑电电极列入备选组。结合声源距离、用户脑使用偏好、脑电电极排布密度等因素从备选组选出一个或多个脑电电极，将其认定为与声源的方位相对应的脑电电极。
较佳地，利用已确定出的声源方向与布设在不同方位的脑电电极之间的距离不同，选出与声源方向距离相对较近的一个或多个脑电电极。
上述步骤S403中，调用所述相对应的脑电电极输出触感信号，使得所述用户感知的具体方法进一步包括：
控制脑电电极阵列中与声源的方位相对应的脑电电极发出触感信号，触感信号包括电流和/或振动，以使用户通过受到电流激励和/或振动激励明确感知到声源方向。
较佳地，电流激励是指脑电电极向与用户接触的头部外表皮发出一定强度范围内的电流，用以提示用户感知声源位置；震动激励是指脑电电极在与用户接触的头部外表皮产生一定强度范围内的机械震动，用以提示用户感知声源位置。
可以理解，确定出脑电电极阵列中与声源的方位相对应的脑电电极并输出触感信号，相当于将声音转换为了用户的触觉可以感知到的触感信号，并且输出触感信号的脑电电极的方位表示了声源的方位。即使用户听力障碍，也可以通过触觉感知到对应的脑电电极输出的触感信号及其方位，从而意识到该方位存在期望与其交流的其他用户，可大大提升用户与其他用户进行交流沟通的几率，有助于提升用户的生活、工作和学习品质。
较佳地，在上述步骤S401中确定出声源的方位后，还可以调用显示设备进行对应显示确定出的声源的方位。较佳地，调用显示设备在其显示界面中显示声源的方位，以提示用户。例如，根据声源的方位，在显示设备的对应的象限或者方向上、且与表示用户的原点之间的距离为与声源的音频信号的强度成设定比例的距离处，显示闪烁的光标、或表示方向的箭头等等。
有些听力障碍的用户视力并不存在障碍，这些用户既能够接收脑电电极发来的以电流和/或振动方式的触感信号，还能够通过基于视觉方式获得方向信息。因此，增设显示设备恰好满足了这部分用户的需求。
很多听力障碍的用户虽然通过本发明实施例提供的上述交互方法已经成功解决了通过触觉感知到存在期望与该用户进行交流的其他用户的方位信息问题，但随之又产生了听力障碍的用户期望回应有交流意愿的其他用户的需求，此处的其他用户是指本发明中作为声源的用户或是声源位置所在的用户。
为了满足具有听力障碍的用户向声源方向回应交流的迫切需求，进一步支持用户主动发起交互的需求，本发明在上述交互方法的基础上，还提供了另一种交互方法，该另一个交互方法的流程示意图如图4b所示，包括上述步骤S401-S403，还包括如下步骤：
步骤S404：通过脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向。
通过脑电电极阵列接收到用户的启动主动交互脑电信号时，调用显示设备在第一方向选择界面中依次突出显示多个方向范围；通过脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围。
这里的启动主动交互脑电信号是指用户向脑电电极阵列发出的用于表达已经存在主动与其他用户交流需求的请求、提示性脑电信号。
交互内容脑电信号承载了用户想要表达的与其他用户的进行交流的内容。本发明实施例中，通常在接收到用户产生(即认为用户主动发送)的在启动主动交互脑电信号被响应后，进一步才能获取继续发出用户产生的交互内容脑电信号。
较佳地，可以预选对用户的启动主动交互脑电信号进行训练，训练得到用户的样本启动主动交互脑电信号。例如，让用户重复地想象开始与其他用户进行交流的动作、或神态等场景状态，同时通过专门的设备收集用户在想象时的脑电信号，对收集得到的脑电信号进行处理，得到样本启动主动交互脑电信号，生成样本启动主动交互脑电信号的训练模型。
之后，当接收到用户的脑电信号时，将接收到的用户的脑电信号，与训练模型中的样本启动主动交互脑电信号进行比较；若比较结果为一致，则确定接收到的用户的脑电信号为启动主动交互脑电信号；若比较结果为不一致，则确定接收到的用户的脑电信号不是启动主动交互脑电信号，例如可以放弃该脑电信号以及后续的流程，以节省处理资源。
同理，可以训练出各样本交互内容脑电信号，并确定出各交互内容脑电信号；可以训练出后续的样本确定脑电信号，并确定出确定脑电信号；可以训练出后续的样本否定脑电信号，并确定出否定脑电信号；不再赘述。
步骤S405，调用对应的至少一个扬声器输出基于交互内容脑电信号的声音。
确定用户指定的方向范围后，调用显示设备显示交互信息输入界面；通过脑电电极阵列接收到用户针对交互信息输入界面的指引反馈的交互内容脑电信号时，调用用户指定的方向范围对应的至少一个扬声器输出基于交互内容脑电信号的声音。
进一步地，上述步骤S404中，确定所述用户指定的方向范围后，调用显示设备在第二方向选择界面中依次突出显示多个角度方向；通过脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向。进一步地，上述步骤S405中，确定所述用户指定的角度方向后，调用显示设备显示交互信息输入界面；通过脑电电极阵列接收到用户针对交互信息输入界面的指引反馈的交互内容脑电信号时，调用用户指定的角度方向对应的至少一个扬声器输出基于交互内容脑电信号的声音。
进一步地，脑电电极阵列接收到用户的脑电信号后首先对比确定所接收的脑电信号是否是代表着“用户指定的方向范围”的确定脑电信号，这个过程通过预先采集大量脑电信号作为样本，经训练得出与声源方位信息相对应的脑电信号作为标准参照样本存储至位于信号处理电路的样本库中，当用户主动发射出包含声源方位信息的确定脑电信号时，将其与样本库中的样本做一一比对，分析选出样本库中与所述确定脑电信号相匹配的样本。
确定脑电信号是指用户发出的作出肯定判断的的脑电信号；否定脑电信号是指用户发出的作出否定判断的脑电信号。
结合图6所示，图6示出了第一方向选择界面的一个实例，将方位分为东西南北4个方向，然后光标在4个象限依次闪烁(也可以采用其他提示标识在第一方向选择界面上依次突出显示，对脑电测试，反馈为“强”的说明在这个象限范围内。此处的“强”是指脑电电极阵列接收到用户的确定脑电信号满足了上述经训练得出与声源方位信息相对应的作为标准参照样本的脑电信号的对应条件。图7为第二方向选择界面的一个实例的示意图。结合图7可知，用户选择了一个较大范围的方向范围之后，可以在第二方向选择界面的提示下进一步明确用户所选择的某一个角度方向，例如30°，45°，60°。用户响应第二方向选择界面的提示信息，例如第二方向选择界面上出现依次在30°，45°，60°的区域范围内闪烁的光标，当接收到用户输出的确定脑电信号时，认为用户选择了“是”，将此时对应闪烁的30°、45°或60°作为该用户指定的角度方向。
可以理解，当用户主动向其他用户发声(交互或表达)时，系统包括如下三种脑电信号协同作用：
用以触发主动互交的启动主动交互脑电信号、用以获取用户指定(发声)方向的确定脑电信号和用以获取用户待表达内容的交互内容脑电信号。
启动主动交互脑电信号是指当用户向交互系统的脑电电极阵列发射具有主动交互的主观意愿的脑电信号；确定脑电信号是当交互系统中的显示设备在某一方向选择界面中突出显示多个方向范围时，用户向交互系统的脑电电极阵列发射表示完全肯定或完全否定的具有确定性回应的脑电信号。
交互内容脑电信号是当本实施例提供的交互系统通过脑电电极阵列接收到用户的确定脑电信号后，提示用户输入待表达的内容，用户在此种提示界面下向脑电电极阵列反馈的表示具体交流信息的脑电信号，例如：“您好”，“幸会”。
上述实施例提供的包含显示设备和扬声器阵列的交互方法中体现了显示设备和扬声器阵列的协同工作过程，通过识别听力障碍用户主动发起交互的时机、识别听力障碍用户指定的方向、获取听力障碍用户待表达的内容并定向发送。通常患有听力障碍的用户往往言语表达方面也不同程度地存在缺陷，有的甚至不能正常发出声音，无法言语。通过上述实施例提供的交互方法使得具有听力障碍的用户实现了通过识别用户指定的方向，利用各种界面具体、形象地引导用户选择方向，输入待表达的内容。
上述交互方法在具体实施过程中，由信号处理电路中的处理器执行至少一个程序来完成。较佳地，至少一个程序用于：根据微型麦克风阵列输出的基于声源的音频信号，确定出声源的方位；确定出脑电电极阵列中与声源的方位相对应的脑电电极；调用与声源的方位相对应的脑电电极输出触感信号以便于用户感知。
至少一个程序用于：根据多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与声源之间的距离；根据各微型麦克风与声源之间的距离，确定出所述声源的方位。
当至少一个程序通过脑电电极阵列接收到用户的启动主动交互脑电信号时，调用显示设备在第一方向选择界面中依次突出显示多个方向范围；例如，显示设备在第一方向选择界面中一次出现闪烁光标，用以提示用户选择目标方向。通过脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；
确定用户指定的方向范围后，调用显示设备显示交互信息输入界面；通过脑电电极阵列接收到用户针对交互信息输入界面的指引反馈的交互内容脑电信号时，调用用户指定的方向范围对应的至少一个扬声器输出基于交互内容脑电信号的声音。
当至少一个程序还配置用于确定用户指定的方向范围后，调用显示设备在第二方向选择界面中依次突出显示多个角度方向；利用不同的界面，区分哪些脑电信号是用户用以选择方向的信号，哪些脑电信号是携带了用户待向声源(例如其他用户)表达的内容的信号。
通过脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
本发明还提供一种交互装置的实施例，该装置的内部结构的框架示意图。如图8所示，包括：声源方向确定模块801、脑电电极确定模块802和信号输出模块803。
其中，声源方向确定模块801用于根据微型麦克风阵列输出的基于声源的音频信号，确定出声源的方位。
脑电电极确定模块802用于确定出脑电电极阵列中与声源的方位相对应的脑电电极。
信号输出模块803用于调用相对应的脑电电极输出触感信号，使得用户感知。
较佳地，声源方向确定模块801具体用于根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与声源之间的距离；根据各微型麦克风与所述声源之间的距离，确定出声源的方位。
较佳地，信号输出模块803还用于调用显示设备对所述声源方向确定模块确定出的所述声音的方向进行对应显示。
为了进一步增强上述交互装置的交互能力，使得使用该装置的用户能够做到向指定方向主动发出交互信息，如图8所示，该交互装置还包括以下模块：声音输出模块804。
声音输出模块804，用于通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用扬声器阵列中对应的至少一个扬声器输出基于交互内容脑电信号的声音。
较佳地，声音输出模块804具体用于通过脑电电极阵列接收到用户的启动主动交互脑电信号时，调用显示设备在第一方向选择界面中依次突出显示多个方向范围；通过脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；确定用户指定的方向范围后，调用显示设备显示交互信息输入界面；通过脑电电极阵列接收到用户针对交互信息输入界面的指引反馈的交互内容脑电信号时，调用用户指定的方向范围对应的至少一个扬声器输出基于交互内容脑电信号的声音。
较佳地，声音输出模块804还用于确定用户指定的方向范围后，调用显示设备在第二方向选择界面中依次突出显示多个角度方向；通过脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；确定用户指定的角度方向后，调用显示设备显示交互信息输入界面；通过脑电电极阵列接收到用户针对交互信息输入界面的指引反馈的交互内容脑电信号时，调用用户指定的角度方向对应的至少一个扬声器输出基于交互内容脑电信号的声音。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加至少一个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种交互系统，其特征在于，包括：
脑电电极阵列，覆盖于用户头部表面；
微型麦克风阵列；
信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接；
存储器，与所述信号处理电路电连接；
至少一个程序，存储于所述存储器中，被配置为由所述信号处理电路执行，用于：
根据所述微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；
确定出所述脑电电极阵列中与所述声源的方位相对应的脑电电极；
调用所述相对应的脑电电极输出触感信号，使得所述用户感知。
2.根据权利要求1所述的系统，其特征在于，所述信号处理电路，分别与所述脑电电极阵列和微型麦克风阵列电连接，包括：
信号处理电路，位于所述脑电电极阵列之上，并与所述脑电电极阵列电连接；
微型麦克风阵列，覆盖于所述信号处理电路，并与所述信号处理电路电连接。
3.根据权利要求1或2所述的系统，其特征在于，所述微型麦克风阵列包括：多个微型麦克风；
所述信号处理电路包括：处理器和多个转换电路；以及
所述微型麦克风阵列，与所述信号处理电路电连接，包括：
各微型麦克风分别与各转换电路电连接；各转换电路都与所述处理器电连接；以及
所述信号处理电路，与所述脑电电极阵列电连接，包括：
所述处理器与所述脑电电极阵列中的各脑电电极电连接；以及
所述至少一个程序，被配置为由所述信号处理电路执行，包括：
所述至少一个程序被配置为由所述处理器执行。
4.根据权利要求3所述的系统，其特征在于，所述至少一个程序具体配置用于：
根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；
根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。
5.根据权利要求1-4任一项所述的系统，其特征在于，还包括：显示设备；以及
所述至少一个程序还配置用于确定出所述声源的方位后，调用所述显示设备进行对应显示。
6.根据权利要求5所述的系统，其特征在于，还包括：扬声器阵列；所述扬声器阵列中的多个扬声器都与所述处理器电连接；以及
所述至少一个程序还配置用于通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
7.根据权利要求6所述的系统，其特征在于，所述至少一个程序配置用于通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；
确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
8.根据权利要求7所述的系统，其特征在于，所述至少一个程序还配置用于确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；
确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
9.一种交互方法，其特征在于，包括：
根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；
确定出脑电电极阵列中与所述声源的方位相对应的脑电电极；
调用所述相对应的脑电电极输出触感信号，使得所述用户感知。
10.根据权利要求9所述的方法，其特征在于，所述根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位，包括：
根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；
根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。
11.根据权利要求9-10任一项所述的方法，其特征在于，还包括：
调用显示设备对确定出的所述声音的方向进行对应显示。
12.根据权利要求11所述的方法，其特征在于，还包括：
通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
13.根据权利要求12所述的方法，其特征在于，所述通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向，包括：
通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；以及
所述调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音，包括：
确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
14.根据权利要求13所述的方法，其特征在于，所述通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向，还包括：
确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；
通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；以及
所述调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音，还包括：
确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；
通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
15.一种交互装置，其特征在于，包括：
声源方向确定模块，用于根据微型麦克风阵列输出的基于声源的音频信号，确定出所述声源的方位；
脑电电极确定模块，用于确定出脑电电极阵列中与所述声源的方位相对应的脑电电极；
信号输出模块，用于调用所述相对应的脑电电极输出触感信号，使得所述用户感知。
16.根据权利要求15所述的装置，其特征在于，
所述声源方向确定模块具体用于根据所述多个微型麦克风输出的基于声源的音频信号的强度，确定出各微型麦克风与所述声源之间的距离；根据各微型麦克风与所述声源之间的距离，确定出所述声源的方位。
17.根据权利要求15-16任一项所述的装置，其特征在于，
所述信号输出模块还用于调用显示设备对所述声源方向确定模块确定出的所述声音的方向进行对应显示。
18.根据权利要求17所述的装置，其特征在于，还包括：
声音输出模块，用于通过所述脑电电极阵列获取用户的交互内容脑电信号和用户指定的方向；调用扬声器阵列中对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
19.根据权利要求18所述的装置，其特征在于，
所述声音输出模块具体用于通过所述脑电电极阵列接收到用户的启动主动交互脑电信号时，调用所述显示设备在第一方向选择界面中依次突出显示多个方向范围；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的方向范围确定为用户指定的方向范围；确定所述用户指定的方向范围后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的方向范围对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
20.根据权利要求19所述的装置，其特征在于，
所述声音输出模块还用于确定所述用户指定的方向范围后，调用所述显示设备在第二方向选择界面中依次突出显示多个角度方向；通过所述脑电电极阵列接收到用户的确定脑电信号时，将当前突出显示的角度方向确定为用户指定的角度方向；确定所述用户指定的角度方向后，调用所述显示设备显示交互信息输入界面；通过所述脑电电极阵列接收到用户针对所述交互信息输入界面的指引反馈的交互内容脑电信号时，调用所述用户指定的角度方向对应的至少一个扬声器输出基于所述交互内容脑电信号的声音。
CN201710312121.3A 2017-05-05 2017-05-05 交互系统、方法及装置 Pending CN107024993A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710312121.3A CN107024993A (zh) 2017-05-05 2017-05-05 交互系统、方法及装置
US16/324,270 US11928982B2 (en) 2017-05-05 2018-02-22 Interaction system, method and device
PCT/CN2018/076955 WO2018201779A1 (zh) 2017-05-05 2018-02-22 交互系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710312121.3A CN107024993A (zh) 2017-05-05 2017-05-05 交互系统、方法及装置

Publications (1)

Publication Number Publication Date
CN107024993A true CN107024993A (zh) 2017-08-08

Family

ID=59528354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710312121.3A Pending CN107024993A (zh) 2017-05-05 2017-05-05 交互系统、方法及装置

Country Status (3)

Country Link
US (1) US11928982B2 (zh)
CN (1) CN107024993A (zh)
WO (1) WO2018201779A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391890A (zh) * 2017-08-14 2019-02-26 西万拓私人有限公司 用于运行听力设备的方法和听力设备
CN112055974A (zh) * 2018-03-02 2020-12-08 诺基亚技术有限公司 音频处理

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464729A (zh) * 2009-01-05 2009-06-24 清华大学 基于听觉认知神经信号的自主意愿表达方法
US20130035578A1 (en) * 2011-08-01 2013-02-07 Gordon Chiu Portable Brain Activity Monitor and Method
CN104081334A (zh) * 2011-11-30 2014-10-01 诺基亚公司 用于音频反应ui信息的装置和方法以及显示器
CN104244157A (zh) * 2013-06-14 2014-12-24 奥迪康有限公司 具有脑机接口的助听装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5840040A (en) * 1992-12-18 1998-11-24 The Regents Of The University Of California Encephalolexianalyzer
US7864968B2 (en) * 2006-09-25 2011-01-04 Advanced Bionics, Llc Auditory front end customization
US9911358B2 (en) * 2013-05-20 2018-03-06 Georgia Tech Research Corporation Wireless real-time tongue tracking for speech impairment diagnosis, speech therapy with audiovisual biofeedback, and silent speech interfaces
US9700261B2 (en) * 2014-09-22 2017-07-11 Oticon A/S Hearing assistance system comprising electrodes for picking up brain wave signals
EP3108929B1 (en) * 2015-06-22 2020-07-01 Oticon Medical A/S Sound processing for a bilateral cochlear implant system
GB2557768B (en) * 2015-08-05 2021-07-21 Ford Global Tech Llc System and method for sound direction detection in a vehicle
EP3185590B1 (en) * 2015-12-22 2020-08-19 Oticon A/s A hearing device comprising a sensor for picking up electromagnetic signals from the body
CN106354270A (zh) 2016-11-11 2017-01-25 北京理工大学 基于脑机接口的可移动头戴终端及系统
CN106510702B (zh) 2016-12-09 2019-09-17 广州大学 基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464729A (zh) * 2009-01-05 2009-06-24 清华大学 基于听觉认知神经信号的自主意愿表达方法
US20130035578A1 (en) * 2011-08-01 2013-02-07 Gordon Chiu Portable Brain Activity Monitor and Method
CN104081334A (zh) * 2011-11-30 2014-10-01 诺基亚公司 用于音频反应ui信息的装置和方法以及显示器
CN104244157A (zh) * 2013-06-14 2014-12-24 奥迪康有限公司 具有脑机接口的助听装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391890A (zh) * 2017-08-14 2019-02-26 西万拓私人有限公司 用于运行听力设备的方法和听力设备
CN112055974A (zh) * 2018-03-02 2020-12-08 诺基亚技术有限公司 音频处理
US11516615B2 (en) 2018-03-02 2022-11-29 Nokia Technologies Oy Audio processing

Also Published As

Publication number Publication date
WO2018201779A1 (zh) 2018-11-08
US20230186786A1 (en) 2023-06-15
US11928982B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
US11422628B2 (en) Methods, devices, and systems for modifying perceived haptic stimulations on a user
US10111013B2 (en) Devices and methods for the visualization and localization of sound
US8934654B2 (en) Non-occluded personal audio and communication system
CN102640517B (zh) 有向声音系统、传输声音至空间位置方法及有向通信系统
WO2018194710A1 (en) Wearable auditory feedback device
CN106464996A (zh) 用于体育活动的多功能耳机系统
US10142733B2 (en) Head-related transfer function selection device, head-related transfer function selection method, head-related transfer function selection program, and sound reproduction device
CN103873997B (zh) 电子设备和声音采集方法
CN113228029A (zh) Ar中的自然语言翻译
EP2901716A1 (en) Method for adjusting parameters of a hearing aid functionality provided in a consumer electronics device
CN106356052A (zh) 语音合成方法及装置
CN107024993A (zh) 交互系统、方法及装置
CN107710780A (zh) 空气传导扬声器与组织传导扬声器之间的智能切换
CN108683790B (zh) 语音处理方法及相关产品
JP2016194612A (ja) 視覚認識支援装置および視覚認識支援プログラム
CN106412751B (zh) 一种可辨别方向的耳机及其实现方法
CN106952305A (zh) 信息处理方法及装置、电子设备、可穿戴设备
CN102972045A (zh) 3d立体声缝隙式传声器
CN207666587U (zh) 脑电波眼罩及脑电波信号采集装置
CN109391867A (zh) 声学装置
CN109660891A (zh) 一种可穿戴式多麦克风装置
US11416075B1 (en) Wearable device and user input system for computing devices and artificial reality environments
CN206193690U (zh) 基于脑机接口的可移动头戴终端及系统
CN206923039U (zh) 背极板及麦克风
CN113596673A (zh) Ar眼镜扬声器的定向发声方法、装置和发声设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170808