CN113196390A - 一种基于听觉的感知系统及其使用方法 - Google Patents

Abstract

本发明公开了一种基于听觉的感知系统及其使用方法，所述系统包括：用户交互模块、信息获取模块和分析处理模块。所述方法包括：接收用户指令；获取用于结合指令进行分析处理的信息；根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息；如果有反馈的信息，将反馈的信息转化为听觉感知信号反馈给用户。通过本发明的一种基于听觉的感知系统及其使用方法，能够帮助人们更好的利用听觉来感知外界的信息，增强感知的效果，并可以帮助用户在光线不足、光线不佳、光线太强、弱视、近视、远视、老花、眼疲劳等环境中，或者是不方便仔细观看的时候如驾驶时，提升行走、寻物、使用计算机以及智能设备/智能系统等的效率。

Description

一种基于听觉的感知系统及其使用方法

技术领域

本发明涉及信息通讯技术领域，特别是涉及一种基于听觉的感知系统及其使用方法。

背景技术

听觉是人类除视觉外最重要的感知外界信息的途径。人的听觉系统听到声波后，利用其中的信息产生对声源、信息、空间、定位及环境进行感知。尤其对于盲人来说，由于无法利用视觉来感知外界信息，因此利用听觉来感知外界信息成为他们重要的获取信息的途径。

因此，迫切需要一种基于听觉的感知系统，能够帮助人们更好的利用听觉来感知外界的信息，增强感知的效果和效率。

发明内容

本发明的主要目的是：提供一种基于听觉的感知系统及其使用方法，能够帮助人们更好的利用听觉来感知外界的信息，增强感知的效果，并可以帮助盲人或者帮助正常人在光线不足的环境中提升行走、寻物、使用计算机以及智能设备/智能系统等的效率。

为实现上述目的，本发明提供了一种基于听觉的感知系统，所述系统包括：用户交互模块、信息获取模块和分析处理模块，

所述用户交互模块用于接收指令并将反馈的信息以听觉感知信号反馈给用户；

所述信息获取模块用于获取信息，所述信息用于供分析处理模块结合指令进行分析处理；

所述分析处理模块用于根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息。

如上所述的基于听觉的感知系统，将反馈的信息转换为听觉感知信号是由用户交互模块或分析处理模块完成。

如上所述的基于听觉的感知系统，所述听觉感知信号是通过声音的频率、节奏、旋律、间隔、方位、距离、大小、高低、长短和音色中的至少一项来表示信息。

如上所述的基于听觉的感知系统，所述听觉感知信号包括语音信号。

如上所述的基于听觉的感知系统，所述用户交互模块包括指令获取模块和听觉感知信号输出模块，所述听觉感知信号输出模块包括耳机、骨传导耳机、扬声器、助听器、脑机接口中的至少一项。

如上所述的基于听觉的感知系统，所述指令获取模块包括语音识别装置、声音识别装置、手势识别装置、肢体动作识别装置、表情识别装置、身体信号识别装置、智能可穿戴设备、智能平板、手机、鼠标、键盘、智能手柄、智能手杖、智能指环、智能手环中的至少一项。

如上所述的基于听觉的感知系统，所述信息获取模块包括图像传感器、雷达装置、无线射频识别装置、定位装置、音频获取装置、红外装置、紫外装置、激光扫描器、金属探测器、温感装置、光感装置、触感装置、气压传感器、水压传感器、嗅觉识别装置、磁场探测装置、风力探测装置、湿度探测装置、电力探测装置、速度探测装置、高度探测装置、化学分析装置、放射线探测装置中的至少一个。

如上所述的基于听觉的感知系统，所述系统还能通过非听觉信号向用户反馈信息，或通过听觉信号及非听觉信号联合向用户反馈信息。

如上所述的基于听觉的感知系统，所述基于听觉的感知系统还包括数据传输模块，所述数据传输模块将所述用户交互模块接受的指令和所述信息获取模块获取的信息或者是经分析处理模块处理的指令和/或信息发送至网络/系统/服务器/智能设备，所述服务器/网络/系统/智能设备根据所述指令和所述信息进行分析计算，执行所述指令和/或将结果传输至所述数据传输模块。

如上所述的基于听觉的感知系统，所述基于听觉的感知系统还能通过所述数据传输模块或者信息获取模块从网络/系统/服务器/智能设备获取用于结合指令进行分析处理的信息。

如上所述的基于听觉的感知系统，所述基于听觉的感知系统用于辅助行走、辅助运动、运动训练、导航、辅助驾驶、辅助停车、定位、位置引导、发现目标、反映画面、反映物体、探测、侦查、勘探、设计、维修、设备使用、装置使用、学习、教学、购物、办公、社交、游戏、娱乐、影视、计算机、健康测试、疾病诊断、手术治疗、虚拟音乐会、虚拟现实技术中的至少一项。

如上所述的基于听觉的感知系统，所述基于听觉的感知系统作为基于听觉的操作系统可单独或与其他系统结合，用于操作计算机、人工智能、智能设备、虚拟现实设备。

本发明还提供一种基于听觉的感知系统的使用方法，所述方法包括：

接收用户指令；

获取用于结合指令进行分析处理的信息；

根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息；

如果有反馈的信息，将反馈的信息转化为听觉感知信号反馈给用户。

本发明的一种基于听觉的感知系统及其使用方法，所述系统包括：用户交互模块、信息获取模块和分析处理模块。所述方法包括：接收用户指令；获取用于结合指令进行分析处理的信息；根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息；如果有反馈的信息，将反馈的信息转化为听觉感知信号反馈给用户。通过本发明的一种基于听觉的感知系统及其使用方法，能够帮助人们更好的利用听觉来感知外界的信息，增强感知的效果，并可以帮助盲人或者帮助正常人在光线不足、光线不佳、光线太强、弱视、近视、远视、老花、眼疲劳等环境中，或者是不方便仔细观看的时候如驾驶时，提升行走、寻物、使用计算机以及智能设备/智能系统等的效率。

附图说明

图1为本发明第一实施例一种基于听觉的感知系统的示意图。

图2为本发明第二实施例一种基于听觉的感知系统的使用方法的方法流程图。

具体实施方式

为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例，对本发明的具体实施方式，详细说明如下。

本发明第一实施例参阅图1。图1为本发明第一实施例一种基于听觉的感知系统的示意图。如图所示，本发明的基于听觉的感知系统包括：用户交互模块10、信息获取模块20和分析处理模块30。

用户交互模块10用于接收指令并将反馈的信息以听觉感知信号反馈给用户；信息获取模块20用于获取信息，所述信息用于供分析处理模块30对指令进行分析处理；分析处理模块30用于根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息。

本发明的基于听觉的感知系统的工作的流程是：

首先，用户交互模块10接收用户指令。在本发明中，用户交互模块10包括指令获取模块和听觉感知信号输出模块。指令获取模块用于获取用户发出的指令。用户可以通过语音、手势、动作、表情、身体信号如体温、心跳、血压、呼吸等进行相关信息转换后作为指令，或通过操作平板电脑、手机、鼠标、键盘、智能手柄、智能手杖、智能可穿戴设备等，或其他适合的方式发出指令，因此，指令获取模块可以包括语音识别装置、声音识别装置、手势识别装置、肢体动作识别装置、表情识别装置、身体信号识别装置、智能可穿戴设备、智能平板、手机、鼠标、键盘、智能手柄、智能手杖、智能指环、智能手环中的一项，还可以包括其他适合接收用户指令的装置。指令还可以根据设置，定时、定期、触发特定条件时发出。听觉感知信号输出模块用于将信息通过听觉感知信号反馈给用户，听觉感知信号输出模块可以包括耳机、骨传导耳机、扬声器、助听器、脑机接口中的至少一项，也可以是其他适合的装置或者相关装置的组合。本发明的基于听觉的感知系统也可以通过非听觉信号向用户反馈信息，例如：可以通过盲人平板、智能盲人手柄、智能盲人鼠标等向用户反馈信息，也可以是通过听觉信号及非听觉信号联合向用户反馈信息。

在本发明中，听觉感知信号是指通过声音的频率、节奏、旋律、间隔、方位、距离、大小、高低、长短和音色等特征中的至少一项来表示信息，使用户能够通过该信号来感知信息。例如：可以通过声音向用户传递空间方位信息。由于声源传输声波至某一具体方位的传输特性可以被表达为函数数据集合，这种表征声波传输特性的函数数据集合可被用于处理音频信号，使音频信号体现所述声源传输声波至该方位的传输特性。当这种经过处理的音频信号经由播放设备转化为声音时，该声音即表现出所述声源传输声波至该方位的传输特性，使用户能够感受到虚拟的声源空间方位。具体方位可以包括声音的方向、位置、高低等等。

接下来，需要获取用于结合指令进行分析处理的信息。对用户指令进行分析处理可能会用到一些信息，例如：用户指令是盲人行走至某处地点，那么，首先需要获取用户当前位置和目的地位置，还需要获取路途中的障碍物信息，有了充足的信息之后，才能针对用户指令分析处理得出适当的反馈。本发明的基于听觉的感知系统，信息获取模块20可以包括图像传感器、雷达装置、无线射频识别装置、定位装置、音频获取装置、红外装置、紫外装置、激光扫描器、金属探测器、温感装置、光感装置、触感装置、气压传感器、水压传感器、嗅觉识别装置、磁场探测装置、风力探测装置、湿度探测装置、电力探测装置、速度探测装置、高度探测装置、化学分析装置、放射线探测装置中的至少一个，也可以是其他适合的装置用来获取相关信息。

之后，分析处理模块30再根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息。例如：针对盲人行走的指令和获取的用户当前位置、目的地位置、障碍物等信息，建立三维空间模型，空间模型还可以包括与时间维度相关的信息，在本发明中，模型可以是映射实体场景/对象的模型；也可以是映射虚拟场景/对象的模型，如操作系统、操作界面、游戏、虚拟系统等；也可以是实体与虚拟的结合。建立模型后，将用户指令的相关对象代入模型中，规划出适合盲人的出行路线，并在盲人出行的过程中，根据实际情况给出提示或指引用户按照规划的路线行走。

最后，如果有反馈的信息，将反馈的信息转化为听觉感知信号，再由用户交互模块10反馈给用户。将反馈的信息转换为听觉感知信号是由用户交互模块10或分析处理模块30完成，也可以由其他设备或装置完成。例如：将盲人行走的路线及根据实际情况给出的指引与提醒转化成听觉感知信号反馈给用户。可以在需要指引用户走到某个位置时，发出声源在目标位置的听觉感知信号，使用户能够通过听觉感知信号感知到该位置信息，从而走到该位置。在用户实际行走过程中，随着用户与目标位置之间的距离变化调整听觉感知信号，使用户能走到该位置。可以是在用户每次移动位置时，重新根据用户当前的位置与目标位置的变化，发出声源在目标位置发出传输至用户当前位置的听觉感知信号，使用户在移动过程中不断感知目标位置，最终成功到达目标位置。如果路线中存在障碍物，可以用其他频率、节奏、旋律、间隔、方位、距离、大小、高低、长短和音色不同的声音信号发出表示障碍物位置、距离、高矮、危险程度等信息的听觉感知信号，使用户能够通过听觉感知信号感知到该障碍物的位置、距离、高矮、危险程度等信息，从而绕过该障碍物。

用于表示目的地和障碍物、目标、对象、内容的不同频率、节奏、旋律、间隔、方位、距离、大小、高低、长短和音色的声音信号及其组合的含义可以是预先设定的，并且是用户经过训练可以分辨并理解其中含义的信号，也可以是现有的可以包含信息的声音信号，如现有语言的语音信号或其他规则的声音信号。例如：基于听觉的感知系统可以设置和/或训练不同频率、节奏、旋律、间隔、方位、距离、大小、高低、长短和音色的声音信号的定义，如对象的定义、目标的定义、方位的定义、距离的定义、颜色的定义、温度的定义、高低的定义、警告/危险信号的定义、操作信号的定义、操作结果的定义等。经过设置或训练后，用户听到设置为有代表意义的声音信号后，可以非常快的意识到该声音信号或声音信号的组合所表示的意义。本发明的基于听觉的感知系统，也可以通过听觉感知信号与其他信号结合将信息反馈给用户，例如：可以通过听觉感知信号与盲文信号结合反馈信息。

本发明的基于听觉的感知系统，可以用于行走、寻物、游戏、计算机、虚拟音乐会、虚拟现实技术等多种用途，盲人或正常人在光线不好、光线不佳、光线太强、弱视、近视、远视、老花、眼疲劳等情况下，或者是不方便仔细观看的时候如驾驶时，可以方便的利用基于听觉的感知系统的计算机进行绘画、演奏、作曲、书写、工作、学习等，提升听觉在这些领域的重要性，增强人们使用听觉感知信息的效果，使人类尤其是盲人可以更方便的生活。

下面以本发明的基于听觉的感知系统帮助盲人寻物为例具体说明。

第一步：用户发出寻物的指令。用户可以是通过语音来发出指令，系统通过佩戴在用户身上的麦克风获取了用户的语音指令并识别了该指令。用户也可以通过手势、动作或其他方式发出指令。此时，可以通过相关设备如摄像头等获取用户的指令。

第二步：系统得到了用户指令后，通过信息获取模块20获取相关信息。首先，先找到要寻找的物品，确定该物品的位置；其次，确定用户当前所处的位置上；然后获取周围的环境信息。

可以是通过多个图像传感器从不同角度获取空间内的影像数据用于空间建模及位置的计算，图像传感器可以设置在房间内适合的位置，也可以随身佩戴在用户身上，例如：可以将图像传感器、用于获取指令的麦克风、用于反馈听觉感知信号给用户的耳机集成为一个头戴式可随身携带装备，佩戴在用户头部。

也可以是通过定位装置来获取空间内位置信息，或者通过物联网获取各物品的位置、大小等信息。

第三步：根据所述指令和所述信息进行分析计算，得出反馈的信息。首先，通过获取的信息建立空间模型，主要是通过多角度的空间影像数据，以及空间内的物品的位置信息和相关的大小尺寸等等。也可以是通过网络或其他方式获取已经建立的空间模型，或者是在已有的空间模型上进行修改，得到新的符合实际的空间模型。之后，再利用空间模型以及用户和物品的位置信息，规划出适合的取物路径。

还可以根据存放物品的空间/设备/家具/装置，规划拿到物品的方法，所述寻物取物还可以是分步实现。例如：1，走到储物房间门口；2，开门进入储物房间；3，走到储物柜前；4，打开第二格柜门；5，拿到要找的物品。

然后，再根据空间模型建立声学模型，得到声波传输的相关函数，用于计算听觉感知信号。建立声学模型可以采用波束跟踪算法来建立声学模型，计算相关波束与空间的相交性，得到声波传输的相关函数，当经过这种相关函数处理的音频信号经由播放设备转化为声音时，该声音即表现出所述声源传输声波至该方位的传输特性，使用户能够感受到虚拟的声源空间方位。

第四步，将反馈的信息转化为听觉感知信号反馈给用户。将物品所在位置虚拟一个声源发声，经过声波传输的相关函数处理后，得出听觉感知信号，经由耳机输出给用户。如果规划的取物路径不是直线路径，可以将该路径分成多个直线段，然后，在第一个直线段的终点虚拟一个声源，计算出听觉感知信号反馈给用户，当用户走到第一个直线段的终点后，进入第二个直线段，此时在第二个直线段的终点虚拟一个声源，计算出听觉感知信号反馈给用户引导用户走到该点，以此类推，直到到达寻找的物品的位置。还可以根据用户移动的路线和规划路线，方向、高低的偏差、以及时间限制/紧迫程度、设置相应听觉感知信号反馈给用户，以使用户能够被不断校正、提醒。

本发明的基于听觉的感知系统，还可以用于虚拟音乐会。首先，虚拟音乐会场所的场景，建立声学模型。再将各乐器、声部等分别虚拟成不同的声源，这些声源可以位于不同的位置。分别计算不同声源至用户位置的声波传输的相关函数。将各虚拟声源所产生的音乐，经过声波传输的相关函数处理后进行叠加，得出最终的音乐会的听觉感知信号输出给用户。

在本发明中，计算声波传输的相关函数可以是头部相关传输函数数据(HeadRelated Transfer Function,HRTF)集合，耳间时间差数据(Interaural TimeDifference,ITD)集合，耳间强度差数据(IID)集合等任何适当的能够表征声源发出的声波传输至某一方位的传输特性的数据集合。ITD是指由于声源离左、右耳的距离差异，使得声信号到达双耳时的时间差。IID是指由于声源离左、右耳的距离差异，使得声信号到达双耳时的强度差。ITD和IID均是声源位置和声波频率的函数。当声源定位数据集合为ITD和IID数据集合时，用户可以分辨声源位于其左侧还是右侧。HRTF是自由场情况下从声源到双耳的声学传输函数，其用来描述在自由声场中的声源发出的声波，以一定角度入射到耳道内某点时所发生的特征变化。HRTF是声源位置、声波频率以及人体表面形状和性质的函数。从声源到人体测量点的单位脉冲响应称为头部相关脉冲响应(Head Related ImpulseResponse,HRIR).HRTF是HRIR的傅立叶变换。当声源定位数据集合为HRTF数据集合时，用户可以分辨声源位于其前方、后方、上方、下方、左侧还是右側。

如果用多个函数数据集合分别表征声源传输声波至多个具体方位的传输特性，并用该多个函数数据集合分别处理音频信号，就可以使音频信号分别表现出所述声源传输声波至多个具体方位的传输特性。借助这种方案可以构建虚拟的听觉环境，在此基础上，如果将用户的现实物理方位投射为虚拟听觉环境中的具体方位，在用户的不同现实物理方位和虚拟听觉环境中的不同具体方位之间建立对应关系，就可以使用户按照自身物理方位的不同，听到与自身物理方位相符合的声音效果。

可以设定允许用户移动位置，当用户的位置发生变化或用户耳朵的方向发生变化时，重新计算不同声源的声波传输的相关函数，用户可以宛若身临其境，真正在现场欣赏音乐会。用户还可以发出指令，调整某些乐器、声部的发声位置，音量大小等，随心所欲的欣赏属于自己的音乐会。

如上所述的基于听觉的感知系统，所述基于听觉的感知系统用于辅助行走、辅助运动、运动训练、导航、辅助驾驶、辅助停车、定位、位置引导、发现目标、反映画面、反映物体、探测、侦查、勘探、设计、维修、设备使用、装置使用、学习、教学、购物、办公、社交、游戏、娱乐、影视、计算机、健康测试、疾病诊断、手术治疗、虚拟音乐会、虚拟现实技术中的至少一项。例如：在行走过程中通过听觉信号的方位、远近、信号类别等，提醒用户路线、路况的变化和障碍物具体位置；在运动训练中，通过听觉信号提醒运动员动作的角度、距离是否符合训练要求或指引运动员动作；在辅助驾驶中，可以通过听觉信号提醒司机/飞行员路线或者航线以及相关物体的位置和远近；位置引导可以通过听觉信号使用户准确的掌握目标位置，如将钥匙插入钥匙孔时，听觉信号可以反映钥匙孔与钥匙的相对方位以及距离，即便在看不见/看不清的情况下也能快速对准；发现目标可以是通过雷达或者红外等设备发现目标物/人后，通过听觉信号将目标物/人的相对方位、距离反馈给用户；用于反映画面时，可以通过图像传感器获取需要反映的画面，然后图像识别软件将画面内容解析为点、线条、图形、颜色等图像的不同信息要素，系统将相关信息要素和其位置信息转化为听觉信号，使用户能够根据听觉信号接收到画面的相关信息，或者系统可以根据用户指定位置，将该位置的画面信息通过听觉信息反馈给用户，随着用户指定位置在画面上不同位置的移动，系统可以通过听觉信息将画面信息传递给用户，这里的画面可以是实真实的画面，也可以是存储在系统中的虚拟画面；用于设计时，可以增加设计师在空间方面的信息反馈，对涉及方案有更立体直观的感受。实现上述应用可以是本发明的基于听觉的感知系统单独或与其他系统、设备相结合后共同完成。

本发明的基于听觉的感知系统，如上所述的基于听觉的感知系统，所述基于听觉的感知系统作为基于听觉的操作系统可单独或与其他系统结合，用于操作计算机、人工智能、智能设备、虚拟现实设备或其他适合的设备。现有的计算机系统通常使用视频操作界面，对于盲人或视力不好的人，或者普通人在远距离使用时，不能很好的将计算机系统反馈的信息传递给用户。另外现有基于视觉的界面承载的信息量和信息形式的限制，很多时候不能充分、形象、准确的接受指令和反馈信息。采用本发明的基于听觉的感知系统，将反馈的信息转化为听觉感知信号反馈给用户，并且可以多维度接受用户指令，可以实现盲人或视力不好的人，或者普通人在远距离方便的获取计算机系统反馈的信息，也可以增加现有计算机交互的方式和增强交互的效果，降低相关人员使用计算机系统及操控设备的难度，提高计算机使用效果。

基于听觉的感知系统的计算机系统可以和现有计算机系统一样，实现位置、路线、数量、大小、温度、时间、程度、形状、状态、对象的操作，还可以包括对象识别/区分/展开、对象虚拟位置的移动、对象修改/删除、生成、变更等等。还可以通过利用本发明的基于听觉的感知系统控制设备完成对目标实物的操作，例如：通过本发明的基于听觉的感知系统实现操作机械臂、机器人、智能家具、无人驾驶车辆、无人机、电纸书等等。结合了基于听觉的感知系统的计算机系统能够在现有计算机应用的基础上，增加信息的空间维度以及听觉可以承载的其他信息维度，大大提高计算机的应用效率和使用体验。

本发明的基于听觉的感知系统，还可以包括数据传输模块，所述数据传输模块将所述用户交互模块接受的指令和所述信息获取模块获取的信息或者是经分析处理模块处理的指令和/或信息发送至服务器/网络/系统/智能设备，所述服务器/网络/系统/智能设备根据所述指令和所述信息进行分析计算，执行所述指令和/或将结果传输至所述数据传输模块。具体网络/系统/智能设备包括：互联网、物联网、卫星网络、局域网、智能办公系统、智能家居系统、智能手机、智能电视、智能汽车、智慧道路、智慧城市、无人机、智能机器人、智能厨房、智能服装等。通过数据传输模块将数据传输至服务器/网络/系统/智能设备进行分析计算，可以增加本发明的基于听觉的感知系统的数据处理能力，也可以扩大本发明的基于听觉的感知系统的应用范围，同时可以降低分析处理模块的计算量，降低对分析处理模块的硬件需求，降低本发明的基于听觉的感知系统的成本和重量。

本发明的基于听觉的感知系统也可以通过数据传输模块或者信息获取模块从互联网、物联网，或其他信息系统、服务器、智能设备中获取信息，用于结合指令分析计算。具体信息来源可以包括：互联网、物联网、卫星网络、局域网、智能办公系统、智能家居系统、智能手机、智能音箱、智能汽车、智慧道路、智慧城市、无人机、智能机器人、智能厨房、智能服装、智能眼镜等。通过结合上述网络、系统、服务器、智能设备获取信息，可以获取更丰富更全面的信息，并且降低对信息获取模块20的硬件需求，降低本发明的基于听觉的感知系统的成本和重量。

本发明的基于听觉的感知系统，建立模型的方式可以是由单个系统建立完整的模型，或者由多个系统、设备基于统一的信号/信息标准分别建立一部分模型，再由其中一个或多个系统或服务器进行整合成为一套完整的模型。建立模型所需信息的获取方式可以是通过智能电器、智能家具、智能房屋(家庭、病房、医院、学校、工厂)、智能道路、智能手机、智能音箱、智能汽车、智能城市系统、图像传感器、定位装置、音频获取装置来获取。

本发明第二实施例参阅图2。图2为本发明第二实施例一种基于听觉的感知系统的使用方法的方法流程图。如图所示，本发明的基于听觉的感知系统的使用方法包括：

S1：接收用户指令；

S2：获取用于结合指令进行分析处理的信息；

S3：根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息；

S4：如果有反馈的信息，将反馈的信息转化为听觉感知信号反馈给用户。

本发明的一种基于听觉的感知系统的使用方法与本发明的一种基于听觉的感知系统的技术特征一一对应，可以参照前述一种基于听觉的感知系统的说明，在此不再赘述。

综上所述，本发明的一种基于听觉的感知系统及其使用方法，所述系统包括：用户交互模块、信息获取模块和分析处理模块。所述方法包括：接收用户指令；获取用于结合指令进行分析处理的信息；根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息；如果有反馈的信息，将反馈的信息转化为听觉感知信号反馈给用户。通过本发明的一种基于听觉的感知系统及其使用方法，能够帮助人们更好的利用听觉来感知外界的信息，增强感知的效果，并可以帮助盲人或者帮助正常人在光线不足、光线不佳、光线太强、弱视、近视、远视、老花、眼疲劳等环境中，或者是不方便仔细观看的时候如驾驶时，提升行走、寻物、使用计算机以及智能设备/智能系统等的效率。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于听觉的感知系统，其特征在于，所述系统包括：用户交互模块、信息获取模块和分析处理模块，

所述用户交互模块用于接收指令并将反馈的信息以听觉感知信号反馈给用户；

所述信息获取模块用于获取信息，所述信息用于供分析处理模块结合指令进行分析处理；

所述分析处理模块用于根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息。

2.根据权利要求1所述的基于听觉的感知系统，其特征在于：将反馈的信息转换为听觉感知信号是由用户交互模块或分析处理模块完成。

3.根据权利要求1所述的基于听觉的感知系统，其特征在于：所述听觉感知信号是通过声音的频率、节奏、旋律、间隔、方位、距离、大小、高低、长短和音色中的至少一项来表示信息。

4.根据权利要求3所述的基于听觉的感知系统，其特征在于：所述听觉感知信号包括语音信号。

5.根据权利要求1所述的基于听觉的感知系统，其特征在于：所述用户交互模块包括指令获取模块和听觉感知信号输出模块，所述听觉感知信号输出模块是耳机、扬声器、助听器、脑机接口中的至少一项。

6.根据权利要求3所述的基于听觉的感知系统，其特征在于：所述指令获取模块包括语音识别装置、声音识别装置、手势识别装置、肢体动作识别装置、表情识别装置、身体信号识别装置、智能可穿戴设备、智能平板、手机、鼠标、键盘、智能手柄、智能手杖、智能指环、智能手环中的至少一项。

7.根据权利要求1所述的基于听觉的感知系统，其特征在于：所述信息获取模块包括图像传感器、雷达装置、无线射频识别装置、定位装置、音频获取装置、红外装置、紫外装置、激光扫描器、金属探测器、温感装置、光感装置、触感装置、气压传感器、水压传感器、嗅觉识别装置、磁场探测装置、风力探测装置、湿度探测装置、电力探测装置、速度探测装置、高度探测装置、化学分析装置、放射线探测装置中的至少一个。

8.根据权利要求1所述的基于听觉的感知系统，其特征在于：所述基于听觉的感知系统还能通过非听觉信号向用户反馈信息，或通过听觉信号及非听觉信号联合向用户反馈信息。

9.根据权利要求1所述的基于听觉的感知系统，其特征在于：所述基于听觉的感知系统还包括数据传输模块，所述数据传输模块将所述用户交互模块接受的指令和所述信息获取模块获取的信息或者是经分析处理模块处理的指令和/或信息发送至网络/系统/服务器/智能设备，所述服务器/网络/系统/智能设备根据所述指令和所述信息进行分析计算，执行所述指令和/或将结果传输至所述数据传输模块。

10.根据权利要求9所述的基于听觉的感知系统，其特征在于：所述基于听觉的感知系统还能通过所述数据传输模块或者信息获取模块从网络/系统/服务器/智能设备获取用于结合指令进行分析处理的信息。

11.根据权利要求1-10中任一权利要求所述的基于听觉的感知系统，其特征在于：所述基于听觉的感知系统用于辅助行走、辅助运动、运动训练、导航、辅助驾驶、辅助停车、定位、位置引导、发现目标、反映画面、反映物体、探测、侦查、勘探、设计、维修、设备使用、装置使用、学习、教学、购物、办公、社交、游戏、娱乐、影视、计算机、健康测试、疾病诊断、手术治疗、虚拟音乐会、虚拟现实技术中的至少一项。

12.根据权利要求1所述的基于听觉的感知系统，其特征在于：所述基于听觉的感知系统作为基于听觉的操作系统可单独或与其他系统结合，用于操作计算机、人工智能、智能设备、虚拟现实设备。

13.一种如权利要求1-12中任一权利要求所述的基于听觉的感知系统的使用方法，其特征在于，所述方法包括：

接收用户指令；

获取用于结合指令进行分析处理的信息；

根据所述指令和所述信息进行分析计算，执行所述指令和/或得出反馈的信息；

如果有反馈的信息，将反馈的信息转化为听觉感知信号反馈给用户。

Images