CN112954570B - 融合边缘计算与云计算的助听方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种融合边缘计算与云计算的助听方法、装置、设备及介质，获取训练数据，根据所述训练数据在云端服务器中对预设神经网络的配置参数进行训练，得到第一配置参数；基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。本发明通过将神经网络的训练过程与推理应用过程分离，并将预设终端作为云端服务器与预设助听器的通信与数据处理中继，对中间配置参数进行处理，有效减小用户接收基于处理得到的第二配置参数增益得到的目标语音信息的延时。

Description

融合边缘计算与云计算的助听方法、装置、设备及介质

技术领域

本发明涉及助听器系统设计技术领域，尤其涉及一种融合边缘计算与云计算的助听方法、装置、设备及介质。

背景技术

随着智能手机的普及，近年来有学者借助智能手机的计算能力研发了针对助听器等可穿戴设备的算法。基于人工神经网络的智能化算法是近年来流行而有效的语音增强方法。人工神经网络是由矩阵乘法、累加、激活函数等运算组成的非线性系统，具有一定的自学习与自适应能力。当待处理输入相关关系不明显、数据不明确、难以提取一般特征而导致使用常规手段难以建立模型时，神经网络非常适合被用来学习多组数据间较为复杂的非线性关系，建立非线性模型。

但是，当前将神经网络的训练过程与推理过程放在同一侧进行处理，由于神经网络训练过程与推理过程存在算力和延时方面的矛盾，导致在应用训练后的神经网络对语音信号进行语音增益时延时较高。

发明内容

本发明的主要目的在于提供一种融合边缘计算与云计算的助听方法、装置、设备及介质，旨在解决当前将神经网络的训练过程与推理过程放在同一端中进行，在应用训练后的神经网络对语音信号进行语音增益时延时较高的技术问题。

为实现上述目的，本发明实施例提供一种融合边缘计算与云计算的助听方法，所述融合边缘计算与云计算的助听方法包括：

基于预设云端服务器获取训练数据，根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数；

基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；

基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。

优选地，所述通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息的步骤包括：

基于所述预设助听器接收所述预设终端传输的第二配置参数；

根据所述第二配置参数进行神经网络配置，得到目标神经网络；

根据所述目标神经网络对待处理语音信号进行增益处理，得到目标语音信息。

优选地，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤包括：

基于预设终端从所述云端服务器获取所述第一配置参数；

检测用户的听力损失程度；

根据所述听力损失程度，对所述第一配置参数进行调整，得到第二配置参数。

优选地，所述检测用户的听力损失程度的步骤包括：

基于预设终端向用户输出测试音频；

获取所述用户基于所述测试音频反馈的测试信息；

根据所述测试信息，确定所述用户的听力损失程度。

优选地，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤包括：

将所述训练数据输入至预设神经网络；

通过所述训练数据对所述预设神经网络的配置参数进行误差计算，得到参数误差；

根据所述参数误差对所述配置参数进行反向运算，得到第一配置参数。

优选地，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤之前，还包括：

基于预设终端以第一预设方式与所述预设助听器建立通信连接，以供所述预设终端将第二配置参数发送至所述预设助听器；

基于所述预设终端以第二预设方式与所述云端服务器建立通信连接，以供所述预设终端从所述云端服务器获取所述第一配置参数。

优选地，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤之后，还包括：

在预设时间间隔内，获取更新训练数据，根据所述更新训练数据对所述第一配置参数进行训练，以对所述第一配置参数进行更新，得到更新配置参数。

为实现上述目的，本发明还提供一种融合边缘计算与云计算的助听装置，所述融合边缘计算与云计算的助听装置包括：

训练模块，用于获取训练数据，根据所述训练数据在云端服务器中对预设神经网络的配置参数进行训练，得到第一配置参数；

传输模块，用于基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；

增益模块，用于基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。

进一步地，为实现上述目的，本发明还提供一种融合边缘计算与云计算的助听设备，所述融合边缘计算与云计算的助听设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的融合边缘计算与云计算的助听程序，所述融合边缘计算与云计算的助听程序被所述处理器执行时实现上述的融合边缘计算与云计算的助听方法的步骤。

进一步地，为实现上述目的，本发明还提供一种介质，所述介质上存储有融合边缘计算与云计算的助听程序，所述融合边缘计算与云计算的助听程序被处理器执行时实现上述的融合边缘计算与云计算的助听方法的步骤。

本发明实施例提供一种融合边缘计算与云计算的助听方法、装置、设备及介质，获取训练数据，根据所述训练数据在云端服务器中对预设神经网络的配置参数进行训练，得到第一配置参数；基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。本发明通过将神经网络的训练过程与推理应用过程分离，并将预设终端作为云端服务器与预设助听器的通信与数据处理中继，对中间配置参数进行处理，有效减小用户接收基于处理得到的第二配置参数增益得到的目标语音信息的延时。

附图说明

图1为本发明融合边缘计算与云计算的助听方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明融合边缘计算与云计算的助听方法第一实施例的流程示意图；

图3为本发明融合边缘计算与云计算的助听方法第二实施例的流程示意图；

图4为本发明融合边缘计算与云计算的助听方法第三实施例的流程示意图；

图5为本发明融合边缘计算与云计算的助听方法第四实施例的流程示意图；

图6为本发明融合边缘计算与云计算的助听方法第五实施例的流程示意图；

图7为本发明融合边缘计算与云计算的助听装置较佳实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种融合边缘计算与云计算的助听方法、装置、设备及介质，获取训练数据，根据所述训练数据在云端服务器中对预设神经网络的配置参数进行训练，得到第一配置参数；基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。本发明通过将神经网络的训练过程与推理应用过程分离，并将预设终端作为云端服务器与预设助听器的通信与数据处理中继，对中间配置参数进行处理，有效减小用户接收基于处理得到的第二配置参数增益得到的目标语音信息的延时。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的融合边缘计算与云计算的助听设备结构示意图。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例融合边缘计算与云计算的助听设备可以是PC，也可以是平板电脑、便携计算机等可移动式终端设备。

如图1所示，该融合边缘计算与云计算的助听设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的融合边缘计算与云计算的助听设备结构并不构成对融合边缘计算与云计算的助听设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及融合边缘计算与云计算的助听程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的融合边缘计算与云计算的助听程序，并执行以下操作：

基于预设云端服务器获取训练数据，根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数；

基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；

基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。

进一步地，所述通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息的步骤包括：

基于所述预设助听器接收所述预设终端传输的第二配置参数；

根据所述第二配置参数进行神经网络配置，得到目标神经网络；

根据所述目标神经网络对待处理语音信号进行增益处理，得到目标语音信息。

进一步地，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤包括：

基于预设终端从所述云端服务器获取所述第一配置参数；

检测用户的听力损失程度；

根据所述听力损失程度，对所述第一配置参数进行调整，得到第二配置参数。

进一步地，所述检测用户的听力损失程度的步骤包括：

基于预设终端向用户输出测试音频；

获取所述用户基于所述测试音频反馈的测试信息；

根据所述测试信息，确定所述用户的听力损失程度。

进一步地，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤包括：

将所述训练数据输入至预设神经网络；

通过所述训练数据对所述预设神经网络的配置参数进行误差计算，得到参数误差；

根据所述参数误差对所述配置参数进行反向运算，得到第一配置参数。

进一步地，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤之前，处理器1001可以用于调用存储器1005中存储的融合边缘计算与云计算的助听程序，并执行以下操作：

基于预设终端以第一预设方式与所述预设助听器建立通信连接，以供所述预设终端将第二配置参数发送至所述预设助听器；

基于所述预设终端以第二预设方式与所述云端服务器建立通信连接，以供所述预设终端从所述云端服务器获取所述第一配置参数。

进一步地，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤之后，处理器1001可以用于调用存储器1005中存储的融合边缘计算与云计算的助听程序，并执行以下操作：

在预设时间间隔内，获取更新训练数据，根据所述更新训练数据对所述第一配置参数进行训练，以对所述第一配置参数进行更新，得到更新配置参数。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参照图2，本发明第一实施例提供一种融合边缘计算与云计算的助听方法的流程示意图。该实施例中，所述融合边缘计算与云计算的助听方法包括以下步骤：

步骤S10，基于预设云端服务器获取训练数据，根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数；

本实施例中融合边缘计算与云计算的助听方法应用于助听系统，系统中包括预设终端、预设云端服务器、预设助听器，其中预设终端可以为智能手机、平板电脑、个人电脑等，预设云端服务器在本实施例中为用于对预设神经网络进行训练的云端服务器，云端服务器具有高度分布式、高度虚拟化等特点，使得网络资源得到充分的利用；预设助听器在本实施例中为用于获取外界语音信号并对语音信号进行增益的设备，助听器是一个小型扩音器，把原本听不到的声音加以扩大，再利用听障者的残余听力，使声音能送到大脑听觉中枢，进而使听障者感觉到声音；预设神经网络在本实施例中为由实际应用场景设置的函数形成的神经网络。并且，本实施例中预设终端可以分别与预设云端服务器以及预设助听器连接，以进行数据交互。

可以理解地，当前将神经网络的训练过程与推理过程放在同一侧进行处理，由于神经网络训练过程与推理过程存在算力和延时方面的矛盾，导致在应用训练后的神经网络对语音信号进行语音增益时延时较高。因此，本申请提出一种融合边缘计算与云计算的助听方法，通过将神经网络的训练过程与推理应用过程分离，并将预设终端作为云端服务器与预设助听器的通信与数据处理中继，对中间配置参数进行处理，有效减小用户接收基于处理得到的第二配置参数增益得到的目标语音信息的延时，使得用户的听觉灵敏度更高。

可以理解地，神经网络的运行过程主要分为两个阶段：训练阶段和推理阶段。又因为神经网络的训练涉及的处理算力、存储空间的资源要求非常巨大，其在运算步骤、存储空间、计算时间等方面的资源消耗比仅对实时语音片段进行正向计算的推理过程高了数万倍至数百万倍。此外，训练所需的时间长，训练消耗的时间不体现在用户的使用过程中，而推理过程所消耗的时间直接被用户感知，因此神经网络训练过程无延时约束，而推理过程要求低延时实时处理。因此本实施例中，在训练阶段，需要通过大量的训练数据对建立的神经网络进行训练，具体地，系统通过预设云端服务器从数据库中获取预设数量由纯净语音与各种类型的噪音组成的训练数据，并通过训练数据对预设神经网络中的配置参数进行训练，其中配置参数包含网络权值、网络阈值等参数；在通过预设数量的训练数据完成训练后，得到神经网络中训练好的第一配置参数，以使预设助听器可以在预设终端对第一配置参数进行调整后，通过调整得到的第二配置参数对获取的待处理语音信号进行增益处理，使得用户可以在低延时的情况下清楚地收听到生成的目标语音信息，其中预设数量根据实际需求进行设定，并且可以理解地，对神经网络进行训练时，使用的训练数据的数量越多，通过训练后的神经网络进行应用时的性能越高；纯净语音为不包含噪音的语音数据；噪音是一类引起人烦躁、或音量过强而危害人体健康的声音，从环境保护的角度讲：凡是妨碍人们正常休息、学习和工作的声音，以及对人们要听的声音产生干扰的声音，都属于噪音。

在本申请的一个用于举例但不进行内容限定的实施例中，使用的纯净语音数据来自清华大学语音和语言技术中心录制的语音数据库。所述语音库预先从新闻稿中挑选出1000条中文短句，每句长度约为8～10秒，这些短句尽可能地包含了中文的所有发音。发音者包括31名女性与9名男性，年龄范围19～55岁，录制了总计约35小时的13389条语音短句。这些语音数据以WAV格式保存，采样大小16bit(比特)，采样率16kHz(千赫兹)。用于训练的噪声数据来自Valin等人的语音增强项目。所述语音增强项目的噪声库来自不同地区的包含了家中、办公室、人群、建筑工地、汽车噪声等各类日常生活中常见的噪声。所述噪声库以16bit的PCM(Pulse Code Modulation，脉冲编码调制)格式存储，采样率为48kHz，总计时长超过20小时，其中每段噪声的时长在1分钟左右。为了与选用的语音库相匹配，本发明通过降采样处理将这些噪声的采样率降至16kHz。音频数据准备完毕后，按照以下操作获得训练网络所需的输入与目标输出：首先取一段纯净语音，并在噪声库中随机截取与该段语音相同时长的噪声。接下来在[-10,20]范围内随机取一个值作为信噪比，以帧为单位将语音与噪声按照该信噪比进行混合叠加，每一帧包含160个采样点，即帧长10ms。由于使用了较宽的信噪比范围，混合后生成的带噪语音能够包含纯噪声与纯语音这类极端情况。之后，将带噪语音的每一帧通过上述的特征提取方式，计算16个频段的对数能量，以此作为网络的输入数据；再使用该带噪语音与相应的纯净语音计算各频段的期望增益，作为网络的目标输出。通过语音与噪声的随机混合，共生成了1亿帧带噪语音，总计时长约278小时，尽可能地模拟了日常生活中助听器使用者交流时所处的各类环境，提升以此训练的语音增强网络的普适性。在训练时，训练程序会自动划分出全部数据的后10％部分，这部分数据不参与训练，仅被用于在每次迭代后对网络进行验证，被称为验证集，剩余的数据则被称为训练集，其中，WAV是最常见的声音文件格式之一。

可以理解地，本发明使用Tensorflow对预设神经网络网络进行构建与训练，其中Tensorflow是一个开源的机器学习库，主要用于各类机器算法的编程实现。Tensorflow除了具有建模便捷、运算速度快、易于上手等特点，还有着较强的系统稳定性与可扩展性，可以部署在服务器、网页、个人计算机等各类终端。由于Tensorflow具有的上述优势，该框架自谷歌公司于2015年正式公布后，很快便受到了众多企业与研究机构的广泛关注，成为现今最为流行的机器学习框架之一，具有极高的讨论热度。本发明利用Python编程语言搭建了Tensorflow的使用环境，并在该环境下编写预设神经网络的训练程序。

步骤S20，基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；

进一步地，在通过预设云端服务器训练得到第一配置参数后，系统调用预设终端，基于预设终端与预设云端服务器之间的连接关系，通过预设终端从预设云端服务器中获取第一配置参数，同时检测用户的听力损失程度，再由检测的听力损失程度对获取的第一配置参数进行参数调整，得到第二配置参数。在得到第二配置参数后，系统基于预设终端与预设助听器之间的连接关系，将第二配置参数由预设终端传输至预设助听器，以供预设助听器根据第二配置参数构建目标神经网络，并通过目标神经网络对获取的待处理语音信号进行增益处理，得到目标语音信息，减小用户接收目标语音信息时的延时。

进一步地，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤之前，还包括：

步骤S1，基于预设终端以第一预设方式与所述预设助听器建立通信连接，以供所述预设终端将第二配置参数发送至所述预设助听器；

步骤S2，基于所述预设终端以第二预设方式与所述云端服务器建立通信连接，以供所述预设终端从所述云端服务器获取所述第一配置参数。

可以理解地，预设终端中预先设置有app(Application，应用程序)，其中app是安装在智能终端上的软件，用于完善原始系统的不足与个性化，在本实施例中可用于分别与预设云端服务器以及预设助听器进行连接，并可以检测用户的听力损失程度。为了能够及时地完成预设云端服务器、预设终端以及预设助听器等多端之间的数据交互，系统将预设终端中的app作为预设助听器与预设云端服务器之间的通信和处理中继，通过低功耗蓝牙(BLE)将预设终端中的app与预设助听器建立通信连接，便于对预设助听器的压缩放大参数以及神经网络参数，如增益倍数、压缩拐点、压缩率、网络权值、网络阈值等参数进行配置，并使预设终端可以将配置得到的第二配置参数发送至预设助听器。同时，系统还控制预设终端中的app通过HTTP(HyperText Transfer Protocol，超文本传输协议)网络通信协议与预设云端服务器建立通信连接，以定期从预设云端服务器中获取预设云端服务器训练提升的网络权值、网络阈值等第一配置参数，便于更新根据第一配置参数对预设助听器中的配置参数进行调整。

步骤S30，基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。

可以理解地，预设助听器中设置有用于接收外界输入的语音信号的麦克风，因此，为了使用户能够通过预设助听器清楚且以低延时收听到外界的语音信号，系统通过预设助听器中的麦克风实时采集外界的音频信号，并将采集的音频信号作为待处理语音信号。在获取到待处理语音信号后，系统首先接收预设终端传输的第二配置信息，通过第二配置信息构建出目标神经网络，在同构建的目标神经网络对待处理语音信号进行增益处理，具体地，系统可以通过目标神经网络对待处理语音信号进行放大补偿、降噪增强、啸叫抑制等增益处理，使得用户可以清楚地以低延时收听到处理得到的目标语音信息。

本实施例提供一种融合边缘计算与云计算的助听方法、装置、设备及介质，获取训练数据，根据所述训练数据在云端服务器中对预设神经网络的配置参数进行训练，得到第一配置参数；基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。本发明通过将神经网络的训练过程与推理应用过程分离，并将预设终端作为云端服务器与预设助听器的通信与数据处理中继，对中间配置参数进行处理，有效减小用户接收基于处理得到的第二配置参数增益得到的目标语音信息的延时。

进一步地，参照图3，基于本发明融合边缘计算与云计算的助听方法的第一实施例，提出本发明融合边缘计算与云计算的助听方法的第二实施例，在第二实施例中，所述通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息的步骤包括：

步骤S31，基于所述预设助听器接收所述预设终端传输的第二配置参数；

步骤S32，根据所述第二配置参数进行神经网络配置，得到目标神经网络；

步骤S33，根据所述目标神经网络对待处理语音信号进行增益处理，得到目标语音信息。

可以理解地，训练好的神经网络才把包括网络权值、网络阈值的配置参数通过预设终端处理后传给预设助听器中的DSP(Digital Signal Processing，数字信号处理技术)芯片，而通过DSP芯片按照第二配置参数构建目标神经网络之后就可以对待处理语音信号进行正向运算，其中DSP芯片内部采用程序和数据分开的哈佛结构，具有专门的硬件乘法器，广泛采用流水线操作，提供特殊的DSP指令，可以用来快速地实现各种数字信号处理算法。因此，系统基于预设助听器与预设终端之间的通信连接关系，控制预设助听器中的DSP芯片接收预设终端对第一配置参数进行调整得到并传输的第二配置参数。在接收到第二配置参数后，系统通过预设助听器中的DSP芯片，根据第二配置参数中的网络权值与网络阈值，对形成预设神经网络的函数进行调整，进行神经网络的配置，并在调整完成后构建得到目标神经网络。在构建目标神经网络后，系统将获取的待处理语音信号输入至目标神经网络中，通过目标神经网络对待处理语音信号进行放大补偿、降噪增强、啸叫抑制等增益处理，由于通过目标神经网络对待处理语音信号进行放大补偿、降噪增强、啸叫抑制等增益处理时，采用先进的CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)工艺制程实现低功耗、低延时的神经网络正向推理，使得用户可以清楚地以低延时收听到处理得到的目标语音信息，并且，通过预设助听器中的DSP芯片进行语音信号实时处理，可以实现毫秒级语音滤波、频段划分、增益补偿、语音增强、啸叫抑制和声场分类等功能，其中语音增强和声场分类功能由DSP芯片中的人工神经网络加速硬核的正向推理运算完成；DSP中的功能运算单元按照硬化在芯片内核中的信号处理算法，如FIR滤波器组、能量检测、相关性检测，将音频频段分为不同频带(分通道)并在各通道内进行针对性的放大增益，对用户的听力损失进行适合的补偿。人工神经网络硬核将各通道的时频特征作为输入，通过深度神经网络(DNN)的正向推理实现语音增强和声场景分类功能。

本实施例通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息，通过训练好的第二配置参数对待处理语音信号进行处理并生成目标语音信息，可以使用户清楚地收听从外界采集的音频信号，并且收听目标语音信息的延时有效减小。

进一步地，参照图4，基于本发明融合边缘计算与云计算的助听方法的第一实施例，提出本发明融合边缘计算与云计算的助听方法的第三实施例，在第三实施例中，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤包括：

步骤S21，基于预设终端从所述云端服务器获取所述第一配置参数；

步骤S22，检测用户的听力损失程度；

步骤S23，根据所述听力损失程度，对所述第一配置参数进行调整，得到第二配置参数。

进一步地，系统基于预设终端与预设云端服务器之间的通信连接关系，控制预设终端从预设云端服务器中提取出对预设神经网络进行训练得到的第一配置参数。同时，系统通过预设终端中设置的app对用户的听力损失程度进行检测，具体地，可以通过预设终端向用户输出测试音频，并根据用户对于测试音频反馈的测试信息确定用户的听力损失程度。在检测出用户的听力损失程度之后，系统根据听力损失程度对第一配置参数进行调整，得到第二配置参数，具体地，系统可以通过听力损失程度对第一配置参数中的网络权值、网络阈值进行补偿，在完成补偿后得到第二配置参数。例如：用户在低频处患有中度听力损失(低频听阈在40～60dBHL)，而在高频处患有重度听力损失(高频听阈在60～80dB HL)，则将预设助听器在低频频段处的增益倍数调整应为20～30dB，而将高频频段处的增益倍数调整为30～40dB，其中dBHL为听力损失程度，用于表示听力损失的程度；dB为分贝，用于表示声音的大小。

进一步地，所述检测用户的听力损失程度的步骤包括：

步骤S221，基于预设终端向用户输出测试音频；

步骤S222，获取所述用户基于所述测试音频反馈的测试信息；

步骤S223，根据所述测试信息，确定所述用户的听力损失程度。

进一步地，系统基于预设终端与预设助听器之间的通信连接关系，通过预设终端从语音库中获取测试音频，将测试音频发送至预设助听器，通过预设助听器向用户以不同的分贝对测试音频进行播放。在通过预设助听器向用户以不同的分贝对测试音频进行播放的同时，通过预设终端检测用户基于不同分贝的测试音频反馈的测试信息，并通过对测试信息的分析，得到用户的听力损失程度，以根据用户的听力损失程度对第一配置参数进行调整，得到第二配置参数。可以理解地，在通过预设助听器向用户以不同分贝播放测试音频时，若用户听到测试音频，则在预设终端的app中选择确定按键，相反地，若用户未听到测试音频，则不做出反应，因此，在获取到用户反馈的由确定按键的触发次数形成的测试信息后，系统可以通过测试信息中确定按键的触发次数，确定出用户的听力损失程度。

本实施例基于预设终端检测用户的听力损失程度，并根据听力损失程度对所述第一配置参数进行调整，得到第二配置参数，使得预设助听器在根据第二配置参数对待处理语音信号进行增益处理后，用户可以更加清楚地收听到增益得到的目标语音信息。

进一步地，参照图5，基于本发明融合边缘计算与云计算的助听方法的第一实施例，提出本发明融合边缘计算与云计算的助听方法的第四实施例，在第四实施例中，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤包括：

步骤S11，将所述训练数据输入至预设神经网络；

步骤S12，通过所述训练数据对所述预设神经网络的配置参数进行误差计算，得到参数误差；

步骤S13，根据所述参数误差对所述配置参数进行反向运算，得到第一配置参数。

进一步地，在通过预设云端服务器获取训练参数之后，系统将训练参数输入至由实际应用场景设置的函数形成的预设神经网络中，通过训练参数对预设神经网络中函数的配置参数进行误差计算，得到参数误差，具体地，系统通过训练数据对预设神经网络进行正向传播，求得正向传播的输出数据，并将输出数据与正确的期望输出数据进行差值运算，得到参数误差；在得到参数误差后，系统在预设云端服务器中通过参数误差对配置参数进行反向运算，得到第一配置参数，具体地，系统将参数误差结合反向传播算法对配置参数进行参数补偿，在完成参数补偿后得到第一配置参数。在得到第一配置参数后，系统还可以通过其余的训练数据对第一配置参数进行反复迭代，使得训练好的神经网络中第一配置参数更优。在本实施例中图片分类为例，但并不限定本方法只能应用于图片分类，具体地，首先将训练所用的图片进行人工归类，然后使用待训练的预设神经网络进行计算，得出分类结果，通过分类结果与人工归类的正确结果进行比较，得到参数误差，再使用反向传播算法结合参数误差对配置参数中的网络权值、网络阈值等做出修改，完成训练过程的一次迭代，在经过多次迭代后得到当前最优的第一配置参数。

本实施例在预设云端服务器中根据训练数据对预设神经网络的配置参数进行训练，得到第一配置参数，由于在预设云端服务器对预设神经网络的配置参数进行训练，又因为训练消耗的时间不体现在用户对配置参数的使用过程，使得用户在通过基于第一配置参数处理得到的目标语音信息时延时较小。

进一步地，参照图6，基于本发明融合边缘计算与云计算的助听方法的第一实施例，提出本发明融合边缘计算与云计算的助听方法的第五实施例，在第五实施例中，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤之后，还包括：

步骤A1，在预设时间间隔内，获取更新训练数据，根据所述更新训练数据对所述第一配置参数进行训练，以对所述第一配置参数进行更新，得到更新配置参数。

可以理解地，由于神经网络的性能随着训练覆盖度的增加而提升，训练过程需要用数量不断增长的病例、语音语料库及诊疗康复反馈数据对神经网络进行动态训练，以持续性改进神经网络配置参数，因此，需要不断地更新训练数据，并通过更新的训练参数对神经网络进行训练，使得神经网络的性能更优。在本实施例中，系统每间隔预设时间，则通过预设云端服务器从数据库中获取更新训练数据，在获取更新训练数据后，系统在预设云端服务器中通过更新训练数据对训练得到的第一配置参数进行再次训练，通过对第一配置参数进行训练，在训练完成后实现对第一配置参数的更新，得到更新配置参数，以使预设终端可以从预设云端服务器中获取更新配置参数，并在对更新参数进行调整后传输至预设助听器，便于预设助听器根据调整后的更新配置参数构建新的目标神经网络，并通过目标神经网络对实时获取的待处理语音信号进行增益处理，使用户可以更加清楚地以低延时收听到经处理的语音信息。

本实施例通过更新训练数据对第一配置参数进行训练，形成更新配置参数，使得用户可以更加清楚地以低延时收听到基于更新配置参数处理的语音信息。

进一步地，本发明还提供一种融合边缘计算与云计算的助听装置。

参照图7，图7为本发明融合边缘计算与云计算的助听装置第一实施例的功能模块示意图。

所述融合边缘计算与云计算的助听装置包括：

训练模块10，用于获取训练数据，根据所述训练数据在云端服务器中对预设神经网络的配置参数进行训练，得到第一配置参数；

传输模块20，用于基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；

增益模块30，用于基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息。

进一步地，所述训练模块10包括：

输入单元，用于将所述训练数据输入至预设神经网络；

误差计算单元，用于通过所述训练数据对所述预设神经网络的配置参数进行误差计算，得到参数误差；

反向运算单元，用于根据所述参数误差对所述配置参数进行反向运算，得到第一配置参数。

进一步地，所述训练模块10还包括：

更新单元，用于在预设时间间隔内，获取更新训练数据，根据所述更新训练数据对所述第一配置参数进行训练，以对所述第一配置参数进行更新，得到更新配置参数。

进一步地，所述传输模块20包括：

第一获取单元，用于基于预设终端从所述云端服务器获取所述第一配置参数；

检测单元，用于检测用户的听力损失程度；

调整单元，用于根据所述听力损失程度，对所述第一配置参数进行调整，得到第二配置参数。

进一步地，所述传输模块20还包括：

输出单元，用于基于预设终端向用户输出测试音频；

第二获取单元，用于获取所述用户基于所述测试音频反馈的测试信息；

确定单元，用于根据所述测试信息，确定所述用户的听力损失程度。

进一步地，所述传输模块20还包括：

第一连接单元，用于基于预设终端以第一预设方式与所述预设助听器建立通信连接，以供所述预设终端将第二配置参数发送至所述预设助听器；

第二连接单元，用于基于所述预设终端以第二预设方式与所述云端服务器建立通信连接，以供所述预设终端从所述云端服务器获取所述第一配置参数。

进一步地，所述增益模块30包括：

接收单元，用于基于所述预设助听器接收所述预设终端传输的第二配置参数；

网络配置单元，用于根据所述第二配置参数进行神经网络配置，得到目标神经网络；

增益单元，用于根据所述目标神经网络对待处理语音信号进行增益处理，得到目标语音信息。

此外，本发明还提供一种介质，所述介质优选为计算机可读介质，其上存储有融合边缘计算与云计算的助听程序，所述融合边缘计算与云计算的助听程序被处理器执行时实现上述融合边缘计算与云计算的助听方法各实施例的步骤。

在本发明融合边缘计算与云计算的助听装置和计算机可读介质的实施例中，包含了上述融合边缘计算与云计算的助听方法各实施例的全部技术特征，说明和解释内容与上述融合边缘计算与云计算的助听方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是固定终端，如物联网智能设备，包括智能空调、智能电灯、智能电源、智能路由器等智能家居；也可以是移动终端，包括智能手机、可穿戴的联网AR/VR装置、智能音箱、自动驾驶汽车等诸多联网设备)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种融合边缘计算与云计算的助听方法，其特征在于，所述融合边缘计算与云计算的助听方法包括：

基于预设云端服务器获取训练数据，根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数；

基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；

基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息；

其中，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤包括：

基于预设终端从所述云端服务器获取所述第一配置参数；

检测用户的听力损失程度；

根据所述听力损失程度，对所述第一配置参数进行调整，得到第二配置参数；

其中，所述通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息的步骤包括：

基于所述预设助听器接收所述预设终端传输的第二配置参数；

根据所述第二配置参数进行神经网络配置，得到目标神经网络；

根据所述目标神经网络对待处理语音信号进行增益处理，得到目标语音信息。

2.如权利要求1所述的融合边缘计算与云计算的助听方法，其特征在于，所述检测用户的听力损失程度的步骤包括：

基于预设终端向用户输出测试音频；

获取所述用户基于所述测试音频反馈的测试信息；

根据所述测试信息，确定所述用户的听力损失程度。

3.如权利要求1所述的融合边缘计算与云计算的助听方法，其特征在于，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤包括：

将所述训练数据输入至预设神经网络；

通过所述训练数据对所述预设神经网络的配置参数进行误差计算，得到参数误差；

根据所述参数误差对所述配置参数进行反向运算，得到第一配置参数。

4.如权利要求1所述的融合边缘计算与云计算的助听方法，其特征在于，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数的步骤之前，还包括：

基于预设终端以第一预设方式与所述预设助听器建立通信连接，以供所述预设终端将第二配置参数发送至所述预设助听器；

基于所述预设终端以第二预设方式与所述云端服务器建立通信连接，以供所述预设终端从所述云端服务器获取所述第一配置参数。

5.如权利要求1所述的融合边缘计算与云计算的助听方法，其特征在于，所述根据所述训练数据对预设神经网络的配置参数进行训练，得到第一配置参数的步骤之后，还包括：

在预设时间间隔内，获取更新训练数据，根据所述更新训练数据对所述第一配置参数进行训练，以对所述第一配置参数进行更新，得到更新配置参数。

6.一种融合边缘计算与云计算的助听装置，其特征在于，所述融合边缘计算与云计算的助听装置包括：

训练模块，用于获取训练数据，根据所述训练数据在云端服务器中对预设神经网络的配置参数进行训练，得到第一配置参数；

传输模块，用于基于预设终端对所述第一配置参数进行调整，得到第二配置参数，并将所述第二配置参数传输至预设助听器；其中，所述基于预设终端对所述第一配置参数进行调整，得到第二配置参数包括：基于预设终端从所述云端服务器获取所述第一配置参数；检测用户的听力损失程度；根据所述听力损失程度，对所述第一配置参数进行调整，得到第二配置参数；

增益模块，用于基于所述预设助听器获取待处理语音信号，并通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息；其中，所述通过所述第二配置参数对所述待处理语音信号进行增益处理，生成目标语音信息包括：基于所述预设助听器接收所述预设终端传输的第二配置参数；根据所述第二配置参数进行神经网络配置，得到目标神经网络；根据所述目标神经网络对待处理语音信号进行增益处理，得到目标语音信息。

7.一种融合边缘计算与云计算的助听设备，其特征在于，所述融合边缘计算与云计算的助听设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的融合边缘计算与云计算的助听程序，所述融合边缘计算与云计算的助听程序被所述处理器执行时实现如权利要求1-5中任一项所述的融合边缘计算与云计算的助听方法的步骤。

8.一种介质，其特征在于，所述介质上存储有融合边缘计算与云计算的助听程序，所述融合边缘计算与云计算的助听程序被处理器执行时实现如权利要求1-5中任一项所述的融合边缘计算与云计算的助听方法的步骤。

Images