CN115884032B - 一种后馈式耳机的智慧通话降噪方法及系统 - Google Patents

一种后馈式耳机的智慧通话降噪方法及系统 Download PDF

Info

Publication number
CN115884032B
CN115884032B CN202310138057.7A CN202310138057A CN115884032B CN 115884032 B CN115884032 B CN 115884032B CN 202310138057 A CN202310138057 A CN 202310138057A CN 115884032 B CN115884032 B CN 115884032B
Authority
CN
China
Prior art keywords
voice signal
voice
ear
signal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310138057.7A
Other languages
English (en)
Other versions
CN115884032A (zh
Inventor
孙宇峰
傅宗波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiuyin Technology Nanjing Co ltd
Original Assignee
Shenzhen Jiuyin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiuyin Technology Co ltd filed Critical Shenzhen Jiuyin Technology Co ltd
Priority to CN202310138057.7A priority Critical patent/CN115884032B/zh
Publication of CN115884032A publication Critical patent/CN115884032A/zh
Application granted granted Critical
Publication of CN115884032B publication Critical patent/CN115884032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种后馈式耳机的智慧通话降噪方法及系统,包括:通过后馈式耳机的耳内麦克风拾取人耳内部的语音信号,通过耳外麦克风拾取人语音信号,对耳内语音信号进行回声消除后形成第一语音信号;对耳外语音信号进行滤波去噪处理后,提取的声音形成第二语音信号,对第一语音信号和第二语音信号进行加权处理得到第三语音信号;对第三语音信号通过信号放大器进行放大和通过谐波对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送。本发明通过FB麦克风拾取人声,从物理上屏蔽了噪声干扰,再由DSP通过算法对麦克风信号进行处理,实现在特殊环境进行清晰通话的效果。

Description

一种后馈式耳机的智慧通话降噪方法及系统
技术领域
本发明涉及耳机降噪技术领域,更具体的,涉及一种后馈式耳机的智慧通话降噪方法及系统。
背景技术
随着社会的不断发展,城市内的噪音问题也越来越显著,因此,噪声控制技术随之得到快速发展,目前可穿戴蓝牙及相关音频产品的噪声控制技术可分为两种:被动噪声控制技术和主动噪声控制技术。最先出现的是被动降噪技术,其不仅设计成本低又原理简单,而且拥有较大的降噪空间,然而虽然被动降噪技术具有较好的控制效果,但其降噪频率只针对高频噪声,表现出的缺点是针对非高频噪声具有较差的降噪效果。由于被动降噪技术的局限性,主动降噪技术的研究和探索开始受到重视,主动降噪技术不仅可以克服被动降噪的降噪弊端,而且表现出了更好的降噪性能。
如今,可穿戴蓝牙及相关音频产品经过多年的发展已经日益成熟,但目前市面主流的产品在特殊环境下通话效果表现不佳。例如在室外强风环境下,目前市面上主流产品的抗风噪能力都较弱,通话不清晰甚至产生啸叫;例如在嘈杂环境下,类似菜市场、KTV等场所,周围人声或音乐的噪声非常大,目前的耳机降噪效果无法很好消除周围的噪声来实现清晰通话。
发明内容
为了解决上述至少一个技术问题,本发明提出了一种后馈式耳机的智慧通话降噪方法及系统。
本发明第一方面提供了一种后馈式耳机的智慧通话降噪方法,包括:
通过后馈式耳机的耳内麦克风拾取人耳内部的语音信号,通过耳外麦克风拾取人语音信号;
对耳内语音信号进行回声消除及语音增强后形成第一语音信号,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号;
通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号;
对第三语音信号通过信号放大器进行放大,并对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送。
本方案中,对耳内语音信号进行回声消除及语音增强后形成第一语音信号,具体为:
拾取人耳内部语音信号后,将耳内语音信号与时间戳进行匹配获取耳内语音信号时序序列,对耳内语音信号时序序列进行预处理,减少噪声及信道对时序序列的影响;
利用短时傅里叶方法对预处理后的耳内语音信号时序序列进行特征提取,获取耳内语音信号对应的幅度谱;
基于深度神经网模型构建耳内语音信号的语音增强模型框架,根据所述幅度谱作为语音增强模型的输入序列,将输入序列进行按照预设长度进行分割并通过一维卷积生成特征矩阵,进行归一化操作;
通过多头注意力对特征矩阵进行编码,基于自注意力机制获取各个分段序列的局部特征,将各个局部特征通过向量拼接实现特征拟合,同时为了保存输入序列的时序相关特性,在自注意力机制加入掩膜估计计算注意力权重;
将不同维度特征进行拼接后输入到深度神经网络进行解码,通过随机梯度下降算法进行训练,基于最小均方误差生成目标函数,以纯净语音特征为目标输出预测的时频掩蔽值;
将获取的时频掩蔽值与耳内语音信号进行结合,生成语音增强后的耳内语音信号。
本方案中,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号,具体为:
通过麦克风获取耳外语音信号,通过预设带通滤波模块根据预设频率阈值范围进行初步滤波去噪,得到初处理的耳外语音信号;
将初处理的耳外语音信号利用小波变换进行二次滤波去噪,通用大数据检索获取通话语音数据,对所述通话语音数据进行分析获取频率段分布,根据频率段分布利用遗传算法获取小波变化最优阈值;
初始化需要优化的变量信息,确定染色体初始种群及参数优化区间,根据信号包络熵计算获取目标函数,计算最小包络熵值确定最优参数组合,设置小波变换的阈值函数进行耳外语音信号的滤波,获取第二语音信号;
另外,在小波变换的过程中计算耳外语音信号小波熵,基于数据检索的通话语音数据确定小波熵阈值范围,根据耳外语音信号小波熵与所述小波熵阈值范围的对比结果筛选落在阈值范围外的异常语音数据进行剔除。
本方案中,通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号,具体为:
获取第一语音信号及第二语音信号,分别进行音频特征提取构建语音特征序列,将语音特征序列进行编码,通过GRU门控制循环单元进行非线性变换,在每个时间戳处生成维度相同的状态向量;
根据各个时间戳的状态向量生成第一语音信号及第二语音信号对应的状态向量集合,将第一语音信号及第二语音信号对应的状态向量集合中的状态向量进行注意力机制计算获取注意力权重,更新第一语音信号及第二语音信号的状态向量;
在解码输出后再次通过注意力机制使得第一语音信号及第二语音信号进行相互更新,将更新后第一语音信号与更新后第二语音信号进行向量拼接,实现语音融合生成第三语音信号。
本方案中,对第三语音信号通过信号放大器进行放大,并对音色进行补偿处理得到最终语音信号,具体为:
获取第三语音信号通过预设信号放大进行放大后获取第三语音信号的频响曲线;
通过相关数据检索获取不同年龄段用户的听力分辨范围,根据用户的反馈信息预设各频段的频响参考线,将第三语音信号的频响曲线与对应频段的频响参考线做对比获取音色补偿方向;
获取第三语音信号和频段的频响偏差,根据所述频响偏差对信号放大器的参数进行调整,对音色进行调整;
另外,根据用户的反馈及历史声音数据设置谐波信息,通过谐波信息对音色进行进一步补偿。
本方案中,还包括,通过分析用户声纹特征对通话进行补偿,具体为:
根据访问权限读取用户的声音数据,通过云平台利用所述声音数据获取声纹信息,为声音数据设置声纹信息标签,根据带标签的声音数据生成用户专属数据集;
拾取当前用户的语音信号上传至云平台,将所述语音信号通过深度学习进行声纹识别,并通过相似度判断声纹识别结果与声纹信息的匹配结果;
根据匹配结果读取用户专属数据集,通过用户专属数据集进行特征提取获取用户的口语习惯特征及声纹特征,基于所述口语习惯特征及声纹特征对用户语音信号进行语音增强补偿,同时利用用户专属数据集对频响参考线进行优化;
随着用户对应的带标签声音数据的更新对用户专属数据集进行更新,若云平台中的用户专属数据集的未调用时间超过预设时间阈值,则将所述用户专属数据集进行删除。
本发明第二方面还提供了一种后馈式耳机的智慧通话降噪系统,该系统包括:存储器、处理器,所述存储器中包括一种后馈式耳机的智慧通话降噪方法程序,所述一种后馈式耳机的智慧通话降噪方法程序被所述处理器执行时实现如下步骤:
通过后馈式耳机的耳内麦克风拾取人耳内部的语音信号,通过耳外麦克风拾取人语音信号;
对耳内语音信号进行回声消除及语音增强后形成第一语音信号,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号;
通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号;
对第三语音信号通过信号放大器进行放大,并对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送。
本发明公开了一种后馈式耳机的智慧通话降噪方法及系统,包括:通过后馈式耳机的耳内麦克风拾取人耳内部的语音信号,通过耳外麦克风拾取人语音信号,对耳内语音信号进行回声消除后形成第一语音信号;对耳外语音信号进行滤波去噪处理后,提取的声音形成第二语音信号,对第一语音信号和第二语音信号进行加权处理得到第三语音信号;对第三语音信号通过信号放大器进行放大和通过谐波对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送。本发明通过FB麦克风拾取人声,从物理上屏蔽了噪声干扰,再由DSP通过算法对麦克风信号进行处理,实现在特殊环境进行清晰通话的效果。
附图说明
图1示出了本发明一种后馈式耳机的智慧通话降噪方法的流程图;
图2示出了本发明将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号的方法流程图;
图3示出了本发明通过分析用户声纹特征对通话进行补偿的方法流程图;
图4示出了本发明一种后馈式耳机的智慧通话降噪系统的框图;
图5示出了本发明后馈式耳机的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种后馈式耳机的智慧通话降噪方法的流程图。
如图1所示,本发明第一方面提供了一种后馈式耳机的智慧通话降噪方法,包括:
S102,通过后馈式耳机的耳内麦克风拾取人耳内部的语音信号,通过耳外麦克风拾取人语音信号;
S104,对耳内语音信号进行回声消除及语音增强后形成第一语音信号,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号;
S106,通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号;
S108,对第三语音信号通过信号放大器进行放大,并对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送。
需要说明的是,人的七窍是相通的,说话时会有微弱声音传到耳道,定义为人声,后馈式耳机上设计有两个麦克风,一是主控盒内设计有一个数字麦克风DMIC,二是耳机内设计有一个FB模拟麦克风AMIC;在正常环境通话时,通过DMIC拾取人声,经数字信号处理器DSP进行算法处理后给到蓝牙芯片,再发射到手机端;在嘈杂环境通话时,耳机塞在耳朵里面,从物理上隔绝了外界的噪音,通过AMIC拾取耳道内微弱的人声,首先由数字信号处理器DSP进行放大处理,然后通过回采电路采集到的喇叭声音信号,数字信号处理器DSP会通过算法对此进行比对后进行回音消除处理,最后处理后给到蓝牙芯片发射到手机端。
需要说明的是,由于AMIC在耳机壳内,拾取到的用户的声音是通过口腔传到耳道内,声音也会比较小,同时下行喇叭的声音也会传入AMIC从而产生回音,针对上述弊端,首先由DSP对声音信号进行放大处理,同时DSP会将回采电路拾取的喇叭端的声音信号与AMIC拾取的信号进行比对,进行回音消除处理。
对耳内语音信号进行语音增强,拾取人耳内部语音信号后,将耳内语音信号与时间戳进行匹配获取耳内语音信号时序序列,对耳内语音信号时序序列进行预处理,减少噪声及信道对时序序列的影响;利用短时傅里叶方法对预处理后的耳内语音信号时序序列进行特征提取,获取耳内语音信号对应的幅度谱;基于深度神经网模型构建耳内语音信号的语音增强模型框架,根据所述幅度谱作为语音增强模型的输入序列,将输入序列进行按照预设长度进行分割并通过一维卷积生成特征矩阵,进行归一化操作;
通过多头注意力对特征矩阵进行编码,基于自注意力机制获取各个分段序列的局部特征,将各个局部特征通过向量拼接实现特征拟合,同时为了保存输入序列的时序相关特性,在自注意力机制加入掩膜估计计算注意力权重,加权后的注意力结果
Figure SMS_1
Figure SMS_2
,/>
Figure SMS_3
表示特征项数,/>
Figure SMS_4
表示矩阵大小,/>
Figure SMS_5
表示掩膜值;注意力机制可以描述为一个Q(查询)到K-V(键-值)对的映射,多头注意力机制中的每个自注意力机制均关注相同的Q、K、V,但只负责最终输出序列中的一个子空间,各输出序列互相独立,使得多头注意力模块能够共同注意来自不同位置的不同表征子空间的信息;
将不同维度特征进行拼接后输入到深度神经网络进行解码,所述深度神经网络输入为带噪语音特征,参考目标为纯净语音信号的特征,输出为预测的时频掩蔽值,将输出的掩蔽值与带噪语音信号的特征相乘,得到估计的干净语音,通过随机梯度下降算法进行训练,基于最小均方误差生成目标函数,以纯净语音特征为目标输出预测的时频掩蔽值;将获取的时频掩蔽值与耳内语音信号进行结合,生成语音增强后的耳内语音信号,所述目标函数
Figure SMS_6
为:
Figure SMS_7
其中,
Figure SMS_9
表示纯净语音信号,/>
Figure SMS_11
表示在时频点/>
Figure SMS_13
的幅度谱,/>
Figure SMS_10
表示权重矩阵及偏置,/>
Figure SMS_12
表示样本数量,/>
Figure SMS_14
表示特征维数,/>
Figure SMS_15
表示在时频点/>
Figure SMS_8
预测的时频掩蔽值。
需要说明的是,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号,通过麦克风获取耳外语音信号,通过预设带通滤波模块根据预设频率阈值范围进行初步滤波去噪,得到初处理的耳外语音信号;将初处理的耳外语音信号利用小波变换进行二次滤波去噪,通用大数据检索获取通话语音数据,对所述通话语音数据进行分析获取频率段分布,根据频率段分布利用遗传算法获取小波变化最优阈值;初始化需要优化的变量信息,即平移量及尺度变量,确定染色体初始种群及参数优化区间,根据信号包络熵计算获取目标函数,所述包络熵的计算公式为
Figure SMS_16
,其中,/>
Figure SMS_17
表示不同参数组合的信号包络熵,/>
Figure SMS_18
为原始信号希尔伯特变换后做归一化处理,/>
Figure SMS_19
表示采样点个数;计算最小包络熵值确定最优参数组合,设置小波变换的阈值函数进行耳外语音信号的滤波,获取第二语音信号;另外,在小波变换的过程中计算耳外语音信号小波熵,基于数据检索的通话语音数据确定小波熵阈值范围,根据耳外语音信号小波熵与所述小波熵阈值范围的对比结果筛选落在阈值范围外的异常语音数据进行剔除。
图2示出了本发明将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号的方法流程图。
根据本申请实施例,通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号,具体为:
S202,获取第一语音信号及第二语音信号,分别进行音频特征提取构建语音特征序列,将语音特征序列进行编码,通过GRU门控制循环单元进行非线性变换,在每个时间戳处生成维度相同的状态向量;
S204,根据各个时间戳的状态向量生成第一语音信号及第二语音信号对应的状态向量集合,将第一语音信号及第二语音信号对应的状态向量集合中的状态向量进行注意力机制计算获取注意力权重,更新第一语音信号及第二语音信号的状态向量;
S206,在解码输出后再次通过注意力机制使得第一语音信号及第二语音信号进行相互更新,将更新后第一语音信号与更新后第二语音信号进行向量拼接,实现语音融合生成第三语音信号。
需要说明的是,引入GRU获取第一语音信号及第二语音信号的特征向量,得到二者的每个时间戳的状态向量集合后,先对第一语音向量的状态向量及第二语音向量的状态向量进行注意力计算更新第二语音向量,其中注意力权重的计算公式为:
Figure SMS_20
,其中,/>
Figure SMS_21
表示第一语音信号中i时刻的状态向量,/>
Figure SMS_22
表示第二语音信号j时刻的状态向量,/>
Figure SMS_23
表示归一化参数,通过注意力权重实现第一语音信号及第二语音信号的特征第一次融合,通过GRU进行特征解码后获取每一时间戳的解码状态向量,通过注意力机制根据解码状态向量分别对第一语音信号及第二语音信号进行独立的注意力计算,对第一语音信号及第二语音信号进行再次更新,进行信号的拼接融合。
需要说明的是,获取第三语音信号通过预设信号放大进行放大后获取第三语音信号的频响曲线;通过相关数据检索获取不同年龄段用户的听力分辨范围,根据用户的反馈信息预设各频段的频响参考线,将第三语音信号的频响曲线与对应频段的频响参考线做对比获取音色补偿方向;获取第三语音信号和频段的频响偏差,根据所述频响偏差对信号放大器的参数进行调整,对音色进行调整;另外,根据用户的反馈及历史声音数据设置谐波信息,通过谐波信息对音色进行进一步补偿。
图3示出了本发明通过分析用户声纹特征对通话进行补偿的方法流程图。
根据本发明实施例,通过分析用户声纹特征对通话进行补偿,具体为:
S302,根据访问权限读取用户的声音数据,通过云平台利用所述声音数据获取声纹信息,为声音数据设置声纹信息标签,根据带标签的声音数据生成用户专属数据集;
S304,拾取当前用户的语音信号上传至云平台,将所述语音信号通过深度学习进行声纹识别,并通过相似度判断声纹识别结果与声纹信息的匹配结果;
S306,根据匹配结果读取用户专属数据集,通过用户专属数据集进行特征提取获取用户的口语习惯特征及声纹特征,基于所述口语习惯特征及声纹特征对用户语音信号进行语音增强补偿,同时利用用户专属数据集对频响参考线进行优化;
S308,随着用户对应的带标签声音数据的更新对用户专属数据集进行更新,若云平台中的用户专属数据集的未调用时间超过预设时间阈值,则将所述用户专属数据集进行删除。
根据本发明实施例,通过云平台分析噪声类型,对噪声环境进行识别,进行针对性降噪,具体为:
基于数据检索获取各复杂环境下的噪声数据,根据各复杂环境下的噪声数据进行特征提取及特征分析,将噪声数据构建环境标签,并将带标签的噪声数据进行数据增强生成噪声数据集;
根据耳外语音信号将用户的人声信号进行分离获取噪声信号,根据云平台的噪声数据构建复杂环境分析识别模型,将噪声信号作为模型输入进行特征提取,基于提取的特征通过多分类SVM模块进行当前用户所处环境;
通过云平台获取用户对历史降噪效果的反馈数据,根据所述反馈数据对不同环境下的降噪及音色补偿数据进行评价,筛选保留评价值符合预设标准的降噪及音色补偿数据,与环境标签一一对应;
根据当前用户所处环境获取云平台中对应的环境噪声数据集,计算据耳外语音信号分离出的噪声信号与噪声数据集中数据的相似度,当所述相似度大于预设相似度阈值时将数据进行标记,获取噪声数据集中相似度最大的数据;
提取相似度最大数据对应的降噪及音色补偿数据进行预设置,进行复杂环境的针对性降噪。
图4示出了本发明一种后馈式耳机的智慧通话降噪系统的框图。
本发明第二方面还提供了一种后馈式耳机的智慧通话降噪系统4,该系统包括:存储器41、处理器42,所述存储器中包括一种后馈式耳机的智慧通话降噪方法程序,所述一种后馈式耳机的智慧通话降噪方法程序被所述处理器执行时实现如下步骤:
通过后馈式耳机的耳内麦克风拾取人耳内部的语音信号,通过耳外麦克风拾取人语音信号;
对耳内语音信号进行回声消除及语音增强后形成第一语音信号,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号;
通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号;
对第三语音信号通过信号放大器进行放大,并对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送。
需要说明的是,人的七窍是相通的,说话时会有微弱声音传到耳道,定义为人声,后馈式耳机上设计有两个麦克风,一是主控盒内设计有一个数字麦克风DMIC,二是耳机内设计有一个FB模拟麦克风AMIC;在正常环境通话时,通过DMIC拾取人声,经数字信号处理器DSP进行算法处理后给到蓝牙芯片,再发射到手机端;在嘈杂环境通话时,耳机塞在耳朵里面,从物理上隔绝了外界的噪音,通过AMIC拾取耳道内微弱的人声,首先由数字信号处理器DSP进行放大处理,然后通过回采电路采集到的喇叭声音信号,数字信号处理器DSP会通过算法对此进行比对后进行回音消除处理,最后处理后给到蓝牙芯片发射到手机端。
需要说明的是,由于AMIC在耳机壳内,拾取到的用户的声音是通过口腔传到耳道内,声音也会比较小,同时下行喇叭的声音也会传入AMIC从而产生回音,针对上述弊端,首先由DSP对声音信号进行放大处理,同时DSP会将回采电路拾取的喇叭端的声音信号与AMIC拾取的信号进行比对,进行回音消除处理。
对耳内语音信号进行语音增强,拾取人耳内部语音信号后,将耳内语音信号与时间戳进行匹配获取耳内语音信号时序序列,对耳内语音信号时序序列进行预处理,减少噪声及信道对时序序列的影响;利用短时傅里叶方法对预处理后的耳内语音信号时序序列进行特征提取,获取耳内语音信号对应的幅度谱;基于深度神经网模型构建耳内语音信号的语音增强模型框架,根据所述幅度谱作为语音增强模型的输入序列,将输入序列进行按照预设长度进行分割并通过一维卷积生成特征矩阵,进行归一化操作;
通过多头注意力对特征矩阵进行编码,基于自注意力机制获取各个分段序列的局部特征,将各个局部特征通过向量拼接实现特征拟合,同时为了保存输入序列的时序相关特性,在自注意力机制加入掩膜估计计算注意力权重,加权后的注意力结果
Figure SMS_24
Figure SMS_25
,/>
Figure SMS_26
表示特征项数,/>
Figure SMS_27
表示矩阵大小,/>
Figure SMS_28
表示掩膜值;注意力机制可以描述为一个Q(查询)到K-V(键-值)对的映射,多头注意力机制中的每个自注意力机制均关注相同的Q、K、V,但只负责最终输出序列中的一个子空间,各输出序列互相独立,使得多头注意力模块能够共同注意来自不同位置的不同表征子空间的信息;
将不同维度特征进行拼接后输入到深度神经网络进行解码,所述深度神经网络输入为带噪语音特征,参考目标为纯净语音信号的特征,输出为预测的时频掩蔽值,将输出的掩蔽值与带噪语音信号的特征相乘,得到估计的干净语音,通过随机梯度下降算法进行训练,基于最小均方误差生成目标函数,以纯净语音特征为目标输出预测的时频掩蔽值;将获取的时频掩蔽值与耳内语音信号进行结合,生成语音增强后的耳内语音信号,所述目标函数
Figure SMS_29
为:
Figure SMS_30
其中,
Figure SMS_32
表示纯净语音信号,/>
Figure SMS_34
表示在时频点/>
Figure SMS_36
的幅度谱,/>
Figure SMS_33
表示权重矩阵及偏置,/>
Figure SMS_35
表示样本数量,/>
Figure SMS_37
表示特征维数,/>
Figure SMS_38
表示在时频点/>
Figure SMS_31
预测的时频掩蔽值。
需要说明的是,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号,通过麦克风获取耳外语音信号,通过预设带通滤波模块根据预设频率阈值范围进行初步滤波去噪,得到初处理的耳外语音信号;将初处理的耳外语音信号利用小波变换进行二次滤波去噪,通用大数据检索获取通话语音数据,对所述通话语音数据进行分析获取频率段分布,根据频率段分布利用遗传算法获取小波变化最优阈值;初始化需要优化的变量信息,即平移量及尺度变量,确定染色体初始种群及参数优化区间,根据信号包络熵计算获取目标函数,所述包络熵的计算公式为
Figure SMS_39
,其中,/>
Figure SMS_40
表示不同参数组合的信号包络熵,/>
Figure SMS_41
为原始信号希尔伯特变换后做归一化处理,/>
Figure SMS_42
表示采样点个数;计算最小包络熵值确定最优参数组合,设置小波变换的阈值函数进行耳外语音信号的滤波,获取第二语音信号;另外,在小波变换的过程中计算耳外语音信号小波熵,基于数据检索的通话语音数据确定小波熵阈值范围,根据耳外语音信号小波熵与所述小波熵阈值范围的对比结果筛选落在阈值范围外的异常语音数据进行剔除。
根据本申请实施例,通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号,具体为:
获取第一语音信号及第二语音信号,分别进行音频特征提取构建语音特征序列,将语音特征序列进行编码,通过GRU门控制循环单元进行非线性变换,在每个时间戳处生成维度相同的状态向量;
根据各个时间戳的状态向量生成第一语音信号及第二语音信号对应的状态向量集合,将第一语音信号及第二语音信号对应的状态向量集合中的状态向量进行注意力机制计算获取注意力权重,更新第一语音信号及第二语音信号的状态向量;
在解码输出后再次通过注意力机制使得第一语音信号及第二语音信号进行相互更新,将更新后第一语音信号与更新后第二语音信号进行向量拼接,实现语音融合生成第三语音信号。
需要说明的是,引入GRU获取第一语音信号及第二语音信号的特征向量,得到二者的每个时间戳的状态向量集合后,先对第一语音向量的状态向量及第二语音向量的状态向量进行注意力计算更新第二语音向量,其中注意力权重的计算公式为:
Figure SMS_43
,其中,
Figure SMS_44
表示第一语音信号中i时刻的状态向量,/>
Figure SMS_45
表示第二语音信号j时刻的状态向量,/>
Figure SMS_46
表示归一化参数,通过注意力权重实现第一语音信号及第二语音信号的特征第一次融合,通过GRU进行特征解码后获取每一时间戳的解码状态向量,通过注意力机制根据解码状态向量分别对第一语音信号及第二语音信号进行独立的注意力计算,对第一语音信号及第二语音信号进行再次更新,进行信号的拼接融合。
需要说明的是,获取第三语音信号通过预设信号放大进行放大后获取第三语音信号的频响曲线;通过相关数据检索获取不同年龄段用户的听力分辨范围,根据用户的反馈信息预设各频段的频响参考线,将第三语音信号的频响曲线与对应频段的频响参考线做对比获取音色补偿方向;获取第三语音信号和频段的频响偏差,根据所述频响偏差对信号放大器的参数进行调整,对音色进行调整;另外,根据用户的反馈及历史声音数据设置谐波信息,通过谐波信息对音色进行进一步补偿。
根据本发明实施例,通过分析用户声纹特征对通话进行补偿,具体为:
根据访问权限读取用户的声音数据,通过云平台利用所述声音数据获取声纹信息,为声音数据设置声纹信息标签,根据带标签的声音数据生成用户专属数据集;
拾取当前用户的语音信号上传至云平台,将所述语音信号通过深度学习进行声纹识别,并通过相似度判断声纹识别结果与声纹信息的匹配结果;
根据匹配结果读取用户专属数据集,通过用户专属数据集进行特征提取获取用户的口语习惯特征及声纹特征,基于所述口语习惯特征及声纹特征对用户语音信号进行语音增强补偿,同时利用用户专属数据集对频响参考线进行优化;
随着用户对应的带标签声音数据的更新对用户专属数据集进行更新,若云平台中的用户专属数据集的未调用时间超过预设时间阈值,则将所述用户专属数据集进行删除。
本发明第三方面还提供一种计算机可读存储介质,所述计算机可读存储介质中包括一种后馈式耳机的智慧通话降噪方法程序,所述一种后馈式耳机的智慧通话降噪方法程序被处理器执行时,实现如上述任一项所述的一种后馈式耳机的智慧通话降噪方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种后馈式耳机的智慧通话降噪方法,其特征在于,包括以下步骤:
通过后馈式耳机的耳内麦克风拾取用户的耳内语音信号,通过耳外麦克风拾取用户语音信号作为耳外语音信号;
对耳内语音信号进行回声消除及语音增强后形成第一语音信号,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号;
通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号;
通过信号放大器将第三语音信号进行放大,并对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送;
对耳内语音信号进行回声消除及语音增强后形成第一语音信号,具体为:
拾取用户的耳内语音信号后,将耳内语音信号与时间戳进行匹配获取耳内语音信号时序序列,对耳内语音信号时序序列进行预处理,减少噪声及信道对耳内语音信号时序序列的影响;
利用短时傅里叶方法对预处理后的耳内语音信号时序序列进行特征提取,获取耳内语音信号对应的幅度谱;
基于深度神经网模型构建耳内语音信号的语音增强模型框架,将所述幅度谱作为语音增强模型的输入序列,将输入序列按照预设长度进行分割并通过一维卷积生成特征矩阵,进行归一化操作;
通过多头注意力机制对特征矩阵进行编码,基于自注意力机制获取各个分段序列的局部特征,将各个局部特征通过向量拼接实现特征拟合,同时为了保存输入序列的时序相关特性,在自注意力机制中加入掩膜估计计算注意力权重;
将不同维度特征进行拼接后输入到深度神经网络进行解码,通过随机梯度下降算法进行训练,基于最小均方误差生成目标函数,以纯净语音特征为目标输出预测的时频掩蔽值;
将获取的时频掩蔽值与耳内语音信号进行结合,生成语音增强后的耳内语音信号;
对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号,具体为:
通过耳外麦克风获取耳外语音信号,通过预设带通滤波模块根据预设频率阈值范围进行初步滤波去噪,得到初处理的耳外语音信号;
将初处理的耳外语音信号利用小波变换进行二次滤波去噪,通过数据检索获取通话语音数据,对所述通话语音数据进行分析获取频率段分布,根据频率段分布利用遗传算法获取小波变换最优阈值;
初始化需要优化的变量信息,确定染色体初始种群及参数优化区间,根据信号包络熵计算获取目标函数,计算最小包络熵值确定最优参数组合,设置小波变换的阈值函数进行耳外语音信号的滤波,获取第二语音信号;
另外,在小波变换的过程中计算耳外语音信号小波熵,基于数据检索的通话语音数据确定小波熵阈值范围,根据耳外语音信号小波熵与所述小波熵阈值范围的对比结果筛选落在小波熵阈值范围外的异常语音数据进行剔除。
2.根据权利要求1所述的一种后馈式耳机的智慧通话降噪方法,其特征在于,通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号,具体为:
获取第一语音信号及第二语音信号,分别进行音频特征提取构建语音特征序列,将语音特征序列进行编码,通过GRU门控制循环单元进行非线性变换,在每个时间戳处生成维度相同的状态向量;
根据各个时间戳的状态向量生成第一语音信号及第二语音信号对应的状态向量集合,将第一语音信号及第二语音信号对应的状态向量集合中的状态向量进行注意力机制计算获取注意力权重,更新第一语音信号及第二语音信号的状态向量;
在解码输出后再次通过注意力机制使得第一语音信号及第二语音信号进行相互更新,将更新后第一语音信号与更新后第二语音信号进行向量拼接,实现语音融合生成第三语音信号。
3.根据权利要求1所述的一种后馈式耳机的智慧通话降噪方法,其特征在于,通过信号放大器将第三语音信号进行放大,并对音色进行补偿处理得到最终语音信号,具体为:
获取第三语音信号通过预设信号放大器进行放大后获取第三语音信号的频响曲线;
通过相关数据检索获取不同年龄段用户的听力分辨范围,根据用户的反馈信息预设各频段的频响参考线,将第三语音信号的频响曲线与对应频段的频响参考线做对比获取音色补偿方向;
获取第三语音信号和频段的频响偏差,根据所述频响偏差对信号放大器的参数进行调整,对音色进行调整;
另外,根据用户的反馈信息及历史声音数据设置谐波信息,通过谐波信息对音色进行进一步补偿。
4.根据权利要求3所述的一种后馈式耳机的智慧通话降噪方法,其特征在于,还包括,通过分析用户声纹特征对通话进行补偿,具体为:
根据访问权限读取用户的声音数据,通过云平台利用所述声音数据获取声纹信息,为声音数据设置声纹信息标签,根据带声纹信息标签的声音数据生成用户专属数据集;
拾取当前用户语音信号上传至云平台,将所述用户语音信号通过深度学习进行声纹识别,并通过相似度判断声纹识别结果与声纹信息的匹配结果;
根据匹配结果读取用户专属数据集,通过用户专属数据集进行特征提取获取用户的口语习惯特征及声纹特征,基于所述口语习惯特征及声纹特征对用户语音信号进行语音增强补偿,同时利用用户专属数据集对频响参考线进行优化;
随着用户对应的带声纹信息标签的声音数据的更新对用户专属数据集进行更新,若云平台中的用户专属数据集的未调用时间超过预设时间阈值,则将所述用户专属数据集进行删除。
5.一种后馈式耳机的智慧通话降噪系统,其特征在于,该系统包括:存储器、处理器,所述存储器中包括程序,程序被所述处理器执行时实现后馈式耳机的智慧通话降噪方法的如下步骤:
通过后馈式耳机的耳内麦克风拾取用户的耳内语音信号,通过耳外麦克风拾取用户语音信号作为耳外语音信号;
对耳内语音信号进行回声消除及语音增强后形成第一语音信号,对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号;
通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号;
通过信号放大器将第三语音信号进行放大,并对音色进行补偿处理得到最终语音信号,将最终语音信号经过数字模拟转换器进行传送;
对耳内语音信号进行回声消除及语音增强后形成第一语音信号,具体为:
拾取用户的耳内语音信号后,将耳内语音信号与时间戳进行匹配获取耳内语音信号时序序列,对耳内语音信号时序序列进行预处理,减少噪声及信道对耳内语音信号时序序列的影响;
利用短时傅里叶方法对预处理后的耳内语音信号时序序列进行特征提取,获取耳内语音信号对应的幅度谱;
基于深度神经网模型构建耳内语音信号的语音增强模型框架,将所述幅度谱作为语音增强模型的输入序列,将输入序列按照预设长度进行分割并通过一维卷积生成特征矩阵,进行归一化操作;
通过多头注意力机制对特征矩阵进行编码,基于自注意力机制获取各个分段序列的局部特征,将各个局部特征通过向量拼接实现特征拟合,同时为了保存输入序列的时序相关特性,在自注意力机制中加入掩膜估计计算注意力权重;
将不同维度特征进行拼接后输入到深度神经网络进行解码,通过随机梯度下降算法进行训练,基于最小均方误差生成目标函数,以纯净语音特征为目标输出预测的时频掩蔽值;
将获取的时频掩蔽值与耳内语音信号进行结合,生成语音增强后的耳内语音信号;
对耳外语音信号进行滤波去噪处理去除多余噪声形成第二语音信号,具体为:
通过耳外麦克风获取耳外语音信号,通过预设带通滤波模块根据预设频率阈值范围进行初步滤波去噪,得到初处理的耳外语音信号;
将初处理的耳外语音信号利用小波变换进行二次滤波去噪,通过数据检索获取通话语音数据,对所述通话语音数据进行分析获取频率段分布,根据频率段分布利用遗传算法获取小波变换最优阈值;
初始化需要优化的变量信息,确定染色体初始种群及参数优化区间,根据信号包络熵计算获取目标函数,计算最小包络熵值确定最优参数组合,设置小波变换的阈值函数进行耳外语音信号的滤波,获取第二语音信号;
另外,在小波变换的过程中计算耳外语音信号小波熵,基于数据检索的通话语音数据确定小波熵阈值范围,根据耳外语音信号小波熵与所述小波熵阈值范围的对比结果筛选落在小波熵阈值范围外的异常语音数据进行剔除。
6.根据权利要求5所述的一种后馈式耳机的智慧通话降噪系统,其特征在于,通过注意力机制将所述第一语音信号和第二语音信号进行加权融合处理得到第三语音信号,具体为:
获取第一语音信号及第二语音信号,分别进行音频特征提取构建语音特征序列,将语音特征序列进行编码,通过GRU门控制循环单元进行非线性变换,在每个时间戳处生成维度相同的状态向量;
根据各个时间戳的状态向量生成第一语音信号及第二语音信号对应的状态向量集合,将第一语音信号及第二语音信号对应的状态向量集合中的状态向量进行注意力机制计算获取注意力权重,更新第一语音信号及第二语音信号的状态向量;
在解码输出后再次通过注意力机制使得第一语音信号及第二语音信号进行相互更新,将更新后第一语音信号与更新后第二语音信号进行向量拼接,实现语音融合生成第三语音信号。
CN202310138057.7A 2023-02-20 2023-02-20 一种后馈式耳机的智慧通话降噪方法及系统 Active CN115884032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310138057.7A CN115884032B (zh) 2023-02-20 2023-02-20 一种后馈式耳机的智慧通话降噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310138057.7A CN115884032B (zh) 2023-02-20 2023-02-20 一种后馈式耳机的智慧通话降噪方法及系统

Publications (2)

Publication Number Publication Date
CN115884032A CN115884032A (zh) 2023-03-31
CN115884032B true CN115884032B (zh) 2023-07-04

Family

ID=85761335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310138057.7A Active CN115884032B (zh) 2023-02-20 2023-02-20 一种后馈式耳机的智慧通话降噪方法及系统

Country Status (1)

Country Link
CN (1) CN115884032B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405823B (zh) * 2023-06-01 2023-08-29 深圳市匠心原创科技有限公司 一种骨传导耳机音频智能去噪增强方法
CN117251095B (zh) * 2023-09-12 2024-05-17 深圳市驿格科技有限公司 用于pda的数据输入方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068217A (zh) * 2018-08-17 2018-12-21 歌尔科技有限公司 一种入耳式耳机的侧音增强方法、装置及入耳式耳机
CN111833896A (zh) * 2020-07-24 2020-10-27 北京声加科技有限公司 融合反馈信号的语音增强方法、系统、装置和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131947B (zh) * 2019-12-05 2022-08-09 小鸟创新(北京)科技有限公司 耳机信号处理方法、系统和耳机
CN112055278B (zh) * 2020-08-17 2022-03-08 大象声科(深圳)科技有限公司 融合入耳麦克风和耳外麦克风的深度学习降噪设备
CN112116918B (zh) * 2020-09-27 2023-09-22 北京声加科技有限公司 语音信号增强处理方法和耳机
CN113163286A (zh) * 2021-03-22 2021-07-23 九音(南京)集成电路技术有限公司 一种通话降噪方法、耳机和计算机存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068217A (zh) * 2018-08-17 2018-12-21 歌尔科技有限公司 一种入耳式耳机的侧音增强方法、装置及入耳式耳机
CN111833896A (zh) * 2020-07-24 2020-10-27 北京声加科技有限公司 融合反馈信号的语音增强方法、系统、装置和存储介质

Also Published As

Publication number Publication date
CN115884032A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN115884032B (zh) 一种后馈式耳机的智慧通话降噪方法及系统
EP4033784A1 (en) A hearing device comprising a recurrent neural network and a method of processing an audio signal
CN109326299B (zh) 基于全卷积神经网络的语音增强方法、装置及存储介质
US11696079B2 (en) Hearing device comprising a recurrent neural network and a method of processing an audio signal
KR20050115857A (ko) 안정성 강제하에서 독립 성분 분석을 사용하여 음향을처리하는 시스템 및 방법
JP7486266B2 (ja) 深層フィルタを決定するための方法および装置
CN112562648A (zh) 基于元学习的自适应语音识别方法、装置、设备及介质
CN110992967A (zh) 一种语音信号处理方法、装置、助听器及存储介质
CN105679321B (zh) 语音识别方法、装置及终端
CN112565981A (zh) 啸叫抑制方法、装置、助听器及存储介质
CN114338623A (zh) 音频的处理方法、装置、设备、介质及计算机程序产品
CN116132875B (zh) 一种辅听耳机的多模式智能控制方法、系统及存储介质
CN112802490B (zh) 一种基于传声器阵列的波束形成方法和装置
CN113823301A (zh) 语音增强模型的训练方法和装置及语音增强方法和装置
CN113782044A (zh) 一种语音增强方法及装置
CN116612778A (zh) 回声及噪声抑制方法、相关装置和介质
CN111028852A (zh) 一种基于cnn的智能呼叫系统中的噪声去除方法
CN113763978B (zh) 语音信号处理方法、装置、电子设备以及存储介质
CN115359804A (zh) 一种基于麦克风阵列的定向音频拾取方法和系统
CN115314823A (zh) 一种基于数字发声芯片的助听方法、系统及设备
TW202244898A (zh) 用於音訊信號產生的系統和方法
CN115376501B (zh) 语音增强方法及装置、存储介质、电子设备
CN113808604B (zh) 基于伽马通频谱分离的声场景分类方法
Srinivasarao An efficient recurrent Rats function network (Rrfn) based speech enhancement through noise reduction
KR102239676B1 (ko) 인공지능 기반 능동형 스마트 보청기 피드백 제거 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 801, Building B, Tengfei Building, No. 88 Jiangmiao Road, Nanjing Area, China (Jiangsu) Pilot Free Trade Zone, Nanjing City, Jiangsu Province, 210000

Patentee after: Jiuyin Technology (Nanjing) Co.,Ltd.

Address before: 518000 Room 402, Building 6, Zhongkegu Industrial Park, Zhonghuan Avenue, Shanxia Community, Pinghu Street, Longgang District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN JIUYIN TECHNOLOGY CO.,LTD.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Smart Call Noise Reduction Method and System for Feedback Headphones

Granted publication date: 20230704

Pledgee: Bank of China Limited Nanjing Jiangbei New Area Branch

Pledgor: Jiuyin Technology (Nanjing) Co.,Ltd.

Registration number: Y2024980013107