CN110942781A - 声音处理方法及声音处理设备 - Google Patents

声音处理方法及声音处理设备 Download PDF

Info

Publication number
CN110942781A
CN110942781A CN201911128752.5A CN201911128752A CN110942781A CN 110942781 A CN110942781 A CN 110942781A CN 201911128752 A CN201911128752 A CN 201911128752A CN 110942781 A CN110942781 A CN 110942781A
Authority
CN
China
Prior art keywords
sound
frequency
hearing
user
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911128752.5A
Other languages
English (en)
Other versions
CN110942781B (zh
Inventor
陈健
周有喜
乔国坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Computing Integrated Shenzhen Technology Co ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN201911128752.5A priority Critical patent/CN110942781B/zh
Publication of CN110942781A publication Critical patent/CN110942781A/zh
Application granted granted Critical
Publication of CN110942781B publication Critical patent/CN110942781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开一种声音处理方法及声音处理设备。该声音处理方法包括:模拟不同频率的声音并通过扬声器传递给用户,获取用户所能听到的不同声音的频段并生成听力数据图;将听力数据图与标准听力曲线图进行对比,判断听力数据图中的听力数据是否存在异常频段;若是,则计算出异常频段的补偿增益并将根据补偿增益补偿后的声音通过扬声器传递给用户。本发明能够进行声音的补偿,使有听力缺陷的人能够听到正常的声音。

Description

声音处理方法及声音处理设备
技术领域
本发明涉及音频技术领域,尤其涉及一种声音处理方法及声音处理设备。
背景技术
声音是由物体振动产生的声波,是通过介质(空气、固体或液体)传播并能被人或动物听觉器官所感知的波动现象。声音以波的形式振动传播,声音是声波通过任何物质传播形成的运动。
物体在一秒钟之内振动的次数叫做频率,单位是赫兹(Hz)。声音作为一种波,频率在20Hz~20kHz之间的声音是可以被人耳识别的。人们以分贝为单位来表示声音的强弱,即响度,符号为dB。0分贝刚刚引起听觉。人们把超过听力的声音叫做超声波,把低于听力的声音叫做次声波。
在能被人类听到的声音的频率范围内,人类耳朵对不同频率的声音的接受存在不同的增益,有的声音能敏感的捕捉到,有的声音却听不清。人们一般只关注耳聋方面的听力缺陷,而对正常频率范围内的某些频段的声音听不清的这种听力缺陷关注比较少,导致人们对某一频段的声音不敏感自己却不了解,比如对于一些专业从事音乐行业的人士,他们需要对某些频段的声音敏感,而自己可能正好存在这些方面的缺陷,从而导致他不能从事这方面的工作。
发明内容
本发明提供的一种声音处理方法及声音处理设备,以解决人们对正常频率的声音范围内有听力缺陷却不能察觉并解决的问题。
为达成上述目的,本发明提供一种声音处理方法,所述方法包括:
模拟不同频率的声音并通过扬声器传递给用户,获取所述用户所能听到的不同声音的频段并生成听力数据图;
将所述听力数据图与标准听力曲线图进行对比,判断所述听力数据图中的听力数据是否存在异常频段;
若是,则计算出所述异常频段的补偿增益并将根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户。
可选地,所述计算出异常频段的补偿增益的步骤包括:
计算各频率的声音的增益因子;
把每一所述增益因子映射到等响度曲线上,得到各频率的增益权重;
获取声音的各频率值与所述增益权重的乘积,并将所述乘积作为补偿后的声音频率。
可选地,所述计算各频率的声音的增益因子的步骤包括:
由带噪声音的频域与其对应的共轭式相乘计算得到带噪声音的频率谱,其中所述带噪声音包括纯净声音和加性噪声,当纯净声音与加性噪声不相关时,两者乘积的交叉项为0;
由所述带噪声音的频率谱计算得到纯净声音的值;
将所述纯净声音的值代入滤波建模计算公式中,并开根号后可得到所述增益因子。
可选地,所述判断所述听力数据图中的听力数据是否存在异常频段的步骤,包括:
根据图像识别算法提取所述听力数据图中的听力数据曲线;
将所述听力数据曲线与所述标准听力曲线图中的标准曲线进行对比,确定出所述听力数据曲线中有别于所述标准听力曲线图的异常频段。
可选地,所述判断所述听力数据图中的听力数据是否存在异常频段的步骤之后,所述方法还包括:
判断所述异常频段是否达到需补偿的阈值;
若是,则计算出达到阈值的异常频段的补偿增益将根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户。
可选地,所述判断所述异常频段是否达到需补偿的阈值的步骤包括:
根据图像识别算法提取所述听力数据图中的听力数据曲线;
判断所述异常频段的所在的曲线是否位于所述标准听力曲线图的预设波动范围内;
若否,则所述异常频段达到需补偿的阈值。
可选地,所述模拟不同频率的语音并通过扬声器传递给用户,获取所述用户所能听到的不同频段的语音并生成听力数据图,包括:
模拟声音的频率从低频向高频变化,且每一频率的声音的响度从低至高变化,并使不同频率的声音停留于不同的预设时间段内;
记录用户的反馈频段并将所述用户所能听到的不同声音的频段生成所述听力数据图。
可选地,所述将所述听力数据图与标准听力曲线图进行对比的步骤之前,所述方法包括:
将纯净声音的频率从低频向高频变化,且每一频率的响度从低至高变化,并使不同频率的纯净声音停留于不同的预设时间段内并通过扬声器传递给多个听力正常的用户样本;
获取所述用户样本的反馈频段数据并生成所述标准听力曲线图。
可选地,所述计算出所述异常频段的补偿增益并根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户的步骤之前,所述方法还包括:
设置所述扬声器中对应不同异常频段的增益因子,以补偿不同频段声音的增益。
为达成上述目的,本发明另外提供一种语音处理设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述所述的方法的步骤。
上述声音处理方法及声音处理设备,通过模拟不同的声音以得到用户的听力数据图,将得到的听力数据图与标准听力曲线图进行对比,当用户的听力数据存在异常时,即可对异常频段进行补偿增益,从而最终将根据补偿增益补偿后的声音通过扬声器传递给所述用户,以使用户听到正常的声音,能够解决人们的听力缺陷,避免了声音缺陷对人们造成的困扰,同时有助于对从事声音方面的专业人士,如音乐家的听力的提升,使其能够正常从事相关方面的工作。
附图说明
图1为本发明的声音处理方法的第一实施例的流程示意图;
图2为图1中的计算异常频段的补偿增益的流程示意图;
图3为图2中的计算各频率的声音的增益因子的流程示意图;
图4为本发明的听力数据与标准听力曲线的对比图;
图5为本发明的声音处理方法的第二实施例的流程示意图;
图6为图5中的判断异常频段是否达到需补偿的阈值的流程示意图;
图7为本发明的声音处理设备的一实施例的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。在不冲突的情况下,下述各个实施例及其技术特征可以相互组合。
以下各实施例的说明是参考附加的图示,用以例示本发明可用以实施的特定实施例。本发明所提到的方向用语,例如[上]、[下]、[前]、[后]、[左]、[右]、[内]、[外]、[侧面]等,仅是参考附加图式的方向。因此,使用的方向用语是用以说明及理解本发明,而非用以限制本发明。在图中,结构相似的单元是用以相同标号表示。
人类所能听到的声音的频率位于20Hz~20kHz之间,低于20Hz的声音为次声波,高于20kHz的声音为超声波。在正常的可听声音的频率范围内,人类耳朵对不同频率的声音的接受存在不同的增益,有的声音能敏感的捕捉到,有的声音却听不清。人们一般只关注耳聋方面的听力缺陷,但却对某些频段内的声音听不清的听力缺陷关注比较少,导致人们对某一频段的声音不敏感自己却不了解。
因此有必要提供一种能够检测出该种听力缺陷的方法,并通过声音处理后,将正常的声音传递给人们,以使人们能够恢复正常的听力,有助于对于一些专业人士,比如说从事音乐行业的人,进行正常的工作。
请参阅图1至图4,为本发明第一实施例提供的声音处理方法,其中图1为本发明第一实施例提供的声音处理方法的流程示意图,包括步骤S11至步骤S14。
步骤S11,模拟不同频率的声音并通过扬声器传递给用户,获取所述用户所能听到的不同声音的频段并生成听力数据图。
本实施例中,用户首先可以佩戴扬声器,将模拟的声音通过扬声器传递给用户,获取用户所能听到的不同频段的声音并生成听力数据图。
可选地,可以通过如下方式进行声音的模拟的传递:
模拟声音的频率从低频向高频变化,且每一频率的声音的响度从低至高变化,并使不同频率的声音停留于不同的预设时间段内。
在一个例子中,如模拟声音的频率为20Hz,在一个时间段如3秒、4秒钟或其他的时间段内,将声音的响度逐渐增加。本发明的一个例子中,将停留于5秒钟的时间段内,且模拟20Hz的声音的响度从10db开始逐渐增加,当在响度逐渐增加的过程中,用户听到声音即做出反馈;正常用户将在10db即能做出反馈,当用户听力存在缺陷时,在声音逐渐增加的过程中才能做出反馈,如直到将声音的响度增加到30db。
之后将模拟声音的频率从20Hz增加为25Hz或者其他频率的声音,保持另一个时间段内,如为6秒钟、或者7秒钟等其他时间段内,并在25Hz时将声音的响度从10db开始逐渐增加,至提供响度更大的声音。当用户听到声音时,通过按下耳机的中键,记录用户的反馈。以此类推,逐渐增加测试的声音的频率值,直至到最终的两至三个频率数据或者更多数量的频率数据内用户的反馈与正常听力用户的反馈一致,则停止测试。
可以理解地,测试时可以将左耳测试与右耳测试分开进行,或者左右耳同时佩戴耳机进行。
具体实施例时,可以将扬声器连接于终端上,如通过耳机连接于手机上。如在本发明的一个例子中,当扬声器为耳机,耳机上设有中键、音量增减键,当用户听到声音时,通过按下耳机的中键,耳机连接于终端上,终端上安装有测试软件,此时测试软件记录用户的反馈,记录此时听到声音的频率频段和响度。在其他实施例中,也可以通过双击中键或者单击音量加键或减键的方式进行记录反馈。
步骤S12,将所述听力数据图与标准听力曲线图进行对比,判断所述听力数据图中的听力数据是否存在异常频段。
其中,标准听力曲线图由大量的正常用户的听力数据汇整归纳取平均得到。或可根据气导听力曲线与骨导听力曲线进行比较、分析后得到。
具体进行比较,可根据图片识别算法得到,根据图片识别算法提取听力数据图中的听力数据曲线与标准听力曲线图中的曲线进行对比,如Surf算法,提取听力数据图上的曲线数据,Hessian矩阵检测特征值,精确定位,判断出听力数据图中的听力数据曲线与标准听力曲线图中的曲线是否存在预设波动范围内的差异。
由以上陈述可知,得到的听力数据图的为曲线图,横坐标为声音的频率值,纵坐标为声音的响度分贝值。预设波动范围为标准听力曲线图中的纵坐标分贝数据上下浮动的分贝值。在一个实施例中,预设浮动分贝值为10分贝。举例而言,标准听力曲线图中,当声音为250Hz至300Hz时,正常用户听到该频率的声音的响度为10分贝,若测试用户在20分贝时才听到频率为250Hz至300Hz时的声音,则该用户在该频段内的声音听力时是有缺陷的,即为异常频段。
请参阅图4,为本发明第一实施例得到的听力数据图b与标准听力曲线图a的对比图。其中听力数据图b与标准听力曲线图a存在波动,存在异常频段。
在上一步骤将听力数据图与标准听力曲线图进行对比,判断听力数据图中的听力数据是否存在异常频段,若判断出听力数据图中的听力数据与标准听力曲线图中的数据相比存在异常,则执行步骤S13;若判断听力数据图中的听力数据与标准听力曲线图中的数据相比不存在异常频段,则执行步骤S14,直接将声音通过扬声器传递给用户。
步骤S13,若是,则计算出所述异常频段的补偿增益并将根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户。
其中,所述计算出异常频段的补偿增益的步骤具体包括S131至步骤S133。
步骤S131,计算各频率的声音的增益因子。
其中,计算出各频率的声音的增益因子的步骤具体又包括S1311至步骤S1313。
步骤S1311,由带噪声音的频域与其对应的共轭式相乘计算得到带噪声音的频率谱,其中所述带噪声音包括纯净声音和加性噪声,当纯净声音与加性噪声不相关时,两者乘积的交叉项为0;
其中,带噪声音Y包括纯净声音X和加性噪声D,带噪声音的频域计算公式如下:
Y(ω)=X(ω)+D(ω)
其中ω为声音的频率。
带噪声音的频域与与其对应的共轭式相乘计算得到带噪声音的频率谱,计算公式如下:
|Y(ω)|2=[X(ω)+D(ω)][X*(ω)+D*(ω)]
=|X(ω)|2+|D(ω)|2+X(ω)D*(ω)+X*(ω)D(ω)
=|X(ω)|2+|D(ω)|2+2Re{X(ω)D*(ω)}
当纯净声音与加性噪声不相关时,两者乘积的交叉项为0,即交叉项第三项2Re{X(ω)D*(ω)}的数值为0。
步骤S1312,由所述带噪声音的频率谱计算得到纯净声音的值。
其中带噪声音的频率谱计算公式如下:
Figure BDA0002277682350000081
步骤S1313,将所述纯净声音的值代入所述滤波建模计算公式中,并开根号后可得到所述增益因子。
根据先行滤波理论,滤波过程的计算公式为:
Figure BDA0002277682350000082
其中H(ω)为增益因子。
综上以上两个计算公式,将所述纯净声音的值代入所述滤波建模计算公式中,并开根号后可得到所述增益因子:
Figure BDA0002277682350000091
步骤S132,把每一所述增益因子映射到等响度曲线上,得到各频率的增益权重。
当计算出每一增益因子之后,映射到等响度曲线中,即可得到各频率的增益权重。其中等响度曲线为现有技术中已公知的曲线信息。
其中最简单的增益处理是对所有音频采样乘上一个增益因子,即等同于在频域每个频率都同时乘上同一增益因子,但是由于人们对所有的频率的感知不是线性的,需遵循等响度曲线,直接在频域内每个频率都同时乘上同一增益因子会导致声音听起来有的频率增强了,有的频率却削弱了,最终会导致语言失真的放大。
要让整个频段的频率听起来响度增益是“相同”的,需在响度的尺度下做声音的增益,按照等响度曲线对声音的频率进行加权,即不能只采用一个固定的增益因子对声音进行加权,需计算出各频率的增益因子,并映射到等响度曲线中,确定各频率的增益权重。
步骤S133,获取声音的各频率值与所述增益权重的乘积,并将所述乘积作为补偿后的声音频率。
在上述步骤中,得到各频率的增益因子之后,在本步骤中将各频率的增益因子映射到等响度曲线中,确定各频率的增益权重,最后将声音的各频率的数值与增益权重的数值相乘积,得到的各个乘积即为补偿后的声音的频率值。
在上述步骤中计算出所述异常频段的补偿增益之后,扬声器还需经过设置,对扬声器中对应不同异常频段中的各频率设置不同的增益因子,以补偿不同频段声音的增益。补偿增益输入到扬声器中设置的均衡器中,均衡器对输入的声音进行实时处理,即可将根据补偿增益补偿后的声音,最终通过扬声器传递给用户,从而使用户听到正常的声音,解决用户听力缺陷的问题。
步骤S14,直接将声音通过扬声器传递给用户。
在步骤S12中,将听力数据图中的数据与标准听力曲线图中的数据进行对比,两者判断不存在异常频段时,即表明用户的听力不存在异常,声音可以不经过处理直接通过扬声器输出给用户。
上述声音处理方法,通过模拟不同的声音以得到用户的听力数据图,将得到的听力数据图与标准听力曲线图进行对比,当用户的听力数据存在异常时,即可对异常频段进行补偿增益,从而最终将根据补偿增益补偿后的声音通过扬声器传递给所述用户,以使用户听到正常的声音,能够解决人们的听力缺陷,避免了声音缺陷对人们造成的困扰,同时有助于对从事声音方面的专业人士,如音乐家的听力的提升,使其能够正常从事相关方面的工作。
请参阅图5至图6,为本发明第二实施例提供的声音处理方法,其中图5为本发明第二实施例的声音处理方法的流程示意图,包括步骤S21至步骤S27。
步骤S21,将纯净声音的频率从低频向高频变化,且每一频率的响度从低至高变化,并使不同频率的声音停留于不同的预设时间段内并通过扬声器传递给多个听力正常的用户样本。
本实施例中,假设一种特定的检测状态,模拟的声音为纯净声音,不存在噪音。将纯净声音的频率从低频向高频变化,且每一频率的响度从低至高变化,并使不同频率的语音停留于不同的预设时间段内并通过扬声器传递给多个听力正常的用户样本。其中听力正常的用户样本的判断依据可以为:通过气导听力测试与骨导听力测试的结果综合分析刷选出的用户样本。
在一个例子中,如将纯净声音的频率为20Hz,在一个时间段如3秒、4秒钟或其他的时间段内,将声音的响度逐渐增加。本发明的一个例子中,将停留于6秒钟的一个时间段内,且模拟声音的响度从10db开始逐渐增加,当在响度逐渐增加的过程中,当用户样本听到声音时,做好反馈。
如在本发明的一个例子中,当扬声器为耳机,耳机连接于终端上,终端可以为手机或者电脑等电子设备。耳机上设有中键、音量增减键。当用户听到声音时,通过按下耳机的中键,耳机连接于终端上,终端上安装有测试软件,此时测试软件记录用户样本的反馈,记录此时听到声音的频率和响度。再其他实施例中,也可以通过双击中键或者单击音量加键或减键的方式进行记录反馈。
之后将模拟声音的频率从20Hz增加为25Hz,保持另一个时间段内,如为6秒钟、或者7秒钟等其他时间段内,并在25Hz时将声音的响度从10db至30db逐渐增加,当用户样本听到声音时,通过按下耳机的中键,记录用户样本的反馈。以此类推,逐渐增加测试的声音的频率值,终端软件做好记录。
步骤S22,获取所述听力正常的用户样本的反馈频段数据生成所述标准听力曲线图。
上述多个用户样本的听力数据测试完成后,将多个听力正常的用户样本的听力数据进行综合分析汇整,即可得到标准听力曲线图。其中标准听力曲线图的横坐标为频率,纵坐标为响度,即在某一频率时耳机收到用户反馈的响度值。
步骤S23,模拟不同频率的声音并通过扬声器传递给用户,获取所述用户所能听到的不同声音的频段并生成听力数据图。
其中,本实施例中,用户首先可以佩戴扬声器,将模拟的声音通过扬声器传递给用户,获取用户所能听到的不同频段的声音并生成听力数据图。
可选地,可以通过如下方式进行声音的模拟的传递:
模拟声音的频率从低频向高频变化,且每一频率的声音的响度从低至高变化,并使不同频率的声音停留于不同的预设时间段内。
在一个例子中,如模拟声音的频率为20Hz时,在一个时间段如3秒、4秒钟或其他的时间段内,将声音的响度逐渐增加。本发明的一个例子中,将停留于5秒钟的一个时间段内,且模拟声音的响度从10db开始逐渐增加,直至用户听到声音为止,做出反馈,扬声器接收到反馈将电信号传递给终端做好记录。
如在本发明的一个例子中,当扬声器为耳机,耳机上设有中键、音量增减键,当用户听到声音时,通过按下耳机的中键,耳机连接于终端上,终端上安装有测试软件,此时测试软件记录用户的反馈,记录此时听到声音的频率和响度。在其他实施例中,也可以通过双击中键或者单击音量加键或减键的方式进行记录反馈。
之后将模拟声音的频率从20Hz增加为25Hz,保持另一个时间段内,如为6秒钟、或者7秒钟等其他时间段内。本实施例中,将保持为7秒的时间段内,并在25Hz时将声音的响度从10db开始逐渐增加,当用户听到声音时,通过按下耳机的中键,记录用户的反馈。
以此类推,逐渐增加测试的声音的频率值,终端软件做好记录。最后用户测试的两个或多个数据,从低分贝值开始即能很快做好反馈,则表示至此频率开始用户不存在听力缺陷,测试结束之后,终端软件上将生成听力数据图,上面包括用户的听力数据信息。其中听力数据图的纵坐标为用户进行测试的声音的频率值,横坐标为用户做出的反馈的声音的响度值。
步骤S24,将所述听力数据图与标准听力曲线图进行对比,判断所述听力数据图中的听力数据是否存在异常频段。
进行比较时,提取听力数据图与标准听力曲线图的曲线进行比较。根据图片识别算法提取听力数据图中的听力数据曲线与标准听力曲线图中的曲线进行对比,如Surf算法,提取听力数据图上的曲线数据,Hessian矩阵检测特征值,精确定位,判断出听力数据图中的听力数据曲线与标准听力曲线图中的曲线是否存在预设波动范围内的差异。
其中,预设波动范围为标准听力曲线图中曲线的横坐标的分贝数据上下浮动的分贝值。在一个实施例中,可选的,预设曲线的上下浮动分贝值为5分贝。请继续参阅图4,举例而言,标准听力曲线图中,当声音为250Hz至300Hz时,正常用户听到该频率的声音的响度为10分贝,若测试用户在20分贝时才听到频率为250Hz时的声音,则该用户在该频段内的声音听力时是有缺陷的,即为异常频段。
在上一步骤中,将听力数据图中的数据与标准听力曲线图中的数据进行对比,两者判断存在异常时,则进行步骤S25;两者判断不存在异常时,则进行步骤S26。
步骤S25,判断所述异常频段是否达到需补偿的阈值。
其中,在一个实施例中,进行判断包括但不限于如下方式:
步骤S251,根据图像识别算法提取所述听力数据图中的听力数据曲线;
其中根据图片识别算法提取听力数据图中的听力数据曲线与标准听力曲线图中的曲线进行对比,如Surf算法,提取听力数据图上的曲线数据。
步骤S252,判断所述异常频段的所在的曲线是否位于所述标准听力曲线图的预设波动范围内。
在上一步骤中进行判断之后,本步骤将进行范围内的比较。使用Surf算法,Hessian矩阵检测特征值,精确定位,判断听力数据图中的听力数据曲线与标准听力曲线图中的曲线是否处于预设波动范围内。
在一个实施例中,当声音为250Hz至300Hz时,正常用户听到该频率的声音的响度为10分贝,若测试用户在20分贝时才听到频率为250Hz时的声音,则该用户在该频段内的声音听力时是有缺陷的,即为异常频段。在一个实施例中,假设当声音为250Hz至300Hz时,允许听到该频段的响度的波动范围在25db内听到并做出反馈都未超出预设的阈值。
在上一步骤中,判断异常频段的所在的曲线是否位于标准听力曲线图的预设波动范围内,若是,则执行步骤S254,直接将声音通过扬声器传递给用户;若否,则执行步骤S253,
步骤S253,若否,则所述异常频段达到需补偿的阈值。
根据上一步骤举例可知,因为用户在20db时即可听到频率为250Hz至300Hz频段内的声音,因此虽然用户相对正常用户在10db时即可听到该频段的声音,虽然用户在该频段存在听力缺陷,但是还为达到超过预设的25db的补偿的阈值,即在该频段内用户是不需要进行声音补偿的。
若测试用户在30分贝时才听到频率为250Hz至300Hz频段内的声音,即超出了该频段的预设波动范围,即用户的听力在该异常频段达到了需补偿的阈值,不在预设的波动范围内,需要进行声音补偿后进行输出。
步骤S254,直接将声音通过扬声器传递给用户。
当用户的异常频段未达到需补偿的阈值时,声音不需要补偿,即可直接输出给用户。
在上一步骤将判断声音的异常频段是否达到阈值,若判断达到异常时,则执行步骤S27,若判断异常频段未达到阈值,则执行步骤S26,直接将声音通过扬声器传递给用户。
步骤S26,直接将声音通过扬声器传递给用户。
将听力数据图中的数据与标准听力曲线图中的数据进行对比,两者判断不存在异常频段时,即表明用户的听力不存在异常,声音可以不经过处理直接通过扬声器输出给用户。
步骤S27,计算出所述异常频段的补偿增益并将根据所述补偿增益。
步骤S27,计算出达到阈值的异常频段的补偿增益将根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户。
在上一步骤,若判断出异常频段超出了标准听力的预设波动范围,则在本步骤中需要将计算出异常频段的补偿增益并将根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户。
在一个实施例中,计算的方式为如下:
第一步:计算各频率的声音的增益因子。
其中,计算出各频率的声音的增益因子的步骤包括下方第一子步骤至第三子步骤:
第一子步骤,由带噪声音的频域与其对应的共轭式相乘计算得到带噪声音的频率谱,其中所述带噪声音包括纯净声音和加性噪声,当纯净声音与加性噪声不相关时,两者乘积的交叉项为0;
其中,带噪声音y包括纯净声音x和加性噪声d,带噪声音的频域计算公式如下:
Y(ω)=X(ω)+D(ω)
其中ω为声音的频率。
带噪声音的频域与与其对应的共轭式相乘计算得到带噪声音的频率谱,计算公式如下:
|Y(ω)|2=[X(ω)+D(ω)][X*(ω)+D*(ω)]
=|X(ω)|2+|D(ω)|2+X(ω)D*(ω)+X*(ω)D(ω)
=|X(ω)|2+|D(ω)|2+2Re{X(ω)D*(ω)}
当纯净声音与加性噪声不相关时,两者乘积的交叉项为0,即交叉项第三项2Re{X(ω)D*(ω)}的数值为0。
第二子步骤,由所述带噪声音的频率谱计算得到纯净声音的值。
Figure BDA0002277682350000151
第三子步骤,将所述纯净声音的值代入所述滤波建模计算公式中,并开根号后可得到所述增益因子。
根据先行滤波理论,滤波过程的计算公式为:
Figure BDA0002277682350000161
其中H为增益因子。
综上以上两个计算公式,将所述纯净声音的值代入所述滤波建模计算公式中,并开根号后可得到所述增益因子:
Figure BDA0002277682350000162
第二步,把每一所述增益因子映射到等响度曲线上,得到各频率的增益权重。
当计算出每一增益因子之后,映射到等响度曲线中,即可得到各频率的增益权重。其中等响度曲线为现有技术中已公知曲线信息。
第三步,获取所述各频率与所述增益权重的乘积,并将所述乘积作为补偿后的声音频率。
在上述步骤中,得到各频率的增益因子之后,在本步骤中将各频率的增益因子映射到等响度曲线中,确定各频率的增益权重,最后将各频率的数值与增益权重的数值相乘积,得到的各个乘积即为补偿后的声音的频率值。
在上述步骤中计算出异常频段的补偿增益之后,即可将根据补偿增益补偿后的声音通过扬声器传递给用户,从而使用户听到正常的声音,解决听力缺陷的问题。
在上述步骤中计算出所述异常频段的补偿增益之后,还可以对扬声器经进行设置,对扬声器中对应不同异常频段中的各频率设置不同的增益因子,以补偿不同频段声音的增益。补偿增益输入到扬声器中设置的均衡器中,均衡器对输入的声音进行实时处理,即可将根据补偿增益补偿后的声音,最终通过扬声器传递给用户,从而使用户听到正常的声音,解决用户听力缺陷的问题。
其中声音信号通过扬声器的麦克风输入,即模拟信号的输入,经过前置放大和低通滤波处理,得到较为纯净的模拟声音信号,接着将模拟信号转换为数字信号,并传送到FPGA芯片中,该数字信号在FPGA芯片内部由FIR数字滤波器生成的均衡器后得到伪装后的声音信号,在该阶段对数字信号进行分频补偿,即根据不同的补偿因子进行补偿,经补偿后的数字信号通过滤波器,数字信号再经过FPGA输出的控制D/A转换器的控制下再次以总线的方式转换为模拟信号,最终的模拟信号即补偿后的声音信号通过扬声器输出给用户。
上述声音处理方法,通过获取正常听力用户的听力数据汇整得到标准听力曲线,再模拟不同的声音输入给有听力缺陷的用户,经其反馈后记录得到听力数据图,将得到的听力数据图与标准听力曲线图进行对比,当用户的听力数据存在异常时,若判断出异常频段超出了标准听力曲线的波动范围,则对异常频段进行补偿增益,从而最终将根据补偿增益补偿后的声音通过扬声器传递给所述用户,以使用户听到正常的声音,能够提升有听力缺陷的用户的听力,避免了声音缺陷对人们造成的困扰,同时有助于对从事声音方面的专业人士,如音乐家的听力的提升,使其能够正常从事相关方面的工作。
请参阅图7,本发明在其他实施例中还提供一种声音处理设备10,包括存储器11和处理器12,所述存储器11中存储有计算机程序,所述计算机程序适用于被所述处理器12调用时,以执行上述所述的声音处理方法。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种声音处理方法,其特征在于,所述方法包括:
模拟不同频率的声音并通过扬声器传递给用户,获取所述用户所能听到的不同声音的频段并生成听力数据图;
将所述听力数据图与标准听力曲线图进行对比,判断所述听力数据图中的听力数据是否存在异常频段;
若是,则计算出所述异常频段的补偿增益并将根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户。
2.根据权利要求1所述的声音处理方法,其特征在于,所述计算出异常频段的补偿增益的步骤包括:
计算各频率的声音的增益因子;
把每一所述增益因子映射到等响度曲线上,得到各频率的增益权重;
获取声音的各频率值与所述增益权重的乘积,并将所述乘积作为补偿后的声音频率。
3.根据权利要求2所述的声音处理方法,其特征在于,所述计算各频率的声音的增益因子的步骤包括:
由带噪声音的频域与其对应的共轭式相乘计算得到带噪声音的频率谱,其中所述带噪声音包括纯净声音和加性噪声,当纯净声音与加性噪声不相关时,两者乘积的交叉项为0;
由所述带噪声音的频率谱计算得到纯净声音的值;
将所述纯净声音的值代入滤波建模计算公式中,并开根号后可得到所述增益因子。
4.根据权利要求1所述的声音处理方法,其特征在于,所述判断所述听力数据图中的听力数据是否存在异常频段的步骤,包括:
根据图像识别算法提取所述听力数据图中的听力数据曲线;
将所述听力数据曲线与所述标准听力曲线图中的标准曲线进行对比,确定出所述听力数据曲线中有别于所述标准听力曲线图的异常频段。
5.根据权利要求1所述的声音处理方法,其特征在于,所述判断所述听力数据图中的听力数据是否存在异常频段的步骤之后,所述方法还包括:
判断所述异常频段是否达到需补偿的阈值;
若是,则计算出达到阈值的异常频段的补偿增益将根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户。
6.根据权利要求5所述的声音处理方法,其特征在于,所述判断所述异常频段是否达到需补偿的阈值的步骤包括:
根据图像识别算法提取所述听力数据图中的听力数据曲线;
判断所述异常频段的所在的曲线是否位于所述标准听力曲线图的预设波动范围内;
若否,则所述异常频段达到需补偿的阈值。
7.根据权利要求1所述的声音处理方法,其特征在于,所述模拟不同频率的语音并通过扬声器传递给用户,获取所述用户所能听到的不同频段的语音并生成听力数据图,包括:
模拟声音的频率从低频向高频变化,且每一频率的声音的响度从低至高变化,并使不同频率的声音停留于不同的预设时间段内;
记录用户的反馈频段并将所述用户所能听到的不同声音的频段生成所述听力数据图。
8.根据权利要求1所述的声音处理方法,其特征在于,所述将所述听力数据图与标准听力曲线图进行对比的步骤之前,所述方法包括:
将纯净声音的频率从低频向高频变化,且每一频率的响度从低至高变化,并使不同频率的纯净声音停留于不同的预设时间段内并通过扬声器传递给多个听力正常的用户样本;
获取所述用户样本的反馈频段并生成所述标准听力曲线图。
9.根据权利要求1所述的声音处理方法,其特征在于,所述计算出所述异常频段的补偿增益并根据所述补偿增益补偿后的声音通过所述扬声器传递给所述用户的步骤之前,所述方法还包括:
设置所述扬声器中对应不同异常频段的增益因子,以补偿不同频段声音的增益。
10.一种声音处理设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序适用于被所述处理器调用,以执行如权利要求1至9任一项所述的声音处理方法的步骤。
CN201911128752.5A 2019-11-18 2019-11-18 声音处理方法及声音处理设备 Active CN110942781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911128752.5A CN110942781B (zh) 2019-11-18 2019-11-18 声音处理方法及声音处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911128752.5A CN110942781B (zh) 2019-11-18 2019-11-18 声音处理方法及声音处理设备

Publications (2)

Publication Number Publication Date
CN110942781A true CN110942781A (zh) 2020-03-31
CN110942781B CN110942781B (zh) 2021-03-23

Family

ID=69907729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911128752.5A Active CN110942781B (zh) 2019-11-18 2019-11-18 声音处理方法及声音处理设备

Country Status (1)

Country Link
CN (1) CN110942781B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630706A (zh) * 2021-09-15 2021-11-09 深圳市博音科技有限公司 骨传导助听装置的自主校正方法及系统
WO2021238458A1 (zh) * 2020-05-29 2021-12-02 安克创新科技股份有限公司 扬声设备音质的优化方法
CN113827227A (zh) * 2021-08-10 2021-12-24 北京塞宾科技有限公司 听力测试信号生成方法、听力测试方法、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100234757A1 (en) * 2007-11-22 2010-09-16 Sonetik Limited Method and system for providing a hearing aid
CN102638755A (zh) * 2012-04-25 2012-08-15 南京邮电大学 基于频率压缩搬移的数字助听器响度补偿方法
CN104144374A (zh) * 2013-05-06 2014-11-12 展讯通信(上海)有限公司 基于移动设备的辅助听力方法及系统
US20150125016A1 (en) * 2013-11-07 2015-05-07 Gn Resound A/S Hearing aid with probabilistic hearing loss compensation
US20160277855A1 (en) * 2015-03-20 2016-09-22 Innovo IP, LLC System and method for improved audio perception

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100234757A1 (en) * 2007-11-22 2010-09-16 Sonetik Limited Method and system for providing a hearing aid
CN102638755A (zh) * 2012-04-25 2012-08-15 南京邮电大学 基于频率压缩搬移的数字助听器响度补偿方法
CN104144374A (zh) * 2013-05-06 2014-11-12 展讯通信(上海)有限公司 基于移动设备的辅助听力方法及系统
US20150125016A1 (en) * 2013-11-07 2015-05-07 Gn Resound A/S Hearing aid with probabilistic hearing loss compensation
US20160277855A1 (en) * 2015-03-20 2016-09-22 Innovo IP, LLC System and method for improved audio perception

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LARS S N, JENS S.: "Designing asynchronous circuits for low power: An IFIR filter bank for a digital hearing aid", 《PROCEEDINGS OF THE IEEE》 *
MILLER-HANSEN, DENISE R.: "Evaluating the Benefit of Speech Recoding Hearing Aids in Children.", 《AMERICAN JOURNAL OF AUDIOLOGY》 *
WANG QINGYUN, ZHAO LI, QIAO JIE, ZOU CAIRONG.: "Sub-band Loudness Compensation for Hearing Aid Based on Human Auditory", 《JOURNAL OF APPLIED SCIENCES-ELECTRONICS AND INFORMATION ENGINEERING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238458A1 (zh) * 2020-05-29 2021-12-02 安克创新科技股份有限公司 扬声设备音质的优化方法
CN113827227A (zh) * 2021-08-10 2021-12-24 北京塞宾科技有限公司 听力测试信号生成方法、听力测试方法、存储介质及设备
CN113827227B (zh) * 2021-08-10 2024-04-02 北京塞宾科技有限公司 听力测试信号生成方法、听力测试方法、存储介质及设备
CN113630706A (zh) * 2021-09-15 2021-11-09 深圳市博音科技有限公司 骨传导助听装置的自主校正方法及系统
CN113630706B (zh) * 2021-09-15 2024-01-02 深圳市博音科技有限公司 骨传导助听装置的自主校正方法及系统

Also Published As

Publication number Publication date
CN110942781B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
US10880647B2 (en) Active acoustic filter with location-based filter characteristics
CN110942781B (zh) 声音处理方法及声音处理设备
JP5665134B2 (ja) ヒアリングアシスタンス装置
US20070195963A1 (en) Measuring ear biometrics for sound optimization
US20120008792A1 (en) Hearing Aid Apparatus
KR102004460B1 (ko) 블루투스 회로와 디지털 신호 처리를 이용한 디지털 히어링 디바이스
CN112306448A (zh) 根据环境噪声调节输出音频的方法、装置、设备和介质
US11607155B2 (en) Method to estimate hearing impairment compensation function
CN114979363A (zh) 一种音量调节方法、装置、电子设备及存储介质
US11626850B2 (en) Automated tuning by measuring and equalizing speaker output in an audio environment
CN113949955B (zh) 降噪处理方法、装置、电子设备、耳机及存储介质
KR20240007168A (ko) 소음 환경에서 음성 최적화
CN116684806A (zh) 扬声器异音测试方法
CN109688503B (zh) 心理感知状态检测系统及方法
JP4080210B2 (ja) 拡声明瞭度改善装置および拡声明瞭度改善方法
EP4354898A1 (en) Ear-mounted device and reproduction method
WO2023081535A1 (en) Automated audio tuning and compensation procedure
AU2011232293A1 (en) Systems and methods for processing audio data
CN109862458B (zh) 心理感知状态检测系统及方法
JPH10294997A (ja) 音声信号の処理回路および検査用装置
EP4303874A1 (en) Providing a measure of intelligibility of an audio signal
Somarathne et al. A Study of the Variation of Acoustic Properties of Signals Received by Used Mobile Phones
JPH10341123A (ja) 音響再生装置
CN116778949A (zh) 个性化响度补偿方法、装置、计算机设备和存储介质
WO2023081534A1 (en) Automated audio tuning launch procedure and report

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230608

Address after: 13C-18, Caihong Building, Caihong Xindu, No. 3002, Caitian South Road, Gangsha Community, Futian Street, Futian District, Shenzhen, Guangdong 518033

Patentee after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd.

Address before: Room 1010, 10 / F, building a, Chuangzhi building, Xinjiang Software Park, 455 Kanas Hubei Road, Urumqi Economic and Technological Development Zone, 830000 Xinjiang Uygur Autonomous Region

Patentee before: XINJIANG AIHUA YINGTONG INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right