CN118695190A - 听损模拟系统、耳机及服务器 - Google Patents
听损模拟系统、耳机及服务器 Download PDFInfo
- Publication number
- CN118695190A CN118695190A CN202310312346.4A CN202310312346A CN118695190A CN 118695190 A CN118695190 A CN 118695190A CN 202310312346 A CN202310312346 A CN 202310312346A CN 118695190 A CN118695190 A CN 118695190A
- Authority
- CN
- China
- Prior art keywords
- audio data
- hearing
- information
- user
- hearing loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000016354 hearing loss disease Diseases 0.000 title claims abstract description 341
- 206010011878 Deafness Diseases 0.000 title claims abstract description 301
- 230000010370 hearing loss Effects 0.000 title claims abstract description 300
- 231100000888 hearing loss Toxicity 0.000 title claims abstract description 300
- 238000004088 simulation Methods 0.000 title claims abstract description 175
- 238000012360 testing method Methods 0.000 claims abstract description 107
- 238000012074 hearing test Methods 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 186
- 238000012545 processing Methods 0.000 claims description 162
- 238000011156 evaluation Methods 0.000 claims description 121
- 238000005457 optimization Methods 0.000 claims description 109
- 210000002768 hair cell Anatomy 0.000 claims description 78
- 238000001914 filtration Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 48
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 34
- 238000001228 spectrum Methods 0.000 claims description 18
- 230000002441 reversible effect Effects 0.000 claims description 17
- 238000013508 migration Methods 0.000 claims description 15
- 230000005012 migration Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 124
- 208000032041 Hearing impaired Diseases 0.000 description 54
- 238000010586 diagram Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 25
- 230000006854 communication Effects 0.000 description 15
- 210000004027 cell Anatomy 0.000 description 14
- 230000009467 reduction Effects 0.000 description 14
- 230000001629 suppression Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000004851 dishwashing Methods 0.000 description 8
- 210000005069 ears Anatomy 0.000 description 7
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 210000003477 cochlea Anatomy 0.000 description 4
- 238000010845 search algorithm Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000000067 inner hair cell Anatomy 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000035479 physiological effects, processes and functions Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请实施例提供了一种听损模拟系统、耳机及服务器。该听损模拟系统包括:耳机和终端设备,耳机由第一用户佩戴,其中:终端设备,用于接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息;接收试听操作,响应于试听操作,向耳机发送试听数据;其中,试听数据包括用户信息或听损特征信息,听损特征信息基于用户信息确定;耳机,用于获取第一音频数据;基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据;播放第二音频数据。这样,第一用户可以采用听损模拟系统,体验第二用户所听到的音频效果。
Description
技术领域
本申请实施例涉及音频处理领域,尤其涉及一种听损模拟系统、耳机及服务器。
背景技术
年龄的增长、生理病变以及耳部(或头部)机械性损伤等等,均会造成听力损伤。听力受损用户无法像正常人(即听力未受损用户)一样听到或者听清楚他人说话、音乐、广播等声音,这会给听力受损用户在日常生活、工作等过程中带来许多不便。
听力正常(即听力未受损)用户往往无法体会到听力受损用户的听力感受,更无法体会到听力受损用户在生活、工作上的困难;进而在与听力受损用户交流过程中,通常会出现无效沟通,且还会忽略听力受损用户的需求,甚至发生矛盾冲突。
发明内容
鉴于此,本申请提供一种听损模拟系统、耳机及服务器。该听损模拟系统能够模拟任一用户所听到的音频;这样,第一用户可以基于听损模拟系统,体验第二用户所听到的音频效果。
第一方面,本申请实施例提供一种听损模拟系统,该听损模拟系统包括耳机和终端设备,耳机由第一用户佩戴,其中:
终端设备,用于接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息;接收试听操作,响应于试听操作,向耳机发送试听数据;其中,试听数据包括用户信息或听损特征信息,听损特征信息基于用户信息确定;
耳机,用于获取第一音频数据;基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据;播放第二音频数据。
这样,第一用户通过在终端设备中输入第二用户的用户信息并执行试听操作后,即可在耳机中听到第二用户所听到的音频数据,实现体验第二用户所听到的音频效果。
一种可能的方式中,第一用户可以为听力未受损用户,第二用户可以为听力受损用户;这样,听力未受损用户可以基于听损模拟系统,体验听力受损用户所听到的音频效果,进而能够增加第一用户与第二用户沟通的耐心,并在与第二用户的沟通过程中,提高音量、语句重复次数以及降低语速。
一种可能的方式,第一用户可以为听力受损程度较小的用户,第二用户可以为听力受损程度较大的用户;这样,听力受损程度较小的用户可以基于听损模拟系统,体验听力受损程度较大的用户所听到的音频效果,进而能够增加第一用户与第二用户沟通的耐心,并在与第二用户的沟通过程中,提高音量、语句重复次数以及降低语速。
在家庭场景中,第一用户和第二用户可以均为家庭成员,第二用户为爷爷,第一用户为孙子。在孙子体验爷爷所听到的音频效果,感知到爷爷的感受,以及听力损伤带来的生活不便后,能够促使孙子为爷爷购买助听器;以及增加孙子与爷爷沟通的耐心,并在与爷爷的沟通过程中,提高音量、语句重复次数以及降低语速。
在其他场景,如工作场景中,第一用户为人事部员工,第二用户为后勤部员工。在人事部员工体验后勤部员工所听到的音频数据的效果后,可以感知到后勤部员工的感受,以及听力损伤带来的生活、工作不便后,能够促使人事部员工增加与后勤部员工沟通的耐心,以及在与后勤部员工的沟通过程中,提高音量、语句重复次数以及降低语速。
应该理解的是,第二用户也可以是听力未受损用户,本申请对此不作限制。本申请以第一用户为听力未受损用户,第二用户为听力受损用户为例进行说明。
示例性的,用户信息可以包括但不限于:耳型照片、年龄、性别、听力受损时长、助听器佩戴时长、可懂度测试数据和听力图等,本申请对此不作限制。
示例性的,听损特征信息可以包括但不限于:耳型特征(如耳廓长度、耳廓宽度、耳廓深度、耳朵类型等)、听力损伤频带信息、可懂度分值、可懂度混淆矩阵、年龄衰减信息(如年龄、性别、听力受损时长和佩戴助听器时长)等等,本申请对此不作限制。
示例性的,可以通过对耳型照片进行分析,提取出耳廓长度、耳廓宽度、耳廓深度、耳朵类型等耳型特征。其中,耳朵类型可以包括多种,例如:杯形耳、菜花耳、兜风耳等本申请对此不作限制。应该理解的是,本申请对耳型特征不作限制。
示例性的,可以通过对听力图进行分析,提取各子带(即不同频率范围下)听力损伤程度(单位为dB),作为听力损伤频带信息。
示例性的,可以通过对可懂度测试数据进行分析,确定可懂度分值和可懂度混淆矩阵。其中,音频数据的可懂度分值越高,表示音频数据越容易被听懂。
需要说明的是,本申请不限制是由终端设备基于用户信息确定听损特征信息,还是由耳机基于用户信息确定听损特征信息。
示例性的,当试听操作为针对预设音频场景选项的选取操作时,试听数据还包括第一音频数据,第一音频数据为选取操作对应预设音频选项所对应的预设音频数据;当试听操作为针对实时音频选项的选取操作时,试听数据还包括音频采集启动指示,音频采集启动指示用于指示耳机进行音频采集。
示例性的,预设音频场景可以是指可以是能够预先获取对应预设音频数据的场景,如洗碗场景、菜场场景等等,不包括实时音频场景。这样,第一用户可以体验第二用户处于预设音频场景中时所听到的音频效果,以及可以体验第二用户处于当前场景实时听到的音频效果。
根据第一方面,终端设备,还用于显示第一音频数据的第一评测信息和第二音频数据的第二评测信息。这样,可以量化正常人和听力受损人的听力差距,更好的帮助第二用户设身处地感受第一用户的生活不便;进一步提高第一用户与第二用户沟通的耐心,以及在与第二用户沟通过程中,提高音量、语句重复次数以及降低语速;或者增加后续的助听器购买驱动力。
示例性的,第一评测信息可以是指对第一音频数据进行客观评测(也可以称为客观评价)得到的信息,例如,第一评测信息可以包括但不限于:第一可懂度分值、第一音质分值。
示例性的,第二评测信息可以是指对第二音频数据进行客观评测得到的信息,例如,可以包括但不限于:第二可懂度分值、第二音质分值。
示例性的,音频数据的可懂度分值越高,表示音频数据越容易被听懂。
示例性的,音频数据的音质分值越高,表示音频数据的音质越好。
示例性的,第一可懂度分值大于第二可懂度分值,第一音质分值大于第二音质分值。
根据第一方面,或者以上第一方面的任意一种实现方式,终端设备,还用于显示第一音频数据对应的文本信息,并基于第二音频数据对文本信息中的目标字词进行标注;其中,目标字词的可懂度分值低于可懂度阈值,和/或,目标字词的音质分值低于音质阈值的字词。这样,便于第一用户获知第二用户听不到或听不清哪些字词的音频。
示例性的,可懂度阈值和音质阈值,可以按照需求设置,本申请对此不作限制。
应该理解的是,对目标字词进行标注的方式可以包括多种,如改变颜色、添加下划线,加粗等方式,本申请对此不作限制。
示例性的,音质可以是指声音的品质或声音的质量;具体地,音质是清晰度、自然度、音色、时延、抖动等多个维度的综合表示。其中,音质分值的评估方式可以包括主观评估(如平均意见得分(Mean Opnion Score,MOS))和客观评估(如语音质量的感知评估(Perceptual evaluation of speech quality,PESQ)等)。
示例性的,可懂度可以是指听者能听懂通过传声系统传递的语音信号的百分率(例如,给听者听100个单词,听对了50个,其可懂度分值就是50%),或者,语言清晰度(speech intelligibility)。
根据第一方面,或者以上第一方面的任意一种实现方式,耳机,还用于播放第一音频数据。这样,能够便于第一用户对正常人听到的音频数据和听力受损用户听到的音频数据进行比对,更好的体验正常人听到的音频数据和听力受损用户听到的音频数据的区别;进一步提高第一用户在与第二用户沟通的耐心,以及在与第二用户沟通过程中,提高音量、语句重复次数以及降低语速;或者增加后续的助听器购买驱动力。
示例性的,耳机可以在播放第二音频数据之前或之后,播放第一音频数据。
根据第一方面,或者以上第一方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收体验时间设置操作,获取体验时间设置操作对应设置的体验时间信息;其中,试听数据还包括体验时间信息,听损特征信息基于用户信息和体验时间信息确定。这样,第一用户可以来体验第二用户处于体验时间信息对应的年龄时所听到的音频效果。
示例性的,体验时间信息的单位可以为年,例如,体验时间信息可以为“0”、“-5”、“+5”和“+10”;其中,“0”表示当前,“-5”表示5年前,“+5”表示5年后,“+10”表示10年后。
这种情况下,年龄衰减信息中的年龄可以是用户信息中的年龄与体验时间信息之间的和值。
根据第一方面,或者以上第一方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收助听器类型选取操作,获取助听器类型选取操作对应的助听器类型信息;其中,试听数据还包括助听器类型信息;耳机,还用于采用助听器类型信息对应的助听算法,对第一音频数据进行助听优化处理,以得到第三音频数据;基于听损特征信息对第三音频数据进行听损模拟处理,以得到第二音频数据。
这样,第一用户可以通过在终端设备中选取不同的助听器类型,来体验第二用户佩戴不同类型助听器时所听到的音频效果;并结合主观感受和客观评测信息(包括第一评测信息和第二评测信息),选取效果最优的助听器类型,以为第一用户配置最合适类型的助听器。
一种可能的方式中,耳机可以作为助听器,第一用户确定效果最优的助听器类型后,可以在终端设备中选取对应的助听器类型;这样,后续第二用户使用耳机助听过程中,耳机可以调用助听器类型选项对应的助听算法进行助听优化处理,并将经助听优化处理所得到的第三音频数据发送至扬声器播放(此时,无需进行听损模拟)。
一种可能的方式中,第一用户确定效果最优的助听器类型后,可以按照效果最优的助听器类型,购买助听器。
这种情况下,第二评测信息还可以包括根据相关标准(例如,助听器国际标准、助听器国家标准、助听器行业标准以及助听器团体标准等)中针对助听器效果(或功能或性能)的相关要求,对第二音频数据进行测试得到的信息。例如,第二测评信息还可以包括:噪声抑制能力、抗啸叫能力、频率响应范围、真耳插入增益、满档声增益等等,本申请对此不作限制。
根据第一方面,或者以上第一方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第一参数设置操作,获取第一参数设置操作对应的第一助听算法参数;其中,试听数据还包括第一助听算法参数;耳机,还用于基于第一助听算法参数,对第一音频数据进行助听优化处理,以得到第四音频数据;基于听损特征信息对第四音频数据进行听损模拟处理,以得到第二音频数据。
这样,第一用户可以通过在终端设备中配置不同的第一助听算法参数,来体验第二用户佩戴助听算法参数不同的助听器后所听到的音频数据;并结合主观感受和客观评测信息(如包括第一评测信息和第二评测信息),选取最优的第一助听算法参数,进而可为第一用户配置合适的第一助听算法参数。
一种可能的方式中,耳机可以作为助听器,第一用户确定效果最优的第一助听算法参数后,可以在终端设备中按照最优的第一助听算法参数进行配置;这样,后续第二用户使用耳机助听过程中,耳机的助听算法可以采用效果最优的第一助听算法参数进行助听优化处理,并将经助听优化处理所得到的第四音频数据发送至扬声器播放(此时,无需进行听损模拟)。
一种可能的方式中,第一用户确定效果最优的第一助听算法参数后,可以按照效果最优的第一助听算法参数,购买助听器。
其中,第一助听算法参数是第二助听算法参数(第二助听算法参数是助听算法进行计算所需的所有参数)的一部分。
这种情况下,第二评测信息还可以包括根据相关标准(例如,助听器国际标准、助听器国家标准、助听器行业标准以及助听器团体标准等)中针对助听器效果(或功能或性能)的相关要求,对第二音频数据进行测试得到的信息;例如,第二测评信息还可以包括:噪声抑制能力、抗啸叫能力、频率响应范围、真耳插入增益、满档声增益等等,本申请对此不作限制。
根据第一方面,或者以上第一方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第二参数设置操作,获取第二参数设置操作对应的优化参数;其中,试听数据还包括优化参数;耳机,还用于基于优化参数,搜索第二助听算法参数;基于第二助听算法参数,对第一音频数据进行助听优化处理,以得到第五音频数据;基于听损特征信息对第五音频数据进行听损模拟处理,以得到第二音频数据。
这样,第一用户可以通过在终端设备中设置不同的优化参数,来配置不同的第二助听算法参数,以体验第二用户佩戴助听算法参数不同的助听器后所听到的音频数据;并结合主观感受和客观评测信息(包括第一评测信息和第二评测信息),选取最优的优化参数,进而可为第一用户配置合适的第二助听算法参数。
一种可能的方式中,耳机可以作为助听器,第一用户确定效果最优的优化参数后,可以在终端设备中按照最优的优化参数进行配置;这样,后续第二用户使用耳机助听过程中,耳机的助听算法可以采用效果最优的第二助听算法参数进行助听优化处理,并将经助听优化处理所得到的第五音频数据发送至扬声器播放(此时,无需进行听损模拟)。
一种可能的方式中,第一用户确定效果最优的优化参数后,可以从终端设备中查看效果最优的第二助听算法参数;接着,可以按照效果最优的第二助听算法参数,购买助听器。
这种情况下,第二评测信息还可以包括根据相关标准(例如,助听器国际标准、助听器国家标准、助听器行业标准以及助听器团体标准等)中针对助听器效果(或功能或性能)的相关要求,对第二音频数据进行测试得到的信息;例如,第二测评信息还可以包括:噪声抑制能力、抗啸叫能力、频率响应范围、真耳插入增益、满档声增益等等,本申请对此不作限制。
根据第一方面,或者以上第一方面的任意一种实现方式,耳机,还用于基于听损特征信息对第一音频数据进行听损模拟,以得到第六音频数据;播放第六音频数据;终端设备,还用于显示第六音频数据的第三评测信息。这样,第一用户可以比对第二用户未经过助听器听到的音频效果和第二用户经过助听器听到的音频效果,了解助听器对第二用户的作用,增加后续的助听器购买驱动力。
示例性的,第三评测信息可以是指针对第三音频数据进行客观评价得到的信息,例如,第三评测信息可以包括但不限于:第三可懂度分值和/或第三音质分值。
示例性的,耳机可以依次播放第一音频数据、第二音频数据和第六音频数据。
根据第一方面,或者以上第一方面的任意一种实现方式,耳机,具体用于基于听损特征信息,确定听损模拟参数;其中,听损模拟参数包括毛细胞滤波系数;基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据。由于耳蜗(可以包括毛细胞(包括内毛细胞(innerhearcell,IHC)和外毛细胞(outerhearcell,OHC))能够对音频进行调制,是用户能够听清音频内容的关键之一;因此模拟IHC和OHC对音频调制,对第一音频数据进行毛细胞滤波处理,所得到的第二音频数据,更接近第二用户实际听到的音频数据。
根据第一方面,或者以上第一方面的任意一种实现方式,听损模拟参数还包括:耳型滤波系数和重振系数;耳机,具体用于基于耳型滤波系数对第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于毛细胞滤波系数,对第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于重振系数,对第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对第五中间音频数据进行耳蜗逆转换处理,以得到第二音频数据。相对于现有技术而言,本申请考虑到了耳朵内/外毛细胞、耳蜗反射等实际听觉链路,且考虑到了音频可懂度、听力损伤程度、年龄等对听觉链路中的生理学参数的影响;因此本申请的听损模拟,更符合听觉外周生理学流程,进而能够模拟出与听力受损用户所听到的音频数据更接近的音频数据。
第二方面,本申请实施例提供一种听损模拟系统,该听损模拟系统包括耳机、终端设备和服务器,耳机由第一用户佩戴,其中:
终端设备,用于接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息;接收试听操作,响应于试听操作,向服务器发送试听数据;其中,试听数据包括用户信息或听损特征信息,听损特征信息基于用户信息确定;
服务器,用于获取第一音频数据;基于听损特征信息对第一音频数据进行听损模拟处理,以得到第二音频数据;向终端设备发送第二音频数据;
终端设备,还用于向耳机发送第二音频数据;
耳机,用于播放第二音频数据。
根据第二方面,终端设备,还用于显示第一音频数据的第一评测信息和第二音频数据的第二评测信息。
根据第二方面,或者以上第二方面的任意一种实现方式,终端设备,还用于显示第一音频数据对应的文本信息,并基于第二音频数据对文本信息中的目标字词进行标注;
其中,目标字词的可懂度分值低于可懂度阈值,和/或,目标字词的音质分值低于音质阈值的字词。
根据第二方面,或者以上第二方面的任意一种实现方式,耳机,还用于播放第一音频数据。
根据第二方面,或者以上第二方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收体验时间设置操作,获取体验时间设置操作对应设置的体验时间信息;其中,试听数据还包括体验时间信息,听损特征信息基于用户信息和体验时间信息确定。
根据第二方面,或者以上第二方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收助听器类型选取操作,获取助听器类型选取操作对应的助听器类型信息;其中,试听数据还包括助听器类型信息;服务器,还用于采用助听器类型信息对应的助听算法,对第一音频数据进行助听优化处理,以得到第三音频数据;基于听损特征信息对第三音频数据进行听损模拟处理,以得到第二音频数据。
根据第二方面,或者以上第二方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第一参数设置操作,获取第一参数设置操作对应的第一助听算法参数;其中,试听数据还包括第一助听算法参数;服务器,还用于基于第一助听算法参数,对第一音频数据进行助听优化处理,以得到第四音频数据;基于听损特征信息对第四音频数据进行听损模拟处理,以得到第二音频数据。
根据第二方面,或者以上第二方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第二参数设置操作,获取第二参数设置操作对应的优化参数;其中,试听数据还包括优化参数;服务器,还用于基于优化参数,搜索第二助听算法参数;基于第二助听算法参数,对第一音频数据进行助听优化处理,以得到第五音频数据;基于听损特征信息对第五音频数据进行听损模拟处理,以得到第二音频数据。
根据第二方面,或者以上第二方面的任意一种实现方式,服务器,还用于基于听损特征信息对第一音频数据进行听损模拟,以得到第六音频数据;向终端设备发送第六音频数据;终端设备,还用于向耳机发送第六音频数据;耳机,还用于播放第六音频数据;终端设备,还用于显示第六音频数据的第三评测信息。
根据第二方面,或者以上第二方面的任意一种实现方式,服务器,具体用于基于听损特征信息,确定听损模拟参数;其中,听损模拟参数包括毛细胞滤波系数;基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据。
根据第二方面,或者以上第二方面的任意一种实现方式,听损特征信息还包括:耳型滤波系数和重振系数;服务器,具体用于基于耳型滤波系数对第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于毛细胞滤波系数,对第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于重振系数,对第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对第五中间音频数据进行耳蜗逆转换处理,以得到第二音频数据。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请实施例提供一种听损模拟系统,该听损模拟系统包括耳机和终端设备,耳机由第一用户佩戴,其中:
终端设备,用于接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息;接收试听操作,响应于试听操作,获取第一音频数据以及基于用户信息生成听损特征信息;基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据;向耳机发送第二音频数据;耳机,用于播放第二音频数据。
根据第三方面,终端设备,还用于显示第一音频数据的第一评测信息和第二音频数据的第二评测信息。
根据第三方面,或者以上第三方面的任意一种实现方式,终端设备,还用于显示第一音频数据对应的文本信息,并基于第二音频数据对文本信息中的目标字词进行标注;其中,目标字词的可懂度分值低于可懂度阈值,和/或,目标字词的音质分值低于音质阈值的字词。
根据第三方面,或者以上第三方面的任意一种实现方式,耳机,还用于播放第一音频数据。
根据第三方面,或者以上第三方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收体验时间设置操作,获取体验时间设置操作对应设置的体验时间信息;其中,试听数据还包括体验时间信息,听损特征信息基于用户信息和体验时间信息确定。
根据第三方面,或者以上第三方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收助听器类型选取操作,获取助听器类型选取操作对应的助听器类型信息;其中,试听数据还包括助听器类型信息;终端设备,还用于采用助听器类型信息对应的助听算法,对第一音频数据进行助听优化处理,以得到第三音频数据;基于听损特征信息对第三音频数据进行听损模拟处理,以得到第二音频数据。
根据第三方面,或者以上第三方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第一参数设置操作,获取第一参数设置操作对应的第一助听算法参数;其中,试听数据还包括第一助听算法参数;终端设备,还用于基于第一助听算法参数,对第一音频数据进行助听优化处理,以得到第四音频数据;基于听损特征信息对第四音频数据进行听损模拟处理,以得到第二音频数据。
根据第三方面,或者以上第三方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第二参数设置操作,获取第二参数设置操作对应的优化参数;其中,试听数据还包括优化参数;终端设备,还用于基于优化参数,搜索第二助听算法参数;基于第二助听算法参数,对第一音频数据进行助听优化处理,以得到第五音频数据;基于听损特征信息对第五音频数据进行听损模拟处理,以得到第二音频数据。
根据第三方面,或者以上第三方面的任意一种实现方式,终端设备,还用于基于听损特征信息对第一音频数据进行听损模拟,以得到第六音频数据;向耳机发送第六音频数据;耳机,用于播放第六音频数据;终端设备,还用于显示第六音频数据的第三评测信息。
根据第三方面,或者以上第三方面的任意一种实现方式,终端设备,具体用于基于听损特征信息,确定听损模拟参数;其中,听损模拟参数包括毛细胞滤波系数;基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据。
根据第三方面,或者以上第三方面的任意一种实现方式,听损特征信息还包括:耳型滤波系数和重振系数;终端设备,具体用于基于耳型滤波系数对第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于毛细胞滤波系数,对第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于重振系数,对第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对第五中间音频数据进行耳蜗逆转换处理,以得到第二音频数据。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请还提供一种耳机,该耳机由第一用户佩戴,耳机用于:
接收试听数据;其中,试听数据包括第二用户的用户信息或听损特征信息,听损特征信息基于用户信息确定;
获取第一音频数据;
基于听损特征信息,确定听损模拟参数;其中,听损模拟参数包括毛细胞滤波系数;
基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据;
播放第二音频数据。
根据第四方面,听损模拟参数还包括:耳型滤波系数和重振系数;耳机,具体用于基于耳型滤波系数对第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于毛细胞滤波系数,对第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于重振系数,对第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对第五中间音频数据进行耳蜗逆转换处理,以得到第二音频数据。
根据第四方面,或者以上第四方面的任意一种实现方式,耳机,用于当试听数据还包括第一音频数据时,从试听数据中提取第一音频数据;当试听数据还包括音频采集启动指示时,启动音频采集模块采集第一音频数据。
根据第四方面,或者以上第四方面的任意一种实现方式,耳机,还用于在基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据之前:
当试听数据还包括助听器类型信息时,采用助听器类型信息对应的助听算法,对第一音频数据进行助听优化处理;
当试听数据还包括第一助听算法参数时,基于第一助听算法参数,对第一音频数据进行助听优化处理;
当试听数据还包括优化参数时,基于优化参数,搜索第二助听算法参数;基于第二助听算法参数,对第一音频数据进行助听优化处理。
根据第四方面,或者以上第四方面的任意一种实现方式,听损特征信息包括以下至少一种:耳型特征、听力损伤频带信息、可懂度分值、可懂度混淆矩阵或年龄衰减信息。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请实施例提供一种服务器,该服务器用于:
接收试听数据;其中,试听数据包括第二用户的用户信息或听损特征信息,听损特征信息基于用户信息确定;
获取第一音频数据;
基于听损特征信息,确定听损模拟参数;其中,听损模拟参数包括毛细胞滤波系数;
基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据;
向耳机发送第二音频数据,以由耳机播放第二音频数据,耳机由第一用户佩戴。
根据第五方面,听损模拟参数还包括:耳型滤波系数和重振系数;服务器,具体用于基于耳型滤波系数对第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于毛细胞滤波系数,对第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于重振系数,对第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对第五中间音频数据进行耳蜗逆转换处理,以得到第二音频数据。
根据第五方面,或者以上第五方面的任意一种实现方式,服务器,还用于在基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据之前:
当试听数据还包括助听器类型信息时,采用助听器类型信息对应的助听算法,对第一音频数据进行助听优化处理;
当试听数据还包括第一助听算法参数时,基于第一助听算法参数,对第一音频数据进行助听优化处理;
当试听数据还包括优化参数时,基于优化参数,搜索第二助听算法参数;基于第二助听算法参数,对第一音频数据进行助听优化处理。
根据第五方面,或者以上第五方面的任意一种实现方式,听损特征信息包括以下至少一种:耳型特征、听力损伤频带信息、可懂度分值、可懂度混淆矩阵或年龄衰减信息。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第六方面,本申请提供一种终端设备,该终端设备用于:
接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息;
接收试听操作,响应于试听操作,向耳机发送试听数据,其中,试听数据包括用户信息或听损特征信息,听损特征信息基于用户信息确定,听损特征信息用于耳机对第一音频数据进行听损模拟以得到第二音频数据,第二音频数据由耳机播放,耳机由第一用户佩戴。
根据第六方面,终端设备,还用于显示第一音频数据的第一评测信息和第二音频数据的第二评测信息。
根据第六方面,或者以上第六方面的任意一种实现方式,终端设备,还用于显示第一音频数据对应的文本信息,并基于第二音频数据对文本信息中的目标字词进行标注;其中,目标字词的可懂度分值低于可懂度阈值,和/或,目标字词的音质分值低于音质阈值的字词。
根据第六方面,或者以上第六方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收体验时间设置操作,获取体验时间设置操作对应设置的体验时间信息;其中,听损特征信息基于用户信息和体验时间信息确定。
根据第六方面,或者以上第六方面的任意一种实现方式,当试听操作为针对预设音频选项的选取操作时,试听数据还包括第一音频数据,第一音频数据为选取操作对应预设音频选项所对应的预设音频数据;当试听操作为针对实时音频选项的选取操作时,试听数据还包括音频采集启动指示,音频采集启动指示用于指示耳机进行音频采集。
根据第六方面,或者以上第六方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收助听器类型选取操作,获取助听器类型选取操作对应的助听器类型信息;其中,试听数据还包括助听器类型信息,助听器类型信息用于耳机确定助听算法,助听算法用于耳机对第一音频数据进行助听优化处理。
根据第六方面,或者以上第六方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第一参数设置操作,获取第一参数设置操作对应的第一助听算法参数;其中,试听数据还包括第一助听算法参数,第一助听算法参数用于耳机对第一音频数据进行助听优化处理。
根据第六方面,或者以上第六方面的任意一种实现方式,终端设备,还用于在接收试听操作之前,接收第二参数设置操作,获取第二参数设置操作对应的优化参数;其中,试听数据还包括优化参数,优化参数用于耳机搜索第二助听算法参数,第二助听算法参数用于耳机对第一音频数据进行助听优化处理。
根据第六方面,或者以上第六方面的任意一种实现方式,终端设备,还用于显示第六音频数据的第三评测信息;其中,第六音频数据为耳机基于听损特征信息对第一音频数据进行听损模拟所得到的。
根据第六方面,或者以上第六方面的任意一种实现方式,终端设备,还用于当在接收第一参数设置操作之前接收到第一身份选取操作时,第一参数设置操作为针对第一身份对应的第一助听算法参数的设置操作;当在接收第一参数设置操作之前接收到第二身份选取操作时,第一参数设置操作为针对第二身份对应的第一助听算法参数的设置操作。
示例性的,第一身份对应的第一助听算法参数与第二身份对应的第一助听算法参数不同;这样,不同身份的用户,可以针对不同的第一助听算法参数进行设置。其中,第一身份对应的第一助听算法参数可以包括但不限于:降噪力度、增益和EQ等,本申请对此不作限制。第二身份对应的第一助听算法参数可以包括但不限于:降噪力度、波束力度、啸叫抑制程度等,本申请对此不作限制。
示例性的,第一身份为非专业医师,第一身份为专业医师。这样,当第一用户为专业医师时,可以为第二用户配置助听效果更好助听算法参数。
根据第六方面,或者以上第六方面的任意一种实现方式,用户信息包括以下至少一种:耳型照片、听力测试数据或年龄信息。
示例性的,当第一用户为医师时,还可以上述第一用户的用户信息,如医师执照等。
示例性的,还可以上传第二用户的历史用户信息(如历史听力图、历史可懂度测试数据等),以及历史第一助听算法参数等。
第六方面以及第六方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第七方面,本申请提供一种终端设备,该终端设备用于:
接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息;
接收试听操作,响应于试听操作,获取第一音频数据以及基于用户信息生成听损特征信息;
基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据;
向耳机发送第二音频数据,以由耳机播放第二音频数据,耳机由第一用户佩戴。
应该理解的是,第七方面的终端设备,可以执行上述第三方面涉及的终端设备所执行的步骤,在此不再赘述。
此外,根据第七方面,终端设备,还用于当在接收第一参数设置操作之前接收到第一身份选取操作时,第一参数设置操作为针对第一身份对应的第一助听算法参数的设置操作;当在接收第一参数设置操作之前接收到第二身份选取操作时,第一参数设置操作为针对第二身份对应的第一助听算法参数的设置操作。
第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
需要说明的是,可以由终端设备、服务器、耳机或者其他设备来计算评测信息(可以包括第一评测信息、第二评测信息和第三评测信息),本申请对此不作限制。示例性的,当由终端设备计算评测信息时,可以由该终端设备显示评测信息,也可以将评测信息传输至其他终端设备来显示评测信息。当耳机/服务器计算评测信息时,可以将评测信息传输至该终端设备/其他终端设备来显示评测信息。此外,终端设备、服务器、耳机或者其他设备来计算评测信息计算得到评测信息后,可以存储该评测信息,以便后续查看及使用。也就是说,本申请不限制计算评测信息的电子设备的类型,也不限制评测信息的使用方式。
还需要说明的是,听损模拟、助听优化以及搜索第二助听算法参数,这三项处理操作可以解耦的;也就是说,听损模拟、助听优化以及搜索第二助听算法参数中两项及两项以上的处理操作,可以由同一设备执行,也可以由不同的设备执行,本申请对此不作限制。
第八方面,本申请提供一种一种听损模拟装置,该听损模拟装置用于:获取第一音频数据;对第一音频数据进行毛细胞滤波处理,以得到第二音频数据。
根据第八方面,听损模拟装置,具体用于基于对第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于毛细胞滤波系数,对第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;对第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对第五中间音频数据进行耳蜗逆转换处理,以得到第二音频数据。
第八方面以及第八方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第九方面,本申请实施例提供一种耳机,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得耳机执行第四方面或第四方面的任意可能的实现方式中的步骤。
第九方面以及第九方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十方面,本申请实施例提供一种服务器,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得服务器执行第五方面或第五方面的任意可能的实现方式中的步骤。
第十方面以及第十方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十一方面,本申请实施例提供一种终端设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得终端设备执行第六方面(或第七方面)或第六方面(或第七方面)的任意可能的实现方式中的步骤。
第十一方面以及第十一方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十一方面以及第十一方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十二方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从耳机的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得耳机执行第四方面或第四方面的任意可能的实现方式中的步骤。
第十二方面以及第十二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十二方面以及第十二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十三方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从服务器的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得服务器执行第五方面或第五方面的任意可能的实现方式中的步骤。
第十三方面以及第十三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十三方面以及第十三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十四方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从终端设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得终端设备执行第六方面(或第七方面)或第六方面(或第七方面)的任意可能的实现方式中的步骤。
第十四方面以及第十四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十四方面以及第十四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第四方面(或第五方面或第六方面或第七方面)或第四方面(或第五方面或第六方面或第七方面)的任意可能的实现方式中的步骤。
第十五方面以及第十五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十五方面以及第十五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十六方面,本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机指令,当计算机指令被计算机或处理器执行时,使得计算机或处理器执行第四方面(或第五方面或第六方面或第七方面)或第四方面(或第五方面或第六方面或第七方面)的任意可能的实现方式中的步骤。
第十六方面以及第十六方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十六方面以及第十六方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1a为示例性示出的应用场景示意图;
图1b为示例性示出的听损模拟系统的示意图;
图1c为示例性示出的听损模拟系统的示意图;
图1d为示例性示出的听损模拟系统的示意图;
图2为示例性示出的听损体验过程示意图;
图3a为示例性示出的手机界面示意图;
图3b为示例性示出的听损模拟系统的示意图;
图3c为示例性示出的可懂度混淆矩阵的示意图;
图3d为示例性示出的手机界面示意图;
图4a为示例性示出手机界面示意图;
图4b为示例性示出的听损模拟系统的示意图;
图5a为示例性示出的手机界面示意图;
图5b为示例性示出的手机界面示意图;
图6a为示例性示出的手机界面示意图;
图6b为示例性示出的听损模拟系统的示意图;
图7为示例性示出的手机界面示意图;
图8为示例性示出的听损体验过程示意图;
图9为示例性示出的听损体验过程示意图;
图10为示例性示出的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
图1a为示例性示出的应用场景示意图。在图1a中,示出的是听力未受损用户,体验听力受损用户所听到的音频效果的场景。应该理解的是,本申请还可以应用于听力受损程度较小的用户,体验听力受损程度较大的用户所听到的音频效果的场景;此外,本申请还可以应用于一听力未受损用户,体验另一听力未受损用户所听到的音频效果的场景,本申请对此不作限制。
参照图1a,示例性的,当听力未受损用户需要体验听力受损用户听到的音频效果时,可以连接耳机与手机,并佩戴耳机。接着,听力未受损用户可以在手机的听损模拟应用中,输入听力受损用户的用户信息,随后,即可在耳机中听到听力受损用户听到的音频。
应该理解的是,图1a中的耳机仅是本申请的一个示例,本申请涉及的耳机包括但不限于:入耳式、半开放、头戴式、颈挂式等,本申请对此不作限制。此外,图1a中的手机仅是本申请的一个示例,可以采用其他终端设备如平板电脑、笔记本电脑、智能手表等替换,本申请对此不作限制。
图1b为示例性示出的听损模拟系统的示意图。在图1b中,听损模拟系统可以包括终端设备和耳机。
示例性的,终端设备可以包括:听损模拟应用。其中,听损模拟应用可以用于提供用户交互界面;这样,听力未受损用户可以通过在听损模拟应用中输入听力受损用户的用户信息以及其他交互操作,来体验听力受损用户听到的音频效果。
示例性的,耳机可以包括:扬声器、听损模拟装置和麦克风。其中,麦克风可以用于采集音频数据;听损模拟装置可以用于根据听力受损用户的用户信息,对麦克风采集的音频数据或预设音频数据(预先存储在终端设备中,由终端设备发送给耳机)进行听损模拟,以模拟出听力受损用户所听到的音频数据;扬声器可以用于播放听损模拟装置模拟的听力受损用户所听到的音频数据。
图1c为示例性示出的听损模拟系统的示意图。在图1c中,听损模拟系统可以包括服务器、终端设备和耳机。
示例性的,终端设备可以包括:听损模拟应用。其中,听损模拟应用可以用于提供用户交互界面;这样,听力未受损用户可以通过在听损模拟应用中输入听力受损用户的用户信息以及其他交互操作,来体验听力受损用户听到的音频效果。
示例性的,服务器可以包括:听损模拟装置。听损模拟装置可以用于根据听力受损用户的用户信息,对耳机中麦克风采集的音频数据(由终端设备从耳机获取,再发送给服务器)或预设音频数据(预先存储在终端设备中且由终端设备发送给服务器;或者,预先存储在服务器中)进行听损模拟,以模拟出听力受损用户所听到的音频数据。
示例性的,服务器可以是一个服务器,也可以是由多个服务器组成的服务器集群,或其他分布式系统,本申请对此不作限制。
示例性的,耳机可以包括:扬声器和麦克风。其中,麦克风可以用于采集音频数据,扬声器可以用于播放由服务器中听损模拟装置模拟的听力受损用户所听到的音频数据(由终端设备从服务器获取,再发送给耳机)。
图1d为示例性示出的听损模拟系统的示意图。在图1d中,听损模拟系统可以包括终端设备和耳机。
示例性的,终端设备可以包括:听损模拟应用和听损模拟装置。其中,听损模拟应用可以用于提供用户交互界面;这样,听力未受损用户可以通过在听损模拟应用中输入听力受损用户的用户信息以及其他交互操作,来体验听力受损用户听到的音频效果。听损模拟装置可以用于根据听力受损用户的用户信息,对耳机中麦克风采集的音频数据(由终端设备从耳机获取)或预设音频数据(预先存储在终端设备中)进行听损模拟,以模拟出听力受损用户所听到的音频数据。
示例性的,耳机可以包括:扬声器和麦克风。其中,麦克风可以用于采集音频数据,扬声器可以用于播放由终端设备中听损模拟装置模拟的听力受损用户所听到的音频数据。
应该理解的是,图1b、图1c和图1d仅是本申请的一个示例,本申请的终端设备可以包括比图1b、图1c和图1d所示的终端设备具有更多的模块/应用;本申请的耳机可以包括比图1b、图1c和图1d所示的耳机具有更多的模块/部件;本申请的服务器可以包括比图1b、图1c和图1d所示的服务器具有更多的模块/部件;本申请对此不作限制。
以下以图1b的听损模拟系统为例,对听力未受损用户,体验听力受损用户听到的音频的效果的过程进行说明。其中,为了便于后续描述,将听力未受损用户称为第一用户,将听力受损用户称为第二用户;此外,耳机由第一用户佩戴。
图2为示例性示出的听损体验过程示意图。
S201,终端设备接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息。
图3a为示例性示出的手机界面示意图。
参照图3a(1),示例性的,301是手机的主界面,手机的主界面包括一个或多个控件,包括但不限于:应用图标(例如,浏览器应用的应用图标、听损模拟应用的应用图标302)等。
继续参照图3a(1),示例性的,用户(不限制与手机进行交互的用户,可以是第一用户,也可以是第二用户,本申请以第一用户为例进行说明)点击听损模拟应用的应用图标302,手机可以响应于第一用户的操作,显示信息录入界面303,如图3a(2)所示。示例性的,信息录入界面303包括一个或多个控件,包括但不限于:耳型照片选项、年龄选项、性别选项、听力受损时长选项、助听器佩戴时长选项、可懂度测试数据选项、听力图选项、保存选项和取消选项等。应该理解的是,信息录入界面303还可以包括其他选项或信息,本申请对此不作限制。
示例性的,第一用户可以点击耳型照片选项,录入(拍摄或从图库中选取)第二用户的耳型照片。示例性的,第一用户可以点击年龄选项,录入第二用户的年龄。示例性的,第一用户可以点击性别选项,录入第二用户的性别。示例性的,第一用户可以点击听力受损时长选项,录入第二用户的听力受损时长(单位可以为年)。示例性的,第一用户可以点击助听器佩戴时长选项,录入第二用户的助听器佩戴时长(单位可以为年)。示例性的,第一用户可以点击可懂度测试数据选项,录入第二用户的可懂度测试数据(可以进行测试以获取可懂度测试数据;或者,上传预先测试得到的可懂度测试数据)。示例性的,第一用户可以点击听力图选项,录入第二用户的听力图(可以是进行测试以获取听力图;或者,上传预先测试得到的听力图)。
示例性的,可以将第一用户点击信息录入界面303中的各选项的操作并录入对应信息的操作,称为信息录入操作;例如,点击耳型照片选项的操作和录入耳型照片的操作,可以称为信息录入操作。这样,终端设备在接收到第一用户的信息录入操作后,可以获取到第二用户的用户信息。其中,用户信息包括但不限于:耳型照片、年龄、性别、听力受损时长、助听器佩戴时长、可懂度测试数据和听力图等。
应该理解的是,信息录入界面303可以包括上述耳型照片选项、年龄选项、性别选项、听力受损时长选项、助听器佩戴时长选项、可懂度测试数据选项和听力图选项中的任意一项或多项。对应的,用户信息可以包括耳型照片、年龄、性别、听力受损时长、助听器佩戴时长、可懂度测试数据和听力图中的任意一种或多种信息。
S202,终端设备接收试听操作,响应于试听操作,向耳机发送试听数据;其中,试听数据包括用户信息或听损特征信息,听损特征信息基于用户信息确定。
示例性的,待第一用户完成信息录入后,可以点击信息录入界面303中的保存选项,手机可以响应于第一用户的操作,显示功能选择界面304,如图3a(3)所示。示例性的,功能选择界面304包括一个或多个控件,包括但不限于:听损效果体验选项、助听效果体验选项、第一配验选项和第二配验选项等。应该理解的是,功能选择界面304还可以包括其他选项或信息,本申请对此不作限制。
示例性的,第一用户可以点击听损效果体验选项,进行听损效果体验,即体验听力受损用户(即第二用户)听到的音频效果。待第一用户点击听损效果体验选项(即执行听损效果体验操作)后,手机可以接收到听损效果体验操作;接着,可以响应于听损效果体验操作,显示听损体验界面305,如图3a(4)所示。示例性的,听损体验界面305包括一个或多个控件,包括但不限于:场景音频选项(如洗碗场景音频选项、菜场场景音频选项、实时音频选项等)、体验时间设置选项、第二用户的卡通图像等。应该理解的是,听损体验界面305还可以包括其他选项或其他信息(如第二用户的用户信息如性别、年龄、听力受损时长等等),本申请对此不作限制。需要说明的是,图3a(4)中转盘位于手机之外的部分实际是隐藏的,本申请为了说明场景音频选项包括多个,示出了完整的转盘。此外,第一用户可以通过转动转盘,来选择对应的场景音频。
示例性的,第一用户可以在听损体验界面305中,选取洗碗场景音频选项,这样,第一用户可以体验第二用户处于洗碗场景中所听到的音频效果。示例性的,第一用户可以选取菜场场景音频选项,这样,第一用户可以体验第二用户处于菜场时所听到的音频效果。示例性的,第一用户可以选取实时音频选项,这样,第一用户可以体验第二用户处于当前场景实时听到的音频效果。
示例性的,可以将第一用户针对场景音频选项的选取操作,称为试听操作。当第一用户执行试听操作后,手机可以响应于试听操作,向耳机发送试听数据。
示例性的,可以预先获取预设音频场景对应的预设音频数据,其中,预设音频场景可以是指可以是能够预先获取对应预设音频数据的场景,如上述洗碗场景、菜场场景等等,不包括实时音频场景。这样,当第一用户针对预设音频场景对应的场景音频选项(如洗碗场景音频选项、菜场场景音频选项等)执行选取操作时,终端设备向耳机发送的试听数据可以包括第一用户选取的预设音频场景对应的预设音频数据。
示例性的,当第一用户针对实时音频场景对应的场景音频选项执行选取操作时,终端设备向耳机发送的试听数据可以包括音频采集指示,音频采集指示用于指示耳机进行音频采集。
此外,终端设备向耳机发送的试听数据还可以包括:第二用户的用户信息或听损特征信息;其中,听损特征信息可以是指用于确定听损模拟装置进行听损模拟所需的参数的信息,可以基于第二用户的用户信息确定。示例性的,听损特征信息可以包括但不限于:耳型特征(如耳廓长度、耳廓宽度、耳廓深度、耳朵类型等)、听力损伤频带信息、可懂度分值、可懂度混淆矩阵、年龄衰减信息(如年龄、性别、听力受损时长和佩戴助听器时长)等等,本申请对此不作限制。
图3b为示例性示出的听损模拟系统的示意图。
参照图3b,示例性的,可以通过对耳型照片进行分析,提取出耳廓长度、耳廓宽度、耳廓深度、耳朵类型等耳型特征。其中,耳朵类型可以包括多种,例如:杯形耳、菜花耳、兜风耳等本申请对此不作限制。应该理解的是,本申请对耳型特征不作限制。
参照图3b,示例性的,可以通过对听力图进行分析,提取各子带(即不同频率范围下)听力损伤程度(单位为dB),作为听力损伤频带信息。
参照图3b,示例性的,可以通过对可懂度测试数据进行分析,确定可懂度分值和可懂度混淆矩阵。其中,音频数据的可懂度分值越高,表示音频数据越容易被听懂。
示例性的,可以采用多条测试音频数据,对第二用户进行可懂度测试;之后,再基于可懂度测试数据,确定可懂度混淆矩阵。
例如,测试音频数据为50条,则得到的可懂度混淆矩阵可以如图3c所示。在图3c中,纵坐标为测试音频数据中包含的音节,横坐标为第二用户听到的音节。其中,圆A表示测试音频数据中音节h,被第二用户听成音节h的统计结果(即第二用户听到音节h的次数,与50条测试音频数据中拼音包含音节h的文字的数量的比值;圆越大,比值越大)。圆B表示测试音频数据中音节h,被第二用户听成音节g的统计结果。图3c的可懂度混淆矩阵对角线上的圆越大,说明第二用户听力受损程度越小。
S203,耳机获取第一音频数据。
示例性的,耳机接收到试听数据后,当确定试听数据中包括预设音频数据时,可以从试听数据中提取出预设音频数据,作为第一音频数据。当确定试听数据中包括音频采集指示时,可以响应于该音频采集指示,启动耳机中的麦克风,这样,由麦克风采集实时音频数据,将麦克风采集的实时音频数据,作为第一音频数据。
S204,耳机基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据。
示例性的,当试听数据中包括听损特征信息时,耳机可以基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据。当试听数据中包括用户信息时,耳机可以基于用户信息确定听损特征信息,再基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据。也就是说,本申请不限制是由终端设备基于用户信息确定听损特征信息,还是由耳机基于用户信息确定听损特征信息。
示例性的,耳机可以调用听损模拟装置,基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据。示例性的,听损模拟装置可以基于听损特征信息,确定听损模拟参数;接着,基于听损模拟参数,对第一音频数据进行听损模拟,以得到第二音频数据。
示例性的,耳蜗(可以包括毛细胞(包括内毛细胞(inner hear cell,IHC)和外毛细胞(outer hear cell,OHC))能够对音频进行调制,是用户能够听清音频内容的关键之一;进而在听损模拟装置中可以设置用于模拟IHC和OHC对音频调制的毛细胞滤波模块(或者称为毛细胞滤波组(hair cell filter group)),采用毛细胞滤波模块,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据。
示例性的,听损模拟参数可以包括毛细胞滤波系数。可以基于听力损伤频带信息、可懂度分值、可懂度混淆矩阵和年龄衰减信息,确定IHC与OHC的具体数值(或者确定IHC与OHC的数量比值);再基于IHC与OHC的具体数值(或者IHC与OHC的数量比值),确定毛细胞滤波系数;接着,毛细胞滤波模块可以基于毛细胞滤波系数,对第一音频数据进行毛细胞滤波处理,以得到第二音频数据。
再次参照图3b,示例性的,听损模拟装置包括:耳型迁移(Ear-shaped featuresimulation)模块、耳蜗转换(Cochlear conversion)模块、毛细胞滤波模块、频谱涂抹(spectral smearing)模块、响应重振(loudness recruitment)模块和耳蜗逆转换(cochlear reverse Conversion)模块。
需要说明的是,在图2的实施例中,听损模拟装置位于耳机内,听损模拟装置可以基于耳机内的DSP(Digital signal processor,数字信号处理器)实现。
示例性的,耳型迁移模块可以用于基于耳型特征进行耳型迁移处理。具体地,听损模拟参数还可以包括耳型滤波系数。耳机/终端设备可以基于耳型特征,确定耳型滤波系数。
一种可能的方式中,耳机/终端设备可以基于由第二用户的耳型照片所确定的耳型特征,确定耳型滤波参数。一种可能的方式中,还可以在信息录入界面303中录入第一用户耳型照片并确定对应的耳型特征;这种情况下,耳机/终端设备可以基于由第二用户的耳型照片所确定的耳型特征,和由第一用户的耳型照片所确定的耳型特征,确定耳型滤波参数。例如,可以确定基于由第二用户的耳型照片所确定的耳型特征,和由第一用户的耳型照片所确定的耳型特征之间的相关度;接着,基于该相关度,确定耳型滤波参数。
接着,耳机内的耳型迁移模块可以基于耳型滤波系数,对第一音频数据进行滤波处理(或者称为调制),以得到第一中间音频数据。一种可能的方式中,可以预先设置多组预设耳型滤波系数,接着,从多组预设耳型滤波系数中,选取与耳型特征匹配的耳型滤波系数。一种可能的方式中,可以根据耳型特征进行计算,以确定耳型滤波系数。
示例性的,耳蜗转换模块可以用于进行类似耳蜗生理机制的信号处理。具体地,耳蜗转换模块可以采用耳蜗转换滤波系数对第一中间音频数据的各频段的能量分布进行滤波处理,使滤波后的第一中间音频数据(后续称为第二中间音频数据)的能量分布特征,趋近于标准耳蜗信号处理后的能量分布特征。
示例性的,毛细胞滤波模块可以用于对第二中间音频数据进行毛细胞滤波,以得到第三中间音频数据。
示例性的,频谱涂抹模块可以用于频谱涂抹,即先对该第三中间音频数据作频域转换;接着,降低、随机化该第三中间音频数据某个时频谱区域内的时频谱分辨率,以得到第四中间音频数据。示例性的,耳机可以根据听力损伤频带信息、可懂度分值、可懂度混淆矩阵、和年龄衰减信息,确定内侧橄榄耳蜗反射(medial olivocochlear reflex,MOCR)参数,以及确定低、中和高自发率听觉神经纤维的分布(low,medium,and high spontaneousrate,LSR)参数。接着,频谱涂抹模块可以基于IHC与OHC的具体数值(或者确定IHC与OHC的数量比值)、MOCR参数和LSR参数中的至少一种,进行频谱涂抹。
示例性的,响度重振模块可以基于重振系数进行滤波处理。具体的,损模拟参数还可以包括重振系数。耳机可以根据听力损伤频带信息、可懂度分值、可懂度混淆矩阵、和年龄衰减信息,确定MOCR参数和LSR参数。接着,根据IHC与OHC的具体数值(或者确定IHC与OHC的数量比值)、MOCR参数和LSR参数中的至少一种,来确定重振系数。之后,响度重振模块截图根据重振系数,对进行第四中间音频数据进行滤波处理,以得到第五中间音频数据。
示例性的,耳蜗逆转换模块可以用于将音频信号进行类似逆向耳蜗生理机制的信号处理,达到输出模拟听损患者听到的声信号的目的;可以是耳蜗转换模块的逆过程。具体地,耳蜗逆转换模块可以采用耳蜗逆转换滤波系数对第五中间音频数据进行滤波处理,使滤波后的第五中间音频数据(即第二音频数据)的能量分布特征趋近于标准耳蜗信号逆向处理后的能量分布特征。
基于上述描述可知,本申请考虑到了耳朵内/外毛细胞、耳蜗反射等实际听觉链路,且考虑到了音频可懂度、听力损伤程度、年龄等对听觉链路中的生理学参数的影响;因此相对于现有技术而言,本申请的听损模拟装置的听损模拟,更符合听觉外周生理学流程,进而能够模拟出与听力受损用户所听到的音频数据更接近的音频数据。
应该理解的是,听损模拟装置还可以包括比图3b示出的更多或更少的模块,本申请对此不作限制。
S205,耳机播放第二音频数据。
接着,耳机可以将第二音频数据发送给扬声器,由扬声器播放第二音频数据。进而第一用户佩戴耳机即可听到第二用户所听到的音频数据,体验第二用户所听到的音频数据的效果。
这样,第一用户可以参照上述方式,在图3a(4)中听损体验界面305中,选取不同的场景音频选项,来体验不同场景中,第二用户所听到的音频数据。
在家庭场景中,第一用户和第二用户可以均为家庭成员,第二用户为爷爷,第一用户为孙子。在孙子体验爷爷所听到的音频效果,感知到爷爷的感受,以及听力损伤带来的生活不便后,能够促使孙子为爷爷购买助听器;以及增加孙子与爷爷沟通的耐心,并在与爷爷的沟通过程中,提高音量、语句重复次数以及降低语速。
在其他场景,如工作场景中,第一用户为人事部员工,第二用户为后勤部员工。在人事部员工体验后勤部员工所听到的音频数据的效果后,可以感知到后勤部员工的感受,以及听力损伤带来的生活、工作不便后,能够促使人事部员工增加与后勤部员工沟通的耐心,以及在与后勤部员工的沟通过程中,提高音量、语句重复次数以及降低语速。
再次参照图3a(4),示例性的,听损体验界面305中的体验时间设置选项可以是滑动控件,滑动控件可以包括滑动条、滑块和刻度,每个刻度为一个时间点。图3a(4)中滑动控件包括4个刻度:5年前、当前、5年后和10年后。当第一用户将滑动控件中的滑块滑动到某个刻度时,可以来体验第二用户处于该刻度对应的年龄时所听到的音频效果。示例性的,当第一用户将体验时间设置选项对应滑动控件中的滑块滑动到某个刻度(即执行体验时间设置操作)后,手机可以接收到体验时间设置操作,并确定滑块所在刻度对应的时间点;然后,将滑块所在刻度对应的时间点,确定为体验时间信息(即获取体验时间信息)。例如,刻度对应的时间点为5年前,则体验时间信息为-5年;刻度对应的时间点为当前,则体验时间信息为0年;刻度对应的时间点为5年后,则体验时间信息为+5年;刻度对应的时间点为10年后,则体验时间信息为+10年。这种情况下,年龄衰减信息中的年龄可以是用户信息中的年龄与体验时间信息之间的和值。也就是说,此时,听损特征信息可以根据用户信息和体验时间信息确定。这种情况下,试听数据还可以包括体验时间信息。
示例性的,终端设备在接收试听操作后,还可以在听损体验界面305显示第一音频数据对应的文本信息,并基于第二音频数据对文本信息中的目标字词进行标注;目标字词的可懂度分值低于可懂度阈值,和/或,目标字词的音质分值低于音质阈值的字词。这样,便于第一用户获知第二用户听不到或听不清哪些字词的音频。其中,可懂度阈值、音质阈值可以按照需求设置,本申请对此不作限制。
示例性的,由于终端设备中预先存储了预设音频数据,因此终端设备可以预先对预设音频数据进行语音识别,确定对应的文本信息。进而,当接收到针对预设场景音频选项的选取操作后,终端设备可以显示第一音频数据对应的文本信息。当然,终端设备也可以在接收到针对预设场景音频选项的选取操作后,对第一音频数据进行语音识别,确定对应的文本信息并显示。
示例性的,当接收到针对实时音频选项的选取操作后,终端设备可以从耳机获取第一音频数据,然后对第一音频数据进行语音识别,确定对应的文本信息并显示。
示例性的,终端设备可以从耳机获取第二音频数据,然后对第二音频数据进行可懂度分值和音质评分,以确定每个字词的可懂度分值和音质分值。接着,可以将可懂度分值低于可懂度阈值,和/或,音质分值低于音质阈值的字词,确定为目标字词,并在第一音频数据对应的文本信息中进行标注。
图3d为示例性示出的手机界面示意图。图3d(1)的听损体验界面305中第一音频数据对应的文本信息为“今天的天气很好,广场上跳舞的人很多,居委会组织了舞蹈比赛”;其中,目标字词包括:“天气很好”、“跳舞”、“舞蹈比赛”。此时,可以采用其他颜色对目标字词进行标注,如图3d(1)中,第一音频数据对应的文本信息为黑色,目标字词为灰色。应该理解的是,对目标字词进行标注的方式可以包括多种,如添加下划线,加粗等方式,本申请对此不作限制。
示例性的,终端设备可以对第一音频数据进行客观评测,以得到第一评测信息;以及对第二音频数据进行客观评测,以确定第二评测信息;显示第一评测信息和第二评测信息;其中,第一评测信息包括第一可懂度分值和/或第一音质分值,第二评测信息包括第二可懂度分值和/或第二音质分值。这样,可以量化正常人和听力受损人的听力差距,更好的帮助第二用户设身处地感受第一用户的生活不便,进而提升关怀与后续的助听器购买驱动力。
参照图3d(2),示例性的,图3d(2)的听损体验界面305中显示有第一可懂度分值和第一音质分值,如白色矩形所示;其中,白色矩形中的“1”表示第一可懂度分值,白色矩形中的“2”表示第一音质分值。以及显示有第二可懂度分值和第二音质分值,如灰色矩形所示;其中,灰色矩形中的“1”表示第二可懂度分值,灰色矩形中的“2”表示第二音质分值。
示例性的,终端设备可以先第一音频数据进行客观评测,得到初始评测信息;再根据体验时间信息对初始评测信息进行修正,以得到第一评测信息。例如,预先建立体验时间信息,与修正因子之间的映射关系;例如,映射关系为:{(0,1)、(+5,0.85)、(+10,0.75)、(-5,1.15)}。其中,(0,1)表示体验时间信息为0时,对应的修正因子为1;(+5,0.85)表示体验时间信息为+5时,对应的修正因子为0.58;(+10,0.75)表示体验时间信息为+10时,对应的修正因子为0.75;(-5,1.15)表示体验时间信息为-5时,对应的修正因子为1.15。接着,可以将初始评测信息与修正因子之间的乘积值,作为第一评测信息。
例如,当第一用户将滑动控件中的滑块滑动到“当前”这个刻度时,可以在听损体验界面305显示当前对应的第二可懂度分值与第二音质分值,以及显示当前对应的第一可懂度分值与第一音质分值。
例如,当第一用户将滑动控件中的滑块滑动到“5年前”这个刻度时,可以在听损体验界面305显示5年前对应的第二可懂度分值与第二音质分值,以及显示5年前对应的第一可懂度分值与第一音质分值。
例如,当第一用户将滑动控件中的滑块滑动到“5年后”这个刻度时,可以在听损体验界面305显示5年后对应的第二可懂度分值与第二音质分值,以及显示5年后对应的第一可懂度分值与第一音质分值。
例如,当第一用户将滑动控件中的滑块滑动到“10年后”这个刻度时,可以在听损体验界面显示10年后对应的第二可懂度分值与第二音质分值,以及显示10年后对应的第一可懂度分值与第一音质分值。
示例性的,耳机还可以在播放第二音频数据之前或之后,播放第一音频数据。这样,能够便于第一用户对正常人听到的音频数据和听力受损用户听到的音频数据进行比对,更好的体验正常人听到的音频数据和听力受损用户听到的音频数据的区别。
图4a为示例性示出手机界面示意图。
再次参照图3a(2),示例性的,第一用户可以点击助听效果体验选项,进行助听效果体验,即体验第二用户使用助听器后所听到的音频效果,以为第二用户配置合适类型的助听器。待第一用户点击助听效果体验选项(即执行助听效果体验操作)后,手机可以接收到助听效果体验操作;接着,手机可以响应于助听效果体验操作,显示助听体验界面400,如图4a(1)所示。参照图4a(1),助听体验界面400可以包括一个或多个控件,包括但不限于:场景音频选项(如洗碗场景音频选项、菜场场景音频选项、实时音频选项等)、体验时间设置选项、第二用户的卡通图像、助听器类型选项(如助听器A1、助听器A2和助听器A3等;其中,A1、A2和A3是助听器的型号))等。应该理解的是,助听体验界面400还可以包括其他选项或其他信息(如第二用户的用户信息如性别、年龄、听力受损时长等等),本申请对此不作限制。
示例性的,在助听体验界面400中,第一用户可以先从多个助听器类型选项中,针对一个助听器类型选项执行选取操作(即执行助听器类型选取操作),此时,手机可以获取到第一选取的助听器类型选项所对应的助听器类型信息。接着,可以将体验时间设置选项对应滑动控件中的滑块滑动到某个刻度(即执行体验时间设置操作),此时,手机可以获取到体验时间信息(可选步骤)。之后,可以从多个场景音频选项中,针对一场景音频选项执行选取操作(即执行试听操作),此时,手机可以响应于试听操作,向耳机发送试听数据,即执行S202。这种情况下,试听数据还可以包括助听器类型信息。应该理解的是,本申请不限制第一用户执行助听器类型选取操作与执行体验时间设置操作的顺序。
图4b为示例性示出的听损模拟系统的示意图。图4b是在图3b的基础上示出的,其中,助听装置可以位于耳机内,助听装置可以基于耳机的DSP实现。其中,助听装置可以用于调用助听算法对音频数据进行助听优化处理,以提高音频的可懂度和音质。
参照图4b,示例性的,耳机接收到试听数据之后,可以获取第一音频数据,以及当确定试听数据中包含助听器类型信息时,可以启动助听装置;此时,助听装置可以调用助听器类型信息对应的助听算法,对第一音频数据进行助听优化处理,以得到第三音频数据并输出第三音频数据至听损模拟装置。随后,听损模拟装置基于听损特征信息对第三音频数据进行听损模拟处理,以得到第二音频数据;可以参照上述的描述,在此不再赘述。
示例性的,耳机还可以基于听损特征信息对第一音频数据进行听损模拟,以得到第六音频数据;接着,播放第六音频数据。这样,第一用户可以比对第二用户未经过助听器听到的音频效果和第二用户经过助听器听到的音频效果,了解助听器对第二用户的作用,进一步促使第一用户为第二用户购买助听器。
一种可能的方式中,助听体验界面400中可以设置有助听开关,默认情况下,助听开关为开启状态;此时,耳机仅播放第一音频数据和第二音频数据。当第一用户需要比对经过助听优化和听损模拟后的第二音频数据,和仅经过听损模拟后的第六音频数据时,可以将助听开关设置为关闭状态,此时,耳机仅播放第一音频数据和第六音频数据。
一种可能的方式中,助听体验界面400中也可以不设置有助听开关;这样,耳机可以依次播放第一音频数据、第二音频数据和第六音频数据。
示例性的,耳机可以向终端设备发送第六音频数据。终端设备接收到第六音频数据后,可以对第六音频数据进行客观评测,以得到第三评测信息。其中,第三评测信息可以包括第三可懂度分值和/或第三音质分值。示例性的,终端设备还可以在助听体验界面400中,显示第一评测信息、第二评测信息和第三评测信息;具体可以参照上述的描述,在此不再赘述。
参照图4a(2),示例性的,图4a(2)的助听体验界面400中显示有第一可懂度分值和第一音质分值,如白色矩形所示;其中,白色矩形中的“1”表示第一可懂度分值,白色矩形中的“2”表示第一音质分值。以及显示有第二可懂度分值和第二音质分值,如黑色矩形所示;其中,黑色矩形中的“1”表示第二可懂度分值,黑色矩形中的“2”表示第二音质分值。以及显示有第三可懂度分值和第三音质分值,如灰色矩形所示;其中,黑色矩形中的“1”表示第三可懂度分值,黑色矩形中的“2”表示第三音质分值。
这样,第一用户可以参照上述方式,在图4a(1)中助听体验界面400中,选取不同的助听器类型选项,来体验第二用户佩戴不同类型助听器时所听到的音频效果;并结合主观感受和客观评测信息(可以包括第一评测信息、第二评测信息和第三评测信息),选取效果最优的助听器类型,为第一用户配置最合适类型的助听器。
一种可能的方式中,耳机可以作为助听器,第一用户确定效果最优的助听器类型后,可以在图4a(1)中助听体验界面400中,选取对应的助听器类型选项;这样,后续第二用户使用耳机助听过程中,耳机中的助听装置可以调用助听器类型选项对应的助听算法进行助听优化处理,并将经助听优化处理所得到的第三音频数据发送至扬声器播放(此时,听损模拟装置不运行)。
一种可能的方式中,第一用户确定效果最优的助听器类型后,可以按照效果最优的助听器类型,购买助听器。
需要说明的是,在图4a和图4b的实施例中,第二评测信息除了可以包括第二可懂度分值和第二音质分值之外,还可以包括根据相关标准(例如,助听器国际标准、助听器国家标准、助听器行业标准以及助听器团体标准等)中针对助听器效果(或功能或性能)的相关要求,对第二音频数据进行测试得到的信息;例如,第二测评信息还可以包括:噪声抑制能力、抗啸叫能力、频率响应范围、真耳插入增益、满档声增益等等,本申请对此不作限制。
图5a为示例性示出的手机界面示意图。
再次参照图3a(3),示例性的,第一用户可以点击第一配验选项,来为第二用户配验助听算法参数。示例性的,专业医师和普通用户对音频领域的知识掌握不同,因此专业医师和普通用户配验的助听算法参数可以不同。待第一用户点击第一配验选项(即执行第一配验操作)后,手机可以接收到第一配验操作;接着,可以响应于第一配验操作,显示身份选取界面501,如图5a(1)所示。参照图5a(1),身份选取界面501可以包括一个或多个控件,包括但不限于:医师模式选项和普通模式选项,本申请对此不作限制。
示例性的,当第一用户为普通用户(非专业医师)时,可以在身份选取界面501中选取普通模式。待用户点击普通模式选项(即执行第一身份选取操作)后,手机可以响应于第一用户的操作,显示第一参数配置界面502,如图5a(2)所示。参照图5a(2),第一参数配置界面502可以包括一个或多个控件,包括但不限于:场景音频选项(如洗碗场景音频选项、菜场场景音频选项、实时音频选项等)、体验时间设置选项、第二用户的卡通图像、第一参数配置项(如降噪力度配置项、增益(响度)配置项以及均衡器(Equalisation,EQ)配置项)等。应该理解的是,第一参数配置界面502还可以包括其他选项或其他信息(如第二用户的用户信息如性别、年龄、听力受损时长等等),本申请对此不作限制。
需要说明的是,由于降噪和响度是相互作用相互影响并共同作用助听效果的,因此在图5a(2)中,将降噪力度配置项和响度配置项耦合为一个控件(如图5a(2)中的响度+降噪调整控件)。在其他实施例中,降噪力度配置项和响度配置项可以是相互独立的两个控件,本申请对此不作限制。
参照图5a(2),示例性的,用户可以调整响度+降噪调整控件中的虚拟操控按钮的位置,来调整响度和降噪力度;对应的,手机可以通过读取响度+降噪调整控件中的虚拟操控按钮的横纵坐标,来获取对应的降噪力度与响度。
参照图5a(2),示例性的,在第一参数配置界面502中,第一用户可以先将体验时间设置选项对应滑动控件中的滑块滑动到某个刻度,此时,手机可以获取到体验时间信息。之后,可以针对一个或多个第一参数配置项进行设置(即执行第一参数设置操作),此时,手机可以获取到第一身份对应的第一助听算法参数。其中,针对第一用户本次设置的第一参数配置项,可以获取第一用户本次设置的第一助听算法参数;针对第一用户本次未设置的第一参数配置项,可以获取第一用户历史设置的第一助听算法参数或默认的第一助听算法参数;第一身份对应的第一助听算法参数是第二助听算法参数(第二助听算法参数是助听算法进行计算所需的所有参数)的一部分。接着,第一用户可以从多个场景音频选项中,选取一场景音频选项(即执行试听操作),此时,手机可以响应于试听操作,向耳机发送试听数据,即执行S202。这种情况下,试听数据还可以包括第一身份对应的第一助听算法参数;其中,第一身份对应的第一助听算法参数可以包括但不限于:降噪力度、增益和EQ等,本申请对此不作限制。
之后,耳机接收到试听数据后,可以获取第一音频数据,以及当确定试听数据包括第一助听算法参数时,可以启动助听装置,由助听装置进行助听优化处理;具体的,助听装置采用助听算法,基于第一助听算法参数和其他助听算法参数(助听算法所需的所有参数中除第一助听算法参数之外的参数),对第一音频数据进行助听优化处理,以得到第四音频数据并输出第四音频数据至听损模拟装置。随后,听损模拟装置基于听损特征信息对第四音频数据进行听损模拟处理,以得到第二音频数据;可以参照上述的描述,在此不再赘述。
示例性的,终端设备还可以在第一参数配置界面502中,实时显示客观评测信息,如图5a(3)中的实时客观评分分值框中所示的曲线。客观评测信息是基于可懂分值和音质分值确定的,5a(3)的实时客观评分分值框中,位于上面的曲线是基于助听装置输出的经助听优化处理所得到的第四音频数据确定的,位于下面的曲线是基于听损模拟装置输出的第二音频数据确定的(即基于第二评测信息确定的;其中,第二评测信息除了可以包括第二可懂度分值和第二音质分值之外,还可以包括根据相关标准(例如,助听器国际标准、助听器国家标准、助听器行业标准以及助听器团体标准等)中针对助听器效果(或功能或性能)的相关要求,对第二音频数据进行测试得到的信息;例如,第二测评信息还可以包括:噪声抑制能力、抗啸叫能力、频率响应范围、真耳插入增益、满档声增益等等,本申请对此不作限制)。
这样,第一用户可以参照上述方式,在图5a(2)中第一参数配置界面502中,针对第一参数配置项进行不同的配置,来体验第二用户佩戴助听算法参数不同的助听器后所听到的音频数据;并结合主观感受和客观评测信息(可以包括第二评测信息),选取最优的第一助听算法参数,进而可为第一用户配置合适的助听算法参数。
一种可能的方式中,耳机可以作为助听器,第一用户确定效果最优的第一助听算法参数后,可以在图5a(2)中第一参数配置界面502中,按照最优的第一助听算法参数针对第一参数配置项进行配置;这样,后续第二用户使用耳机助听过程中,耳机中的助听装置的助听算法可以采用效果最优的第一助听算法参数和其他助听算法参数进行助听优化处理,并将经助听优化处理所得到的第四音频数据发送至扬声器播放(此时,听损模拟装置不运行)。
一种可能的方式中,第一用户确定效果最优的第一助听算法参数后,可以按照效果最优的第一助听算法参数,购买助听器。
图5b为示例性示出的手机界面示意图。
参照图5b(1),示例性的,当第一用户为专业医师时,可以在身份选取界面501中选取医师模式。待用户点击医师模式选项(即执行第二身份选取操作)后,手机可以响应于第二身份选取操作,显示第二参数配置界面503,如图5b(2)所示。参照图5b(2),第二参数配置界面503可以包括一个或多个控件,包括但不限于:场景音频选项(如词表1选项、词表2选项、...、句表1选项、句表2选项、...、音乐表1选项、音乐表2选项等)、体验时间设置选项、第二参数配置项(如降噪力度配置项、波束力度配置项以及啸叫抑制配置项)等。应该理解的是,第二参数配置界面503还可以包括其他选项或其他信息(如第二用户的用户信息如性别、年龄、听力受损时长等等),本申请对此不作限制。
参照图5b(2),示例性的,在第二参数配置界面503中,第一用户可以先将体验时间设置选项对应滑动控件中的滑块滑动到某个刻度,此时,手机可以获取到体验时间信息。之后,可以针对一个或多个第二参数配置项进行设置(即执行第一参数设置操作),此时,手机可以获取到第二身份对应的第一助听算法参数。其中,针对第一用户本次设置的第二参数配置项,可以获取第一用户本次设置的第一助听算法参数;针对第一用户本次未设置的第二参数配置项,可以获取第一用户历史设置的第一助听算法参数或默认的第一助听算法参数;第二身份对应的第一助听算法参数是第二助听算法参数的一部分。接着,第一用户可以从多个场景音频选项中,选取一场景音频选项(如词表2选项)(即执行试听操作),此时,手机可以响应于试听操作,向耳机发送试听数据,即执行S202。这种情况下,试听数据还可以包括第二身份对应的第一助听算法参数;其中,第二身份对应的第一助听算法参数可以包括但不限于:降噪力度、波束力度、啸叫抑制程度等,本申请对此不作限制。
之后,耳机接收到试听数据后,可以获取第一音频数据,以及当确定试听数据包括第一助听算法参数时,可以启动助听装置,由助听装置进行助听优化处理;具体的,助听装置调用助听算法,基于第一助听算法参数和其他助听算法参数,对第一音频数据进行助听优化处理,以得到第四音频数据并输出第四音频数据至听损模拟装置。随后,听损模拟装置基于听损特征信息对第四音频数据进行听损模拟处理,以得到第二音频数据;可以参照上述的描述,在此不再赘述。
示例性的,终端设备还可以在第二参数配置界面503中,实时显示客观评测信息,如图5b(3)所示。客观评测信息是基于可懂分值和音质分值确定的,5b(3)的实时客观评测信息框中,位于上面的曲线是基于助听装置输出的经助听优化处理所得到的第四音频数据确定的,位于下面的曲线是基于听损模拟装置输出的第二音频数据确定的(即基于第二评测信息确定的;其中,第二评测信息除了可以包括第二可懂度分值和第二音质分值之外,还可以包括根据相关标准(例如,助听器国际标准、助听器国家标准、助听器行业标准以及助听器团体标准等)中针对助听器效果(或功能或性能)的相关要求,对第二音频数据进行测试得到的信息;例如,第二测评信息还可以包括:噪声抑制能力、抗啸叫能力、频率响应范围、真耳插入增益、满档声增益等等,本申请对此不作限制)。
示例性的,终端设备还可以显示主观打分输入项,第一用户可以在主观打分输入项中进行主观打分。例如,第一用户通过耳机收听到一个场景音频选项(例如词表2选项)的音频后,可以在主观打分输入项中输入每一个词语的全拼与音调;终端设备接收到第一用户在主观打分输入项中输入的信息后,统计正确率,作为主观打分分值。
这样,第一用户可以参照上述方式,在图5b(2)中第二参数配置界面503中,针对第二参数配置项进行不同的配置,来体验第二用户佩戴助听算法参数不同的助听器后所听到的音频数据;并结合主观感受和客观评测信息(可以包括第二评测信息),选取最优的第一助听算法参数,进而可为第一用户配置合适的助听算法参数。
一种可能的方式中,耳机可以作为助听器,第一用户确定效果最优的第一助听算法参数后,可以在图5b(2)中第二参数配置界面503中,按照最优的第一助听算法参数针对第二参数配置项进行配置;这样,后续第二用户使用耳机助听过程中,耳机中的助听装置的助听算法可以采用效果最优的第一助听算法参数和其他助听算法参数进行助听优化处理,并将经助听优化处理所得到的第四音频数据发送至扬声器播放(此时,听损模拟装置不运行)。
一种可能的方式中,第一用户确定效果最优的第一助听算法参数后,可以按照效果最优的第一助听算法参数,购买助听器。
可选地,当第一用户点击身份选取界面501中的医师模式选项时,手机可以响应于第一用户的操作,显示信息录入界面504,如图5b(4)所示。参照图5b(4),示例性的,信息录入界面504可以包括一个或多个控件,包括但不限于:医师执照选项、历史数据选项、保存选项和取消选项等等,本申请对此不作限制。
参照图5b(4),示例性的,第一用户可以在信息录入界面504中点击医师执照选项,上传医师执照;此时,手机可以获取到医师执照。示例性的,第一用户可以在信息录入界面504中点击历史数据选项,上传第二用户的历史用户信息(如历史听力图、历史可懂度测试数据等);此时,手机可以获取到第二用户的历史用户信息。其中,第二用户的历史用户信息,可以作为医师对第二参数配置项进行配置的参考。待手机确定医师执照通过验证后,可以显示信息保存提示信息;此时,第一用户即可在信息录入界面504中点击保存选项,手机可以响应于第一用户的操作,显示第二参数配置界面503,如图5b(2)所示。
图6a为示例性示出的手机界面示意图。
再次参照图3a(2),示例性的,第一用户可以点击第二配验选项,由听损模拟系统来为第二用户自动配验助听算法参数。示例性的,待第一用户点击第二配验选项(即执行第二配验操作)后,手机可以接收到第二配验操作,显示第三参数配验界面600,如图6a(1)所示。参照图6a(1),第三参数配置界面600可以包括一个或多个控件,包括但不限于:场景音频选项(如词表1选项、词表2选项、...、句表1选项、句表2选项、...、音乐表1选项、音乐表2选项等)、第三参数配置项(epoch(时期)总数配置项、搜参算法配置项、参数空间配置项、线程数配置项、Loss(损失)函数配置项、Loss预期值配置项、循环时间上限配置项等等)。应该理解的是,第三参数配置界面600还可以包括其他选项或其他信息(如第二用户的用户信息如性别、年龄、听力受损时长等等),本申请对此不作限制。
其中,epoch,是指一个搜索(循环/迭代)周期。搜参算法可以包括但不限于:TPE(Tree-structured Parzen Estimator,一种利用高斯混合模型来学习超参模型的方法)算法、随机搜索(random search)算法、退火(Anneal)算法、朴素进化(Naive evolution)算法等等,本申请对此不作限制。参数搜索空间,是指助听算法参数的范围,例如助听算法增益参数∈[-10dB,10dB]。并行线程数:执行助听算法参数搜索循环迭代过程中,用到的并行线程的数量。
参照图6a(1),示例性的,在第三参数配置界面600中,可以针对一个或多个第三参数配置项进行设置(即执行第二参数设置操作),此时,手机可以获取到优化参数。其中,针对第一用户本次设置的第三参数配置项,可以获取第一用户本次设置的优化参数;针对第一用户本次未设置的第三参数配置项,可以获取第一用户历史设置的优化参数或默认的优化参数;优化参数是用于搜索第二助听算法参数的参数。接着,第一用户可以从多个场景音频选项中,选取一场景音频选项(如词表2选项)(即执行试听操作),此时,手机可以响应于试听操作,向耳机发送试听数据,即执行S202。这种情况下,试听数据还可以包括优化参数;其中,优化参数可以包括但不限于:epoch数、搜参算法、Loss函数、参数搜索空间、并行线程数、Loss预期值、循环时间上限等等,本申请对此不作限制。
之后,耳机接收到试听数据后,可以获取第一音频数据,以及当确定试听数据包含优化参数时,基于优化参数,搜索第二助听算法参数。接着,启用助听装置的助听算法,由助听装置调用助听算法,基于搜索得到的第二助听算法参数对第一音频数据进行助听优化处理,以得到第五音频数据并输出第五音频数据至听损模拟装置。随后,听损模拟装置基于听损特征信息对第五音频数据进行听损模拟处理,以得到第二音频数据;可以参照上述的描述,在此不再赘述。
图6b为示例性示出的听损模拟系统的示意图。图6b是在图4b的基础上示出的,参数搜索装置位于耳机中,且参数搜索装置可以由耳机中的DSP实现。其中,参数搜索装置可以包括Loss计算模块和参数优化模块。其中,Loss计算模块可以基于Loss函数,计算Loss值;参数优化模块可以用于根据Loss值,优化助听算法参数。
参照图6b,示例性的,耳机获取到第一音频数据之后,可以采用将第一音频数据输入至助听装置,以由助听装置调用助听算法,基于初始助听算法参数对第一音频数据进行助听优化,得到经助听优化处理的第一音频数据并输出至听损模拟装置。接着,由听损模拟装置根据听损特征信息进行听损模拟,输出第二音频数据至Loss计算模块。随后,Loss计算模块采用试听数据包含的Loss函数对第二音频数据进行计算,以得到Loss值,并输出至参数优化模块。之后,参数优化模块可以将Loss值作为先验知识,指导下一次参数迭代优化的方向,以生成优化后的助听算法参数。具体地,参数优化模块可以通过参数搜索算法,分析上一次助听算法参数作用下的Loss值,指导下一次参数优化的方向,并按照该优化方向对上一次助听算法参数进行优化,确定优化后的助听算法参数;从而达到Loss值越来越接近于试听数据包含的Loss预期值的效果。
之后,助听装置调用助听算法,采用优化后的助听算法参数对第一音频数据进行助听优化,输出经助听优化处理的第一音频数据至听损模拟装置,听损模拟装置进行听损模拟输出第二音频数据至Loss计算模块,Loss计算模块通过计算输出Loss值至参数优化模块,参数优化模块再次进行参数优化,以得到优化助听算法参数,以此类推,直到参数优化模块确定循环次数达到试听数据包含的epoch数,或者最新的Loss值已经优化并达到了试听数据包含的Loss预期值,或者程序运行、循环的时间达到了试听数据包含的循环时间上限为止,此时优化得到的助听算法参数为最终助听算法参数(即第二助听算法参数)。
随后,助听装置调用助听算法,采用上述确定的最终助听算法参数,对第一音频数据进行助听优化处理,以得到第五音频数据;然后,由听损模拟装置基于听损特征信息对第五音频数据进行听损模拟,以得到第二音频数据并输出至扬声器播放。
示例性的,终端设备还可以在第三参数配置界面600中,实时显示客观评测信息,如图6a(2)的实时客观评分分值框中的曲线所示。客观评测信息是基于可懂分值和音质分值确定的,图6a(2)的实时客观评分分值框中,位于上面的曲线是基于助听装置输出的第五音频数据确定的,位于下面的曲线是基于听损模拟装置输出的第二音频数据确定的(即基于第二评测信息确定的;其中,第二评测信息除了可以包括第二可懂度分值和第二音质分值之外,还可以包括根据相关标准(例如,助听器国际标准、助听器国家标准、助听器行业标准以及助听器团体标准等)中针对助听器效果(或功能或性能)的相关要求,对第二音频数据进行测试得到的信息;例如,第二测评信息还可以包括:噪声抑制能力、抗啸叫能力、频率响应范围、真耳插入增益、满档声增益等等,本申请对此不作限制)。
这样,第一用户可以参照上述方式,在图6a(1)中第三参数配置界面600中,对第三参数配置项进行不同的配置,来体验第二用户佩戴第二助听算法参数不同的助听器后所听到的音频数据;并结合主观感受和客观评测信息(可以包括第二评测信息),选取最优的优化参数,进而可为第一用户配置合适的第二助听算法参数。
一种可能的方式中,耳机可以作为助听器,第一用户确定效果最优的优化参数后,可以在图6a(1)中第三参数配置界面600中,按照最优的优化参数对第三参数配置项进行配置;这样,后续第二用户使用耳机助听过程中,耳机中的助听装置的助听算法可以采用效果最优的第二助听算法参数进行助听优化处理,并将经助听优化处理所得到的第五音频数据发送至扬声器播放(此时,听损模拟装置不运行)。
一种可能的方式中,第一用户确定效果最优的优化参数后,可以从终端设备中查看效果最优的第二助听算法参数;接着,可以按照效果最优的第二助听算法参数,购买助听器。
可选地,待第一用户点击第二配验选项(即执行第二配验操作)后,手机可以接收到第二配验操作,显示信息录入界面504,如图5b(4)所示。参照图5b(4),示例性的,第一用户可以在信息录入界面504中点击医师执照选项,上传医师执照;此时,手机可以获取到医师执照。示例性的,第一用户可以在信息录入界面504中点击历史数据选项,上传第二用户的历史第一助听算法参数。其中,第二用户的历史第一助听算法参数,可以作为第二助听算法参数搜索过程中的初始值。待手机确定医师执照通过验证后,可以显示信息保存提示信息;此时,第一用户即可在信息录入界面504中点击保存选项,手机可以响应于第一用户的操作,显示第三参数配置界面600,如图6a(1)所示。
需要说明的是,参照图3a(1),一种可能的方式中,第一用户点击听损模拟应用的应用图标302后,手机响应于第一用户的操作,显示功能选择界面304,如图3a(3)所示。后续,第一用户点击功能选择界面304的听损效果体验选项、助听效果体验选项、第一配验选项和第二配验选项的任一选项时,手机可以响应于第一用户的操作,显示信息录入界面303,如图3a(2)所示。也就是说,本申请不限制第一用户点击听损模拟应用的应用图标302后,手机是显示功能选择界面304,还是显示信息录入界面303。
需要说明的是,参照图3a(1),一种可能的方式中,第一用户点击听损模拟应用的应用图标302,手机响应于第一用户的操作,显示功能选择界面700,如图7所示。参照图7,示例性的,功能选择界面700包括一个或多个控件,包括但不限于:位于普通模式选取区域的多个功能选项(如听损效果体验选项、助听效果体验选项和第一配验选项),位于医师模式选取区域的多个功能选项(如第一配验选项和第二配验选项)。应该理解的是,功能选择界面700还可以包括其他选项或信息,本申请对此不作限制。
参照图7,示例性的,当第一用户点击功能选择界面700的听损效果体验选项、助听效果体验选项、第一配验选项和第二配验选项的任一选项时,手机可以响应于第一用户的操作,显示信息录入界面303,如图3a(2)所示。此时,当第一用户点击上述图7中位于普通模式选取区域的第一配验选项(即执行第一配验操作)后,手机可以接收到第一配验操作;接着,可以响应于第一配验操作,显示第一参数配置界面502,如5a(2)所示。当第一用户点击上述图7中位于医师模式选取区域的第一配验选项(即执行第一配验操作)后,手机可以接收到第一配验操作;接着,可以响应于第一配验操作,显示第二参数配置界面503,如5b(2)所示。
以下以图1c的听损模拟系统为例,对听力未受损用户,体验听力受损用户听到的音频的效果的过程进行说明。其中,为了便于后续描述,将听力未受损用户称为第一用户,将听力受损用户称为第二用户;此外,耳机由第一用户佩戴。
图8为示例性示出的听损体验过程示意图。
S801,终端设备接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息。
S802,终端设备接收试听操作,响应于试听操作,向服务器发送试听数据;其中,试听数据包括用户信息或听损特征信息,听损特征信息基于用户信息确定。
S803,服务器获取第一音频数据。
一种可能的方式中,终端设备可以将试听操作对应场景音频选项所对应的预设音频数据,作为第一音频数据向服务器发送。
一种可能的方式中,终端设备可以向耳机发送音频采集启动指示,从耳机获取第一音频数据发送给服务器。
一种可能的方式中,试听数据可以包括试听操作对应场景音频选项所对应的场景音频标识;这样,服务器可以从预先存储的预设音频数据中,获取与场景音频标识对应的预设音频数据作为第一音频数据。
S804,服务器基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据。
示例性的,S804可以参照上述S204的描述在此不再赘述。
S805,服务器向终端设备发送第二音频数据。
S806,终端设备向耳机发送第二音频数据。
S807,耳机播放第二音频数据。
示例性的,S801~S807的描述,可以参照上述的描述,在此不再赘述。
示例性的,在图8实施例的基础上,第一用户还可以为第二用户选取合适类型的助听器,以及配置合适的助听算法参数;具体可以参照上述描述,在此不再赘述。这种情况下,图3b、图4b和图6b中的听损模拟装置位于服务器,图4b和图6b中的助听装置位于服务器,图6b中的参数搜索装置位于服务器。
以下以图1d的听损模拟系统为例,对听力未受损用户,体验听力受损用户听到的音频的效果的过程进行说明。其中,为了便于后续描述,将听力未受损用户称为第一用户,将听力受损用户称为第二用户;此外,耳机由第一用户佩戴。
图9为示例性示出的听损体验过程示意图。
S901,终端设备接收信息录入操作,获取信息录入操作对应录入的第二用户的用户信息。
S902,终端设备接收试听操作,响应于试听操作,获取第一音频数据以及基于用户信息生成听损特征信息。
一种可能的方式中,终端设备可以将试听操作对应场景音频选项所对应的预设音频数据,作为第一音频数据。
一种可能的方式中,终端设备可以向耳机发送音频采集启动指示,从耳机获取第一音频数据。
S903,终端设备基于听损特征信息对第一音频数据进行听损模拟,以得到第二音频数据。
S904,终端设备向耳机发送第二音频数据。
S905,耳机播放第二音频数据。
示例性的,S901~S905的描述,可以参照上述的描述,在此不再赘述。
示例性的,在图9实施例的基础上,第一用户还可以为第二用户选取合适类型的助听器,以及配置合适的助听算法参数;具体可以参照上述描述,在此不再赘述。这种情况下,图3b、图4b和图6b中的听损模拟装置位于终端设备,图4b和图6b中的助听装置位于终端设备,图6b中的参数搜索装置位于终端设备。
需要说明的是,可以由终端设备、服务器、耳机或者其他设备来计算评测信息(可以包括第一评测信息、第二评测信息和第三评测信息),本申请对此不作限制。示例性的,当由终端设备计算评测信息时,可以由该终端设备显示评测信息,也可以将评测信息传输至其他终端设备来显示评测信息。当耳机/服务器计算评测信息时,可以将评测信息传输至该终端设备/其他终端设备来显示评测信息。此外,终端设备、服务器、耳机或者其他设备来计算评测信息计算得到评测信息后,可以存储该评测信息,以便后续查看及使用。也就是说,本申请不限制计算评测信息的电子设备的类型,也不限制评测信息的使用方式。
还需要说明的是,听损模拟、助听优化以及搜索第二助听算法参数,这三项处理操作可以解耦的;也就是说,听损模拟、助听优化以及搜索第二助听算法参数中两项及两项以上的处理操作,可以由同一设备执行,也可以由不同的设备执行,本申请对此不作限制。
一个示例中,图10示出了本申请实施例的一种装置1000的示意性框图装置1000可包括:处理器1001和收发器/收发管脚1002,可选地,还包括存储器1003。
装置1000的各个组件通过总线1004耦合在一起,其中总线1004除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图中将各种总线都称为总线1004。
可选地,存储器1003可以用于存储前述方法实施例中的指令。该处理器1001可用于执行存储器1003中的指令,并控制接收管脚接收信号,以及控制发送管脚发送信号。
装置1000可以是上述方法实施例中的电子设备或电子设备的芯片。其中,电子设备可以是耳机、终端设备或服务器。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例还提供一种芯片,该芯片包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行上述相关方法步骤实现上述实施例中的步骤。其中,接口电路可以是指上述收发器/收发管脚1002。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的步骤。
本实施例还提供了一种计算机程序产品,该计算机程序产品包含计算机指令,当计算机指令被计算机或处理器执行时,使得计算机执行上述相关步骤,以实现上述实施例中步骤。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的步骤。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (33)
1.一种听损模拟系统,其特征在于,所述听损模拟系统包括耳机和终端设备,所述耳机由第一用户佩戴,其中:
所述终端设备,用于接收信息录入操作,获取所述信息录入操作对应录入的第二用户的用户信息;接收试听操作,响应于所述试听操作,向所述耳机发送试听数据;其中,所述试听数据包括所述用户信息或听损特征信息,所述听损特征信息基于所述用户信息确定;
所述耳机,用于获取第一音频数据;基于所述听损特征信息对所述第一音频数据进行听损模拟,以得到第二音频数据;播放所述第二音频数据。
2.根据权利要求1所述的系统,其特征在于,
所述终端设备,还用于显示所述第一音频数据的第一评测信息和所述第二音频数据的第二评测信息。
3.根据权利要求1或2所述的系统,其特征在于,
所述终端设备,还用于显示所述第一音频数据对应的文本信息,并基于所述第二音频数据对所述文本信息中的目标字词进行标注;
其中,所述目标字词的可懂度分值低于可懂度阈值,和/或,所述目标字词的音质分值低于音质阈值的字词。
4.根据权利要求1至3任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收体验时间设置操作,获取所述体验时间设置操作对应设置的体验时间信息;
其中,所述试听数据还包括所述体验时间信息,所述听损特征信息基于所述用户信息和所述体验时间信息确定。
5.根据权利要求1至4任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收助听器类型选取操作,获取所述助听器类型选取操作对应的助听器类型信息;其中,所述试听数据还包括所述助听器类型信息;
所述耳机,还用于采用所述助听器类型信息对应的助听算法,对所述第一音频数据进行助听优化处理,以得到第三音频数据;基于所述听损特征信息对所述第三音频数据进行听损模拟处理,以得到所述第二音频数据。
6.根据权利要求1至4任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收第一参数设置操作,获取所述第一参数设置操作对应的第一助听算法参数;其中,所述试听数据还包括所述第一助听算法参数;
所述耳机,还用于基于所述第一助听算法参数,对所述第一音频数据进行助听优化处理,以得到第四音频数据;基于所述听损特征信息对所述第四音频数据进行听损模拟处理,以得到所述第二音频数据。
7.根据权利要求1至4任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收第二参数设置操作,获取所述第二参数设置操作对应的优化参数;其中,所述试听数据还包括所述优化参数;
所述耳机,还用于基于所述优化参数,搜索第二助听算法参数;基于所述第二助听算法参数,对所述第一音频数据进行助听优化处理,以得到第五音频数据;基于所述听损特征信息对所述第五音频数据进行听损模拟处理,以得到所述第二音频数据。
8.根据权利要求5至7任一项所述的系统,其特征在于,
所述耳机,还用于基于所述听损特征信息对所述第一音频数据进行听损模拟,以得到第六音频数据;播放所述第六音频数据;
所述终端设备,还用于显示所述第六音频数据的第三评测信息。
9.根据权利要求1至8任一项所述的系统,其特征在于,
所述耳机,具体用于基于所述听损特征信息,确定听损模拟参数;其中,所述听损模拟参数包括毛细胞滤波系数;基于所述毛细胞滤波系数,对所述第一音频数据进行毛细胞滤波处理,以得到所述第二音频数据。
10.根据权利要求9所述的系统,其特征在于,所述听损模拟参数还包括:耳型滤波系数和重振系数;
所述耳机,具体用于基于所述耳型滤波系数对所述第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对所述第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于所述毛细胞滤波系数,对所述第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对所述第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于所述重振系数,对所述第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对所述第五中间音频数据进行耳蜗逆转换处理,以得到所述第二音频数据。
11.一种听损模拟系统,其特征在于,所述听损模拟系统包括耳机、终端设备和服务器,所述耳机由第一用户佩戴,其中:
所述终端设备,用于接收信息录入操作,获取所述信息录入操作对应录入的第二用户的用户信息;接收试听操作,响应于所述试听操作,向所述服务器发送试听数据;其中,所述试听数据包括所述用户信息或听损特征信息,所述听损特征信息基于所述用户信息确定;
所述服务器,用于获取第一音频数据;基于所述听损特征信息对所述第一音频数据进行听损模拟处理,以得到第二音频数据;向所述终端设备发送所述第二音频数据;
所述终端设备,还用于向所述耳机发送所述第二音频数据;
所述耳机,用于播放所述第二音频数据。
12.根据权利要求11所述的系统,其特征在于,
所述终端设备,还用于显示所述第一音频数据的第一评测信息和所述第二音频数据的第二评测信息。
13.根据权利要求11或12所述的系统,其特征在于,
所述终端设备,还用于显示所述第一音频数据对应的文本信息,并基于所述第二音频数据对所述文本信息中的目标字词进行标注;
其中,所述目标字词的可懂度分值低于可懂度阈值,和/或,所述目标字词的音质分值低于音质阈值的字词。
14.根据权利要求11至13任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收体验时间设置操作,获取所述体验时间设置操作对应设置的体验时间信息;
其中,所述试听数据还包括所述体验时间信息,所述听损特征信息基于所述用户信息和所述体验时间信息确定。
15.根据权利要求11至14任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收助听器类型选取操作,获取所述助听器类型选取操作对应的助听器类型信息;其中,所述试听数据还包括所述助听器类型信息;
所述服务器,还用于采用所述助听器类型信息对应的助听算法,对所述第一音频数据进行助听优化处理,以得到第三音频数据;基于所述听损特征信息对所述第三音频数据进行听损模拟处理,以得到所述第二音频数据。
16.根据权利要求11至14任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收第一参数设置操作,获取所述第一参数设置操作对应的第一助听算法参数;其中,所述试听数据还包括所述第一助听算法参数;
所述服务器,还用于基于所述第一助听算法参数,对所述第一音频数据进行助听优化处理,以得到第四音频数据;基于所述听损特征信息对所述第四音频数据进行听损模拟处理,以得到所述第二音频数据。
17.根据权利要求11至14任一项所述的系统,其特征在于,
所述终端设备,还用于在接收所述试听操作之前,接收第二参数设置操作,获取所述第二参数设置操作对应的优化参数;其中,所述试听数据还包括所述优化参数;
所述服务器,还用于基于所述优化参数,搜索第二助听算法参数;基于所述第二助听算法参数,对所述第一音频数据进行助听优化处理,以得到第五音频数据;基于所述听损特征信息对所述第五音频数据进行听损模拟处理,以得到所述第二音频数据。
18.根据权利要求15至17任一项所述的系统,其特征在于,
所述服务器,还用于基于所述听损特征信息对所述第一音频数据进行听损模拟,以得到第六音频数据;向所述终端设备发送所述第六音频数据;
所述终端设备,还用于向所述耳机发送所述第六音频数据;
所述耳机,还用于播放所述第六音频数据;
所述终端设备,还用于显示所述第六音频数据的第三评测信息。
19.根据权利要求11至18任一项所述的系统,其特征在于,
所述服务器,具体用于基于所述听损特征信息,确定听损模拟参数;其中,所述听损模拟参数包括毛细胞滤波系数;基于所述毛细胞滤波系数,对所述第一音频数据进行毛细胞滤波处理,以得到所述第二音频数据。
20.根据权利要求19所述的系统,其特征在于,所述听损特征信息还包括:耳型滤波系数和重振系数;
所述服务器,具体用于基于所述耳型滤波系数对所述第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对所述第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于所述毛细胞滤波系数,对所述第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对所述第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于所述重振系数,对所述第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对所述第五中间音频数据进行耳蜗逆转换处理,以得到所述第二音频数据。
21.一种听损模拟系统,其特征在于,所述听损模拟系统包括耳机和终端设备,所述耳机由第一用户佩戴,其中:
所述终端设备,用于接收信息录入操作,获取所述信息录入操作对应录入的第二用户的用户信息;接收试听操作,响应于所述试听操作,获取第一音频数据以及基于所述用户信息生成听损特征信息;基于所述听损特征信息对所述第一音频数据进行听损模拟,以得到第二音频数据;向所述耳机发送所述第二音频数据;
所述耳机,用于播放所述第二音频数据。
22.一种耳机,其特征在于,所述耳机由第一用户佩戴,所述耳机用于:
接收试听数据;其中,所述试听数据包括第二用户的用户信息或听损特征信息,所述听损特征信息基于所述用户信息确定;
获取第一音频数据;
基于所述听损特征信息,确定听损模拟参数;其中,所述听损模拟参数包括毛细胞滤波系数;
基于所述毛细胞滤波系数,对所述第一音频数据进行毛细胞滤波处理,以得到第二音频数据;
播放所述第二音频数据。
23.根据权利要求22所述的耳机,其特征在于,所述听损模拟参数还包括:耳型滤波系数和重振系数;
所述耳机,具体用于基于所述耳型滤波系数对所述第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对所述第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于所述毛细胞滤波系数,对所述第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对所述第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于所述重振系数,对所述第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对所述第五中间音频数据进行耳蜗逆转换处理,以得到所述第二音频数据。
24.根据权利要求22或23所述的耳机,其特征在于,
所述耳机,用于当所述试听数据还包括所述第一音频数据时,从所述试听数据中提取所述第一音频数据;当所述试听数据还包括音频采集启动指示时,启动音频采集模块采集所述第一音频数据。
25.根据权利要求22至24任一项所述的耳机,其特征在于,
所述耳机,还用于在基于所述毛细胞滤波系数,对所述第一音频数据进行毛细胞滤波处理,以得到第二音频数据之前:
当所述试听数据还包括所述助听器类型信息时,采用所述助听器类型信息对应的助听算法,对所述第一音频数据进行助听优化处理;
当所述试听数据还包括第一助听算法参数时,基于所述第一助听算法参数,对所述第一音频数据进行助听优化处理;
当所述试听数据还包括优化参数时,基于所述优化参数,搜索第二助听算法参数;基于所述第二助听算法参数,对所述第一音频数据进行助听优化处理。
26.根据权利要求22至25任一项所述的耳机,其特征在于,
所述听损特征信息包括以下至少一种:耳型特征、听力损伤频带信息、可懂度分值、可懂度混淆矩阵或年龄衰减信息。
27.一种服务器,其特征在于,所述服务器用于:
接收试听数据;其中,所述试听数据包括第二用户的用户信息或听损特征信息,所述听损特征信息基于所述用户信息确定;
获取第一音频数据;
基于所述听损特征信息,确定听损模拟参数;其中,所述听损模拟参数包括毛细胞滤波系数;
基于所述毛细胞滤波系数,对所述第一音频数据进行毛细胞滤波处理,以得到第二音频数据;
向耳机发送所述第二音频数据,以由所述耳机播放所述第二音频数据,所述耳机由第一用户佩戴。
28.根据权利要求27所述的服务器,其特征在于,所述听损模拟参数还包括:耳型滤波系数和重振系数;
所述服务器,具体用于基于所述耳型滤波系数对所述第一音频数据进行耳型迁移处理,以得到第一中间音频数据;对所述第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;基于所述毛细胞滤波系数,对所述第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;对所述第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;基于所述重振系数,对所述第四中间音频数据进行响度重振处理,以得到第五中间音频数据;对所述第五中间音频数据进行耳蜗逆转换处理,以得到所述第二音频数据。
29.根据权利要求27或28所述的服务器,其特征在于,
所述服务器,还用于在基于所述毛细胞滤波系数,对所述第一音频数据进行毛细胞滤波处理,以得到第二音频数据之前:
当所述试听数据还包括所述助听器类型信息时,采用所述助听器类型信息对应的助听算法,对所述第一音频数据进行助听优化处理;
当所述试听数据还包括第一助听算法参数时,基于所述第一助听算法参数,对所述第一音频数据进行助听优化处理;
当所述试听数据还包括优化参数时,基于所述优化参数,搜索第二助听算法参数;基于所述第二助听算法参数,对所述第一音频数据进行助听优化处理。
30.根据权利要求27至29任一项所述的服务器,其特征在于,
所述听损特征信息包括以下至少一种:耳型特征、听力损伤频带信息、可懂度分值、可懂度混淆矩阵或年龄衰减信息。
31.一种听损模拟装置,其特征在于,所述听损模拟装置用于:
获取第一音频数据;
基于对所述第一音频数据进行耳型迁移处理,以得到第一中间音频数据;
对所述第一中间音频数据进行耳蜗转换处理,以得到第二中间音频数据;
基于所述毛细胞滤波系数,对所述第二中间音频数据进行毛细胞滤波处理,以得到第三中间音频数据;
对所述第三中间音频数据进行频谱涂抹处理,以得到第四中间音频数据;
对所述第四中间音频数据进行响度重振处理,以得到第五中间音频数据;
对所述第五中间音频数据进行耳蜗逆转换处理,以得到第二音频数据。
32.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序运行在计算机或处理器上时,使得所述计算机或所述处理器执行如权利要求22至权利要求30任一项中的步骤。
33.一种计算机程序产品,其特征在于,所述计算机程序产品包含计算机指令,当所述计算机指令被计算机或处理器执行时,使得如权利要求22至权利要求30任一项中的步骤被执行。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310312346.4A CN118695190A (zh) | 2023-03-22 | 2023-03-22 | 听损模拟系统、耳机及服务器 |
PCT/CN2024/071727 WO2024193198A1 (zh) | 2023-03-22 | 2024-01-11 | 听损模拟系统、耳机及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310312346.4A CN118695190A (zh) | 2023-03-22 | 2023-03-22 | 听损模拟系统、耳机及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118695190A true CN118695190A (zh) | 2024-09-24 |
Family
ID=92777820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310312346.4A Pending CN118695190A (zh) | 2023-03-22 | 2023-03-22 | 听损模拟系统、耳机及服务器 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118695190A (zh) |
WO (1) | WO2024193198A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578328B (zh) * | 2012-08-08 | 2016-05-25 | 塞舌尔商元鼎音讯股份有限公司 | 了解听障者听力的方法 |
EP2936835A1 (en) * | 2012-12-21 | 2015-10-28 | Widex A/S | Method of operating a hearing aid and a hearing aid |
CN112741622B (zh) * | 2019-10-30 | 2022-11-15 | 深圳市冠旭电子股份有限公司 | 一种测听系统、测听方法、装置、耳机及终端设备 |
-
2023
- 2023-03-22 CN CN202310312346.4A patent/CN118695190A/zh active Pending
-
2024
- 2024-01-11 WO PCT/CN2024/071727 patent/WO2024193198A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024193198A1 (zh) | 2024-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4860748B2 (ja) | 補聴器のフィッティング方法,補聴器のフィッティング・システム,および補聴器 | |
Vlaming et al. | HearCom: Hearing in the communication society | |
EP2870779B1 (en) | Method and system for fitting hearing aids, for training individuals in hearing with hearing aids and/or for diagnostic hearing tests of individuals wearing hearing aids | |
DK2396975T3 (en) | AUTOMATIC FITTING OF HEARING DEVICES | |
US10952649B2 (en) | Hearing assist device fitting method and software | |
US20140193008A1 (en) | System and method for fitting of a hearing device | |
US11095995B2 (en) | Hearing assist device fitting method, system, algorithm, software, performance testing and training | |
Woods et al. | Predicting the effect of hearing loss and audibility on amplified speech reception in a multi-talker listening scenario | |
US20200389743A1 (en) | Method for configuring a hearing-assistance device with a hearing profile | |
US8358786B2 (en) | Method and apparatus to measure hearing ability of user of mobile device | |
CN114007177B (zh) | 助听控制方法、装置、助听设备和存储介质 | |
EP3864862A1 (en) | Hearing assist device fitting method, system, algorithm, software, performance testing and training | |
Mansour et al. | Speech intelligibility in a realistic virtual sound environment | |
CN112954563A (zh) | 信号处理方法、电子设备、装置及存储介质 | |
US20190141462A1 (en) | System and method for performing an audiometric test and calibrating a hearing aid | |
CN112911478A (zh) | 用于训练听力设备的听力情形分类器的方法 | |
Moore et al. | Comparison of two adaptive procedures for fitting a multi-channel compression hearing aid: Comparación de dos procesos de adaptación de auxiliares auditivos con compresión multicanal | |
AU2010347009B2 (en) | Method for training speech recognition, and training device | |
WO2020077348A1 (en) | Hearing assist device fitting method, system, algorithm, software, performance testing and training | |
CN118695190A (zh) | 听损模拟系统、耳机及服务器 | |
Hülsmeier et al. | DARF: A data-reduced FADE version for simulations of speech recognition thresholds with real hearing aids | |
Lundberg et al. | The type of noise influences quality ratings for noisy speech in hearing aid users | |
Scollie | 20Q: The Ins and outs of frequency lowering amplification | |
Bramsløw et al. | Hearing aids | |
Mansour | Assessing hearing device benefit using virtual sound environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |