CN101996630B - 基于二进时频单元的自动声音识别 - Google Patents
基于二进时频单元的自动声音识别 Download PDFInfo
- Publication number
- CN101996630B CN101996630B CN201010262636.5A CN201010262636A CN101996630B CN 101996630 B CN101996630 B CN 101996630B CN 201010262636 A CN201010262636 A CN 201010262636A CN 101996630 B CN101996630 B CN 101996630B
- Authority
- CN
- China
- Prior art keywords
- sound
- mask
- enter
- time
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000008676 import Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 210000003477 cochlea Anatomy 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100397216 Arabidopsis thaliana ISE2 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101100438011 Oryza sativa subsp. japonica BZIP12 gene Proteins 0.000 description 1
- 102100031145 Probable low affinity copper uptake protein 2 Human genes 0.000 description 1
- 101710095010 Probable low affinity copper uptake protein 2 Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- LFYJSSARVMHQJB-QIXNEVBVSA-N bakuchiol Chemical compound CC(C)=CCC[C@@](C)(C=C)\C=C\C1=CC=C(O)C=C1 LFYJSSARVMHQJB-QIXNEVBVSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005204 segregation Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种自动声音识别方法，包括：提供包括多个模型的培训数据库，每一模型表示下述形式的声音元素：包括二进时频单元的二进掩模，二进时频单元指示所涉及声音元素的高能时间和频率区域；或从二进掩模提取的特性特征或统计量；提供包括输入声音元素的输入信号；基于培训数据库的模型估计输入声音元素以提供输出声音元素。本发明具有相对简单及可适应所涉及应用的优点。本发明可用在包括自动声音识别如装置的声音控制的装置中或用在听音装置如助听器中以改善语音可懂度。
Description
技术领域
本发明涉及声音识别，尤其涉及自动声音识别的方法和系统。
此外，本发明涉及分别用于运行和存储实施自动声音识别如自动语音识别方法的软件指令的数据处理系统和计算机可读介质。
本发明用在如包括自动声音识别的装置的应用中，用于装置的声音如话音控制，或用在听音装置如助听器中，用于改善语音感知。
背景技术
语音识别已在多种装备中涉及并使用多种途径和方法用于多种不同的目的。本申请涉及时频掩蔽的概念，其已用于在混合听觉环境中使语音与噪声分开。该领域的评论及其用于助听器的潜力在[Wang，2008]中提供。
US 2008/0183471 A1描述了一种识别语音的方法，包括提供多个所存储音素的培训数据库并基于奇异值分解将每一音素变换为正交形式。接收的音频语音信号分为单个音素并基于奇异值分解变换为正交形式。所接收的变换后的音素与所存储的变换后的音素比较以确定哪些所存储的音素最接近地对应于所接收的音素。
[Srinivasan et al.，2005]描述了用于音素恢复的模型。该模型的输入为具有包含掩蔽音素的词的掩蔽说话，所使用的掩蔽器例如为宽带声源。掩蔽音素转换为声谱图及该声谱图的二进掩模以识别可靠的部分(即主要包含语音能量的时频单元)，(否则)产生不可靠的部分。二进掩模用于将声谱图分为纯净部分和有噪声部分。识别基于词级模板及隐Markov模型(HMM)计算。
发明内容
最近已发现，提供比较纯净语音信号和语音形式的噪声估计的二进掩模包 含足够的关于语音可懂度的信息。
在现实世界应用中，只有二进掩模的估计量可用。然而，如果估计的掩模被识别为某一语音元素，如词或音素，估计的掩模(模式)(如语音元素的能量的增益或其它表示)可进行修改以更像所估计的语音元素如音素的模式。藉此可增加语音可懂度和语音质量。
本申请描述一种方法或声音识别系统，其中声音识别培训数据基于二进掩模，即指示高能时间和频率区域的二进时频单元。
在本说明书中，术语“掩蔽”意为“加权”或“滤波”，不应与其在心理声学领域的含义(“阻塞”或“堵塞”)混淆。
已知语音的词可由有限数量的不同声音元素如音素如30-50个元素组成。每一声音元素可由模型(如统计模型)或模板表示。必要的有限数量的模型可保存在相当小的存储器中，因此根据本发明的语音识别系统可用于低功率、小尺寸、便携装置如通信装置中，例如听音装置如助听器。
本发明的目标在于提供自动识别声音如人类语音的备选方案。
方法
本发明的目标由自动声音识别方法实现，该方法包括：
-提供包括多个模型的培训数据库，每一模型表示下述形式的声音元素：
■包括二进时频(TF)单元的二进掩模，二进时频单元指示所涉及声音元素的高能时间和频率区域；或
■从二进掩模提取的特性特征或统计量；
-提供包括输入声音元素的输入信号；
-基于培训数据库的模型估计输入声音元素以提供输出声音元素。
本发明方法具有相对简单及适应所涉及应用的优点。
术语“估计输入声音元素”指试图在有限数量的已知声音元素之中确定(识别)输入声音元素的过程。术语“估计”意图指示前述过程中因已知声音元素的非精确表示引起的元素不准确度(已知声音元素可以多种方式表示，没 有哪一种可称为“唯一正确的方式”)。如果成功，则声音元素得以识别。
在实施例中，表示声音元素的一组培训数据通过将声音元素转换为(如使用输入变换器如传声器)电输入信号进行提供。在实施例中，(模拟)电输入信号以采样频率fs进行采样(如通过模数(AD)转换器)以提供数字化电输入信号，其包括输入信号(振幅)在连续时间点tn＝n*(1/fs)的数字时间样本sn，n＝1，2，...。因此，样本的持续时间由Ts＝1/fs给出。
优选地，输入变换器包括传声器系统，该传声器系统包括多个用于分离环境中的声源的传声器。
在实施例中，数字化电输入信号按时频表示提供，其中信号的时间表示对构成处理所考虑的频率范围(从最小频率fmin到最大频率fmax，例如从10Hz到20kHz如从20Hz到12kHz)的每一频带均存在。这样的表示可通过滤波器组实现。
在实施例中，电输入信号的多个连续样本sn安排成时间帧Fm(m＝1，2，...)，每一时间帧包括预定数量Nds的、对应于帧时间长度L＝Nds/fs，＝Nds·Ts的数字时间样本snds(nds＝1，2，...，Nds)，每一时间样本包括信号振幅在给定采样时间tn(或n)的数字化值sn(或s[n])。作为备选，例如根据预定方案，时间帧Fm的长度可不同。
在实施例中，相继的时间帧(Fm，Fm+1)具有预定的数字时间样本重叠。总的来说，该重叠可包括≥1的任何数量的样本。在实施例中，从一帧Fm到下一帧Fm+1，帧的Q个样本的四分之一或一半同样。
在实施例中，提供每一帧中的信号(m)的频谱。在给定时间(m)的频谱由跨所考虑频率范围的多个时频单元(p＝1，2，...，P)表示。时频单元TF(m，p)包括信号在特定时间(m)和频率(p)单元中的(通常复)值。在实施例中，只考虑信号的实数部分(量值，|TF(m，p)|)，而忽视虚数部分(相位，Arg(TF(m，p)))。时间到时频的变换可通过傅立叶变换算法进行，例如快速傅立叶变换(FFT)算法。
在实施例中，传声器系统的DIR单元适于检测特定时频区或TF单元源自空间上不同方向的哪一方向。这可以多种不同的方式实现，如US 5,473,701或EP 1 005 783中描述的方式。EP 1 005 783涉及通过比较不同的波束成形器模式而估计基于方向的时频增益。两个传声器之间的时间延迟可用于确定音频信号的频率加权(滤波)。在实施例中，空间上不同的方向自适应确定，例如参见US 5,473,701或EP 1 579 728B1。
在根据本发明的语音识别系统中，二进培训数据(包括不同语音元素的模型或模板)可通过将来自不同人(例如包括不同的男人和/或女人)讲出来的音素、词或整句的一组培训(纯净语音)时频单元(TF单元，TF(f，t)，f为频率，t为时间)与类似变换为时频单元的语音形式的噪声单元比较例如参见下面的等式(2)而进行估计(或类似地，与每一频带中的固定阈值比较，例如参见下面的等式(1)；理想情形下，固定阈值应与每一频带中的目标语音信号的长期能量估计量成正比)。当多个不同的男人和女人(例如具有不同的年龄和/或基频)讲话时，记录基本语音元素(如音素)。对同一基本语音元素的多个版本求平均或进行处理以提取所涉及语音元素的特性从而提供该语音元素的模型或模板。对其它基本语音元素执行相同的处理以对每一基本语音元素提供模型或模板。培训数据库可进行组织以包括与将要识别的二进掩模类似的二进掩模(对频率)的矢量。比较应在一阈值范围进行，其中阈值跨产生所有0二进掩模到产生所有1二进掩模的区域。前述比较的例子由下面的二进掩模BM(f，t)的表达式(固定阈值)给出：
其中τ为随频率而变的固定阈值[dB]，其可被使得与输入信号水平有关；及LC为局部判据，其可跨如30dB的范围变化。TF(f，t)为特定语音元素的时频表示，f为频率及t为时间。因此，|TF(f，t)|2表示语音元素的按dB测量的能含量。
作为备选，时频分布可和与输入信号TF(f，t)具有相同频谱的语音形式的噪 声SSN(f，t)比较。该比较可由下面的表达式给出：
|TF(f，t)|2和|SSN(f，t)|2均表示信号在对数域的功率分布。假定TF和SSN的功率一样强，LC的典型值应在[-20；+10]dB内(例如参见[Brungart et al.，2006]中的图3)。
在培训数据库框架下的上述比较(即从“原始”培训输入数据提取所涉及声音元素的模型二进掩模的过程)另外可在声音识别过程中进行。在后一情形下，其中纯净的目标信号不可用，在上述跨阈值范围(等式(1))或关于语音形式的噪声(等式(2))的比较之前，可有利地对有噪声目标输入信号进行初始降噪过程。
通常，频率(f)和时间(t)指数被量化，在下面，p用于频率单元p(p＝1，2，3，...)及m用于时间单元m(m＝1，2，3，...)。
在实施例中，TF-＞BM计算的阈值LC随输入信号水平而变。在嘈杂环境中，相比于安静的环境人们趋于提高他们的话音(Lombard效应)。提高的话音相较正常情形讲出的语音具有不同的长期频谱。在实施例中，LC随输入水平的增加而增加。
当识别估计的二进时频模式时，去除输入信号的非信息性TF单元是有利的。去除非信息性低能TF单元的一种方式是迫使TF单元变成0，当该单元的总能量低于某一阈值时，例如如果|TF(m，p)|2＜|X(m，p)|2则使得TF(m，p)＝0，其中m表示时间指数及p表示频率指数，因此(m，p)定义唯一的TF单元。例如，X(m，p)可以是语音类噪声信号或等于恒定的(如实数)阈值LC，可能加上随频率而变的期间τ(例如参见上面的等式(1)、(2))。这样，语音信号的低能单元将被设定为等于0。这可对所接收或所记录的信号直接进行，或可在估计二进掩模之后处理后进行。换言之，估计的二进掩模和从阈值LC(可能+τ)确定的二进掩模“与”，使从估计的掩模去除非信息性低能单元。
当估计的二进TF掩模已识别为某一音素时，估计的TF掩模可以这样的方式修改，使得估计的音素的模式变得更接近表示允许的音素模式的模式之一。实现此的一种方式是简单地用培训数据库中与估计的二进模式最相似的模式替代二进模式。藉此只有培训数据库中存在的二进模式将被允许。然后，该重构的TF掩模可转换为时频变化的增益，其可应用于声音信号。增益转换可以是线性或非线性的转换。在实施例中，二进值1转换为0dB的增益，而等于0的二进值转换为20dB的衰减。衰减量可被使得随输入水平而变，及增益可跨时间或频率滤波以防止从一时频单元到相继(相邻)时频单元的增益出现太大的变化。藉此可增加语音可懂度和/或声音质量。
在实施例中，声音元素的二进时频表示通过适当的算法从声音元素的时频表示产生。在实施例中，该算法仅考虑给定时频单元(m，p)中信号TF(m，p)的复值的量|TF(m，p)|。在实施例中，用于产生二进时频掩模的算法为：如果(|TF(m，p)|≥τ)，则BM(m，p)＝1；否则BM(m，p)＝0。在实施例中，阈值τ等于0[dB]。阈值的选择可在[-15；10dB]的范围内。在该范围之外，二进模式将太密集(非常少的0)或太稀疏(非常少的1)。代替针对信号的量值|TF(m，p)|的判据，可使用针对信号的能含量|TF(m，p)|2的判据。
在实施例中，定向传声器系统用于向声音识别系统提供输入信号。在实施例中，二进掩模(BMss)从另一算法进行估计，使得只有单一声源由该掩模呈现，例如通过使用包括两个空间上接近的传声器的传声器系统产生两个Cardoid方向性模式CF(t，f)和CB(t，f)，分别表示前(F)和后(B)cardoid中输入信号的能量的时间(t)和频率(f)相干性，例如参见[Boldt et al.，2008]。之后，BM中的非信息性单元可通过使BMss乘以BM进行去除。
基于二进掩模的自动语音识别可通过隐Markov模型方法实现。先验信息可内置在音素模型中。在该方式下，模型可被使得随任务而变如随语音而变，因为某一音素的概率跨不同的任务或语言变化，例如参见[Harper et al.，2008]，具体参见第801页。在实施例中，特性特征使用统计模型如隐Markov模型从 二进掩模提取。
在实施例中，产生对应于最常预期的声音元素的二进(培训)掩模模式的码本。在实施例中，该码本为培训数据库。在实施例中，该码本用于估计输入声音元素。在实施例中，码本包括预定数量的二进掩模模式，例如适应所涉及的应用(功耗、存储器大小等)，例如小于500个声音元素，如小于200个元素，如小于30个元素，如小于10个元素。
在实施例中，与输入声音元素相对于(如所述码本或培训数据库中提供的)培训数据集或模型的估计有关的模式识别使用适合提供时间和速率变化的两个模式或序列之间的相似度测量的方法进行，例如统计方法，如隐Markov模型(HMM)[Rabiner，1989]或动态时间规整(DTW)[Sakoe et al.，1978]。
在特定实施例中，基于所识别的输出声音元素(如语音元素)采取行动。在特定实施例中，该行动包括控制装置的功能，例如助听器或头戴式耳机的音量或程序切换。包括控制功能的前述行动的其它例子为电池状态、程序选择、来自哪一方向的声音应被放大的控制、附属设备控制，例如与移动电话、音频选择设备、TV等有关的控制。作为前述或其它装置的话音控制的备选或其之外的方案，本发明可用于帮助听音装置中的话音识别。
在特定实施例中，本发明方法还包括通过根据所确定的培训声音元素和预定准则修改每一输入声音元素的二进掩模而提供输出声音元素的二进掩模。前述准则可以是测量所估计掩模和培训数据之间的相似性的距离测量。
在特定实施例中，本发明方法还包括使(随后的)输出声音元素集合为输出信号。
在特定实施例中，本发明方法还包括将每一输出声音元素的二进掩模转换为对应的增益模式并将该增益模式应用于输入信号从而提供输出信号。换言之，提供增益模式G(m，p)＝BM(m，p)*GHA(m，p)，其中BM(m，p)为(所估计的)二进掩模在特定时间(m)和频率(p)单元的值，及GHA(m，p)表示同一时频单元中随时间和频率而变的增益(如由信号处理单元请求补偿用户的听力受 损)。*表示两个m×p矩阵的元素方面的积(例如使得G(m，p)的g11等于BTF(m，p)的btf11乘以GHA(m，p)的gHA，11)。总的来说，增益模式G(m，p)计算为G(m，p)＝F[BM(m，p)]+GHA(m，p)[dB]，其中F表示BM(m，p)的线性或非线性函数(例如F表示二进制到对数的变换)。因而可产生输出信号OUT(m，p)＝IN(m，p)+G(m，p)[dB]，其中IN(m，p)为输入信号的时频表示(TF(m，p))。
在特定实施例中，本发明方法还包括将输出信号例如经扬声器(或其它输出变换器)呈现给用户。
在特定实施例中，声音元素包括语音元素。在实施例中，将由自动声音识别系统分析的输入信号包括语音或用人力发出的声音，包括词元素(如唱出的词或语音元素)。作为备选，声音可以是动物发出的声音或来自环境如来自机动装置或机器的特有声音或可与特定物品或事件相关联的其它特有声音。在这种情形下，将在所涉及的特有声音之间选择培训数据集。在实施例中，自动声音识别方法集中于人类语音以提供自动语音识别(ASR)方法。
在特定实施例中，每一语音元素为音素。在特定实施例中，每一声音元素为音节。在特定实施例中，每一声音元素为词。在特定实施例中，每一声音元素为形成句子或句子的一部分的多个词。在实施例中，本发明方法可包括在下组之中选择的语音元素：音素、音节、词、形成句子或句子的一部分的多个词、及其组合。
系统
此外，本发明提供自动声音识别系统，该系统包括：
-包括培训数据库的存储器，培训数据库包括多个模型，每一模型表示下述形式的声音元素：
■包括二进时频(TF)单元的二进掩模，二进时频单元指示所涉及声音元素的高能时间和频率区域；或
■从二进掩模提取的特性特征或统计量；
-输入装置，提供包括输入声音元素的输入信号；
-处理单元，适于基于输入信号和存储器中保存的培训数据库的模型估计输入声音元素以提供输出声音元素。
在实施例中，本发明系统包括输入变换器单元。在实施例中，输入变换器单元包括定向传声器系统，用于产生试图使声源分离如隔离一个或多个目标声源的定向输入信号。
当所涉及的过程特征由对应的结构特征适当替代时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的过程特征可与系统结合，反之亦然。系统的实施例具有与对应方法一样的优点。
ASR系统的用途
此外，本发明提供上面描述的、“具体实施方式”中详细描述的及权利要求中限定的自动声音识别系统的用途。提供在在便携式通信或听音装置如听力仪器或头戴式耳机或电话如移动电话中的使用。还提供在播音系统如教室声音系统中的使用。
数据处理系统
本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分步骤。
计算机可读介质
本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质，当计算机程序在数据处理系统上运行时，使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分步骤。除了保存在有形介质如磁盘、CD-ROM、DVD、或硬盘、或任何其它机器可读的介质上，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
计算机程序的使用
本发明进一步提供包括程序代码的计算机程序的使用，当计算机程序在数 据处理系统上运行时，使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分步骤。还提供计算机程序经网络如因特网的使用。
听音装置
另一方面，本发明提供包括上面描述的、“具体实施方式”中详细描述的或权利要求中限定的自动声音识别系统的听音装置。在实施例中，听音装置还包括用于提供表示声音元素的电输入信号的单元(例如输入变换器，如传声器，或用于接收有线或无线信号的收发器)。在实施例中，听音装置包括自动语音识别系统。在实施例中，听音装置还包括用于将输入声音元素的估计量呈现给系统的一个或多个用户的输出变换器(例如用于其它音频装置的听力仪器的一个或多个扬声器、用于耳蜗植入的电极、或用于骨导装置的振动器)或用于将包括输入声音元素的估计量的信号传给另一装置的收发器。在实施例中，听音装置包括便携式通信或听音装置，例如听力仪器或头戴式耳机或电话，如移动电话，或播音系统如教室声音系统。
在实施例中，听音装置的自动声音识别系统特别适应用户自己的话音。在实施例中，听音装置包括自音检测器，适于识别听音装置的佩戴者的话音。在实施例中，前述系统仅适于提供控制信号CTR以在自音检测器已检测到形成控制信号的基础的所涉及声音元素源自佩戴者(用户)的话音时控制系统的功能。
本发明的进一步的目标通过从属权利要求和本发明的详细描述中限定的实施方式实现。
除非明确指出，在此所用的单数形式的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直 接连接或耦合到其他元件，也可以存在中间插入元件。此外，如在此使用的“连接”或“耦合”可包括无线连接或耦合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
附图说明
下面参考附图、结合优选实施例更充分地阐释本发明，其中：
图1示出了自动声音识别方法的第一实施例的原理。
图2示出了自动声音识别方法的第二实施例的原理。
图3示出了包括根据本发明的自动声音识别系统的听音装置的实施例。
图4示出了包括根据本发明实施例的语音识别系统的听音装置的多个实施例。
图5示出了由三个不同的人讲出的特定声音元素(在此为词“eight”)的示例性二进掩模，图5a示出了用第一算法阈值LC1产生的二进掩模，图5b示出了用第二算法阈值LC2产生的二进掩模。
为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出，因为，对于本领域的技术人员来说，通过这些详细说明在本发明精神和范围内做出各种变化和修改是显而易见的。
具体实施方式
图1示出了自动声音识别方法的第一实施例的原理。图1的流程图示出了方法的两个通路或模式，第一培训数据通路包括从优选无噪声的目标信号IN(T)产生包括多个基本声音元素的二进掩模表示形式的模型的培训数据的数据库(模块“产生二进掩模模型库”)，及第二输入数据通路用于提供输入信号 IN(T+N)(包括目标(T)和噪声(N)，T+N)形式的有噪声输入声音元素，以通过与培训数据库的声音元素模型比较而进行识别(第二输入数据通路包括模块“估计的二进掩模”和“去除非信息性TF单元”)。例如，培训数据通过记录多个不同源(如不同的男性和/或女性成年人和/或儿童)提供的同一声音元素SE1(如音素或词)然后形成包括所涉及声音元素的共同最特有元素的统一版本而进行提供。比照记录多个不同的声音元素SE2，SE3，...，SEQ。表示不同的统一声音元素SE1，SE2，...，SEQ的能量的时间(m)-频率(p)分布的二进掩模BMq(m，p)，q＝1，2，...，Q由适当的算法提供，从而产生包括二进掩模模型库的培训数据库(参见模块“产生二进掩模模型库”)。作为备选，对于每一声音元素SEQ，培训数据库可包括多个不同的二进掩模表示，而不是一个统一的表示。声音元素与环境声音如来自其它话音、机器或自然现象的噪声混合(T+N)形式的输入数据IN(T+N)由传声器系统记录或接收为处理后的声音信号，如来自降噪系统，及使用适当的算法(如比较彼此的定向模式以从单一方向提取声源，如[Boldt et al.，2008]中所述)从输入声音元素的时频表示提供估计的二进掩模。在可选步骤中，非信息性时频单元根据适当的算法(例如通过比较输入声音信号和语音形式的噪声去除低能单元(参见上面的等式(2)))设定为0或设定为随固定频率而变的阈值并迫使低于该阈值的所有TF单元为0(模块“去除非信息性TF单元”，例如参见上面的等式(2))。前述方法的第一和第二通路分别提供基本声音元素的二进掩模模型表示的库(适于所涉及应用)及将通过与培训数据库的模型库(通常逐一)比较进行识别的连续(如有噪声)输入声音元素的一系列二进掩模表示(例如参见模块“所估计掩模的ASR”)。该比较及在培训数据库保存的模型之中选择输入声音元素的最适当的表示可通过统计方法进行，例如使用隐Markov模型，例如参见[Young，2008]。直接从模块“去除非信息性TF单元”到模块“基于识别结果修改所估计的掩模”的箭头意指在输入二进掩模和培训数据库的二进掩模模型之间没有发现匹配的情形。在所保存的培训数据库中确定最适当的二进掩模模型之后， 输入声音元素的二进掩模可被修改以提供输入声音元素的修改后的估计量(参见模块“基于识别结果修改所估计的掩模”)。例如，修改可包括完全按培训数据库中所保存的调整所识别声音元素的二进掩模。作为备选，所识别的声音元素的隔离特有元素(特有TF单元)可传给输入声音元素的二进掩模估计，而其它TF单元保持不变。最后，输入声音元素SEx的(可能修改后的)二进掩模估计BMx(m，p)可转换为增益模式Gx(m，p)并应用于输出信号(参见模块“将修改后的掩模转换为增益模式并应用于信号”)，OUTx(m，p)＝TFx(m，p)*Gx(m，p)(*表示逐元素乘)。在实施例中，输入声音元素SEx的所确定的二进掩模估计BMx(m，p)用于控制装置的功能性活动(例如选择特定活动或改变参数)。
图2示出了自动声音识别方法或系统的基本原理。其包括由变换器拾取的声波输入，如时变波形符号所示(培训数据声音元素处理为声音元素模型的形式或进行识别(估计)的声音元素的形式)。变换器(例如可能定向的传声器系统)将声波输入信号转换为电输入信号，其馈给二进掩模提取模块，其中每一声音元素的二进掩模根据适当的算法从电输入信号的时频表示产生。电输入信号的时频表示例如通过快速傅立叶变换(FFT)算法或短时傅立叶变换(STFT)算法产生，这些算法可实施在变换器模块中或二进掩模提取模块中。特定声音元素的二进掩模馈给可选单元以从特定声音元素的二进掩模提取特性或特征(参见模块“可能的进一步的特征提取”)。例如，这可包括组合多个频带以确定是大体上说出还是未说出声音元素，或二进掩模的密度的度量，即为1的数量与为0的数量的比较。前述方法或系统的实施例还包括培训通路和识别通路，二者基于选择从可能的进一步的特征提取模块接收其输入(或者，如果前述模块不存在，则从二进掩模提取模块接收输入)。在图2所示的“培训”模式下，“可能的进一步的特征提取”模块的输出馈给培训通路(模块“模式培训”)。在正常“工作模式”下，“可能的进一步的特征提取”模块的输出馈给识别通路(模块“模式分类器”(如DTW或HMM))。培训通 路包括模块“模式培训”和“模板或模型数据库”。“模式培训”模块包括培训各个声音元素的二进掩模表示的功能(例如包括确定对所涉及声音元素SEq特有的TF单元，不管其来源如何)。图5示出了三个不同的人(从左到右为说话人1、说话人2、说话人3)讲的特定声音元素(在此为词“eight”)的示例性二进掩模，图5a示出了使用第一算法阈值LC1产生的二进掩模，图5b示出了用第二算法阈值LC2产生的二进掩模。二进TF掩模表示从0到5kHz的频率范围分为32个通道，每第二个通道的中心频率(Hz)指示在纵向频率轴[Hz]上(100，164，241，333，...，3118，3772，4554[Hz])。通道的宽度随频率的增加而增加。水平轴表示时间[s]。时间刻度分为0.01s的帧，每一声音元素表示在从0到约0.4s的时间间隔中。在这两个图中，TF单元中的0由黑色部分(指示不重要的能含量)表示，而TF单元中的1由白色部分(指示重要的能含量)表示。声音元素的三个版本之间的某些相似性很清楚。图5b的二进掩模为使用不同的算法阈值LC2(LC2＝LC1+5dB)的结果，图5b的声音元素的所有三个版本中为1的数量相较图5a中的对应版本更小(例如参见上面的等式(1)或(2))。在实践中，前述培训可基于隐Markov模型方法的使用(例如参见[Rabiner，1989]或[Young，2008])。“模板或模型数据库”模块包括存储培训数据集，培训数据集包括表示用于识别的各个声音元素SE1，SE2，...，SEQ的二进掩模模式。识别通路包括功能模块“模式分类器(如DTW或HMM)”和“决定”。“模式分类器(如DTW或HMM)”模块使用模板或模型数据库及统计模型如隐Markov模型(HMM)或动态时间规整(DTW)方法执行识别(分类)输入声音元素的二进掩模的任务。输入声音元素的结果或估计馈给“决定”单元，其执行选择最可能的词/音素/句子(或可能该模式太不可能以致于不属于这些组中的任一组)并提供输出的任务。输出可以是所识别的音素/词/句子(或其表示)或最可能的二进模式。输出可用作进一步的处理的输入，如声音控制功能的输入。
图3示出了包括根据本发明的自动声音识别系统的听音装置的实施例。
图3a中的听音装置如听力仪器实施例包括用于将声音输入(在此由词“yes”形式的声音元素指示，指示为Yees！)转换为电输入信号IN的传声器或传声器系统，电输入信号IN馈给可选的信号处理模块SP1，其执行任务：放大和/或数字化信号和/或提供定向信号(如隔离不同的声源)和/或将该信号从时域表示转换为时频域表示及将对应于声学声音元素的电输入声音元素ISE提供为输出。电输入声音元素ISE馈给声学声音识别系统(ASR系统)，例如以时频(TF)表示。ASR系统包括二进时频掩模提取单元(BTFMX)，其根据预定算法将所涉及声音元素的输入时频(TF)表示转换为二进时频掩模。输入声音元素的所估计二进掩模(BM)馈给可选的特征提取模块(FEATX)以提取所涉及输入声音元素的所估计二进掩模(BM)的特性特征(参见图2中的“可能的进一步的特征提取”模块)。所提取的特征馈给识别模块(REC)以执行所涉及输入声音元素的二进掩模(或从其提取的特征)的识别，其通过与预期出现为将要识别的输入声音元素的多个不同声音元素的二进掩模模型模式(或从其提取的特征)的培训数据库比较进行。二进掩模模型模式(MEM)的培训数据库保存在听音装置的存储器中(在模块MEM中，对多个不同的声音元素SE1，SE2，SE3，...，在图3a中由二进序列000111000...指示)。识别模块(REC)和ASR系统的输出为输入声音元素ISE的估计量形式的输出声音元素OSE。模式识别过程可使用统计方法执行，如隐Markov模型，例如参见[Young，2008]。输出声音元素OSE馈给处理单元模块SP2中的可选的进一步的处理(例如根据用户需要和/或其它信号增强应用随频率而变的增益和/或执行时频到时间的变换，和/或执行数字到模拟的变换)，其输出OUT馈给输出变换器以将电输出信号转换为输出声音(在此指示为估计的词元素YES)。图3a的实施例也可形成播音系统如教室声音系统的一部分。
图3b中所示的听音装置如听力仪器实施例与图3a的类似。然而，在自动声音识别之前及随后的处理在图3b中更具体。声音元素，指示为sex，由用于将声音输入转换为模拟电输入信号ISEx-A的传声器或传声器系统拾取，其馈给 模数转换器(AD)以提供输入信号的数字化版本ISEx-D。输入声音元素的数字化版本ISEx-D馈给时间到时频转换单元(T-＞TF)以将输入信号从时域表示转换为时频域表示并将时频掩模TFx(m，p)提供为输出，每一单元(m，p)包括在特定单元(m，p)时间和频率时输入声音元素的复值。时频映射在[Vaidyanathan，1993]和[Wang，2008]中描述。时频掩模TFx(m，p)在单元TF-＞BM中使用预定算法转换为二进时频表示BM(m，p)(例如参见EP 2 088 802 A1和[Boldt et al.；2008])。输入声音元素的估计的二进掩模BMx(m，p)馈给识别模块(REC)以执行所涉及输入声音元素的二进掩模(或从其提取的特征)的识别，其通过与预期出现为将要识别的输入声音元素的多个不同声音元素(SE1，SE2，...)的二进掩模模型模式(或从其提取的特征)的培训数据库比较进行。在实施例中，培训数据库的声音元素模型的数量和/或内容适应应用的任务(如适应特定声音(如话音)控制应用、适应特定语言等)。使有噪声二进掩模与培训数据库的二进掩模模型之一匹配的过程受统计方法控制，如隐Markov模型(HMM)(例如参见[Rabiner，1989]或[Young，2008])或动态时间规整(DTW)(例如参见[Sakoe et al.，1978])。二进掩模模型模式的培训数据库(图3b中的培训数据库)保存在听音装置的存储器中(在图3b中由标记为BM1，BM2，...，BMr，...，BMQ的多个二进序列000111000...指示并在培训数据库模块中表示对应声音元素SE1，SE2，...，SEr，...，SEQ的二进掩模模型)。识别模块(REC)的输出为输入声音元素SEx的估计的二进掩模元素BMr(m，p)形式的输出声音元素。估计的二进掩模元素BMr(m，p)(表示输出声音元素OSEr)馈给可选的处理单元(SP)，以根据用户需要和/或其它信号增强应用随频率而变的增益。信号处理单元SP的输出为输出声音元素OSEr，其馈给单元(TF-＞T)以执行时频到时间的变换、提供随时间而变的输出信号OSEr-D。数字输出信号OSEr-D馈给DA单元以执行数模变换，其输出OSEr-A馈给输出变换器以将电输出信号转换为给用户的声音的信号表示(在此指示为估计的声音元素SEr)。
图4示出了包括根据本发明实施例的语音识别系统的听音装置的多个实施 例。图4a、4b、4c中所示的实施例均包括从输入变换器(图4a)或收发器(图4b、4c)到输出变换器的正向通路。
图4a示出了听音装置如听力仪器的实施例，与上面结合图3所述的类似。图4a的实施例包括与图3的实施例一样的功能单元。图3的信号处理单元SP1(或其部分)在图4a中体现在用于数字化来自传声器的模拟输入IN的模数转换单元AD及用于提供数字化输入信号IN的时频表示ISE的时间到时频转换单元T-＞TF中。输入信号IN的时频表示ISE(与图3中一样)馈给结合图3所述的自动声音识别系统ASR。ASR系统的包括所识别的声音元素的输出OSE馈给信号处理单元SP。此外，由ASR系统基于所识别的输入声音元素提供的控制信号CTR馈给信号处理单元SP以控制处理单元的功能或活动(例如改变参数设置，如音量设置或程序改变)。在实施例中，听音装置包括自音检测器，适于识别听音装置的佩戴者的话音。在实施例中，前述系统仅适于在自音检测器已检测到声音元素源自佩戴者(用户)的话音时提供控制信号CTR(以避免其它偶然的话音输入影响听音装置的功能)。例如，自音检测器可实施为ASR系统的一部分或实施在与ASR系统无关的功能单元中。自音检测器可以多种不同的方式实施，如WO 2004/077090A1或EP 1 956 589 A1中所述。信号处理单元SP适于根据用户需要和/或其它信号增强如噪声抑制、反馈抵消等应用随频率而变的增益。来自信号处理单元SP的处理后的输出信号馈给TF-＞T单元以执行时频到时间的变换，其输出馈给DA单元以执行信号的数模变换。图3实施例的信号处理单元SP2(或其部分)在图4a的实施例中体现在单元SP、TF-＞T和DA中。DA单元的输出OUT馈给输出变换器(在此为扬声器单元)以将处理后的电输出信号变换为输出声音，在此为输入声音元素Yees！的(放大)估计YES的形式。
图4b示出了听音装置的实施例，例如通信装置如头戴式耳机或电话。图4b的实施例与上面结合图4a描述的类似。然而，图4b实施例的正向通路包括接收器电路(Rx，在此包括天线)，用于电(在此为无线)接收及可能解调输 入信号IN，而不是图4a实施例的传声器(及AD转换器)。除此之外，正向通路包括与图4a实施例一样的功能单元。在图4b的实施例中，信号处理单元SP可以也可不适于根据特定用户的需要提供随频率而变的增益。在实施例中，信号处理单元为标准音频处理单元，其功能不是特别适应特定用户的听力受损。该实施例可用在电话或头戴式耳机应用中。除了无线(如图所示)或有线接收电输入的正向通路之外，听音装置包括用于拾取人的话音(如佩戴者自己的话音)的传声器。在图4b中，话音输入由声音Noo！指示。来自传声器的电输入信号馈给信号处理单元SPm。接收传声器信号的信号处理单元SPm的功能为执行任务：放大和/或数字化信号和/或提供定向信号(例如隔离不同的声源)和/或将信号从时域表示转换为时频域表示，和/或检测用户自己的话音，及将输出提供给收发器电路以将(可能增强的)传声器信号经无线(如在此所示的)或有线连接传给另一装置(如PC或电话基站)。给无线链路(包括发射器和天线电路Tx及进一步由粗Z形箭头指示)的(可能调制的)话音输出由标记(Noo！)指示。
图4c示出了与上面结合图4b所述类似的听音装置的实施例，例如通信装置如头戴式耳机或电话或播音系统。传声器通路另外包括自动声音识别系统ASR，以识别传声器拾取的输入声音元素。传声器通路包括与上面关于图4a实施例的正向通路所述一样的功能单元(AD，T-＞TF，ASR，SP，TF-＞T)。时频到时间单元(TF-＞T)的包括输入声音元素IN2的估计Noo！的输出馈给收发器和天线电路(Tx)以将输入声音信号IN2的(可能调制的)估计OUT2(由(NO)指示)传给另一装置(如图4b实施例中的装置)。正向和传声器通路的ASR和SP及SPm单元之间的电连接CTR2可用于控制正向通路和/或传声器通路的功能(例如基于所识别的包括用户自我话音的声音元素ISE2的估计的声音元素OSE2)。在该实施例中，听音装置可在传声器通路中包括自音检测器，适于识别听音装置的佩戴者的话音。
在图4的实施例中，输出变换器被示为扬声器(接收器)。作为备选，输 出变换器可适合产生适当的用于耳蜗植入或骨导装置的输出。此外，在其它实施例中，除图4a-4c中所示的模块之外，听音装置还可包括另外的功能模块(例如插入在所示的任何两个模块之间)。
本发明由独立权利要求的特征限定。从属权利要求限定优选实施例。权利要求中的任何附图标记不意于限定其范围。
一些优选实施例已经在上述内容中进行了说明，但是应当强调的是，本发明不受这些实施例的限制，而是可以权利要求限定的主题内的其它方式实现。
参考文献
●[Wang，2008]D.L.Wang，Time-Frequency Masking for Speech Separationand Its Potential for Hearing Aid design，Trends in Amplification，Vol.12，2008，pp.332-353
●US 2008/0183471(AT&T)31-07-2008
●[Srinivasan et al.，2005]S.Srinivasan，D.L.Wang，A schema-based model forphonemic restoration，Speech Communication，Vol.45，2005，pp.63-87
●[Harper et al.，2008]M.P.Harper and M.Maxwell，Spoken LanguageCharacterization，Chapter 40 in Springer Handbook on Speech Processing，J.Benesty，M.M Sondhi，and Y.Huang(eds.)，2008，pp 797-809
●US 5,473,701(AT&T)05-12-1995
●EP 1 005 783(PHONAK)07-06-2000
●EP 1 579 728B1(OTICON)08-07-2004
●[Boldt et al.，2008]J.B.Boldt，U.Kjems，M.S.Pedersen，T.Lunner，and D.L.Wang，Estimation of the ideal binary mask using directional systems.In Proceedingsof the 11th International Workshop on Acoustic Echo and Noise Control，Seattle，WA，September 2008
●[Brungart et al.，2006]D.S.Brungart，P.S.Chang，B.D.Simpson，D.L.Wang，Isolating the energetic component of speech-on-speech masking with ideal time-frequency segregation，J.Acoust.Soc.Am.Vol.120，No.6，December 2006，pp. 4007-4018
●[Rabiner，1989]L.R.Rabiner，A Tutorial on Hidden Markov Models andSelected Applications in Speech Recognition，Proceedings of the IEEE，Vol.77，No.2，February 1989，pp.257-286
●[Sakoe et al.，1978]Hiroaki Sakoe and Seibi Chiba，Dynamic programmingalgorithm optimization for spoken word recognition，IEEE Trans.Acoust.，Speech，Signal Processing，Vol.26，pp.43-49，February 1978
●[Young，2008]S.Young，HMMs and Related Speech RecognitionTechnologies，Chapter 27 in Springer Handbook on Speech Processing，J.Benesty，M.M Sondhi，and Y.Huang(eds.)，2008，pp.539-557
●EP 2 088 802 A1(OTICON)12-08-2009
●[Vaidyanathan，1993]P.P.Vaidyanathan，Multirate Systems and Filter Banks，Prentice Hall Signal Processing Series，1993.
●WO 2004/077090A1(OTICON)10-09-2004
●EP 1 956 589 A1(OTICON)13-08-2008。
Claims (10)
1.自动声音识别方法，包括：
-提供包括多个模型的培训数据库，每一模型表示下述形式的声音元素：
包括二进时频单元的二进掩模，二进时频单元指示所涉及声音元素的高能时间和频率区域；或
从二进掩模提取的特性特征或统计量；
-提供包括输入声音元素的输入信号；
-基于培训数据库的模型估计输入声音元素以提供输出声音元素；
-提供表示输入声音元素的下述形式的输入数据集：
指示所涉及声音元素的高能时间和频率区域的二进时频单元；或
从二进掩模提取的特性特征；
-通过根据所确定的培训声音元素和预定判据修改每一相应输入声音元素的二进掩模而提供输出声音元素的二进掩模。
2.根据权利要求1的方法，包括通过将表示输入声音元素的输入数据集与培训数据库的多个模型进行比较而估计输入声音元素，从而根据预定判据确定最相似的培训声音元素以提供估计输入声音元素的输出声音元素。
3.根据权利要求1的方法，包括将输出声音元素组合为输出信号。
4.根据权利要求1的方法，包括：
-将每一输出声音元素的二进掩模转换为对应的增益模式；
-将所述增益模式应用于输入信号从而提供输出信号。
5.根据权利要求3的方法，包括将输出信号呈现给用户。
6.根据权利要求1的方法，其中基于所确定的输出声音元素的行动包括控制一装置的功能。
7.根据权利要求1的方法，其中声音元素包括语音元素。
8.根据权利要求7的方法，其中语音元素选自下组：音素、音节、词、形成句子或句子的一部分的多个词、及其组合。
9.根据权利要求1的方法，其中产生对应于最常预期的声音元素的二进掩模模式码本并用于估计输入声音元素，所述码本包括少于50个的元素。
10.自动声音识别系统，包括：
-包括培训数据库的存储器，培训数据库包括多个模型，每一模型表示下述形式的声音元素：
包括二进时频单元的二进掩模，二进时频单元指示所涉及声音元素的高能时间和频率区域；或
从二进掩模提取的特性特征或统计量；
-输入装置，提供包括输入声音元素的输入信号；及
-处理单元，适于
基于输入信号和存储器中保存的培训数据库的模型估计输入声音元素以提供输出声音元素；
提供表示输入声音元素的下述形式的输入数据集：
指示所涉及声音元素的高能时间和频率区域的二进时频单元；或
从二进掩模提取的特性特征；
通过根据所确定的培训声音元素和预定判据修改每一相应输入声音元素的二进掩模而提供输出声音元素的二进掩模。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP09168480.3 | 2009-08-24 | ||
| EP09168480.3A EP2306457B1 (en) | 2009-08-24 | 2009-08-24 | Automatic sound recognition based on binary time frequency units |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101996630A CN101996630A (zh) | 2011-03-30 |
| CN101996630B true CN101996630B (zh) | 2014-10-29 |
Family
ID=41350682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010262636.5A Active CN101996630B (zh) | 2009-08-24 | 2010-08-24 | 基于二进时频单元的自动声音识别 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8504360B2 (zh) |
| EP (1) | EP2306457B1 (zh) |
| CN (1) | CN101996630B (zh) |
| AU (1) | AU2010204470B2 (zh) |
| DK (1) | DK2306457T3 (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9185500B2 (en) | 2008-06-02 | 2015-11-10 | Starkey Laboratories, Inc. | Compression of spaced sources for hearing assistance devices |
| US8705751B2 (en) | 2008-06-02 | 2014-04-22 | Starkey Laboratories, Inc. | Compression and mixing for hearing assistance devices |
| US9485589B2 (en) | 2008-06-02 | 2016-11-01 | Starkey Laboratories, Inc. | Enhanced dynamics processing of streaming audio by source separation and remixing |
| DK2306449T3 (da) * | 2009-08-26 | 2013-03-18 | Oticon As | Fremgangsmåde til korrektion af fejl i binære masker, der repræsenterer tale |
| DE102010020910B4 (de) * | 2009-12-17 | 2019-02-28 | Rohde & Schwarz Gmbh & Co. Kg | Verfahren und Vorrichtungen zur Ermittlung einer Frequenzmaske für ein Frequenzspektrum |
| US8913758B2 (en) * | 2010-10-18 | 2014-12-16 | Avaya Inc. | System and method for spatial noise suppression based on phase information |
| US9626982B2 (en) * | 2011-02-15 | 2017-04-18 | Voiceage Corporation | Device and method for quantizing the gains of the adaptive and fixed contributions of the excitation in a CELP codec |
| US10418047B2 (en) * | 2011-03-14 | 2019-09-17 | Cochlear Limited | Sound processing with increased noise suppression |
| US9818416B1 (en) * | 2011-04-19 | 2017-11-14 | Deka Products Limited Partnership | System and method for identifying and processing audio signals |
| DE102011087984A1 (de) | 2011-12-08 | 2013-06-13 | Siemens Medical Instruments Pte. Ltd. | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung |
| KR102060949B1 (ko) * | 2013-08-09 | 2020-01-02 | 삼성전자주식회사 | 청각 기기의 저전력 운용 방법 및 장치 |
| US20150092967A1 (en) * | 2013-10-01 | 2015-04-02 | Starkey Laboratories, Inc. | System and method for selective harmonic enhancement for hearing assistance devices |
| US9398367B1 (en) * | 2014-07-25 | 2016-07-19 | Amazon Technologies, Inc. | Suspending noise cancellation using keyword spotting |
| CN104240717B (zh) * | 2014-09-17 | 2017-04-26 | 河海大学常州校区 | 基于稀疏编码和理想二进制掩膜相结合的语音增强方法 |
| US9961435B1 (en) | 2015-12-10 | 2018-05-01 | Amazon Technologies, Inc. | Smart earphones |
| US9870719B1 (en) | 2017-04-17 | 2018-01-16 | Hz Innovations Inc. | Apparatus and method for wireless sound recognition to notify users of detected sounds |
| US20190043239A1 (en) * | 2018-01-07 | 2019-02-07 | Intel Corporation | Methods, systems, articles of manufacture and apparatus for generating a response for an avatar |
| CN111310050B (zh) * | 2020-02-27 | 2023-04-18 | 深圳大学 | 一种基于多层注意力的推荐方法 |
| CN113613155B (zh) * | 2021-07-24 | 2024-04-26 | 武汉左点科技有限公司 | 一种自适应环境的助听方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4087630A (en) * | 1977-05-12 | 1978-05-02 | Centigram Corporation | Continuous speech recognition apparatus |
| US4853953A (en) * | 1987-10-08 | 1989-08-01 | Nec Corporation | Voice controlled dialer with separate memories for any users and authorized users |
| CN1264890A (zh) * | 1999-02-23 | 2000-08-30 | 摩托罗拉公司 | 语音识别系统中的逆向追踪矩阵存储方法 |
| CN101156196A (zh) * | 2005-03-28 | 2008-04-02 | 莱塞克技术公司 | 混合语音合成器、方法和使用 |
| CN101217584A (zh) * | 2008-01-18 | 2008-07-09 | 同济大学 | 可用于汽车的语音命令控制方法及系统 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3636261A (en) * | 1969-04-25 | 1972-01-18 | Perkin Elmer Corp | Method and apparatus for optical speech correlation |
| US4827519A (en) * | 1985-09-19 | 1989-05-02 | Ricoh Company, Ltd. | Voice recognition system using voice power patterns |
| US5347612A (en) * | 1986-07-30 | 1994-09-13 | Ricoh Company, Ltd. | Voice recognition system and method involving registered voice patterns formed from superposition of a plurality of other voice patterns |
| US5473701A (en) | 1993-11-05 | 1995-12-05 | At&T Corp. | Adaptive microphone array |
| US5625747A (en) * | 1994-09-21 | 1997-04-29 | Lucent Technologies Inc. | Speaker verification, speech recognition and channel normalization through dynamic time/frequency warping |
| US5706398A (en) * | 1995-05-03 | 1998-01-06 | Assefa; Eskinder | Method and apparatus for compressing and decompressing voice signals, that includes a predetermined set of syllabic sounds capable of representing all possible syllabic sounds |
| DE19721982C2 (de) * | 1997-05-26 | 2001-08-02 | Siemens Audiologische Technik | Kommunikationssystem für Benutzer einer tragbaren Hörhilfe |
| EP0820210A3 (en) | 1997-08-20 | 1998-04-01 | Phonak Ag | A method for elctronically beam forming acoustical signals and acoustical sensorapparatus |
| JP2000152394A (ja) | 1998-11-13 | 2000-05-30 | Matsushita Electric Ind Co Ltd | 軽度難聴者用補聴装置、軽度難聴者対応伝送システム、軽度難聴者対応記録再生装置、及び軽度難聴者対応再生装置 |
| DE60120949T2 (de) * | 2000-04-04 | 2007-07-12 | Gn Resound A/S | Eine hörprothese mit automatischer hörumgebungsklassifizierung |
| US7006969B2 (en) | 2000-11-02 | 2006-02-28 | At&T Corp. | System and method of pattern recognition in very high-dimensional space |
| AU2002253416A1 (en) * | 2002-03-27 | 2003-10-08 | Nokia Corporation | Pattern recognition |
| DK1579728T3 (da) | 2002-12-20 | 2008-02-11 | Oticon As | Mikrofonsystem med retningsbestemt fölsomhed |
| WO2004077090A1 (en) | 2003-02-25 | 2004-09-10 | Oticon A/S | Method for detection of own voice activity in a communication device |
| WO2007028250A2 (en) * | 2005-09-09 | 2007-03-15 | Mcmaster University | Method and device for binaural signal enhancement |
| EP1956589B1 (en) | 2007-02-06 | 2009-12-30 | Oticon A/S | Estimating own-voice activity in a hearing-instrument system from direct-to-reverberant ratio |
| US8170874B2 (en) * | 2007-07-02 | 2012-05-01 | Canon Kabushiki Kaisha | Apparatus and method for recognizing speech based on feature parameters of modified speech and playing back the modified speech |
| KR101456866B1 (ko) * | 2007-10-12 | 2014-11-03 | 삼성전자주식회사 | 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치 |
| US8143620B1 (en) * | 2007-12-21 | 2012-03-27 | Audience, Inc. | System and method for adaptive classification of audio sources |
| DK2088802T3 (da) * | 2008-02-07 | 2013-10-14 | Oticon As | Fremgangsmåde til estimering af lydsignalers vægtningsfunktion i et høreapparat |
| JP5294300B2 (ja) * | 2008-03-05 | 2013-09-18 | 国立大学法人 東京大学 | 音信号の分離方法 |
| US20090238371A1 (en) * | 2008-03-20 | 2009-09-24 | Francis Rumsey | System, devices and methods for predicting the perceived spatial quality of sound processing and reproducing equipment |
| US9293130B2 (en) * | 2008-05-02 | 2016-03-22 | Nuance Communications, Inc. | Method and system for robust pattern matching in continuous speech for spotting a keyword of interest using orthogonal matching pursuit |
| DK2306449T3 (da) * | 2009-08-26 | 2013-03-18 | Oticon As | Fremgangsmåde til korrektion af fejl i binære masker, der repræsenterer tale |
| EP2463856B1 (en) * | 2010-12-09 | 2014-06-11 | Oticon A/s | Method to reduce artifacts in algorithms with fast-varying gain |
-
2009
- 2009-08-24 EP EP09168480.3A patent/EP2306457B1/en active Active
- 2009-08-24 DK DK09168480.3T patent/DK2306457T3/en active
-
2010
- 2010-07-27 AU AU2010204470A patent/AU2010204470B2/en not_active Ceased
- 2010-08-04 US US12/850,461 patent/US8504360B2/en active Active
- 2010-08-24 CN CN201010262636.5A patent/CN101996630B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4087630A (en) * | 1977-05-12 | 1978-05-02 | Centigram Corporation | Continuous speech recognition apparatus |
| US4853953A (en) * | 1987-10-08 | 1989-08-01 | Nec Corporation | Voice controlled dialer with separate memories for any users and authorized users |
| CN1264890A (zh) * | 1999-02-23 | 2000-08-30 | 摩托罗拉公司 | 语音识别系统中的逆向追踪矩阵存储方法 |
| CN101156196A (zh) * | 2005-03-28 | 2008-04-02 | 莱塞克技术公司 | 混合语音合成器、方法和使用 |
| CN101217584A (zh) * | 2008-01-18 | 2008-07-09 | 同济大学 | 可用于汽车的语音命令控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2010204470B2 (en) | 2016-07-07 |
| EP2306457B1 (en) | 2016-10-12 |
| EP2306457A1 (en) | 2011-04-06 |
| DK2306457T3 (en) | 2017-01-16 |
| US8504360B2 (en) | 2013-08-06 |
| US20110046948A1 (en) | 2011-02-24 |
| AU2010204470A1 (en) | 2011-03-10 |
| CN101996630A (zh) | 2011-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101996630B (zh) | 基于二进时频单元的自动声音识别 | |
| CN101505448B (zh) | 适应于声环境中的特定类型话音的助听器及相应方法 | |
| CN102088648B (zh) | 听力仪器和操作适于由用户佩戴的听力仪器的方法 | |
| US7383178B2 (en) | System and method for speech processing using independent component analysis under stability constraints | |
| CN102440007B (zh) | 使用无线流传输的信号增强的装置和方法 | |
| US8880396B1 (en) | Spectrum reconstruction for automatic speech recognition | |
| CN102026080B (zh) | 音频处理系统和自适应反馈抵消方法 | |
| CN107919133A (zh) | 针对目标对象的语音增强系统及语音增强方法 | |
| CN109121057A (zh) | 一种智能助听的方法及其系统 | |
| CN103024633A (zh) | 基于探针信号注入控制自适应反馈抵消系统 | |
| WO2020170907A1 (ja) | 信号処理装置、学習装置、信号処理方法、学習方法及びプログラム | |
| CN103310796A (zh) | 语音信号提取方法 | |
| CN115884032A (zh) | 一种后馈式耳机的智慧通话降噪方法及系统 | |
| CN214226506U (zh) | 声音处理电路、电声器件和声音处理系统 | |
| US11490211B2 (en) | Directivity hearing-aid device and method thereof | |
| CN103152686A (zh) | 一种可定制功能模式的数字助听器及其实现方法 | |
| Liu et al. | The sheffield wargame corpus-day two and day three | |
| Song et al. | Research on Digital Hearing Aid Speech Enhancement Algorithm | |
| Priyadharsini et al. | Certain Investigation of Various Algorithms to Improvise the Quality of Hearing Aid | |
| Tu et al. | Sheffield system for the second clarity enhancement challenge | |
| Ananthakrishnan et al. | Recent trends and challenges in speech-separation systems research—A tutorial review | |
| Cuadra et al. | Influence of acoustic feedback on the learning strategies of neural network-based sound classifiers in digital hearing aids | |
| CN114640937A (zh) | 一种基于穿戴设备系统的助听功能实现方法及穿戴设备 | |
| De Vries et al. | Towards SNR-loss restoration in digital hearing aids | |
| CN116132898A (zh) | 一种降噪拾音助听系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |