JP2013172454A - オーディオ明瞭度増大方法および装置とコンピュータ装置 - Google Patents

オーディオ明瞭度増大方法および装置とコンピュータ装置 Download PDF

Info

Publication number
JP2013172454A
JP2013172454A JP2013023206A JP2013023206A JP2013172454A JP 2013172454 A JP2013172454 A JP 2013172454A JP 2013023206 A JP2013023206 A JP 2013023206A JP 2013023206 A JP2013023206 A JP 2013023206A JP 2013172454 A JP2013172454 A JP 2013172454A
Authority
JP
Japan
Prior art keywords
audio signal
noise
signal
audio
increasing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013023206A
Other languages
English (en)
Other versions
JP5704470B2 (ja
Inventor
Jen-Po Hsiao
ジェンポ シャオ
Ting-Wei Sun
ティンウェイ スン
Hann-Shi Tong
ハンシ トン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of JP2013172454A publication Critical patent/JP2013172454A/ja
Application granted granted Critical
Publication of JP5704470B2 publication Critical patent/JP5704470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/32Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】オーディオ明瞭度増大方法および装置およびコンピュータ装置を提供する。
【解決手段】コンピュータ機器の少なくとも1つのマイクロフォンから検出されたオーディオ信号に従って音声区間検出を実行することにより環境ノイズを検出する。検出された環境ノイズと第1オーディオ信号とに従ってノイズ情報を得る。コンピュータ機器によりノイズ情報と第1オーディオ信号とに従って、調節可能なヘッドルームのもとで第1オーディオ信号をブーストして第2オーディオ信号を出力する。
【選択図】図1

Description

ここに開示される実施形態は、一般に、オーディオ明瞭度の増大に関し、特に、信号のためのオーディオ明瞭度増大方法および装置とコンピュータ装置に関する。
携帯電話のユーザにとって通話の際のオーディオの質は重要事である。携帯電話のなかには、送信オーディオ信号に埋め込まれた環境ノイズを減少させることにより通話の際の送信オーディオ信号の質を向上させるために、ノイズリダクションを採用するものがある。その一方で、受信オーディオ信号の質が環境ノイズのために悪化することがある。この場合、携帯電話のユーザは携帯電話の音量を手操作で大きくしなければならない。この方法はユーザにとって不便であり、音量が過度に大きい場合には聞くのに適した質を得ることができない。
本開示は、再生する信号のオーディオ明瞭度増大方法および装置とコンピュータ装置に関するものである。
一実施形態によれば、オーディオ明瞭度増大方法が提供される。この方法は次のステップを含む。コンピュータ機器の少なくとも1つのマイクロフォンから検出されたオーディオ信号に従って音声区間検出を実行することにより環境ノイズを検出する。検出された環境ノイズと第1オーディオ信号とに従ってノイズ情報を得る。コンピュータ機器によりノイズ情報と第1オーディオ信号とに従って、調節可能なヘッドルームのもとで第1オーディオ信号をブーストして第2オーディオ信号を出力する。
他の実施形態によれば、オーディオ明瞭度増大部が提供される。本装置は、環境ノイズ決定部と明瞭度増大部とを有している。環境ノイズ決定部は、コンピュータ機器の少なくとも1つのマイクロフォンから検出されたオーディオ信号に従って環境ノイズを検出するために用いられる。明瞭度増大部は、環境ノイズ決定部に結合され、検出された環境ノイズと第1オーディオ信号とに従ってノイズ情報を得るために用いられ、またノイズ情報と第1オーディオ信号とに従って、調節可能なヘッドルームのもとで第1オーディオ信号をブーストして第2オーディオ信号を出力するために用いられる。
別の実施形態によれば、コンピュータ装置が提供される。コンピュータ装置は、少なくとも1つのマイクロフォンと、コンピュータ装置を制御するための処理部と、通信部と、オーディオ明瞭度増大のための信号処理部とを有している。信号処理部は、処理部と通信部とに結合されたオーディオ明瞭度増大のためのものであり、環境ノイズ決定部と明瞭度増大部とを有している。環境ノイズ決定部は、少なくとも1つのマイクロフォンから検出されたオーディオ信号に従って環境ノイズを検出するために用いられる。明瞭度増大部は、環境ノイズ決定部に結合されて、検出された環境ノイズと第1オーディオ信号とに従ってノイズ情報を得るために用いられ、またノイズ情報と第1オーディオ信号とに従って、調節可能なヘッドルームのもとで第1オーディオ信号をブーストして第2オーディオ信号を出力するために用いられる。
図1は、一実施形態によるオーディオ明瞭度増大方法のフローチャートである。
図2は、一実施形態によるコンピュータ装置のブロック図である。
図3Aは、一実施形態によるコンピュータ機器におけるオーディオ明瞭度増大システムのブロック図である。
図3Bは、明瞭度増大部の他の実施形態のブロック図である。
図4は、オーディオ明瞭度増大部の動作の実施形態を示す。
図5は、異なる周波数帯域によるダウンリンク音声のブースティングの実施形態を示す。
図6は、SNR推定によるノイズ情報の実施形態を示す。
以下の詳細な説明においては、説明のために多くの特定の詳細が記載されているが、それは開示された実施形態の十分な理解のためである。しかし、これらの特定な詳細によらずに1以上の実施形態を実現できることは明らかである。他の例では、図面を簡単なものとするために、良く知られた構成や装置が概略的に示されている。
コンピュータ機器における再生信号のためのオーディオ明瞭度増大方法および装置とコンピュータ装置の実施形態を示す。図1は、一実施形態によるコンピュータ機器におけるオーディオ明瞭度増大方法のフローチャートを示している。この方法の一実施形態によれば、通話がノイズのある環境で行なわれたり受信されたりしても、ダウンリンク音声のオーディオ明瞭度を通話の際に増大することができる。他の実施形態では、オーディオファイルやマルチメディアファイルやストリーム配信されたオーディオあるいはビデオ(例えば、コンピュータ機器でのYouTubeからのビデオの視聴)の再生によるマルチメディアソースなどからの再生の際に、環境ノイズがあまりに大きすぎて可聴音の明瞭度を増大するためにも本方法を用いることができる。更に、オーディオ明瞭度の増大を実現するにあたり、モバイル装置のハードウェアやユーザの聴覚の保護についても付加的に考慮することができる。
本方法は、音声通信機能(テレフォニー、モバイル通信、VoIPなど)を備えたコンピュータ機器(例えば、携帯電話、スマートフォン、タブレット型コンピュータ、ノートパソコン、その他)などのコンピュータ装置において用いることができる。モバイル装置を導出できる構成が例示的な実施形態として図2に示されている。図2では、モバイル装置2が、信号処理部21と、通信部23と、(例えば、シングルコアあるいはマルチコアの)処理部25と、少なくとも1つのマイクロフォンM1と、少なくとも1つのスピーカーSK1とを有している。例えば、本方法は、(2G、3G、3.5G、LTE、4Gなど1以上の通信規格をサポートする)通信部23からダウンリンクの音声信号(SRx)を受信し、通信部23にアップリンク音声信号(STx)を出力する信号処理部21において用いることができる。
他の例として、本方法は、パソコン、ラップトップ、マルチメディア機器、ゲーム機、その他など、マルチメディア機能を備えたコンピュータ装置に用いて、それらのオーディオ明瞭度を増大することができる。例えば、本方法は、マルチメディアソース、即ち、オーディオまたはマルチメディアデータ、例えば、コンピュータ装置に記憶された音楽またはビデオファイル、あるいは遠隔機器やウェブサイトやネットワーククラウドにある機器からストリーム配信されたオーディオまたはビデオ(例えば、モバイル装置でのYouTubeの視聴)、の再生の際に処理部25あるいは通信部23から(あるいは、マルチメディアチップやマルチメディアソースからでさえ)オーディオ信号(SRx)を受信する信号処理部21において用いることができる。更に、本方法はまた、無線ネットワーク機能(例えば、Wi−Fi)を備えたモバイル装置で、IPベースの音声通信やストリーム配信されたマルチメディアのためにオーディオ明瞭度を増大するために利用することができる。
図1を参照すると、ステップS10において、検出されたオーディオ信号に従い、例えば、音声区間検出(voice activity detection, VAD)を実行して環境ノイズを検出する。例えば、検出されたオーディオ信号は、通話(例えば、テレフォニー、モバイル通信、あるいはボイスオーバーアイピー)の際のアップリンクのための、少なくともマイクロフォンM1などのマイクロフォンからの信号、あるいはオーディオデータまたはマルチメディアデータ再生の際のアップリンク無しの信号である。ステップS20において、検出された環境ノイズと、ダウンリンク音声信号(例えば、SRx)や処理部21やマルチメディアチップやソースからのオーディオ信号などの(そのオーディオ明瞭度を増大すべき)第1オーディオ信号とによって、ノイズ情報が得られる。ステップS30において、ノイズ情報および第1オーディオ信号に従って、例えばブーストされて(あるいは、増幅されて)、第2オーディオ信号が出力される。それで、第2オーディオ信号は第1オーディオ信号のオーディオ明瞭度増大版と見なすことができる。幾つかの例においては、第2オーディオ信号(デジタル形式でもアナログ形式でもあり得る)はコンピュータ装置によりそのスピーカーあるいはヘッドセットで再生されることになるか、コンピュータ装置によるレコーディングや、外部スピーカーによる再生や、コンピュータ装置を介した無線放送など、他の目的のために出力されることになる。
例示的な一つの実施形態においては、調節可能なヘッドルームのもとで第1オーディオ信号をコンピュータ機器によってブーストして、第2オーディオ信号を出力する。他の実施形態においては、ノイズ情報は、第1オーディオ信号に関して検出された環境ノイズの測定レベルを示している。例えば、ステップ30において例えば第1オーディオ信号のブーストに用いるために、信号対ノイズ比あるいはノイズ信号強度あるいはその他のノイズ測定などのノイズ情報を決定することができる。
図1の方法によって例示されるように、このようにすると、検出されたオーディオ信号(例えば、マイクロフォンからの信号)からVADを用いて検出された環境ノイズを利用することにより、第1オーディオ信号(例えば、ダウンリンク音声信号SRxあるいは再生用のオーディオ信号)の明瞭度の増大が容易になる。注目すべきことに、VADを用いるなら、検出された環境ノイズは、その後のステップS30の例における決定および増幅のために信頼できるノイズ情報をステップS20が提供するために十分正確なものとなる。また、この方法によれば、声やサウンドを環境ノイズとして誤って判断したり、ステップS30の例においてダウンリンク音声信号を不適切にあるいは異常にブーストしたり増幅したりするのを避けることができる。
一つの例では、ブーストされたダウンリンク音声信号が目標レベル(例えば、3dB)より大きくない信号対ノイズ比(SNR)を維持するように、ステップS30を実現することができる。検出された環境ノイズが−15dBのレベル(Leと表記する)でダウンリンク音声信号が−30dBのレベル(Ldと表記する)であるとすると、ブーストされたダウンリンク音声信号をLdの信号レベルに目標を達成するためのLgの値を足したものとすることができる。
ノイズのある環境に関して言えば、コンピュータ機器のユーザはノイズのある環境における通話の際には、スピーカーの音量を増大したとしても、ダウンリンクオーディオ信号のオーディオ明瞭度の悪さに悩まされることがある。最悪の場合、過剰にブーストされたダウンリンク音声信号の駆動によってオーディオコンポーネントやスピーカーのハードウェア損傷に至るかもしれない。過剰にブーストされたダウンリンク音声信号は、聞くことを不快にすることがあり、あるいはユーザの聴覚に有害となることさえあり得る。この点で、幾つかの例においては、信号品質のためまたはモバイル装置のハードウェアの保護のために、Lgの値がヘッドルーム(即ち、ゲインの最大許容な増加)の範囲内となるように設計することができる。ヘッドルームはまた、公称信号値と最大無歪値との差として定義することができる。例えば、上の数値例に従えば、ヘッドルームは10dBと予め定めることにより、ブーストされたダウンリンク音声信号が−5dB(即ち、−15dB+10dB)の信号レベルとなるまでブーストすることができる。
しかし、ダウンリンク音声信号の信号レベルが最大レベル(例えば、0dB)より大きい場合あるいはそれに近い場合、ブーストされたダウンリンク音声信号は歪んでいる場合がある。図4に示されているケースでは、検出された環境ノイズのレベルLeが−2dBで、ダウンリンク音声信号が時点t1以前において−9dBであるレベルLdである場合、予め定められたヘッドルームが10dBとして、ブーストされたダウンリンク音声信号は+1dB(即ち、−9dB+10dB)の信号レベルLxとすることができる。なお、デジタル分野の場合は信号レベルが最大信号レベル0dBを超えることはできないので、ブーストされたダウンリンク音声信号は、この場合、最大信号レベルにおいて歪むことになるであろう。これはスピーカーやモバイル装置のハードウェアの損傷に至るであろうし、あるいは、聞くことを不快にすることがあり、またユーザの聴覚に有害となることさえあり得る。
従って、他の実施形態では、ステップS30は調節可能なヘッドルームによって実現することができる。例えば、ヘッドルームの調節は1以上の条件によって決めるものとすることができ、あるいは動的に行なうことができる。加えて、ヘッドルームを、信号の歪みだけでなくハードウェアや人間の聴覚に対する損傷等を避けるように設定することができる。
幾つかの例では、第2オーディオ信号の信号レベルが第1オーディオ信号の信号レベルに対して線形あるいは非線形に比例するように、しかしクリッピングレベル、例えば0dB、より依然として下となるように、調節可能なヘッドルームを第1オーディオ信号の信号レベルに従って調節する。
一つの例においては、ステップS30におけるダウンリンク音声信号のブースティングを、ダウンリンク音声信号レベル(例えば、信号エネルギーレベル)が特定のしきい値レベルより下である(即ち、最大レベルに近くない)場合には第1の値(例えば、10dB)のヘッドルームを用いて決定し、ダウンリンク音声信号レベル(例えば、−9dB)がその特定のしきい値レベルを超えた場合には第1の値より小さな第2の値(例えば、5dB)のヘッドルームを用いて決定する。図4を参照すると、ヘッドルームが第1の値より小さい8dBである場合、ブーストされたダウンリンク音声信号(Lbで示されている)は最大レベルより低い−1dBのレベルであり、その結果、上に例示されたようなノイズのある環境においてさえ、ブーストされたダウンリンク音声信号がハードウェアの保護と人間の聴覚にとって安全なものとなる。
他の例では、ヘッドルームはモバイル装置2の音量制御レベルに従って調節可能である。例えば、信号処理部21は、音量制御レベルが変更されると、音量制御レベルを示す音量データを知らされる。信号処理部21は、その音量データに従って異なる値のヘッドルームによってステップS30を実行する。例えば、音量データが音量制御レベルが特定のしきい値(例えば、中間レベルかそれより上)以下であることを示している場合、ヘッドルームを第1の値(例えば、10dB)に設定することができる。音量データが、音量制御レベルが最大レベルかそれに近いあるいは前記特定のしきい値を超えていることを示している場合、ヘッドルームを第1の値より小さな第2の値(例えば、5dB)に設定することができる。他の例では、ヘッドルームを1以上の条件に従って、例えば、ダウンリンク音声信号レベルと音量制御レベルとに従って、調節することができる。
更に他の例では、ステップS30における第1オーディオ信号を異なる周波数帯域に関してブーストすることもできる。例えば、ノイズスペクトルが図5に示されている。十分なSNRを保つために、1以上の周波数帯域のオーディオ信号(例えば、ダウンリンク音声またはファイルやストリーム配信されたビデオやオーディオなどのソースからのオーディオ信号)が、人間の聴覚に対するオーディオ明瞭度を考慮してブーストされる。この例では、ダウンリンク音声信号の500Hz周辺の周波数帯域(B1によって示されている)および3kHz周辺の周波数帯域(B2によって示されている)がブーストされることになる。
図3Aを参照すると、一実施形態によるコンピュータ機器におけるオーディオ明瞭度増大システムがブロック図により示されている。コンピュータ装置の少なくとも1つのマイクロフォンM1から検出されたオーディオ信号とオーディオ明瞭度を増大すべき第1オーディオ信号(例えば、図2におけるモバイル装置の通信部23からのダウンリンク音声信号やオーディオ再生のための処理部25からの信号)に応えて、本システム3は第2オーディオ信号をコンピュータ装置の少なくとも1つのスピーカーSK1に出力する。本システム3は、環境ノイズ決定部30と明瞭度増大部32とを有している。このシステム3はソフトウェアとしてまたは回路として実現することができ、あるいは信号処理部や一般的なプロセッサをプログラミングすることによって実現することができる。環境ノイズ決定部30は、図1に示されたステップS10の態様と見なすことができる。明瞭度増大部32は、図1に示されたステップS20およびS30の態様と見なすことができる。
環境ノイズ決定部30は、前処理モジュール301と、ノイズ推定モジュール303とを有している。前処理モジュール301は、VADモジュール3013によって示されている音声区間検出(VAD)を実行し、マイクロフォンM1から検出されたオーディオ信号がオーディオを示しているかノイズを示しているかを決定する。前処理モジュール301は決定結果をノイズ推定モジュール303に出力する。前処理モジュール301からの決定結果とオーディオ信号とに応えて、ノイズ推定モジュール303は、そのモバイル装置が位置する場所における環境ノイズを表わす基準ノイズ信号SRNを出力する。すなわち、ノイズ推定モジュール303は、検出されたオーディオ信号がノイズを示している場合、検出された環境ノイズを出力することができる。これに関しては、様々な同等の実施形態が実現可能である。実施形態の1つにおいては、ノイズ推定モジュール303は、前処理モジュール301から検出されたオーディオ信号を出力し、基準ノイズ信号SRNはSNR推定のための情報を備えた環境ノイズを示している。例えば、VADモジュール3013が検出されたオーディオ信号がユーザの声を表わしていることを示す場合、ノイズ推定モジュール303は低いノイズスコアを添えて基準ノイズ信号SRNを出力する。検出されたオーディオ信号が、例えば子供の叫び声のような特定の音に似た、ノイズを表わす場合、ノイズ推定モジュール303は高いノイズスコアを添えて基準ノイズ信号SRNを出力し、それは続く(SNR推定のような)ステージに対して基準ノイズ信号SRNの環境ノイズを無視してもよいことを知らせるものである。実施形態の別のものにおいては、ノイズ推定モジュール303を、VADモジュール3013が音声区間を示さない場合またはノイズスコアが特定のしきい値より低い場合にのみ、環境ノイズを出力するものとして実現することができる。同様にノイズ推定モジュール303は他の様々な方法で実現することができ、上の例に限定されるわけではない。
VADモジュール3013は声や音が環境ノイズとして誤って決定されるのを避けるためのものであり、また続くステージにおいて適切なノイズ推定および第1オーディオ信号のブーストあるいは増幅を容易にするためのものである。幾つかの例において、エネルギーレベルしきい値は音声区間検出のための条件と見なすことができる。信号レベルが特定のエネルギーレベルしきい値を超えている場合、アップリンクのためのオーディオ信号が音声区間を示していると判断される。逆に、信号レベルがその特定のしきい値より低い場合、オーディオ信号は環境ノイズと見なされる。他の例においては、VADモジュール3013において、音声区間を検出するために、検出されたオーディオ信号から周波数あるいは時間領域の点でオーディオ特徴を抽出することができる。これらの例においては、オフィスや駅などにおける話し声や歩行の音など所定のオーディオ特徴を記憶し、音声区間の決定における基準として用いることができる。一つの例においては、VADモジュール3013を、検出されたオーディオ信号と音声区間に関する決定結果(例えば、ノイズスコア、あるいは音声かノイズかの表示)とを直列または並列に出力するものとして実現できる。
加えて、前処理モジュール301は、音声区間の決定結果がより正確なものとなるように、VADモジュール3013の前のエコー除去モジュール3011によって示されるエコー除去処理を実行することもできる。例えば、エコー除去モジュール3011のエコー除去処理は、時間領域適応フィルタによって実現することができ、エコー除去モジュール3011は、検出されたオーディオ信号のエコー除去版をVADモジュール3013に出力する。
他の例においては、環境ノイズ決定部30が、人間の話し声とノイズとを区別するために用いることのできるノイズスペクトル検出あるいは推定を用いて、検出されたオーディオ信号に従って環境ノイズを検出することができる。
明瞭度増大部32は、信号対ノイズ比(SNR)推定モジュール321と、ゲイン計算モジュール323と、ブースティングモジュール325とを有している。SNR推定モジュール321は、ステップS20に示されているようにしてノイズ情報を得るためのものである。基準ノイズ信号SRNとダウンリンク音声信号SRに応じて、SNR推定モジュール321は、図6に破線の曲線Nとして示されているような周波数に関するノイズレベルなどの、ノイズ情報を出力する。ゲイン計算モジュール323およびブースティングモジュール325は、ステップS30に示されているようにダウンリンク音声信号SRをブーストするために用いられる。ノイズ情報と第1ダウンリンク音声信号SRとに応じて、ゲイン計算モジュール323は、第1ダウンリンク音声信号SRをブーストするようにブースティングモジュール325を制御するための1以上のパラメータを決定する。例えば、ゲイン計算モジュール323は、図6に示されているように、幾つかの周波数帯域に関して第1ダウンリンク音声信号SRに関する信号レベル(Sgで示されている)が環境ノイズNに関する信号レベルより低いと判断する。それによりゲイン計算モジュール323は、例えば、周波数帯域W1において第1ダウンリンク音声信号をブーストする必要があると判断し、判断した周波数帯域がオーディオ明瞭度のために十分なSNRを維持するため、第1ダウンリンク音声信号SRをブーストするようブースティングモジュール325を制御する。図6の周波数帯域W1およびW2のように、1以上の周波数帯域がそのように判断された周波数帯域となり得る。例えば、ゲイン計算モジュール323は環境ノイズのノイズレベルを第1ダウンリンク音声信号SRの信号レベルと比較して、ブースティングモジュール325を制御するための決定結果を決定するが、決定結果はブースティングモジュール325のために信号レベルの増加量をも含むものとすることができる。
更に、ステップS30に関する上の例は、1以上の周波数帯域に関してダウンリンク音声信号をブーストするための1以上のレベルを決定するために、ゲイン計算モジュール323に適用することもできる。例えば、ゲイン計算モジュール323におけるヘッドルームの調節は、1以上の条件によって決めるものとすることができ、あるいは動的に行なうことができる。加えて、ヘッドルームは、信号の歪みだけでなくハードウェアや人間の聴覚に対する他の損傷を避けるように設定することができる。幾つかの例では、ゲイン計算モジュール323は、ヘッドルームを調節すべきかどうか、またはどのように調節すべきかを判断するために、モバイル装置の処理部あるいは他の構成要素から音量データを得ることができる。
ブースティングモジュール325は、イコライゼーション技術や他のブースティング技術あるいは増幅技術を用いて実現することができる。
幾つかの実施形態では、図3Aに示されたシステム3の1つ以上のモジュール、装置およびブロックを、ソフトウェアコードとして、ソフトウェアモジュールとして、または(チップあるいはチップ内の回路モジュールなど)専用の回路として実現することができ、あるいは、信号処理部あるいはプログラマブルチップあるいは一般的なプロセッサをプログラミングすることによって実現することができる。例えば、システム3は、アプリケーションプロセッサまたはデジタル信号プロセッサ(DSP)などの(例えば、シングルコアあるいはマルチコアの)プロセッサを用いて実現でき、あるいは特定用途向け集積回路(ASIC)を用いて、あるいはフィールドプログラマブルゲートアレイ(FPGA)において実現することができ、それは、図3Aのシステム3の(あるいは図1の方法の)特定の演算を実行するように設計されたものである。
図3Bを参照すると、明瞭度増大部の他の実施形態が示されている。図3Aと比較すると、図3Bに示された明瞭度増大部42は、(例えば、SRで示されている)再生される第1オーディオ信号用の経路上に前処理モジュール420を更に有している。第1オーディオ信号に応じて、第1オーディオ信号が望ましい声や音を表わしている場合には、前処理モジュール420は続くステージで増幅されることになる前処理済みの第1オーディオ信号を出力する。例えば、通話中のある期間において第1オーディオ信号が音声やノイズを全く示さない場合、増幅することは望ましくもなく必要でもないし、フィルタリングして除去してもよい。幾つかの実施形態では、前処理モジュール420がVADモジュールまたはノイズ推定モジュールを有することができ、あるいは上の例のように、その両方を有することができる。幾つかの実施形態では、第1オーディオ信号が望ましい声や音を表わしている場合に前処理済みの第1オーディオ信号を続くステージにおいて増幅できるように、前処理モジュール420は1以上の制御信号あるいは指示データを明瞭度増大部42の1以上の他のモジュールに対して出力することができる。
更に、他の幾つかの実施形態は、プログラムコードや1以上のプログラムモジュールを記憶するための機械可読なあるいは装置可読な情報記憶媒体を更に開示するものである。プログラムコードは、図1のオーディオ明瞭度増大方法を実現するために、あるいは図3Aまたは図3Bのシステム3を実現するために実行することができる。それら実施形態の各々における可読情報記憶媒体としては、光情報記憶媒体、磁気情報記憶媒体、あるいはメモリカードやファームウェアあるいは専用のあるいはデジタル信号プロセッサや一般のプロセッサなどのプログラマブルチップに埋め込まれたROMやRAMなどのメモリを挙げることができるが、それらに限定されるわけではない。
当業者には、開示された実施形態に対して様々な変更や変形が可能であることは明らかであろう。本明細書ならびに実施形態は例示のためだけのものと考えるべきであり、本開示の真の範囲は以下の請求項およびそれらの同等物によって示される。

Claims (32)

  1. コンピュータ機器におけるオーディオ明瞭度増大方法であって、
    前記コンピュータ機器の少なくともマイクロフォンから検出されたオーディオ信号に従って、音声区間検出を実行することにより環境ノイズを検出するステップと、
    前記検出された環境ノイズと第1オーディオ信号とに従ってノイズ情報を得るステップと、
    前記コンピュータ機器により前記ノイズ情報と前記第1オーディオ信号とに従って、調節可能なヘッドルームのもとで該第1オーディオ信号をブーストして第2オーディオ信号を出力するステップと、
    を含むオーディオ明瞭度増大方法。
  2. 請求項1記載の方法であって、
    前記ノイズ情報が、前記第1オーディオ信号に対する前記検出された環境ノイズの測定レベルである
    ことを特徴とするオーディオ明瞭度増大方法。
  3. 請求項1記載の方法であって、
    環境ノイズを検出する前記ステップが、
    前記検出されたオーディオ信号がノイズを示すか否かを判断するために、前記音声区間検出を実行するステップと、
    前記検出されたオーディオ信号がノイズを示す場合に、前記検出された環境ノイズを出力するステップと、を含む
    ことを特徴とするオーディオ明瞭度増大方法。
  4. 請求項1記載の方法であって、
    環境ノイズを検出する前記ステップが、
    前記検出されたオーディオ信号のエコー除去版を出力するステップと、
    前記検出されたオーディオ信号がノイズを示す場合、前記検出された環境ノイズを出力するステップと、
    を含み、
    前記検出されたオーディオ信号がノイズを示すか否かを判断するために、前記音声区間検出が前記検出されたオーディオ信号の前記エコー除去版に従って実行される、
    ことを特徴とするオーディオ明瞭度増大方法。
  5. 請求項1記載の方法であって、
    前記第2オーディオ信号の信号レベルが前記第1オーディオ信号の信号レベルに対して比例し、かつクリッピングレベルより下であるように、前記調節可能なヘッドルームが前記第1オーディオ信号の信号レベルに従って調節される
    ことを特徴とするオーディオ明瞭度増大方法。
  6. 請求項1記載の方法であって、
    前記第1オーディオ信号の信号レベルがしきい値レベルより下の場合には前記調節可能なヘッドルームが第1の値にあり、前記第1オーディオ信号の信号レベルが該しきい値レベルを超えている場合には該調節可能なヘッドルームが該第1の値より小さな第2の値にある
    ことを特徴とするオーディオ明瞭度増大方法。
  7. 請求項1記載の方法であって、
    前記コンピュータ機器の音量調節レベルに従って前記調節可能なヘッドルームが調節される
    ことを特徴とするオーディオ明瞭度増大方法。
  8. 請求項7記載の方法であって、
    前記音量制御レベルがしきい値レベルより下の場合には前記調節可能なヘッドルームが第1の値にあり、該音量制御レベルが該しきい値レベルを超えている場合には該調節可能なヘッドルームが該第1の値より小さな第2の値にある
    ことを特徴とするオーディオ明瞭度増大方法。
  9. 請求項1記載の方法であって、更に、
    前記第1オーディオ信号に前処理を実行することにより前記第1オーディオ信号がノイズか否かを判定するステップ、
    を有し、
    前記第2オーディオ信号を出力するステップにおいて、前記前処理において前記第1オーディオ信号がノイズであると判定された場合に、該第1オーディオ信号をブーストしないで前記第2オーディオ信号を出力する
    ことを特徴とするオーディオ明瞭度増大方法。
  10. 請求項9記載の方法であって、
    音声区間検出を用いて前記前処理が前記第1オーディオ信号に実行される
    ことを特徴とするオーディオ明瞭度増大方法。
  11. 請求項9記載の方法であって、
    ノイズ推定を用いて前記前処理が前記第1オーディオ信号に実行される
    ことを特徴とするオーディオ明瞭度増大方法。
  12. 請求項1記載の方法であって、
    人間の聴覚のための少なくとも1つの周波数帯域に関して前記第1オーディオ信号をブーストして前記第2オーディオ信号を出力する
    ことを特徴とするオーディオ明瞭度増大方法。
  13. コンピュータ機器におけるオーディオ明瞭度増大装置であって、
    前記コンピュータ機器の少なくとも1つのマイクロフォンから検出されたオーディオ信号に従って環境ノイズを検出するための環境ノイズ決定部と、
    検出された環境ノイズと第1オーディオ信号とに従ってノイズ情報を得るための、また該ノイズ情報と該第1オーディオ信号とに従って、調節可能なヘッドルームのもとで前記第1オーディオ信号をブーストして第2オーディオ信号を出力するための、前記環境ノイズ決定部に結合された明瞭度増大部と、を有する
    ことを特徴とするオーディオ明瞭度増大装置。
  14. 請求項13記載の装置であって、
    前記ノイズ情報が前記検出された環境ノイズの前記第1オーディオ信号に関する測定レベルを示す
    ことを特徴とするオーディオ明瞭度増大装置。
  15. 請求項13記載の装置であって、
    前記環境ノイズ決定部が、
    前記検出されたオーディオ信号に従ってオーディオ信号を出力するための前処理モジュールであって、該検出されたオーディオ信号がノイズを示すか否かを判定し、判定結果を出力する音声区間検出モジュールを有する、前処理モジュールと、
    前記判定結果と前記前処理モジュールからの前記オーディオ信号とに応じて基準ノイズ信号を出力するためのノイズ推定モジュールと、を有する
    ことを特徴とするオーディオ明瞭度増大装置。
  16. 請求項13記載の装置であって、
    前記明瞭度増大部が、前記第2オーディオ信号の信号レベルが前記第1オーディオ信号の信号レベルに比例しかつクリッピングレベルより下であるように、前記第1オーディオ信号の信号レベルに従って前記調節可能なヘッドルームを調節するように機能する
    ことを特徴とするオーディオ明瞭度増大装置。
  17. 請求項13記載の装置であって、
    前記明瞭度増大部が、前記第1オーディオ信号の信号レベルがしきい値レベルより下の場合に前記調節可能なヘッドルームを第1の値へと変更し、前記第1オーディオ信号の信号レベルが該しきい値レベルを超えている場合に前記調節可能なヘッドルームを該第1の値より小さな第2の値へと変更するように機能する
    ことを特徴とするオーディオ明瞭度増大装置。
  18. 請求項13記載の装置であって、
    前記明瞭度増大部が、前記コンピュータ機器の音量制御レベルに従って前記調節可能なヘッドルームを調節するように機能する
    ことを特徴とするオーディオ明瞭度増大装置。
  19. 請求項18記載の装置であって、
    前記明瞭度増大部が、前記音量制御レベルがしきい値レベルより下の場合に前記調節可能なヘッドルームを第1の値へと変更し、該音量制御レベルが該しきい値レベルを超えている場合には該調節可能なヘッドルームを該第1の値より小さな第2の値へと変更するように機能する
    ことを特徴とするオーディオ明瞭度増大装置。
  20. 請求項13記載の装置であって、
    前記明瞭度増大部が、
    基準ノイズ信号と前記第1オーディオ信号とに応じて、前記ノイズ情報を出力するための信号対ノイズ比推定モジュールと
    ブースティングモジュールと、
    前記ブースティングモジュールと前記信号対ノイズ比推定モジュールとの間に結合されたゲイン計算モジュールであって、前記ノイズ情報と前記第1オーディオ信号とに応じて該第1オーディオ信号をブーストするように該ブースティングモジュールを制御するためのゲイン計算モジュールと、を有する
    ことを特徴とするオーディオ明瞭度増大装置。
  21. 請求項20記載の装置であって、
    前記明瞭度増大部が更に、前記第1オーディオ信号がノイズであるか否かを判断するための前処理モジュールを有し、
    該前処理モジュールが該第1オーディオ信号はノイズであると判断する場合に、該第1オーディオ信号をブーストせずに前記第2オーディオ信号を出力するように前記ブースティングモジュールを制御するよう、該前処理モジュールが前記ゲイン計算モジュールに対して通知する
    ことを特徴とするオーディオ明瞭度増大装置。
  22. 請求項20記載の装置であって、
    前記前処理モジュールが、音声区間検出または前記第1オーディオ信号のノイズ推定に従って、該第1オーディオ信号がノイズであるか否かを判断する
    ことを特徴とするオーディオ明瞭度増大装置。
  23. コンピュータ装置であって、
    少なくとも1つのマイクロフォンと、
    前記コンピュータ装置を制御するための処理部と、
    通信部と、
    前記処理部と前記通信部とに結合されたオーディオ明瞭度増大のための信号処理部と、を有し、
    前記信号処理部は、
    前記少なくとも1つのマイクロフォンから検出されたオーディオ信号に従って環境ノイズを検出するための環境ノイズ決定部と、
    前記環境ノイズ決定部に結合され、検出された環境ノイズと第1オーディオ信号とに従ってノイズ情報を得るための、また該ノイズ情報と該第1オーディオ信号とに従って、調節可能なヘッドルームのもとで該第1オーディオ信号をブーストして第2オーディオ信号を出力するための明瞭度増大部と、
    を有する
    ことを特徴とするコンピュータ装置。
  24. 請求項23記載のコンピュータ装置であって、
    前記明瞭度増大部が、前記第2のオーディオ信号の信号レベルが前記第1オーディオ信号の信号レベルに比例しかつクリッピングレベルより下であるように、前記第1オーディオ信号の信号レベルに従って前記調節可能なヘッドルームを調節するように機能する
    ことを特徴とするコンピュータ装置。
  25. 請求項23記載のコンピュータ装置であって、
    前記明瞭度増大部が、前記第1オーディオ信号の信号レベルがしきい値レベルより下の場合に前記調節可能なヘッドルームを第1の値へと変更し、該第1オーディオ信号の信号レベルが該しきい値レベルを超えている場合には該調節可能なヘッドルームを該第1の値より小さな第2の値へと変更するように機能する
    ことを特徴とするコンピュータ装置。
  26. 請求項23記載のコンピュータ装置であって、
    前記明瞭度増大部が、該コンピュータ装置の音量制御レベルに従って前記調節可能なヘッドルームを調節するように機能する
    ことを特徴とするコンピュータ装置。
  27. 請求項26記載のコンピュータ装置であって、
    前記明瞭度増大部が、前記音量制御レベルがしきい値レベルより下の場合に前記調節可能なヘッドルームを第1の値へと変更し、該音量制御レベルが該しきい値レベルを超えている場合には該調節可能なヘッドルームを該第1の値より小さな第2の値へと変更するように機能する
    ことを特徴とするコンピュータ装置。
  28. 請求項23記載のコンピュータ装置であって、
    前記明瞭度増大部が、
    基準ノイズ信号と第1オーディオ信号とに応じて、前記ノイズ情報を出力するための信号対ノイズ比推定モジュールと、
    ブースティングモジュールと、
    前記ブースティングモジュールと前記信号対ノイズ比推定モジュールとの間に結合されたゲイン計算モジュールであって、前記ノイズ情報と前記第1オーディオ信号とに応じて該第1オーディオ信号をブーストするように該ブースティングモジュールを制御するためのゲイン計算モジュールと、を有する
    ことを特徴とするコンピュータ装置。
  29. 請求項28記載のコンピュータ装置であって、
    前記明瞭度増大部が更に、前記第1オーディオ信号がノイズであるか否かを判断するための前処理モジュールを有し、
    該前処理モジュールが該第1オーディオ信号がノイズであると判断する場合に、該第1オーディオ信号をブーストせずに前記第2オーディオ信号を出力するように前記ブースティングモジュールを制御するよう、該前処理モジュールが前記ゲイン計算モジュールに対して通知する
    ことを特徴とするコンピュータ装置。
  30. 請求項23記載のコンピュータ装置であって、
    前記通信部が前記信号処理部に対して前記第1オーディオ信号を出力し、該第1オーディオ信号は音声通信のためのダウンリンクオーディオ信号である
    ことを特徴とするコンピュータ装置。
  31. 請求項23記載のコンピュータ装置であって、
    前記処理部がマルチメディアソースに従って前記第1オーディオ信号を前記信号処理部に出力する
    ことを特徴とするコンピュータ装置。
  32. 請求項23記載のコンピュータ装置であって、
    前記第2オーディオ信号は、人間の聴覚のための少なくとも1つの周波数帯域に関して前記第1オーディオ信号をブーストして出力される
    ことを特徴とするコンピュータ装置。
JP2013023206A 2012-02-22 2013-02-08 オーディオ明瞭度増大方法および装置とコンピュータ装置 Active JP5704470B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261601583P 2012-02-22 2012-02-22
US61/601,583 2012-02-22
US13/671,499 2012-11-07
US13/671,499 US9064497B2 (en) 2012-02-22 2012-11-07 Method and apparatus for audio intelligibility enhancement and computing apparatus

Publications (2)

Publication Number Publication Date
JP2013172454A true JP2013172454A (ja) 2013-09-02
JP5704470B2 JP5704470B2 (ja) 2015-04-22

Family

ID=47826798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013023206A Active JP5704470B2 (ja) 2012-02-22 2013-02-08 オーディオ明瞭度増大方法および装置とコンピュータ装置

Country Status (6)

Country Link
US (1) US9064497B2 (ja)
EP (1) EP2631907A1 (ja)
JP (1) JP5704470B2 (ja)
KR (1) KR101455710B1 (ja)
CN (1) CN103295581B (ja)
TW (1) TWI484483B (ja)

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9129291B2 (en) 2008-09-22 2015-09-08 Personics Holdings, Llc Personalized sound management and method
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
KR20120034863A (ko) * 2010-10-04 2012-04-13 삼성전자주식회사 이동통신 단말기에서 오디오 신호 처리 방법 및 장치
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9064497B2 (en) 2012-02-22 2015-06-23 Htc Corporation Method and apparatus for audio intelligibility enhancement and computing apparatus
US9349385B2 (en) 2012-02-22 2016-05-24 Htc Corporation Electronic device and gain controlling method
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US8639294B2 (en) * 2012-05-01 2014-01-28 Audyssey Laboratories, Inc. System and method for performing automatic gain control in mobile phone environments
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR102103057B1 (ko) 2013-02-07 2020-04-21 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) * 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの2つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
TWI545556B (zh) * 2013-10-02 2016-08-11 宏達國際電子股份有限公司 電子裝置與增益控制方法
CA2927664A1 (en) * 2013-10-22 2015-04-30 Fabian Kuech Concept for combined dynamic range compression and guided clipping prevention for audio devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN104219402A (zh) * 2014-02-14 2014-12-17 爱沟通网络科技有限公司 一种改善VoIP通信质量的系统
JP6106618B2 (ja) * 2014-02-21 2017-04-05 日本電信電話株式会社 音声区間検出装置、音声認識装置、その方法、及びプログラム
US9484043B1 (en) * 2014-03-05 2016-11-01 QoSound, Inc. Noise suppressor
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
TWI559295B (zh) * 2014-10-08 2016-11-21 Chunghwa Telecom Co Ltd Elimination of non - steady - state noise
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
CN104900237B (zh) * 2015-04-24 2019-07-05 上海聚力传媒技术有限公司 一种用于对音频信息进行降噪处理的方法、装置和系统
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20170018282A1 (en) * 2015-07-16 2017-01-19 Chunghwa Picture Tubes, Ltd. Audio processing system and audio processing method thereof
CN105244037B (zh) * 2015-08-27 2019-01-15 广州市百果园网络科技有限公司 语音信号处理方法及装置
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
CN105704321B (zh) * 2016-03-21 2019-02-22 Oppo广东移动通信有限公司 利用降噪麦克风动态调节通话音量的方法和系统
TWI595791B (zh) * 2016-03-29 2017-08-11 高瞻資訊股份有限公司 音訊檢測方法
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
CN106527478A (zh) * 2016-11-24 2017-03-22 深圳市道通智能航空技术有限公司 无人机现场声音获取方法与有声视频实现方法及相关装置
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN107404625B (zh) * 2017-07-18 2020-10-16 海信视像科技股份有限公司 终端的音效处理方法及装置
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
CN108269567B (zh) * 2018-01-23 2021-02-05 北京百度网讯科技有限公司 用于生成远场语音数据的方法、装置、计算设备以及计算机可读存储介质
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
TWI665661B (zh) * 2018-02-14 2019-07-11 美律實業股份有限公司 音頻處理裝置及音頻處理方法
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
CN108540886A (zh) * 2018-04-17 2018-09-14 建荣半导体(深圳)有限公司 一种听力保护方法、系统、存储装置及蓝牙耳机
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US10991377B2 (en) * 2019-05-14 2021-04-27 Goodix Technology (Hk) Company Limited Method and system for speaker loudness control
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
RU203218U1 (ru) * 2020-12-15 2021-03-26 Общество с ограниченной ответственностью "Речевая аппаратура "Унитон" «речевой корректор» - устройство для улучшения разборчивости речи
CN114915886A (zh) * 2021-02-08 2022-08-16 苏州佳世达电通有限公司 动态播音方法及播音装置
CN112614513B (zh) * 2021-03-08 2021-06-08 浙江华创视讯科技有限公司 一种语音检测方法、装置、电子设备及存储介质
CN113190207A (zh) 2021-04-26 2021-07-30 北京小米移动软件有限公司 信息处理方法、装置、电子设备及存储介质
WO2023028018A1 (en) 2021-08-26 2023-03-02 Dolby Laboratories Licensing Corporation Detecting environmental noise in user-generated content

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135755A (ja) * 1996-10-25 1998-05-22 Sharp Corp オーディオ装置
JP2002369281A (ja) * 2001-06-07 2002-12-20 Matsushita Electric Ind Co Ltd 音質音量制御装置
JP2004173173A (ja) * 2002-11-22 2004-06-17 Matsushita Electric Ind Co Ltd 音声処理装置
JP2007500466A (ja) * 2003-07-28 2007-01-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声調整装置、方法及びコンピュータプログラム
JP2007110527A (ja) * 2005-10-14 2007-04-26 Matsushita Electric Works Ltd 拡声通話装置
JP2009163105A (ja) * 2008-01-09 2009-07-23 Alpine Electronics Inc 音声明瞭度改善システム及び音声明瞭度改善方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI102337B (fi) * 1995-09-13 1998-11-13 Nokia Mobile Phones Ltd Menetelmä ja piirijärjestely audiosignaalin käsittelemiseksi
GB2306086A (en) 1995-10-06 1997-04-23 Richard Morris Trim Improved adaptive audio systems
US7072832B1 (en) * 1998-08-24 2006-07-04 Mindspeed Technologies, Inc. System for speech encoding having an adaptive encoding arrangement
JP2000163098A (ja) 1998-11-25 2000-06-16 Mitsubishi Electric Corp 音声認識装置
KR100742140B1 (ko) * 1999-03-30 2007-07-24 퀄컴 인코포레이티드 이동전화 스피커와 마이크로폰 이득을 자동으로 조정하는방법 및 장치
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
EP1580882B1 (en) 2004-03-19 2007-01-10 Harman Becker Automotive Systems GmbH Audio enhancement system and method
US8280730B2 (en) * 2005-05-25 2012-10-02 Motorola Mobility Llc Method and apparatus of increasing speech intelligibility in noisy environments
US20090010452A1 (en) 2007-07-06 2009-01-08 Texas Instruments Incorporated Adaptive noise gate and method
JP5134876B2 (ja) * 2007-07-11 2013-01-30 株式会社日立製作所 音声通信装置及び音声通信方法並びにプログラム
US8954324B2 (en) 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
US8538749B2 (en) 2008-07-18 2013-09-17 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for enhanced intelligibility
KR101544429B1 (ko) * 2008-10-17 2015-08-17 삼성전자주식회사 이동통신 시스템의 이득 제어 장치 및 방법
JP5127754B2 (ja) 2009-03-24 2013-01-23 株式会社東芝 信号処理装置
US8571231B2 (en) * 2009-10-01 2013-10-29 Qualcomm Incorporated Suppressing noise in an audio signal
US9064497B2 (en) 2012-02-22 2015-06-23 Htc Corporation Method and apparatus for audio intelligibility enhancement and computing apparatus
EP2845191B1 (en) 2012-05-04 2019-03-13 Xmos Inc. Systems and methods for source signal separation
WO2014021890A1 (en) 2012-08-01 2014-02-06 Dolby Laboratories Licensing Corporation Percentile filtering of noise reduction gains

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135755A (ja) * 1996-10-25 1998-05-22 Sharp Corp オーディオ装置
JP2002369281A (ja) * 2001-06-07 2002-12-20 Matsushita Electric Ind Co Ltd 音質音量制御装置
JP2004173173A (ja) * 2002-11-22 2004-06-17 Matsushita Electric Ind Co Ltd 音声処理装置
JP2007500466A (ja) * 2003-07-28 2007-01-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声調整装置、方法及びコンピュータプログラム
JP2007110527A (ja) * 2005-10-14 2007-04-26 Matsushita Electric Works Ltd 拡声通話装置
JP2009163105A (ja) * 2008-01-09 2009-07-23 Alpine Electronics Inc 音声明瞭度改善システム及び音声明瞭度改善方法

Also Published As

Publication number Publication date
JP5704470B2 (ja) 2015-04-22
EP2631907A1 (en) 2013-08-28
CN103295581A (zh) 2013-09-11
US20130218560A1 (en) 2013-08-22
TWI484483B (zh) 2015-05-11
TW201335931A (zh) 2013-09-01
US9064497B2 (en) 2015-06-23
KR101455710B1 (ko) 2014-10-28
CN103295581B (zh) 2016-04-06
KR20130096625A (ko) 2013-08-30

Similar Documents

Publication Publication Date Title
JP5704470B2 (ja) オーディオ明瞭度増大方法および装置とコンピュータ装置
KR101725744B1 (ko) 능동 잡음 제거 출력의 제한
US9299333B2 (en) System for adaptive audio signal shaping for improved playback in a noisy environment
JP5525508B2 (ja) 周囲ノイズ検出を使用する明瞭度コントロール
TWI463817B (zh) 可適性智慧雜訊抑制系統及方法
CA2766196C (en) Apparatus, method and computer program for controlling an acoustic signal
WO2017215657A1 (zh) 音效处理方法及终端设备
JP4940158B2 (ja) 音補正装置
JP6381062B2 (ja) 通信デバイスのための音声信号を処理するための方法及びデバイス
US8954322B2 (en) Acoustic shock protection device and method thereof
CN112802492B (zh) 一种抑制啸叫的方法、装置、芯片及模组设备
US11955939B2 (en) Control device, control method, and recording medium
GB2559858A (en) Audio processing apparatus and method of controlling same
CN116634221A (zh) 基于Android系统的多路音频源自动混音方法、系统、装置及介质
KR20100116276A (ko) 휴대용 단말기에서 백색 잡음 제거 방법 및 장치
CN105720937A (zh) 电子装置和声音信号的分析与播放方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140410

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141117

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150212

R150 Certificate of patent or registration of utility model

Ref document number: 5704470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250