JP2008537174A - 音声の品質および了解度を改善するためのシステム - Google Patents

音声の品質および了解度を改善するためのシステム Download PDF

Info

Publication number
JP2008537174A
JP2008537174A JP2008506891A JP2008506891A JP2008537174A JP 2008537174 A JP2008537174 A JP 2008537174A JP 2008506891 A JP2008506891 A JP 2008506891A JP 2008506891 A JP2008506891 A JP 2008506891A JP 2008537174 A JP2008537174 A JP 2008537174A
Authority
JP
Japan
Prior art keywords
frequency
audio signal
signal
compressed
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008506891A
Other languages
English (en)
Other versions
JP4707739B2 (ja
Inventor
フィリップ ヘザーリントン,
シュエマン リー,
Original Assignee
キューエヌエックス ソフトウェア システムズ (ウェイブメイカーズ), インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キューエヌエックス ソフトウェア システムズ (ウェイブメイカーズ), インコーポレイテッド filed Critical キューエヌエックス ソフトウェア システムズ (ウェイブメイカーズ), インコーポレイテッド
Publication of JP2008537174A publication Critical patent/JP2008537174A/ja
Application granted granted Critical
Publication of JP4707739B2 publication Critical patent/JP4707739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0264Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephone Function (AREA)

Abstract

音声信号の品質および了解度を改善するためのシステムおよび方法が、提供される。このシステムおよび方法は、音声信号の高周波数成分に周波数圧縮を適用する一方で、低周波数成分を実質的に不変のまま残す。これによって、フィルタリングおよび通過帯域制約によって典型的には失われる子音に関連する高周波数情報が保持される。この音声信号が再生されるとき、その全体的なトーン品質が保持されるように、この情報は、音声信号の基本ピッチを著しく改変することなしに、保持される。このシステムおよび方法は、音声信号に周波数拡張をさらに適用する。圧縮と同様に、受信音声信号の上側の周波数のみが、拡張される。周波数拡張が、本発明に従って圧縮された音声信号に適用されるとき、その音声信号は、圧縮される前の状態に実質的に戻る。

Description

(発明の背景)
本発明は、通信システムにおける音声信号の品質および了解度を改善するための方法およびシステムに関する。全ての通信システムは、特に、無線通信システムは、帯域幅の制限を受ける。このようなシステムで送信される音声信号の品質および了解度は、システムに利用可能な限られた帯域幅に対してバランスされなくてはならない。無線電話ネットワークにおいて、例えば、典型的には、帯域幅は、成功裏に通信するために必要な最小限の帯域幅に従って設定される。母音を理解するのに重要な最小周波数は、約200Hzであり、最大周波数の母音ホルマントは、約3000Hzである。しかしながら、大多数の子音は、広帯域であり、通常、約3400Hz未満の周波数にエネルギを有する。したがって、大多数の無線音声通信システムは、300Hzと3400Hzとの間で通じるように最適化される。
音声通信システムに対する典型的な通過帯域10が、図1に示される。一般に、通過帯域10は、了解可能であり、かつ人間の話し声の妥当な複製である音声信号を配信するのに十分である。それにも関わらず、通過帯域10の外側のより高い周波数に含まれる多くの音声情報、主として、子音のサウンディングに関連する音声情報が、通過帯域フィルタリングのために失われる。このことが、有意な量のノイズが存在する環境における了解度に、有害な影響を及ぼし得る。
図1に示される典型的な通過帯域10のもととなった通過帯域基準は、話者の声を拾うマイクが話者の口から10cm以内に位置する近場測定に基づく。このような場合、信号対ノイズ比は、高く、十分高い周波数情報は、ほとんどの子音を了解可能な状態で保持される。ハンズフリー電話システムのような遠場配置において、マイクは、話者の口から20cm以上離れて位置する。これらの条件下で、信号対ノイズ比は、従来のハンドセットを使用するときよりも、かなり低くなる。ハンズフリー電話が、移動する自動車の中で使用されるとき、ノイズの問題は、道路、風、およびエンジンのノイズによって悪化する。実際、ハンズフリー電話を有する車内のノイズレベルは、非常に高いので、多くの広帯域低エネルギの子音は、完全にマスクされ得る。
一例として、図2は、話された単語「セブン(seven)」の2つのスペクトログラフを示す。第一のスペクトログラフ12は、静かな近場条件下で採られている。第二のスペクトログラフは、移動する自動車内のハンズフリー電話の典型である騒々しい遠場条件下で採られている。最初に、「静かな」セブン12を参照すると、話された単語セブンを形成するサウンドのそれぞれの根拠(evidence)が見られ得る。まず、「S」16のサウンドが見られる。これは、より高い周波数に自身のエネルギのほとんどを有する広帯域サウンドである。第一のEおよび第二のEならびにそれらの全ての高調波18、22と、両者の間に挟まれた「V」20の広帯域サウンドが見られる。単語の最後の「N」のサウンドは、舌が口蓋から離されるまで、第二のE22と合体され、単語の最後に、短い広帯域エネルギ24を引き起こす。
子音を聞く能力は、音声信号の了解度を支配する単一の最も重要な因子である。「静かな」セブン12を「騒々しい」セブン14と比較すると、「S」のサウンド16は、第二のスペクトログラフ14において、完全にマスクされることが分かる。「騒々しい」セブンのスペクトログラフ14において、幾分か明確に分かり得る唯一のサウンドは、第一のE18および第二のE22のサウンドである。したがって、騒々しい条件下で、話された単語「セブン」の了解度は、著しく低減される。ノイズエネルギが、子音のエネルギ(例えば、3dB)よりも著しく高い場合、通過帯域内で、いかなるノイズの量を除去またはフィルタリングしても、了解度は改善されない。
車のノイズは、周波数とともに減る傾向がある。一方、多くの子音(例えば、F、T、S)は、かなり高い周波数で、有意なエネルギを有する傾向にある。例えば、10kHzを超える音声信号における唯一の情報は、しばしば、子音に関連する。図3は、騒々しい環境で録音された単語「セブン」のスペクトログラフを再掲しているが、これは、より幅広い周波数範囲にわたって拡張されている。「S」16のサウンドは、たとえ、有意な量のノイズが存在しても、明確に見ることができる。しかし、約6000Hzを超える周波数においてのみである。セル電話の通過帯域は、3400Hzより大きな周波数を除外するので、この高周波数情報は、従来のセル電話通信の中で失われる。帯域幅能力に対する需要は大きいので、通過帯域を拡張して、この高周波数情報を保持することは、音声通信の了解度を改善するための実用的な解決策ではない。
音声信号を圧縮して、そのスペクトル全体(あるいは通常失われる高周波数コンテンツの少なくとも有意な部分)が、この通過帯域内に収まるようにする試みが、行われてきた。図4は、この方法で圧縮されるべき5500Hzの音声信号26を示す。図5の信号28は、より狭い3000Hzの範囲に線形に圧縮された図4の5500Hzの信号26である。圧縮信号28は、3000Hzに拡がるのみであるが、3000〜5500の周波数範囲に含まれる当初の信号26の高周波数コンテンツの全ては、圧縮信号28の中に保持される。しかし、この代償として、当初の信号の基本ピッチとトーン品質を著しく改変する。当初の信号26の周波数全ては、ピッチを制御する母音に関する低周波数も含めて、より低い周波数範囲に圧縮される。圧縮信号28が、引き続いて、再拡張されることなく再生される場合、音声は、音声通信に対して許容可能でない不自然に低いピッチを有する。受信機で圧縮信号を拡張することは、この問題を解決するが、このためには、送信機によって適用された圧縮を受信機が知っていることを要求する。音声信号と一緒にコード化情報を送信する備えのないほとんどの電話アプリケーションに対して、このような解決策は、実用的ではない。
より高い周波数の音声情報を保持するために、音声信号の送信機と受信機とがその相手部材の能力に関する知識を有しない電話または他のオープンネットワークアプリケーションに対するコード化システムまたは圧縮技術は、十分な融通性を有しなくてはならない。それは、受信機で再生される音声信号の品質が、圧縮信号が受信機で再拡張されるかどうか、あるいは圧縮されなかった信号が、引き続き拡張されるかどうかに関わらず、許容可能とするためである。改善されたコード化システムまたは技術に従うと、送信機は、通信の相手側の受信機が信号をデコードする能力を有するかどうかに関わらず、音声信号をコード化し得る。同様に、受信機は、信号が送信機で最初にコード化されたかどうかに関わらず、受信信号をデコードし得る。換言すれば、改善されたコード化システムまたは圧縮技術は、再生された音声信号の品質が、たとえ信号が受信機で再拡張されない場合でも、満足いくように、音声信号を圧縮すべきである。受信信号が送信機で最初にコード化されなかったにも関わらず、受信機が音声信号を拡張する場合にも、音声品質はまた、満足いくものとなる。さらに、送信された声の信号が、送信機で改善された技術に従って圧縮されるとき、このような改善されたシステムは、送信された音声信号の了解度における著しい改善を示すべきである。
(発明の概要)
本発明は、送信された音声信号における音声了解度を改善するためのシステムおよび方法に関する。高周波数情報は、ほとんどの従来の通信システムにおいて、典型的には処分されるか、あるいは失われてきたが、本発明は、この高周波数情報を保持することによって、音声が正確に認識され、解釈される可能性を向上する。本発明は、影響を受けた音声信号のピッチおよび他のトーンサウンド品質を基本的に改変することなく、これを行う。
本発明は、周波数圧縮の形式を用いて、高周波数情報を通信システムの通過帯域内にある低周波数に移す。その結果、明瞭な子音に典型的に関連する高周波数情報は、システムの帯域幅を限定するフィルタリングまたは他の因子によって失われない。
本発明は、二段階のアプローチを使用する。母音サウンドと関連する音声信号の低周波数成分のような音声信号の低周波数成分は、不変のまま残される。このことによって、当初の音声信号の全体的なトーン品質およびピッチを実質的に保持される。圧縮された音声信号が、引き続いて再拡張されることなく再生される場合、その信号は、圧縮されずに再生された音声信号と同様に妥当に聞こえる。しかしながら、通過帯域の一部分は、圧縮された高周波数情報のために、リザーブされる。子音と通常は関連し、またほとんどの従来の通信システムにおいて、フィルタリングによって典型的には失われる音声信号の高周波数成分は、高周波数情報をこの通過帯域のリザーブされた部分に圧縮することによって、保持される。この方法で圧縮されて送信された音声信号は、受信信号の了解度を大きく向上する子音情報を保持する。本発明は、送信信号のピッチを基本的に変化させることなく、これを行う。圧縮された周波数を含む通過帯域のリザーブされた部分は、受信機で再拡張されて、受信音声信号の品質をさらに改善し得る。
本発明は、自動車内のハンズフリーセルラ電話のようなハンズフリー通信システムで使用するのに特に好適である。背景で述べたように、車両ノイズは、特に、マイクが話者の口から著しく離れているハンズフリーシステムにおいて、音声信号に非常に有害な影響を及ぼし得る。より高い周波数情報を保持することによって、了解度における重要な因子である子音は、より容易に区別され、車両ノイズによってマスクされる可能性が低くなる。
本発明の他のシステム、方法、特徴、および利点は、以下の図面および詳細な説明を検討することで、当業者にとって明らかであるか、あるいは明らかになる。全てのこのような追加のシステム、方法、特徴、および利点は、この説明の中に含まれ、本発明の範囲内であり、以下の請求項によって保護されることが、意図される。
本発明は、以下の図面および説明を参照して、より良く理解され得る。図面におけるコンポーネントは、必ずしも縮尺どおりではなく、その代わり、本発明の原理を説明するために、強調されている。さらに、図面において、同様の参照番号は、異なる図面にわたって対応するパーツを示す。
(発明の詳細な説明)
図6は、本発明に従って音声信号をコード化する方法の流れ図を示す。第一のステップS1は、通過帯域を規定することである。通過帯域は、通信システムによって実際に送信される音声信号の周波数上限および周波数下限を規定する。通過帯域は、本発明が使用されるシステムの要求に従って、一般的に確立される。例えば、本発明がセルラ通信システムで使用される場合、通過帯域は、典型的には、300〜3400Hzに拡がる。本発明が等しく良好に適合される他のシステムは、異なる通過帯域を規定し得る。
第二のステップS2は、通過帯域内に閾値周波数を規定することである。閾値周波数未満の周波数を有する音声信号の成分は、圧縮されない。閾値周波数より高い周波数を有する音声信号の成分は、圧縮される。母音は、主として、ピッチを決定する役割を担うので、また母音の最大周波数ホルマントは、約3000Hzであるので、周波数閾値を約3000Hzに設定することが望ましい。これは、受信音声信号の全体的なトーン品質およびピッチを保持する。音声信号は、ステップS3で受信される。これは、圧縮されて、リモートな受信機に送信される音声信号である。次のステップS4は、保持されるべき受信信号の最大周波数成分を識別することである。この限界より高い周波数に含まれる全ての情報は、失われ、この周波数限界未満の情報は、保持される。本発明に従って音声信号をコード化する最後のステップS5は、受信音声信号を選択的に圧縮することである。閾値周波数から保持されるべき受信信号の最大周波数までの周波数範囲にある受信音声信号の周波数成分は、閾値周波数から通過帯域の周波数上限までに拡がる周波数範囲に圧縮される。閾値周波数未満の周波数は、不変のまま残される。
図7は、上述の処理に従って選択的に圧縮を実行する幾つかの異なる圧縮機能を示す。各圧縮機能の目的は、当初の信号の全体的なトーン品質およびピッチを保持するために、低周波数(すなわち、閾値周波数未満の周波数)を実質的に圧縮させずに残す一方で、閾値周波数より高いこれらの周波数に対して、強度な圧縮を適用する。高周波数を圧縮すると、通常は失われるかなり高い周波数情報が保持され、音声信号の了解度が向上する。図7のグラフは、3つの異なる圧縮機能を示す。グラフの横軸は、圧縮されていない音声信号の周波数を表わし、縦軸は、圧縮された周波数を表わす。この圧縮された周波数に対して、横軸に沿った周波数が、マッピングされる。破線30で示される第一の機能は、閾値より高いと線形圧縮で、閾値より低いと圧縮がないことを示す。実線32で示される第二の圧縮機能は、閾値周波数より高いと非線形圧縮を用い、閾値より低いと圧縮をしない。閾値周波数より高いと、周波数が増加するにつれて、増加的に強度な圧縮が適用される。したがって、閾値周波数よりかなり高い周波数は、閾値周波数により近い周波数よりも、より大きな範囲まで圧縮される。最後に、第三の圧縮機能が、点線34によって示される。この機能は、受信音声信号のスペクトル全体にわたって、非線形圧縮を適用する。しかしながら、圧縮機能は、閾値周波数より低い周波数でほとんど発生しないか、あるいは全く発生しない一方で、より高い周波数で、増加的に強度な圧縮が適用されるように、選択される。
図8は、圧縮されていない5500Hzの音声信号36のスペクトルを示す。図9は、図7に示される閾値圧縮機能30を用いる線形圧縮を使用して圧縮された後の図8の音声信号36のスペクトル38を示す。閾値周波数(約3000Hz)未満の周波数は、不変のまま残される一方、閾値周波数を超える周波数は、線形に圧縮される。図8および図9の2つの信号は、0〜3000Hzの周波数範囲では同じである。しかしながら、3000Hz〜5500Hzの周波数範囲にある当初の信号36の部分は、図9の信号38の中で、3000Hzと3500Hzとの間に規制される。したがって、図8の当初の音声信号36の高周波数範囲に含まれる情報は、図9の圧縮信号38の中に保持されるが、低周波数にトランスポーズされる(transposed)。これによって、高周波数成分のピッチは改変されるが、テンポは改変されない。しかしながら、圧縮信号38の基本ピッチ特性は、当初の信号36と同じままに留まる。なぜなら、低周波数範囲は、不変のまま残されるからである。
圧縮信号38の3000〜3400Hzの範囲に圧縮されている高周波数情報は、当初の音声信号36が、300〜3400Hzの通過帯域を有する典型的な通信システムで送信された場合、その大部分がフィルタリングで失われる情報である。高周波数コンテンツは、一般に明瞭な子音に関連するので、それが再生されるとき、圧縮信号は、それが失われない場合よりも、より高い了解度になる。さらに、改善された了解度は、当初の音声信号の基本ピッチ特性を不当に改変することなく、達成される。
圧縮信号が、引き続いて再拡張されることなしに再生されるときでさえも、有益な効果は、達成される。圧縮を一切受けなかった音声信号より良好な了解度を有する音声信号を再生するために、圧縮信号を受信する通信端末は、逆拡張(inverse expansion)を実行可能である必要はなく、受信信号が圧縮されたことに気付く必要さえもない。しかしながら、補足的な再拡張が受信機によって、実際に実行されるとき、その結果は、さらに満足いくものとなることには、留意すべきである。
上述の方法で圧縮されて送信される音声信号の改善された了解度は、当初の音声信号の基本ピッチおよびトーン品質を著しく改変することなく達成されるが、このことは、だからといって、圧縮信号のサウンドまたは品質に何ら変化がないことを意味するわけではない。音声信号が、圧縮されるとき、当初の信号の全パワーは、保持される。換言すると、圧縮信号の圧縮部分の全パワーは、当初の音声信号の圧縮されることになる部分の全パワーに等しいまま留まる。しかしながら、瞬間ピークパワーは、保持されない。全パワーは、図8および図9に示される曲線の下の面積によって表わされる。図8の当初の音声信号の周波数(面積の横成分)は、かなり狭い周波数範囲に圧縮されるので、曲線の下の面積が同じままに留まる場合、曲線の縦成分(すなわち、振幅)(ピーク信号パワー)は、必然的に増加しなくてはならない。圧縮音声信号の高周波数成分のピークパワーの増加は、音声信号の基本ピッチには影響しないが、音声信号の全体的なサウンド品質に、有害な影響を与え得る。圧縮信号が、引き続いて再拡張されることなく再生されるとき、子音と高周波数母音のホルマントは、歯擦音で(sibilant)あるいは不自然に強く聞こえ得る。この影響は、圧縮信号のピークパワーを規格化することによって最小化され得る。規格化は、圧縮の量に比例する量だけ、ピークパワーを減らすことによってインプリメントされ得る。例えば、周波数範囲が、2:1のファクタで圧縮される場合、圧縮信号のピークパワーは、ほぼ2倍にされる。したがって、出力パワーを規格化するための適切なステップは、圧縮信号のピークパワーを半分すなわち−3dBだけ減らすことである。図10は、この方法で規格化された図9の圧縮音声信号40を示す。
上述の方法で音声信号を圧縮することは、了解度を改善するために、それだけで十分である。しかしながら、圧縮信号上に引き続いて再拡張を実行し、その信号がその当初の圧縮されていない状態に戻される場合、その改善度合いは、さらに大きくすらなる。了解度が改善されるのみならず、当初の信号の高周波数特性が、その当初の圧縮されてる前の状態に、実質的に戻る。
圧縮信号を拡張することは、既述された圧縮手順の単に逆にすることである。本発明に従う音声信号を拡張する方法を示す流れ図が、図11に示される。第一のステップS10は、通過帯域限定信号を受信することである。第二のステップS11は、通過帯域内に閾値周波数を規定することである。好ましくは、これは、圧縮アルゴリズムで規定された閾値周波数と同じである。しかしながら、拡張は、受信信号に圧縮が適用されたか否か、また適用された場合、どの閾値周波数が当初に確立されたかを知り得ない受信機で実行されるので、拡張のために選択される閾値周波数は、信号を圧縮するために選択された閾値周波数が、たとえ存在したとしても、その周波数と必ずしも合致する必要はない。次のステップS12は、デコードされた音声信号の周波数上限を規定することである。この上限は、拡張信号の周波数上限を表わす。最後のステップS13は、閾値周波数から通過帯域の上限まで拡がる周波数範囲に存在する受信信号の部分を拡張して、閾値周波数から拡張音声信号に対して規定された周波数上限に拡がる周波数を満たすことである。
図12は、拡張前の受信通過帯域限定音声信号のスペクトル42を示す。図13は、本発明に従って拡張された後の同じ信号のスペクトル44を示す。0〜3000Hzの周波数範囲にある信号の部分は、実質的に不変のまま留まる。しかしながら、3000〜3400Hzの周波数範囲の部分は、3400Hz〜5500Hzの周波数範囲全体を満たすように、横方向に伸びる。
上述のスペクトル圧縮処理と同様に、受信信号を拡張する行為は、拡張信号のピークパワーに対して似ているが、反対の影響を与える。拡張の間に、受信信号のスペクトルは、拡張周波数範囲を満たすように伸びる。ここでも、受信信号の全パワーは、保存されるが、ピークパワーは、保存されない。したがって、子音および高周波数母音のホルマントは、ピークパワーが保存される場合よりも低いエネルギを有する。このことは、音声信号が再生されるとき、音声の品質に対して、有害であり得る。コード化処理と同様に、この問題は、拡張信号を規格化することによって、矯正され得る。図14は、規格化された後の拡張音声信号のスペクトル46を示す。ここでも、規格化の量は、拡張の度合いによって決定される。
拡張された音声信号が、上述のように圧縮され、規格化された場合、受信機で信号を拡張し、規格化すると、結果的に、当初の信号と概ね同じ全パワーおよびピークパワーになる。しかしながら、上述の拡張技術がシステムで使用される見込みであり、信号をデコードする受信機は、受信信号がコード化され、規格化されたかどうかに関する知識を有さないことを考慮すると、拡張信号を規格化することは、当初の信号に存在しなかった周波数に、パワーを追加し得る。このことは、実際に圧縮され、規格化された拡張信号を規格化することによる失敗よりも、信号品質に、より大きなマイナスの影響を与え得る。したがって、デコーダによって受信された信号が以前にコード化され、規格化されたかどうかを知らないシステムにおいて、拡張され、デコードされた信号の規格化を控えるか、あるいは制限することがより望ましい。
任意の場合において、本発明の圧縮および拡張の技術は、音声信号の了解度を改善する効率的なメカニズムを提供する。これらの技術は、送信される音声信号のサウンド品質全体に著しい悪影響を与えることなしに、圧縮と拡張との双方が、他方とは独立に適用され得るという重要な利点を有する。本明細書に開示される圧縮技術は、たとえ、引き続いて再拡張しなくても、了解度における著しい改善を提供する。本発明に従う音声信号のコード化およびデコードする方法は、騒々しい環境および音声信号を拾うマイクが話者の口から実質的に距離を置き得るハンズフリーシステムにおいて、音声信号了解度に対する著しい改善を提供する。
図15は、本発明の信号圧縮および信号拡張の技術をインプリメントする通信システム100のハイレベルなブロック図を示す。通信システム100は、送信機102、受信機104、および両者間に伸びる通信チャネル106を含む。送信機102は、送信機で発生する音声信号を受信機104に、通信チャネル106を介して送信する。受信機104は、通信チャネル106から音声信号を受信し、受信機104の近傍にいるユーザのためにその音声信号を再生する。システム100において、送信機102は、高周波数エンコーダ108を含み、受信機104は、帯域幅拡張器110を含む。しかしながら、本発明は、送信機102が高周波数拡張器を含むが、受信機が帯域幅拡張器を含まない通信システム、あるいは送信機102が高周波数エンコーダを含まないが、それにも関わらず、受信機が帯域幅エンコーダ110を含む通信システムでもまた使用され得ることに留意しなくてはならない。
図16は、図15の高周波数エンコーダ108のより詳細な図を示す。高周波数エンコーダは、A/D変換器(ADC)122、時間ドメイン−周波数ドメイン変換124、高周波数圧縮器126、周波数ドメイン−時間ドメイン変換128、ダウンサンプラ30、およびD/A変換器132を含む。
ADC122は、通信チャネル106を介して送信されることになる入力音声信号を受信する。ADC122は、アナログ音声信号をデジタル音声信号に変換し、デジタル化された信号を時間ドメイン−周波数ドメイン変換に出力する。時間ドメイン−周波数ドメイン変換124は、デジタル音声信号を時間ドメインから周波数ドメインに変換する。時間ドメインから周波数ドメインへの変換は、幾つかの異なるアルゴリズムによって達成され得る。例えば、時間ドメイン−周波数ドメイン変換124は、高速フーリエ変換(FFT)、デジタルフーリエ変換(DFT)、デジタル余弦変換(DCT);デジタルフィルタバンク;ウェーブレット変換;または何らかの他の時間ドメイン−周波数ドメイン変換を使用し得る。
一度、音声信号が周波数ドメインに変換されると、この音声信号は、高周波数圧縮器126でスペクトルトランスポーズを介して圧縮され得る。高周波数圧縮器126は、デジタル化された音声信号の高周波数成分を通信チャネル106の通過帯域の上側の周波数の狭い帯域に圧縮する。
図17および図18は、高周波数圧縮器をより詳細に示す。図6の流れ図に戻ると、当初の受信音声信号は、部分的に圧縮されるのみである。所定の閾値周波数未満の周波数は、不変のまま残されるのに対し、閾値周波数を超える周波数は、閾値周波数から通信チャネル106通過帯域の周波数上限に拡がる周波数帯域に圧縮される。高周波数圧縮器126は、周波数ドメイン音声信号を時間ドメイン−周波数ドメイン変換124から受信する。高周波数圧縮器126は、この信号を2つの経路に分ける。その第一は、ハイパスフィルタ(HPF)134に入力され、その第二は、ローパスフィルタ(LPF)136に付与される。HPF134とLPF134は、音声信号を高周波数成分と低周波数成分との実質的に2つの成分に分ける。この2つの成分は、図17に示される2つの別個の信号経路に従って、別々に処理される。HPF134およびLPF136は、どの周波数が圧縮されて、どの周波数が圧縮されないかを決定するために確立された閾値周波数とほぼ等しいカットオフ周波数を有する。上部信号経路において、HPF134は、圧縮されることになる音声信号の高周波数成分を出力する。下部信号経路LPF138は、不変のまま残ることになる音声信号の低周波数成分を出力する。したがって、HPF134からの出力は、周波数圧縮器138に入力される。周波数圧縮器138の出力は、信号結合器140に入力される。下部信号経路において、LPF136からの出力は、圧縮なしに、信号結合器140に直接付与される。したがって、HPF134を通過した高周波数は、圧縮され、LPF136を通過した低周波数は、不変のまま残る。圧縮された高周波数と圧縮されなかった低周波数とは、結合器140で結合される。結合された信号は、実質的に不変である当初の音声信号の下側の周波数成分(閾値周波数未満の周波数成分)と、通信チャネル106の通過帯域内にある狭い周波数範囲に圧縮された当初の音声信号の上側の周波数成分(閾値周波数を超える周波数成分)とを含む所望の属性を有する。
図18は、圧縮器138そのものを示す。HPF134から出力された音声信号の高周波数成分は、圧縮器138に到達するとき、再び、2つの信号経路に分かれる。第一の信号経路は、周波数マッピングマトリックス142に付与される。第二の信号経路は、ゲインコントローラ144に直接付与される。周波数マッピングマトリックスは、圧縮されなかった信号ドメインの周波数ビンを圧縮信号範囲の周波数ビンにマッピングする。周波数マッピングマトリックス142からの出力もまた、ゲインコントローラ144に付与される。ゲインコントローラ144は、第二の信号経路によって供給された当初の信号のスペクトル形状に基づいて、周波数マッピングマトリックス142の出力を形成する適応コントローラである。ゲインコントローラは、当初の信号が圧縮された後に、その信号のスペクトル形状または「チルト」を維持するのに役立つ。ゲインコントローラ144の出力は、図17の結合器140に入力される。結合器140の出力は、高周波数圧縮器126(図16)の実際の出力を備え、図16に示されるように、周波数ドメイン−時間ドメイン変換128に入力される。
周波数ドメイン−時間ドメイン変換128は、圧縮された音声信号を変換して時間ドメインに戻す。周波数ドメインから時間ドメインに戻す変換は、時間ドメイン−周波数ドメイン変換124によって実行された時間ドメイン−周波数ドメイン変換の逆変換であり得るが、必ずしも、そのようである必要はない。実質的に任意の周波数ドメインから時間ドメインへの変換は、十分である。
次いで、ダウンサンプラ130が、周波数ドメイン−時間ドメイン変換128からの時間ドメインデジタル音声信号出力をサンプリングする。ダウンサンプラ130は、圧縮信号の最大周波数成分と整合するサンプルレートで信号をサンプリングする。例えば、圧縮信号の最大周波数成分が、4000Hzである場合、ダウンサンプラは、少なくとも8000Hzのレートで、圧縮信号をサンプリングする。ダウンサンプリングされた信号は、次いで、デジタルアナログ変換器(DAC)132に付与され、DAC132は、圧縮されたアナログ音声信号を出力する。DAC132は、通信チャネル106を介して送信され得る。音声信号に圧縮が付与されるので、当初の音声信号の高周波数は、通信チャネル106の限定帯域幅によって失われない。代替として、デジタルからアナログへの変換は、省略され得、圧縮されたデジタル音声信号は、自動音声認識システムのような他のシステムに直接入力され得る。
図19は、図15の帯域幅拡張器110のより詳細な図を示す。図11の流れ図に戻ると、帯域幅拡張器の目的は、通信チャネル106を介して受信された受信帯域限定音声信号を部分的に拡張することである。帯域幅拡張器は、所定の周波数閾値を超える受信音声信号の周波数成分のみを拡張するためである。帯域幅拡張器110は、アナログデジタル変換器(ADC)146、アップサンプラ148、時間ドメイン−周波数ドメイン変換150、スペクトルエンベロープ拡張器152、励起信号生成器154、結合器156、周波数ドメイン−時間ドメイン変換158、およびデジタルアナログ変換器(DAC)160を含む。
ADC146は、通信チャネル106からの帯域限定アナログ音声信号を受信し、これをデジタル信号に変換する。次いで、アップサンプラ148は、拡張される信号の意図される最大周波数の最高レートに対応するサンプルレートで、デジタル音声信号をサンプリングする。アップサンプリングされた信号は、次いで、時間ドメイン−周波数ドメイン変換150によって、時間ドメインから周波数ドメインに変換される。高周波数エンコーダ108と同様に、この変換は、高速フーリエ変換(FFT)、デジタルフーリエ変換(DFT)、デジタル余弦変換(DCT);デジタルフィルタバンク;ウェーブレット変換などであり得る。この周波数ドメイン信号は、次いで、2つの別個の経路に分かれる。その第一は、スペクトルエンベロープ拡張器152に入力され、その第二は、励起信号生成器154に付与される。
スペクトルエンベロープ拡張器は、より詳細に図20に示される。エンベロープ拡張器142への入力は、周波数デマッピングマトリックス162とゲインコントローラ164との双方に付与される。周波数デマッピングマトリックス162は、受信して圧縮された音声信号の低周波数ビンを圧縮されなかった信号の拡張される周波数の高周波数ビンにマッピングする。周波数デマッピングマトリックス162の出力は、帯域幅拡張器110の所望の最大周波数出力に対応する最大周波数成分を有する音声信号の拡張スペクトルである。周波数デマッピングマトリックスからの信号出力のスペクトルは、次いで、ゲインコントローラ164によって形成される。この形成は、前述のように、ゲインコントローラ164への入力でもある当初の拡張されていない信号のスペクトル形状に基づく。ゲインコントローラ164の出力は、スペクトルエンベロープ拡張器162の出力を形成する。
ここで丁度述べたような方法において、音声信号のスペクトルを拡張するときに生じる問題は、高調波および位相の情報が失われることである。励起信号生成器は、当初の拡張されていない信号に基づいて高調波情報を生成する。結合器156は、スペクトルエンベロープ拡張器152から出力されたスペクトル的に拡張された音声信号を励起信号生成器154の出力と結合する。結合器は、励起信号生成器の出力を用いて、拡張信号を形成し、適切な高調波を追加して、それらの位相関係を修正する。結合器156の出力は、次いで、周波数ドメイン−時間ドメイン変換158によって変換され、時間ドメインに戻る。周波数ドメイン−時間ドメイン変換は、時間ドメイン−周波数ドメイン変換150の逆を使用し得るか、あるいは何らかの他の変換を使用し得る。一度、時間ドメインに戻ると、拡張された音声信号は、DAC160によって変換され、アナログ信号に戻る。アナログ信号は、次いで、受信機のユーザのためにラウドスピーカによって再生され得る。
図6および図11の流れ図に記載された音声信号の圧縮および拡張の技術を用いることによって、通信システム100は、従来の帯域限定システムにおける送信音声信号よりも、了解度が高く、良好な品質を有する音声信号の送信を提供する。通信システム100は、通信チャネルの通過帯域制限によって典型的に失われる高周波数音声信号を保持する。さらに、通信システム100は、圧縮信号が、受信されるときに、再拡張されるか否かに関わらず、了解度が改善されるように、高周波数を保持する。信号はまた、その信号が送信前に圧縮されたか否かに関わらず、サウンド品質に著しく有害な影響を与えることなく、拡張され得る。したがって、高周波数エンコーダを含む送信機102は、受信機104とは異なり、帯域幅拡張器を含まない受信機に圧縮信号を送信し得る。同様に、受信機104は、送信機102とは異なり、高周波数エンコーダを含まない送信機から信号を受信し得て、受信信号を拡張し得る。いずれの場合も、送信された音声信号の了解度は、改善される。
添付の請求項により具体的に詳細を示される本発明の精神および範囲から逸脱することなく、当業者によって、本発明の様々な変更および改変がなされ得ることには、留意すべきである。さらに、以上の記述は、単なる例示に過ぎず、このような添付の請求項に記載されるように、本発明を限定することが意図されないことを当業者は、理解する。
本発明の様々な実施形態が記載されてきたが、多数のさらなる実施形態およびインプリメンテーションが、本発明の範囲内で可能であることは、当業者に明らかである。したがって、本発明は、添付の請求項およびそれらの均等物の観点以外では、制約されない。
図1は、セルラ通信システムに対する典型的な通過帯域を示す。 図2は、静かな条件と騒々しい条件とで、話された単語「セブン」のスペクトログラフを示す。 図3は、騒々しい条件で、話された単語セブンのスペクトログラフであり、図2のスペクトログラフより広い周波数範囲を示す。 図4は、圧縮されていない5500Hzの音声信号のスペクトルである。 図5は、完全なスペクトル線形圧縮を受けた後の図4の音声信号のスペクトルである。 図6は、本発明に従って音声信号に周波数圧縮を実行する方法の流れ図である。 図7は、本発明に従って音声信号を圧縮する幾つかの異なる圧縮機能のグラフである。 図8は、圧縮されていない音声信号のスペクトルである。 図9は、本発明に従って圧縮された後の図8の音声信号のスペクトルである。 図10は、圧縮音声信号の瞬間ピークパワーを減らすように規格化された圧縮音声信号のスペクトルである。 図11は、本発明に従って音声信号に周波数拡張を実行する方法の流れ図である。 図12は、本発明に従って拡張される前の圧縮音声信号のスペクトルである。 図13は、本発明に従って圧縮された音声信号のスペクトルである。 図14は、拡張の結果得られる拡張信号のピークパワーの減少に対して補償するように規格化された図12の拡張音声信号のスペクトルである。 図15は、本発明を用いる通信システムのハイレベルなブロック図である。 図16は、図15の高周波数エンコーダのブロック図である。 図17は、図16の高周波数圧縮器のブロック図である。 図18は、図17の圧縮器138のブロック図である。 図19は、図15の帯域幅拡張器のブロック図である。 図20は、図19のスペクトルエンベロープ拡張器のブロック図である。

Claims (24)

  1. 通過帯域周波数下限と通過帯域周波数上限とを有する周波数通過帯域を識別するステップと、
    該通過帯域内に閾値周波数を規定するステップと、
    周波数スペクトルを有する音声信号を受信するステップであって、該音声信号の最大周波数成分は、該通過帯域周波数上限より大きい、ステップと、
    該閾値周波数と該音声信号の該最大周波数成分との間の第一の周波数範囲にある該音声信号スペクトルの一部分を該閾値周波数と該通過帯域周波数上限との間の周波数範囲に圧縮するステップと
    を包含する、音声信号の了解度を改善する方法。
  2. 前記圧縮音声信号を送信するステップと、
    該圧縮音声信号を受信するステップと、
    該圧縮音声信号を聞こえるように再生するステップと
    をさらに包含する、請求項1に記載の音声信号の了解度を改善する方法。
  3. 前記圧縮音声信号を送信するステップと、
    該圧縮音声信号を受信するステップと、
    該受信圧縮音声信号を拡張するステップと
    をさらに包含する、請求項1に記載の音声信号の了解度を改善する方法。
  4. 前記圧縮音声信号のピークパワーを規格化するステップ
    をさらに包含する、請求項1に記載の音声信号の了解度を改善する方法。
  5. 前記圧縮規格化音声信号を送信するステップと、
    該圧縮規格化音声信号を受信するステップと、
    該受信圧縮規格化信号を拡張するステップと
    をさらに包含する、請求項4に記載の音声信号の了解度を改善する方法。
  6. 前記拡張受信音声信号を再規格化するステップと、
    該再規格化拡張音声信号を聞こえるように再生するステップと
    をさらに包含する、請求項5に記載の音声信号の了解度を改善する方法。
  7. 前記拡張受信信号を聞こえるように再生するステップ
    をさらに包含する、請求項5に記載の音声信号の了解度を改善する方法。
  8. 前記音声信号スペクトルの一部分を圧縮するステップは、前記閾値周波数より上で線形周波数圧縮を適用するステップを包含する、請求項1に記載の音声信号の了解度を改善する方法。
  9. 前記音声信号スペクトルの一部分を圧縮するステップは、前記閾値周波数より上で非線形周波数圧縮を適用するステップを包含する、請求項1に記載の音声信号の了解度を改善する方法。
  10. 前記音声信号スペクトルの一部分を圧縮するステップは、該音声信号のスペクトル全体に非線形周波数圧縮を適用するステップを包含し、該圧縮を実行するために使用される圧縮機能は、最小圧縮が低周波数で適用され、増加的圧縮が高周波数で適用されるように選択される、請求項1に記載の音声信号の了解度を改善する方法。
  11. 周波数下限と周波数上限とを有する通過帯域限定信号を受信するステップと、
    該受信音声信号の通過帯域内に閾値周波数を規定するステップと、
    拡張信号周波数上限を規定するステップと、
    該閾値周波数と該通過帯域の該周波数上限との間の周波数範囲にある該受信音声信号の周波数成分が、該閾値周波数と該拡張信号周波数上限との間の周波数範囲を満たすように拡張されるように、該受信音声信号の一部分に周波数拡張を実行するステップと、
    該拡張音声信号を聞こえるように再生するステップと
    を包含する、音声信号の了解度を改善する方法。
  12. 前記拡張信号のピークパワーを規格化するステップをさらに包含する、請求項11に記載の音声信号の了解度を改善する方法。
  13. 前記周波数拡張は、前記閾値周波数で開始する線形拡張を包含する、請求項11に記載の音声信号の了解度を改善する方法。
  14. 前記周波数拡張は、前記閾値周波数で開始する非線形拡張を包含する、請求項11に記載の音声信号の了解度を改善する方法。
  15. 前記周波数拡張は、前記受信信号のスペクトル全体にわたる非線形拡張を包含し、該拡張をインプリメントするために使用される拡張器能は、該受信信号の低周波数部分に、ほとんど適用されないか、あるいは全く拡張を適用せず、該受信信号の高周波数部分には、増加的拡張を適用する、請求項11に記載の音声信号の了解度を改善する方法。
  16. 通信チャネルの通過帯域の外側にある音声信号の高周波数成分を、該通信チャネルの該通過帯域内の周波数範囲に圧縮する一方で、該音声信号の低周波数成分は、実質的に不変のまま残すように適合された高周波数エンコーダと、
    該高周波数エンコーダによって圧縮された音声信号を、該通信チャネルを介して送信する送信機と
    を備える、送信音声信号の了解度を改善するシステム。
  17. 前記高周波数エンコーダは、
    時間ドメイン音声信号を周波数ドメイン信号に変換する時間ドメイン−周波数ドメイン変換と、
    該周波数ドメイン信号の前記高周波数成分を圧縮する高周波数圧縮器と、
    該高周波数圧縮器から出力された該圧縮音声信号を時間ドメイン信号に変換する周波数ドメイン−時間ドメイン変換と
    を備える、請求項16に記載のシステム。
  18. 前記高周波数圧縮器は、
    前記音声信号の前記低周波数成分から該音声信号の前記高周波数成分を分離するハイパスフィルタおよびローパスフィルタと、
    前記圧縮されなかった周波数ドメインの周波数ビンから、前記圧縮された周波数範囲の周波数ビンに、該音声信号の該高周波数成分をマッピングする周波数マッピングマトリックスと、
    該音声信号の前記圧縮高周波数成分を該音声信号の該低周波数成分と結合する結合器と
    を備える、請求項17に記載のシステム。
  19. 前記通信チャネルを介して音声信号を受信する受信機と、
    前記通信チャネル通過帯域の上部にある受信信号の周波数成分を該通過帯域の上限より上に広がる周波数範囲に拡張する一方で、該通過帯域の下部にある該受信信号の周波数成分は、実質的に不変のまま残すように適合された帯域幅拡張器と
    をさらに備える、請求項16に記載のシステム。
  20. 前記帯域幅拡張器は、
    受信信号のサンプルレートを増加させるアップサンプラと、
    該アップサンプリングされた信号を周波数ドメインに変換する時間ドメイン−周波数ドメイン変換と、
    該アップサンプリングされた周波数ドメイン信号の周波数成分を、前記拡張されなかった周波数範囲の周波数ビンから前記拡張された周波数範囲のより大きな周波数ビンに、マッピングするための周波数デマッピングマトリックスを含むスペクトルエンベロープ拡張器と、
    該アップサンプリングされた周波数ドメイン信号から高調波および位相情報を生成する励起信号生成器と、
    該スペクトルエンベロープ拡張器と該励起信号生成器との出力を結合する結合器と、
    該結合された信号を時間ドメインに変換する時間ドメイン−周波数ドメイン変換と
    をさらに備える、請求項19に記載のシステム。
  21. アナログ音声信号をデジタル時間ドメイン音声信号に変換するA/D変換器と、
    該時間ドメイン音声信号を周波数ドメイン音声信号に変換する時間ドメイン−周波数ドメイン変換と、
    該周波数ドメイン音声信号の高周波数成分を低周波数にスペクトル的にトランスポーズして、圧縮周波数ドメイン音声信号を形成する高周波数圧縮器と、
    該圧縮周波数ドメイン音声信号を圧縮時間ドメイン音声信号に変換する周波数ドメイン−時間ドメイン変換と、
    該圧縮時間ドメイン音声信号の最大周波数に対して適切なサンプルレートで、該圧縮時間ドメイン信号をサンプリングするダウンサンプラと
    を備える、高周波数エンコーダ。
  22. 前記高周波数圧縮器は、
    前記周波数ドメイン音声信号の高周波数成分を抽出するためのハイパスフィルタと、
    該周波数ドメイン音声信号の該高周波数成分を、該高周波数成分がスペクトル的にトランスポーズする低周波数にマッピングするための周波数マッピングマトリックスと
    を備える、請求項21に記載の高周波数エンコーダ。
  23. 前記高周波数圧縮器は、
    前記周波数ドメイン音声信号の低周波数成分を抽出するためのローパスフィルタと、
    該周波数ドメイン音声信号の該抽出された低周波数成分を低周波数にスペクトル的にトランスポーズされた該周波数ドメイン音声信号の前記高周波数成分と結合する結合器と
    をさらに備える、請求項21に記載の高周波数エンコーダ。
  24. 周波数通過帯域を識別するステップと、
    周波数スペクトルを有する音声信号を受信するステップであって、該音声信号の最大周波数成分は、該通過帯域の周波数上限よりも大きい、ステップと、
    圧縮音声スペクトルが該通過帯域内に入るように、最小圧縮が該音声信号スペクトルの下側の周波数範囲に適用され、著しく大きな圧縮が該音声信号スペクトルの上側の周波数範囲に適用される周波数圧縮機能を適用することによって、該音声信号の該周波数スペクトル全体に非線形周波数圧縮を適用するステップと
    を包含する、音声信号の了解度を改善する方法。
JP2008506891A 2005-04-20 2006-03-23 音声の品質および了解度を改善するためのシステム Active JP4707739B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/110,556 US7813931B2 (en) 2005-04-20 2005-04-20 System for improving speech quality and intelligibility with bandwidth compression/expansion
US11/110,556 2005-04-20
PCT/CA2006/000440 WO2006110990A1 (en) 2005-04-20 2006-03-23 System for improving speech quality and intelligibility

Publications (2)

Publication Number Publication Date
JP2008537174A true JP2008537174A (ja) 2008-09-11
JP4707739B2 JP4707739B2 (ja) 2011-06-22

Family

ID=37114660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008506891A Active JP4707739B2 (ja) 2005-04-20 2006-03-23 音声の品質および了解度を改善するためのシステム

Country Status (7)

Country Link
US (1) US7813931B2 (ja)
EP (1) EP1872365B1 (ja)
JP (1) JP4707739B2 (ja)
KR (1) KR20070112848A (ja)
CN (1) CN100557687C (ja)
CA (1) CA2604859C (ja)
WO (1) WO2006110990A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141551A (ja) * 2005-12-09 2011-07-21 Qnx Software Systems (Wavemakers) Inc 高周波数圧縮を通じてスピーチ了解度を改良するためのシステム
JP2012514763A (ja) * 2009-02-04 2012-06-28 モトローラ モビリティ インコーポレイテッド 修正離散コサイン変換音声符号化器用の帯域幅拡大方法及び装置
JP2013528836A (ja) * 2010-06-01 2013-07-11 クゥアルコム・インコーポレイテッド 広帯域音声コーディングのためのシステム、方法、装置、およびコンピュータプログラム製品
CN103523040A (zh) * 2013-10-17 2014-01-22 南车株洲电力机车有限公司 一种排障装置和一种路况信息收集方法
WO2014129233A1 (ja) * 2013-02-22 2014-08-28 三菱電機株式会社 音声強調装置
JP2017507348A (ja) * 2014-01-07 2017-03-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド 圧縮済みオーディオ信号の信号品質ベース強調及び補償
US10056093B2 (en) 2016-05-10 2018-08-21 JVC Kenwood Corporation Encoding device, decoding device, and communication system for extending voice band
RU2819779C1 (ru) * 2020-03-20 2024-05-24 Долби Интернешнл Аб Усиление низких частот для громкоговорителей
US12101613B2 (en) 2020-03-20 2024-09-24 Dolby International Ab Bass enhancement for loudspeakers

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249861B2 (en) * 2005-04-20 2012-08-21 Qnx Software Systems Limited High frequency compression integration
US7974422B1 (en) 2005-08-25 2011-07-05 Tp Lab, Inc. System and method of adjusting the sound of multiple audio objects directed toward an audio output device
US7953605B2 (en) * 2005-10-07 2011-05-31 Deepen Sinha Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension
WO2007126015A1 (ja) * 2006-04-27 2007-11-08 Panasonic Corporation 音声符号化装置、音声復号化装置、およびこれらの方法
CN105811910B (zh) * 2007-03-20 2018-08-28 联想创新有限公司(香港) 电子设备用声音处理系统、方法以及便携电话终端
US20090018826A1 (en) * 2007-07-13 2009-01-15 Berlin Andrew A Methods, Systems and Devices for Speech Transduction
US8000487B2 (en) 2008-03-06 2011-08-16 Starkey Laboratories, Inc. Frequency translation by high-frequency spectral envelope warping in hearing assistance devices
US8626516B2 (en) * 2009-02-09 2014-01-07 Broadcom Corporation Method and system for dynamic range control in an audio processing system
US8526650B2 (en) * 2009-05-06 2013-09-03 Starkey Laboratories, Inc. Frequency translation by high-frequency spectral envelope warping in hearing assistance devices
CA2780962C (en) * 2009-11-19 2017-09-05 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for loudness and sharpness compensation in audio codecs
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US9245538B1 (en) * 2010-05-20 2016-01-26 Audience, Inc. Bandwidth enhancement of speech signals assisted by noise reduction
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
JP5589631B2 (ja) * 2010-07-15 2014-09-17 富士通株式会社 音声処理装置、音声処理方法および電話装置
DE102011006148B4 (de) 2010-11-04 2015-01-08 Siemens Medical Instruments Pte. Ltd. Kommunikationssystem mit Telefon und Hörvorrichtung sowie Übertragungsverfahren
CN103460286B (zh) * 2011-02-08 2015-07-15 Lg电子株式会社 带宽扩展的方法和设备
EP2728577A4 (en) * 2011-06-30 2016-07-27 Samsung Electronics Co Ltd APPARATUS AND METHOD FOR GENERATING A BANDWIDTH EXTENSION SIGNAL
FR2988966B1 (fr) 2012-03-28 2014-11-07 Eurocopter France Procede de transformation simultanee des signaux vocaux d'entree d'un systeme de communication
US8787605B2 (en) 2012-06-15 2014-07-22 Starkey Laboratories, Inc. Frequency translation in hearing assistance devices using additive spectral synthesis
JP6079119B2 (ja) 2012-10-10 2017-02-15 ティアック株式会社 録音装置
JP6056356B2 (ja) * 2012-10-10 2017-01-11 ティアック株式会社 録音装置
JP2014219607A (ja) * 2013-05-09 2014-11-20 ソニー株式会社 音楽信号処理装置および方法、並びに、プログラム
KR101864122B1 (ko) 2014-02-20 2018-06-05 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102318763B1 (ko) 2014-08-28 2021-10-28 삼성전자주식회사 기능 제어 방법 및 이를 지원하는 전자 장치
KR101682796B1 (ko) 2015-03-03 2016-12-05 서울과학기술대학교 산학협력단 소음 환경에서 음절 형태 기반 음소 가중 기법을 이용한 음성의 명료도 향상 방법 및 이를 기록한 기록매체
US10575103B2 (en) 2015-04-10 2020-02-25 Starkey Laboratories, Inc. Neural network-driven frequency translation
EP3350980B1 (en) * 2015-09-14 2021-11-03 Cogito Corporation Systems and methods for managing, analyzing, and providing visualizations of multi-party dialogs
US9843875B2 (en) 2015-09-25 2017-12-12 Starkey Laboratories, Inc. Binaurally coordinated frequency translation in hearing assistance devices
EP3420740B1 (en) * 2016-02-24 2021-06-23 Widex A/S A method of operating a hearing aid system and a hearing aid system
CN105931651B (zh) * 2016-04-13 2019-09-24 南方科技大学 助听设备中的语音信号处理方法、装置及助听设备
GB2566759B8 (en) 2017-10-20 2021-12-08 Please Hold Uk Ltd Encoding identifiers to produce audio identifiers from a plurality of audio bitstreams
GB2566760B (en) 2017-10-20 2019-10-23 Please Hold Uk Ltd Audio Signal
CN108198571B (zh) * 2017-12-21 2021-07-30 中国科学院声学研究所 一种基于自适应带宽判断的带宽扩展方法及系统
TWI662544B (zh) * 2018-05-28 2019-06-11 塞席爾商元鼎音訊股份有限公司 偵測環境噪音以改變播放語音頻率之方法及其聲音播放裝置
CN110570875A (zh) * 2018-06-05 2019-12-13 塞舌尔商元鼎音讯股份有限公司 检测环境噪音以改变播放语音频率的方法及声音播放装置
US11854571B2 (en) 2019-11-29 2023-12-26 Samsung Electronics Co., Ltd. Method, device and electronic apparatus for transmitting and receiving speech signal
CN113593586A (zh) * 2020-04-15 2021-11-02 华为技术有限公司 音频信号编码方法、解码方法、编码设备以及解码设备
RU203218U1 (ru) * 2020-12-15 2021-03-26 Общество с ограниченной ответственностью "Речевая аппаратура "Унитон" «речевой корректор» - устройство для улучшения разборчивости речи
EP4134954B1 (de) * 2021-08-09 2023-08-02 OPTImic GmbH Verfahren und vorrichtung zur audiosignalverbesserung

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59122135A (ja) * 1982-12-28 1984-07-14 Fujitsu Ltd 音声圧縮伝送方式
JPH06164520A (ja) * 1992-11-16 1994-06-10 Shodenryoku Kosoku Tsushin Kenkyusho:Kk 音声符号化方法及び装置
JPH06303166A (ja) * 1993-04-09 1994-10-28 Toko Inc 音声信号の圧縮装置と伸張装置
JPH07147566A (ja) * 1993-11-24 1995-06-06 Nec Corp 音声信号伝送装置
JPH08321792A (ja) * 1995-05-26 1996-12-03 Tohoku Electric Power Co Inc 音声信号帯域圧縮伝送方法
JPH10124098A (ja) * 1996-10-23 1998-05-15 Kokusai Electric Co Ltd 音声処理装置
JP2001196934A (ja) * 2000-01-05 2001-07-19 Yamaha Corp 音声信号帯域圧縮回路
JP2001521648A (ja) * 1997-06-10 2001-11-06 コーディング テクノロジーズ スウェーデン アクチボラゲット スペクトル帯域複製を用いた原始コーディングの強化
JP2002073088A (ja) * 2000-08-25 2002-03-12 Kenwood Corp 周波数間引き装置、周波数間引き方法及び記録媒体
US20040264721A1 (en) * 2003-03-06 2004-12-30 Phonak Ag Method for frequency transposition and use of the method in a hearing device and a communication device

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1424133A (en) 1972-02-24 1976-02-11 Int Standard Electric Corp Transmission of wide-band sound signals
US4130734A (en) 1977-12-23 1978-12-19 Lockheed Missiles & Space Company, Inc. Analog audio signal bandwidth compressor
US4255620A (en) 1978-01-09 1981-03-10 Vbc, Inc. Method and apparatus for bandwidth reduction
US4170719A (en) * 1978-06-14 1979-10-09 Bell Telephone Laboratories, Incorporated Speech transmission system
US4374304A (en) 1980-09-26 1983-02-15 Bell Telephone Laboratories, Incorporated Spectrum division/multiplication communication arrangement for speech signals
FR2494988B1 (fr) 1980-11-28 1985-07-05 Lafon Jean Claude Perfectionnements aux dispositifs de prothese auditive
US4343005A (en) 1980-12-29 1982-08-03 Ford Aerospace & Communications Corporation Microwave antenna system having enhanced band width and reduced cross-polarization
GB2124456A (en) 1982-01-26 1984-02-15 Bloy Graham P System for maximum efficient transfer of modulated energy
US4600902A (en) * 1983-07-01 1986-07-15 Wegener Communications, Inc. Compandor noise reduction circuit
US4700360A (en) 1984-12-19 1987-10-13 Extrema Systems International Corporation Extrema coding digitizing signal processing method and apparatus
EP0305603B1 (en) 1987-09-03 1993-03-10 Koninklijke Philips Electronics N.V. Gain and phase correction in a dual branch receiver
JP3137995B2 (ja) 1991-01-31 2001-02-26 パイオニア株式会社 Pcmディジタルオーディオ信号再生装置
KR940006623B1 (ko) 1991-02-01 1994-07-23 삼성전자 주식회사 영상신호 처리 시스템
US5416787A (en) 1991-07-30 1995-05-16 Kabushiki Kaisha Toshiba Method and apparatus for encoding and decoding convolutional codes
US5396414A (en) 1992-09-25 1995-03-07 Hughes Aircraft Company Adaptive noise cancellation
JP2779886B2 (ja) 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
US5345200A (en) 1993-08-26 1994-09-06 Gte Government Systems Corporation Coupling network
US5497090A (en) 1994-04-20 1996-03-05 Macovski; Albert Bandwidth extension system using periodic switching
JPH08102687A (ja) * 1994-09-29 1996-04-16 Yamaha Corp 音声送受信方式
DE69533822T2 (de) 1994-10-06 2005-12-01 Fidelix Y.K., Kiyose Verfahren zur Wiedergabe von Audiosignalen und Vorrichtung dafür
US5774841A (en) 1995-09-20 1998-06-30 The United States Of America As Represented By The Adminstrator Of The National Aeronautics And Space Administration Real-time reconfigurable adaptive speech recognition command and control apparatus and method
US5790671A (en) 1996-04-04 1998-08-04 Ericsson Inc. Method for automatically adjusting audio response for improved intelligibility
US5822370A (en) * 1996-04-16 1998-10-13 Aura Systems, Inc. Compression/decompression for preservation of high fidelity speech quality at low bandwidth
US5771299A (en) 1996-06-20 1998-06-23 Audiologic, Inc. Spectral transposition of a digital audio signal
WO1998006090A1 (en) 1996-08-02 1998-02-12 Universite De Sherbrooke Speech/audio coding with non-linear spectral-amplitude transformation
JPH10124088A (ja) 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
US6275596B1 (en) 1997-01-10 2001-08-14 Gn Resound Corporation Open ear canal hearing aid system
US6115363A (en) 1997-02-19 2000-09-05 Nortel Networks Corporation Transceiver bandwidth extension using double mixing
EP0878790A1 (en) 1997-05-15 1998-11-18 Hewlett-Packard Company Voice coding system and method
GB2326572A (en) 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
US6577739B1 (en) 1997-09-19 2003-06-10 University Of Iowa Research Foundation Apparatus and methods for proportional audio compression and frequency shifting
DE69836785T2 (de) * 1997-10-03 2007-04-26 Matsushita Electric Industrial Co., Ltd., Kadoma Audiosignalkompression, Sprachsignalkompression und Spracherkennung
US6154643A (en) 1997-12-17 2000-11-28 Nortel Networks Limited Band with provisioning in a telecommunications system having radio links
EP0945852A1 (en) 1998-03-25 1999-09-29 BRITISH TELECOMMUNICATIONS public limited company Speech synthesis
US6157682A (en) 1998-03-30 2000-12-05 Nortel Networks Corporation Wideband receiver with bandwidth extension
KR100269216B1 (ko) 1998-04-16 2000-10-16 윤종용 스펙트로-템포럴 자기상관을 사용한 피치결정시스템 및 방법
US6295322B1 (en) 1998-07-09 2001-09-25 North Shore Laboratories, Inc. Processing apparatus for synthetically extending the bandwidth of a spatially-sampled video image
US6504935B1 (en) 1998-08-19 2003-01-07 Douglas L. Jackson Method and apparatus for the modeling and synthesis of harmonic distortion
US6539355B1 (en) * 1998-10-15 2003-03-25 Sony Corporation Signal band expanding method and apparatus and signal synthesis method and apparatus
US6195394B1 (en) 1998-11-30 2001-02-27 North Shore Laboratories, Inc. Processing apparatus for use in reducing visible artifacts in the display of statistically compressed and then decompressed digital motion pictures
US6144244A (en) 1999-01-29 2000-11-07 Analog Devices, Inc. Logarithmic amplifier with self-compensating gain for frequency range extension
US6226616B1 (en) 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
SE517525C2 (sv) 1999-09-07 2002-06-18 Ericsson Telefon Ab L M Förfarande och anordning för konstruktion av digitala filter
FI19992350A (fi) * 1999-10-29 2001-04-30 Nokia Mobile Phones Ltd Parannettu puheentunnistus
JP2003514263A (ja) 1999-11-10 2003-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マッピング・マトリックスを用いた広帯域音声合成
US6675125B2 (en) 1999-11-29 2004-01-06 Syfx Statistics generator system and method
US6704711B2 (en) 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
US6766292B1 (en) 2000-03-28 2004-07-20 Tellabs Operations, Inc. Relative noise ratio weighting techniques for adaptive noise cancellation
US7742927B2 (en) 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
DE10041512B4 (de) 2000-08-24 2005-05-04 Infineon Technologies Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
US6819275B2 (en) 2000-09-08 2004-11-16 Koninklijke Philips Electronics N.V. Audio signal compression
US6615169B1 (en) 2000-10-18 2003-09-02 Nokia Corporation High frequency enhancement layer coding in wideband speech codec
US6691085B1 (en) 2000-10-18 2004-02-10 Nokia Mobile Phones Ltd. Method and system for estimating artificial high band signal in speech codec using voice activity information
US6889182B2 (en) 2001-01-12 2005-05-03 Telefonaktiebolaget L M Ericsson (Publ) Speech bandwidth extension
US20020128839A1 (en) 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
US6741966B2 (en) * 2001-01-22 2004-05-25 Telefonaktiebolaget L.M. Ericsson Methods, devices and computer program products for compressing an audio signal
US7076316B2 (en) 2001-02-02 2006-07-11 Nortel Networks Limited Method and apparatus for controlling an operative setting of a communications link
JP2002244686A (ja) 2001-02-13 2002-08-30 Hitachi Ltd 音声加工方法、これを用いた電話機及び中継局
SE522553C2 (sv) 2001-04-23 2004-02-17 Ericsson Telefon Ab L M Bandbreddsutsträckning av akustiska signaler
JP4506039B2 (ja) * 2001-06-15 2010-07-21 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
JP2004521394A (ja) 2001-06-28 2004-07-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 広帯域信号伝送システム
WO2003003600A1 (en) 2001-06-28 2003-01-09 Koninklijke Philips Electronics N.V. Narrowband speech signal transmission system with perceptual low-frequency enhancement
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
CN1288622C (zh) 2001-11-02 2006-12-06 松下电器产业株式会社 编码设备和解码设备
EP1701340B1 (en) 2001-11-14 2012-08-29 Panasonic Corporation Decoding device, method and program
US7630507B2 (en) * 2002-01-28 2009-12-08 Gn Resound A/S Binaural compression system
ES2259158T3 (es) 2002-09-19 2006-09-16 Matsushita Electric Industrial Co., Ltd. Metodo y aparato decodificador audio.
US20040175010A1 (en) 2003-03-06 2004-09-09 Silvia Allegro Method for frequency transposition in a hearing device and a hearing device
KR100917464B1 (ko) 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
US7333930B2 (en) * 2003-03-14 2008-02-19 Agere Systems Inc. Tonal analysis for perceptual audio coding using a compressed spectral representation
AU2003904207A0 (en) 2003-08-11 2003-08-21 Vast Audio Pty Ltd Enhancement of sound externalization and separation for hearing-impaired listeners: a spatial hearing-aid
US7333618B2 (en) 2003-09-24 2008-02-19 Harman International Industries, Incorporated Ambient noise sound level compensation
US7580531B2 (en) * 2004-02-06 2009-08-25 Cirrus Logic, Inc Dynamic range reducing volume control

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59122135A (ja) * 1982-12-28 1984-07-14 Fujitsu Ltd 音声圧縮伝送方式
JPH06164520A (ja) * 1992-11-16 1994-06-10 Shodenryoku Kosoku Tsushin Kenkyusho:Kk 音声符号化方法及び装置
JPH06303166A (ja) * 1993-04-09 1994-10-28 Toko Inc 音声信号の圧縮装置と伸張装置
JPH07147566A (ja) * 1993-11-24 1995-06-06 Nec Corp 音声信号伝送装置
JPH08321792A (ja) * 1995-05-26 1996-12-03 Tohoku Electric Power Co Inc 音声信号帯域圧縮伝送方法
JPH10124098A (ja) * 1996-10-23 1998-05-15 Kokusai Electric Co Ltd 音声処理装置
JP2001521648A (ja) * 1997-06-10 2001-11-06 コーディング テクノロジーズ スウェーデン アクチボラゲット スペクトル帯域複製を用いた原始コーディングの強化
JP2001196934A (ja) * 2000-01-05 2001-07-19 Yamaha Corp 音声信号帯域圧縮回路
JP2002073088A (ja) * 2000-08-25 2002-03-12 Kenwood Corp 周波数間引き装置、周波数間引き方法及び記録媒体
US20040264721A1 (en) * 2003-03-06 2004-12-30 Phonak Ag Method for frequency transposition and use of the method in a hearing device and a communication device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141551A (ja) * 2005-12-09 2011-07-21 Qnx Software Systems (Wavemakers) Inc 高周波数圧縮を通じてスピーチ了解度を改良するためのシステム
JP2012514763A (ja) * 2009-02-04 2012-06-28 モトローラ モビリティ インコーポレイテッド 修正離散コサイン変換音声符号化器用の帯域幅拡大方法及び装置
JP2014016622A (ja) * 2009-02-04 2014-01-30 Motorola Mobility Llc 修正離散コサイン変換音声符号化器用の帯域幅拡大方法及び装置
JP2013528836A (ja) * 2010-06-01 2013-07-11 クゥアルコム・インコーポレイテッド 広帯域音声コーディングのためのシステム、方法、装置、およびコンピュータプログラム製品
JP6073456B2 (ja) * 2013-02-22 2017-02-01 三菱電機株式会社 音声強調装置
WO2014129233A1 (ja) * 2013-02-22 2014-08-28 三菱電機株式会社 音声強調装置
CN104981870A (zh) * 2013-02-22 2015-10-14 三菱电机株式会社 声音增强装置
US9530430B2 (en) 2013-02-22 2016-12-27 Mitsubishi Electric Corporation Voice emphasis device
CN103523040A (zh) * 2013-10-17 2014-01-22 南车株洲电力机车有限公司 一种排障装置和一种路况信息收集方法
JP2017507348A (ja) * 2014-01-07 2017-03-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド 圧縮済みオーディオ信号の信号品質ベース強調及び補償
US10056093B2 (en) 2016-05-10 2018-08-21 JVC Kenwood Corporation Encoding device, decoding device, and communication system for extending voice band
RU2819779C1 (ru) * 2020-03-20 2024-05-24 Долби Интернешнл Аб Усиление низких частот для громкоговорителей
US12101613B2 (en) 2020-03-20 2024-09-24 Dolby International Ab Bass enhancement for loudspeakers

Also Published As

Publication number Publication date
KR20070112848A (ko) 2007-11-27
CA2604859A1 (en) 2006-10-26
CA2604859C (en) 2013-07-02
CN101164104A (zh) 2008-04-16
EP1872365B1 (en) 2019-10-02
US20060247922A1 (en) 2006-11-02
CN100557687C (zh) 2009-11-04
US7813931B2 (en) 2010-10-12
EP1872365A4 (en) 2012-01-18
JP4707739B2 (ja) 2011-06-22
EP1872365A1 (en) 2008-01-02
WO2006110990A1 (en) 2006-10-26

Similar Documents

Publication Publication Date Title
JP4707739B2 (ja) 音声の品質および了解度を改善するためのシステム
EP1772855B1 (en) Method for extending the spectral bandwidth of a speech signal
JP4777918B2 (ja) 音声処理装置及び音声を処理する方法
KR100726960B1 (ko) 음성 처리에서의 인위적인 대역폭 확장 방법 및 장치
JP5463306B2 (ja) 高周波数圧縮を通じてスピーチ了解度を改良するためのシステム
US6212496B1 (en) Customizing audio output to a user's hearing in a digital telephone
JP5535241B2 (ja) 音声信号復元装置および音声信号復元方法
JP5301471B2 (ja) 音声符号化システム及び方法
JP6073456B2 (ja) 音声強調装置
JP4018571B2 (ja) 音声強調装置
KR20100123712A (ko) 대역폭 확장 시스템에서 고대역 에너지를 추정하기 위한 방법 및 장치
US20110054889A1 (en) Enhancing Receiver Intelligibility in Voice Communication Devices
WO2007075226A1 (en) Wireless headset and method for robust voice data communication
WO2011127832A1 (en) Time/frequency two dimension post-processing
KR20130109903A (ko) 음성수신장치 및 음성수신방법
JPH0636158B2 (ja) 音声分析合成方法及び装置
JPH0946233A (ja) 音声符号化方法とその装置、音声復号方法とその装置
JP2004521574A (ja) 知覚的な低周波増強を備えた狭帯域音声信号伝送システム
JP2005010621A (ja) 音声帯域拡張装置及び帯域拡張方法
JP2004301954A (ja) 音響信号の階層符号化方法および階層復号化方法
JP3478267B2 (ja) ディジタルオーディオ信号圧縮方法および圧縮装置
JP6098038B2 (ja) 音声補正装置、音声補正方法及び音声補正用コンピュータプログラム
JP4269364B2 (ja) 信号処理方法及び装置、並びに帯域幅拡張方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101221

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110315

R150 Certificate of patent or registration of utility model

Ref document number: 4707739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140325

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140325

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140325

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250