JP2003507764A - 雑音を含む音響信号を高品質化するための方法 - Google Patents

雑音を含む音響信号を高品質化するための方法

Info

Publication number
JP2003507764A
JP2003507764A JP2001517379A JP2001517379A JP2003507764A JP 2003507764 A JP2003507764 A JP 2003507764A JP 2001517379 A JP2001517379 A JP 2001517379A JP 2001517379 A JP2001517379 A JP 2001517379A JP 2003507764 A JP2003507764 A JP 2003507764A
Authority
JP
Japan
Prior art keywords
signal
time
frequency representation
input signal
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001517379A
Other languages
English (en)
Other versions
JP2003507764A5 (ja
JP4764995B2 (ja
Inventor
ザカロスカス，ピエール
Original Assignee
ウェーブメーカーズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェーブメーカーズ・インコーポレーテッド filed Critical ウェーブメーカーズ・インコーポレーテッド
Publication of JP2003507764A publication Critical patent/JP2003507764A/ja
Publication of JP2003507764A5 publication Critical patent/JP2003507764A5/ja
Application granted granted Critical
Publication of JP4764995B2 publication Critical patent/JP4764995B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Noise Elimination (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Amplifiers (AREA)
  • Devices For Supply Of Signal Current (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】 【課題】 雑音に埋もれた音響信号を強調するためのシステムおよび方法。本発明は、音響入力を信号モデルに整合させ、非常に低雑音の対応する出力信号を生成する。 【解決手段】 入力データはデジタル化され、時間−周波数表現に変換され、背景雑音を推定し、過渡的な音を隔離する。信号検出器を過渡音に適用する。信号内容のない長い過渡音および過渡音間の背景雑音を雑音推定に含める。過渡音の少なくとも何らかの部分が重要な信号を含む場合は、再スケール後にその信号のスペクトルを信号モデルと比較し、信号のパラメータをデータに合わせる。低雑音信号を、信号モデル・パラメータの最適な組を使用して再合成する。信号モデルは低雑音信号を組み込んでいるだけであるため、出力信号もまた雑音が少ない。

Description

【発明の詳細な説明】
【０００１】 （技術分野） 本発明は、付加雑音によって劣化された音響信号の質を高めるためのシステム
および方法に関する。
【０００２】 （背景） 音響信号の高品質化を調査するいくつかの研究分野があり、スピーチ信号に重
きが置かれている。これらには、音声通信、自動音声認識（ＡＳＲ）、補聴器が
ある。各研究分野は音響信号高品質化に対して独自の手法を採用し、それらの間
に何らかの重なりがある。
【０００３】 音響信号は、雑音があることによってしばしば劣化する。たとえば、にぎやか
な事務所や移動中の自動車の中では、ＡＳＲシステムの性能が実質的に劣化する
。遠隔会議システム内のように音声が遠隔の聞き手に伝送される場合は、雑音が
あると聞き手にとって不快であるとともに気が散ることもあり、さらには語音を
理解するのが困難になる可能性もある。聴覚障害を有する人は、騒々しい環境内
で語音を理解するのが著しく困難であり、最新の補聴器によって信号に加えられ
る全利得は問題を解決する役には立っていない。古い音楽記録は、瞬間的な雑音
またはヒス(hissing)が存在することによってしばしば劣化している。雑音によ
る音響信号劣化が発生する通信の他の例は、電話、無線通信、ビデオ会議、コン
ピュータ記録などを含む。
【０００４】 連続音声大語彙ＡＳＲは特に雑音妨害に弱く、これまで業界が採用している解
決策は、ヘッドセット・マイクロフォンの使用であった。雑音低減は、マイクロ
フォンと被験者の口の近接（約１．５インチ（３８．１ｍｍ））によって達成さ
れ、特別な近接効果マイクロフォンによる場合もある。しかし、ユーザは、ヘッ
ドセットによってコンピュータに束縛されることをしばしばぎこちないと感じ、
ひどく目立つ機器を着用するのを不快に感じる。ヘッドセットを使用する必要が
あることは、人と機械の即座の対話を妨げ、ＡＳＲ技術の市場浸透にとって重大
な障壁である。
【０００５】 近接マイクロフォンに加えて、通信時の音響信号高品質化に対する従来の手法
は、適応フィルタおよびスペクトル・サブトラクションであった。適応フィルタ
では、第２のマイクロフォンが信号ではなく雑音をサンプルする。次いで雑音を
信号から減ずる。この手法の１つの問題は、重要なソースを拾うために使用する
ものと異なる場所で位置決めする必要がある第２マイクロフォンのコストである
。さらに、雑音だけをサンプルし、所望のソース信号を含まないということがほ
とんどできない。適応フィルタの他の形態は、信号にバンドパス・デジタル・フ
ィルタを適用する。フィルタのパラメータは、雑音スペクトルを長期間にわたっ
て平均して信号対雑音比（ＳＮＲ）が最大になるように適合される。この方法は
、低ＳＮＲの帯域内で信号が取り残されるという欠点を有する。
【０００６】 スペクトル・サブトラクションでは、雑音を、信号がない期間中に推定し、次
いで信号が存在するとき信号スペクトルから減ずる。しかし、これは「ミュージ
カル・ノイズ」および不自然な他の歪みの導入を引き起こす。これらの問題の根
元は、ＳＮＲの非常に低い領域内で、スペクトル・サブトラクションが、信号が
一定レベルより低いことを決定できるにすぎないということである。不十分な場
合もある証拠に基づいて信号レベルを選択せざるを得ないことにより、本当の信
号からの少なからぬ乖離が、雑音および歪みの形態でしばしば発生する。
【０００７】 雑音低減に対する最近の手法は、マイクロフォンのアレイを使用するビームフ
ォーミングの使用である。この技法は、複数のマイクロフォン、Ａ／Ｄコンバー
タなど専用化されたハードウェアを必要とし、したがってシステムのコストを引
き上げる。信号処理コストは、マイクロフォンの数の２乗に比例して増加するた
め、そのコストもまた高額になる。マイクロフォン・アレイの他の限界は、ビー
ムフォーミング・プロセス全体にわたって依然としていくらかの雑音が漏れるこ
とである。さらに、実際のアレイ利得は通常、妨害音ソースの反響および残響が
依然としてアレイの主ローブおよびサイドローブを介して受け入れられるため、
無響条件で測定されたもの、あるいは理論から予測されたものよりもさらに低く
なる。
【０００８】 本発明者は、スペクトルの一部を取り残したり、不自然な雑音を導入したり、
信号を歪ませたりすることなく、またマイクロフォン・アレイに出費することな
く音響信号を高品質化することができることが望ましいと考えた。本発明は、従
来技法の限界を回避する音響信号強調のためのシステムおよび方法を提供する。
【０００９】 （概要） 本発明は、雑音のレベルが非常に低い出力信号を生成するよう入力信号を処理
することにより、音響信号の質を高めるための方法、装置、およびコンピュータ
・プログラムを含む（「信号」は品質向上させるべき対象信号そのものを意味し
、それに対して背景音および気の散る音は「雑音」と称する）。好ましい実施形
態では、学習によって向上された信号モデルの使用によって高品質化する。入力
信号は人の語音を表すことができるが、本発明は、楽器および鳥や人の歌声など
、どのタイプの生音または記録音響データも向上させるために使用できることを
理解されたい。
【００１０】 本発明の好ましい実施形態は、入力信号を以下のように強調する。すなわち、
入力信号を、時間−周波数表現に変換された２進データにデジタル化する。背景
雑音を推定し、過渡的な音を隔離する。信号検出器を過渡音に適用する。信号内
容のない長い過渡音および過渡音間の背景雑音を雑音推定に含める。過渡音の少
なくとも何らかの部分が重要な信号（対象信号）を含む場合は、再スケール後に
その信号のスペクトルを信号モデルと比較し、信号のパラメータをデータに合わ
せる。低雑音信号を、信号モデル・パラメータの最適な組を使用して再合成する
。信号モデルは低雑音信号を組み込んでいるだけであるため、出力信号もまた雑
音が少ない。テンプレートが既存のテンプレートと著しく異なる場合はスペクト
ログラムからテンプレートを作成することによって信号モデルを低雑音信号デー
タで調整する。既存のテンプレートが入力パターンに似ていることが判明した場
合は、得られるテンプレートが過去にそのテンプレートと整合されたすべてのス
ペクトルの平均になるような形でテンプレートをそのパターンで平均化する。し
たがって、モデルに組み込まれた信号特性の知識は、信号の再現を収斂するよう
に働き、それによって不自然な雑音または歪みの導入が回避される。
【００１１】 本発明は、以下の利点を有する。すなわち、瞬間的および静的な雑音のない再
合成信号データを出力でき、入力信号のソースとして単一のマイクロフォンが必
要なだけであり、低ＳＮＲの領域内の出力信号は、ソースが生成可能なスペクト
ルと矛盾しないように保たれる。
【００１２】 本発明の１つまたは複数の実施形態の詳細は、添付図面および下記の説明で述
べる。本発明の他の特徴、目的、利点は、説明および図面から、また特許請求の
範囲から明らかになろう。
【００１３】 様々な図面内の類似の参照番号および指定は、類似の要素を示す。
【００１４】 （詳細な説明） この説明全体にわたって、図示された好ましい実施形態および例は、本発明を
限定するものではなく、典型と見なすべきである。
【００１５】 動作環境の概観 図１は、本発明の信号向上システムを実施するために使用することができる典
型的な従来技術のプログラム可能な処理システムのブロック図である。音響信号
はトランスデューサ・マイクロフォン１０部で受け取られ、これが音響信号を表
す対応電気信号を生成する。次いで、トランスデューサ・マイクロフォン１０か
らの信号は、アナログ・デジタル・コンバータ１４によってデジタル化する前に
、増幅器１２によって増幅するのが好ましい。アナログ・デジタル・コンバータ
１４の出力は、本発明の品質向上技法を適用する処理システムに加えられる。処
理システムは、ＣＰＵ１６、ＲＡＭ２０、ＲＯＭ１８（フラッシュＲＯＭなど書
き込み可能であってよい）、および図のようにＣＰＵバス２３によって結合され
た磁気ディスクなど任意選択の記憶装置２２を含むのが好ましい。品質向上プロ
セスの出力は、ＡＳＲシステムなど他の処理システムに加えることも、ファイル
に保存することも、聞き手のために再生することもできる。プレイバックは一般
に、処理済みデジタル出力ストリームをデジタル・アナログ・コンバータ２４に
よってアナログ信号に変換し、オーディオ・スピーカ２８（たとえば、スピーカ
、ヘッドホン、またはイヤホン）を駆動する出力増幅器２６でそのアナログ信号
を増幅することによって行う。
【００１６】 システムの機能概観 以下、音響信号強調システムの機能構成要素について述べる。本発明の第１の
機能構成要素は、入力データを時間−周波数表現に変換する動的な背景雑音推定
器である。雑音推定器は、信号劣化を引き起こす連続的な、または緩やかに変わ
る背景雑音を推定する手段を提供する。雑音推定器はまた、雑音源が活動化され
た（たとえば、空調システムがオンまたはオフになった）場合など、雑音レベル
の突然の変化に適応することができるべきである。動的背景雑音推定機能は、過
渡的な音を背景雑音から分離し、背景雑音だけを推定することが可能である。一
実施形態では、パワー検出器が複数の周波数帯域のそれぞれで動作する。データ
の雑音だけの部分を使用して、デシベル（ｄＢ）単位で雑音の平均および標準偏
差を生成する。パワーが、周波数帯域内の指定数の標準偏差を超えて平均を上回
った場合は、対応する時間は信号を含むものとして示され（ｆｌａｇｇｅｄ）、
雑音だけのスペクトルを推定するために使用されない。
【００１７】 動的背景雑音推定器は、第２の機能構成要素の過渡音検出器と密接に動作する
。過渡音は、比較的短い時間内に音響パワーが上昇して下降するとき発生する。
過渡音は発声された語音とすることができるが、衝撃音、ドアを激しく閉じる音
など過渡的な雑音とすることもできる。過渡音の隔離は、過渡音を別々に調査し
、信号事象と非信号事象に分類することを可能にする。また、新たな雑音源がオ
ンになった場合など、パワー・レベルの上昇が永続的であるときを認識するのに
有効である。これは、システムがその新たな雑音レベルに適応することを可能に
する。
【００１８】 本発明の第３の機能構成要素は信号検出器である。信号検出器は、非信号の非
静的雑音を弁別するのに有効である。高調波の場合もまた、聞き手が再現信号を
聞くことが望ましい場合にこれを使用してピッチ推定を行う。以下、雑音が存在
する中で音声を検出する信号検出器の好ましい実施形態を述べる。音声検出器は
、周波数領域内で声門パルス検出を使用する。データのスペクトログラムを生成
し（信号の時間−周波数表現）、スペクトルの対数をとった後で、信号を周波数
閾値まで時間軸に沿って合計する。得られた時系列の高い自己相関は、音声化さ
れた語音を表す。音声のピッチは、自己相関が最大になるラグである。
【００１９】 第４の機能構成要素はスペクトル再スケーラである。入力信号は、弱いことも
強いことも、近いことも遠いこともある。測定されたスペクトルをモデル内でテ
ンプレートと整合する前に、パターン間の距離が信号の全音量に依存しないよう
に測定されたスペクトルを再スケールする。好ましい実施形態では、重み付けが
デシベル（ｄＢ）単位のＳＮＲに比例する。重みは、それぞれ最小値および最大
値によって下および上の境界となる。スペクトルは、記憶されたテンプレートそ
れぞれへの重み付けされた距離が最小になるように再スケールされる。
【００２０】 第５の機能構成要素はパターン整合器である。テンプレートと測定されたスペ
クトルの間の距離は、ユークリッド距離または加重ユークリッド距離など、いく
つかの適切な測定基準の１つとすることができる。測定されたスペクトルまでの
最小距離を有するテンプレートが、最適な原型として選択される。信号モデルは
、低雑音信号から得られた１組の短期間の原型スペクトログラムからなる。信号
モデルの調整は、先に収集した原型から著しく異なるスペクトログラムを収集す
ることによって行う。第１原型は、雑音より著しく上の信号を含む第１信号スペ
クトログラムである。後続の時間エポックについては、スペクトログラムが、選
択された距離閾値より既存の原型に近い場合に、スペクトログラムを最も近い原
型で平均化する。スペクトログラムが、選択された閾値より原型から離れている
場合には、スペクトログラムを新しい原型として宣言する。
【００２１】 第６の機能構成要素は低雑音スペクトログラム生成器である。低雑音スペクト
ログラムは、低ＳＮＲスペクトログラム・ビン内のデータを最適な原型の値で置
き換えることにより、パターン整合器によって生成された雑音の多いスペクトロ
グラムから生成される。高ＳＮＲスペクトログラム・ビンでは、測定されたスペ
クトルが変化しないままとされる。原型と測定された信号を混合したものが、中
間ＳＮＲケースで使用される。
【００２２】 第７の機能構成要素は再合成器である。出力信号は、低雑音スペクトログラム
から再合成される。以下、好ましい一実施形態に移る。信号は、高調波部分と非
高調波部分に分けられる。高調波部分の場合は、各成分について任意の初期位相
が選択される。次いで、非ゼロ出力の各点について、各成分の振幅をスペクトロ
グラムから補間し、基本周波数を信号検出器の出力から補間する。各成分を、そ
れぞれ連続位相、振幅、およびその周波数間の高調波関係によって別々に合成す
る。高調波部分の出力は、成分の合計である。
【００２３】 非高調波部分の場合は、再合成された時系列の基本周波数が、信号の基本周波
数をたどる必要がない。一実施形態では、基本周波数を一定に保つことを除いて
、高調波部分の場合のように連続振幅および位相再現を実行する。他の実施形態
では、信号の各周波数帯域について１つずつ雑音生成器を使用し、振幅は、補間
を介して低雑音スペクトログラムのものをたどっている。さらに他の実施形態で
は、バンドパス済み雑音の一定振幅ウィンドウを、その全振幅をその時点のスペ
クトログラムのものに調節した後で追加する。
【００２４】 基本方法の概観 図２は、本発明の好ましい方法実施形態の流れ図である。図２に示す方法は、
図１に示すアナログ・デジタル・コンバータ１４からの出力として生成された複
数のデータ・サンプルからなる着信音響信号を高品質化するために使用する。こ
の方法は、「開始」状態で始まる（ステップ２０２）。着信データ・ストリーム
（たとえば、先に生成された音響データ・ファイルまたはデジタル化された生音
信号）が、１組のサンプルとしてコンピュータ・メモリ内に読み取られる（ステ
ップ２０４）。好ましい実施形態では、本発明が通常、連続音響データ・ストリ
ームの一部分を表すデータの「移動するウィンドウ」を高品質化するために適用
されることになり、データ・ストリーム全体が処理される。一般に、高品質化す
べき音響データ・ストリームは、元の音響データ・ストリームの期間にかかわら
ず、一連の固定長のデータ「バッファ」として表される。
【００２５】 現在のウィンドウのサンプルは、事前フィルタ、シェーディングなど適切な条
件付けオペレーションを含むことができる時間−周波数変換を受ける（ステップ
２０６）。短時間フーリエ変換、フィルタ・バンク解析、離散ウェーブレット変
換など、いくつかの時間−周波数変換のいずれかを使用することができる。
【００２６】 時間−周波数変換の結果は、初期時系列ｘ（ｔ）が時間−周波数表現Ｘ（ｆ，
ｉ）に変換されることであり、ただしｔは時系列ｘのサンプリング・インデック
ス、ｆおよびｉはそれぞれ、スペクトログラムＸの周波数および時間次元を指し
示す離散変数である。好ましい実施形態では、別途指定しない限り、後続のステ
ップでＸの代わりにＸの大きさの対数を使用する（ステップ２０７）。すなわち
Ｐ（ｆ，ｉ）＝２０ｌｏｇ10（｜Ｘ（ｆ，ｉ）｜）
【００２７】 時間および周波数に応じたパワー・レベルＰ（ｆ，ｉ）を、今後「スペクトロ
グラム」と称する。
【００２８】 次いで、個々の帯域ｆ内のパワー・レベルが、過渡音隔離（ステップ２１０）
と結合された背景雑音推定（ステップ２０８）を受ける。過渡音隔離は、静的雑
音内に埋もれた過渡信号の存在を検出し、そのような過渡音の推定開始時間およ
び終了時間を出力する。過渡音は探索信号のインスタンスとすることができるが
、瞬間的雑音とすることもできる。背景雑音推定は、過渡音間で背景雑音パラメ
ータの推定を更新する。
【００２９】 背景雑音推定を実行するための好ましい実施形態は、各周波数帯域について移
動するウィンドウ内の音響パワーを平均化するパワー検出器を含む。所定の数の
周波数帯域内のパワーが、背景雑音より上で一定数の標準偏差として決められた
閾値を上回った場合は、パワー検出器が信号の存在を宣言する。すなわち、次式
のときである。 Ｐ（ｆ，ｉ）＞Ｂ（ｆ）＋ｃσ（ｆ） ただし、Ｂ（ｆ）は帯域ｆ内の平均背景雑音パワー、σ（ｆ）は同じ帯域内の雑
音の標準偏差、ｃは定数である。代替実施形態では、雑音推定が動的である必要
はなく、１回で測定できよう（たとえば、本発明を実施するソフトウェアが動作
するコンピュータの起動中）。
【００３０】 次いで、過渡音検出器を通過する変換済みデータが信号検出器機能に加えられ
る（ステップ２１２）。このステップは、信号と同じクラスでない過渡的雑音を
弁別することを可能にする。語音（スピーチ）の高品質化の場合は、音声検出器
をこのステップで適用する。具体的には、好ましい音声検出器では、レベルＰ（
ｆ，ｉ）が最小および最大周波数、それぞれｌｏｗｆおよびｔｏｐｆの間で時間
軸に沿って合計される。
【数１】
【００３１】 次いで、ｂ（ｉ）の自己相関を、τmaxpitch≦τ≦τminpitchのタイム・ラグ
τに応じて計算する。ただし、τmaxpitchは許容される最大音声ピッチに対応す
るラグであり、一方τminpitchは許容される最小音声ピッチに対応するラグであ
る。音声／無音声の決定のために基づかれる統計値は、時間ｉで中心付けられた
ウィンドウ内で計算されるｂ（ｉ）の正規化自己相関（自己相関係数）の値であ
る。最大正規化自己相関が閾値より大きい場合は、音声を含むものと考えられる
。この方法は、短時間スペクトログラム内に現れる声門パルスによって特徴付け
られる、人の声の振動する性質を利用する。これらの声門パルスは、スペクトロ
グラムの周波数次元に沿って並ぶ。音声が周波数の少なくとも何らかの領域を占
めている場合は、合計の自己相関が、その音声に対応するピッチ期間の値で最大
を示す。この音声検出方法の利点は、ｂ（ｉ）の自己相関係数が高くなるために
スペクトルの部分全体にわたってＳＮＲが良好であることだけが必要であるため
、スペクトルの大部分にわたって雑音妨害に強いことである。
【００３２】 音声検出器の他の実施形態は、低ＳＮＲの周波数帯域ビンの影響を低減するた
め、スペクトログラム要素を合計する前に重み付けする。
【数２】
【００３３】 重みｗ（ｉ）は、時間ｉの帯域ｆ内のＳＮＲｒ（ｆ，ｉ）に比例し、レベルの
差、すなわち各周波数帯域についてｒ（ｆ，ｉ）＝Ｐ（ｆ，ｉ）−Ｂ（ｆ）で計
算される。この実施形態では、再スケール係数の各要素が、以下のように定義さ
れる重みによって重み付けされる。ただし、ｗminおよびｗmaxはプリセット閾値
である。 ｗ（ｆ，ｉ）＝ｗmin、ｒ（ｆ，ｉ）＜ｗminの場合 ｗ（ｆ，ｉ）＝ｗmax、ｒ（ｆ，ｉ）＞ｗmaxの場合 ｗ（ｆ，ｉ）＝ｒ（ｆ，ｉ）、その他の場合
【００３４】 好ましい実施形態では、重みは、各時間枠で重みの合計によって正規化される
。すなわち、 ｗ’（ｆ，ｉ）＝ｗ（ｆ，ｉ）／ｓｕｍf（ｗ（ｆ，ｉ）） ｗ’min＝ｗmin／ｓｕｍf（ｗ（ｆ，ｉ）） ｗ’max＝ｗmax／ｓｕｍf（ｗ（ｆ，ｉ））
【００３５】 次いで、ステップ２０８および２１０からのスペクトログラムＰは、記憶され
ているテンプレートと比較できるように再スケールするのが好ましい（ステップ
２１４）。このステップを実行する１つの方法は、スペクトログラムＰ（ｆ，ｉ
）の各要素を定数ｋ（ｉ，ｍ）で上げ、Ｐ（ｆ，ｉ）＋ｋ（ｉ，ｍ）と第ｍ番目
のテンプレートＴ（ｆ，ｍ）との間の平方２乗平均差が最低になるようにするこ
とである。これは、以下をとることによって行う。ただし、Ｎは周波数帯域の数
である。
【数３】
【００３６】 他の実施形態では、比較に先立ちテンプレートを再スケールする際に重み付け
を使用する。
【数４】
【００３７】 このような再スケールの効果は、ＳＮＲの高いテンプレートの周波数帯域を優
先的に整列させるためである。しかし、再スケールは任意選択であり、すべての
実施形態で使用するには及ばない。
【００３８】 他の実施形態では、テンプレートを再スケールするために、テンプレートのＳ
ＮＲならびに測定されたスペクトルのＳＮＲが使用される。テンプレートＴ（ｆ
，ｍ）のＳＮＲは、ｒN（ｆ，ｍ）＝Ｔ（ｆ，ｍ）−ＢN（ｆ）で定義される。た
だし、ＢN（ｆ）は調整時の周波数帯域ｆの背景雑音である。ｒおよびｒNを使用
する重み付け方式の一実施形態では、重みｗNが、テンプレートおよびスペクト
ログラムの重みの積の平方根と定義される。
【数５】
【００３９】 ｒNとｒの他の組み合わせも許容可能である。好ましい実施形態では、重みは
、各時間枠で重みの合計によって正規化される。すなわち ｗ’2（ｆ，ｉ）＝ｗ2（ｆ，ｉ）／ｓｕｍf（ｗ2（ｆ，ｉ）） ｗ’min＝ｗmin／ｓｕｍf（ｗ2（ｆ，ｉ）） ｗ’max＝ｗmax／ｓｕｍf（ｗ2（ｆ，ｉ））
【００４０】 スペクトルの再スケール後、好ましい実施形態は、現在のスペクトログラムＰ
（ｆ，ｉ）に最適に整合する信号モデル内のテンプレートＴ*を見つけるように
パターン整合を行う（ステップ２１６）。「最適整合」という用語の定義、なら
びに最適整合を見つけるために使用する方法にはいくらかの自由度がある。一実
施形態では、Ｐ＋ｋとＴ*の間の最も小さいＲＭＳ（平方２乗平均）差ｄ*を有す
るテンプレートを見つける。好ましい実施形態では、重み付けされたＲＭＳ距離
を使用する。ただし、
【数６】
【００４１】 この実施形態では、最低ＳＮＲの周波数帯域は、より高いＳＮＲの周波数帯域
より距離計算への影響が少ない。時間ｉでの最適整合テンプレートＴ*（ｉ）は
、ｄ*（ｉ）＝ｍｉｎm（ｄ（ｉ，ｍ））となるようにｍを見つけることによって
選択される。
【００４２】 次いで、低雑音スペクトログラムＣが、選択された最も近いテンプレートＴ*
に測定されたスペクトルＰを合併することによって生成される（ステップ２１８
）。各ウィンドウ位置ｉについて、低雑音スペクトログラムＣがＰおよびＴ*か
ら再現される。好ましい実施形態では、以下の形で再現が行われる。各時間−周
波数ビンについて、 Ｃ（ｆ，ｉ）＝ｗ’2（ｆ，ｉ）Ｐ（ｆ，ｉ）＋［ｗ’max−ｗ’2（ｆ，ｉ）］
Ｔ*（ｆ，ｉ）
【００４３】 低雑音スペクトログラムＣを生成した後で、低雑音出力時系列を合成する（ス
テップ２２０）。好ましい実施形態では、スペクトログラムが高調波（ｙh）と
非高調波（ｙu）の部分に分けられ、各部が別々に再現される（ｙ＝ｙh＋ｙu）
）。高調波部分は、一連の高調波ｃ（ｔ，ｊ）を使用して合成される。任意の初
期位相φ0（ｊ）が各成分ｊについて選択される。次いで、各出力点ｙh（ｔ）に
ついて各成分の大きさがスペクトログラムＣから補間され、基本周波数ｆ0が音
声検出器の出力から補間される。成分ｃ（ｔ，ｊ）は、それぞれ連続位相、振幅
、および他の成分との共通ピッチ関係によって別々に合成される。すなわち ｃ（ｔ，ｊ）＝Ａ（ｔ，ｊ）ｓｉｎ［ｆ0ｊｔ＋φ0（ｊ）］ ただし、Ａ（ｔ，ｊ）は時間ｔでの各高調波ｊの振幅である。一実施形態は、ス
プライン補間を使用して、スペクトログラム点の間でなめらかに変わるｆ0およ
びＡ（ｔ，ｊ）の連続値を生成する。
【００４４】 出力の高調波部分は、成分の合計ｙh（ｔ）＝ｓｕｍj［ｃ（ｔ，ｊ）］である
。信号ｙuの非高調波部分の場合は、基本周波数が信号の基本周波数をたどる必
要がない。一実施形態では、ｆ0を一定に保つことを除いて、高調波部分の場合
のように連続振幅および位相再現を実行する。他の実施形態では、信号の各周波
数帯域について１つずつ雑音生成器を使用し、振幅は、低雑音スペクトログラム
のものをたどるようにされる。
【００４５】 いずれかの入力データが処理されていない場合は（ステップ２２２）、音響デ
ータの次のサンプルについてプロセス全体を繰り返す（ステップ２０４）。そう
でない場合は処理が終了する（ステップ２２４）。最終出力は、元の入力音響信
号の質向上を示す低雑音信号である。
【００４６】 背景雑音推定および過渡音隔離 図３は、図２のステップ２１２および２０８としてそれぞれ簡単に述べた背景
雑音推定および過渡音検出のプロセスをさらに詳しく述べた流れ図である。過渡
音隔離プロセスは、静的雑音に埋もれた過渡信号の存在を検出する。背景雑音推
定器は、過渡音間で背景雑音パラメータの推定を更新する。
【００４７】 このプロセスは、「プロセス開始」状態で始まる（ステップ３０２）。このプ
ロセスは、十分な数の背景雑音のサンプルを必要とし、それから雑音の平均およ
び標準偏差を使用して過渡音を検出することができる。それゆえに、ルーチンは
、十分な数の背景雑音のサンプルが得られているかどうかを判定する（ステップ
３０４）。得られていない場合は、現在のサンプルを使用して雑音推定を更新し
（ステップ３０６）、プロセスが修了する（ステップ３２０）。背景雑音更新プ
ロセスの一実施形態では、スペクトログラム要素Ｐ（ｆ，ｉ）がリング・バッフ
ァ内に保たれ、各周波数帯域ｆ内の雑音の平均Ｂ（ｆ）および標準偏差σ（ｆ）
を更新するために使用される。背景雑音推定は、インデックスｉがプリセット閾
値より大きい場合に準備が整ったと見なす。
【００４８】 背景雑音サンプルの準備が整った場合は（ステップ３０４）、信号レベルＰ（
ｆ，ｉ）がいずれかの周波数帯域で背景雑音より著しく高いかどうかが判定され
る（ステップ３０８）。好ましい実施形態では、所定の数の周波数帯域内のパワ
ーが、背景雑音平均レベルより上で一定数の標準偏差として決められた閾値より
大きい場合に、判定ステップが、パワー閾値を上回ったことを示す。すなわち、
次式のときである。 Ｐ（ｆ，ｉ）＞Ｂ（ｆ）＋ｃσ（ｆ） ただし、ｃは経験的に所定の定数である。次いで、処理はステップ３１０で続く
。
【００４９】 スペクトログラム要素Ｐ（ｆ，ｉ）が過渡信号を含んでいるかどうかを判定す
るために、フラグ「Ｉｎ−ｐｏｓｓｉｂｌｅ−ｔｒａｎｓｉｅｎｔ」が真にセッ
トされ（ステップ３１０）、起こりうる過渡音の期間が増分される（ステップ３
１２）。次いで、（起こりうる過渡音が）過渡音とするには長すぎるか否かが判
定される（ステップ３１４）。可能な過渡期間がなおも最大期間内にある場合は
、プロセスが終了する（ステップ３２０）。一方、過渡期間が長すぎて発声され
た言葉にならないと判断された場合は、背景雑音レベルの増加と考えられる。し
たがって、雑音推定が遡及的に更新され（ステップ３１６）、「Ｉｎ−ｐｏｓｓ
ｉｂｌｅ−ｔｒａｎｓｉｅｎｔ」フラグが偽にセットされ、かつ過渡期間が０に
リセットされ（ステップ３１８）、処理が終了する（ステップ３２０）。
【００５０】 ステップ３０８で十分強力な信号が検出されなかった場合は、背景雑音統計値
がステップ３０６で更新される。その後で、「Ｉｎ−ｐｏｓｓｉｂｌｅ−ｔｒａ
ｎｓｉｅｎｔ」フラグがテストされる（ステップ３２２）。フラグが偽にセット
されている場合はプロセスが終了する（ステップ３２０）。フラグが真にセット
されている場合は、ステップ３１８のように偽にリセットされ、過渡期間が０に
リセットされる。次いで過渡音の期間がテストされる（ステップ３２４）。過渡
音が短すぎて発声された言葉の一部にならないと考えられる場合は、プロセスが
終了する（ステップ３２０）。過渡音が、可能な発声された語音とするのに十分
長い場合は、過渡フラグが真にセットされ、過渡音の開始および終了が呼出しル
ーチンに渡される（ステップ３２６）。次いでプロセスが終了する（ステップ３
２０）。
【００５１】 パターン整合 図４は、図２のステップ２１６として簡単に述べたパターン整合のプロセスを
さらに詳しく述べた流れ図である。このプロセスは、「プロセス開始」状態で始
まる（ステップ４０２）。パターン整合プロセスは、熟考されたスペクトログラ
ムＰ（ｆ，ｉ）に最適に整合する信号モデル内のテンプレートＴ*を見つける（
ステップ４０４）。パターン整合プロセスはまた、信号モデルの学習プロセスを
受け持つ。「最適整合」という用語の定義、ならびに最適整合を見つけるために
使用する方法にはいくらかの自由度がある。一実施形態では、Ｐ＋ｋとＴ*の間
の最も小さいＲＭＳ差ｄ*を有するテンプレートを見つける。好ましい実施形態
では、重み付けされたＲＭＳ距離を使用して整合の度合いを測定する。一実施形
態では、ＲＭＳが次式によって計算される。
【数７】
【００５２】 この実施形態では、最低ＳＮＲの周波数帯域は、より高いＳＮＲの周波数帯域
より距離計算への影響が少ない。時間ｉでステップ４０４の出力である最適整合
テンプレートＴ*（ｆ，ｉ）は、ｄ*（ｉ）＝ｍｉｎm［ｄ（ｉ，ｍ）］となるよ
うにｍを見つけることによって選択される。システムが学習モードでない場合は
（ステップ４０６）、Ｔ*（ｆ，ｉ）は最も近いテンプレートとしてプロセスの
出力でもある（ステップ４０８）。次いでプロセスが終了する（ステップ４１０
）。
【００５３】 システムが学習モードにある場合は（ステップ４０６）、Ｐ（ｆ，ｉ）に最も
似ているテンプレートＴ*（ｆ，ｉ）が使用されて信号モデルが調節される。Ｔ* （ｆ，ｉ）がモデル内に組み込まれる方法は、ｄ*（ｉ）の値に応じて決まる（
ステップ４１２）。ｄmaxが所定の閾値であり、ｄ*（ｉ）＜ｄmaxの場合は、Ｔ* （ｆ，ｉ）が調節され（ステップ４１６）、プロセスが終了する（ステップ４１
０）。ステップ４１６の好ましい実施形態は、Ｔ*（ｆ，ｉ）が、Ｔ*（ｆ，ｉ）
を構成するために使用されるすべてのスペクトルＰ（ｆ，ｉ）の平均となるよう
に実施される。好ましい実施形態では、Ｔ（ｆ，ｍ）に関連するスペクトルの数
ｎmがメモリに保たれ、新たなスペクトルＰ（ｆ，ｉ）を使用してＴ（ｆ，ｍ）
を調節する場合は、調節されたテンプレートが Ｔ（ｆ，ｍ）＝［ｎmＴ（ｆ，ｍ）＋Ｐ（ｆ，ｉ）］／（ｎm＋１） であり、テンプレートｍに対応するパターンの数も次のように調節される。 ｎm＝ｎm＋１
【００５４】 ステップ４１２に戻り、ｄ*（ｉ）＞ｄmaxの場合は、新しいテンプレートが作
成され（ステップ４１４）（Ｔ*（ｆ，ｉ）＝Ｐ（ｆ，ｉ）、重みｎm＝１）、プ
ロセスが終了する（ステップ４１０）。
【００５５】 コンピュータの実施 本発明は、ハードウェアでもソフトウェアでも、あるいは両方の組み合わせで
も実施することができる（たとえば、プログラマブル・ロジック・アレイ）。別
途指定しない限り、本発明の一部として含まれるアルゴリズムは、どの特定のコ
ンピュータまたは他の装置にも本質的に関連付けられていない。具体的には、様
々な汎用機を本明細書の教示に従って記述されたプログラムと共に使用すること
ができ、あるいはより専用化された装置を構築して、必要とされる方法ステップ
を実行することがより好都合である可能性がある。しかし、本発明は、それぞれ
が少なくとも１つのプロセッサ、少なくとも１つのデータ記憶システム（揮発性
および不揮発性メモリおよび／または記憶要素を含む）、少なくとも１つの入力
装置、少なくとも１つの出力装置を備えるプログラム可能なシステム上で実行さ
れる１つまたは複数のコンピュータ・プログラム内で実施されることが好ましい
。このようなプログラム可能なシステム構成要素はそれぞれ、一機能を実行する
ための手段を構成する。プログラム・コードはプロセッサ上で実行され、本明細
書に記載された機能を実行する。
【００５６】 このようなプログラムはそれぞれ、コンピュータ・システムと交信するために
所望のコンピュータ言語（機械語、アセンブリ、上位手続き言語、オブジェクト
指向プログラミング言語を含む）で実施することができる。いかなる場合でも、
言語はコンパイラ型言語とすることもインタープリタ型言語とすることもできる
。
【００５７】 このようなコンピュータ・プログラムはそれぞれ、汎用または専用のプログラ
ム可能なコンピュータ可読記憶媒体または装置（たとえば、ＲＯＭ、ＣＤ−ＲＯ
Ｍ、または磁気もしくは光媒体）上に記憶され、記憶媒体または装置がコンピュ
ータによって読み取られた際にコンピュータを構成し、かつ動作させて、本明細
書に記載された手順を実行することが好ましい。本発明のシステムはまた、コン
ピュータ・プログラムで構成されたコンピュータ可読記憶媒体として実施され、
そのように構成された記憶媒体が、コンピュータを特定の事前定義された形で動
作させて、本明細書に記載された機能を実行すると見なすことができる。
【００５８】 以上、本発明のいくつかの実施形態について述べた。しかしながら、本発明の
精神および範囲から逸脱することなく、様々な修正を加えることができることを
理解されたい。たとえば、様々なアルゴリズムのいくつかのステップは順番に依
存しないものとすることができ、したがって上述した以外の順番で実行すること
ができる。それゆえに、他の実施形態が以下特許請求の範囲内にある。
【図面の簡単な説明】
【図１】 本発明の信号向上技法を実施するために適した従来技術のプログラム可能なコ
ンピュータ・システムのブロック図である。
【図２】 本発明の好ましい実施形態の基本方法の流れ図である。
【図３】 入力データ内の過渡音を検出および隔離し、背景雑音パラメータを推定するた
めの好ましい工程の流れ図である。
【図４】 信号モデル・テンプレートを生成および使用するための好ましい方法の流れ図
である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/10 Ｇ１０Ｌ 3/00 ５１３Ｂ 21/02 9/08 ３０１Ａ Ｈ０４Ｒ 25/00 9/00 Ｆ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ， ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，Ｃ Ａ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ， ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，Ｋ Ｅ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ， ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，Ｒ Ｕ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ， ＹＵ，ＺＡ，ＺＷ

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 デジタル化された音響入力信号内で雑音を含む音響信号を高
    品質化するための方法であって、 （ａ）デジタル化された音響入力信号を時間−周波数表現に変換すること、 （ｂ）時間−周波数表現内で背景雑音レベルを推定すること、 （ｃ）意味のある信号レベルを含む時間−周波数表現の各間隔について、その
    ような間隔の時間−周波数表現を信号モデルと比較し、部分的に信号対雑音比に
    基づいて、そのような間隔の時間−周波数表現と最適に整合する信号モデル内の
    テンプレートを決定すること、および （ｄ）デジタル化された音響入力信号を、デジタル化された音響入力信号およ
    び最適に整合するテンプレートの混合を含む低雑音出力信号に置き換えることを
    含む方法。
  2. 【請求項２】 デジタル化された音響入力信号内で雑音を含む音響信号を高
    品質化するための方法であって、 （ａ）デジタル化された音響入力信号を時間−周波数表現に変換すること、 （ｂ）時間−周波数表現内の過渡的な音を隔離すること、 （ｃ）背景雑音を推定し、信号内容のない長い過渡音、および過渡音間の背景
    雑音をそのような推定内に含むこと、 （ｄ）推定された背景雑音の時間−周波数表現を再スケールすること、 （ｅ）対象信号を含む各過渡音の再スケール済み時間−周波数表現を信号モデ
    ルと比較し、そのような表現に最適に整合する信号モデル内のテンプレートを決
    定すること、および （ｆ）最適に整合するテンプレートを使用して低雑音出力信号を再合成するこ
    とを含む方法。
  3. 【請求項３】 デジタル化された音響入力信号内で雑音を含む音響信号を高
    品質化するためのシステムであって、 （ａ）デジタル化された音響入力信号を時間−周波数表現に変換するための手
    段と、 （ｂ）時間−周波数表現内で背景雑音レベルを推定するための手段と、 （ｃ）意味のある信号レベルを含む時間−周波数表現の各間隔について、その
    ような間隔の時間−周波数表現を信号モデルと比較し、部分的に信号対雑音比に
    基づいて、そのような間隔の時間−周波数表現と最適に整合する信号モデル内の
    テンプレートを決定するための手段と、 （ｄ）デジタル化された音響入力信号を、デジタル化された音響入力信号およ
    び最適に整合するテンプレートの混合を含む低雑音出力信号に置き換えるための
    手段とを含むシステム。
  4. 【請求項４】 デジタル化された音響入力信号内で雑音を含む音響信号を高
    品質化するための方法であって、 （ａ）デジタル化された音響入力信号を時間−周波数表現に変換するための手
    段と、 （ｂ）時間−周波数表現内の過渡的な音を隔離するための手段と、 （ｃ）背景雑音を推定し、信号内容のない長い過渡音、および過渡音間の背景
    雑音をそのような推定内に含むための手段と、 （ｄ）推定された背景雑音の時間−周波数表現を再スケールするための手段と
    、 （ｅ）対象信号を含む各過渡音の再スケール済み時間−周波数表現を信号モデ
    ルと比較し、そのような表現に最適に整合する信号モデル内のテンプレートを決
    定するための手段と、 （ｆ）最適に整合するテンプレートを使用して低雑音出力信号を再合成するた
    めの手段とを含む方法。
  5. 【請求項５】 コンピュータ可読媒体上に記憶され、デジタル化された音響
    入力信号内で雑音を含む音響信号を高品質化するためのコンピュータ・プログラ
    ムであって、コンピュータに （ａ）デジタル化された音響入力信号を時間−周波数表現に変換させ、 （ｂ）時間−周波数表現内で背景雑音レベルを推定させ、 （ｃ）意味のある信号レベルを含む時間−周波数表現の各間隔について、その
    ような間隔の時間−周波数表現を信号モデルと比較し、部分的に信号対雑音比に
    基づいて、そのような間隔の時間−周波数表現と最適に整合する信号モデル内の
    テンプレートを決定させ、 （ｄ）デジタル化された音響入力信号を、デジタル化された音響入力信号およ
    び最適に整合するテンプレートの混合を含む低雑音出力信号に置き換えさせるた
    めの命令を含むコンピュータ・プログラム。
  6. 【請求項６】 コンピュータ可読媒体上に記憶され、デジタル化された音響
    入力信号内で雑音を含む音響信号を高品質化するためのコンピュータ・プログラ
    ムであって、コンピュータに （ａ）デジタル化された音響入力信号を時間−周波数表現に変換させ、 （ｂ）時間−周波数表現内の過渡的な音を隔離させ、 （ｃ）背景雑音を推定し、信号内容のない長い過渡音、および過渡音間の背景
    雑音をそのような推定内に含ませ、 （ｄ）推定された背景雑音の時間−周波数表現を再スケールさせ、 （ｅ）対象信号を含む各過渡音の再スケール済み時間−周波数表現を信号モデ
    ルと比較し、そのような表現に最適に整合する信号モデル内のテンプレートを決
    定させ、 （ｆ）最適に整合するテンプレートを使用して低雑音出力信号を再合成させる
    ための命令を含むコンピュータ・プログラム。
JP2001517379A 1999-08-16 2000-08-11 雑音を含む音響信号の高品質化 Expired - Lifetime JP4764995B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/375,309 1999-08-16
US09/375,309 US6910011B1 (en) 1999-08-16 1999-08-16 Noisy acoustic signal enhancement
PCT/US2000/022201 WO2001013364A1 (en) 1999-08-16 2000-08-11 Method for enhancement of acoustic signal in noise

Publications (3)

Publication Number Publication Date
JP2003507764A true JP2003507764A (ja) 2003-02-25
JP2003507764A5 JP2003507764A5 (ja) 2007-09-20
JP4764995B2 JP4764995B2 (ja) 2011-09-07

Family

ID=23480366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001517379A Expired - Lifetime JP4764995B2 (ja) 1999-08-16 2000-08-11 雑音を含む音響信号の高品質化

Country Status (8)

Country Link
US (2) US6910011B1 (ja)
EP (1) EP1208563B1 (ja)
JP (1) JP4764995B2 (ja)
AT (1) ATE323937T1 (ja)
AU (1) AU6769600A (ja)
CA (1) CA2382175C (ja)
DE (1) DE60027438T2 (ja)
WO (1) WO2001013364A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033920A (ja) * 2005-07-27 2007-02-08 Nec Corp 雑音抑圧システムと方法及びプログラム
WO2008111462A1 (ja) * 2007-03-06 2008-09-18 Nec Corporation 雑音抑圧の方法、装置、及びプログラム
JP2010539538A (ja) * 2007-09-12 2010-12-16 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 雑音レベル推定値の調節を備えたスピーチ強調
JP2011059064A (ja) * 2009-09-14 2011-03-24 Cti Science System Co Ltd 超低周波音測定による構造体の状況評価方法
JP2012514359A (ja) * 2009-01-20 2012-06-21 ヴェーデクス・アクティーセルスカプ 補聴器，ならびに過渡音の検出および減衰方法
JP2017513046A (ja) * 2014-03-31 2017-05-25 グーグル インコーポレイテッド 状況に応じた過渡抑制

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6910011B1 (en) * 1999-08-16 2005-06-21 Haman Becker Automotive Systems - Wavemakers, Inc. Noisy acoustic signal enhancement
US7117149B1 (en) * 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
GB2379114A (en) * 2001-08-21 2003-02-26 Sony Uk Ltd Introducing test signals into a data signal
US7889879B2 (en) 2002-05-21 2011-02-15 Cochlear Limited Programmable auditory prosthesis with trainable automatic adaptation to acoustic conditions
US7103541B2 (en) * 2002-06-27 2006-09-05 Microsoft Corporation Microphone array signal enhancement using mixture models
KR100463657B1 (ko) * 2002-11-30 2004-12-29 삼성전자주식회사 음성구간 검출 장치 및 방법
US7895036B2 (en) * 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
US7949522B2 (en) * 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
US8073689B2 (en) 2003-02-21 2011-12-06 Qnx Software Systems Co. Repetitive transient noise removal
US8326621B2 (en) 2003-02-21 2012-12-04 Qnx Software Systems Limited Repetitive transient noise removal
US8271279B2 (en) 2003-02-21 2012-09-18 Qnx Software Systems Limited Signature noise removal
US7725315B2 (en) * 2003-02-21 2010-05-25 Qnx Software Systems (Wavemakers), Inc. Minimization of transient noises in a voice signal
GB2398913B (en) * 2003-02-27 2005-08-17 Motorola Inc Noise estimation in speech recognition
WO2004084182A1 (en) * 2003-03-15 2004-09-30 Mindspeed Technologies, Inc. Decomposition of voiced speech for celp speech coding
US7620546B2 (en) * 2004-03-23 2009-11-17 Qnx Software Systems (Wavemakers), Inc. Isolating speech signals utilizing neural networks
JP4318119B2 (ja) * 2004-06-18 2009-08-19 国立大学法人京都大学 音響信号処理方法、音響信号処理装置、音響信号処理システム及びコンピュータプログラム
US8543390B2 (en) * 2004-10-26 2013-09-24 Qnx Software Systems Limited Multi-channel periodic signal enhancement system
US8170879B2 (en) * 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US7610196B2 (en) * 2004-10-26 2009-10-27 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US7949520B2 (en) 2004-10-26 2011-05-24 QNX Software Sytems Co. Adaptive filter pitch extraction
US7680652B2 (en) * 2004-10-26 2010-03-16 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US8306821B2 (en) 2004-10-26 2012-11-06 Qnx Software Systems Limited Sub-band periodic signal enhancement system
KR100657912B1 (ko) * 2004-11-18 2006-12-14 삼성전자주식회사 잡음 제거 방법 및 장치
US8284947B2 (en) * 2004-12-01 2012-10-09 Qnx Software Systems Limited Reverberation estimation and suppression system
US7415164B2 (en) * 2005-01-05 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. Modeling scenes in videos using spectral similarity
US7742914B2 (en) * 2005-03-07 2010-06-22 Daniel A. Kosek Audio spectral noise reduction method and apparatus
US8027833B2 (en) 2005-05-09 2011-09-27 Qnx Software Systems Co. System for suppressing passing tire hiss
US8170875B2 (en) 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
US8311819B2 (en) 2005-06-15 2012-11-13 Qnx Software Systems Limited System for detecting speech with background voice estimates and noise estimates
CN101379548B (zh) * 2006-02-10 2012-07-04 艾利森电话股份有限公司 语音检测器和用于其中抑制子频带的方法
US7720681B2 (en) * 2006-03-23 2010-05-18 Microsoft Corporation Digital voice profiles
US7844453B2 (en) * 2006-05-12 2010-11-30 Qnx Software Systems Co. Robust noise estimation
US9462118B2 (en) * 2006-05-30 2016-10-04 Microsoft Technology Licensing, Llc VoIP communication content control
US8971217B2 (en) * 2006-06-30 2015-03-03 Microsoft Technology Licensing, Llc Transmitting packet-based data items
ATE425532T1 (de) * 2006-10-31 2009-03-15 Harman Becker Automotive Sys Modellbasierte verbesserung von sprachsignalen
US8335685B2 (en) 2006-12-22 2012-12-18 Qnx Software Systems Limited Ambient noise compensation system robust to high excitation noise
US8326620B2 (en) 2008-04-30 2012-12-04 Qnx Software Systems Limited Robust downlink speech and noise detector
US20080181392A1 (en) * 2007-01-31 2008-07-31 Mohammad Reza Zad-Issa Echo cancellation and noise suppression calibration in telephony devices
CN101647059B (zh) * 2007-02-26 2012-09-05 杜比实验室特许公司 增强娱乐音频中的语音的方法和设备
ES2570961T3 (es) * 2007-03-19 2016-05-23 Dolby Laboratories Licensing Corp Estimación de varianza de ruido para mejorar la calidad de voz
US20080231557A1 (en) * 2007-03-20 2008-09-25 Leadis Technology, Inc. Emission control in aged active matrix oled display using voltage ratio or current ratio
US20080274705A1 (en) * 2007-05-02 2008-11-06 Mohammad Reza Zad-Issa Automatic tuning of telephony devices
US7885810B1 (en) * 2007-05-10 2011-02-08 Mediatek Inc. Acoustic signal enhancement method and apparatus
ATE528749T1 (de) 2007-05-21 2011-10-15 Harman Becker Automotive Sys Verfahren zur verarbeitung eines akustischen eingangssignals zweck sendung eines ausgangssignals mit reduzierter lautstärke
CN101320559B (zh) * 2007-06-07 2011-05-18 华为技术有限公司 一种声音激活检测装置及方法
US8605923B2 (en) 2007-06-20 2013-12-10 Cochlear Limited Optimizing operational control of a hearing prosthesis
US8489396B2 (en) * 2007-07-25 2013-07-16 Qnx Software Systems Limited Noise reduction with integrated tonal noise reduction
US8904400B2 (en) * 2007-09-11 2014-12-02 2236008 Ontario Inc. Processing system having a partitioning component for resource partitioning
US8850154B2 (en) 2007-09-11 2014-09-30 2236008 Ontario Inc. Processing system having memory partitioning
US8694310B2 (en) 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
ATE456130T1 (de) * 2007-10-29 2010-02-15 Harman Becker Automotive Sys Partielle sprachrekonstruktion
US8209514B2 (en) * 2008-02-04 2012-06-26 Qnx Software Systems Limited Media processing system having resource partitioning
KR101335417B1 (ko) * 2008-03-31 2013-12-05 (주)트란소노 노이지 음성 신호의 처리 방법과 이를 위한 장치 및 컴퓨터판독 가능한 기록매체
FR2948484B1 (fr) * 2009-07-23 2011-07-29 Parrot Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
US20110134773A1 (en) * 2009-12-04 2011-06-09 Electronics And Telecommunications Research Institute Method and apparatus for estimating propagation delay time
US8390514B1 (en) * 2010-01-11 2013-03-05 The Boeing Company Detection and geolocation of transient signals received by multi-beamforming antenna
US8913758B2 (en) * 2010-10-18 2014-12-16 Avaya Inc. System and method for spatial noise suppression based on phase information
US20120143604A1 (en) * 2010-12-07 2012-06-07 Rita Singh Method for Restoring Spectral Components in Denoised Speech Signals
US9589580B2 (en) * 2011-03-14 2017-03-07 Cochlear Limited Sound processing based on a confidence measure
US8990074B2 (en) * 2011-05-24 2015-03-24 Qualcomm Incorporated Noise-robust speech coding mode classification
US9143107B2 (en) * 2013-10-08 2015-09-22 2236008 Ontario Inc. System and method for dynamically mixing audio signals
US9552829B2 (en) * 2014-05-01 2017-01-24 Bellevue Investments Gmbh & Co. Kgaa System and method for low-loss removal of stationary and non-stationary short-time interferences
CN105261375B (zh) * 2014-07-18 2018-08-31 中兴通讯股份有限公司 激活音检测的方法及装置
US9812149B2 (en) * 2016-01-28 2017-11-07 Knowles Electronics, Llc Methods and systems for providing consistency in noise reduction during speech and non-speech periods
US10249319B1 (en) 2017-10-26 2019-04-02 The Nielsen Company (Us), Llc Methods and apparatus to reduce noise from harmonic noise sources
CN108470476B (zh) * 2018-05-15 2020-06-30 黄淮学院 一种英语发音匹配纠正系统
CN117008863B (zh) * 2023-09-28 2024-04-16 之江实验室 一种lofar长数据处理及显示方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999004505A1 (de) * 1997-07-14 1999-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum signalisieren einer rauschsubstitution beim codieren eines audiosignals

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628156A (en) 1982-12-27 1986-12-09 International Business Machines Corporation Canceller trained echo suppressor
GB8613327D0 (en) 1986-06-02 1986-07-09 British Telecomm Speech processor
US4843562A (en) * 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US5027410A (en) * 1988-11-10 1991-06-25 Wisconsin Alumni Research Foundation Adaptive, programmable signal processing and filtering for hearing aids
JP2974423B2 (ja) 1991-02-13 1999-11-10 シャープ株式会社 ロンバード音声認識方法
US5680508A (en) * 1991-05-03 1997-10-21 Itt Corporation Enhancement of speech coding in background noise for low-rate speech coder
JPH0573090A (ja) * 1991-09-18 1993-03-26 Fujitsu Ltd 音声認識方法
NO941999L (no) 1993-06-15 1994-12-16 Ontario Hydro Automatisert intelligent overvåkingssystem
JP3186007B2 (ja) * 1994-03-17 2001-07-11 日本電信電話株式会社 変換符号化方法、復号化方法
US5502688A (en) 1994-11-23 1996-03-26 At&T Corp. Feedforward neural network system for the detection and characterization of sonar signals with characteristic spectrogram textures
EP0796489B1 (en) * 1994-11-25 1999-05-06 Fleming K. Fink Method for transforming a speech signal using a pitch manipulator
JP3254953B2 (ja) * 1995-02-17 2002-02-12 日本ビクター株式会社 音声高能率符号化装置
US5949888A (en) * 1995-09-15 1999-09-07 Hughes Electronics Corporaton Comfort noise generator for echo cancelers
JPH1049197A (ja) * 1996-08-06 1998-02-20 Denso Corp 音声復元装置及び音声復元方法
JPH09212196A (ja) * 1996-01-31 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 雑音抑圧装置
JP3452443B2 (ja) * 1996-03-25 2003-09-29 三菱電機株式会社 騒音下音声認識装置及び騒音下音声認識方法
JPH09258783A (ja) * 1996-03-26 1997-10-03 Mitsubishi Electric Corp 音声認識装置
US6167375A (en) * 1997-03-17 2000-12-26 Kabushiki Kaisha Toshiba Method for encoding and decoding a speech signal including background noise
JP3255077B2 (ja) * 1997-04-23 2002-02-12 日本電気株式会社 電話機
US6111957A (en) 1998-07-02 2000-08-29 Acoustic Technologies, Inc. Apparatus and method for adjusting audio equipment in acoustic environments
US6910011B1 (en) * 1999-08-16 2005-06-21 Haman Becker Automotive Systems - Wavemakers, Inc. Noisy acoustic signal enhancement
US6725190B1 (en) 1999-11-02 2004-04-20 International Business Machines Corporation Method and system for speech reconstruction from speech recognition features, pitch and voicing with resampled basis functions providing reconstruction of the spectral envelope
DE10118653C2 (de) 2001-04-14 2003-03-27 Daimler Chrysler Ag Verfahren zur Geräuschreduktion
US20030093270A1 (en) 2001-11-13 2003-05-15 Domer Steven M. Comfort noise including recorded noise
US20030216907A1 (en) 2002-05-14 2003-11-20 Acoustic Technologies, Inc. Enhancing the aural perception of speech
US8145491B2 (en) 2002-07-30 2012-03-27 Nuance Communications, Inc. Techniques for enhancing the performance of concatenative speech synthesis
US7146316B2 (en) 2002-10-17 2006-12-05 Clarity Technologies, Inc. Noise reduction in subbanded speech signals
US7949522B2 (en) 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
US7895036B2 (en) 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
US7885420B2 (en) 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999004505A1 (de) * 1997-07-14 1999-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum signalisieren einer rauschsubstitution beim codieren eines audiosignals

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033920A (ja) * 2005-07-27 2007-02-08 Nec Corp 雑音抑圧システムと方法及びプログラム
US9613631B2 (en) 2005-07-27 2017-04-04 Nec Corporation Noise suppression system, method and program
WO2008111462A1 (ja) * 2007-03-06 2008-09-18 Nec Corporation 雑音抑圧の方法、装置、及びプログラム
JPWO2008111462A1 (ja) * 2007-03-06 2010-06-24 日本電気株式会社 雑音抑圧の方法、装置、及びプログラム
US9047874B2 (en) 2007-03-06 2015-06-02 Nec Corporation Noise suppression method, device, and program
JP5791092B2 (ja) * 2007-03-06 2015-10-07 日本電気株式会社 雑音抑圧の方法、装置、及びプログラム
JP2010539538A (ja) * 2007-09-12 2010-12-16 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 雑音レベル推定値の調節を備えたスピーチ強調
JP2012514359A (ja) * 2009-01-20 2012-06-21 ヴェーデクス・アクティーセルスカプ 補聴器，ならびに過渡音の検出および減衰方法
JP2011059064A (ja) * 2009-09-14 2011-03-24 Cti Science System Co Ltd 超低周波音測定による構造体の状況評価方法
JP2017513046A (ja) * 2014-03-31 2017-05-25 グーグル インコーポレイテッド 状況に応じた過渡抑制

Also Published As

Publication number Publication date
CA2382175A1 (en) 2001-02-22
CA2382175C (en) 2010-02-23
ATE323937T1 (de) 2006-05-15
US20050222842A1 (en) 2005-10-06
DE60027438D1 (de) 2006-05-24
DE60027438T2 (de) 2006-08-31
EP1208563A1 (en) 2002-05-29
US6910011B1 (en) 2005-06-21
AU6769600A (en) 2001-03-13
EP1208563B1 (en) 2006-04-19
WO2001013364A1 (en) 2001-02-22
US7231347B2 (en) 2007-06-12
JP4764995B2 (ja) 2011-09-07

Similar Documents

Publication Publication Date Title
JP4764995B2 (ja) 雑音を含む音響信号の高品質化
US9916841B2 (en) Method and apparatus for suppressing wind noise
US5757937A (en) Acoustic noise suppressor
EP1250703B1 (en) Noise reduction apparatus and method
KR101034831B1 (ko) 윈드 노이즈를 억제하는 시스템
EP1739657B1 (en) Speech signal enhancement
US20050288923A1 (en) Speech enhancement by noise masking
US5878389A (en) Method and system for generating an estimated clean speech signal from a noisy speech signal
US20110046948A1 (en) Automatic sound recognition based on binary time frequency units
JPH01288199A (ja) 補聴器用信号処理システム
Itoh et al. Environmental noise reduction based on speech/non-speech identification for hearing aids
JP3459363B2 (ja) 雑音低減処理方法、その装置及びプログラム記憶媒体
US20050246170A1 (en) Audio signal processing apparatus and method
CN110931037A (zh) 改进的Mel频率尺度与耳语音共振峰结合的耳语音增强算法
JP3916834B2 (ja) 雑音が付加された周期波形の基本周期あるいは基本周波数の抽出方法
CN113593599A (zh) 一种去除语音信号中噪声信号的方法
JPH07146700A (ja) ピッチ強調方法および装置ならびに聴力補償装置
JP2905112B2 (ja) 環境音分析装置
JPH08110796A (ja) 音声強調方法および装置
EP1104925A1 (en) Method for processing speech signals by substracting a noise function
Pacheco et al. Spectral subtraction for reverberation reduction applied to automatic speech recognition
Koval et al. Broadband noise cancellation systems: new approach to working performance optimization
JP2003316380A (ja) 会話を含む音の信号処理を行う前の段階の処理におけるノイズリダクションシステム
Kim et al. Efficient speech enhancement by diffusive gain factors (DGF).
Loizou et al. A MODIFIED SPECTRAL SUBTRACTION METHOD COMBINED WITH PERCEPTUAL WEIGHTING FOR SPEECH ENHANCEMENT

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100906

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100906

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110331

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110420

R150 Certificate of patent or registration of utility model

Ref document number: 4764995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term