JP2004522193A - 音声認識装置のための音声命令識別器 - Google Patents

音声認識装置のための音声命令識別器 Download PDF

Info

Publication number
JP2004522193A
JP2004522193A JP2002574653A JP2002574653A JP2004522193A JP 2004522193 A JP2004522193 A JP 2004522193A JP 2002574653 A JP2002574653 A JP 2002574653A JP 2002574653 A JP2002574653 A JP 2002574653A JP 2004522193 A JP2004522193 A JP 2004522193A
Authority
JP
Japan
Prior art keywords
signal
digital
microphone
output
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002574653A
Other languages
English (en)
Inventor
ホワジン チオン
Original Assignee
サンウー テクノ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サンウー テクノ インコーポレーテッド filed Critical サンウー テクノ インコーポレーテッド
Publication of JP2004522193A publication Critical patent/JP2004522193A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Selective Calling Equipment (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

【課題】使用環境の固有環境変数を初期設置時に獲得して格納することにより、行うべき演算量を減少させ、新たな環境の環境変数を獲得して更新することにより対応し得るようにする。
【解決手段】本発明は、音声認識装置を含んでいるデバイスのスピーかーから出力される音声からユーザの音声命令を認識及び識別し得る音声認識装置のための音声命令識別器を提供する。
【選択図】図2

Description

【技術分野】
【0001】
本発明は、音声認識装置のための音声命令識別器に関する。特に、本発明は、内蔵されている音源から出力される音声とユーザによる音声命令を識別することにより、音声認識装置が有効な音声命令を認識できるようにする音声命令識別器に関する。
【背景技術】
【0002】
音声認識装置は、多様な方式によりユーザから発声される音声命令を効率的に認識し得ると公知されている(従来の音声認識装置がユーザからの音声命令を認識する方法やその構成に関する詳細は、本発明の技術思想がその対象としないので、これは省略する。)。
【0003】
しかし、図1に示すように、現在広く使用されている家電製品の中、特にスピーカー102の具備により自ら音声出力を発生させ得るテレビ、オーディオ、ビデオのような装置10は、内蔵されている音源により出力される音声が、反射、回折等によって音声認識装置のマイク104に再入力され、よって再入力される出力音声とユーザにより発生される音声命令を区別し得ない。従って、このような二つの音声入力を区別し得ない一般的な音声認識装置は、音源が内蔵されている装置には使用することができなかった。
【0004】
これを解決するための従来の方式は、再入力される出力音声を時間的に予測し、これをマイク104の受信信号から除去することである。即ち、上記マイク104から受信される信号がSmic(t)であり、上記スピーカー102から出力される出力音声がSorg(t)であると、上記マイク104の受信信号Smic(t)は、ユーザが発声する音声命令による音声命令信号Scommand(t)と、上記出力音声Sorg(t)がスピーカー102からマイク104まで伝達される間、反射、回折等により歪曲される歪曲信号Sdis(t)とを含む。これを数式に表現すると下記のようである。
【0005】
【数1】
【0006】
ここで、tkは、反射による遅延時間であって、反射距離dkを音速で割る値であり、Akは、出力される音響が反射される間、損失するエネルギーの量により決定される設置環境による変数(以下、「環境変数」)である。上記数学式1において出力音声Sorg(t)は既に知っている値であるので、Ak及びtkを決定することによりユーザによる音声命令のみを抽出し得る。しかし、上記数学式1のような直接的な演算は、実時間に行うには演算量が大きすぎて、ハードウェア又はソフトウェアシステムを具現することが非常に難しい。
【0007】
そして、上記歪曲信号Sdis(t)をフーリエ変換等を通じて変換させることにより、演算量を減少させる代案も提案されたことがある。しかし、この場合にも全ての使用環境の各環境変数を予め知らなければならないという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明は、上記課題を解決するために案出されるものであって、本発明の課題は、使用環境の固有環境変数を初期設置時に獲得して格納することにより、行うべき演算量を減少させる音声命令識別器を提供することである。
【0009】
本発明の他の課題は、新たな使用環境に位置する場合、新たな環境の環境変数を獲得して更新することにより新たな使用環境に対応し得る音声命令識別器を提供することである。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明は、所定の機能を行うように構成されている内部回路と、上記内部回路から伝達される信号に基づいて可聴周波数を有する音響信号を発生させるオーディオ信号生成器と、上記音響信号を出力するスピーカーと、外部からの音響を受信して電気的信号に変換するマイクロホンと、上記マイクロホンからの電気的信号が含んでいるユーザからの認識対象信号を受信する音声認識器とを備える音声出力可能システムのための音声命令識別器において、所定の格納容量を有するメモリと、上記メモリを運営し、少なくとも一つ以上の制御信号を生成するマイクロプロセッサーと、上記マイクロプロセッサーの制御に応答し、上記オーディオ信号生成器からの音響信号を受信してディジタル信号に変換する第1アナログ・ディジタル変換器と、上記マイクロプロセッサーの制御に応答して上記マイクロホンからの電気的信号を受信して上記音声認識器において認識されるための対象になる認識対象信号を出力する加算器と、上記加算器からの認識対象信号を受信してディジタル信号に変換する第2アナログ・ディジタル変換器と、上記マイクロプロセッサーの制御に応答して、上記メモリから読み出されるデータをアナログ信号に変換する第1、及び第2ディジタル・アナログ変換器と、上記マイクロプロセッサーの制御に応答して、上記第2ディジタル・アナログ変換器からの出力と上記オーディオ信号生成器からの出力の中、いずれか一つを上記スピーカーに連結させる出力転換スイッチとを更に備える音声命令識別器を提供する。
【0011】
本発明の他の態様によると、所定の機能を行うように構成される内部回路と、上記内部回路から伝達される信号に基づいて可聴周波数を有する音響信号を発生させるオーディオ信号生成器と、上記音響信号を出力するスピーカーと、外部からの音響を受信して電気的信号に変換するマイクロホンと、上記マイクロホンからの電気的信号が含んでいるユーザからの認識対象信号を受信する音声認識器とを備える音声出力可能システムのための音声命令識別方法において、セッティング作業を行うか正常動作を行うかを判断する第1段階と、上記第1段階においてセッティング作業を行うと判断する場合、上記スピーカーから所定の大きさ及び幅を有するパルスを出力させる第1−1段階と、上記パルスが出力された後、所定時間の間上記マイクロホンに入力される信号をディジタル化して設置環境により固有に決定される環境係数データを獲得する第1−2段階とを含み、上記第1段階において正常動作を行うと判断する場合、上記オーディオ信号生成器から出力される信号をアナログ・ディジタル変換してディジタル信号を得る第2−1段階と、上記第2−1段階において得られるディジタル信号と上記環境係数データを乗じて所定時間の間適算する第2−2段階と、上記敵算されたディジタル信号をディジタル・アナログ変換して得るアナログ信号を上記マイクロホンから出力される電気的信号から減算することにより、上記認識対象信号を生成する第2−3段階とを含む音声命令識別方法を提供する。
【0012】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【0013】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0014】
図2は、本発明の一実施形態による音声命令識別器を備える音声認識装置を概念的に示すブロック図である。図2に示すように、本発明の音声命令識別器100は、テレビ、家庭用又は車両用オーディオプレーヤー、若しくはビデオプレーヤー等のように自体的に音声を出力し得る装置を備える音声出力可能システム(以下、簡単に「システム」という)に適用される。即ち、本発明の音声命令識別器100が適用され得る音声出力可能システムは、所定の機能を行うように構成されている内部回路106と、上記内部回路106から伝達される信号に基づいてユーザが聴取し得る周波数範囲の音響信号Sorg(t)を発生させるオーディオ信号生成器108と、上記音響信号を音響に出力するスピーカー102と、外部からの音響を受信して電気的信号Smic(t)に変換するマイクロホン104と、上記マイクロホン104からの電気的信号Smic(t)に含まれているユーザからの認識対象信号Scommand(t)を認識する音声認識器110とを備える。上記のような構成の音声出力可能システムの各構成要素に関する技術思想は、既に広く知られている公示技術の範囲内に属し、本発明による技術思想の直接的な対象ではないので、その詳細は省略する。
【0015】
従来の技術において既に説明したように、上記システムが設けられている場所においては、各種障害物(図1参照)により自体的に出力された音声が上記マイクロホン104に再入力されるので、上記のようなシステムが備える音声認識器110がユーザの発声による音声命令と、反射されて再入力される自体出力からの音声とを区分できないので、誤動作する可能性が非常に高い。したがって、本発明の音声命令識別器100は、上記のように自体出力に含まれている音声とユーザの発声による音声を識別してユーザの発声による音声のみが上記システムの音声認識器110に入力されるようにする装置である。
【0016】
上記のような機能のための本発明による音声命令識別器100は、上記システムのオーディオ信号生成器108からの音響信号Sorg(t)を受信してディジタル信号に変換する第1アナログ・ディジタル変換器112と、上記マイクロホン104からの電気的信号Smic(t)を受信して上記音声認識器110において認識されるための対象になる認識対象信号Scommand(t)を出力する加算器118と、上記加算器118からの認識対象信号Scommand(t)を受信してディジタル信号に変換する第2アナログ・ディジタル変換器120とを含む。
【0017】
上記第1及び第2アナログ・ディジタル変換器112及び120は、上記音声命令識別器100が備えているマイクロプロセッサー114の制御に応答して動作を行う。上記マイクロプロセッサー114は、他にも上記音声命令識別器100の全ての構成要素の動作を制御し、必要な演算及び制御動作を行う。上記マイクロプロセッサー114は、公知構成の汎用性のあるハードウェアとして、本発明の技術思想に係る動作の明確な説明により充分に限定されるものなので、このような説明以外の公知の技術思想に関しては、その詳細を省略する。
【0018】
また、上記音声命令識別器100は、所定の格納容量を有するメモリ(図示せず)を更に含む。上記メモリは上記マイクロプロセッサー114の内部メモリであるのが望ましく、より精密な制御のために別途のメモリ(図示せず)を加えて活用してもよい。上記メモリに対しては、特に音声信号から変換されるデータ、又は音声信号に変換され得るデータを上記マイクロプロセッサー114の制御に応答して格納するか又は読み出す。また、上記メモリの種類としては、後述するように、揮発性メモリと不揮発性メモリを両方備えて使用することが望ましい。
【0019】
更に、上記音声命令識別器100は、上記マイクロプロセッサー114の制御に応答して上記メモリから読み出されるデータをアナログ信号に変換する第1ディジタル・アナログ変換器116及び第2ディジタル・アナログ変換器122を含む。また、上記音声命令識別器100は、上記マイクロプロセッサー114の制御に応答して、上記第2ディジタル・アナログ変換器122からの出力と上記オーディオ信号生成器108からの出力とのうち、いずれか一つを上記スピーカー102に連結させる出力転換スイッチ124を更に含む。
【0020】
図面に示すように、本実施形態によると、上記加算器118は、上記マイクロプロセッサー114の制御に応答して、上記第1ディジタル・アナログ変換器116からの出力信号を受信し、上記マイクロホン104からの電気的信号Smic(t)から減算(−)する動作を行う。
【0021】
ここで、図3を参照すると、図3は、図2のマイクロプロセッサー114により運営されるメモリの構造を概念的に示す図面である。示すように、上記メモリは、区別できる四つのサーブメモリ300、302、304、及び306を備えるように構成され得る。第1及び第2サーブメモリ300及び302は、上記数学式1における環境変数Aに対応する値をディジタル化した環境係数データC(k)を格納する。上記環境係数データC(k)には、上記スピーカー102から出力される音響が設置環境により反射又は回折されて、上記マイクロホン104に入力される時まで、減殺又は遅延される物理量が反映される。したがって、後述するように、上記システムを特定の場所に設ける時、セッティング作業を通じて環境係数データC(k)を獲得することにより、以後の正常動作時、上記システムからの自体出力信号Sorg(t)が設置環境の固有特性による変化を通じてマイクロホン104に入力される場合も、音声認識の対象になるべきユーザの音声信号と再入力される自体出力音声を効果的に区別することができる。
【0022】
また、上記第1サーブメモリ300は、不揮発性メモリに具現されることが望ましく、第2サーブメモリ302は、動作速度が速い揮発性メモリに具現されることが望ましい。したがって、処理速度が重要しない場合には、第2サーブメモリ302を省略してもよく、電力の消耗が重要しない場合には、第1サーブメモリ300を省略してもよい。
【0023】
第3サーブメモリ304は、上記第1アナログ・ディジタル変換器112が上記オーディオ信号生成器108からの音響信号Sorg(t)を変換したディジタル信号M(k)を順次に格納するサーブメモリであり、また、動作速度が速い揮発性メモリを使用することが望ましい。上記第3サーブメモリ304は、後述するように、以前の処理作業により獲得された値が格納されている格納領域に現在の処理作業により獲得される新しい値を代替することではなく、一定個数の値が獲得されるまでは、順に次の格納領域に移動(シフト、shift)させて、一定期間の間獲得される値を全て格納する動作を行うように制御されることが望ましい(以下、このようなメモリの格納動作を「Que動作(Que operation)」と称する。)。上記第3サーブメモリ304のQue動作は、上記マイクロプロセッサー114の制御により行われることができ、自体的にQue動作が行うように具現されるメモリ装置を使用することにより行われることもできる。
【0024】
また、第4サーブメモリ306は、上記第2アナログ・ディジタル変換器120が上記加算器118からの出力信号Scommand(t)(以下、認識対象信号)を変換したディジタル信号D(k)を順次に格納することであって、また、動作速度が速い揮発性メモリを使用することが望ましい。上記第3サーブメモリ304は、後述するように正常動作時のみに使用され、上記第4サーブメモリ306は、セッティング動作時のみに使用されるので、上記第3及び第4サーブメモリ304、及び306は、実際に一つのサーブメモリのみを使用しても具現されることができる。
【0025】
上記第1乃至第4サーブメモリ300、302、304、及び306は論理的な区別であり、必ずしも物理的に区別されるべきではない。したがって、物理的な一つのメモリ装置を使用する場合も論理的に区別される多数のサーブメモリを備え得る。このメモリ装置の運営に関しては、本発明の技術思想が属する技術分野において既に広く知られているので、その詳細は省略する。
【0026】
ここで、上記のような構成の本発明による音声命令識別器100の動作を図4乃至図9を参照して詳細に説明する。図4は、本発明の音声命令識別器100の全体動作の一実施形態を示すフローチャートであって、電源が認可されて動作が始まると、初期セッティング作業を行うか否かを判断する(段階S402)。この判断は、初期セッティング作業が一度も行われない場合や、以後ユーザの特別な必要が発生する場合のみ、判断されるようにすることが望ましい。したがって、電源認可と共に正常動作(段階S406)に進行されるように設定した状態において、ユーザが特定のキーを押す場合は、初期セッティング作業(段階S402)が行われるようにすることが望ましい。即ち、もしユーザが初期セッティング作業を行うように指示する場合には、図5に示す初期セッティング作業を行い、そうでない場合には、図6に示されている正常動作を進行する。
【0027】
次に、図5を参照すると、図5は、図4の動作のうち、初期セッティング作業による動作の一実施形態を示すフローチャートである。上記したように、ユーザにより初期セッティング作業を行うように指示されてその作業が始まると、先ず上記メモリの第1乃至第4サーブメモリ300、302、304、及び306に格納されている全ての変数の値を初期化(例えば、全ての値を零に)する(段階S502)。次に、初期セッティング動作を繰り返す反復回数Pを設定し、反復回数を示す変数qを初期化(例えば、q=0)する(段階S504)。上記段階S504の反復回数Pは、上記音声命令識別器100を製造する時、製造者により予め設定しておくことも可能であり、セッティング動作が行われる度にユーザが指定することも可能である。
【0028】
次に、変数kの値を初期化(例えば、k=0)する(段階S506)。上記変数kは、アナログ信号をディジタル化しながら、所定のセッティング期間Δtの間、何番目にサンプリングされる値かを示す。 例えば、上記変数kは、0から始まって最大Nの値を有し、上記Nの値は、上記メモリの格納容量、上記マイクロプロセッサー114の処理能力、音声命令識別器の精密度等により決定される。
【0029】
次に、上記マイクロプロセッサー114は、上記出力転換スイッチ124を制御して上記スピーカー102の出力を上記第2ディジタル・アナログ変換器122に連結し、上記セッティング期間の間、その大きさが1であるパルスδ(t)に対応する音響信号データを生成して上記スピーカー102に出力する(段階S508)。
【0030】
ここで、図7を参照すると、図7(a)及び図7(b)は、各々上記段階S508において出力されるパルスの波形、及びこのパルスが上記マイクロホン104に再受信されて生成される電気的信号Smic(t)の波形を示す波形図である。図面に示すように、上記パルスδ(t)をディジタル信号化した値が仮想のM(k)であると、上記仮想のM(k)は、上記セッティング期間の間、全て1の値を有する。このパルスδ(t)を生成することは、演算の簡素化のためのことのみであり、セッティング作業のために生成されるパルスの値が必ずしも1になるべきではない。値が1ではないパルスを出力する場合に関しては後述する。また、上記セッティング期間Δtは、実際に非常に短い時間の間(例えば、数ミリ称(ms)の間)であるので、ユーザが聴取することによって不快感を感じるおそれはない。
【0031】
次に、上記第2ディジタル・アナログ変換器116は、上記認識対象信号Scomma nd(t)をディジタル信号に変換する間、これを上記第4サーブメモリ306に格納する(段階S510)。ここで、現在段階の作業を行う間、上記第1ディジタル・アナログ変換器116からいかなる信号も出力されない。したがって、上記認識対象信号Scommand(t)は、上記マイクロホン104からの電気的信号Smic(t)と等しくなる。また、上記認識対象信号Scommand(t)を変換するディジタル信号を示す変数D(k)に下付きの添字qが付いているのは、上記したようにユーザがこのセッティング作業をP回行うことによりこれらの繰り返された平均値を得るためのことである。これは、他の変数にも同様に適用される。したがって、1回のセッディグ作業のみを行い、セッティング作業を終了する場合は、変数に下付きの添字qが不必要である。また、図面において、アナログ信号をディジタル信号に変換する作業を関数であるZ[ ]に示す。
【0032】
次に、現在セッティング作業において得るD(k)の値を以前回数までのセッディグ作業から得た値に累積する(段階S512)。次に、変数kがその最大値Nに達するかを判断し、達しない場合は、上記段階S510乃至514を繰り返して行う。
【0033】
次に、変数qが上記の反復回数Pに達するかを判断(段階S516)し、達しない場合は、qを増加させながら(段階S518)、上記段階S506乃至段階S516を繰り返して行う。
【0034】
上記の段階が完了された後、D(k)変数の最終値を上記の反復回数Pで割り、この値を上記環境係数データC(k)として上記第1サーブメモリ306に格納させる(段階S520)。上記環境係数データC(k)は下記の数学式に基づく。即ち、
【0035】
【数2】
【0036】
ここで、Z[δ(t)]は、上記第2ディジタル・アナログ変換器122において上記マイクロプロセッサー114が知っている値のパルスであって、1で計算し得る。即ち、D(k) = C(k)と言うことができる。また、最終的に得られたD(k)は、P回繰り返して加算する値であるので、これを反復回数Pで割ることは当然である。
【0037】
もし上記段階S508において生成されるパルスの値が1ではない他の値(例えば、A)である場合、この値Aを上記Pに乗ずる値P*Aを求め、上記D(k)変数の最終値をP*Aで割り、この値を上記環境係数データC(k)として上記第1サーブメモリ306に格納させる。
【0038】
このようにして求められたC(k)は、後述するように、正常動作時、上記実際の音響信号をディジタル信号に変換したデータM(k)と乗じられて、上記数学式1の雑音信号Sdis(t)の近似信号Sum(Dis)を生成する音源データになる。
【0039】
上記のように初期セッティング作業の主要動作が完了する。本発明の他の実施形態によると、より精密な値を求めるために、図5の以後、段階S522乃至S530を更に行うこともできる。以下、説明する。
【0040】
上記環境係数データC(k)を求めた後、上記マイクロプロセッサー114は、上記第3サーブメモリー304のM(k)に任意のデータを格納させ、このデータによる音響信号をスピーカー102を通じて出力する(段階S522)。 次に、後述するように 「正常動作」を行い(段階S524)、認識対象信号Scommand(t)がほぼ零に近いかを判断する(段階S526)。判断の結果が肯定的である場合、上記環境係数データC(k)を格納し(段階S530)、制御をリターンする。もし否定的である場合は、現在の環境係数データC(k)を補正し(段階S528)、段階S524及びS526を繰り返す。
【0041】
上記のように正常動作中に上記環境係数データC(k)を補正することにより、初期セッティング時に固定された環境のみが反映された環境係数データC(k)に、変化される環境による新しい値が格納される。例えば、上記システムがテレビである場合、これを視聴する視聴者の存在により新しい値の環境係数データC(k)の値が要求され、また視聴者の人数に変化がある場合も、上記スピーカー102を通じて出力される音を反射する周辺環境が変化すると見なし得るので、この場合も変化される環境に対応する値を有するように上記環境係数データC(k)が補正されるべき必要性があり得る。
【0042】
上記のように決定された環境係数データC(k)は、揮発性メモリに格納することが望ましい。これは、ユーザが電源をオフ(off)した後も設置環境が変化されない限り、上記環境係数データC(k)を再度求める必要がない。しかし、上記したように、電力の消耗が重要ではない場合は、揮発性メモリを使ってもよいが、この場合には停電後上記セッティング作業を行わなければならない。
【0043】
次に、図6を参照すると、図6は、本発明による音声命令識別器100の正常動作の一実施形態を示すフローチャートである。図4を参照して上記したように、上記セッティング作業(段階S404)が行わない場合、自動に正常動作(段階S406)が行われるようにすることが望ましい。
【0044】
図6を参照して正常動作が始まると、上記マイクロプロセッサー114は、処理速度が遅い上記第1サーブメモリ300に格納されている環境係数データC(k)(これを、「CRO M(k)」という)を処理速度が早い第2サーブメモリ302にロードする(ロードされた環境係数データを「CRAM(k)」という)(段階S602)。この時、示すように計時変数Tの値を初期化(例えば、T=0)することも可能であり、これに関しては後述する。
【0045】
次に、上記マイクロプロセッサー114は、上記オーディオ生成器108からボリュームデータC'を受信し、これを上記第2サーブメモリ302にロードされた環境係数データCRAM(k)に乗じて、加重された環境係数データC'(k)を求める(段階S604)。
【0046】
次に、上記オーディオ信号生成器108からの音響信号Sorg(t)を所定のサンプリング期間の間ディジタル信号に変換し(段階S606)、この変換されたディジタルデータ(M)をもって上記Que動作を行い、上記第3サーブメモリ304にM(k)データとして格納する(段階S608)。上記段階S606及びS708は、上記サンプリング期間の間に繰り返され、固有のデータが各サンプリング時点tによって上記第3サーブメモリ304にM(k)として格納される。
【0047】
次に、上記第3サーブメモリ304のM(k)データと上記加重された環境係数データC'(k)を用いて意思歪曲信号(これを「Sum(Dis)」という)を下記の数学式3により求める(段階S610)。
【0048】
【数3】
【0049】
ここで、上限Nは、上記サンプリング期間及びサンプリング周波数がセッティング作業時のそれらと等しい場合を仮定する。
【0050】
図8を参照して、上記数学式3により得る意思歪曲信号の物理的意味をより詳細に説明する。図8は、正常動作時の上記オーディオ信号生成器108からの音響信号Sorg(t)、及び上記マイクロホン104に受信されて生成される電気的信号Smic(t)の波形を示す波形図である。上記サンプリング期間がt乃至tであり、現在時点がtであると、現在時点tにおいて上記マイクロホン104には、t乃至t時点の間に上記スピーカー102から出力されて、図1に示されるそれぞれの多様な経路(例えば、経路d乃至d)等を通じて環境変数による歪曲を経った信号が重畳されて入力される。したがって、現在時点tに上記マイクロホン104に入力されて生成された電気的信号Smic(t)は、ユーザから発声される音声信号と、上記の歪曲された信号が重畳される信号とを含む。この時、上記の歪曲された信号が重畳される信号は、上記環境変数による影響を累積して含んでいるので、現在時点tにおける意思歪曲信号Sum(Dis) = は、下記の数学式4のように表し得る。即ち、
【0051】
【数4】
【0052】
次に、上記第1ディジタル・アナログ変換器116は、上記意思歪曲信号Sum(Dis)をアナログ信号に変換し(段階S612)、上記加算器118は、アナログ信号に変換される意思歪曲信号を上記マイクロホン104からの電気的信号Smic(t)から減算して、音声認識器110において認識されるための認識対象信号Scommand(t)を生成する(段階S614)。
【0053】
上記した動作により、上記スピーカー102から出力された音響内に上記音声認識器110が誤認識し得る音声命令を含んでいる場合も、これに近似する意思歪曲信号Sum(Dis)を上記マイクロホン104に入力されている信号から減算することにより、これ以上上記音声認識器110が誤認識するおそれがなくなる。
【0054】
上記段階を行うことにより、本発明による音声命令識別器100の正常動作が完了する。しかし、上記正常動作の際にもユーザの動作、新しいユーザの入場等のような事態により、セッティング作業時の環境が変化する可能性がある。したがって、正常動作際の所定時間の間、上記した図5の段階502乃至段階S520までのセッティング作業を一回ずつ行うことにより、環境の変化による環境係数データC(k)を更新することも可能である。これのために、図6の以後の段階S616乃至S628を追加的に行うようにすることもできる。以下、詳細に説明する。
【0055】
上記段階S602において初期化した計時変数Tの値が所定の設定計時値(例えば、10)に到達するかを判断する(段階S616)。上記計時変数Tは、上記段階S602乃至段階S614までの正常動作が行われる間の時間の経過を把握するためのものであり、実際は上記システムのクロックを活用して容易に具現し得る。また、上記計時値は、例えば、10秒ごとに一回ずつセッティング作業を行うように設定されている値であり、この値は製造時設定するか、以後ユーザが設定するようにできる。
【0056】
もし上記段階S616における判断結果、まだ計時変数Tの現在値が上記設定計時値に逹しない場合、単位時間(例えば、1秒)が経過する度に上記計時変数の値を1ずつ増加させ(段階 S618)、上記段階S604乃至段階S616の正常動作を繰り返す。
【0057】
しかし、上記段階S616における判断結果、上記計時変数Tの現在値が上記設定計時値に到逹する場合、上記マイクロプロセッサー114は、上記出力転換スィッチ124を制御して上記スピーカー102と上記第2ディジタル・アナログ変換器122を連結させ、上記計時変数Tの値を再度初期化(例えば、T=0)する(段階S620)。
【0058】
次に、上記マイクロプロセッサー144は、上記スピーカー102からいかなる音響も出力されないように制限する(段階S622)。これは、上記システムが設けられている空間内に残留する音響が消滅するのを待つためのことである。
【0059】
次に、所定時間の経過の後、上記マイクロプロセッサー144は、所定期間の間、上記マイクロホン104からの電気的信号Smic(t)を検出し(段階S624)、検出された信号Smic(t)が外部の騒音を含んているかを判断する(段階S626)。これは、上記スピーカー102から音響が出力されない状態において、上記マイクロホン104に外部の騒音が入力されるかを判断するためのことで、外部の騒音が存在する状態においては、正常的な環境係数データC(k)を獲得し得ないからである。上記段階S626における判断の結果、外部の騒音が感知される場合は、セッティング作業を行わない状態において制御を上記段階S604に復帰させて正常動作を行い続ける。
【0060】
しかし、もし外部の騒音が感知されない場合には、図5の段階S502乃至段階S520までのセッティング作業を行う(段階S628)。
【0061】
図9(a)及び図9(b)は、各々上記正常動作中の更新セッティング作業(上記段階S616乃至段階S628)が実際に行われる場合及び行われない場合、上記スピーカー102を通じて出力される音響信号の波形を示す波形図である。示すように、上記段階S622は、一番目のΔt区間から始まって二番目のΔt区間まで維持され、上記段階S624及び段階S626は、二番目のΔt区間において行われ、上記段階S628は、三番目のΔt区間において行われることが望ましい。勿論、これらの区間の実際の長さは、その実施形態によって調整されることができる。
【0062】
図9(c)を参照すると、図9(c)は、図9(a)の波形が2回にわたって繰り返される場合、スピーカー102を通じて出力される音響信号の波形を示す波形図である。示すように、実際に更新セッティング作業を行う時間3Δtは、非常に短い時間(数ミリ秒)にしかならないので、ユーザはこれを感知することができない。
【0063】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【産業上の利用可能性】
【0064】
以上の説明から明らかなように、本発明によれば、自体的に音響を出力し得るシステムにおいても、信頼性のある音声認識が可能となるようにユーザの音声命令と反射されて入力される音響信号を識別し得る。また、その演算量が画期的に減少されて実時間音声認識が可能となる。
【図面の簡単な説明】
【0065】
【図1】本発明の音声命令識別器を備えている家電製品が使用される空間の一実施形態を概念的に示す図面である。
【図2】本発明の一実施形態による音声命令識別器を備えている音声認識装置を概念的に示すブロック図である。
【図3】図2の音声命令識別器により運営されるサーブメモリの構造を概念的に示す図面である。
【図4】図2の音声命令識別器の動作の一実施形態を示すフローチャートである。
【図5】図4の「セッティング」による動作の一実施形態を示すフローチャートである。
【図6】図4の「正常動作」による動作の一実施形態を示すフローチャートである。
【図7】図6の正常動作の際、出力される試験信号の波形、及びそれにより受信される信号の波形を示す波形図である。
【図8】図6の正常動作の際、出力される音響信号と、それにより受信される信号の波形を示す波形図である。
【図9】図6の正常動作の際、出力される出力信号の波形を示す波形図である。
【符号の説明】
【0066】
10 テレビ
20 ソファー
30 ユーザ
40 装飾物
100 音声命令識別器
102 スピーカー
104 マイク
106 内部回路
108 オーディオ信号生成器
110 音声認識器
112、120 アナログ・ディジタル変換器
114 マイクロプロセッサー
116、122 ディジタル・アナログ変換器
118 加算器
124 出力転換スイッチ

Claims (11)

  1. 所定の機能を行うように構成されている内部回路と、前記内部回路から伝達される信号に基づいて可聴周波数を有する音響信号を発生させるオーディオ信号生成器と、前記音響信号を出力するスピーカーと、外部からの音響を受信して電気的信号に変換するマイクロホンと、前記マイクロホンからの電気的信号に含まれているユーザからの認識対象信号を受信する音声認識器とを備える音声出力可能システムのための音声命令識別器であって、
    所定の格納用量を有するメモリーと、
    前記メモリーを運営し、少なくとも一つ以上の制御信号を生成するマイクロプロセッサーと、
    前記マイクロプロセッサーの制御に応答して、前記オーディオ信号生成器からの音響信号を受信してディジタル信号に変換する第1アナログ・ディジタル変換器と、
    前記マイクロプロセッサーの制御に応答して、前記マイクロホンからの電気的信号を受信して前記音声認識器において認識されるための対象になる認識対象信号を出力する加算器と、
    前記加算器からの認識対象信号を受信してディジタル信号に変換する第2アナログ・ディジタル変換器と、
    前記マイクロプロセッサーの制御に応答して、前記メモリから読み出されるデータをアナログ信号に変換する第1及び第2ディジタル・アナログ変換器と、
    前記マイクロプロセッサーの制御に応答して、前記第2ディジタル・アナログ変換器からの出力と上記オーディオからの出力とのうち、いずれか一つを前記スピーカーに連結させる出力転換スィッチとを備えることを特徴とする音声命令識別器。
  2. 前記加算器は、前記第1ディジタル・アナログ変換器からの出力信号を受信して前記マイクロホンからの電気的信号から減算することを特徴とする請求項1に記載の音声命令識別器。
  3. 前記メモリは、相互の区別が可能である少なくとも一つ以上のサーブメモリを備え、少なくとも、
    設置環境によって固有に決定される環境係数データを格納するための第1サーブメモリと、
    動作モードにより、1)前記第1アナログ・ディジタル変換器によって前記オーディオ信号生成器からの音響信号がアナログ・ディジタル変換されたディジタル信号を格納するか、又は2)前記第2アナログ・ディジタル変換器によって前記加算器からの認識対象信号がアナログ・ディジタル変換されたディジタル信号を格納するための第2サーブメモリとを備えることを特徴とする請求項1に記載の音声命令識別器。
  4. 前記環境係数データは、前記マイクロプロセッサーの制御に応答して、前記スピーカーから所定の大きさ及び幅を有するパルスを出力させた後、所定時間の間、前記マイクロホンに入力される信号をディジタル化して得られるデータであることを特徴とする請求項3に記載の音声命令識別器。
  5. 前記認識対象信号は、前記マイクロプロセッサーの制御に応答して、前記オーディオ信号生成器から出力される信号をディジタル化して得られるディジタル信号と前記環境係数データとを乗じて所定時間の間積算し、これをディジタル・アナログ変換して得られるアナログ信号を前記マイクロホンから出力される電気的信号から減算することによって生成される信号であることを特徴とする請求項3に記載の音声命令識別器。
  6. 所定の機能を行うように構成される内部回路と、前記内部回路から伝達する信号に基づいて可聴周波数を有する音響信号を発生させるオーディオ信号生成器と、前記音響信号を出力するスピーカーと、外部からの音響を受信して電気的信号に変換するマイクロホンと、前記マイクロホンからの電気的信号に含まれているユーザからの認識対象信号を受信する音声認識器とを備える音声出力可能システムのための音声命令識別方法であって、
    セッティング作業を行うか正常動作を行うかを判断する第1段階と、
    前記第1段階からセッティング作業を行うと判断される場合は、
    前記スピーカーから所定の大きさ及び幅を有するパルスを出力させる第1-1段階と、
    前記パルスが出力された後、所定時間の間、前記マイクロホンに入力される信号をディジタル化して設置環境によって固有に決定される環境係数データを獲得する第1-2段階とを含み、
    前記第1段階において正常動作を行うと判断される場合は、
    前記オーディオ信号生成器から出力される信号をアナログ・ディジタル変換してディジタル信号を得る第2-1段階と
    前記第2-1段階において得られるディジタル信号と前記環境係数データを乗じて所定時間の間積算する第2-2段階と、
    前記の積算されたディジタル信号をディジタル・アナログ変換して得るアナログ信号を前記マイクロホンから出力される電気的信号から減算することにより前記認識対象信号を生成する第2-3段階とを含むことを特徴とする音声命令識別方法。
  7. 前記第1段階においてセッティング作業を行うと判断される場合、
    前記オーディオ信号生成器からの音響信号を前記スピーカーに出力する第1-3段階と、
    前記第2-1段階乃至第2-3段階を行う第1-4段階とを更に含むことを特徴とする請求項6に記載の音声命令識別方法。
  8. 前記第1段階において正常動作を行うと判断される場合、
    前記スピーカーの出力を制限する第2-4段階と、
    前記マイクロホンに入力される信号が存在するかを判断する第2-5段階と、
    前記第2-5段階において前記マイクロホンに入力される信号が存在しないと判断される場合、前記第1-1段階及び第1-2段階を行う第2-6段階とを更に含むことを特徴とする請求項6に記載の音声命令識別方法。
  9. 所定の機能を行うように構成される内部回路と、前記内部回路から伝達する信号に基づいて可聴周波数を有する音響信号を発生させるオーディオ信号生成器と、前記音響信号を出力するスピーカーと、外部からの音響を受信して電気的信号に変換するマイクロホンと、前記マイクロホンからの電気的信号に含まれているユーザからの認識対象信号を受信する音声認識器とを備える音声出力可能システムのための音声命令識別方法であって、
    セッティング作業を行うか正常動作を行うかを判断する第1段階と、
    上記第1段階においてセッティング作業を行うと判断される場合は、
    全ての変数の値を初期化する第1-1段階と、
    セッティング作業を繰り返す反復回数を設定し、反復回数を表す変数qを初期化する第1-2段階と、
    所定のセッティング期間の間、何番目にサンプリングされた値であるかを表す変数kの値を初期化する第1-3段階と、
    前記セッティング期間の間、所定の幅と大きさを有するパルスに対応する音響信号データを生成して上記スピーカーに出力する第1-4段階と、
    前記認識対象信号をディジタル信号に変換する第1-5段階と、
    前記第1-5段階において変換されるディジタル信号の大きさを累積する第1-6段階と、
    前記の反復回数Pに到逹するかを判断して、そうではない場合、前記第1-3段階乃至第1-6段階を繰り返して行う第1-7段階と、
    前記の段階が完了した後、前記累積された値を前記反復回数で割って設置環境によって固有に決定される環境係数データを獲得する第1-8段階を含み、
    前記第1段階において正常動作を行うと判断される場合は、
    前記環境係数データをロードする第2-1段階と、
    前記オーディオ信号生成器からボリュームデータを受信し、これを前記ロードされた環境係数データと乗じて加重された環境係数データを求める第2-2段階と、
    前記オーディオ信号生成器からの音響信号を所定のサンプリング期間の間、ディジタル信号に変換する第2-3段階と、
    前記第2-3段階において変換されたディジタルデータをQue動作によってメモリに格納する第2-4段階と、
    前記第2-4段階においてメモリに格納されたデータと前記加重された環境係数データとを用いて下記の数学式によって擬似歪曲信号Sum(Dis)を求める第2-5段階と、
    前記擬似歪曲信号Sum(Dis)をアナログ信号に変換する第2-6段階と、
    前記アナログ信号に変換された擬似歪曲信号を前記マイクロホンからの電気的信号から減算することにより前記認識対象信号を生成する第2-7段階とを含むことを特徴とする音声命令識別方法。
  10. 前記第1段階においてセッティング作業を行うと判断される場合、
    前記スピーカーを通じて任意のデータによる音響信号を出力する第1-9段階と、
    前記第2-1段階乃至第2-7段階を行う第1-10段階と、
    前記認識対象信号がほぼ零に近いかを判断する第1-11段階と、
    前記第1-11段階における判断の結果が肯定的な場合、前記環境係数データの格納後に制御をリターンし、判断の結果が否定的な場合は、現在の環境係数データを補正し、前記第1-9段階乃至第1-11段階を繰り返す第1-12段階とを更に含むことを特徴とする請求項9に記載の音声命令識別方法。
  11. 前記第1段階において正常動作を行うと判断される場合、
    所定の設定計時値に到逹するかを判断する第2-8段階と、
    前記第2-8段階における判断結果、前記設定計時値に到逹しない場合、前記設定計時値に到逹する時まで、前記第2-1段階乃至第2-7段階を繰り返す第2−9段階と、
    前記第2-8段階における判断結果、前記設定計時値に到逹する場合、前記スピーカーからいかなる音響も出力されないように制限する第2-10段階と、
    所定期間の間、前記マイクロホンからの電気的信号を検出して、入力される信号が存在するかを判断する第2-11段階と、
    前記第2-11段階における判断の結果、入力される信号が存在すると判断される場合は、第2-1段階乃至第2-7段階を繰り返す第2-12段階と、
    前記第2-11段階における判断の結果、入力される信号が存在しないと判断される場合は、第1-1段階乃至第1-8段階を繰り返す第2-13段階とを更に含むことを特徴とする請求項9に記載の音声命令識別方法。
JP2002574653A 2001-02-20 2002-02-20 音声認識装置のための音声命令識別器 Pending JP2004522193A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2001-0008409A KR100368289B1 (ko) 2001-02-20 2001-02-20 음성인식장치를 위한 음성명령식별기
PCT/KR2002/000268 WO2002075722A1 (en) 2001-02-20 2002-02-20 A voice command identifier for a voice recognition system

Publications (1)

Publication Number Publication Date
JP2004522193A true JP2004522193A (ja) 2004-07-22

Family

ID=19705996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002574653A Pending JP2004522193A (ja) 2001-02-20 2002-02-20 音声認識装置のための音声命令識別器

Country Status (6)

Country Link
US (1) US20040059573A1 (ja)
EP (1) EP1362342A4 (ja)
JP (1) JP2004522193A (ja)
KR (1) KR100368289B1 (ja)
CN (1) CN1493071A (ja)
WO (1) WO2002075722A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556365B1 (ko) * 2003-07-07 2006-03-03 엘지전자 주식회사 음성 인식장치 및 방법
JP2005292401A (ja) * 2004-03-31 2005-10-20 Denso Corp カーナビゲーション装置
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20080244272A1 (en) * 2007-04-03 2008-10-02 Aten International Co., Ltd. Hand cryptographic device
US9192773B2 (en) * 2009-07-17 2015-11-24 Peter Forsell System for voice control of a medical implant
CN104956436B (zh) * 2012-12-28 2018-05-29 株式会社索思未来 带有语音识别功能的设备以及语音识别方法
CN105516859B (zh) * 2015-11-27 2019-04-16 深圳Tcl数字技术有限公司 消除回声的方法和系统
US10580402B2 (en) * 2017-04-27 2020-03-03 Microchip Technology Incorporated Voice-based control in a media system or other voice-controllable sound generating system
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
KR102584588B1 (ko) 2019-01-21 2023-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4425483A (en) * 1981-10-13 1984-01-10 Northern Telecom Limited Echo cancellation using transversal filters
US4700361A (en) * 1983-10-07 1987-10-13 Dolby Laboratories Licensing Corporation Spectral emphasis and de-emphasis
US5267323A (en) * 1989-12-29 1993-11-30 Pioneer Electronic Corporation Voice-operated remote control system
US6411928B2 (en) * 1990-02-09 2002-06-25 Sanyo Electric Apparatus and method for recognizing voice with reduced sensitivity to ambient noise
JPH0818482A (ja) * 1994-07-01 1996-01-19 Japan Radio Co Ltd エコーキャンセラー
US5680450A (en) * 1995-02-24 1997-10-21 Ericsson Inc. Apparatus and method for canceling acoustic echoes including non-linear distortions in loudspeaker telephones
JP2000112499A (ja) * 1998-10-02 2000-04-21 Kenwood Corp 音響機器
JP2000132200A (ja) * 1998-10-27 2000-05-12 Matsushita Electric Ind Co Ltd 音声認識機能付きオーディオ/ビデオ装置および音声認識方法
KR100587260B1 (ko) * 1998-11-13 2006-09-22 엘지전자 주식회사 음향 기기의 음성인식장치
GB9910448D0 (en) * 1999-05-07 1999-07-07 Ensigma Ltd Cancellation of non-stationary interfering signals for speech recognition
JP4016529B2 (ja) * 1999-05-13 2007-12-05 株式会社デンソー 雑音抑圧装置,音声認識装置及び車両用ナビゲーション装置
JP4183338B2 (ja) * 1999-06-29 2008-11-19 アルパイン株式会社 ノイズリダクションシステム
KR20010004832A (ko) * 1999-06-30 2001-01-15 구자홍 음성인식을 이용한 기기 제어장치
US6889191B2 (en) * 2001-12-03 2005-05-03 Scientific-Atlanta, Inc. Systems and methods for TV navigation with compressed voice-activated commands

Also Published As

Publication number Publication date
EP1362342A4 (en) 2005-09-14
US20040059573A1 (en) 2004-03-25
KR100368289B1 (ko) 2003-01-24
CN1493071A (zh) 2004-04-28
KR20020068141A (ko) 2002-08-27
WO2002075722A1 (en) 2002-09-26
EP1362342A1 (en) 2003-11-19

Similar Documents

Publication Publication Date Title
JP2004522193A (ja) 音声認識装置のための音声命令識別器
JP4725422B2 (ja) エコーキャンセル回路、音響装置、ネットワークカメラ、及びエコーキャンセル方法
CN110166882B (zh) 远场拾音设备、及远场拾音设备中采集人声信号的方法
CN101826892B (zh) 回声消除器
JP3552967B2 (ja) エコーキャンセラ装置
JP2005084253A (ja) 音響処理装置、方法、プログラム及び記憶媒体
JP2000148172A (ja) 音声の動作特性検出装置および検出方法
JP2007089058A (ja) マイクアレイ制御装置
JP5382745B2 (ja) 雑音除去装置及び雑音除去方法
US10425746B2 (en) Method for operating a hearing apparatus, and hearing apparatus
KR101312451B1 (ko) 복수의 음원이 출력되는 환경하에서 음성 인식에 이용될 음성 신호의 추출 방법 및 음성 신호의 추출 장치
CN112509595A (zh) 音频数据处理方法、系统及存储介质
JP2012163692A (ja) 音声信号処理システム、音声信号処理方法および音声信号処理方法プログラム
JP2007053748A (ja) 音響入出力拡張方法及び音響入出力拡張システム
JP2004219728A (ja) 音声認識装置
EP1143229A1 (en) Sound decoding device and sound decoding method
JP4552368B2 (ja) 機器制御システム、音声認識装置及び方法、並びにプログラム
JP2000250577A (ja) 音声認識装置及び同装置に使用される学習方法ならびに学習装置及び同方法がプログラムされ記録された記録媒体
JP4255897B2 (ja) 話者認識装置
KR101863098B1 (ko) 음성 인식 장치 및 방법
KR20050054399A (ko) 홈네트워크의 음성 인식 시스템
EP4270983A1 (en) Ear-mounted type device and reproduction method
JP3489589B2 (ja) 騒音低減装置
CN114080641A (zh) 麦克风单元
JP2016158072A (ja) 集音装置、音声処理方法、および音声処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070403