JP2001515611A - コマンド辞書を使用する音声認識装置 - Google Patents

コマンド辞書を使用する音声認識装置

Info

Publication number
JP2001515611A
JP2001515611A JP53586899A JP53586899A JP2001515611A JP 2001515611 A JP2001515611 A JP 2001515611A JP 53586899 A JP53586899 A JP 53586899A JP 53586899 A JP53586899 A JP 53586899A JP 2001515611 A JP2001515611 A JP 2001515611A
Authority
JP
Japan
Prior art keywords
command
information
processing unit
processing
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP53586899A
Other languages
English (en)
Other versions
JP4827274B2 (ja
Inventor
ヤネク,ハボル
ウユッテ,ヘリベルト
グラブハー,マンフレッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2001515611A publication Critical patent/JP2001515611A/ja
Application granted granted Critical
Publication of JP4827274B2 publication Critical patent/JP4827274B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Abstract

(57)【要約】 内容に関して処理ユニットの作動された動作状態に依存するコマンドを収容するコマンド辞書を用いて少なくとも一つの処理ユニット(23,24,25)を制御する音声認識装置(2)を備えた製品(1)において、音声認識装置(2)は、コマンド辞書のコマンドがコマンド情報(BI)及びコマンド情報に割り当てられた識別情報(PI)の形式で記憶されるコマンド辞書メモリ(17)を含み、また、音声認識装置(2)は、発話コマンドを表現する音声情報(SI)に含まれるコマンド情報(BI)を検出し、コマンド情報(BI)を少なくとも1台の処理ユニット(23,24,25)に送出する音声認識手段(10)を含み、発話コマンドで検出されたコマンド情報(BI)を用いて行われる処理ユニット(23,24,25)の動作状態が作動された後に、この作動された動作状態だけに割り当てられるコマンド辞書を作成し、このコマンド辞書をコマンド辞書メモリ(17)に記憶する作成手段(34)が設けられている。

Description

【発明の詳細な説明】 コマンド辞書を使用する音声認識装置 本発明は、作動され得る少なくとも一つの動作状態を有し作動状態に駆動され 得る少なくとも一つの処理ユニットと、内容に関して作動状態の少なくとも一つ の処理ユニットの少なくとも一つの作動された動作状態に依存するコマンドを収 容するコマンド辞書を使用して、少なくとも一つの処理ユニットを少なくとも一 つの動作状態に関して制御する音声認識装置とを備えた製品であって、音声認識 装置が、コマンド辞書のコマンドがコマンド情報及びコマンド情報に割り当てら れた識別情報の形式で記憶され得るコマンド辞書メモリと、少なくとも話者によ って発話されたコマンドを表現する音声情報が供給され、上記コマンド辞書メモ リに記憶された識別情報を用いてかかる音声情報に割り当てられるべきコマンド 情報を検出するよう構成され、上記発話されたコマンドに対応する処理ユニット 動作状態が供給された上記検出されたコマンド情報によって作動され得る処理ユ ニットに上記検出されたコマンド情報を転送するよう構成された音声認識手段と を含む製品に関する。 また、本発明は、作動され得る少なくとも一つの動作状態を有し作動状態に駆 動され得る少なくとも一つの処理ユニットと協働するよう構成され、内容に関し て作動状態の少なくとも一つの処理ユニットの少なくとも一つの作動された動作 状態に依存するコマンドを収容するコマンド辞書を使用して、少なくとも一つの 処理ユニットを少なくとも一つの動作状態に関して制御するよう構成された音声 認識装置であって、コマンド辞書のコマンドがコマンド情報及びコマンド情報に 割り当てられた識別情報の形式で記憶され得るコマンド辞書メモリと、少なくと も話者によって発話されたコマンドを表現する音声情報が供給され、上記コマン ド辞書メモリに記憶され た識別情報を用いてかかる音声情報に割り当てられるべきコマンド情報を検出す るよう構成され、上記発話されたコマンドに対応する処理ユニット動作状態が供 給された上記検出されたコマンド情報によって作動され得る処理ユニットに上記 検出されたコマンド情報を転送するよう構成された音声認識手段とを含む音声認 識装置に関する。 本発明は、コマンド情報及びコマンド情報に割り当てられた識別情報の形式で コマンド辞書メモリに記憶され得るコマンドを収容するコマンド辞書を用いて、 作動され得る少なくとも一つの動作状態を有し作動状態に駆動され得る少なくと も一つの処理ユニットを少なくとも一つの動作状態に関して制御するよう構成さ れた音声認識装置用のコマンド辞書を作成する方法であって、少なくとも話者に よって発話されコマンドを表現する音声情報が音声認識手段に供給され、上記音 声認識手段は上記コマンド辞書メモリに記憶された識別情報を用いてかかる音声 情報に対するコマンド情報を検出し、上記検出されたコマンド情報は、発話され たコマンドに対応する処理ユニットの動作状態を作動させるため処理ユニットに 供給され得る方法に関する。 上記の製品、音声認識装置及び方法は、例えば、文献:欧州特許EP 0 6 07 615 A1によって公知である。公知の製品において、音声認識装置は 、複数の処理ユニットと協働するよう構成され、テキストを構築するテキスト要 素を入力し、処理ユニットをその動作状態に関して制御するコマンドを入力する ため使用される。このような処理ユニットは、例えば、WindowsTM用のW ordプログラムを実装するテキストプロセッサによって形成される。この音声 認識装置には、音声認識装置のユーザによって発話された音声情報がコマンドと して、又は、処理ユニットのためのテキスト要素としてテキスト入力モードで入 力されるマイクロホンが接 続される。音声認識装置は、コマンド辞書を形成するコマンドが処理ユニットを 制御するコマンド情報及びこのコマンド情報に割り当てられたいわゆる音素によ り形成される識別情報の形式で記憶されるコマンド辞書メモリを含む音声認識手 段を具備する。ユーザによってコマンドとして入力された音声情報は、音声認識 手段において処理され、コマンド入力モードでコマンド辞書メモリに記憶された 識別情報と比較され、コマンドとして入力された音声情報に割り当てられたコマ ンド情報が発生され、上記コマンドに対応した処理ユニットの動作状態を作動さ せるため処理ユニットに送られる。 従来の音声認識装置が処理ユニットを制御するため動作を開始する前に、音声 認識装置は、学習モードでこの処理ユニットに適応する必要があり、音声コマン ド処理手段がこの処理ユニットに追加される。学習モードでは、従来の音声認識 装置は、種々の処理ユニットに適応し、さらに、音声認識手段のより良好な認識 結果を得るためそれぞれの処理ユニットの種々の動作状態に適応し得る。したが って、学習処理モードの場合、音声認識装置のユーザは、処理ユニットの動作状 態に対し、この動作状態で使用可能であり、処理ユニットの動作状態を変更する ため適するコマンドを選択する。これらのコマンドは、この処理ユニットのこの 動作状態に割り当てられたコマンド辞書の収集用メモリにコマンド情報として記 憶される。次に、ユーザは、学習モードでこれらのコマンドを音声情報としてマ イクロホンに発話し、コマンド情報に基づいてコマンド辞書の収集用メモリに記 憶された識別情報を発生させながら、これらのコマンドに対し音声認識手段を訓 練することができる。各動作状態に対し指定された方法で発生されたすべてのコ マンド辞書は、音声認識装置のコマンド辞書の収集用メモリに記憶され、処理ユ ニット及び処理ユニットテーブル内の動作状態に割り当てられる。 音声コマンド処理手段の追加によって音声認識装置と協働するため準備され、 従来の音声処理装置が学習モードで準備した処理ユ ニットの動作状態が変更されたとき、処理ユニットは、処理ユニットの動作状態 に関する情報を音声処理装置に送信する。処理ユニットテーブルを使用しながら 、音声認識装置は、学習モードで他の全てのコマンド辞書と組み合わせて発生さ れた、現在の動作状態に適したコマンド辞書を検出し、このコマンド辞書の収集 用メモリのコマンド辞書をコマンド辞書メモリに再格納する。ユーザが処理ユニ ットの動作状態を変更するコマンドを音声情報としてマイクロホンに発話したと き、音声認識のために使用されるコマンドはこの動作状態に対しユーザが選択し た非常に少数のコマンドだけであるため、発話コマンドの認識結果はかなり高い 。コマンド表現する音声情報に割り当てられた音声認識手段によって検出された コマンド情報は、処理手段の音声コマンド処理手段にテキスト要素として送信さ れる。処理ユニットの音声コマンド処理手段は、制御情報信号を送信されたテキ スト要素に割り当て、この制御情報はコマンド情報に対応したコマンドを発生さ せ、これにより、テキスト要素は処理ユニットで処理され、次に、処理ユニット の動作状態は処理されたコマンドに従って変更される。 従来の音声認識装置の場合、複数の処理ユニットの各動作状態に対しコマンド 辞書を作成することは、非常に時間的コストが高く、費用的に高価であることが わかる。また、従来の音声認識装置の用途は、音声コマンド処理手段が付加され 、コマンド辞書が作成された処理ユニットに制限されている。さらに、従来の音 声認識装置の場合、作成されたすべてのコマンド辞書はコマンド辞書収集用メモ リに記憶、管理される必要があり、そのために、従来の音声認識装置はかなり大 容量のメモリと、非常に複雑な制御手段とを共に備えている。 本発明の目的は、上記従来技術の問題点を回避し、音声認識装置を含む改良さ れた製品、改良された音声認識装置を含む改良された 製品、並びに、音声認識装置のためのコマンド辞書を作成する改良された方法を 提供することである。 本発明によれば、上記本発明の目的は、処理ユニットの動作状態が作動された 後に、この作動された動作状態だけに割り当てられるコマンド辞書を作成するよ う構成された作成手段が設けられている冒頭の第1節に記載されたタイプの製品 によって達成される。 また、本発明によれば、上記目的は、処理ユニットの動作状態が作動された後 に、この作動された動作状態だけに割り当てられるコマンド辞書を作成するよう 構成された作成手段が設けられている冒頭の第2節に記載されたタイプの音声認 識装置によって達成される。 また、本発明によれば、上記目的は、処理ユニットの動作状態が作動された後 に、この作動された動作状態だけに割り当てられるコマンド辞書が作成手段によ って作成される冒頭の第3節に記載されたタイプの方法によって達成される。 本発明により得られる利点は、処理ユニットの単一の動作状態に割り当てられ 、この動作状態に正確に適応したコマンド辞書は、処理ユニットの新しい動作状 態が出現した都度に作成されるので、音声認識装置が処理ユニットと協働するた め最初に準備させられる学習モードを設ける必要がないことである。また、処理 ユニットの異なる動作状態に対する多数のコマンド辞書を記憶するコマンド辞書 の収集用メモリを省いても構わない。さらに、複数のコマンド辞書を管理する制 御手段を省略してもよい。これらの結果として、費用効果率の良い製品若しくは 費用効果率の良い音声認識装置を実現することが可能である。 請求項1に係わる本発明による製品は、請求項2に係わる手段を設けることに より有利になることが示される。請求項6に係わる本発明による音声認識装置は 、請求項7に係わる手段を設けることにより有利になることが示される。請求項 11に係わる本発明による方法は、請求項12に係わる手段を設けることにより 有利になるこ とが示される。これらの手段は、簡単、かつ、信頼性の高い形で実現できる点で 有利である。 請求項2に係わる本発明による製品は、請求項3に係わる手段を設けることに より有利になることが示される。請求項7に係わる本発明による音声認識装置は 、請求項8に係わる手段を設けることにより有利になることが示される。請求項 12に係わる本発明による方法は、請求項13に係わる手段を設けることにより 有利になることが示される。その結果として、ユーザによって発話され、コマン ドを表現する音声情報が現れたとき、音声認識装置は、処理ユニット内の発話コ マンドの処理に直結する制御情報を処理ユニットに送信するので、製品に含まれ る音声認識装置と協働するため設けられた処理ユニット内の音声コマンド処理手 段を省略してもよい利点が得られる。これにより、コストが削減されるだけでは なく、音声コマンド処理手段を音声認識装置と協働するため設けられたすべての 処理ユニットに配備するため要する時間も削減される。 請求項2に係わる本発明による製品は、請求項4に係わる手段を設けることに より有利になることが示される。請求項7に係わる本発明による音声認識装置は 、請求項9に係わる手段を設けることにより有利になることが示される。請求項 12に係わる本発明による方法は、請求項14に係わる手段を設けることにより 有利になることが示される。この結果として、製品に含まれる音声認識装置は、 時間窓方式若しくは並列処理方式で別々に作動状態にされ得る複数の処理ユニッ トと協働するよう構成される利点と、適当なコマンド情報が動作状態に駆動され た処理窓だけによって検出される利点とが得られる。 請求項2に係わる本発明による製品は、請求項5に係わる手段を設けることに より有利になることが示される。請求項7に係わる本発明による音声認識装置は 、請求項10に係わる手段を設けることにより有利になることが示される。請求 項12に係わる本発明によ る方法は、請求項15に係わる手段を設けることにより有利になることが示され る。例えば、Windows 95TM、Windows NTTM、若しくは、X −WindowsTMのようなプログラムを用いて実現されるウィンドウズ処理ユ ニットと協働する音声認識装置を構成する本発明による製品の手段によって、認 識手段及び検出手段を非常に簡単に構成することができるようになるので、ウィ ンドウズ処理ユニットと協働するため設けられた複数の音声処理ユニットと協働 し得る簡単な音声認識装置が実現される。 本発明の上記並びに他の局面は、以下の実施例の説明によって明らかにされ、 解説される。図面中、 図1は、本発明による方法が実施され、3種類の処理ユニットを制御するよう 構成され、処理ユニットのある動作状態から処理ユニットの別の動作状態への変 化後にコマンド辞書を作成する作成手段を含む本発明による音声認識装置を備え た本発明による製品としてのパーソナルコンピュータをブロック形式で概略的に 示す図である。 図2は、図1に示されたパーソナルコンピュータのウィンドウズ処理ユニット の処理ウィンドウマネージャーに記憶された処理ウィンドウテーブルを表す図で ある。 図3は、図1に示されたパーソナルコンピュータのウィンドウズ処理ユニット の切換領域マネージャーに記憶された切換領域テーブルを表わす図である。 図4は、図1に示されたパーソナルコンピュータに実装され、音声認識装置が コマンド辞書を作成するため使用される本発明による方法の少なくとも基本的な 部分が説明されているフローチャートである。 図5は、図1に示されたパーソナルコンピュータに実装され、作成されたコマ ンド辞書が実装される間に話者によって発話された音 声情報を認識し、処理ユニットのある動作状態を別の動作状態に変えるため制御 情報を処理ユニットに送出する音声認識装置を利用する本発明による方法の少な くとも基本的な部分が説明されている更なるフローチャートである。 図1には、音声認識装置2とPC(パーソナルコンピュータ)処理ユニット3 とを含み、モニター4を具備し、マイクロホン5、キーボード6及びスピーカー 7が接続されたパーソナルコンピュータ1が示されている。 パーソナルコンピュータ1の音声認識装置2は、本例では、特に、コマンドを 収容するコマンド辞書を用いて少なくとも一つの処理ユニットをその動作状態に 関して制御するため使用される。以下に詳細に説明するように、辞書はその内容 に関して作動的な処理ユニットの作動された動作状態に依存する。 話者によって発話された複数の相関関係のある語又は別々の語を含むアナログ 音声情報SIは、マイクロホン5を介して音声認識装置2のアナログ/デジタル 変換器段8に供給することができる。デジタル音声情報SIは、アナログ/デジ タル変換器段8を介して記憶手段9に送られ、記憶手段に記憶される。 記憶手段9から読み出されたデジタル音声情報SIは、音声再生モードでデジ タル/アナログ変換器段12に供給され、このデジタル/アナログ変換器段12 を介してアナログ音声情報SIとしてスピーカー7に送出される。音声再生モー ドは、ここでは説明しない方法で作動され得る状態である。 記憶手段9から読み出されるデジタル音声情報SIは、音声認識装置2の音声 認識手段10、すなわち、音声認識手段10に含まれる音声認識段11に供給す ることが可能である。音声情報によって表現され、話者によって発話されたコマ ンドは、音声認識手段10に送られ得る。これらの音声認識手段10は、特に、 コマンド情報 BI、すなわち、供給されたコマンドに実際に割り当てられ、供給されたコマン ドを表現するコマンドを、コマンド辞書メモリに格納された識別情報PIを用い て検出し、コマンドを表現するコマンド情報BIを処理ユニットに転送するよう 構成される。処理ユニットに転送され、コマンドを表現する検出されたコマンド 情報BIは、発話されたコマンドと対応した処理ユニットの所望の動作状態を作 動させる際に役立つ。 マイクロホン5は、音声認識装置2のコマンド入力モードが作動されるコマン ド入力モード駆動用信号CMIを供給するため、話者によって作動され得るキー 13を有する。コマンド入力モード駆動用情報CMIは、キー13を用いて音声 認識段11に供給され得る。 音声認識手段10に送られたデジタル音声情報SIを検出し、テキスト情報T Iを検出された音声情報SIに割り当てるため、音声認識手段10は、音声認識 段11、辞書メモリ14、音声モデルメモリ15及び参照メモリ16を含む。こ れらの3種類のメモリ14、15及び16は、音声認識段11に接続される。 辞書メモリ14は、コマンド辞書メモリ17及びテキスト辞書メモリ18を含 む。コマンド辞書メモリ17は、コマンド語彙メモリ19及び基本語彙メモリ2 0を含む。テキスト辞書メモリ18は、本例の場合、必須ではない基本語彙メモ リ20と、テキスト語彙メモリ21とを含む。 単語を記憶するため、辞書メモリ14は、テキスト情報TIと、テキスト情報 に割り当てられた識別情報PIとを記憶することができる。この記憶方式は、単 語毎にテキスト情報TI、すなわち、書記素と、テキスト情報TIに割り当てら れた識別情報PI、すなわち、音素列とが記憶されるように組織化される。単語 メモリの組織化は他の方法で実現してもよいことに注意する必要がある。 基本語彙メモリ20は、基本表記を表現し、基本語彙を形成する多少の単語を 格納する。基本語彙は、これ以上には説明しない方法 で作動されるテキスト入力モードで基本単語であり、基本単語は、音声認識手段 10によって認識可能な総合的なテキスト語彙の一部を形成する単語であり、音 声認識手段10によって認識可能な総合的なコマンド語彙の一部を形成するコマ ンド入力モードにおける基本コマンドである。基本語彙メモリ20は、例えば、 テキスト入力モードではその目的のために構成された処理ユニットによって基本 単語として処理され、コマンド入力モードでは、適当に構成された処理ユニット によってヘルプメニューを表示させる基本コマンドとして処理され得る単語「h elp」を記憶することが可能である。 テキスト語彙メモリ21はテキスト語彙を形成する多数の単語を格納する。テ キスト語彙は、基本表記と併せて、音声認識装置2のテキスト入力モードにおい て音声認識手段10によって認識可能な全体的なテキスト語彙を形成する。 コマンド語彙メモリ19はコマンド語彙を形成する単語を格納する。コマンド 語彙は、基本表記と併せて、音声認識装置2のコマンド入力モードにおいて音声 認識手段10によって認識可能な全体的なコマンド語彙を形成する。換言すれば 、コマンド入力モードの場合に、基本表記によって形成される最良のコマンド語 彙は、全体的なコマンド語彙を形成するためコマンド語彙メモリ19に格納され たコマンドによって拡張され得る。コマンド入力モードでこのようなコマンドを 用いることによって、例えば、処理ユニットのある動作状態から処理ユニットの 別の動作状態への変化を作動させ、すなわち、少なくとも一つの処理ユニットを ある動作状態から所望の新しい動作状態までルート変更、若しくは、切り換える ことが可能である。これらのコマンドは、処理ユニットの所望の動作状態を作動 させ、少なくとも一つの処理ユニットをその動作状態に関して所望の動作状態を 作動させるためルート変更するため適当である。 上述の通り、キー13によって発生されたコマンド入力モード作動情報CMI は音声認識段11に送られる。音声認識段11からこ の情報は辞書メモリ14の伝達される。コマンド入力モード作動情報CMIがコ マンド入力モードで生じたとき、辞書メモリ14のコマンド辞書メモリ17は音 声認識段11に接続される。テキスト入力モードにおいてコマンド入力モード作 動情報CMIが存在しない場合、辞書メモリ14のテキスト辞書メモリ18は音 声認識段11に接続される。このように、各コマンドを形成する単語はコマンド 辞書メモリ17に記憶されることが保証される。これらのコマンド形成単語を記 憶するため、コマンド情報BIと、コマンド情報BIに割り当てられた識別情報 PIとはテキスト情報としてコマンド辞書メモリ17に記憶される。すなわち、 1個のコマンド情報信号BIと、1個の割り当てられた識別情報信号PIが各単 語毎に記憶される。 音声モデルメモリ15は、音声認識段11によって認識されたある種の単語の 組合せ若しくは系列の後のある単語の出現確率を示す音声モデル情報SMIを記 憶する。音声認識中に、複数の連続した単語を含む音声情報SIに現れた次の単 語が、辞書メモリ14及び参照メモリ16に記憶された情報に従って2個の単語 のうちのいずれか一方の単語であることが等確率で確からしいとき、音声認識装 置11は、音声モデル情報SMIに従って出現確率の高い方の単語を認識する。 参照メモリ16は、話者が音素の系列中の1個の音素を発音する方法に関する 情報を表現する参照情報RIを格納する。音声認識段11はこの参照情報RIを 利用して話者に適応する。 パーソナルコンピュータ1のPC処理ユニット3は、ウィンドウズ処理ユニッ ト22と、第1の処理ユニット23と、第2の処理ユニット24と、第3の処理 ユニット25とを含む。パーソナルコンピュータ1が作動されたとき、ウィンド ウズ処理ユニット22は常時作動状態に駆動される。他の3種類の処理ユニット 23、24及び25は、個別の動作状態に移され、作動状態で制御され、或いは 、 動作状態に切り換えられる。 本質的に、いわゆるWindowsTMプログラムを処理するプログラム処理ユ ニットの特徴を示し、本例の場合に公知のWindows 95TMプログラムに より形成されたウィンドズ処理ユニット22は、主に3種類の処理ユニット23 、24及び25を管理するため使用され、ウィンドウマネージャー26、切換領 域マネージャー27、及び、コマンドマネージャー28を含む。図2に示された 処理ウィンドウテーブル29は、処理ウィンドウマネージャー26に格納するこ とができる。図3に示された切換領域テーブル30は、切換領域マネージャー2 7に格納される。コマンドマネージャー28は、制御情報CIの形でキーボード 6若しくは音声認識装置2から入力されたウィンドウズ処理ユニット22のため のコマンドを管理、実現し、或いは、入力されたコマンドを制御情報CIの形式 で3種類の処理ユニット23、24及び25の中のいずれかの処理ユニットに転 送するよう構成されている。 本質的にプログラムプロセッサを表す3種類の処理ユニット23、24及び2 5は、主として、4個の処理ウィンドウW1、W2、W3及びW4を駆動し、グ ラフィックス情報及びテキスト情報が4個の処理ウィンドウW1、W2、W3及 びW4に表示できるようにグラフィックス情報及びテキスト情報を準備、生成す るため使用される。3種類の各処理ユニット23、24及び25毎に、作動状態 にあるとき、異なる動作状態に切り換えられ得る。処理ユニット23、24及び 25の中の何れの処理ユニットであるかに依存して、例えば、以下に説明される 決定動作状態、印刷準備動作状態、少なくとも一つのデータベースを開く動作状 態、若しくは、テキスト入力動作状態のような異なる動作状態が存在する。 モニター4は、3種類の処理ユニット23、24及び25に割り当てられた処 理ウィンドウWn、図1の場合には、第1の処理ウィンドウW1と、第2の処理 ウィンドウW2と、第3の処理ウィンド ウW3と、第4の処理ウィンドウW4とを表示することができる。上記の各処理 ウィンドウW1、W2、W3及びW4は、処理ユニット23、24及び25を用 いて処理状態に駆動され得る。 第4の処理ウィンドウW4は、いわゆる決定処理ウィンドウであり、テキスト 入力のためではなく、コマンド入力のため使用され、テキスト情報“OK(確認 )”を含む第1の切り換え領域31と、テキスト情報“CANCEL(取消)” を含む第2の切り換え領域32と、テキスト情報“BACK(戻る)”を含む第 3の切り換え領域33とを有する。3通りの処理ユニット23、24及び25は 、処理ウィンドウW1、W2、W3及びW4に情報を表示させるため、グラフィ ックス情報及びテキスト情報を転送する4種類のコネクション23A、24A、 25A及び25Bによってそれぞれの割り当てられた処理ウィンドウW1、W2 、W3及びW4に接続される。第3の処理ウィンドウと第4の処理ウィンドウは 、共に2本のコネクション25A及び25Bを介して第3の処理ユニット25に 接続される。 音声認識段11によってテキスト入力モードで認識されたテキスト情報TIは 、音声認識段11からコネクション11Aを介してウィンドウ処理ユニット22 に転送され、ウィンドウ処理ユニット22から3本の更なるコネクション22A 、22B及び22Cの中の1本のコネクションを介して作動状態に駆動された処 理ユニット23、24及び25にそれぞれ転送され、一方、一つの処理ユニット 23又は24又は25は、認識されたテキスト情報TIと対応したテキストをコ ネクション23A、24A及び25Aの中のいずれかのコネクションによって駆 動されたそれぞれの処理ウィンドウW1、W2又はW3に表示させる。常に、3 通りの処理ユニット23、24及び25の中の一つの処理ユニットだけが作動状 態に駆動され得、4個の処理ウィンドウW1、W2、W3及びW4の中の一つの ウィンドウだけがその処理状態に駆動され得ることに注意する必要 がある。 ここまでの説明で、音声認識装置2は、例えば、発話コマンド若しくはキーボ ード6のキーを用いて入力されたコマンドに対応した処理ユニット23、24又 は25の唯一の所望の動作状態に割り当てられたコマンド辞書を作成する作成手 段34を有する。作成手段34は、情報処理手段によって形成され、認識手段3 5と、検出手段36と、更なる割り当て手段37とを含む。 認識手段35は、処理ユニット23、24及び25の処理ウィンドウW1、W 2、W3及びW4の処理状態を認識するため設けられ、音声認識装置2に収容さ れる。この目的のため、認識手段35は、ログオン情報AIを処理ウィンドウマ ネージャー26に送出する。認識手段35は、処理ウィンドウマネージャー26 から到来する処理ウィンドウ情報WIを受信し、処理ウィンドウ情報WIは作動 状態の処理ユニット23、24又は25がある動作状態から別の動作状態に変更 されたときに送信される。処理ウィンドウ情報WIは、4個の処理ウィンドウW 1、W2、W3及びW4の中で処理状態、すなわち、作動状態である処理ウィン ドウに関する情報を含み、これについては、処理ウィンドウ情報WIに基づいて 認識手段35によって認識又は検出される。認識手段35は、この処理ウィンド ウ情報WIを検出手段36に送出し得る。 検出手段36は、例えば、処理ユニット23、24又は25のある動作状態か ら処理ユニット23、24又は25の別の動作状態への変化後に、すなわち、例 えば、発話コマンドによって、或いは、キーボード6のキーの押下によって決定 されたコマンド情報を用いて行われる処理ユニット23、24又は25の所望の 動作状態が作動された後に、少なくとも1台の処理ユニット23、24及び25 の別の動作状態を作動させるための、本例の場合にテキスト情報TI(CI)に よって形成された適当なコマンド情報を検出するため構成される。検出手段36 は、受信されたテキスト情報TI(C I)を割り当て手段37に送るよう構成される。 検出手段36によって検出されたコマンド情報TI(CI)が与えられる割り 当て手段37は、識別情報PIを検出された適当なコマンド情報TI(CI)に 割り当てるため使用され、音素系列によって形成されたこの識別情報PIは、本 例の場合に、テキスト辞書メモリ18から読み出してもよく、或いは、割り当て 手段37を用いて作成してもよい。また、割り当て手段37自体は、検出された 適当なコマンド情報TI(CI)及び識別情報PIをコマンド語彙メモリ19及 びコマンド辞書メモリ17に記憶するよう構成され、その結果として、それぞれ の処理ユニット23、24及び25の作動された動作状態にだけ割り当てられた コマンド辞書を生成する。 上記の通り、処理ウィンドウ情報WIは認識手段35によって検出手段36に 与えられる。このような処理ウィンドウ情報WIが発生したとき、検出手段36 は、質問情報GI(Wn)を切換領域マネージャー27に送出し、制御情報CI 及び検出された適当なテキスト情報TI(CI)を切換領域マネージャー27か ら受け、以下に詳述するこの情報を記憶する。基本語彙メモリ20に格納された 次の情報TIも検出手段36に記憶される。この目的のため、制御情報CIは初 期化ルーチンでこのテキスト情報TIに割り当てられ、さらに、テキスト情報T I及び制御情報CIは、相互に割り当てられて検出手段36に記憶される点が重 要である。 割り当て手段37は、受信されたテキスト情報TI(CI)をテキスト辞書メ モリ18に記憶されたテキスト情報TIと比較し、両者が一致したとき、テキス ト辞書メモリ18からテキスト情報TI及び割り当てられた識別情報PI、すな わち、割り当てられた音素系列を読み出すよう構成される。受信されたテキスト 情報TI(CI)がテキスト辞書メモリ18内に見つからないとき、割り当て手 段37自体は、テキスト情報TI(CI)に割り当てられるべき割り当て情報P Iを作成し、音素系列が発生される。テキスト辞書メ モリ18内でテキスト情報TIの同一又は類似テキスト部に割り当てられた音素 系列は、テキスト情報TI(CI)のテキスト部に割り当てられる。このような テキスト情報TI(CI)に割り当てられた音素系列を発生させる方法は、従来 技術において当業者に知られている。テキスト情報TI(CI)及び割り当てら れた音素系列、すなわち、割り当てられた識別情報PIは、コマンド語彙メモリ に格納してもよい。 コマンド入力モードにおいて音声認識段11によって識別されたコマンド情報 BIを形成するテキスト情報は、別のコネクション11Bを介して音声認識段1 1によって検出手段36に送出してもよい。検出手段36は、別のコネクション 11Bを介して供給されたコマンド情報BIを、検出手段36に格納されている 検出された適当なテキスト情報TI(CI)と比較する。比較の結果が肯定的で ある場合に、検出手段36は、コマンド情報BIに割り付けれられ、検出手段3 6に格納された制御情報CIを、後述するコマンドマネージャー28に送出する 。処理ユニット23、24、25の動作状態は制御情報CIを用いてトリガされ 得る。 以下、図4に示されたフローチャート38を参照して、作動状態に駆動された 処理ユニット23、24、25の動作状態に適応した、すなわち、この動作状態 に割り当てられたコマンド辞書を作成し、記憶するため音声認識装置2を含むパ ーソナルコンピュータ1で実行されるプログラムについて説明する。 プログラムの実行は、音声認識装置2が音声情報SIをパーソナルコンピュー タ1に入力するため作動されたときにステップ39で開始される。次のステップ 40において、認識手段35は、ログオン情報AIを処理ウィンドウマネージャ ー26に送る。ログオン情報AIは、処理ウィンドウマネージャー26内に現れ る情報の中で、更なる処理中に認識手段35に転送されるべき情報に関する情報 を含む。また、ログオン情報AIは、特に、処理ウィンドウマネー ジャー26に出現する処理ウィンドウ情報WIが更なる処理中に認識手段35に 常に転送されるべきかについての情報を含む。 処理ウィンドウマネージャー26には図2に示された処理ウィンドウテーブル 28が格納される。処理ウィンドウテーブル29の列APは、処理ウィンドウWn が割り当てられた処理ユニット23、24及び25で処理可能なプログラムを 示す。第1の処理ユニット23はWindows用ExcelTMプログラムを用 いて形成され、このプログラムには第1の処理ウィンドウW1が処理ウィンドウ テーブル29の列Wnで割り当てられている。第2の処理ユニット24は、In ternet ExplorerTMプログラムを用いて形成され、このプログラ ムには第2の処理ウィンドウW2が処理ウィンドウテーブル29の列Wnで割り 当てられている。第3の処理ユニット25はWindows用WordTMプログ ラムを用いて形成され、このプログラムには第3の処理ウィンドウW3及び第4 の処理ウィンドウW4が処理ウィンドウテーブル29の列Wnで割り当てられて いる。第3の処理ユニット25が作動状態に駆動されている場合を考える。第4 の処理ウィンドウW4は、テキスト入力モードのテキスト入力用又はコマンド入 力モードのコマンド入力用の作動的な処理ウィンドウとして処理ウィンドウテー ブル29内で矢印を用いて表されている。第4の処理ウィンドウW4は決定処理 ウィンドウであるため、1個のコマンドだけがコマンド入力モードで入力できる 。第3の処理ユニット25の作動状態において、パーソナルコンピュータ1のユ ーザは、ある種の処理を行うべきかどうかについてのコマンドを入力することが 期待され、このコマンド入力は、テキスト情報“OK”を含む第1の切換領域3 1の作動によって実行される。このような特別の処理は、例えば、文書のテキス トを処理するためパーソナルコンピュータのメインメモリに文書をロードする場 合である。コマンド入力は、テキスト情報“CANCEL”を含む第2の切換領 域の作動でもよく、その結果として、 特定の処理が中断される。また、テキスト情報“BACK”を含む第3の切換領 域33がコマンドを入力することにより作動され、特定の処理が実行されず、第 3の処理ユニットの前の動作状態に戻される場合がある。 ステップ40に続くステップ41において、認識手段35は、処理ウィンドウ 情報WIが処理ウィンドウマネージャー26から着信したかどうかを検査する。 着信していない限り、プログラム実行はステップ41に留まる。処理ウィンドウ マネージャー26は、ログオン情報AIが発生した場合、及び、本例の場合には 作動状態の処理ユニット25がある動作状態から別の動作状態に変更されたとき に処理ウィンドウ情報WIを生成する。処理ウィンドウマネージャー26は、2 個の処理ユニット23又は24の中のどちらか一方が作動状態に駆動された場合 にも処理ウィンドウ情報WIを生成することに注意する必要がある。処理ウィン ドウ情報WIが発生したとき、プログラム実行はステップ42に進む。 ステップ42において、作動的な処理状態に駆動された第4の処理ウィンドウ W4の処理ウィンドウ情報WIは、認識手段35から検出手段36に転送される 。処理ウィンドウ情報WIが出現したとき、検出手段36は、それぞれの作動的 処理ウィンドウWnと関連した質問情報GI(Wn)、本例の場合には作動的な第 4の処理ウィンドウW4の質問情報GI(W4)を切換領域マネージャー27に 送出する。図3に示された切換領域テーブル30は切換領域マネージャー27に 格納される。切換領域テーブル30の中の列Wnは、切換領域マネージャー27 によって管理される処理ウィンドウW1、W2、W3及びW4を示し、これらの ウィンドウはウィンドウズ処理手段22と協働する処理ユニット23、24及び 25に属する。切換領域テーブル30の列TI(CI)は、コントロール部とし ても知られている切換領域と、処理ウィンドウW1、W2、W3及びW4の他の 要素、例えば、メニューリスト、或いは、いわゆ るプルダウンメニューのような要素とに割り当てられた処理ウィンドウW1、W 2、W3及びW4用のテキスト情報TI(CI)を示す。切換領域テーブル30 の各テキスト情報TI(CI)、切換領域がそれぞれの処理ウィンドウWnに割 り当てられた処理手段上でユーザによって作動されたときに生成された制御情報 CIに割り当てられ、作動された切換領域のコマンドを実行させる。切換領域テ ーブル30からわかるように、テキスト情報“OK”を含む第1の切換領域31 は、割り当てられた制御情報30である。パーソナルコンピュータ1のユーザが 、第1の切換領域31を作動させるため、例えば、キーボード6のキーを押下し たとき、コマンドマネージャー28は、第3の処理ユニット25の動作状態を変 更するため制御情報“30”を第3の処理ユニット25に転送する。 ステップ42に続くステップ43において、切換領域マネージャー27は、質 問情報GI(W4)が発生したとき、切換領域テーブル30内で第4の処理ウィ ンドウW4のテキスト情報TI(CI)及び割り当てられた制御情報CIを検出 し、検出手段36に伝達する。検出手段36に伝達され、第3の処理ユニット2 5の更なる動作状態を作動させるため適した、検出されたテキスト情報TI(C I)及び割り当てられた制御情報CIは、検出手段36に格納され、検出された 適当なテキスト情報TI(CI)は割り当て手段37に転送される。その結果と して、テキスト情報“OK”、“取消”、“戻る”は、本例の場合に割り当て手 段37に転送される。 ステップ43に続くステップ44において、検出された適当なテキスト情報T I(CI)は、割り当てられた識別情報PI、すなわち、音素系列である。第1 のステップにおいて、検出されたテキスト情報TI(CI)が既にテキスト辞書 メモリ18に格納されているかどうかがテストされる。かかるテキスト情報TI (CI)が既に適すと辞書メモリ18に格納されている場合、すなわち、見つけ られた場合、テキスト辞書メモリ18内でこのテキスト情報に割り当てられ、音 素系列を表現する識別情報PIは、テキスト辞書メモリ18から読み出され、見 つけられたテキスト情報TI(CI)に割り当てられる。このようなテキスト情 報TI(CI)がテキスト辞書メモリ18内で見つけられなかった場合、音素系 列を表現する識別情報PIが割り当て手段37自体によって作成され、既に説明 したように見つけられたなかったテキスト情報TI(CI)に割り当てられる。 ステップ44に続くステップ45において、検出された適当なテキスト情報T I(CI)及びステップ44においてこのテキスト情報TI(CI)に割り当て られた識別情報PIは、コマンド語彙メモリ、すなわち、コマンド辞書メモリ1 7に記憶される。このようにして、作成手段34によって作成されたコマンド辞 書は、本例の場合には、第3の処理ユニット25の作動された動作状態の場合に 限り、コマンド語彙メモリに記憶されるので、コマンド辞書メモリ17の内容は 第3の処理ユニット25の作動された動作状態に適応する。ステップ45の実行 後、プログラム実行はステップ41に進む。 上記の本発明の方法によれば、本発明による音声認識装置2は、処理ユニット の動作状態が出現した直後に作動状態に駆動されたその処理ユニットの作動され た動作状態に適応したコマンド辞書を自動的に作成する。このような適応したコ マンド辞書は、先行して作動的な処理ユニットの動作状態が作動状態に駆動され た別の処理ユニットの動作状態に変更されるときに自動的に作成される点が有利 である。その結果として、コマンド語彙メモリに記憶されたコマンド語彙は、そ れぞれの作動的な処理ウィンドウWnに適応するので、コマンド入力モードで音 声情報SIとして入力されたコマンド情報BIの認識のための次の音声認識実行 の際に非常に高い認識率が達成される。 以下、図5に示されたフローチャート46を参照して、コマンド入力モードで 音声認識装置2を備えた音声認識動作を実行するプログラム実行について説明す る。 プログラム実行は、話者がキー13を押下することによりコマンド入力モード 作動コマンドCMIを音声認識装置2に提示し、その結果として、コマンド入力 モードが作動されるときに、ステップ47から始まる。ステップ47に続くステ ップ48において、音声認識段11で音声情報SIが既に発生し、記憶手段9に 記憶されたかどうかについてテストが行われる。テスト結果が否定的である限り 、プログラム実行はステップ48に留まる。一方、音声情報SIが実際に出現し 、記憶手段9に記憶されたとき、プログラム実行はステップ49に進む。ステッ プ49において、音声認識段11は、少なくとも一つの音素系列を、参照メモリ 16に格納された参照情報RIを用いて、記憶手段9から読み出された音声情報 SIに割り当てる。この少なくとも1個の割り当てられた音素系列は、コマンド 入力モードで音声認識段11に接続されたコマンド辞書メモリ17に識別情報P Iの形式で記憶された音素系列と比較される。音声情報SIに基づいて検出され た音素系列がコマンド辞書メモリ17に記憶された音素系列と一致するとき、同 様にコマンド辞書メモリ17に記憶された音素系列に割り当てられたテキスト情 報は、音声認識段11によって認識された情報としてコマンド辞書メモリ17か ら読み出される。かかる認識されたテキスト情報はコマンド情報B1を形成し、 このコマンド情報B1は、コマンド入力モードにおいて、音声認識段11によっ て別のコネクション11Bを介して検出手段36に送られる。 ステップ50において、検出手段36は認識されたコマンド情報B1を検出手 段36に格納されたテキスト情報と比較する。検出されたコマンド情報B1は検 出手段36に格納されたすべてのテキスト情報と比較されるので、作動的な第4 の処理ウィンドウW4に示 される検出された適当なテキスト情報TI(CI)及び初期化ルーチン中に検出 手段36に格納されたテキスト情報TIの両方の情報と比較される。認識された コマンド情報BIと検出手段36に格納されたテキスト情報との間に一致が見つ けられたとき、プログラムルーチンはステップ51に進む。 ステップ51において、検出手段36は、記憶されたテキスト情報に割り当て られた制御情報CIを、制御情報CIを処理するコマンドマネージャー28に送 信する。コマンドマネージャー28は、第3の処理ユニットをある動作状態から 別の動作状態に駆動若しくは切り換えるため、制御情報CIを作動状態に移され た第3の処理ユニット25に送信する。ステップ51に続いて、プログラムルー チンはステップ48に戻る。 話者がキー13に触れ、単語“OK”をマイクロホン5に発話したとき、音声 認識段11は、この音声情報SIを用いて音声認識段によって作成された音素系 列を、コマンド語彙メモリ及び基本語彙メモリ20に、したがって、コマンド辞 書メモリ17に識別情報PIの形式で記憶された音素系列と比較する。コマンド 語彙メモリには、コマンド“OK”、“CANCEL(取消)”及び“BACK (戻る)”に対する音素系列が記憶される。音声認識段11によって認識可能で あり、かつ、コマンド辞書メモリ17に格納されたコマンド情報BIの数が非常 に少ないため、認識率は非常に高く、そのため、音声認識段11は、単語“OK ”に関する音素系列が検出された音素系列と一致していることを非常に高速かつ 高い信頼性で認識する。この音素系列に割り当てられた情報“OK”は音声認識 段11によって検出手段36に送られる。検出手段36の比較の結果として、テ キスト情報“OK”と対応するコマンド情報BIが検出手段36に格納された作 動的な第4の処理ウィンドウW4の第1の切換領域31のテキスト情報TI(C I)と一致することが得られる。テキスト情報TI(CI)に割り当てられた制 御情報“3 0”は、制御情報“30”を実行させるため、検出手段36からコマンドマネー ジャー28に転送される。コマンドマネージャー28は、制御情報“30”を、 制御情報“30”によって表現されたコマンド“OK”を実行する第3の処理ユ ニット25に転送する。第3の処理ユニット25は、制御情報“30”の第3の 処理ユニット25への転送が、第1の切換領域31を作動させることにより行わ れるか、又は、キーボード6の少なくとも1個のキーを作動させるか、或いは、 話者からの音声によって作動されることにより行われるかどうかによって違いが 生じない。 これにより得られる利点は、音声認識装置2が処理ユニットを制御するコマン ド情報として制御情報CIを処理ユニットに送出し、処理ユニット内の制御情報 は話者によって発話されたコマンドを直ちに実行させることである。したがって 、本発明による音声認識装置2と協働する処理ユニットは、処理ユニットを従来 の音声認識装置と協働させる殆どの場合に必要とされたように音声コマンド処理 手段を具備する必要がない。これにより、本発明による音声認識装置2は、すべ てのウィンドウズ処理ユニットで使用できるようになる。 本発明による音声認識装置2は、認識手段35が作動状態に駆動された処理ユ ニット23、24又は25の作動的な処理ウィンドウWnを検出し、音声情報S Iとして入力されたコマンド情報BIが作動状態に駆動された処理ユニット23 、24又は25だけに対し有効になることにより、複数の処理ユニット23、2 4及び25と協働する点が有利である。 本発明による音声認識装置2の作成手段34は、図1に示されるように、例え ば、Windows 95TMプログラムを利用して実現されるウィンドウズプロ セッサ22と協働するよう構成された場合に、非常に簡単な構造を有する。これ は、Windows 95TMプログラムが、コマンド辞書を作成するために必要 である処理 ウィンドウ情報WIと、作動的な動作ウィンドウWnのテキスト情報TI(CI )及び割り当てられた制御情報CIとを利用できるようにすることに起因する。 本発明の第2の実施例によれば、音声認識装置は、いわゆるインターネットブ ラウザによって形成された処理ユニットを制御するよう構成される。この本発明 の第2の実施例による音声認識装置は、図1に示された本発明の第1の実施例に よる音声認識装置と同じ構造を有し、一方、第2の実施例による音声認識装置と インターネットブラウザとを含むパーソナルコンピュータは、コンピュータネッ トワークインターネットに接続される。 インターネットブラウザは、インターネットに接続された記憶手段であるいわ ゆるサーバーに記憶された情報、すなわち、インターネットホームページを検出 するため使用される。インターネットホームページは、テキスト情報及びグラフ ィックス情報を格納し、場合によってはビデオ情報を格納する。インターネット ブラウザは、特定のインターネットアドレス、いわゆるURLによって表された インターネットホームページを検出するよう構成される。インターネットブラウ ザは、本発明の第2の実施例の場合に、公知のウィンドウズ“Microsof tTM Internet ExplorerTM”プログラムを利用して実現され る。例えば、NetscapeTMのようなインターネットブラウザを実現するた め適当な他の複数のプログラムを利用することが可能である。 インターネットホームページのテキスト情報は、別のインターネットホームペ ージのインターネットアドレスがテキスト情報に割り当てられている場合に、コ マンド情報を形成する。このようなテキスト情報は、このテキスト情報を作動す ることにより更なるインターネットホームページがインターネットブラウザによ って検出できることに関してユーザの注目を惹くため、パーソナルコンピュータ に接続されたモニターに表示されるとき、特別な方法、例えば、 下線付きでインターネットホームページ上に表示される。このテキスト情報に割 り当てられたインターネットアドレスは、インターネットブラウザに送られたと きに、インターネットブラウザにこのインターネットアドレスに割り当てられた インターネットホームページを検出させ、インターネットブラウザの動作状態を 変更する制御情報を形成する。 本発明の第2の実施例による音声認識装置は、インターネットブラウザを用い てインターネットホームページを検出した後、インターネットホームページ上で 見つかったコマンド情報を形成するテキスト情報を検出する検出手段を含む。イ ンターネットブラウザは、“MicrosoftTM Internet Exp lorerTM”ウィンドウズプログラムを用いて構成されているので、本発明の 第2の実施例による音声認識装置の検出手段、並びに、本発明の第1の実施例に よる音声認識装置の検出手段は、ウィンドウズプロセッサのコマンド情報を検出 するよう構成される。 本発明の第2の実施例による音声認識装置は、第1の実施例による音声認識手 段の割り当て手段と対応した割り当て手段を備え、第2の実施例による音声認識 装置内で、コマンド情報を形成するテキスト情報用の割り当て情報を検出若しく は作成するので、第2の実施例による音声認識装置は、インターネットブラウザ により検出されたインターネットホームページに適応したコマンド辞書を作成す るよう構成される。 検出手段は、インターネットブラウザによって最後に検出されたインターネッ トホームページ上にコマンド情報を形成するテキスト情報に割り当てられたイン ターネットアドレスを検出するよう構成される。さらに、検出手段は、音声認識 装置の音声認識手段が、本発明の第1の実施例に従って実行され、音声情報に割 り当てられるべきコマンドを表現するテキスト情報を、検出手段によって検出さ れたテキスト情報と比較し、その比較の結果が肯定的である場合に、 実行されるべきコマンドを表現するテキスト情報に割り当てられたインターネッ トアドレスをインターネットブラウザに送出するように構成される。このインタ ーネットアドレスは、インターネットアドレスに割り当てられたインターネット ホームページをインターネットブラウザで検出するため使用される。 したがって、上記第1の実施例に関して説明した利点は、インターネットブラ ウザが話者によって発話されたコマンドによって制御される場合にも得られる。 本発明による音声認識装置は、ウィンドウズ処理ユニットと協働するよう構成 されていない処理ユニットを制御するよう構成されることに注意する必要がある 。処理ユニットとしては、UNIXオペレーティングシステム、或いは、DOS オペレーティングシステムと協働する処理ユニットが考えられる。 さらに、検出された適当なテキスト情報TI(CI)は、いわゆるメニューリ ストやプルダウンメニューだけではなく、他の類似したコマンド表示形式上で検 出され得ることに注意する必要がある。

Claims (1)

  1. 【特許請求の範囲】 1. 作動され得る少なくとも一つの動作状態を有し作動状態に駆動され得る少 なくとも一つの処理ユニットと、内容に関して作動状態の少なくとも一つの処理 ユニットの少なくとも一つの作動された動作状態に依存するコマンドを収容する コマンド辞書を使用して、少なくとも一つの処理ユニットを少なくとも一つの動 作状態に関して制御する音声認識装置とを備え、 上記音声認識装置は、コマンド辞書のコマンドがコマンド情報及びコマンド情 報に割り当てられた識別情報の形式で記憶され得るコマンド辞書メモリと、少な くとも話者によって発話されたコマンドを表現する音声情報が供給され、上記コ マンド辞書メモリに記憶された識別情報を用いて上記音声情報に割り当てられる べきコマンド情報を検出するよう構成され、上記発話されたコマンドに対応する 処理ユニット動作状態が供給された上記検出されたコマンド情報によって作動さ れ得る処理ユニットに上記検出されたコマンド情報を転送するよう構成された音 声認識手段とを含む、製品であって、 処理ユニットの動作状態が作動された後に、この作動された動作状態だけに割 り当てられるコマンド辞書を作成するよう構成された作成手段が設けられている ことを特徴とする製品。 2. 上記作成手段の一部を形成し、処理ユニットの動作状態が作動された後に 、処理ユニットの少なくとも別の動作状態を作動させるため適当なコマンド情報 を検出するよう構成された検出手段が設けられ、 上記作成手段の一部を形成し、上記検出手段によって検出された適当なコマン ド情報が供給され、メモリから読み出された、又は、作成した識別情報を上記検 出された適当なコマンド情報に割り当てるよう構成され、上記検出された適当な コマンド情報及び上記識別 情報をコマンド辞書メモリに格納し、処理ユニットの上記作動された動作状態だ けに割り当てられるコマンド辞書を作成するよう構成された割り当て手段が設け られていることを特徴とする請求項1記載の製品。 3. 上記検出手段は、処理ユニット内で上記検出された適当なコマンド情報に 割り当てられ、処理ユニットの動作状態を作動させ得る制御情報を検出するよう 構成され、 上記検出手段は、上記音声認識手段によるコマンドを表現する音声情報に割り 当てられたコマンド情報と、上記検出手段によって検出された適当なコマンド情 報とを比較し、その比較の結果が肯定的である場合に、上記割り当てられたコマ ンド情報に割り当てられた制御情報を処理ユニットに送出するよう構成されてい ることを特徴とする請求項2記載の製品。 4. 上記音声認識装置は、処理動作のための動作状態に駆動され得る少なくと も2個の処理ウィンドウを有する処理ユニットと協働するよう構成され、及び/ 又は、処理動作のための動作状態に駆動され得る少なくとも1個の処理ウィンド ウを有する少なくとも2個の処理ユニットと協働するよう構成され、 上記作成手段の一部を形成する上記検出手段は、上記音声認識装置によって制 御された処理ユニットの上記動作状態に駆動された処理ウィンドウを検出するよ う構成され、 上記検出手段は、処理状態に駆動された処理ウィンドウを有する上記処理ユニ ットの動作状態を作動するため適した制御情報を検出することを特徴とする請求 項2記載の製品。 5. 上記音声認識装置は、ウィンドウズ処理ユニットと協働するよう構成され 、 上記検出手段は、上記ウィンドウズ処理ユニットによって管理されたコマンド 情報と、上記コマンド情報に割り当てられ、上記ウィンドウ処理ユニットと協働 する処理ユニットの処理状態の処理ウィンドウの切換領域を参照する制御情報と を検出するよう構成されていることを特徴とする請求項2記載の製品。 6. 作動され得る少なくとも一つの動作状態を有し作動状態に駆動され得る少 なくとも一つの処理ユニットと協働するよう構成され、内容に関して作動状態の 少なくとも一つの処理ユニットの少なくとも一つの作動された動作状態に依存す るコマンドを収容するコマンド辞書を使用して、少なくとも一つの処理ユニット を少なくとも一つの動作状態に関して制御し、 コマンド辞書のコマンドがコマンド情報及びコマンド情報に割り当てられた識 別情報の形式で記憶され得るコマンド辞書メモリと、少なくとも話者によって発 話されたコマンドを表現する音声情報が供給され、上記コマンド辞書メモリに記 憶された識別情報を用いて上記音声情報に割り当てられるべきコマンド情報を検 出するよう構成され、上記発話されたコマンドに対応する処理ユニット動作状態 が供給された上記検出されたコマンド情報によって作動され得る処理ユニットに 上記検出されたコマンド情報を転送するよう構成された音声認識手段とを含む音 声認識装置であって、 処理ユニットの動作状態が作動された後に、この作動された動作状態だけに割 り当てられるコマンド辞書を作成するよう構成された作成手段が設けられている ことを特徴とする音声認識装置。 7. 上記作成手段の一部を形成し、処理ユニットの動作状態が作動された後に 、処理ユニットの少なくとも別の動作状態を作動させるため適当なコマンド情報 を検出するよう構成された検出手段が設けられ、 上記作成手段の一部を形成し、上記検出手段によって検出された適当なコマン ド情報が供給され、メモリから読み出された、又は、作成した識別情報を上記検 出された適当なコマンド情報に割り当てるよう構成され、上記検出された適当な コマンド情報及び上記識別情報をコマンド辞書メモリに格納し、処理ユニットの 上記作動された動作状態だけに割り当てられるコマンド辞書を作成するよう構成 された割り当て手段が設けられていることを特徴とする請求項6記載の音声認識 装置。 8. 上記検出手段は、処理ユニット内で上記検出された適当なコマンド情報に 割り当てられ、処理ユニットの動作状態を作動させ得る制御情報を検出するよう 構成され、 上記検出手段は、上記音声認識手段によるコマンドを表現する音声情報に割り 当てられたコマンド情報と、上記検出手段によって検出された適当なコマンド情 報とを比較し、その比較の結果が肯定的である場合に、上記割り当てられたコマ ンド情報に割り当てられた制御情報を処理ユニットに送出するよう構成されてい ることを特徴とする請求項7記載の音声認識装置。 9. 処理動作のための動作状態に駆動され得る少なくとも2個の処理ウィンド ウを有する処理ユニットと協働するよう構成され、及び/又は、処理動作のため の動作状態に駆動され得る少なくとも1個の処理ウィンドウを有する少なくとも 2個の処理ユニットと協働するよう構成され、 上記作成手段の一部を形成する上記検出手段は、上記音声認識装置によって制 御された処理ユニットの上記動作状態に駆動された処理ウィンドウを検出するよ う構成され、 上記検出手段は、処理状態に駆動された処理ウィンドウを有する上記処理ユニ ットの動作状態を作動するため適した制御情報を検出 することを特徴とする請求項7記載の音声認識装置。 10. ウィンドウズ処理ユニットと協働するよう構成され、 上記検出手段は、上記ウィンドウズ処理ユニットによって管理されたコマンド 情報と、上記コマンド情報に割り当てられ、上記ウィンドウ処理ユニットと協働 する処理ユニットの処理状態の処理ウィンドウの切換領域を参照する制御情報と を検出するよう構成されていることを特徴とする請求項7記載の音声認識装置。 11. コマンド情報及びコマンド情報に割り当てられた識別情報の形式でコマ ンド辞書メモリに記憶され得るコマンドを収容するコマンド辞書を用いて、作動 され得る少なくとも一つの動作状態を有し作動状態に駆動され得る少なくとも一 つの処理ユニットを少なくとも一つの動作状態に関して制御するよう構成され、 少なくとも話者によって発話されコマンドを表現する音声情報が音声認識手段に 供給され、上記音声認識手段は上記コマンド辞書メモリに記憶された識別情報を 用いてかかる音声情報に対するコマンド情報を検出し、上記検出されたコマンド 情報は、発話されたコマンドに対応する処理ユニットの動作状態を作動させるた め処理ユニットに供給され得る音声認識装置のためのコマンド辞書を作成する方 法であって、 処理ユニットの動作状態が作動された後に、作成手段がこの作動された動作状 態だけに割り当てられるコマンド辞書を作成することを特徴とする方法。 12. 処理ユニットの動作状態が上記作成手段の一部の検出手段によって作動 された後に、処理ユニットの少なくとも別の動作状態を作動させるため適当なコ マンド情報が検出され、 メモリから読み出された、又は、上記作成手段の一部の割り当て手段によって 作成された識別情報が、上記検出された適当なコマン ド情報に上記割り当て手段によって割り当てられ、 上記検出された適当なコマンド情報及び上記識別情報がコマンド辞書メモリに 格納され、その結果として、処理ユニットの上記作動された動作状態だけに割り 当てられるコマンド辞書が作成されることを特徴とする請求項11記載の方法。 13. 処理ユニット内で上記検出された適当なコマンド情報に割り当てられ、 処理ユニットに供給されたときに処理ユニットの動作状態を作動させ得る制御情 報が上記検出手段によって検出され、 コマンドを表現する音声情報に上記音声検出手段によって割り当てられたコマ ンド情報を、上記コマンド辞書メモリに格納されたコマンド情報とを比較し、 その比較の結果が肯定的である場合に、上記割り当てられたコマンド情報に割 り当てられた制御情報が処理ユニットに送出され、上記処理ユニットの動作状態 が上記割り当てられたコマンド情報に従って作動されることを特徴とする請求項 12記載の方法。 14. 上記音声認識装置は、処理動作のための動作状態に駆動され得る少なく とも2個の処理ウィンドウを有する処理ユニットと協働するよう構成され、及び /又は、処理動作のための動作状態に駆動され得る少なくとも1個の処理ウィン ドウを有する少なくとも2個の処理ユニットと協働し、 上記音声認識装置を制御するため設けられた処理ユニットの処理状態処理ウィ ンドウは、上記作成手段の認識手段によって認識され、 処理状態に駆動された処理ウィンドウとして認識された処理ウィンドウを有す る上記処理ユニットの動作状態を作動するため適した制御情報が検出されること を特徴とする請求項12記載の方法。 15. 上記音声認識装置と協働するウィンドウズ処理ユニットが 使用され、 上記ウィンドウズ処理ユニットによって管理されたコマンド情報と、上記ウィ ンドウ処理ユニットと協働する処理ユニットの処理状態に駆動される処理ウィン ドウの切換領域のコマンド情報に割り当てられた制御情報とが検出されることを 特徴とする請求項12記載の方法。
JP53586899A 1997-12-30 1998-12-14 コマンド辞書を使用する音声認識方法 Expired - Fee Related JP4827274B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP97890259.1 1997-12-30
EP97890259 1997-12-30
PCT/IB1998/002038 WO1999035640A2 (en) 1997-12-30 1998-12-14 Speech recognition device using a command lexicon

Publications (2)

Publication Number Publication Date
JP2001515611A true JP2001515611A (ja) 2001-09-18
JP4827274B2 JP4827274B2 (ja) 2011-11-30

Family

ID=8231130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53586899A Expired - Fee Related JP4827274B2 (ja) 1997-12-30 1998-12-14 コマンド辞書を使用する音声認識方法

Country Status (7)

Country Link
US (1) US6253176B1 (ja)
EP (1) EP0962014B1 (ja)
JP (1) JP4827274B2 (ja)
KR (1) KR20000075828A (ja)
AT (1) ATE254327T1 (ja)
DE (1) DE69819690T2 (ja)
WO (1) WO1999035640A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154190A (ja) * 2004-11-29 2006-06-15 Toshiba Corp 音声移動制御装置および音声移動制御方法
JP2019102063A (ja) * 2017-11-30 2019-06-24 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド ページ制御方法および装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE489702T1 (de) 2000-01-27 2010-12-15 Nuance Comm Austria Gmbh Sprachdetektiongsgerät mit zwei abschaltkriterien
JP5105682B2 (ja) 2000-02-25 2012-12-26 ニュアンス コミュニケーションズ オーストリア ゲーエムベーハー 基準変換手段を伴なう音声認識装置
GB2365189A (en) * 2000-07-26 2002-02-13 Canon Kk Voice-controlled machine
JP2002123283A (ja) * 2000-10-12 2002-04-26 Nissan Motor Co Ltd 音声認識操作装置
US20030069733A1 (en) * 2001-10-02 2003-04-10 Ryan Chang Voice control method utilizing a single-key pushbutton to control voice commands and a device thereof
US7184960B2 (en) * 2002-06-28 2007-02-27 Intel Corporation Speech recognition command via an intermediate mobile device
DE10337823A1 (de) * 2003-08-18 2005-03-17 Siemens Ag Sprachsteuerung von Audio- und Videogeräten
JP4377718B2 (ja) * 2004-02-27 2009-12-02 富士通株式会社 対話制御システム及び方法
KR100657059B1 (ko) * 2004-07-19 2006-12-13 삼성전자주식회사 음성인식구동방법
KR101073154B1 (ko) * 2005-01-07 2011-10-12 주식회사 현대오토넷 윈도우 환경에서의 음성인식을 이용한 사용자 인터페이스장치 및 그 제어 방법
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US9368107B2 (en) * 2011-04-20 2016-06-14 Nuance Communications, Inc. Permitting automated speech command discovery via manual event to command mapping
US9992745B2 (en) 2011-11-01 2018-06-05 Qualcomm Incorporated Extraction and analysis of buffered audio data using multiple codec rates each greater than a low-power processor rate
KR20180137041A (ko) 2011-12-07 2018-12-26 퀄컴 인코포레이티드 디지털화된 오디오 스트림을 분석하는 저전력 집적 회로
CN103247290A (zh) * 2012-02-14 2013-08-14 富泰华工业(深圳)有限公司 通信装置及其控制方法
KR101944414B1 (ko) * 2012-06-04 2019-01-31 삼성전자주식회사 음성 인식 서비스를 제공하기 위한 방법 및 그 전자 장치
WO2013188540A1 (en) * 2012-06-12 2013-12-19 Grant Street Group, Inc. Practical natural-language human-machine interfaces
WO2015144536A1 (en) * 2014-03-27 2015-10-01 Sony Corporation Electronic device and method for identifying input commands of a user
US10515632B2 (en) 2016-11-15 2019-12-24 At&T Intellectual Property I, L.P. Asynchronous virtual assistant

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63153597A (ja) * 1986-12-17 1988-06-25 日本電信電話株式会社 検索照合型認識システム
JPH03163623A (ja) * 1989-06-23 1991-07-15 Articulate Syst Inc 音声制御コンピュータ・インターフェース
JPH0643894A (ja) * 1992-03-25 1994-02-18 Ricoh Co Ltd ウインドウ画面制御装置
JPH06348452A (ja) * 1993-04-21 1994-12-22 Internatl Business Mach Corp <Ibm> 話されたコマンドを認識する対話式コンピュータ・システム
JPH07140998A (ja) * 1992-12-28 1995-06-02 Toshiba Corp 音声認識インターフェース
JPH07219586A (ja) * 1994-01-31 1995-08-18 Canon Inc 情報処理方法及び装置
JPH08339198A (ja) * 1995-06-12 1996-12-24 Nec Corp プレゼンテーション装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386494A (en) * 1991-12-06 1995-01-31 Apple Computer, Inc. Method and apparatus for controlling a speech recognition function using a cursor control device
US5915236A (en) * 1992-11-13 1999-06-22 Dragon Systems, Inc. Word recognition system which alters code executed as a function of available computational resources
EP0607615B1 (en) * 1992-12-28 1999-09-15 Kabushiki Kaisha Toshiba Speech recognition interface system suitable for window systems and speech mail systems
US5890122A (en) * 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5873064A (en) * 1996-11-08 1999-02-16 International Business Machines Corporation Multi-action voice macro method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63153597A (ja) * 1986-12-17 1988-06-25 日本電信電話株式会社 検索照合型認識システム
JPH03163623A (ja) * 1989-06-23 1991-07-15 Articulate Syst Inc 音声制御コンピュータ・インターフェース
JPH0643894A (ja) * 1992-03-25 1994-02-18 Ricoh Co Ltd ウインドウ画面制御装置
JPH07140998A (ja) * 1992-12-28 1995-06-02 Toshiba Corp 音声認識インターフェース
JPH06348452A (ja) * 1993-04-21 1994-12-22 Internatl Business Mach Corp <Ibm> 話されたコマンドを認識する対話式コンピュータ・システム
JPH07219586A (ja) * 1994-01-31 1995-08-18 Canon Inc 情報処理方法及び装置
JPH08339198A (ja) * 1995-06-12 1996-12-24 Nec Corp プレゼンテーション装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154190A (ja) * 2004-11-29 2006-06-15 Toshiba Corp 音声移動制御装置および音声移動制御方法
JP2019102063A (ja) * 2017-11-30 2019-06-24 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド ページ制御方法および装置
US11164573B2 (en) 2017-11-30 2021-11-02 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for controlling page

Also Published As

Publication number Publication date
EP0962014A2 (en) 1999-12-08
EP0962014B1 (en) 2003-11-12
JP4827274B2 (ja) 2011-11-30
DE69819690D1 (de) 2003-12-18
KR20000075828A (ko) 2000-12-26
US6253176B1 (en) 2001-06-26
WO1999035640A2 (en) 1999-07-15
DE69819690T2 (de) 2004-08-12
WO1999035640A3 (en) 1999-09-16
ATE254327T1 (de) 2003-11-15

Similar Documents

Publication Publication Date Title
JP2001515611A (ja) コマンド辞書を使用する音声認識装置
US10748530B2 (en) Centralized method and system for determining voice commands
US6311159B1 (en) Speech controlled computer user interface
JP2848458B2 (ja) 言語翻訳システム
US6513009B1 (en) Scalable low resource dialog manager
US6308157B1 (en) Method and apparatus for providing an event-based “What-Can-I-Say?” window
US20020178344A1 (en) Apparatus for managing a multi-modal user interface
JPH08335160A (ja) ビデオスクリーン表示を音声対話型にするシステム
JP2000035795A (ja) 音声認識におけるノンインタラクティブ方式のエンロ―ルメント
JPS603699A (ja) 適応性自動離散音声認識方法
JPH03163623A (ja) 音声制御コンピュータ・インターフェース
JP3476007B2 (ja) 認識単語登録方法、音声認識方法、音声認識装置、認識単語登録のためのソフトウエア・プロダクトを格納した記憶媒体、音声認識のためのソフトウエア・プロダクトを格納した記憶媒体
JP2011504624A (ja) 自動同時通訳システム
JPH08339288A (ja) 情報処理装置及びその制御方法
JP2001268669A (ja) 移動電話端末を利用した機器制御装置、方法、及び記録媒体
JP2001188788A (ja) 会話処理装置および方法、並びに記録媒体
JP2005258235A (ja) 感情発話検知による対話修正機能を備えた対話制御装置
Sharman Speech interfaces for computer systems: Problems and potential
KR20080086790A (ko) 이동 단말기에서 음성 인식 기반의 문자 메시지 처리장치와방법
JP2001526817A (ja) テキストブロックデータ変更用の音声認識装置及びテキスト変更手段を具備したテキスト処理システム
CN112489640A (zh) 语音处理装置以及语音处理方法
JP2000215023A (ja) ペ―ジ記述言語表示装置及びペ―ジ記述言語表示プログラムを記録した機械読み取り可能な記録媒体
JPH06250689A (ja) 音声認識装置
JPH0944182A (ja) 音声認識装置および音声認識方法
JPS63259686A (ja) 音声入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090723

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090728

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100805

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees