JP3586777B2 - 音声入力装置 - Google Patents

音声入力装置 Download PDF

Info

Publication number
JP3586777B2
JP3586777B2 JP19341894A JP19341894A JP3586777B2 JP 3586777 B2 JP3586777 B2 JP 3586777B2 JP 19341894 A JP19341894 A JP 19341894A JP 19341894 A JP19341894 A JP 19341894A JP 3586777 B2 JP3586777 B2 JP 3586777B2
Authority
JP
Japan
Prior art keywords
voice
input
unit
input device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19341894A
Other languages
English (en)
Other versions
JPH0863330A (ja
Inventor
信之 鷲尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP19341894A priority Critical patent/JP3586777B2/ja
Publication of JPH0863330A publication Critical patent/JPH0863330A/ja
Application granted granted Critical
Publication of JP3586777B2 publication Critical patent/JP3586777B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は入力された音声情報に施すべき処理内容の変更、また入力された音声情報の出力内容の変更をスイッチ等を用いずに自動的に切換え可能とした音声入力装置に関する。
【0002】
【従来の技術】
図7は従来における音声入力装置の構成を示すブロック図であり、図中1はマイク等の音声入力部、2a,2b…2nはキーボード,マウス等音声以外の他の情報を入力する入力装置を示している。
音声入力部1から入力された音声情報は音声認識部5へ入力される。
音声認識部5は、予めスイッチ21にて入力される音声情報、例えばテキスト情報,コマンド情報等夫々に応じた処理モードに設定されており、処理モードがテキスト情報処理モードである場合には辞書格納部22からテキスト情報処理用辞書を読み出し、これに基づいて、またコマンド情報処理モードである場合には辞書格納部22からコマンド情報処理用辞書を読み出し、これに基づき入力された音声情報の認識処理を行い、認識結果を処理結果出力部6へ出力する。
処理結果出力部6も予めスイッチ21にて入力される音声情報に対応した出力モードに設定されており、入力された認識結果を、例えばテキストとして、又はコマンドとして夫々他の入力装置2a〜2nからの入力情報と共に出力する。
【0003】
【発明が解決しようとする課題】
ところで、音声入力部1を通じて入力されてくる対象は、例えば文章等の文字情報である場合、又アプリケーション、ウィンドウマネージャ、OSに対する操作命令である場合、又は音声波形データである場合等その時々によって変化する。
【0004】
このような種々の入力対象に対し音声認識部5において施すべき処理の内容、処理の手順も自づと異なるから、音声認識部5を夫々の入力対象に適応した処理モードに切換える必要があり、従来にあっては、スイッチ21を手動、又は音声入力により切換えて処理モードの設定を行っていた。この点は処理結果出力部6においても同様である。
【0005】
しかしスイッチ21を、例えば手動により切換えるには使用者は使用中のキーボード、又はマウス等から一旦手を離さざるを得ず、キーボード,マウスの操作が中断されることとなり、また音声入力により切換えるには、当然切換えのための特別なコマンドを登録しておく必要がある上、ノイズ,その他入力音声以外の周辺での会話等に起因する誤認識が生じ、操作者が期待していない時点で突発的に処理モード,出力モードの切換えが行われることがある等の不都合があった。
【0006】
本発明はかかる事情に鑑みなされたものであって、その目的とするところは入力音声に施すべき処理の変更、及び出力態様の変更を操作者に特別の操作を要求することなく自動的に行い得るようにすることにある。
本発明の他の目的は音声処理部において入力された音声情報に対して音声認識処理を行い場合にテキスト,コマンド等入力された音声情報に応じて音声辞書の切換えを自動的に行い得るようにすることにある。
【0007】
本発明の更に他の目的は、入力された音声情報に対して、音声処理を施すことなく出力する場合にも判定部にて、これを自動的に判定して出力部に対する制御を可能とすることにある。
本発明の更に他の目的は、キーボード,マウス等通常のコンピュータに備えられているものの使用状況及び/又は使用履歴に基づいて判定部が判定を行うこととすることで広範囲にわたる適用を可能とすることにある。
【0008】
本発明の更に他の目的は、入力された音声情報が予め定めた単語である場合には判定部の判定結果の如何にかかわらず、予め定めた態様の出力を出力部から行わせることで、処理の効率化を図ることにある。
本発明の更に他の目的は、判定部における判定処理の内容を必要に応じて変更可能とすることで、適用範囲を更に拡大可能ならしめることにある。
【0009】
【課題を解決するための手段】
以下本発明の原理を図1に示す原理図に基づき説明する。
図1は本発明に係る音声入力装置の原理図であり、図中1は音声入力部、2a,2b〜2nはキーボード,マウス等、音声以外の情報を入力する入力装置を示している。
音声入力部1から入力された音声情報はディジタル情報として音声処理部5へ入力される。
【0010】
一方入力装置2a〜2nの使用状況及び/又は使用履歴が逐次判定部7ヘ取り込まれており、判定部7はこれら使用状況及び/又は使用履歴に基づいて、予め設定された判定処理の内容、即ちアルゴリズムに従って音声入力部1から現に入力されつつある音声情報又は次に入力される音声情報が如何なる内容のものか、例えばテキスト入力、又はコマンド入力か、又は音声処理部において何ら処理を施す必要のないデータか等を判定し、この判定結果に基づいて音声処理部5及び出力部6へ夫々所定の指令を与える。
【0011】
一般に、例えばキーボードの入力に熟練した操作者の場合、音声入力により文章等を入力するよりも、キーボードを使用して入力する方が処理を迅速に行えるのが普通である。従ってキーボードを使用している際、熟練した操作者においてあえて音声入力したいと考えるような対象は、例えばウィンドウのオープン、アプリケーションのモード変更等の操作命令であることが多い。一方マウスを使用中の場合には、文章等を入力するには一旦マウスから手を離し、キーボードを使用して文章を入力し、再びマウスに手を戻す動作が必要となることから、操作命令に限らず音声入力により文字情報の入力を行いたいと欲する場合が多い。
つまり音声以外の情報を入力する入力装置であるキーボード,マウスの使用履歴,使用状況を把握することで、入力音声に対して音声処理部5で施すべき処理内容,出力部6の出力態様を判断することが可能となるのである。
【0012】
音声処理部5に対しては、入力される音声情報に対し、音声認識処理を施すべきか否か、また音声認識処理を施すべき場合にはテキストとして、又はコマンドとして認識処理を行うべきか否かの指令を与え、音声処理部5を制御する。
また出力部6に対しては、音声処理部5から与えられる認識結果がテキストである場合にはテキストとして出力すべく、又はコマンドである場合はコマンドとして出力すべく、更に音声処理部5において何ら処理を施されなかった内容については、例えばこれを波形エディタへ出力すべく指令を与え、出力部6を制御する。
【0013】
これによって音声処理部5は判定部7からの指令に従って入力された音声情報に対応可能にモード設定され、入力された音声情報に所定の音声処理を施して、又は処理を施すことなくこれを出力部6へ出力する。
また出力部6は同じく判定部7からの指令に従って音声処理部5からの入力が、例えばテキスト入力の場合にはテキストとして、またコマンド入力の場合にはコマンド入力として、他の入力装置2a,2b…2nからの入力と同様、ワードプロセッサ,波形エディタ等へ出力する。
【0014】
なお、入力された音声情報の認識結果が予め定めた特定の単語等である場合は出力部は予め定めた態様の出力を他の態様に優先して行うこととしてもよい。
また、操作者は判定部7の判定処理内容は任意に変更可能であって操作者は判定結果を適用対象に応じて変更させることで適用可能範囲を拡大し得るようにしてある。
【0015】
第1の発明に係る音声入力装置は、音声入力部と、音声以外の情報を入力する入力装置と、前記音声入力部から入力された音声情報に所定の処理を施す音声処理部とを備えた音声入力装置において、前記入力装置の信号に基づいて前記入力装置が使用中であるか否かを検出し、使用中であると検出された入力装置に応じて、入力された音声情報に施すべき処理の内容を判定し、判した結果に応じて前記音声処理部を制御する判定部とを具備することを特徴とする。
【0016】
第2の発明に係る音声入力装置は、第1の発明において、前記判定部は、使用中であると検出された入力装置に入力された音声情報の内容が設定された設定ファイルを有し、使用中であると検出された入力装置と前記設定ファイルに基づいて、入力された音声情報に施すべき処理の内容を判定し、判定した結果に応じて前記音声処理部を制御することを特徴とする。
【0017】
第3の発明に係る音声入力装置は、第2の発明において、前記設定ファイルは、音声情報をデフォルト又は使用中のアプリケーションと対応付けて設定してあり、前記判定部は、使用中のアプリケーションの信号を検知し、使用中のアプリケーションの有無とアプリケーションが使用中であるか否かを判定し、使用中であると検出された入力装置、使用中であると判定されたアプリケーション、及び前記設定ファイルに基づいて、入力された音声情報に施すべき処理の内容を判定し、判定した結果に応じて前記音声処理部を制御することを特徴とする。
【0018】
第4の発明の係る音声入力装置は、第1乃至第3の発明において、前記音声処理部は複数の音声辞書と、この複数の音声辞書のうちのいずれか一つ又は複数を選択する辞書切替部とを備え、前記判定部は、判定した結果に応じて前記辞書切替部に音声辞書の選択指令を出力し、前記辞書切替部は、前記選択指令に基づいて音声辞書を切り替えることを特徴とする。
【0019】
第5の発明に係る音声入力装置は、音声入力部と、音声以外の情報を入力する入力装置と、前記音声入力部から入力された音声情報に所定の処理を施す音声処理部と、該音声処理部で処理された結果を出力する出力部とを備えた音声入力装置において、前記入力装置の信号に基づいて前記入力装置が使用中であるか否かを検出し、使用中であると検出された入力装置に応じて、入力された音声情報に施すべき処理内容及びこの処理結果の出力態様を判定し、この判定結果に応じて前記音声処理部及び前記出力部を制御する判定部とを具備することを特徴とする。
【0020】
第6の発明に係る音声入力装置は、第5の発明において、入力された音声情報に対する音声処理部の認識結果が予め定めた単語である場合に、前記出力部は判定部の判定結果の如何にかかわらず、予め定めた態様の出力を行うべく動作するようにしてあることを特徴とする。
【0021】
第7の発明に係る音声入力装置は、第1乃至第6の発明において、前記入力装置はキーボード及び/又はマウスであることを特徴とする。
【0022】
【作用】
第1の発明にあっては、音声以外の情報を入力する入力装置が使用中であるか否かに応じて判定部が入力音声に施すべき処理を自動的に判定して音声処理部に対して指示することとなり、操作者は処理内容の指示を必要としない。
【0023】
第2の発明にあっては、音声以外の情報を入力する入力装置が使用中であるか否か、及び設定ファイルの内容に基づいて判定部が入力音声に施すべき処理を自動的に判定して音声処理部に対して指示することとなり、操作者は処理内容の指示を必要としない。
【0024】
第3の発明にあっては、音声以外の情報を入力する入力装置が使用中であるか否か、及び設定ファイルの内容に基づいて判定部が入力音声に施すべき処理を自動的に判定して音声処理部に対して指示することとなり、操作者は処理内容の指示を必要としない。
【0025】
第4の発明にあっては、音声処理部において音声認識のために用いる複数の辞書を辞書切替部にて自動的に切替え可能となる。
【0026】
第5の発明にあっては、音声以外の情報を入力する入力装置が使用中であるか否かに基づいて判定部が判定結果に応じて音声処理部、出力部夫々に対し、指令を出力することでこれらに対する制御を自動的に行うことが可能となる。
【0027】
第6の発明にあっては、判定部の判定結果の如何にかかわらず、予め定めた認識結果に対し、出力部に予め定めた態様の出力を行わせることで、誤動作を低減すると共に、操作性を向上し得る。
【0028】
第7の発明にあっては、キーボード、マウスが使用中であるか否かに関する情報を用いることで、キーボード、マウスを備える汎用コンピュータへの適用が可能となる。
【0029】
【実施例】
(実施例1)
以下本発明をその実施例を示す図面に基づき具体的に説明する。
図2は本発明に係る音声入力装置を図形編集機能付のワードプロセッサ11に適用した場合の構成を示すブロック図であり、図中1はマイク等にて構成された音声入力部、2a,2bは音声以外の情報を入力するキーボード,マウス等の入力装置を示している。
音声入力部1より入力された音声情報はA/D変換部3でアナログ信号をディジタル信号に変換されて、音声認識部として構成された音声処理部5へ入力される。
【0030】
一方音声以外の情報を入力する入力装置2a,2bからの入力情報はワードプセッサ11へ入力される他、逐次判定部7へ取り込まれる。
判定部7はキーボード,マウス等の入力装置2a,2bからの信号に基づき予め設定した判定処理内容,即ちアルゴリズムに従いこれらの使用状況及び/又は使用履歴を認識し、音声入力部1を通じて現に入力され、また後に入力されてくる音声情報の内容及び入力される音声情報に対して施すべき処理の内容を判定する。
具体的には入力されてきた音声情報がテキスト情報か、コマンド情報か、並びに夫々の情報に対し音声処理部5で施すべき処理の内容及び出力部6からの出力態様を判定し、夫々に応じた指令を辞書切替部8及び出力部6へ与える。
【0031】
なお、キーボード,マウス等の各入力装置2a,2bにその使用の有無を検出するセンサが付設されている場合、このセンサ出力を判定部7に取り込み、これらの使用状況,使用履歴を認識し、判定を行うこととしてもよい。
辞書切替部8は判定部7からの指令によりテキスト用辞書、又はコマンド用辞書10を音声処理部5へ読み出す。
【0032】
音声処理部5は前記判定部7からの指令に基づき動作される辞書切替部8にて選択的に切替えられたテキスト用辞書9又は/コマンド用辞書10を読み出し、これらに基づいて、音声情報の認識処理を行い、認識結果を出力部6へ出力する。出力部6は前記判定部7からの指示に基づき音声情報がテキスト入力の場合にはテキストとして、またコマンド入力の場合にはコマンドとしてこれをワードプロセッサ11へ出力する。
【0033】
次に本発明装置の動作を図3に示すフローチャートに従って説明する。
図3は判定部7が現在使用中の入力装置が何であるかに基づいて判定を行う場合の処理過程を示すフローチャートであり、先ず使用中の入力装置2a,2bは何れかを判断し (ステップS1)、使用中の入力装置がマウスの場合には入力される音声情報はワードプロセッサ11で編集中の文書に対するテキスト入力と判定し (ステップS2)、またキーボードである場合には、入力される音声情報はワードプロセッサ11に対するコマンド入力と判定し (ステップS3)、夫々の判定に基づき辞書切替部8及び出力部6へ対応する指示を出力する。
【0034】
次に具体例を挙げて処理内容を説明する。
例えば操作者がキーボードを使用してワードプロセッサ11により文章を作成中である場合、文章のバックアップを採るべく「セーブ」と発声すると、判定部7は操作者がキーボード使用中であることを認識し、入力された音声情報が前述の如くワードプロセッサ11に対するコマンド入力と判定し、辞書切替部8に対しコマンド用辞書10を選択すべく指令を出力し、また出力部6に対しては音声認識部の認識結果をコマンドとして、ワードプロセッサ11へ出力すべく指示する。
【0035】
この結果、音声認識部として構成された音声処理部5においては入力された音声情報を、コマンド用辞書10を用いて「セーブ」と認識し、その認識結果を出力部6へ出力する。出力部6は認識結果「セーブ」をコマンド「save」としてワードプロセッサ11へ出力し、ワードプロセッサ11はコマンド「save」を受けて編集中の文書のセーブを行う。
【0036】
また操作者がワードプロセッサ11にて図形編集を行っているものとして、その図形中の所定部分に、例えば「日本語」というテキストを書入れるべく、先ず「日本語」を入れたい位置をマウスにて指定し、「日本語」と発声したとする。判定部7は操作者がマウスの使用中であることを認識し、前述した如く入力された音声をワードプロセッサ11の編集中の文書に対するテキスト入力と判定し、辞書切替部8にテキスト用辞書9を選択すべく指示し、また出力部6に対してはテキスト表示として出力すべく指示する。
【0037】
これによって音声処理部5は入力された音声情報をテキスト用辞書9を用いて「日本語」と認識し、この認識結果を出力部6へ出力する。出力部6は「日本語」をテキストとしてワードプロセッサ11へ出力し、ワードプロセッサ11はマウスによる指示位置にテキストである「日本語」を挿入表示する。
【0038】
(実施例2)
実施例2は波形エディタ12を用いて入力された音声情報に対する編集を行っており、入力された音声情報に対し音声認識部として構成された音声処理部5が特別な処理を施す必要のない場合を示している。
図4は本発明の実施例2の構成を示すブロック図である。この実施例2においてはA/D変換部3と音声認識部として構成された音声処理部5との中間に音声記憶部4を介装し、判定部7からの指示は辞書切替部8,出力部6の他に、この音声記憶部4へも出力するようにしてある。また波形エディタ12はキーボード,マウス等の入力装置2a,2b夫々からの出力の他に、出力部6からの出力が入力され、波形エディタ12からは波形エディタ使用中であることを示す信号が判定部7へ与えられるようにしてある。
【0039】
判定部7は、キーボード,マウス等の入力装置2a,2bの使用を示す信号と、波形エディタ12からの波形エディタの使用を示す信号とに基づき、入力された音声情報の内容が波形編集のためのデータであることを認識し、音声記憶部4へ音声を記憶すべく指令を出力し、また出力部6に対してはその波形を波形エディタ12へ出力すべく指令を出力する。
図5は判定部7の処理過程を示すフローチャートである。先ず、入力された音声情報が音声記憶部4に録音中か否かを判定し(ステップS11)、録音中であれば入力された音声情報(波形)を出力するのみで、これに対する認識処理を行わない対象であると判定する(ステップS12)、一方入力された音声情報を録音していない場合には、使用中の入力装置はキーボードか、又はマウスかを判断する(ステップS13)。
【0040】
キーボードの場合には入力された音声情報をコマンド入力と判定し(ステップS14)、またマウスを使用中の場合には文字入力の要求が有るか否かを判断し(ステップS15)、無い場合には入力された音声情報をコマンド入力と判定し(ステップS14)、また有る場合には入力された音声情報はテキスト入力と判定する(ステップS16)。
【0041】
具体的に操作者が自らの声をマイクを通じて入力(録音)し、その波形を編集し、編集結果をファイルに保存すべく作業中の場合について説明する。
操作者はマイクに向かって発声し、自らの声の録音を開始する。このような状態下では波形エディタ12から判定部7に対し、音声の録音中である旨の情報が入力される。これによって判定部7は音声処理部5で入力された音声情報に対し、音声の認識処理を施す必要がなく、単にその波形を出力するのみでよいと判定する。
判定部7はこの判定に基づき音声記憶部4に対し入力された音声情報を録音すべく指令し、また出力部6に対しては入力された音声波形をそのまま波形エディタ12へ出力すべく指示する。なお辞書切替部8に対しては音声認識処理を必要としないことから指令は出力されない。
【0042】
この結果、A/D変換部3にてディジタル化された音声情報は音声記憶部4にて録音された後、直接出力部6へ出力され、また出力部6は入力された音声波形を波形エディタ12へ出力する。
操作者は発声の録音が終了すると波形の編集を開始する。波形エディタ12は操作者が波形の区間をマウスを用いて指定し、「エコー」と発声すると指定された波形に対しエコー処理を施し、また「クリア」と発声したとすると指定された波形を消去すべく処理を行う。
【0043】
即ち、現在キーボードの使用中である場合、判定部7はキーボードからの使用中であることを示す信号及び波形エディタ12を通じて入力される信号に基づき入力された音声情報はコマンドであると判定する。
これに従って判定部7は音声記憶部4に対し、音声処理部5へ音声を送るべく指令し、また辞書切替部8に対してはコマンド用辞書10を選択すべく指令し、出力部6に対してはコマンドを波形エディタ12へ送るべく指令する。
【0044】
この結果、音声処理部5はコマンド用辞書10を用いて入力された音声情報に対する認識処理を行い、入力音声である、例えば「エコー」又は「クリア」を認識し、これを出力部6へ出力する。
出力部6は認識結果である「エコー」又は「クリア」をコマンドとして波形エディタ12へ送り、このコマンドが実行される。
次に操作者が編集した内容を保存すべく「セーブ」と発声したとする。この「セーブ」が名称未設定ファイル、換言すれば新規ファイルである場合、波形エディタ12はファイルの名称を要求する。そこでファイル名として「自分の声」と発声した場合、マウスを使用中であっても波形エディタ12はテキスト入力を要求するから判定部7が入力された音声情報をテキストと判定する。
【0045】
判定部7は辞書切替部8に対しテキスト用辞書9を選択すべく指令を出力し、また出力部6に対してはテキストとしての「自分の声」を出力すべく指示する。この結果、音声処理部5はテキスト用辞書9を用いて音声情報に対する認識処理を行い、これを出力部6へ出力する。出力部6は認識結果である「自分の声」をテキストとして波形エディタ12へ出力し、ファイル名である「自分の声」が波形エディタ12へ入力され、セーブされる。
このような実施例2にあってはファイル名の如き文字入力、又は「エコー」の如きディレイタイムの数値入力等は操作中のマウスからキーボードに手を移さなくても音声入力により入力が可能となる。
【0046】
なお、実施例1,2のいずれの場合について、判定部7の判定結果が如何なるものであっても、音声認識の結果が予め定めた「特定単語」である場合には出力部6は予め定めた所定の出力制御を行うこととしてもよい。
例えば特定単語がウィンドウマネージャー,OSに対する操作指令である「リサイズ」又は所定の人名、例えば「田中」である場合、出力部6は「リサイズ」の場合にあってはウィンドウのサイズ変更のための操作指令をウィンドウマネージャー,OSへ出力する。
【0047】
「リサイズ」の場合、所定のウィンドウのもとでアプリケーションを操作中であって、判定部7が入力された音声情報をアプリケーションへのコマンドと判定した場合、実質的に入力音声に対する処理内容の優先順位を認識結果を利用して設定しているのと等価となり、操作性が格段に向上する。
また、広く使われている人名である、例えば「田中」が音声入力部1から入力された場合、これを「無視」するように判定部の処理内容を設定することで周囲から「田中」の音声が頻繁に混入する虞れがある場合においてもこれによる誤認を避け得ることとなる。
【0048】
(実施例3)
実施例1,2では判定部7に対して入力装置2a,2bの使用状況,使用履歴に基づき如何なる判定を行わせるかの判定処理内容は、音声入力システムの始動に際して初期設定される場合について説明したが、この実施例3では任意の時点で再設定することが可能となっている。
【0049】
図6(a)は判定部7における判定処理内容、即ちアルゴリズムの初期設定処理過程、図6(b)はアルゴリズムの設定変更処理過程夫々のフローチャートである。
先ず、アルゴリズムの初期設定は音声入力装置の起動時に初期設定ファイルが存在するか否かを判断し (ステップS21)、存在しない場合は「固有の設定」、例えばキーボード使用時はコマンド入力と、またマウス使用時はテキスト入力とする判定処理の設定を行う (ステップS22)。
【0050】
また存在する場合、換言すればユーザーが好みに応じて設定する設定ファイルが存在する場合には前期「固有の設定」に優先して、判定部7は初期設定ファイルを読込み (ステップS23)、この初期設定ファイルの内容に従って設定を行い (ステップS24)、設定ファイルに現在の設定内容を保存する (ステップS25)。
【0051】
一方再設定を行う場合には設定ファイルをユーザーがエディタ等を用いて変更し(ステップS31)、新たな設定ファイルを読込み(ステップS32)、この読み込んだ設定ファイル内容に応じて再設定を行う(ステップS33)。
【0052】
次に具体例を挙げて説明する。
いま、例えば初期設定ファイルの内容が表1の如きものであったとする。
【0053】
【表1】
Figure 0003586777
【0054】
このような初期設定ファイルを読込んだ判定部7はデフォルトの場合、キーボード使用時にあっては、入力された音声情報をコマンド入力と判定し、またマウス使用時あっては入力された音声情報を無視することとなる。
【0055】
また操作者が文章エディタを使用している場合、文章エディタのウィンドウがアクティブであれば、キーボード使用時には入力された音声情報をコマンド入力と、またマウス使用時には入力された音声情報をテキスト入力と判定する。
一方このような初期設定ファイルのもとで音声入力装置を使用中に、操作者が波形エディタを使用しようとした場合、この初期設定ファイルで音声波形データの設定が出来ないから設定ファイルの再設定を行う。
いま、再設定のファイルが表2の如くであったとする。
【0056】
【表2】
Figure 0003586777
【0057】
これによって、いま波形エディタを使用している状況下では、キーボード使用中の場合には、判定部7は入力された音声情報をコマンド入力と、またマウスを使用中の場合には入力された音声情報を波形入力と夫々判定する。
ただ波形エディタを使用している状況下であっても、ファイル名入力時にはキーボード、マウスのいずれを使用中であっても判定部7は入力された音声情報をテキスト入力と判定することとなる。
【0058】
このような実施例3にあっては判定部7に対し、キーボードの使用中にあっては入力された音声情報を「コマンド」として、またマウス使用中にあっては入力された音声情報を「テキスト」と判定すべく判定のアルゴリズムを設定しておくことで判定部7がこれに従って自動的に判定処理する。これによって操作者の動作と、入力された音声に対する取扱いが協調的となり、作業効率が向上する。
【0059】
【発明の効果】
第1の発明にあっては判定部が音声以外の情報を入力する入力装置が使用中であるか否かに基づいて音声処理部に対してどのような処理を行わせるかを判定することで、この判定結果に基づき音声処理部の処理が自動的に切替えられることとなり、操作者は特別な操作を行うことなく、発声のみで自動処理することが可能となる。
【0060】
第2の発明にあっては判定部が音声以外の情報を入力する入力装置が使用中であるか否か、及び設定ファイルの内容に基づいて音声処理部に対してどのような処理を行わせるかを判定することで、この判定結果に基づき音声処理部の処理が自動的に切替えられることとなり、操作者は特別な操作を行うことなく、発声のみで自動処理することが可能となる。
【0061】
第3の発明にあっては判定部が音声以外の情報を入力する入力装置が使用中であるか否か、及び設定ファイルの内容に基づいて音声処理部に対してどのような処理を行わせるかを判定することで、この判定結果に基づき音声処理部の処理が自動的に切替えられることとなり、操作者は特別な操作を行うことなく、発声のみで自動処理することが可能となる。
【0062】
第4の発明にあっては、音声処理部において音声認識を行う場合には、各種の辞書を操作者が特別な指示を行うことなく、自動的に選定して音声処理部への読出しを可能とする。
【0063】
第5の発明にあっては、判定部が音声以外の情報を入力する入力装置が使用中であるか否かに基づいて音声処理部に対してどのような処理を行わせるかを判定することで、この判定結果に基づき音声処理部の処理が自動的に切替えられることとなり、操作者は特別な操作を行うことなく、発声のみで自動処理することが可能となる。
【0064】
第6の発明にあっては、判定部の判定結果の如何にかかわらず予め定めた特定の音声が入力された場合には、予め定めた最優先順位の処理を行わせることで誤認識が低減される共に、操作性が向上する。
【0065】
第7の発明にあっては、キーボード,マウスを備える汎用コンピュータに広く適用可能となる。
【図面の簡単な説明】
【図1】本発明の原理図である。
【図2】本発明の実施例1の構成を示すブロック図である。
【図3】実施例1における判定部の処理過程を示すフローチャートである。
【図4】実施例2の構成を示すブロック図である。
【図5】実施例2における判定部の処理過程を示すフローチャートである。
【図6】実施例3における判定部の判定処理内容の初期設定過程及び設定変更過程を示すフローチャートである。
【図7】従来装置の構成を示すブロック図である。
【符号の説明】
1 音声入力部
2a〜2n 入力装置
5 音声処理部
6 出力部
7 判定部
8 辞書切替部
9 テキスト用辞書
10 コマンド用辞書
11 ワードプロセッサ
12 波形エディタ

Claims (7)

  1. 音声入力部と、音声以外の情報を入力する入力装置と、前記音声入力部から入力された音声情報に所定の処理を施す音声処理部とを備えた音声入力装置において、
    前記入力装置の信号に基づいて前記入力装置が使用中であるか否かを検出し、使用中であると検出された入力装置に応じて、入力された音声情報に施すべき処理の内容を判定し、判した結果に応じて前記音声処理部を制御する判定部とを具備することを特徴とする音声入力装置。
  2. 前記判定部は、使用中であると検出された入力装置に入力された音声情報の内容が設定された設定ファイルを有し、
    使用中であると検出された入力装置と前記設定ファイルに基づいて、入力された音声情報に施すべき処理の内容を判定し、判定した結果に応じて前記音声処理部を制御することを特徴とする請求項1記載の音声入力装置。
  3. 前記設定ファイルは、音声情報をデフォルト又は使用中のアプリケーションと対応付けて設定してあり、
    前記判定部は、使用中のアプリケーションの信号を検知し、使用中のアプリケーションの有無とアプリケーションが使用中であるか否かを判定し、
    使用中であると検出された入力装置、使用中であると判定されたアプリケーション、及び前記設定ファイルに基づいて、入力された音声情報に施すべき処理の内容を判定し、判定した結果に応じて前記音声処理部を制御することを特徴とする請求項2に記載の音声入力装置。
  4. 前記音声処理部は複数の音声辞書と、この複数の音声辞書のうちのいずれか一つ又は複数を選択する辞書切替部とを備え、
    前記判定部は、判定した結果に応じて前記辞書切替部に音声辞書の選択指令を出力し、前記辞書切替部は、前記選択指令に基づいて音声辞書を切り替えることを特徴とする請求項1乃至3のいずれか一項に記載の音声入力装置。
  5. 音声入力部と、音声以外の情報を入力する入力装置と、前記音声入力部から入力された音声情報に所定の処理を施す音声処理部と、該音声処理部で処理された結果を出力する出力部とを備えた音声入力装置において、
    前記入力装置の信号に基づいて前記入力装置が使用中であるか否かを検出し、使用中であると検出された入力装置に応じて、入力された音声情報に施すべき処理内容及びこの処理結果の出力態様を判定し、この判定結果に応じて前記音声処理部及び前記出力部を制御する判定部とを具備することを特徴とする音声入力装置。
  6. 入力された音声情報に対する音声処理部の認識結果が予め定めた単語である場合に、前記出力部は判定部の判定結果の如何にかかわらず、予め定めた態様の出力を行うべく動作するようにしてあることを特徴とする請求項5に記載の音声入力装置。
  7. 前記入力装置はキーボード及び/又はマウスであることを特徴とする請求項1乃至6のいずれか一項に記載の音声入力装置。
JP19341894A 1994-08-17 1994-08-17 音声入力装置 Expired - Fee Related JP3586777B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19341894A JP3586777B2 (ja) 1994-08-17 1994-08-17 音声入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19341894A JP3586777B2 (ja) 1994-08-17 1994-08-17 音声入力装置

Publications (2)

Publication Number Publication Date
JPH0863330A JPH0863330A (ja) 1996-03-08
JP3586777B2 true JP3586777B2 (ja) 2004-11-10

Family

ID=16307642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19341894A Expired - Fee Related JP3586777B2 (ja) 1994-08-17 1994-08-17 音声入力装置

Country Status (1)

Country Link
JP (1) JP3586777B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406420B2 (en) 2002-07-23 2008-07-29 Omron Corporation Data input method and data input device for inputting text and voice data

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721987B2 (ja) * 1991-07-16 1995-03-08 株式会社愛知電機製作所 真空切替遮断器
JP4528384B2 (ja) * 1999-07-08 2010-08-18 マイクロソフト コーポレーション 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置
US6581033B1 (en) * 1999-10-19 2003-06-17 Microsoft Corporation System and method for correction of speech recognition mode errors
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
CN101331537A (zh) * 2005-12-14 2008-12-24 三菱电机株式会社 声音识别装置
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) * 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP2016521948A (ja) 2013-06-13 2016-07-25 アップル インコーポレイテッド 音声コマンドによって開始される緊急電話のためのシステム及び方法
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP6518096B2 (ja) * 2015-03-17 2019-05-22 株式会社メガチップス 音声認識システムおよび音声認識方法
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
WO2022003879A1 (ja) * 2020-07-01 2022-01-06 日本電信電話株式会社 音声操作装置、音声操作方法および音声操作プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406420B2 (en) 2002-07-23 2008-07-29 Omron Corporation Data input method and data input device for inputting text and voice data

Also Published As

Publication number Publication date
JPH0863330A (ja) 1996-03-08

Similar Documents

Publication Publication Date Title
JP3586777B2 (ja) 音声入力装置
US7330868B2 (en) Data input apparatus and method
JP3979209B2 (ja) データ入力方法およびデータ入力装置
US5818800A (en) Voice recording device having portable and local modes of operation
US5764852A (en) Method and apparatus for speech recognition for distinguishing non-speech audio input events from speech audio input events
US20050114132A1 (en) Voice interactive method and system
US20020082844A1 (en) Speechdriven setting of a language of interaction
JP2007010971A (ja) 音声認識方法及び音声認識装置
WO1994020899A1 (en) Data entry device
JP3795692B2 (ja) 文字処理装置および方法
JP2008145693A (ja) 情報処理装置及び情報処理方法
EP0249494A2 (en) Word processing system with means to record and play back messages from an operator relating to the text
JP2006208486A (ja) 音声入力装置
JP2002108390A (ja) 音声認識装置及びコンピュータ読み取り可能な記録媒体
JP2008051883A (ja) 音声合成制御方法および装置
JP2004102632A (ja) 音声認識装置および画像処理装置
JP4528384B2 (ja) 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置
JPH10326175A (ja) 音声指示装置および音声指示情報記憶媒体
JP3846500B2 (ja) 音声認識対話装置および音声認識対話処理方法
JPH11237892A (ja) 音声認識による制御装置及び方法並びに音声認識による制御用プログラムを記録した記録媒体
JPH07219591A (ja) 音声処理装置および方法
JPH1115490A (ja) マイクロフォン装置および音声認識システム
JP6768613B2 (ja) 音声処理装置、方法およびプログラム
JP2002351484A (ja) 音声読み上げ装置及びその制御方法
KR100336960B1 (ko) 부하를줄이는음성신호인식장치및그방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040727

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080820

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090820

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100820

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110820

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120820

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees