JP3557467B2 - Method and apparatus for recognizing voice data - Google Patents

Method and apparatus for recognizing voice data Download PDF

Info

Publication number
JP3557467B2
JP3557467B2 JP15372297A JP15372297A JP3557467B2 JP 3557467 B2 JP3557467 B2 JP 3557467B2 JP 15372297 A JP15372297 A JP 15372297A JP 15372297 A JP15372297 A JP 15372297A JP 3557467 B2 JP3557467 B2 JP 3557467B2
Authority
JP
Japan
Prior art keywords
candidate
input
voice
word
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15372297A
Other languages
Japanese (ja)
Other versions
JPH113093A (en
Inventor
喜治 林
幸治 大賀
武一 丸山
功 四郎丸
一三雄 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chugoku Electric Power Co Inc
Hitachi Ltd
Original Assignee
Chugoku Electric Power Co Inc
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chugoku Electric Power Co Inc, Hitachi Ltd filed Critical Chugoku Electric Power Co Inc
Priority to JP15372297A priority Critical patent/JP3557467B2/en
Publication of JPH113093A publication Critical patent/JPH113093A/en
Application granted granted Critical
Publication of JP3557467B2 publication Critical patent/JP3557467B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明はプラントや工場等で運転,保守,点検などの業務を計算機を用いて行うシステムに係り、特に、音声によりデータを入力したときの音声データの認識率を向上させるのに好適な音声データの認識方法及びその装置に関する。
【0002】
【従来の技術】
近年、発電プラントの運転,保守,点検作業などへの音声認識装置の利用が進められている。これは、音声で、例えば、点検結果を入力し、記録することで、点検作業等の簡便化を図ろうとするものである。このように音声認識の実用化が進められているが、音声認識率については必ずしも十分な性能を有していない。マンマシン性が良く、使いやすいシステムにするには、音声認識の認識率の向上が必須である。
【0003】
従来の音声認識では、入力された音声信号に対して特徴パラメータを抽出することにより作成した入力音声パターンと、予め辞書に格納されている標準パターンとを比較して類似度を求め、類似度が最も高い語を認識結果としている。しかし、この手法では、発音が類似している単語は誤認識されやすい。また、特に数字などの短い語に関しては、標準パターンと比較するための情報量が少ないので、誤認識されやすいという欠点がある。プラントなどの運転,保守,点検では、類似する系統・機器名が多数存在する。また、温度,流量等の数値を入力する場合も多い。このため、音声認識技術をプラント運転等に適用するには、類似する語や数値に対する誤認識を防止する機能を強化する必要がある。
【0004】
従来の誤認識を低減する方法として、例えば、特開昭61−122781号公報記載の方法が知られている。この従来の音声認識方法では、入力信号と標準パターンとを比較して候補となる語を選び、これに使用頻度等により求められた言語適合度を加味して認識単語を決定している。
【0005】
【発明が解決しようとする課題】
しかし、この従来の音声認識方法をプラントの点検などに適用することはできない。それは、点検者やその点検日などに応じて、点検する対象や状況などが動的に変化するため、語の使用頻度も動的に変化し、これに伴い音声入力装置に入力される語の種類や範囲が変わってしまうためである。つまり、上記の従来技術では、プラント点検などのように、対象や状況が動的に変化するような場合、音声認識の認識率を向上させることができない。
【0006】
本発明の目的は、音声認識を適用する対象,状況の変化に依らず、音声認識の認識率を向上させることのできる音声データの認識方法及びその装置を提供することにある。
【0007】
【課題を解決するための手段】
上記目的は、音声入力された語に対し、入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声データの認識方法において、入力音声パターンと標準音声パターンとの比較により候補単語と当該候補単語の候補順位とが得られた際に前記候補単語が数値データである場合には、当該数値データに関わる対象物の特性と得られた候補単語との関係に応じて、この候補単語の候補順位を変更する処理を行い、当該候補単語の候補順位を決定することで、達成される。
【0008】
上記目的はまた、入力された数値データのとり得る数値範囲に係る関係式が予め定められており、数値データが音声により入力され該入力音声に対する候補単語が標準音声パターンとの比較により複数決定されたときは、該複数の候補単語の中から前記関係式を満たす候補単語を上位の候補順位として決定することで、達成される。
【0009】
上記目的はまた、過去に入力され音声認識された同一物に対する数値データが音声入力され標準音声パターンとの比較により候補単語が複数決定されたときは、該複数の候補単語の中から前記過去に音声認識された数値データに近い数値データを上位の候補順位として決定することで、達成される。
【0010】
上記目的はまた、標準値が予め分かっている対象物に対する測定データが音声入力され標準音声パターンとの比較により候補単語が複数決定されたときは、該複数の候補単語の中から前記標準値に近い測定データを表す候補単語を上位の候補順位として決定することで、達成される。
【0011】
上記目的はまた、音声入力者が実施する業務に関連する対象物に基づき発話の可能性の高い用語を優先単語として予め定めておき、入力音声に対する標準音声パターンを用いた音声認識結果により複数の候補単語が決定されたときは、前記対象物に基づいて、前記優先単語と一致する候補単語を上位の候補順位として決定することで、達成される。
【0012】
上記目的はまた、複数の候補単語が音声認識結果により決定されたとき、発話者の特性に基づいて前記複数の候補単語の候補順位を決定することで、達成される。
【0013】
本発明によれば、例えば、温度データが数値で音声入力されその認識結果として「215」と「115」が決定された場合、この温度データが満たすべき条件式として100度以上,120度未満と別に定められているときには「115」を候補順位上位として決定することで、認識率が向上する。
【0014】
【発明の実施の形態】
以下、本発明の一実施例を図面を参照して説明する。
図1は、本発明の第1実施例に係る音声データの認識装置の構成図である。本実施例に係る音声データの認識装置は、認識装置本体1と、この本体1に対して無線その他で接続される携帯型の入力・表示装置2と、本体1に付属する外部入力装置3,外部表示装置4,プリンタ5とから成り、この音声認識装置本体1のプラントデータベース19には、制御用計算機6を介してプラント7から各種プロセスデータが取り込まれる。
【0015】
入力・表示装置2は、点検員が携帯してプラント各所の点検を行いその点検結果を音声で入力すると共に、その点検結果(入力音声に対して本体1で行った音声認識結果)を表示するものであり、マイク27と、携帯ディスプレイ29と、認識装置本体1との間で交信する送受信部(移動局)28とからなる。
【0016】
認識装置本体1は、送受信部(固定局)11と、前記マイク27から入力され送受信部28/11を通して取り込まれた音声信号を文字信号へ変換する音声認識部12と、音声認識部12で認識するときに使用する標準パターンを格納した音声認識辞書13と、送受信部(固定局)11の入出力信号や外部入力装置3からの入力信号,外部表示装置4への出力信号,プリンタ5への出力信号を制御する入出力制御部14と、点検記録表の出力及び点検結果の記録を行う点検記録管理部15と、点検記録が格納される点検記録格納部16と、数値データの音声信号について候補単語の候補順位を詳細は後述するようにして変更する数値データ決定部17と、点検の対象となるセンサーとプロセス量に係る情報を格納したセンサー設置情報格納部18と、制御用計算機6を介して取り込まれたプロセス量を格納するプラントデータベース19とからなる。
【0017】
図2は、点検結果を点検記録格納部16に格納する時の処理手順を示すフローチャートである。点検員は、入力・表示装置2のマイク27から点検結果を音声により入力すると、この音声信号は電気信号に変換されてから送受信部28を介し、認識装置本体1の送受信部11に転送される(ステップ1)。送受信部(固定局)11は転送された信号を入出力制御部14に送り、入出力制御部14は、送受信部11からの信号が音声入力に基づく信号である場合、これを音声認識部12に送る。
【0018】
音声認識部12は、音声認識辞書13を用いて認識処理を行う。認識の結果である候補単語とその候補順位は、点検記録管理部15に出力される(ステップ2)。候補単語とは、認識処理において、音声の入力信号と音声辞書に登録された標準パターンの類似度が、予め設定された値以上である単語(通常、複数ある。)をいう。候補順位とは、候補単語の中で、類似度が高い順に順番を付けられた番号である。候補順位が最も高いものを第1候補とし、以下、第2候補,第3候補,…として処理される。
【0019】
点検記録管理部15は、音声認識部12の認識結果の信号に応じ、点検記録格納部16へ点検結果の記録を行う。ただし、音声認識部12から送られた候補単語が数値データである場合、点検記録格納部16は候補単語と候補順位を数値データ決定部17へ出力する。このとき、数値データ決定部17は、センサー設置情報格納部18及びプラントデータベース19を参照し、詳細は後述するようにして、候補単語の候補順位を変更する。センサー設置情報格納部18には、点検対象,点検項目ごとに、点検結果とプロセス量との関係式及び点検結果の上限値,下限値が格納されている。この情報をもとに、プラントデータベース19から取得したプロセス量の取り込み値と候補単語とを比較することで、候補順位の変更を行う。数値データ決定部17は、候補単語の候補順位を変更した後、点検記録管理部15へ候補単語を出力する(ステップ4)。点検記録管理部15は、数値データ決定部17から送られた候補単語の中で、候補順位の最も高い単語を用い、点検記録格納部15への点検記録の格納を行う(ステップ5)。
【0020】
図3は、点検記録格納部16に格納される点検データの構成例を示す図である。点検記録格納部16は、点検対象,点検項目,点検結果に係るデータを格納する。このうち、点検対象,点検項目は、予め決められておりその項目データ等は既に格納されている。点検記録管理部15は、該当する点検対象,点検項目の各欄に点検結果のデータを格納する。
【0021】
本実施例に係る認識装置本体1は、数値データが携帯型入力・表示装置2から音声入力された時、音声認識部12で認識された複数の候補単語に対して、プロセス量と点検項目に係る情報を用いて、候補順位を変更する。この候補順位の変更原理を、図4を用いて説明する。
【0022】
図4において、31は給水配管である。32,33,34は、給水温度を測定する検出器である。各検出器32,34で自動的に測定された給水温度は、その最新値が、プロセス量として、プラントデータベースに格納される。これらの給水温度を、それぞれT1,T2とする。今ここで、点検者は、上流側検出器34と下流側検出器32の間に設けられている検出器33で測定される給水温度Tの指示値を読み、マイク27を用いて、その数値を入力する。
【0023】
図4に示す各検出器の設置位置の関係により(給水配管31への熱の入力がないとする)、T1<T<T2が成立する。そこで、本実施例では、入力された音声パターンと標準パターンとの比較により、音声認識部12で検出された候補単語が複数あるとき、この条件式を基にその候補順位を変更する。例えば、T1が「100」、T2が「120」、候補単語、すなわちTに対応する値が「215」(第1候補)、「115」(第2候補)であるとき、第1候補である「215」は、100<T<120を満たさない。従って、第1候補を上記条件式を満たす「115」にし、第2候補を「215」に変更する。
【0024】
図5は、数値データ決定部17での処理手順を示すフローチャートである。数値データ決定部17は、点検記録管理部15から数値が入力された場合に動作する(ステップ11)。入力データは、点検対象,点検項目,候補単語,候補順位の情報である。数値データ決定部17は、入力された点検対象,点検項目に関する情報をセンサー設置情報格納部18から取得する(ステップ12)。
【0025】
図6は、センサー設置情報格納部18の構成図である。センサー設置情報格納部18は、「点検対象」「点検項目」「参照プロセス量」「条件」の各データで構成されている。「参照プロセス量」とは、点検結果との比較を行うプロセス量である。「条件」には、点検結果の上限値,下限値及び点検結果と参照プロセス量との間で成立する関係式などが格納されている。
【0026】
数値データ決定部17は、センサー設置情報格納部18から入力されてくる点検対象及び点検項目を基に、「参照プロセス量」と「条件」のデータを取得した後、プラントデータベース19(図1)から前記の参照プロセス量に対応する取り込み値を取得する(図5:ステップ13)。図7はプラントデータベースの構成図である。プラントデータベース19は「系統名」「プロセス量」「取り込み値」の各データで構成されている。
【0027】
次に、数値データ決定部17は、取得したプロセス量の取り込み値と、図6のセンサー設置情報格納部18から取得した条件とを照合し、各候補単語が条件式を満たすか否かを判別する。そして、候補単語のうち条件式を満たさない候補単語の候補順位を最も低く設定する(ステップ14)。数値データ決定部17は、このようにして候補単語の候補順位を変更した後、候補単語とその候補順位を、点検記録管理部15に出力する(ステップ15)。
【0028】
例えば、点検対象が「給水配管」で、点検項目が「温度」に対し、音声で『イチ・イチ・ゴ』と入力され、これに対する音声認識結果として、候補単語「215」(第1候補)と「115」(第2候補)が数値データ決定部17に入力されたとする。この場合、数値データ決定部17は、センサー設置情報部から、点検対象「給水配管」、点検項目「温度」に対応する参照プロセス量と条件とを取得する。図6に示したセンサー設置情報格納部において、参照プロセス量は「A配管温度」,「B配管温度」である。従って、数値データ決定部17は、プラントデータベース19から「A配管温度」と「B配管温度」を取得する。図7のプラントデータベースの情報では、「A配管温度」は100℃、「B配管温度」は120℃である。
【0029】
次に、数値データ決定部17は、このプロセス量と、センサー設置情報格納部18から取得した条件とを照合する。この条件は、T1(A配管温度)<T<T2(B配管温度)となっている。このため、100<T<120の条件式が得られる。今の場合、候補単語が「215」(第1候補),「115」(第2候補)であるため、第1候補である「215」はこの条件式を満たさない。従って、数値データ決定部17は、条件式を満たす「115」を第1候補に変更し、「215」を第2候補に変更する。
【0030】
図8は、点検記録管理部15の処理手順を示すフローチャートである。点検記録管理部15は、音声認識部12からの入力データがあった場合に動作する(ステップ21)。入力データは、点検対象,点検項目,点検結果に対応する候補単語及びその候補順位である。点検対象が入力された場合(ステップ22)、点検対象に対応する点検記録表を入出力制御部14に出力し(ステップ30)、点検項目の入力待ちとなる(ステップ31)。
【0031】
点検項目が入力された場合(ステップ23)、点検項目を入出力制御部14に出力し(ステップ32)、点検結果の入力待ちとなる(ステップ33)。点検記録表及び点検項目の入出力制御部14への出力により、これらを携帯ディスプレイ29(図1)に表示される。点検対象及び点検項目の入力時点では、数値データは入力されない。従って、これらの処理には、候補単語の中で候補順位の最も高い単語が用いられる。
【0032】
次に、点検結果が入力されたとき、点検結果に対する候補単語は、数値データの場合と文字データの場合で、処理が異なる。候補単語が文字データである場合は、候補単語の中で最も候補順位が高い文字を入出力制御部14に出力し(ステップ28)、これを点検記録格納部16に格納する(ステップ29)。候補単語が数値データである場合は(ステップ25)、「点検対象」「点検項目」「候補単語」「候補順位」を数値データ決定部17へ出力する(ステップ26)。
【0033】
数値データ決定部17は、数値データの各候補単語についてその条件式との比較を行い、必要に応じて前述した処理により候補単語の候補順位を変更し、点検記録管理部15に候補単語とその候補順位を出力する(ステップ27)。
【0034】
点検記録管理部15は、数値データ決定部17から入力された候補単語の中で候補順位の最も高い単語を点検記録格納部16に格納し(ステップ28)、これを入出力制御部14に出力する(ステップ29)。また、システムが点検結果の入力を要求しているときに、点検者が点検結果以外の語を音声入力すると(ステップ24)、点検記録管理部15は、携帯ディスプレイ29に表示するエラーメッセージを入出力制御部14に出力する(ステップ34)。
【0035】
図9は、音声認識部12の処理手順を示すフローチャートである。音声認識部12は、入出力制御部14から音声信号の入力があった場合に動作する。音声信号が入力されると(ステップ36)、音声認識辞書13に登録してある標準パターンとの比較を行ってその類似度を決定する(ステップ37)。この類似度が予め設定された値より高い標準パターンに対応する単語はすべて候補単語とし、その類似度の高い順に、候補単語の候補順位を付ける(ステップ38)。そして、これらの候補単語及び候補順位は、点検記録管理部15へ出力される(ステップ39)。
【0036】
図10は、入出力制御部14の処理手順を示すフローチャートである。入出力制御部14は、点検記録管理部15からの入力があると(ステップ41)、この信号を送受信部(固定局)11へ出力する(ステップ44)。これは、点検記録表または音声入力された単語を携帯ディスプレイ29に表示するためである。また、送受信部(固定局)11からの入力があると(ステップ42)、音声信号を文字信号に変換するために、この信号を音声認識部12へ出力する(ステップ45)。外部入力装置3を用いて点検対象が入力されると(ステップ43)、これを点検記録管理部15へ出力する。この時、点検記録管理部15は、入力された点検対象の点検記録表を入出力制御部14へ出力する。入出力制御部14は、入力要求に従い、点検記録表をプリンタ5または外部表示装置4に出力する(ステップ46)。
【0037】
図11は、本発明の動作例を示す携帯用ディスプレイの表示画面例を示す図である。携帯ディスプレイ29は、音声入力した点検記録を確認するために使用される。初期画面(同図(a))は、点検対象の入力待ちの状態となっている。入力待ち状態を示すハイライトが、点検対象の入力箇所で点灯している。この初期画面の状態で、マイク27から、点検対象を音声信号で入力する。点検者が「給水配管」と発話すると、同図(b)に示す様に、前記した処理の結果により携帯ディスプレイ29に給水配管の点検記録表が表示され、点検項目の入力待ちとなる。同様に、点検者が「温度」と発話すると、温度に対する点検結果の入力待ちの状態となる。温度の入力箇所では、同図(c)に示す様に、入力待ちの状態を示すハイライトが点灯する。点検者が 「115」と発話すると、携帯ディスプレイ29の温度の項目には、同図(d)に示す様に、前述した処理による第1候補「115」が表示される。これらの処理の課程で、入力した値などが誤認識された場合は、「次」と発話することで、次候補が表示される。また、入力した値を訂正したい場合は、「訂正」と発話した後で、再入力することができる。以上の処理によって入力された点検結果は、携帯ディスプレイ29へ表示されると共に、点検記録格納部16にも記録される。
【0038】
本実施例によれば、数値データの点検結果を音声入力したとき、この音声認識結果による候補単語の候補順位を、プロセス量の現在値や、センサーの設置位置などの設備の構成や機能に係るデータをもとに決定するため、数値データを音声入力したときの認識率が向上する。ちなみに、プロセス量の現在値の代わりに、プロセス量のトレンド値を用いても、同様の処理により、音声認識の認識効率を向上させることができる。また、本発明は、従来の音声認識装置に数値データの妥当性を評価する装置を付加するのみで、数値データの音声認識の認識率が向上するので、本発明のシステムを容易に構成することができる。さらに、本発明は、プラントの状態により逐次変化する点検結果を音声入力した場合でも、プラント状態に係る最新値を格納したプラントデータベースを参照することで、プラントの状態変化に関わらず常に入力データの妥当性を評価できる。
【0039】
図12は、本発明の第2実施例に係る音声データの認識装置の構成図である。本実施例の認識装置は、図1に示す認識装置のプラントデータベース19とセンサー設置情報格納部18とが削除されると共に点検記録格納部16が数値データ決定部17にも接続されている点が異なる。即ち、点検記録格納部16の構成及び数値データ決定部17における処理が異なっている。
【0040】
図13は、第2実施例に係る点検記録格納部16に格納される点検データの構成図である。点検記録格納部16は、「点検対象」「点検項目」「点検結果」「(前回値)点検結果」で構成されている。点検対象,点検項目及び(前回値)点検結果の各データは予め格納されている。点検記録管理部16には、該当する点検対象,点検項目に今回の点検結果を格納する。
【0041】
図14は、第2実施例に係る数値データ決定部17での処理手順を示すフローチャートである。数値データ決定部17は、点検記録管理部15からの入力があった場合に動作する(ステップ51)。入力データは点検対象,点検項目,候補単語,候補順位である。まず、数値データ決定部17は、入力された点検対象,点検項目に対する前回値の点検結果を点検記録格納部16から取得する(ステップ52)。
【0042】
次に、今回の点検結果に対する音声データの認識結果である候補単語の示す数値と、前回値との差を計算する。この差が予め設定された値より大きい場合、この候補単語の候補順位を最も低い値に設定し直す(ステップ53)。数値データ決定部17は、各候補単語の候補順位を変更した後、点検記録管理部15に候補単語とその候補順位を出力する(ステップ54)。
【0043】
例えば、点検対象「給水配管」、点検項目「温度」、候補単語「215」(第1候補)、「115」(第2候補)が数値データ決定部17に入力されたときの処理を説明する。まず、数値データ決定部17は、点検記録格納部16から前回値を取得する。図13に示す点検記録格納部16では、点検対象「給水配管」、点検項目「温度」に対応する前回値は「113」である。次に、各候補単語「215」,「115」と前回値「113」との差を計算する。このとき、前回値との差が10%以内という設定値を予め設けておけば、第1候補である「215」は、この条件を満たさない。従って、数値データ決定部17は、「115」を第1候補に変更し、「215」を第2候補に変更する。
【0044】
本実施例によれば、数値データの点検結果を音声入力したとき、前回値を参照して候補単語の候補順位を決定するため、認識率を向上させることができる。これにより、定期的に同一箇所を点検するような場合に、前回値を用いることで誤認識の可能性を低減し、また再入力などの手間を低減し、入力者の負担を低減できる。なお、本実施例では、候補単語の比較対象を前回値のみとしているが、過去の点検結果の平均値を用いても、同様の処理により認識率を向上することができる。また、本実施例では、従来の音声入力システムに点検結果の前回値を格納する装置と数値データの妥当性を評価する装置を付加するのみで、容易に装置を構成することができるため、装置開発を簡単に実施することが可能である。
【0045】
さらに、本実施例では、入力した点検結果と、それに対応する前回値との差を求める機能を有するため、この値をユーザに表示する機能を付加することにより、ユーザが前回値とのずれを確認することができ、プラントの異常の早期発見を行うことが可能になる。
【0046】
本実施例の認識装置は、プラントの点検に限らず、様々な分野に適用できる。例えば、大きい値から小さい値に単調に減少する順序に並んでいる数値データを音声入力する状況を考える。この場合、音声入力された数値データは、前回値よりも必ず小さくなるため、候補単語と前回値を比較し、前回値より大きい候補単語は、候補順位を下げる、あるいは、候補単語から削除すればよい。この例のように音声入力する数値データが何らかの規則性を持っているとき、本実施例の装置と同様の技術を用いることで、音声認識の認識率を向上させることが可能となる。
【0047】
図15は、本発明の第3実施例に係る音声データの認識装置の構成図である。図12の第2実施例では、前回値の点検結果を数値データ決定部17に入力して比較対象としたが、本実施例では、第2実施例に比べ、点検項目に対応する標準値が格納されているデータ標準値格納部20を新たに設け、この格納データを数値データ決定部17に入力している点のみが異なる。
【0048】
図16は、第3実施例に係る数値データ決定部17での処理手順を示すフローチャートである。数値データ決定部17は、点検記録管理部15からの入力があった場合に動作する(ステップ56)。入力データは点検対象,点検項目,候補単語,候補順位である。数値データ決定部17は、まず、入力された点検対象,点検項目に対する標準値を、データ標準値格納部20(図15)から取得する(ステップ57)。
【0049】
図17にデータ標準値格納部20の構成を示す。データ標準値格納部20には、点検対象,点検項目,標準値の各データを格納する様になっている。標準値とは、各点検項目に対する点検結果の標準的な値、すなわち設備の部品などの設計標準値のことである。例えば、点検項目の1つであるボルト寸法は、ごく限られた範囲でしか変化しない。この例のように点検結果があまり変動しないものは、設計標準値を基に、標準値を予め定義し、データ標準値格納部20に格納しておく。
【0050】
図16のステップ58では、この図17のデータ標準値格納部20から取得した標準値と、音声認識結果である候補単語の示す数値との差を計算する。この差が、予め設定された値より大きい候補単語については、その差の大きいものから順に低い候補順位を設定する。数値データ決定部17は、候補単語の候補順位を変更すると、次のステップ59で、点検記録管理部15に候補単語と候補順位を出力する。
【0051】
例えば、点検対象「カップリング」、点検項目「ボルト1寸法」に対して、候補単語「300.1」(第1候補)、「200.1」(第2候補)、「200.0」(第3候補)が数値データ決定部17に入力されたとする。数値データ決定部17は、まず、データ標準値格納部20から、点検対象「カップリング」,点検項目「ボルト1寸法」に対応する標準値を取得する。図17に示す例では、その標準値は「200.00mm」である。次に、各候補単語「300.1」,「200.1」,「200.0」と、標準値「200.00」との差を計算する。このとき、標準値との差が10%以内という設定値を予め設けておけば、第1候補である「300.1」は、この条件を満たさない。また、標準値との差が10%以内である候補単語は、「200.1」,「200.0」の2つであるが、今の場合、候補単語の候補順位の設定は、音声認識部12で決定された候補順位の順番に従う。従って、数値データ決定部17は、「200.1」を第1候補、「200.0」を第2候補、「300.1」を第3候補とする。
【0052】
本実施例によれば、数値データの点検結果を音声入力したとき、候補単語と標準値などの設備の構成や機能に係る知識データとの差をとり、差が予め設定された値より大きい候補単語の候補順位を下げることで、認識率を向上させることが可能となる。これにより、入力数値がありえない数値として、認識されることを防止し、音声入力システムの使い勝手を向上することが可能である。
【0053】
さらに、本実施例の装置では、従来の音声入力システムに点検結果の標準値と数値データの妥当性を評価する装置を付加するのみで、容易に装置を構成することができる。このため、システムの開発を簡便に実施することが可能である。
【0054】
さらに、本実施例の装置では、入力した点検結果と、それに対応する標準値との差を求める機能を有するため、この値をユーザに表示する機能を付加することにより、ユーザが標準値とのずれを確認することができ、異常の早期発見を行うことが可能になる。なお、本実施例では、候補単語の比較対象を標準値としているが、初期の点検結果を標準値の代わりに用いても同様の処理により、認識率を向上させることができる。さらに、この場合、初期状態からのずれを確認することができるので、値が長期的に変化するような点検結果に対して、異常の進度を確認することができる。
【0055】
本実施例は、プラントの点検に使用した場合について記述したが、本発明はこれに限らず、ある標準値をもつ数値データを入力するような状況において、同様にして、音声認識の認識率を向上させることができる。例えば、装置の組立に用いる部品の寸法の入力や金融機関で用いる外国為替相場の入力などへの適用が可能である。
【0056】
図18は、本発明の第4実施例に係る音声データの認識装置の構成図である。本実施例が、図1に示す第1実施例と異なるのは、入力者の点検位置に基づいて候補単語の候補順位を変更する優先単語処理部21と、優先的に出力する単語を格納した優先単語記憶部22と、センサーの設置位置や点検経路が格納されたプラント情報格納部24と、優先的に出力する単語が点検対象毎に格納された点検系統情報格納部25と、プラント情報格納部24を用いて点検系統を同定し、点検系統情報格納部25から取得した点検系統に関連する単語を優先単語記憶部22に出力する点検系統同定部23を設け、数値データ決定部17,プラントデータベース19,センサー設置情報格納部18を削除した点である。
【0057】
以下、優先単語処理部21における処理、優先単語記憶部22、プラント情報格納部24の構成、点検系統情報格納部25の構成、点検系統同定部23の処理、点検記録管理部15の処理について説明する。
【0058】
図19は、図18に示すプラント情報格納部24に予め格納されているデータであって、音声入力者の位置の特定に用いるセンサーについてのセンサー設置位置データを示す図である。センサー設置位置データは、各センサーがどの系統間に設置されているかを示している。ちなみに、センサー(S1〜S5)は、半導体レーザと光検出器を用い、レーザ光を常に光検出器の受光面に入射するように設置する。点検員(音声入力者)が、半導体レーザと光検出器の間を通過する際、光検出器の受光面に入射されているレーザ光を遮ることで、センサーは音声入力者の通過すなわち音声入力者の位置を検出する。
【0059】
図20は、プラント情報格納部24に予め格納されている点検経路情報の構成図である。点検経路情報は、点検経路を系統名で順番に格納してある。
【0060】
図21は、点検系統情報格納部25の構成図である。点検系統情報格納部25は、点検系統と点検系統に対応する優先単語とで構成されている。優先単語とは、点検者が音声入力する可能性の高い単語であり、優先単語処理部21は、この単語を優先的に出力する。図21の例では、給水系の点検における優先単語として、「給水配管」「給水温度」「給水流量」等が可能されている。
【0061】
図22は、点検系統同定部23の処理手順を示すフローチャートである。点検系統同定部23は、センサーからの信号を検出した場合に動作する(ステップ60)。まず、音声入力者を検出したセンサーを特定し、その設定位置情報を読み込み(ステップ61〜62)、点検経路情報を読み込む(ステップ63)。そして、音声入力者の現在いる位置つまり点検系統を特定(ステップ64)する。例えば、図23において、「経路1」に沿って点検作業を行っている音声入力者が、循環水ポンプAの点検を終え、T/D−RFP−Aの点検作業を行うため、センサーS2設置位置を通過した時、センサーS2が“循環水系と給水系の間に設置されている”という情報と、経路1は“循環水系のあとは給水系”という情報とから判定を行い、点検中の系統は“給水系である”と特定する。
【0062】
点検の対象となる系統を特定した後、系統に対応する優先単語を点検系統情報格納部25から取得する(ステップ65)。取得した優先単語は、優先単語記憶部22に格納する(ステップ66)。この処理により、点検中の系統に関連して、発話の可能性の高い単語、即ち、優先単語が、優先単語記憶部22に逐次格納されることになる。
【0063】
図24は、優先単語処理部21の処理手順を示すフローチャートである。優先単語処理部21は、音声認識部12からの入力があった場合に動作する。入力データは候補単語とその候補順位である。優先単語処理部21は、候補単語と候補順位が入力されると(ステップ70)、優先単語記憶部22から優先単語を取得する(ステップ71)。候補単語の中に優先単語が含まれていれば、その単語の候補順位を最も高く設定する(ステップ72)。ただし、優先単語が複数含まれている場合は、音声認識部12が決定した候補順位に従って、候補順位を割り付ける。このようにして候補単語の候補順位を決定した後、点検記録管理部15に候補単語とその候補順位を出力する(ステップ73)。
【0064】
例えば、点検系統同定部23が、点検対象を「給水系」と特定した場合、優先単語記憶部22には、「給水系」に関連の深い語が格納される。これらの語は、点検系統情報格納部25の格納単語の中から得られる。図21に示した点検系統情報格納部25の例では、「給水系」の優先単語は「給水配管」、「給水温度」「給水流量」「給水ポンプ」等である。このとき、優先単語処理部21に候補単語として、「主蒸気流量」(第1候補)、「給水流量」(第2候補)、「給水ポンプ」(第3候補)が入力された場合、優先単語処理部21は、優先単語に含まれる「給水流量」,「給水ポンプ」の各候補順位を高く設定する。ただし、音声認識部12が、「給水ポンプ」より「給水流量」の候補順位を高く設定しているため、優先単語処理部21は、「給水流量」を第1候補とし、「給水ポンプ」を第2候補とする。優先単語に含まれない「主蒸気流量」は第3候補とする。以上のような処理をすることにより、点検の対象である「給水系」に関連のある語の候補順位が高位となり、認識率が向上する。
【0065】
図25は、点検記録管理部15の処理手順を示すフローチャートである。点検記録管理部15は、優先単語処理部21からの入力があった場合に動作する(ステップ75)。入力データは、点検対象,点検項目,点検結果に対応する候補単語及びその候補順位である。点検対象が入力された場合(ステップ76)、点検対象に対応する点検記録表を入出力制御部14に出力し(ステップ81)、点検項目の入力待ちとなる(ステップ82)。点検項目が入力された場合(ステップ77)、点検項目を入出力制御部14に出力し(ステップ83)、点検結果の入力待ちとなる(ステップ84)。点検記録表及び点検項目の入出力制御部14への出力は、これらを携帯ディスプレイ29に表示するためである。
【0066】
点検結果が入力されると(ステップ78)、点検記録格納部16へ点検結果を格納する(ステップ79)。また、これと同時に点検結果を入出力制御部14に出力する(ステップ80)。ここで、点検結果とは候補単語の中で、最も候補順位が高い単語を指す。また、システムが点検結果の入力を要求しているときに、点検者が点検結果以外の語を音声入力すると、点検記録管理部15は、携帯ディスプレイ29に表示するエラーメッセージを入出力制御部14に出力する(ステップ85)。
【0067】
本実施例によれば、点検者の位置を検出し、位置情報から点検者が対象としている系統を求め、この系統に関連のある語のみを優先的に出力するので、認識率を向上させることが可能となる。また、本実施例では、点検者の位置情報という動的に変化する状況に応じて、優先的に出力する語を変えるので、時々刻々と変化する点検対象に応じて、発話の可能性の高い語を選び、系統,機器名などの誤認識の可能性を低減することが可能となる。
【0068】
さらに、本実施例では、第1実施例〜第3実施例が数値データのみを扱うのに対し、数値データ以外の語についても音声認識の認識率を向上させることが可能である。これにより、プラント全体に関係する語を登録した音声認識辞書を一つ用意しておけば、点検者の状況に応じて、類似する系統・機器名の中から、最も発話の可能性の高い語を認識単語として出力することができ、類似語を認識結果として出力する可能性を下げ、音声入力システムのマンマシン性を向上できる。
【0069】
図26は、本発明の第5実施例に係る音声データの認識装置の構成図である。本実施例が、図18に示す第4実施例と異なるのは、点検系統同定部23が入出力制御部14からの信号を取り込んで処理する点と、プラント情報格納部24の代わりに点検者情報格納部26を備える点である。点検者情報格納部26には、点検される系統が点検者ごとに格納されている。
【0070】
本実施例では、外部入力装置3を用い、点検者名または点検者コードなど、点検者が誰であるかを特定するための情報を入力する。システムには各点検者に対して点検を行う系統名が予め格納されており、この情報と点検者を対応させることにより、点検の対象となる系統を特定し、点検系統と関連のある語を優先的に出力する。
【0071】
図27は、点検者情報格納部26の構成図である。点検者情報格納部26には、「点検日」「点検者」「点検系統」の各データが格納される。例えば、図27の例では、点検者Aが1995年4月10日に主蒸気系を点検することになっている。この情報は、「点検者」のデータから点検対象の系統を特定する際に参照される。
【0072】
図28は、点検系統同定部23の処理手順を示すフローチャートである。点検系統同定部23は、入出力制御部14からの入力があった場合に動作する(ステップ86)。入力データは、外部入力装置3を用いてシステムに入力された点検者名である。点検系統同定部23は、点検者名が入力されると、点検者情報格納部26から、前記の点検者名に対応する系統を取得する(ステップ87)。このとき、点検日が現在の日付に該当するものを選択する。現在の日付,時刻については、点検系統同定部23の中のクロックから情報を得る。次に、点検系統情報格納部25から、前記の系統に対応する優先単語を取得する(ステップ88)。次に、この取得した優先単語を優先単語記憶部22に出力する(ステップ89)。
【0073】
例えば、点検系統同定部23に点検者名「B」が入力されると、点検系統同定部23は、点検者情報格納部26の点検者名「B」の情報を参照する。図27に示す例では、点検者名「B」に対応する点検系統は「給水系」である。このとき、点検日が現在の日付に一致するものを選択する。次に、点検系統同定部23は点検系統情報格納部25から「給水系」の優先単語を取得し、優先単語記憶部22に格納する。
【0074】
図29は、入出力制御部14の処理手順を示すフローチャートである。入出力制御部14は、点検記録管理部15からの入力があると(ステップ90)、この信号を送受信部(固定局)11へ出力する(ステップ95)。これは、点検記録表または音声入力された単語を携帯ディスプレイ29に表示するためである。また、送受信部(固定局)11から音声信号の入力があると(ステップ91)、音声信号を文字信号に変換するために、この信号を音声認識部12へ出力する(ステップ96)。また、外部入力装置3からの入力があると(ステップ92)、入力データが点検者名であれば(ステップ93)、これを点検系統同定部23に出力する(ステップ97)。また、入力データが、点検結果を外部表示装置4またはプリンタ5へ出力するための要求信号であれば、点検結果を点検記録管理部15から取得し、外部表示装置4またはプリンタ5へ出力する(ステップ94)。本実施例によれば、点検者、即ち、音声入力者の種別コードや氏名などの入力者に係る情報を基に、点検の対象となっている系統を特定し、その点検系統に関連する語を優先的に出力するので、音声データの認識率を向上させることが可能となる。
【0075】
本実施例において、点検者がグル−プ化され、点検を行う系統が、グル−プによって決められている場合は、各点検者ごとに情報を格納する代わりに、グル−プごとに情報を格納し、システムにグル−プ名などのグル−プを特定するための情報を入力することで、上述した実施例と同様に点検対象系統を特定でき、その系統に関連の深い語のみを優先的に出力することができる。例えば、グル−プ「A」が、主蒸気系を点検するグル−プである場合、システムに、グル−プ「A」を特定する情報を入力することで、主蒸気系に関連のある語を優先的に出力することができる。これらの処理により、音声認識の認識率を向上することが可能となる。
【0076】
上述した各実施例によれば、プラントの運転,保守,点検作業などにおいて、数値データや系統機器名などが入力された場合に、音声認識辞書に登録された標準パターンとの類似度だけではなく、プロセス値,点検結果の前回値,設計に係る標準値,音声入力者の位置情報,音声入力者の点検対象に係る情報などの音声入力システムの対象物の特性に係る情報も併せて用いることにより、時々刻々と変化するプラントの状態や点検対象などに応じて、音声認識の認識率を向上させることが可能となる。これにより、プラントの点検作業などにおける音声入力者の負担、即ち、再入力などの負担が低減され、これらの作業の高効率化を図ることができる。また、音声入力に対する誤認識の可能性を低減することができ、確実な点検作業を行うことを可能とする。従って、斯かる音声入力システムを使用することによる経済性,安全性の改善の効果が大きくなる。
【0077】
【発明の効果】
本発明のよれば、音声データの認識を行うときに当該音声データの標準パターンとの類似度で決めた認識結果の候補順位を、認識対象である音声データが対象とするプロセス量等の特性に基づいて変更するため、音声データの認識率が向上するという効果がある。
【図面の簡単な説明】
【図1】本発明の第1実施例に係る音声データの認識装置の構成図である。
【図2】点検結果の記録における処理手順を示すフローチャートである。
【図3】点検記録格納部の構成図である。
【図4】点検結果とプロセス量の関係を表す模式図である。
【図5】数値データ決定部での処理手順を示すフローチャートである。
【図6】センサー設置情報格納部の構成図である。
【図7】プラントデータベースの構成図である。
【図8】点検記録管理部での処理手順を示すフローチャートである。
【図9】音声認識部での処理手順を示すフローチャートである。
【図10】入出力制御部での処理手順を示すフローチャートである。
【図11】携帯ディスプレイの表示例を示す図である。
【図12】本発明の第2実施例に係る音声データの認識装置の構成図である。
【図13】第2実施例に係る点検記録格納部の構成図である。
【図14】第2実施例に係る数値データ決定部での処理手順を示すフローチャートである。
【図15】本発明の第3実施例に係る音声データの認識装置の構成図である。
【図16】第3実施例に係る数値データ決定部での処理手順を示すフローチャートであるる
【図17】第3実施例に係るデータ標準値格納部の構成図である。
【図18】本発明の第4実施例に係る音声データの認識装置の構成図である。
【図19】センサー設置位置情報の説明図である。
【図20】点検経路情報の説明図である。
【図21】点検系統情報格納部の構成図である。
【図22】点検系統同定部での処理手順を示すフローチャートである。
【図23】プラント現場の模式図である。
【図24】第4実施例に係る優先単語処理部での処理手順を示すフローチャートである。
【図25】第4実施例に係る点検記録管理部での処理手順を示すフローチャートである。
【図26】本発明の第5実施例に係る音声データの認識装置の構成図である。
【図27】第5実施例に係る点検者情報格納部の構成図である。
【図28】第5実施例に係る点検系統同定部での処理手順を示すフローチャートである。
【図29】第5実施例に係る入出力制御部での処理手順を示すフローチャートである。
【符号の説明】
1…認識装置本体、2…入力・表示装置、3…外部入力装置、4…外部表示装置、5…プリンタ、6…制御用計算機、7…プラント、11…送受信部(固定局)、12…音声認識部、13…音声認識辞書、14…入出力制御部、15…点検記録管理部、16…点検記録格納部、17…数値データ決定部、19…プラントデータベース、18…センサー設置情報格納部、20…データ標準値格納部、21…優先単語処理部、22…優先単語記憶部、23…点検系統同定部、24…プラント情報格納部、25…点検系統情報格納部、26…点検者情報格納部、27…マイク、28…送受信部(移動局)、29…携帯ディスプレイ。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a system for performing operations such as operation, maintenance, and inspection at a plant or a factory using a computer, and in particular, to voice data suitable for improving the recognition rate of voice data when voice data is input. The present invention relates to a recognition method and an apparatus thereof.
[0002]
[Prior art]
2. Description of the Related Art In recent years, use of a voice recognition device for operation, maintenance, and inspection of a power plant has been promoted. This aims to simplify the inspection work and the like by inputting and recording, for example, the inspection result by voice. Although practical use of speech recognition has been promoted in this way, the speech recognition rate does not always have sufficient performance. To make the system easy to use with good man-machine properties, it is essential to improve the recognition rate of speech recognition.
[0003]
In conventional speech recognition, an input speech pattern created by extracting a feature parameter from an input speech signal is compared with a standard pattern stored in a dictionary in advance to obtain a similarity. The highest word is the recognition result. However, in this method, words having similar pronunciations are likely to be erroneously recognized. In addition, particularly for short words such as numbers, there is a small amount of information to be compared with the standard pattern, so that there is a drawback that erroneous recognition is likely. In operation, maintenance, and inspection of a plant or the like, there are many similar system / device names. In many cases, numerical values such as temperature and flow rate are input. For this reason, in order to apply the speech recognition technology to plant operation or the like, it is necessary to enhance the function of preventing erroneous recognition of similar words and numerical values.
[0004]
As a conventional method for reducing erroneous recognition, for example, a method described in JP-A-61-122781 is known. In this conventional speech recognition method, a candidate word is selected by comparing an input signal with a standard pattern, and a recognition word is determined by taking into account the degree of language suitability obtained based on the frequency of use.
[0005]
[Problems to be solved by the invention]
However, this conventional speech recognition method cannot be applied to plant inspection and the like. This is because, depending on the inspector and the inspection date, the inspection target and the situation change dynamically, so the frequency of use of the word also changes dynamically. This is because the type and range are changed. That is, in the above-described conventional technology, the recognition rate of voice recognition cannot be improved when the target or the situation changes dynamically, such as in a plant inspection.
[0006]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a speech data recognition method and apparatus capable of improving the recognition rate of speech recognition irrespective of a target to which speech recognition is applied and a change in situation.
[0007]
[Means for Solving the Problems]
The object is to provide a speech data recognition method for comparing an input speech pattern and a standard speech pattern with respect to a word input by speech and determining a candidate word based on a similarity between the two. When the candidate word and the candidate rank of the candidate word are obtained by comparing the input voice pattern and the standard voice pattern, and the candidate word is numerical data, the characteristics and the characteristics of the object related to the numerical data are obtained. A process of changing the candidate order of the candidate word is performed in accordance with the relationship with the candidate word. This is achieved by determining the candidate order of the candidate words.
[0008]
The above purpose is also A relational expression relating to a numerical range that can be taken by the input numerical data is predetermined, When numerical data is input by voice and a plurality of candidate words for the input voice are determined by comparison with a standard voice pattern, the candidate word is selected from among the plurality of candidate words. Relational expression Is determined by determining a candidate word that satisfies the above as a high-order candidate rank.
[0009]
The above object is also provided that, when numerical data for the same thing that has been input and speech recognized in the past is input by speech and a plurality of candidate words are determined by comparison with a standard voice pattern, the candidate word is selected from among the plurality of candidate words in the past. This is achieved by determining numerical data that is close to the numerical data for which speech recognition has been performed, as a high-order candidate ranking.
[0010]
The above object is also achieved in that, when measurement data for a target whose standard value is known in advance is input as speech and a plurality of candidate words are determined by comparison with a standard voice pattern, the standard value is selected from the plurality of candidate words. This is achieved by determining a candidate word representing close measurement data as a higher candidate rank.
[0011]
The above purpose is also Objects related to the work performed by the voice entrant Terms that are likely to be spoken based on As preferred words If a plurality of candidate words are determined in advance and are determined based on a speech recognition result using a standard speech pattern for the input speech, Based on the object, the priority word This is achieved by determining a candidate word that matches with as the top candidate rank.
[0012]
The above object is also achieved by, when a plurality of candidate words are determined based on a speech recognition result, determining a candidate order of the plurality of candidate words based on characteristics of a speaker.
[0013]
According to the present invention, for example, when the temperature data is inputted as a voice as a numerical value and “215” and “115” are determined as the recognition result, the conditional expression to be satisfied by the temperature data is 100 degrees or more and less than 120 degrees. When it is determined separately, the recognition rate is improved by determining “115” as the candidate higher rank.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of a speech data recognition device according to a first embodiment of the present invention. The voice data recognition device according to the present embodiment includes a recognition device main body 1, a portable input / display device 2 wirelessly connected to the main body 1, and an external input device 3 attached to the main body 1. The plant database 19 of the main unit 1 of the speech recognition device is loaded with various process data from the plant 7 via the control computer 6.
[0015]
The input / display device 2 is carried by an inspector, inspects various parts of the plant, inputs the inspection results by voice, and displays the inspection results (speech recognition results performed by the main unit 1 on the input voice). It comprises a microphone 27, a portable display 29, and a transmitting / receiving unit (mobile station) 28 communicating with the recognition device main body 1.
[0016]
The recognition device body 1 is recognized by a transmission / reception unit (fixed station) 11, a voice recognition unit 12 for converting a voice signal input from the microphone 27 and captured through the transmission / reception unit 28/11 into a character signal, and a voice recognition unit 12. A speech recognition dictionary 13 storing a standard pattern used when the input / output is performed, an input / output signal of a transmission / reception unit (fixed station) 11, an input signal from an external input device 3, an output signal to an external display device 4, and a About an input / output control unit 14 for controlling an output signal, an inspection record management unit 15 for outputting an inspection record table and recording an inspection result, an inspection record storage unit 16 for storing an inspection record, and an audio signal of numerical data. Numerical data determination unit 17 that changes the candidate ranking of candidate words as described in detail below, and a sensor installation information storage unit that stores information on sensors to be checked and process amounts 8, consisting of the plant database 19 for storing the process variable taken in through the control computer 6.
[0017]
FIG. 2 is a flowchart illustrating a processing procedure when the inspection result is stored in the inspection record storage unit 16. When the inspector inputs the inspection result by voice from the microphone 27 of the input / display device 2, the voice signal is converted into an electric signal and then transferred to the transmitting / receiving unit 11 of the recognition device main body 1 via the transmitting / receiving unit 28. (Step 1). The transmission / reception section (fixed station) 11 sends the transferred signal to the input / output control section 14. If the signal from the transmission / reception section 11 is a signal based on a voice input, the input / output control section 14 transmits the signal to the voice recognition section 12. Send to
[0018]
The voice recognition unit 12 performs a recognition process using the voice recognition dictionary 13. The candidate words and the candidate ranks as a result of the recognition are output to the inspection record management unit 15 (step 2). The candidate word refers to a word (usually, a plurality of words) in which the similarity between a speech input signal and a standard pattern registered in a speech dictionary is equal to or greater than a preset value in the recognition processing. The candidate ranking is a number that is assigned an order from a candidate word in a descending order of similarity. The one with the highest candidate rank is set as the first candidate, and is processed as the second candidate, the third candidate, and so on.
[0019]
The inspection record management unit 15 records the inspection result in the inspection record storage unit 16 according to the signal of the recognition result of the voice recognition unit 12. However, when the candidate word sent from the voice recognition unit 12 is numerical data, the inspection record storage unit 16 outputs the candidate word and the candidate rank to the numerical data determination unit 17. At this time, the numerical data determination unit 17 refers to the sensor installation information storage unit 18 and the plant database 19, and changes the candidate order of the candidate words as described in detail later. The sensor installation information storage unit 18 stores a relational expression between an inspection result and a process amount and an upper limit value and a lower limit value of the inspection result for each inspection target and inspection item. Based on this information, the candidate order is changed by comparing the value of the process amount acquired from the plant database 19 with the candidate word. After changing the candidate order of the candidate words, the numerical data determination unit 17 outputs the candidate words to the inspection record management unit 15 (Step 4). The inspection record management unit 15 stores the inspection record in the inspection record storage unit 15 using the word having the highest candidate rank among the candidate words sent from the numerical data determination unit 17 (Step 5).
[0020]
FIG. 3 is a diagram illustrating a configuration example of the inspection data stored in the inspection record storage unit 16. The inspection record storage unit 16 stores data on inspection targets, inspection items, and inspection results. Of these, the inspection target and the inspection items are determined in advance, and the item data and the like are already stored. The inspection record management unit 15 stores the data of the inspection result in each column of the corresponding inspection target and inspection item.
[0021]
The recognition device body 1 according to the present embodiment, when numerical data is input by voice from the portable input / display device 2, applies a process amount and an inspection item to a plurality of candidate words recognized by the voice recognition unit 12. The candidate ranking is changed using such information. The principle of changing the candidate order will be described with reference to FIG.
[0022]
In FIG. 4, 31 is a water supply pipe. 32, 33, and 34 are detectors for measuring the feedwater temperature. The latest value of the feedwater temperature automatically measured by each of the detectors 32 and 34 is stored in the plant database as a process amount. These feedwater temperatures are T1 and T2, respectively. Here, the inspector reads the indicated value of the feedwater temperature T measured by the detector 33 provided between the upstream detector 34 and the downstream detector 32, and reads the numerical value using the microphone 27. Enter
[0023]
T1 <T <T2 is established by the relationship between the installation positions of the detectors shown in FIG. 4 (assuming that heat is not input to the water supply pipe 31). Therefore, in the present embodiment, when there is a plurality of candidate words detected by the voice recognition unit 12 by comparing the input voice pattern with the standard pattern, the candidate order is changed based on this conditional expression. For example, when T1 is “100”, T2 is “120”, and the candidate word, that is, the value corresponding to T is “215” (first candidate) and “115” (second candidate), it is the first candidate. “215” does not satisfy 100 <T <120. Therefore, the first candidate is changed to “115” that satisfies the above conditional expression, and the second candidate is changed to “215”.
[0024]
FIG. 5 is a flowchart illustrating a processing procedure in the numerical data determination unit 17. The numerical data determination unit 17 operates when a numerical value is input from the inspection record management unit 15 (Step 11). The input data is information on an inspection target, an inspection item, a candidate word, and a candidate rank. The numerical data determination unit 17 acquires information on the input inspection target and inspection items from the sensor installation information storage unit 18 (step 12).
[0025]
FIG. 6 is a configuration diagram of the sensor installation information storage unit 18. The sensor installation information storage unit 18 is composed of data of “inspection target”, “inspection item”, “reference process amount”, and “condition”. The “reference process amount” is a process amount to be compared with the inspection result. The "condition" stores an upper limit value and a lower limit value of the inspection result, a relational expression established between the inspection result and the reference process amount, and the like.
[0026]
The numerical data determination unit 17 acquires “reference process amount” and “condition” data based on the inspection target and the inspection item input from the sensor installation information storage unit 18, and then obtains a plant database 19 (FIG. 1). The acquisition value corresponding to the above-mentioned reference process amount is acquired from (step 13 in FIG. 5). FIG. 7 is a configuration diagram of the plant database. The plant database 19 includes data of “system name”, “process amount”, and “captured value”.
[0027]
Next, the numerical data determination unit 17 collates the acquired value of the process amount with the condition acquired from the sensor installation information storage unit 18 in FIG. 6 to determine whether each candidate word satisfies the conditional expression. I do. Then, among the candidate words, the candidate rank of the candidate word that does not satisfy the conditional expression is set to the lowest (step 14). After changing the candidate order of the candidate words in this way, the numerical data determination unit 17 outputs the candidate words and the candidate orders to the inspection record management unit 15 (step 15).
[0028]
For example, “Ichi Ichigo” is input by voice for the inspection target “water supply pipe” and the inspection item “temperature”, and the candidate word “215” (first candidate) is obtained as a voice recognition result for the input. And “115” (second candidate) are input to the numerical data determination unit 17. In this case, the numerical data determination unit 17 acquires the reference process amount and the condition corresponding to the inspection target “water supply pipe” and the inspection item “temperature” from the sensor installation information unit. In the sensor installation information storage unit shown in FIG. 6, the reference process amounts are “A pipe temperature” and “B pipe temperature”. Therefore, the numerical data determination unit 17 acquires “A pipe temperature” and “B pipe temperature” from the plant database 19. In the information of the plant database in FIG. 7, “A pipe temperature” is 100 ° C., and “B pipe temperature” is 120 ° C.
[0029]
Next, the numerical data determination unit 17 collates the process amount with the condition acquired from the sensor installation information storage unit 18. This condition is T1 (A pipe temperature) <T <T2 (B pipe temperature). Therefore, a conditional expression of 100 <T <120 is obtained. In this case, since the candidate words are “215” (first candidate) and “115” (second candidate), the first candidate “215” does not satisfy this conditional expression. Therefore, the numerical data determination unit 17 changes “115” satisfying the conditional expression to the first candidate, and changes “215” to the second candidate.
[0030]
FIG. 8 is a flowchart illustrating a processing procedure of the inspection record management unit 15. The inspection record management unit 15 operates when there is input data from the voice recognition unit 12 (Step 21). The input data is a candidate word corresponding to a check target, a check item, a check result, and a candidate rank thereof. When an inspection object is input (step 22), an inspection record table corresponding to the inspection object is output to the input / output control unit 14 (step 30), and input of an inspection item is waited for (step 31).
[0031]
When the check item is input (step 23), the check item is output to the input / output control unit 14 (step 32), and the input of the check result is awaited (step 33). By outputting the inspection record table and the inspection items to the input / output control unit 14, these are displayed on the portable display 29 (FIG. 1). At the time of input of the inspection target and the inspection item, no numerical data is input. Therefore, the word having the highest candidate rank among the candidate words is used for these processes.
[0032]
Next, when the inspection result is input, the processing of candidate words for the inspection result is different between numeric data and character data. If the candidate word is character data, the character having the highest candidate rank among the candidate words is output to the input / output control unit 14 (step 28) and stored in the inspection record storage unit 16 (step 29). If the candidate word is numerical data (step 25), the “inspection target”, “inspection item”, “candidate word”, and “candidate ranking” are output to the numerical data determination unit 17 (step 26).
[0033]
The numerical data determination unit 17 compares each candidate word of the numerical data with the conditional expression, changes the candidate word candidate order by the above-described processing as necessary, and sends the candidate word and its The candidate ranking is output (step 27).
[0034]
The inspection record management unit 15 stores the word with the highest candidate rank among the candidate words input from the numerical data determination unit 17 in the inspection record storage unit 16 (step 28), and outputs this to the input / output control unit 14. (Step 29). When the inspector inputs a word other than the inspection result by voice while the system requests the input of the inspection result (step 24), the inspection record management unit 15 enters an error message displayed on the portable display 29. Output to the output control unit 14 (step 34).
[0035]
FIG. 9 is a flowchart illustrating a processing procedure of the voice recognition unit 12. The voice recognition unit 12 operates when a voice signal is input from the input / output control unit 14. When a voice signal is input (step 36), the similarity is determined by comparing with a standard pattern registered in the voice recognition dictionary 13 (step 37). All the words corresponding to the standard pattern whose similarity is higher than a preset value are set as candidate words, and the candidate words are ranked in the order of higher similarity (step 38). Then, these candidate words and candidate ranks are output to the inspection record management unit 15 (step 39).
[0036]
FIG. 10 is a flowchart illustrating a processing procedure of the input / output control unit 14. When there is an input from the inspection record management unit 15 (step 41), the input / output control unit 14 outputs this signal to the transmission / reception unit (fixed station) 11 (step 44). This is for displaying the inspection record table or the words input by voice on the portable display 29. When there is an input from the transmission / reception unit (fixed station) 11 (step 42), this signal is output to the voice recognition unit 12 to convert the voice signal into a character signal (step 45). When an inspection target is input using the external input device 3 (step 43), this is output to the inspection record management unit 15. At this time, the inspection record management unit 15 outputs the input inspection record table of the inspection target to the input / output control unit 14. The input / output control unit 14 outputs an inspection record table to the printer 5 or the external display device 4 according to the input request (step 46).
[0037]
FIG. 11 is a diagram showing a display screen example of a portable display showing an operation example of the present invention. The portable display 29 is used to check the inspection record input by voice. The initial screen (FIG. 7A) is in a state of waiting for an input of an inspection target. The highlight indicating the input waiting state is lit at the input location to be inspected. In the state of the initial screen, the inspection target is input as an audio signal from the microphone 27. When the inspector speaks "water supply piping", an inspection record table of the water supply piping is displayed on the portable display 29 on the basis of the result of the above-mentioned processing as shown in FIG. Similarly, when the inspector speaks “temperature”, the state is awaiting the input of the inspection result for the temperature. At the temperature input location, as shown in FIG. 3C, a highlight indicating the input waiting state is turned on. When the inspector utters “115”, the first candidate “115” by the above-described processing is displayed in the item of the temperature on the portable display 29 as shown in FIG. If the input value or the like is erroneously recognized in the course of these processes, the next candidate is displayed by speaking “next”. If the user wants to correct the input value, the user can re-enter the value after saying "correction". The inspection result input by the above processing is displayed on the portable display 29 and also recorded in the inspection record storage unit 16.
[0038]
According to the present embodiment, when the inspection result of the numerical data is input by voice, the candidate ranking of the candidate word based on the voice recognition result is related to the configuration and function of the facility such as the current value of the process amount and the installation position of the sensor. Since the determination is made based on the data, the recognition rate when numerical data is input by voice is improved. Incidentally, even if a trend value of the process amount is used instead of the current value of the process amount, the recognition efficiency of speech recognition can be improved by the same processing. In addition, the present invention improves the recognition rate of voice recognition of numerical data by simply adding a device for evaluating the validity of numerical data to a conventional voice recognition device, so that the system of the present invention can be easily configured. Can be. Further, the present invention refers to a plant database that stores the latest values related to the plant state, even when the inspection result that changes sequentially according to the state of the plant is input by voice, so that the input data is always stored regardless of the state change of the plant. Can evaluate validity.
[0039]
FIG. 12 is a configuration diagram of a speech data recognition device according to the second embodiment of the present invention. The recognition apparatus of the present embodiment is different from the recognition apparatus shown in FIG. 1 in that the plant database 19 and the sensor installation information storage unit 18 are deleted, and the inspection record storage unit 16 is also connected to the numerical data determination unit 17. different. That is, the configuration of the inspection record storage unit 16 and the processing in the numerical data determination unit 17 are different.
[0040]
FIG. 13 is a configuration diagram of inspection data stored in the inspection record storage unit 16 according to the second embodiment. The inspection record storage unit 16 includes “inspection target”, “inspection item”, “inspection result”, and “(previous value) inspection result”. Each data of the inspection object, the inspection item, and the (previous value) inspection result is stored in advance. The inspection record management unit 16 stores the current inspection result in the corresponding inspection target and inspection item.
[0041]
FIG. 14 is a flowchart illustrating a processing procedure in the numerical data determination unit 17 according to the second embodiment. The numerical data determination unit 17 operates when there is an input from the inspection record management unit 15 (step 51). The input data is a check target, a check item, a candidate word, and a candidate rank. First, the numerical data determination unit 17 acquires the inspection result of the previous value for the input inspection target and inspection item from the inspection record storage unit 16 (step 52).
[0042]
Next, the difference between the numerical value of the candidate word, which is the recognition result of the voice data with respect to the current inspection result, and the previous value is calculated. If the difference is larger than the preset value, the candidate rank of this candidate word is reset to the lowest value (step 53). After changing the candidate order of each candidate word, the numerical data determination unit 17 outputs the candidate word and its candidate order to the inspection record management unit 15 (step 54).
[0043]
For example, a process when the inspection target “water supply pipe”, the inspection item “temperature”, and the candidate words “215” (first candidate) and “115” (second candidate) are input to the numerical data determination unit 17 will be described. . First, the numerical data determination unit 17 acquires the previous value from the inspection record storage unit 16. In the inspection record storage unit 16 illustrated in FIG. 13, the previous value corresponding to the inspection target “water supply pipe” and the inspection item “temperature” is “113”. Next, a difference between each of the candidate words “215” and “115” and the previous value “113” is calculated. At this time, if a preset value that the difference from the previous value is within 10% is provided in advance, the first candidate “215” does not satisfy this condition. Therefore, the numerical data determination unit 17 changes “115” to the first candidate and changes “215” to the second candidate.
[0044]
According to this embodiment, when the check result of the numerical data is input by voice, the candidate ranking of the candidate word is determined with reference to the previous value, so that the recognition rate can be improved. Thus, in the case where the same part is regularly inspected, the possibility of erroneous recognition is reduced by using the previous value, the trouble such as re-input is reduced, and the burden on the input person can be reduced. In the present embodiment, the comparison target of the candidate word is only the previous value. However, even if the average value of the past inspection results is used, the similar processing can improve the recognition rate. Further, in the present embodiment, the device can be easily configured simply by adding a device for storing the previous value of the inspection result and a device for evaluating the validity of the numerical data to the conventional voice input system. Development can be performed easily.
[0045]
Further, in the present embodiment, since a function of obtaining a difference between the input inspection result and the previous value corresponding thereto is provided, by adding a function of displaying this value to the user, the user can reduce the deviation from the previous value. It is possible to confirm, and it is possible to early detect a plant abnormality.
[0046]
The recognition device according to the present embodiment can be applied not only to plant inspection but also to various fields. For example, consider a situation in which numerical data arranged in a monotonically decreasing order from a large value to a small value is input by voice. In this case, since the numerical data input by voice is always smaller than the previous value, the candidate word is compared with the previous value, and if the candidate word is larger than the previous value, the candidate rank is lowered or deleted from the candidate word. Good. When numerical data to be input by voice has some regularity as in this example, the recognition rate of voice recognition can be improved by using the same technology as the apparatus of the present embodiment.
[0047]
FIG. 15 is a configuration diagram of a speech data recognition device according to the third embodiment of the present invention. In the second embodiment of FIG. 12, the inspection result of the previous value is input to the numerical data determination unit 17 and compared with the comparison result. However, in this embodiment, the standard value corresponding to the inspection item is smaller than that of the second embodiment. The only difference is that a stored data standard value storage unit 20 is newly provided and the stored data is input to the numerical data determination unit 17.
[0048]
FIG. 16 is a flowchart illustrating a processing procedure in the numerical data determination unit 17 according to the third embodiment. The numerical data determination unit 17 operates when there is an input from the inspection record management unit 15 (step 56). The input data is a check target, a check item, a candidate word, and a candidate rank. First, the numerical data determination unit 17 acquires standard values for the input inspection target and inspection items from the data standard value storage unit 20 (FIG. 15) (step 57).
[0049]
FIG. 17 shows the configuration of the data standard value storage unit 20. The data standard value storage section 20 stores data on inspection targets, inspection items, and standard values. The standard value is a standard value of an inspection result for each inspection item, that is, a design standard value of equipment parts and the like. For example, the bolt size, which is one of the inspection items, changes only in a very limited range. In the case where the inspection result does not change much like this example, the standard value is defined in advance based on the design standard value and stored in the data standard value storage unit 20.
[0050]
In step 58 of FIG. 16, the difference between the standard value acquired from the data standard value storage unit 20 of FIG. 17 and the numerical value of the candidate word, which is the speech recognition result, is calculated. For candidate words whose difference is larger than a preset value, candidate ranks with lower differences are set in descending order of the difference. After changing the candidate order of the candidate words, the numerical data determination unit 17 outputs the candidate words and the candidate order to the inspection record management unit 15 in the next step 59.
[0051]
For example, for the inspection target “coupling” and the inspection item “bolt 1 dimension”, the candidate words “300.1” (first candidate), “200.1” (second candidate), and “200.0” ( It is assumed that the third candidate) is input to the numerical data determination unit 17. First, the numerical data determination unit 17 acquires a standard value corresponding to the inspection target “coupling” and the inspection item “bolt 1 dimension” from the data standard value storage unit 20. In the example shown in FIG. 17, the standard value is “200.00 mm”. Next, the difference between each of the candidate words “300.1”, “200.1”, “200.0” and the standard value “200.00” is calculated. At this time, if a preset value that the difference from the standard value is within 10% is provided in advance, the first candidate “300.1” does not satisfy this condition. The two candidate words whose difference from the standard value is within 10% are “200.1” and “200.0”. In this case, the setting of the candidate order of the candidate words is performed by voice recognition. According to the order of the candidate order determined by the unit 12. Therefore, the numerical data determination unit 17 sets “200.1” as a first candidate, “200.0” as a second candidate, and “300.1” as a third candidate.
[0052]
According to the present embodiment, when the inspection result of the numerical data is input by voice, the difference between the candidate word and the knowledge data on the configuration or function of the facility such as the standard value is determined, and the difference is larger than a preset value. Recognition rate can be improved by lowering the word candidate rank. As a result, it is possible to prevent the input numerical value from being recognized as an impossible numerical value and to improve the usability of the voice input system.
[0053]
Further, in the apparatus of the present embodiment, the apparatus can be easily configured only by adding an apparatus for evaluating the validity of the standard value of the inspection result and the numerical data to the conventional voice input system. Therefore, it is possible to easily develop the system.
[0054]
Furthermore, since the apparatus of the present embodiment has a function of calculating the difference between the input inspection result and the corresponding standard value, by adding a function of displaying this value to the user, the user can check the difference between the standard value and the standard value. The deviation can be confirmed, and the abnormality can be detected early. In the present embodiment, the comparison target of the candidate words is a standard value, but the recognition rate can be improved by the same processing even if the initial inspection result is used instead of the standard value. Further, in this case, since the deviation from the initial state can be confirmed, the progress of the abnormality can be confirmed with respect to the inspection result whose value changes over a long period of time.
[0055]
Although the present embodiment describes the case where the present invention is used for inspection of a plant, the present invention is not limited to this, and in a situation where numerical data having a certain standard value is input, the recognition rate of speech recognition is similarly increased. Can be improved. For example, the present invention can be applied to input of dimensions of parts used for assembling a device, input of a foreign exchange rate used in a financial institution, and the like.
[0056]
FIG. 18 is a configuration diagram of a speech data recognition device according to the fourth embodiment of the present invention. This embodiment is different from the first embodiment shown in FIG. 1 in that a priority word processing unit 21 that changes the candidate order of candidate words based on a check position of an input person and a word to be output with priority are stored. A priority word storage unit 22, a plant information storage unit 24 storing sensor installation positions and inspection routes, an inspection system information storage unit 25 storing words to be output with priority for each inspection target, and a plant information storage unit An inspection system identification unit 23 that identifies an inspection system using the unit 24 and outputs a word related to the inspection system acquired from the inspection system information storage unit 25 to the priority word storage unit 22 is provided. This is the point that the database 19 and the sensor installation information storage unit 18 are deleted.
[0057]
Hereinafter, the processing in the priority word processing unit 21, the configuration of the priority word storage unit 22, the configuration of the plant information storage unit 24, the configuration of the inspection system information storage unit 25, the processing of the inspection system identification unit 23, and the processing of the inspection record management unit 15 will be described. I do.
[0058]
FIG. 19 is a diagram showing sensor pre-stored data, which is data stored in advance in the plant information storage unit 24 shown in FIG. 18 and which is used for specifying the position of the voice input person. The sensor installation position data indicates which system each sensor is installed in. Incidentally, the sensors (S1 to S5) use a semiconductor laser and a photodetector, and are installed so that laser light always enters the light receiving surface of the photodetector. When the inspector (voice input person) passes between the semiconductor laser and the photodetector, the laser beam incident on the light receiving surface of the photodetector is blocked, so that the sensor passes the voice input person, that is, voice input. The position of the person.
[0059]
FIG. 20 is a configuration diagram of the inspection route information stored in the plant information storage unit 24 in advance. Inspection route information stores inspection routes in order by system name.
[0060]
FIG. 21 is a configuration diagram of the inspection system information storage unit 25. The inspection system information storage unit 25 includes an inspection system and priority words corresponding to the inspection system. The priority word is a word that is highly likely to be spoken by the inspector, and the priority word processing unit 21 outputs this word with priority. In the example of FIG. 21, “water supply piping”, “water supply temperature”, “water supply flow rate”, and the like are possible as priority words in water supply system inspection.
[0061]
FIG. 22 is a flowchart illustrating a processing procedure of the inspection system identification unit 23. The inspection system identification unit 23 operates when a signal from the sensor is detected (Step 60). First, a sensor that has detected a voice input person is specified, its set position information is read (steps 61 to 62), and inspection route information is read (step 63). Then, the current position of the voice input person, that is, the inspection system is specified (step 64). For example, in FIG. 23, the voice input person performing the inspection work along “Route 1” finishes the inspection of the circulating water pump A, and installs the sensor S2 to perform the inspection work of the T / D-RFP-A. When passing through the position, the sensor S2 makes a judgment based on the information "installed between the circulating water system and the water supply system" and the information on the route 1 "the water supply system after the circulating water system". The system is identified as “water supply system”.
[0062]
After specifying the system to be checked, a priority word corresponding to the system is acquired from the check system information storage unit 25 (step 65). The acquired priority word is stored in the priority word storage unit 22 (step 66). By this processing, words having a high possibility of utterance, that is, priority words, are sequentially stored in the priority word storage unit 22 in relation to the system under inspection.
[0063]
FIG. 24 is a flowchart illustrating a processing procedure of the priority word processing unit 21. The priority word processing section 21 operates when there is an input from the speech recognition section 12. The input data is candidate words and their candidate ranks. When the candidate word and the candidate ranking are input (step 70), the priority word processing unit 21 acquires a priority word from the priority word storage unit 22 (step 71). If the priority word is included in the candidate words, the candidate order of the word is set to the highest (step 72). However, when a plurality of priority words are included, the candidate order is assigned according to the candidate order determined by the speech recognition unit 12. After determining the candidate ranks of the candidate words in this way, the candidate words and the candidate ranks are output to the inspection record management unit 15 (step 73).
[0064]
For example, when the inspection system identification unit 23 specifies the inspection target as “water supply system”, the priority word storage unit 22 stores a word closely related to “water supply system”. These words are obtained from words stored in the inspection system information storage unit 25. In the example of the inspection system information storage unit 25 illustrated in FIG. 21, the priority words of “water supply system” are “water supply pipe”, “water supply temperature”, “water supply flow rate”, “water supply pump”, and the like. At this time, when “main steam flow” (first candidate), “water supply flow” (second candidate), and “water supply pump” (third candidate) are input to the priority word processing unit 21 as candidate words, The word processing unit 21 sets each of the candidate orders of “water supply flow rate” and “water supply pump” included in the priority words to be higher. However, since the voice recognition unit 12 sets the candidate order of “water supply flow rate” higher than “water supply pump”, the priority word processing unit 21 sets “water supply flow rate” as the first candidate and sets “water supply pump” to “water supply pump”. The second candidate is used. “Main steam flow rate” that is not included in the priority word is a third candidate. By performing the above processing, the candidate rank of the word related to the “water supply system” to be checked becomes higher, and the recognition rate is improved.
[0065]
FIG. 25 is a flowchart illustrating a processing procedure of the inspection record management unit 15. The inspection record management unit 15 operates when there is an input from the priority word processing unit 21 (step 75). The input data is a candidate word corresponding to a check target, a check item, a check result, and a candidate rank thereof. When an inspection target is input (step 76), an inspection record table corresponding to the inspection target is output to the input / output control unit 14 (step 81), and input of an inspection item is waited for (step 82). When an inspection item is input (step 77), the inspection item is output to the input / output control unit 14 (step 83), and input of an inspection result is waited for (step 84). The output of the inspection record table and the inspection items to the input / output control unit 14 is for displaying them on the portable display 29.
[0066]
When the inspection result is input (step 78), the inspection result is stored in the inspection record storage unit 16 (step 79). At the same time, the inspection result is output to the input / output control unit 14 (step 80). Here, the check result indicates a word having the highest candidate rank among candidate words. When the inspector inputs a word other than the inspection result by voice while the system is requesting the input of the inspection result, the inspection record management unit 15 outputs an error message displayed on the portable display 29 to the input / output control unit 14. (Step 85).
[0067]
According to the present embodiment, the position of the inspector is detected, the system targeted by the inspector is obtained from the position information, and only words related to this system are preferentially output, thereby improving the recognition rate. Becomes possible. Further, in the present embodiment, the words to be output are preferentially changed according to the dynamically changing situation of the position information of the inspector, so that the possibility of utterance is high according to the inspection object that changes every moment. By selecting a word, it is possible to reduce the possibility of misrecognition of the system, device name, and the like.
[0068]
Furthermore, in this embodiment, the first to third embodiments handle only numerical data, but it is possible to improve the recognition rate of speech recognition for words other than numerical data. With this, if one voice recognition dictionary that registers words related to the entire plant is prepared, the words that are most likely to be spoken are selected from similar system / device names according to the situation of the inspector. Can be output as a recognition word, the possibility of outputting a similar word as a recognition result can be reduced, and the man-machine nature of the voice input system can be improved.
[0069]
FIG. 26 is a configuration diagram of a speech data recognition device according to a fifth embodiment of the present invention. This embodiment is different from the fourth embodiment shown in FIG. 18 in that the inspection system identification unit 23 takes in the signal from the input / output control unit 14 and processes it, and the inspector replaces the plant information storage unit 24. The information storage unit 26 is provided. The system to be inspected is stored in the inspector information storage unit 26 for each inspector.
[0070]
In this embodiment, information for identifying the inspector, such as the inspector name or the inspector code, is input using the external input device 3. The system stores in advance the name of the system to be inspected for each inspector. By associating this information with the inspector, the system to be inspected is specified, and words related to the inspected system are identified. Output with priority.
[0071]
FIG. 27 is a configuration diagram of the inspector information storage unit 26. The inspector information storage unit 26 stores data of “inspection date”, “inspector”, and “inspection system”. For example, in the example of FIG. 27, the inspector A is to inspect the main steam system on April 10, 1995. This information is referred to when specifying the system to be inspected from the data of the “inspector”.
[0072]
FIG. 28 is a flowchart illustrating a processing procedure of the inspection system identification unit 23. The inspection system identification unit 23 operates when there is an input from the input / output control unit 14 (step 86). The input data is an inspector name input to the system using the external input device 3. When the inspector name is input, the inspection system identification unit 23 acquires a system corresponding to the inspector name from the inspector information storage unit 26 (Step 87). At this time, the inspection date corresponding to the current date is selected. Information on the current date and time is obtained from the clock in the inspection system identification unit 23. Next, a priority word corresponding to the system is acquired from the inspection system information storage unit 25 (step 88). Next, the acquired priority word is output to the priority word storage unit 22 (step 89).
[0073]
For example, when the inspector name “B” is input to the inspection system identification unit 23, the inspection system identification unit 23 refers to the information of the inspector name “B” in the inspector information storage unit 26. In the example shown in FIG. 27, the inspection system corresponding to the inspector name "B" is "water supply system". At this time, the inspection date that matches the current date is selected. Next, the inspection system identification unit 23 acquires the priority word of “water supply system” from the inspection system information storage unit 25 and stores the priority word in the priority word storage unit 22.
[0074]
FIG. 29 is a flowchart illustrating a processing procedure of the input / output control unit 14. When there is an input from the inspection record management unit 15 (step 90), the input / output control unit 14 outputs this signal to the transmission / reception unit (fixed station) 11 (step 95). This is for displaying the inspection record table or the words input by voice on the portable display 29. When a voice signal is input from the transmission / reception unit (fixed station) 11 (step 91), this signal is output to the voice recognition unit 12 in order to convert the voice signal into a character signal (step 96). When there is an input from the external input device 3 (step 92), if the input data is the inspector name (step 93), this is output to the inspection system identification unit 23 (step 97). If the input data is a request signal for outputting the inspection result to the external display device 4 or the printer 5, the inspection result is obtained from the inspection record management unit 15, and is output to the external display device 4 or the printer 5 ( Step 94). According to the present embodiment, the system to be inspected is specified based on the information related to the inspector, that is, the input code such as the type code and name of the voice input operator, and the words related to the inspection system are specified. Is preferentially output, so that the recognition rate of voice data can be improved.
[0075]
In the present embodiment, when the inspectors are grouped and the system for performing the inspection is determined by the groups, the information is stored for each group instead of storing the information for each inspector. By storing and inputting information for specifying a group such as a group name into the system, a system to be inspected can be specified in the same manner as in the above-described embodiment, and only words closely related to the system are prioritized. Can be output as desired. For example, if group "A" is a group that checks the main steam system, entering information identifying the group "A" into the system will cause the words associated with the main steam system to be entered. Can be output preferentially. Through these processes, the recognition rate of voice recognition can be improved.
[0076]
According to each of the above-described embodiments, when numerical data, system equipment names, and the like are input during plant operation, maintenance, and inspection work, not only the similarity to the standard pattern registered in the speech recognition dictionary, but also Information related to the characteristics of the object of the voice input system, such as the process value, the previous value of the inspection result, the standard value of the design, the position information of the voice input person, the information on the inspection target of the voice input user, etc. shall also be used. Accordingly, it is possible to improve the recognition rate of voice recognition according to the state of the plant that changes every moment, the inspection target, and the like. Thereby, the burden on the voice input person in the inspection work of the plant or the like, that is, the burden of re-input or the like is reduced, and the efficiency of these works can be improved. Further, the possibility of erroneous recognition of a voice input can be reduced, and a reliable check operation can be performed. Therefore, the effect of improving the economy and safety by using such a voice input system increases.
[0077]
【The invention's effect】
According to the present invention, when performing speech data recognition, the candidate ranking of the recognition result determined by the similarity with the standard pattern of the speech data is set to the characteristic such as the process amount targeted by the speech data to be recognized. Since the change is performed based on the speech data, the recognition rate of the voice data is improved.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a speech data recognition device according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure in recording an inspection result.
FIG. 3 is a configuration diagram of an inspection record storage unit.
FIG. 4 is a schematic diagram illustrating a relationship between an inspection result and a process amount.
FIG. 5 is a flowchart illustrating a processing procedure in a numerical data determination unit.
FIG. 6 is a configuration diagram of a sensor installation information storage unit.
FIG. 7 is a configuration diagram of a plant database.
FIG. 8 is a flowchart illustrating a processing procedure in an inspection record management unit.
FIG. 9 is a flowchart illustrating a processing procedure in a voice recognition unit.
FIG. 10 is a flowchart illustrating a processing procedure in an input / output control unit.
FIG. 11 is a diagram illustrating a display example of a portable display.
FIG. 12 is a configuration diagram of a voice data recognition device according to a second embodiment of the present invention.
FIG. 13 is a configuration diagram of an inspection record storage unit according to a second embodiment.
FIG. 14 is a flowchart illustrating a processing procedure in a numerical data determination unit according to the second embodiment.
FIG. 15 is a configuration diagram of a voice data recognition device according to a third embodiment of the present invention.
FIG. 16 is a flowchart illustrating a processing procedure in a numerical data determination unit according to the third embodiment.
FIG. 17 is a configuration diagram of a data standard value storage unit according to the third embodiment.
FIG. 18 is a configuration diagram of a voice data recognition device according to a fourth embodiment of the present invention.
FIG. 19 is an explanatory diagram of sensor installation position information.
FIG. 20 is an explanatory diagram of inspection route information.
FIG. 21 is a configuration diagram of an inspection system information storage unit.
FIG. 22 is a flowchart illustrating a processing procedure in an inspection system identification unit.
FIG. 23 is a schematic view of a plant site.
FIG. 24 is a flowchart illustrating a processing procedure in a priority word processing unit according to a fourth embodiment.
FIG. 25 is a flowchart illustrating a processing procedure in an inspection record management unit according to the fourth embodiment.
FIG. 26 is a configuration diagram of a voice data recognition device according to a fifth embodiment of the present invention.
FIG. 27 is a configuration diagram of an inspector information storage unit according to a fifth embodiment.
FIG. 28 is a flowchart illustrating a processing procedure in an inspection system identification unit according to the fifth embodiment.
FIG. 29 is a flowchart illustrating a processing procedure in an input / output control unit according to a fifth embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Recognition apparatus main body, 2 ... Input / display apparatus, 3 ... External input apparatus, 4 ... External display apparatus, 5 ... Printer, 6 ... Control computer, 7 ... Plant, 11 ... Transmission / reception part (fixed station), 12 ... Voice recognition unit 13 Voice recognition dictionary 14 Input / output control unit 15 Inspection record management unit 16 Inspection record storage unit 17 Numeric data determination unit 19 Plant database 18 Sensor installation information storage unit , 20 ... data standard value storage unit, 21 ... priority word processing unit, 22 ... priority word storage unit, 23 ... inspection system identification unit, 24 ... plant information storage unit, 25 ... inspection system information storage unit, 26 ... inspector information Storage unit, 27: microphone, 28: transmitting / receiving unit (mobile station), 29: portable display.

Claims (12)

音声入力された語に対し、入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声データの認識方法において、入力音声パターンと標準音声パターンとの比較により候補単語と当該候補単語の候補順位とが得られた際に前記候補単語が数値データである場合には、当該数値データに関わる対象物の特性と得られた候補単語との関係に応じて、この候補単語の候補順位を変更する処理を行い、当該候補単語の候補順位を決定することを特徴とする音声データの認識方法。In a speech data recognition method for comparing an input voice pattern with a standard voice pattern for a word that has been input and determining a candidate word based on the similarity between the two, a candidate is obtained by comparing the input voice pattern with the standard voice pattern. When the word and the candidate rank of the candidate word are obtained, and the candidate word is numerical data, according to the relationship between the characteristic of the object related to the numerical data and the obtained candidate word, A speech data recognizing method characterized by performing a process of changing a candidate order of a candidate word and determining a candidate order of the candidate word. 音声入力された語に対し、入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声データの認識方法において、入力された数値データのとり得る数値範囲に係る関係式が予め定められており、数値データが音声により入力され該入力音声に対する候補単語が標準音声パターンとの比較により複数決定されたときは、該複数の候補単語の中から前記関係式を満たす候補単語を上位の候補順位として決定することを特徴とする音声データの認識方法。In a speech data recognition method for comparing an input speech pattern and a standard speech pattern with respect to a speech input word and determining a candidate word based on the similarity between the two, the present invention relates to a numerical range that can be taken by the input numeric data. A relational expression is predetermined, and when numerical data is input by voice and a plurality of candidate words for the input voice are determined by comparison with a standard voice pattern, the relational expression is satisfied from the plurality of candidate words. A method for recognizing speech data, wherein a candidate word is determined as a high-ranking candidate rank. 音声入力された語に対し、入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声データの認識方法において、過去に入力され音声認識された同一物に対する数値データが音声入力され標準音声パターンとの比較により候補単語が複数決定されたときは、該複数の候補単語の中から前記過去に音声認識された数値データに近い数値データを上位の候補順位として決定することを特徴とする音声データの認識方法。A speech data recognition method that compares an input speech pattern with a standard speech pattern for a word that has been input and determines candidate words based on the similarity between the two. When a plurality of candidate words are determined by data input and comparison with a standard voice pattern, numerical data close to the previously recognized numerical data is determined as a higher candidate rank from among the plurality of candidate words. A voice data recognition method. 音声入力された語に対し、入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声データの認識方法において、標準値が予め分かっている対象物に対する測定データが音声入力され標準音声パターンとの比較により候補単語が複数決定されたときは、該複数の候補単語の中から前記標準値に近い測定データを表す候補単語を上位の候補順位として決定することを特徴とする音声データの認識方法。In a speech data recognition method for comparing an input speech pattern and a standard speech pattern with respect to a speech input word and determining a candidate word based on the similarity between the two, measurement data for an object whose standard value is known in advance When a plurality of candidate words are determined by voice input and comparison with a standard voice pattern, a candidate word representing measurement data close to the standard value is determined as a higher candidate rank from among the plurality of candidate words. Recognition method of voice data as a feature. 音声入力された語に対し、入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声データの認識方法において、音声入力者が実施する業務に関連する対象物に基づき発話の可能性の高い用語を優先単語として予め定めておき、入力音声に対する標準音声パターンを用いた音声認識結果により複数の候補単語が決定されたときは、前記対象物に基づいて、前記優先単語と一致する候補単語を上位の候補順位として決定することを特徴とする音声データの認識方法。 An object related to a task performed by a voice entrant in a voice data recognition method in which a voice input word is compared with an input voice pattern and a standard voice pattern and a candidate word is determined based on a similarity between the two . A word having a high possibility of utterance is determined in advance as a priority word based on , and when a plurality of candidate words are determined based on a speech recognition result using a standard voice pattern for an input voice , based on the object, A method for recognizing speech data, wherein a candidate word that matches a priority word is determined as a higher-rank candidate rank. 音声入力された語に対し、入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声データの認識方法において、複数の候補単語が音声認識結果により決定されたとき、発話者の特性に基づいて前記複数の候補単語の候補順位を決定することを特徴とする音声データの認識方法。In a speech data recognition method in which an input speech pattern is compared with a standard speech pattern and a candidate word is determined based on a similarity between the two, a plurality of candidate words are determined based on a speech recognition result. And determining a candidate rank of the plurality of candidate words based on characteristics of a speaker. 音声入力された語に対し入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声認識手段を備える音声データの認識装置において、前記音声認識手段により候補単語と当該候補単語の候補順位とが得られた際に当該候補単語が数値データである場合に、当該数値データに関わる対象物の特性と得られた候補単語との関係に応じて、この候補単語の候補順位を変更する処理を行い、当該候補単語の候補順位を決定する手段を備えることを特徴とする音声データの認識装置。In recognition device voice data comprising voice recognition means for determining candidate words on the basis of the similarity of the two compares the input speech pattern and the standard speech pattern to words that are voice input, a candidate word by the speech recognition means If the candidate word of the candidate word is numerical data when the candidate rank of the candidate word is obtained, the candidate word of the candidate word is determined according to the relationship between the characteristic of the object related to the numerical data and the obtained candidate word. An apparatus for recognizing speech data, comprising means for performing a process of changing a candidate rank and determining a candidate rank of the candidate word. 音声入力された語に対し入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声認識手段を備える音声データの認識装置において、入力された数値データのとり得る数値範囲に係る関係式のデータを予め格納する格納部と、数値データが音声で入力され該入力音声に対する候補単語が前記音声認識手段により複数決定されたとき該複数の候補単語の中から前記関係式を満たす候補単語を上位の候補順位として決定する手段と、を備えることを特徴とする音声データの認識装置。In a voice data recognition device including a voice recognition unit that compares an input voice pattern with a standard voice pattern for a voice input word and determines a candidate word based on the similarity between the two, the input numerical data can be taken. A storage unit for storing in advance the data of the relational expression relating to the numerical range, and when the numerical data is input by voice and a plurality of candidate words for the input voice are determined by the voice recognition means, the relation is selected from among the plurality of candidate words. recognizer voice data, characterized in that it comprises means for determining a candidate word which satisfies the expression as a candidate ranking higher, the. 音声入力された語に対し入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声認識手段を備える音声データの認識装置において、過去に入力され音声認識された同一物に対する数値データが音声入力され前記音声認識手段により候補単語が複数決定されたとき該複数の候補単語の中から前記過去に音声認識された数値データに近い数値データを上位の候補順位として決定する手段を備えることを特徴とする音声データの認識装置。In a speech data recognition device including speech recognition means for comparing an input speech pattern with a standard speech pattern for a speech-inputted word and determining a candidate word based on the similarity between the two, a speech input and a speech recognition performed in the past When numerical data for the same object is input as speech and a plurality of candidate words are determined by the voice recognition means, numerical data close to the previously recognized numerical data is determined as a higher candidate rank from among the plurality of candidate words. An apparatus for recognizing speech data, comprising: 音声入力された語に対し入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声認識手段を備える音声データの認識装置において、標準値が予め分かっている対象物に対する測定データが音声入力され前記音声認識手段により候補単語が複数決定されたとき該複数の候補単語の中から前記標準値に近い測定データを表す候補単語を上位の候補順位として決定する手段を備えることを特徴とする音声データの認識装置。In a speech data recognition device including a speech recognition unit that compares an input speech pattern with a standard speech pattern for a word that has been input and determines a candidate word based on the similarity between the two, an object whose standard value is known in advance Means for deciding a candidate word representing measurement data close to the standard value from the plurality of candidate words as a higher candidate rank when a plurality of candidate words are determined by the speech data when measurement data for the object is input. An apparatus for recognizing voice data, comprising: 音声入力された語に対し入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声認識手段を備える音声データの認識装置において、音声入力者が実施する業務に関連する対象物に基づき発話の可能性の高い用語を優先単語として予め格納する格納部と、前記音声認識手段により複数の候補単語が決定されたときに前記対象物に基づいて、前記優先単語と一致する候補単語の候補順位を上位の候補順位として決定する手段と、を備えることを特徴とする音声データの認識装置。In a voice data recognition device that includes a voice recognition unit that compares an input voice pattern with a standard voice pattern for a word that has been input and determines a candidate word based on the similarity between the two , A storage unit that stores in advance a term having a high possibility of speech based on a related object as a priority word, and the priority word, based on the object when a plurality of candidate words are determined by the voice recognition unit. recognizer voice data, characterized in that it comprises means for determining a matching candidate word candidate rank as a candidate ranking higher, the. 音声入力された語に対し入力音声パターンと標準音声パターンとを比較し両者の類似度に基づいて候補単語を決定する音声認識手段を備える音声データの認識装置において、複数の候補単語が前記音声認識手段により決定されたとき発話者の特性に基づいて前記複数の候補単語の候補順位を決定する手段を備えることを特徴とする音声データの認識装置。In a speech data recognition apparatus comprising: a speech recognition unit that compares an input speech pattern with a standard speech pattern for a word that has been input and determines a candidate word based on a similarity between the two. A speech data recognition apparatus comprising: means for determining a candidate rank of the plurality of candidate words based on characteristics of a speaker when determined by the means.
JP15372297A 1997-06-11 1997-06-11 Method and apparatus for recognizing voice data Expired - Fee Related JP3557467B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15372297A JP3557467B2 (en) 1997-06-11 1997-06-11 Method and apparatus for recognizing voice data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15372297A JP3557467B2 (en) 1997-06-11 1997-06-11 Method and apparatus for recognizing voice data

Publications (2)

Publication Number Publication Date
JPH113093A JPH113093A (en) 1999-01-06
JP3557467B2 true JP3557467B2 (en) 2004-08-25

Family

ID=15568675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15372297A Expired - Fee Related JP3557467B2 (en) 1997-06-11 1997-06-11 Method and apparatus for recognizing voice data

Country Status (1)

Country Link
JP (1) JP3557467B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7230582B1 (en) * 1999-02-12 2007-06-12 Fisher-Rosemount Systems, Inc. Wearable computer in a process control environment
JP4250344B2 (en) 2001-01-29 2009-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーション Workflow system, workflow server, and storage medium
JP2004029317A (en) * 2002-06-25 2004-01-29 National Agriculture & Bio-Oriented Research Organization Information processor and information processing system
JP4289863B2 (en) * 2002-10-22 2009-07-01 キヤノン株式会社 Data input device and data input method
JP6427377B2 (en) * 2014-10-03 2018-11-21 株式会社日立製作所 Equipment inspection support device
JP6436582B2 (en) * 2016-03-17 2018-12-12 三菱重工業株式会社 Work result recording system, work result recording method and program
JP6802592B1 (en) * 2020-05-25 2020-12-16 Mintomo株式会社 Voice inspection data storage method, system and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60118892A (en) * 1983-11-30 1985-06-26 株式会社東芝 Voice recognition equipment
JPS62229197A (en) * 1986-03-29 1987-10-07 日本電気株式会社 Numeral voice recognition equipment
JPH04118800A (en) * 1990-09-10 1992-04-20 Mitsubishi Kasei Corp Data collector for plant patrol
JPH05290101A (en) * 1992-04-13 1993-11-05 Mitsubishi Electric Corp Method and device for continuous speech recognition processing
JPH08320697A (en) * 1995-05-23 1996-12-03 Hitachi Ltd Speech recognition device

Also Published As

Publication number Publication date
JPH113093A (en) 1999-01-06

Similar Documents

Publication Publication Date Title
US6434521B1 (en) Automatically determining words for updating in a pronunciation dictionary in a speech recognition system
CN112214418B (en) Application compliance detection method and device and electronic equipment
EP3089158B1 (en) Speech recognition processing
US10127907B2 (en) Control device and message output control system
JP2009032206A (en) Portable inspection device, portable inspection system, inspection method, and program
US10885909B2 (en) Determining a type of speech recognition processing according to a request from a user
JP3557467B2 (en) Method and apparatus for recognizing voice data
JP6744025B2 (en) Work support system, management server, mobile terminal, work support method and program
US20130246066A1 (en) Method and apparatus for providing services using voice recognition in pos system
JPH11327585A (en) Method of dynamic speech recognition using free speech grading method and apparatus therefor
CN110672232A (en) Method and device for correcting tube wall temperature of boiler heating surface and storage medium
Li et al. Fault diagnosis and location of the aero-engine hydraulic pipeline based on Kalman filter
JP2007156670A (en) Facility equipment checking system
CN110716843B (en) System fault analysis processing method and device, storage medium and electronic equipment
JP2006277654A (en) Portable terminal device, information processing method, and information processing system
JP2001101235A (en) Equipment degradation diagnostic method and equipment degradation diagnostic system
JP2018206291A (en) Energy saving effect calculating device and method
JP6427377B2 (en) Equipment inspection support device
JP6625494B2 (en) Inspection system
WO2019155887A1 (en) Information processing device, information processing method, and program
JP3420965B2 (en) Interactive database search method and apparatus, and recording medium recording interactive database search program
JP4435853B1 (en) Measurement support system and measurement system using the same
CN106990308A (en) A kind of power system special intelligent type infrared detection equipment and detection method
KR100299770B1 (en) Apparatus and method for sensing input voice in internet searching system through television
JP7162778B2 (en) Maintenance management work support device and maintenance management work portable terminal

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120528

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120528

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees