【０００１】
【発明の属する技術分野】
本発明は、プラント設備の保守作業等のように複数の場所に分散した作業場所で、複数の人間が協調して実施する作業の訓練を行う人間系シミュレータを備えた作業訓練システムに関する。
【０００２】
【従来の技術】
従来の作業訓練システムでは、作業の対象となる装置の動作やプラントの動特性を計算機シミュレーションによって模擬し、それに対して人間が作業するという形態が一般的であるため、訓練のために用意するのは作業の対象となる設備だけであり、複数の人間が協調して行う作業の訓練では複数の人間の参加が必要である。このような訓練では、一つの訓練施設に複数の訓練生を集めて行うのが一般的であるが、特開２００２ー８２５９９号公報には、通信ネットワークを利用して遠隔地から訓練に参加できるようにした作業訓練システムが示されている。一方、人間のシミュレータを利用するという点については、財団法人電力中央研究所研究年報１９９７年版第１０，１１ページには、協調作業を行う人間のシミュレータとプラントのシミュレータを備えたシステムが報告されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の訓練設備システムでは、特開２００２−８２５９９号公報に記載のように訓練生が遠隔地から訓練に参加することが可能になるが、協調作業の訓練のためには複数の訓練生が参加する必要があり、訓練生を必要数確保しなければ訓練が実施できない。また訓練実施に際して、常に同じ技能レベルの訓練生を集めることは現実的には不可能であるため、複数の訓練生による訓練では、提供できる訓練の質を一定レベルに保つことが難しい。また財団法人電力中央研究所研究年報１９９７年版で報告されているシステムは、人間のシミュレータ同士が通信する計算機上で閉じたシステムであり、訓練生が参加して作業を分担することはできない。
【０００４】
本発明の目的は、複数の作業者が協調して行う作業の訓練を、単独の訓練生でも実施可能とした人間系シミュレータを備えた作業訓練システムを提供することにある。
【０００５】
【課題を解決するための手段】
本発明は上記目的を達成するために、訓練生によって操作可能な対象機器の模擬装置と、この対象機器の模擬装置に接続したシステムシミュレータと、このシステムシミュレータに接続すると共に共同作業者を疑似して訓練用設備を操作する少なくとも一つの人間系シミュレータと、この人間系シミュレータに接続されると共に訓練生との間のコミュニケーションを可能にするコミュニケーションインターフェース装置とを備えたことを特徴とする。
【０００６】
本発明による人間系シミュレータを備えた作業訓練システムは、システムシミュレータに接続すると共に共同作業者を疑似して訓練用設備を操作する少なくとも一つの人間系シミュレータと、この人間系シミュレータに接続されると共に訓練生との間のコミュニケーションを可能にするコミュニケーションインターフェース装置とを備えて構成したため、少なくとも一つの人間系シミュレータによって少なくとも一人の共同作業者を模擬することができ、複数の人間が協調して行う作業の訓練を単独の訓練生でも実施可能となる。しかも、この人間系シミュレータによって一定レベルの共同作業者を模擬することができるため、複数の作業者による訓練でも提供できる訓練の質を一定レベルに保つことができるようになる。
【０００７】
また請求項２に記載の本発明では、請求項１記載のものにおいて、上記コミュニケーションインターフェース装置として音声入出力装置を用いているため、訓練生と人間系シミュレータとの間のコミュニケーションが容易になり、少なくとも一つの人間系シミュレータによって少なくとも一人の共同作業者を模擬することができ、複数の作業者が協調して行う作業の訓練を単独の訓練生でも実施可能となり、また、この人間系シミュレータによって一定レベルの共同作業者を模擬することができるため、複数の作業者による訓練でも提供できる訓練の質を一定レベルに保つことができる。
【０００８】
また請求項３に記載の本発明による人間系シミュレータを備えた作業訓練システムは、請求項２記載のものにおいて、訓練課題毎に定められる特定の単語群を格納した認識用単語セットを備え、上記音声入出力装置で認識された単語が上記認識用単語セットに格納された単語と一致する場合に認識結果の確からしさを増加させ、一致しない場合には減少させる発話内容認識部を設けたため、保守作業で使用される単語との協調性を高め、認識精度を高めることができる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明の一実施の形態による人間系シミュレータを備えた作業訓練システムのブロック構成図である。
この人間系シミュレータを備えた作業訓練システムは、少なくとも一人の訓練生と少なくとも一つの人間系シミュレータから構成するもので、ここでは三人の共同作業者、つまり一人の訓練生１と、他の二人の共同作業者を模擬する人間系シミュレータ２ａおよび人間系シミュレータ２ｂが協調して行う作業の訓練として例示している。二人で実施する協調作業を訓練する場合には、人間系シミュレータ２ａまたは人間系シミュレータ２ｂのいずれかを無くし、また、四人以上で実施する協調作業の場合であれば、必要に応じて人間系シミュレータの数を増やした構成とする。
【００１０】
作業訓練を受ける訓練生１が作業の対象となる対象設備の模擬装置４に対して操作を行うと、対象設備の模擬装置４に対して加えられた操作はシステムシミュレータ５に伝送され、システムの挙動に従った状態変化の情報が対象設備の模擬装置４に伝送される。システムシミュレータ５からの情報に基づいて対象設備の模擬装置４は表示や警報を変化させ、訓練生に状態を提示する。このとき人間系シミュレータ２ａ，２ｂも、訓練生１の作業と協調を取りながら、システムシミュレータ５に対して所定の装置の操作に相当する模擬信号を伝送したり、同時にプラント状態の変化を観測したりする。この人間系シミュレータ２ａ，２ｂと訓練生１間は、人間系シミュレータ２ａ，２ｂに接続したコミュニケーションインターフェース装置３、例えば音声入出力装置あるいはその他の類似装置を介してコミュニケーションを行う。
【００１１】
人間系シミュレータ２ａ，２ｂおよび対象設備の模擬装置４には初期化コントローラ６および端末装置７が接続され、端末装置７の操作によってシミュレータ２ａ，２ｂの役割を入れ替え可能にしている。これによって、訓練生１は共同作業者三人のうちのどの役割の訓練でも受けられる。このとき対象設備の模擬装置４は、ディスプレーに表示して操作対象をタッチ式にし、訓練生１のその役割に対応する表示に切り替える。
【００１２】
図２は、コミュニケーションインターフェース装置３を音声入出力装置として構成した場合の人間系シミュレータ２ａを示すブロック構成図であり、人間系シミュレータ２ｂも同様の構成である。
人間系シミュレータ２ａは、入力された音声を単語の列として認識し、その単語列から訓練生１の発話の内容を認識する発話内容認識部２０と、システム状態など設備側の状態を観測および判別する状態認識部２１と、発話内容認識部の結果などに基づいて人間系シミュレータ２ａの行動を制御する行動制御部２２と、共同作業者としての発話を生成し音声として出力する応答生成部２３と、協調作業の一貫として行う操作に相当する模擬信号を生成してシステムシミュレータ５に入力する操作信号生成部２４とから構成している。
【００１３】
また、訓練課題ごとに交換可能なデータとして認識用単語セット２５と、観測可能点リスト２６と、行動データ２７とを有している。この認識用単語セット２５は、対象とするシステムに関係する単語とその用法、品詞、および出現頻度のデータで構成する。観測可能点リスト２６は、実際の作業で一人の作業者が担当する範囲内で観測可能なシステム状態を指定する。また行動データ２７は、協調して行う作業の操作の流れを順を追って記述したデータで、作業を実行するきっかけとなる事象と作業を実施する際の詳細な行動を指定する。発話内容認識部２０は、常に訓練生１あるいは他の人間系シミュレータ２ｂの発話を観測し、発話があればその内容を認識する。
【００１４】
図３は、上述した発話内容認識部２０の概略処理動作を示すフローチャートである。
発話内容認識部２０は、ステップＳ３１で常に入力される音声を観測し、発話があれば直ちにステップＳ３２の認識処理を開始する。入力された音声からの認識結果として複数の単語が候補にあげられる場合、認識用単語セット２５の出現頻度のデータを参照し、実行中の訓練課題に即した単語をより蓋然性の高いものとして認識する。例えば、制御装置の保守作業を訓練課題としたときの認識用単語セットに含まれるデータの例を図４に示すように、単語８の「ヒューズ」も「ディフューザ」も同様に保守作業中に言及される可能性のあるもので、品詞９や属性１０付きで認識用単語セット２５に登録されている。この品詞９や属性１０は構文解析に利用され、頻度１１はその単語の現れる蓋然性を１０段階で表している。
【００１５】
普通の会話においても、言葉が聞き取れなかったり聞き違うことがあるように、音韻から単語を判定する音声入出力装置でも、必ずしも全ての単語を正確に判定できるわけではなく曖昧性が残る。これに対して、認識用単語セット２５を指定することにより、出現する可能性のある単語８の範囲を限定することで保守作業に関係する単語と一致しやすくしている。さらに、認識用単語セット２５で単語８の出現頻度を定義し、現在の訓練課題に直接関連する単語８の頻度１１を高く、関連性の薄い単語８の頻度１１を低く設定することにより、入力された音声を実行中の訓練に関係した発話として認識しやすくしている。
【００１６】
訓練課題が制御装置の保守作業であるので、図４のデータでは、制御装置の部品である「ヒューズ」は発話中に現れる蓋然性が最も高く頻度１１を「１０」と指定し、「ディフューザ」は訓練課題と関連の薄い単語なので発話中に現れる蓋然性は最も低く頻度１１を「１」と指定している。この頻度を根拠にして発話内容認識部２０は、図３のステップＳ３２に示した発話の認識処理では、アクセントや周囲のノイズから「ヒューズ」か「ディフューザ」か明確に区別できない場合、頻度の高い「ヒューズ」として認識するようにしている。
【００１７】
認識処理が成功したならば、図３に示したステップＳ３３で内容の推定を行う。ここでは、保守訓練の中で発話される内容を「要求」と「宣言」の２つに大別し、さらに内容によって「要求」は「質問」と「操作指示」に、また「宣言」は「操作や変化の完了」と「その他の宣言」に分類している。「質問」は、末尾が「か」や「ですか」など疑問形で終わる発話、「操作指示」は「しろ」や「して」や「ください」など命令形もしくは依頼を表す特定の言葉で終わる発話、「操作や変化の完了」は「した」や「しました」や「なった」など完了形で終わる発話であるとして分類する。発話は分類ごとに構文解析を行い、発話の内容を推定する。
【００１８】
例えば、「水位は下がったか」という発話があれば、末尾が「か」であることから「質問」に分類する。さらに、構文解析の結果から質問内容を推定する。「水位は下がったか」を解析する場合、｛（（水位＝名詞）＋（は＝係助詞）｝＋｛（下がる＝動詞）＋（た＝助動詞）｝＋（か＝係助詞））と解釈される。対象を他と区別して注目する係助詞「は」、現時点での動作の完了を示す助動詞「た」から、質問の対象として注目しているのは「水位」で、それが「下がった」すなわち「訓練開始または前回話題にした時点に比較して低い状態にある」か否かという判定を要求していると推定し、その内容をステップＳ３４で行動制御部２２に渡して起動する。また、発話の認識に失敗した場合でも、行動制御部２２を起動してその認識結果を行動制御部２２に渡す。
【００１９】
行動制御部２２を起動する場合に渡されるデータの例を図５に示している。「水位は下がったか」という発話では、推定結果を図５に示すように構造化したデータが渡される。このデータは、発話のタイプが「要求」で、その内容が「質問」であり、その他に、タイプと内容に依存したデータとして、質問の対象が「水位」であり、求める回答が「現在値が前回値より小さいか否か」という論理値で、肯定を表現する言葉が「下がった」であることを示す。認識に失敗した場合は、不明というような認識失敗を示すデータを渡す。
【００２０】
図６は、これらのデータを処理する行動制御部２２の処理動作を示すフローチャートである。
認識に失敗したというデータが渡された場合、ステップＳ７１で再度発話するようにとの要求を応答生成部２３に伝達して処理を終了する。それ以外は、渡されたデータに従って判定処理を行い、必要があればシステム状態などに関する情報を収集して、応答生成部２３または操作信号生成部２４のいずれかを起動する。
【００２１】
先の例示したデータの場合、発話の認識に成功し、発話のタイプが「要求」で内容が「質問」であるので、ステップＳ７２およびステップＳ７３の判定処理を通ってステップＳ７４の処理に渡される。このステップＳ７４では、図５に示したデータの（対象「水位」）と（論理値（現在値＞前回値））を状態認識部２１に渡して状態の問合せを行う。ここで、状態認識部２１に対する問合せは論理値なので、問合せが成功した場合に返される値は肯定または否定のいずれかになる。状態認識部２１は必ず問合せに答えられるわけではなく、人間系シミュレータ２ａの分担を外れた質問には回答不能であるという結果を返す。
【００２２】
図７は、状態認識部２１の処理動作を示すフローチャートである。
先の図５に示したデータの（対象「水位」）と（論理値（現在値＞前回値））が状態認識部２１に渡された場合、まず、ステップＳ８１で観測可能点リスト２６を参照して状態量を取得すべき観測点を推定する。観測可能点リスト２６には、計器表示やＣＲＴ、警報ランプ等のマンマシンインターフェース等を介して実際に作業を分担する人が知ることのできるプラントの状態量の名称や、操作スイッチのポジション名を格納している。観測可能点リスト２６に無い状態量は人間系シミュレータも観測できない。これによって、人間系シミュレータに実際に作業を分担する人間と同じ範囲でプラント状態を観測している状況を設定する。
【００２３】
観測可能点リスト２６のデータ例を図８に示している。格納されているデータは、作業中に参照されるであろうと予想される順位１２と、観測可能な対象の名称１３と、プラントシミュレータからその状態量を得る場合に参照する点番号１４である。例えばサプレッションプール水位というシステムの状態量を観測したい場合には、プラントシミュレータの点番号１４の「Ａ５１２３」からデータを取得する。
【００２４】
ここで、先の図５に示したデータのように対象が「水位」という名称で与えられると、名称は観測対象の名称１３と完全には一致しない。その場合、状態認識部２１は部分一致で対象を推定する。図８に示したデータのように、対象名「水位」と部分一致する名称が、観測可能点リスト２６に複数含まれるならば、状態認識部２１はリストの上位にある名称と一致すると推定する。リストは予め参照されやすい順に順位付けされているので、「水位」とだけ省略された場合も、人間系シミュレータが自ら対象を推定できる。部分一致する名称もリストに無ければステップＳ８２で回答不能という結果を返す。完全一致または部分一致で対象がリストにあれば、ステップＳ８３でリスト順位の更新を行う。問合せの対象であると推定された観測対象はリストの順位を「１」にし、それに伴って、より上位にあった観測対象の順位はひとつずつ下げる。
【００２５】
リスト順位を更新したならば、ステップＳ８４でリストに指定された点番号１４を使ってシステムシミュレータ５から状態量を取得する。取得した状態量は、問合せの内容が絶対値を問うものであれば取得した値を結果として返す。一方、警報レベル設定値など特定の値からの相対値であれば差の計算値を、指定の値との比較などの論理値を問う内容であれば比較結果を肯定か否定かのいずれかで返す。先の図５に示したデータは前回値との大小関係を問う内容であるので、シミュレータから新しく取得した値と前回取得した値を比較した結果を返し、状態認識部２１の処理を終了する。
【００２６】
行動制御部２２は、先のデータの論理値の値の部分を、状態認識部２１の返した結果で置き換えて、入力された質問に答えるためのデータとして図６のステップＳ７５で応答生成部２３に伝達して、処理を終了する。応答生成部２３に渡されるデータは、状態認識部２１の回答が肯定ならば（回答（対象「水位」）（論理値：肯定）（肯定「下がった」））となり、否定であれば（回答（対象「水位」）（論理値：否定）（肯定「下がった」））、回答不能であれば（回答（対象「水位」）（論理値：回答不能）（肯定「下がった」））となる。
【００２７】
図９は、応答生成部２３の処理動作を示すフローチャートである。
応答生成部２３は、渡された応答内容は回答なのか宣言なのか、それ以外なのかによって処理が分かれる。回答でも宣言でもない応答とは、例えば認識不能だったときの再発話要求などである。応答内容が再発話要求であれば、応答生成部２３はステップＳ１００で再発話要求用に予め与えられた内容別の口語表現を選択して、音声出力する。口語表現は、例えば再発話要求に対しては「もう一度お願いします。」または「もう一度言ってください。」といった表現を予め登録しておく。応答内容が回答であれば、ステップＳ１０１でデータに回答不能が含まれていないかチェックし、含まれていなければステップＳ１０２で口語表現のパターン選択に移る。回答不能が含まれていれば、ステップＳ１０４で他の作業者が回答してくれるのを一定時間待つ処理を起動する。
【００２８】
回答不能が含まれるデータとは、例えば（回答（対象「水位」）（論理値：回答不能）（肯定「下がった」））である。回答不能が含まれないデータ（回答（対象「水位」）（論理値：肯定）（肯定「下がった」））あるいは（回答（対象「水位」）（論理値：否定）（肯定「下がった」））が、応答内容として与えられた場合は、ステップＳ１０２で回答用の口語表現のパターンを選択し、ステップＳ１０３でパターンを使って口語表現に変換する。回答用の口語表現のパターンとして、ここでは図１０に示すように＜対象＞「は」変換関数（＜論理値＞、＜肯定＞）のようなパターンを用意する。このパターン中の＜対象＞、＜論理値＞、＜肯定＞には、応答内容として与えられたデータから、「水位」、肯定、「下がった」、あるいは、「水位」、否定、「下がった」をあてはめる。変換関数は、「下がった」を肯定または否定の論理値で修飾した場合の表現を返す関数である。変換関数に肯定と「下がった」が与えれば、「下がった」がそのまま返され、否定と「下がった」を与えると「下がってない」を返す。
【００２９】
従って、ステップＳ１０３で（対象「水位」）（論理値：肯定）（肯定「下がった」）は、「水位は下がった」に変換され、（対象「水位」）（論理値：否定）（肯定 「下がった」）は、「水位は下がってない」に変換される。一方、回答不能の場合はステップＳ１０４で他からの回答があれば、そのまま何も出力せずに処理を終了する。回答が無ければステップＳ１０５で、「こちらからは分かりません。」など定型的な口語表現に変換して、音声出力する。
【００３０】
別の発話として、「注入弁を開してください」「注入弁は開しました」「次の試験始めます。」が入力された場合に発話内容認識部２０から行動制御部２２に入力されるデータを図１１〜１３にそれぞれ示す。「注入弁を開いてください」という発話は、末尾が「ください」という依頼を示す語なので「操作指示」に、「注入弁は開しました」は完了で終わっているので「操作や変化の完了」に、「次の試験始めます。」はいずれにも相当しないので「その他の宣言」に分類し、「操作指示」と「操作や変化の完了」に分類された発話はそれぞれ構文解析を経て、図３に示したステップＳ３３で内容の推定が行われる。
【００３１】
「注入弁を開いてください」「注入弁は開しました」は、同じような単語から構成されているが、操作指示である「注入弁を開いてください」は、目的を示す格助詞「を」が使われていることから、操作の対象が「注入弁」で、それに対する操作が「開く」であると推定されて図１１に示した（要求（操作指示（対象「注入弁」）（操作：開）（実行「開」）））のようなデータになる。一方、完了の宣言である「注入弁は開しました」の場合は、格助詞「は」を使用しているので、操作の完了を意味する「注入弁を開した」なのか、システム状態の変化の完了を意味する「注入弁が開した」なのか二通りの解釈が可能である。このような場合、発話内容認識部ではプラント状態の変化を意味する解釈を優先し、図１２に示した（宣言（完了（対象「注入弁」）（動作：開）））のようなデータとする。また、その他の宣言に分類された発話は内容の推定を行わず、ただそのままの言葉を図１３に示した（宣言（その他「次の試験を始めます」））のようなデータに加工し、行動制御部２２に入力する。
【００３２】
図１１に示した（要求（操作指示（対象「注入弁」）（操作：開）（実行「開」）））のようなデータが入力された場合、行動制御部２２は図６に示すようにステップＳ７２のタイプの判定と、ステップＳ７３の内容の判定から、（操作指示（対象「注入弁」）（操作：開）（実行「開」））をステップＳ７６で操作信号生成部２４に伝達する。図１２に示した（宣言（完了（対象「注入弁」）（動作：開）））のようなデータの場合、ステップＳ７２のタイプの判定とステップＳ７７の内容の判定から、ステップＳ７８に送られる。このステップＳ７８は、協調して作業する相手の状況から自己の担当する作業を実施する時機が到来したか否かを判定し、作業実施の時機であれば実行する動作の情報を行動データから取得する処理である。
【００３３】
図１４は、図６に示したステップＳ７８の概略を示すフローチャートである。図６に示したステップＳ７８で現在の自己の状態を認識するために、ステップＳ１５０で行動データ２７から現在の行動を取得する。行動データ２７には人間系シミュレータ２ａが実行する動作を時間順に記述してある。行動データ２７は、その内容例を図１５に示すように現在実行中の行動を示すポインタ１６０と行動を指示するデータ１６１で構成されている。ポインタ１６０が指している行の行動データ（待ち（完了（対象「注入弁」）（動作：開）））が、現在の状態に相当する。
【００３４】
図１４で、取得したデータが待ち状態を示すデータであればステップＳ１５１で宣言内容と取得した待ち状態のデータとの比較の処理を実行し、それ以外は特に実行すべき動作は無いと判断し、空のデータを返して処理を終了する。取得したデータが（待ち（完了（対象「注入弁」）（動作：開）））であれば、待ち状態を示すデータであるので、ステップＳ１５１で宣言内容と比較され、一致すればステップＳ１５２で行動データ２７のポインタを１つ進める。
【００３５】
ポインタを１つ進めることにより、ポインタの指すデータは（宣言（開始（対象「注入弁手動スイッチ」（実行「閉」）））に変わる。次に、ステップＳ１５３で更新されたポインタの位置にある動作のデータを行動データから取得し、次に実行すべき動作として返す。ステップＳ７８から空のデータが返された場合は、「はい。」「了解。」などの単純な応答を返す返答文を応答生成部を伝達して、行動制御部２２の処理を終了する。また、動作のデータを返された場合は次操作有りとして、操作信号生成部２４に行動列を伝達して処理を終了する。
【００３６】
図１６は、操作信号生成部２４での処理動作を示すフローチャートである。
操作信号生成部２４は、外部からの発話によって操作を指示された場合と、行動データ２７に基づいて自発的に行動する場合の二通りで処理を行う。発話による操作指示のデータ（操作指示（対象「注入弁」）（操作：開）（実行「開」））が動作のデータとして渡された場合、ステップＳ１７０で対象を操作する信号を生成し、プラントシミュレータに送信する。次に、操作の復唱として、ステップＳ１７１で操作指示のデータを加工して応答内容のデータ（宣言（完了（対象「注入弁」）（実行：開））を生成し、応答生成部２３に伝達する。
【００３７】
操作指示のデータでない場合、ステップＳ１７２でデータが宣言なのか操作なのかを判定し、操作であればステップＳ１７３で操作信号をシミュレータに送信し、宣言であればステップＳ１７４で応答生成部に伝達する。それらの処理が完了したら、ステップＳ１７５で行動データのポインタを１つ進めて、ステップＳ１７６で新しくポインタが指したデータを取得し、待ちデータに至るまで処理を繰り返す。
【００３８】
図１２に示した（宣言（完了（対象「注入弁」）（動作：開）））のようなその他の宣言の場合は、自発的に行う次操作が無い場合と同様に「はい。」や「了解。」といった単純な返答文を返す。
【００３９】
このようにして、人間系シミュレータ２ａ，２ｂは、訓練生１の質問や操作要求に対して共同作業者を模擬して適切な回答または操作を行い、また、訓練生１の発話をきっかけに使うことで訓練生１との協調をとりつつ、分担する作業を自発的に行うことができる。
さらに、人間系シミュレータ２ａ，２ｂの動作は、認識用単語セット２５や行動データ２７によって制御されるので、同じ分担内容のデータを与えられた人間系シミュレータ２ａ，２ｂは、訓練において常に同じレベルの対応を行う。これにより、訓練生１に対して人間が対応する場合のような、対応の違いによる訓練レベルのばらつきが解消される。
【００４０】
尚、上述した実施の形態ではプラントを対象にした人間系シミュレータを用いた作業訓練システムについて説明したが、複数の共同作業者からなる協調作業で、少なくとも一人の訓練生と少なくとも一つの人間系シミュレータを用いた作業訓練システムに適用できる。
【００４１】
【発明の効果】
以上説明したように本発明の人間系シミュレータを用いた作業訓練システムは、人間系シミュレータが協調作業の訓練に必要な共同作業者を模擬するので、訓練生一人でも協調作業の訓練が実施可能になり、これによって共同作業者を確保するための人的コストが削減できる。また、協同作業の訓練に、常に同じ人間系シミュレータを使用するならば、人間が関与することで生じていた訓練のレベルのばらつきが解消され、常に一定レベルの訓練を提供することが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による人間系シミュレータを備えた協調作業訓練システムを示すブロック構成図である。
【図２】図１に示した人間系シミュレータを備えた協調作業訓練システムにおける人間系シミュレータのブロック構成図である。
【図３】図２に示した人間系シミュレータにおける発話内容認識部の処理動作を示すフローチャートである。
【図４】
図２に示した認識用単語セットに格納したデータの構成図である。
【図５】図２に示した発話内容認識部から行動制御部に伝送されるデータの構成図である。
【図６】図２に示した行動制御部の処理動作を示すフローチャートである。
【図７】図２に示した状況認識部の処理動作を示すフローチャートである。
【図８】図２に示した観測可能点リストに格納したデータの構成図である。
【図９】図２に示した応答生成部の処理動作を示すフローチャートである。
【図１０】図２に示した応答生成部で使用する口語表現パターンのデータを示す構成図である。
【図１１】図２に示した行動制御部に伝送されるデータの構成図である。
【図１２】図２に示した行動制御部に伝送される別のデータの構成図である。
【図１３】図２に示した行動制御部に伝送されるさらに別のデータの構成図である。
【図１４】図２に示した行動制御部での現在の状態を判定する処理動作を示すフローチャートである。
【図１５】図２に示した行動制御部における行動データの構成図である。
【図１６】図２に示した操作信号生成部の処理動作を示すフローチャートである。
【符号の説明】
１ 訓練生
２ａ，２ｂ 人間系シミュレータ
３ コミュニケーションインターフェース装置
４ 模擬装置
５ システムシミュレータ
２０ 発話内容認識部
２１ 状態認識部
２２ 行動制御部
２３ 応答生成部
２４ 操作信号生成部
２５ 認識用単語セット
２６ 観測可能点リスト
２７ 行動データ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a work training system including a human simulator for training a work performed by a plurality of people in a cooperative manner at work places distributed to a plurality of places, such as maintenance work for plant equipment.
[0002]
[Prior art]
In a conventional work training system, the operation of the equipment to be worked and the dynamic characteristics of the plant are simulated by computer simulation, and humans generally work on it. Is only the equipment that is the target of the work, and training of work performed by multiple people in cooperation requires the participation of multiple people. In such training, it is general to collect and train a plurality of trainees in one training facility. However, JP-A-2002-82599 discloses that a trainee can participate in training from a remote place using a communication network. A work training system is shown. On the other hand, regarding the use of a human simulator, a system including a human simulator and a plant simulator that perform cooperative work is reported in the Annual Report of the Central Research Institute of Electric Power Industry, 1997, pages 10 and 11. I have.
[0003]
[Problems to be solved by the invention]
However, in the conventional training equipment system, as described in Japanese Patent Application Laid-Open No. 2002-82599, it is possible for a trainee to participate in a training from a remote place. Must participate, and training cannot be implemented unless the required number of trainees is secured. In addition, it is practically impossible to always gather trainees of the same skill level during training, and it is difficult to keep the quality of training that can be provided at a certain level by training with a plurality of trainees. The system reported in the 1997 Annual Report of the Central Research Institute of Electric Power Industry is a closed system on a computer with which human simulators communicate, and trainees cannot participate and share the work.
[0004]
An object of the present invention is to provide a work training system provided with a human-based simulator that enables a single trainee to perform work training in which a plurality of workers cooperate.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a simulator of a target device operable by a trainee, a system simulator connected to the simulator of the target device, and a simulated co-worker connected to the system simulator. And at least one human simulator for operating the training facility, and a communication interface device connected to the human simulator and enabling communication with the trainee.
[0006]
A work training system provided with a human simulator according to the present invention includes at least one human simulator connected to a system simulator and operating a training facility by simulating a co-worker, and connected to the human simulator. A communication interface device that enables communication with the trainees, so that at least one co-worker can be simulated by at least one human-based simulator, and a task performed by a plurality of persons in cooperation Training can be carried out by a single trainee. In addition, since a certain level of co-workers can be simulated by the human simulator, the quality of training that can be provided even by training by a plurality of workers can be maintained at a certain level.
[0007]
According to the present invention described in claim 2, in the device according to claim 1, since a voice input / output device is used as the communication interface device, communication between the trainee and a human system simulator is facilitated, At least one human simulator can simulate at least one co-worker, and a plurality of workers can cooperate in the training of a single trainee. Since it is possible to simulate the level of co-workers, the quality of training that can be provided even by training by a plurality of workers can be maintained at a certain level.
[0008]
According to a third aspect of the present invention, there is provided a work training system including a human-based simulator according to the present invention, further comprising a recognition word set storing a specific word group determined for each training task. The utterance recognition unit increases the likelihood of the recognition result when the word recognized by the voice input / output device matches the word stored in the above-mentioned word set for recognition, and decreases it when the word does not match. The coordination with the words used in the work can be improved, and the recognition accuracy can be improved.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of a work training system including a human simulator according to an embodiment of the present invention.
The work training system provided with the human simulator includes at least one trainee and at least one human simulator. In this case, three co-workers, that is, one trainee 1 and another two trainees are used. This is illustrated as a training of a work performed by a human simulator 2a and a human simulator 2b that simulate a human co-worker in cooperation. When training cooperative work performed by two people, either the human-based simulator 2a or the human-based simulator 2b is eliminated, and in the case of cooperative work performed by four or more people, human The configuration is such that the number of system simulators is increased.
[0010]
When the trainee 1 who receives the work training performs an operation on the simulator 4 of the target facility to be worked, the operation applied to the simulator 4 of the target facility is transmitted to the system simulator 5, and the system simulator 5 Information on the state change according to the behavior is transmitted to the simulator 4 of the target facility. Based on the information from the system simulator 5, the simulation device 4 of the target facility changes the display and the warning, and presents the state to the trainee. At this time, the human simulators 2a and 2b also transmit a simulation signal corresponding to the operation of a predetermined device to the system simulator 5 while observing the change of the plant state while cooperating with the work of the trainee 1. Or Communication between the human simulators 2a and 2b and the trainee 1 is performed via a communication interface device 3, for example, a voice input / output device or another similar device connected to the human simulators 2a and 2b.
[0011]
An initialization controller 6 and a terminal device 7 are connected to the human simulators 2a and 2b and the simulation device 4 of the target facility, and the roles of the simulators 2a and 2b can be switched by operating the terminal device 7. This allows the trainee 1 to receive training in any of the three co-workers. At this time, the simulation device 4 of the target facility displays on the display, makes the operation target a touch type, and switches to a display corresponding to the role of the trainee 1.
[0012]
FIG. 2 is a block diagram showing a human simulator 2a when the communication interface device 3 is configured as a voice input / output device, and the human simulator 2b has the same configuration.
The human system simulator 2a recognizes the input voice as a sequence of words, and an utterance content recognition unit 20 that recognizes the content of the utterance of the trainee 1 from the word sequence, and observes and determines the state of the facility such as the system state. A state recognizing unit 21, an action control unit 22 for controlling the action of the human simulator 2a based on the result of the utterance content recognizing unit, and a response generating unit 23 for generating an utterance as a co-worker and outputting the utterance as a voice. And an operation signal generation unit 24 that generates a simulation signal corresponding to an operation performed as part of the cooperative work and inputs the simulation signal to the system simulator 5.
[0013]
Further, it has a word set for recognition 25, an observable point list 26, and action data 27 as data that can be exchanged for each training task. The recognition word set 25 includes words related to the target system, and data on the usage, part of speech, and appearance frequency. The observable point list 26 designates a system state that can be observed within a range in which one worker is in charge of actual work. Further, the action data 27 is data in which the flow of the operation of the cooperative work is described in order, and specifies an event that triggers the execution of the work and a detailed action when the work is performed. The utterance content recognition unit 20 always observes the utterance of the trainee 1 or another human system simulator 2b, and recognizes the content of any utterance.
[0014]
FIG. 3 is a flowchart illustrating a schematic processing operation of the utterance content recognition unit 20 described above.
The utterance content recognizing unit 20 always observes the input voice in step S31, and immediately starts the recognition process in step S32 when there is an utterance. When a plurality of words are given as candidates as a recognition result from the input speech, the data of the frequency of appearance of the recognition word set 25 is referred to, and the word corresponding to the training task being executed is recognized as having a higher probability. I do. For example, as shown in FIG. 4, an example of data included in a recognition word set when the maintenance work of the control device is a training task, as shown in FIG. 4, both the “fuse” and the “diffuser” of the word 8 are referred to during the maintenance work. This is registered in the recognition word set 25 with the part of speech 9 and the attribute 10. The part of speech 9 and the attribute 10 are used for syntactic analysis, and the frequency 11 indicates the probability of the word appearing in 10 levels.
[0015]
Just as in ordinary conversation, words may not be heard or may be missed, even with a voice input / output device that determines words from phonemes, not all words can be accurately determined, and ambiguity remains. On the other hand, by specifying the word set 25 for recognition, the range of the words 8 that may appear is limited, thereby making it easier to match words related to maintenance work. Further, the frequency of appearance of the word 8 is defined by the recognition word set 25, and the frequency 11 of the word 8 directly related to the current training task is set high, and the frequency 11 of the word 8 with low relevance is set low. This makes it easier to recognize the speech as an utterance related to the training being performed.
[0016]
Since the training task is maintenance work of the control device, in the data of FIG. 4, “fuse”, which is a part of the control device, has the highest probability of appearing during utterance and designates the frequency 11 as “10”, and the “diffuser” Since the word is not related to the training task, the probability that the word appears during the utterance is the lowest, and the frequency 11 is designated as “1”. Based on this frequency, the utterance content recognizing unit 20 determines that the utterance recognition process shown in step S32 of FIG. 3 has a high frequency if it is not possible to clearly distinguish “fuse” or “diffuser” from accents or surrounding noise. They are recognized as "fuses".
[0017]
If the recognition processing is successful, the content is estimated in step S33 shown in FIG. Here, the contents uttered during the maintenance training are roughly divided into "requests" and "declarations", and depending on the contents, "requests" are "questions" and "operation instructions", and "declarations" are It is categorized into "Completion of operations and changes" and "Other declarations". "Question" is an utterance ending with a question such as "ka" or "is", and "operation instruction" is a specific word indicating an imperative form or request, such as "shiro", "to" or "please". The ending utterance, "completion of operation or change", is classified as an utterance ending in a completed form such as "do", "do", or "do". The utterance is analyzed for each classification, and the content of the utterance is estimated.
[0018]
For example, if there is an utterance "Water level dropped?", It is classified as "Question" because the ending is "?". Furthermore, the content of the question is estimated from the result of the syntax analysis. When analyzing "Water level dropped?", It is interpreted as ｛((water level = noun) + (wa = particle)｝ + ｛(down = verb) + (ta = auxiliary verb)｝ + (ka = particle)) Is done. From the auxiliary particle "ha", which distinguishes the target from others and the auxiliary verb "ta", which indicates the completion of the current action, the target of the question is "water level", which is "decreased", It is presumed that a request is made to determine whether or not “it is in a state lower than at the start of training or at the time of the topic last time”, and the content is passed to the action control unit 22 in step S34 and activated. Further, even when the recognition of the utterance fails, the action control unit 22 is activated and the recognition result is passed to the action control unit 22.
[0019]
FIG. 5 shows an example of data passed when the action control unit 22 is activated. In the utterance "Was the water level lowered?", Data in which the estimation result is structured as shown in FIG. 5 is passed. In this data, the utterance type is “request” and the content is “question”. In addition, as data depending on the type and content, the target of the question is “water level”, and the answer to be asked is “current value”. Is smaller than the previous value ", indicating that the word expressing affirmation is" decreased ". If recognition fails, data indicating recognition failure such as unknown is passed.
[0020]
FIG. 6 is a flowchart showing a processing operation of the behavior control unit 22 for processing these data.
When data indicating that the recognition has failed is passed, a request to speak again in step S71 is transmitted to the response generation unit 23, and the process ends. Otherwise, it performs a determination process in accordance with the passed data, collects information on the system state and the like if necessary, and activates either the response generation unit 23 or the operation signal generation unit 24.
[0021]
In the case of the data exemplified above, the utterance is successfully recognized, the utterance type is “request”, and the content is “question”. Therefore, the data is passed to the processing of step S74 through the determination processing of steps S72 and S73. . In this step S74, the (object "water level") and (logical value (current value> previous value)) of the data shown in FIG. Here, since the inquiry to the state recognition unit 21 is a logical value, the value returned when the inquiry is successful is either affirmative or negative. The state recognizing unit 21 cannot always answer the inquiry, and returns a result indicating that it is impossible to answer a question that is out of the allotment of the human simulator 2a.
[0022]
FIG. 7 is a flowchart illustrating the processing operation of the state recognition unit 21.
When (target “water level”) and (logical value (current value> previous value)) of the data shown in FIG. 5 are passed to the state recognition unit 21, first, the observable point list 26 is referred to in step S81. To estimate the observation point from which the state quantity should be obtained. The observable point list 26 contains the names of the state quantities of the plant and the position names of the operation switches, which can be known by the person who actually shares the work via the man-machine interface such as the instrument display, the CRT, and the alarm lamp. Stored. State quantities that are not in the observable point list 26 cannot be observed by the human simulator. As a result, the situation where the plant state is observed in the same range as the person who actually shares the work is set in the human simulator.
[0023]
FIG. 8 shows a data example of the observable point list 26. The stored data is the rank 12 expected to be referred to during the work, the name 13 of the observable object, and the point number 14 to be referred when obtaining the state quantity from the plant simulator. For example, when it is desired to observe the state quantity of the system called the suppression pool water level, the data is acquired from “A5123” of the point number 14 of the plant simulator.
[0024]
Here, if the target is given the name "water level" as in the data shown in FIG. 5, the name does not completely match the name 13 of the observation target. In that case, the state recognition unit 21 estimates the target by partial matching. If a plurality of names that partially match the target name “water level” are included in the observable point list 26 as in the data shown in FIG. 8, the state recognition unit 21 estimates that the name matches the name higher in the list. . Since the list is prioritized in the order in which the list is easily referred to, the human-system simulator can estimate the target by itself even if only "water level" is omitted. If there is no partially matching name in the list, the result that the answer is impossible is returned in step S82. If the target is a complete match or a partial match in the list, the list order is updated in step S83. The order of the list of observation targets estimated to be the subject of the inquiry is set to “1”, and accordingly, the ranking of the higher-order observation targets is reduced by one.
[0025]
When the list ranking is updated, the state quantity is acquired from the system simulator 5 using the point number 14 specified in the list in step S84. As for the acquired state quantity, the acquired value is returned as a result if the content of the inquiry asks for an absolute value. On the other hand, if the value is a relative value from a specific value such as an alarm level setting value, the difference calculation value is used.If the content asks a logical value such as comparison with a specified value, the comparison result is either positive or negative. return. Since the data shown in FIG. 5 asks for the magnitude relationship with the previous value, the result obtained by comparing the newly obtained value from the simulator with the previously obtained value is returned, and the processing of the state recognition unit 21 ends.
[0026]
The action control unit 22 replaces the value portion of the logical value of the previous data with the result returned by the state recognition unit 21 and generates the data for answering the input question in step S75 in FIG. To end the process. The data passed to the response generation unit 23 is (answer (target “water level”) (logical value: positive) (positive “decreased”)) if the answer of the state recognition unit 21 is affirmative, or (negative) if the answer is negative. (Target "water level") (Logical value: Negative) (Affirmation "Decreased")), if the answer is not possible (Answer (Target "Water level") (Logical value: Unavailable) (Affirmation "Decreased")) Become.
[0027]
FIG. 9 is a flowchart illustrating the processing operation of the response generation unit 23.
The processing of the response generator 23 is divided depending on whether the passed response is a response, a declaration, or any other. A response that is neither an answer nor a declaration is, for example, a request for a reutterance when recognition was not possible. If the response content is a re-speaking request, the response generating unit 23 selects a spoken expression for each content previously given for the re-speaking request in step S100, and outputs the speech. For the spoken expression, for example, an expression such as "Please give me again" or "Please say it again." If the response content is a response, it is checked in step S101 whether or not the data does not include a non-response, and if not, the process proceeds to colloquial expression pattern selection in step S102. If the response is not included, a process of waiting for a certain period of time for another worker to answer in step S104 is started.
[0028]
The data including the inability to answer is, for example, (answer (target “water level”) (logical value: unable to answer) (positive “decreased”)). Data that does not include unanswerable (answer (target "water level") (logical value: positive) (positive "fall")) or (answer (target "water level") (logical value: negative) (positive "fall") If)) is given as the response content, a pattern of the spoken expression for the answer is selected in step S102, and converted into a spoken expression using the pattern in step S103. Here, as an answer colloquial expression pattern, a pattern such as a <target> “ha” conversion function (<logical value>, <affirmation>) is prepared as shown in FIG. For <target>, <logical value>, and <affirmation> in this pattern, “water level”, affirmation, “falling”, or “water level”, negation, and “falling” were obtained from the data given as the response content. Is applied. The conversion function is a function that returns an expression when “decreased” is modified with a positive or negative logical value. If the conversion function is given affirmative and “decreased”, “decreased” is returned as it is, and if the negative and “decreased” are given, “not decreased” is returned.
[0029]
Therefore, in step S103, (target “water level”) (logical value: positive) (positive “fall”) is converted to “water level has decreased”, and (target “water level”) (logical value: negative) (positive) "Down" is converted to "Water not down". On the other hand, if the answer is impossible, if there is another answer in step S104, the process ends without outputting anything. If there is no answer, in step S105, it is converted to a standard spoken expression such as "I do not understand from here."
[0030]
As another utterance, when "please open the injection valve", "the injection valve is opened", and "the next test starts" are input from the utterance content recognition unit 20 to the action control unit 22. The data are shown in FIGS. Since the utterance "Please open the injection valve" is a word indicating the request of "Please" at the end, "Operation valve" has been completed in "Operation instruction", so "Operation and change completed""Begins the next test." Is not equivalent to any of the above, so it is classified as "Other declarations", and the utterances classified as "Operation instructions" and "Completion of operations and changes" are subjected to parsing respectively. The content is estimated in step S33 shown in FIG.
[0031]
The words "Open the injection valve" and "The injection valve is open" are composed of similar words, but the operation instruction "Open the injection valve" has the case particle " Is used, it is presumed that the operation target is the “injection valve” and the operation corresponding to it is “open”, as shown in FIG. 11 (request (operation instruction (target “injection valve”) ( Operation: Open) (Execution "Open"))) On the other hand, in the case of the completion declaration “injection valve opened”, the case particle “ha” is used. There are two possible interpretations of "injection valve opened", which means completion of the change. In such a case, the utterance content recognition unit gives priority to the interpretation that means a change in the plant state, and uses data such as (declaration (complete (target “injection valve”) (operation: open)) shown in FIG. I do. In addition, the utterances classified as other declarations do not estimate the content, but simply process the words as shown in FIG. 13 (declaration (other "start next test")) as data, Input to the behavior control unit 22.
[0032]
When data such as (request (operation instruction (target “injection valve”) (operation: open) (execution “open”))) shown in FIG. 11 is input, the behavior control unit 22 performs processing as shown in FIG. From the type determination in step S72 and the determination in step S73, (operation instruction (target “injection valve”) (operation: open) (execution “open”)) is transmitted to the operation signal generation unit 24 in step S76. I do. In the case of data such as (declaration (completion (target “injection valve”) (operation: open))) shown in FIG. 12, the data is sent to step S78 from the type determination in step S72 and the content determination in step S77. . This step S78 decides whether or not it is time to carry out the work in charge of itself from the situation of the partner working in cooperation, and if it is time to carry out the work, obtains information on the operation to be performed from the behavior data This is the processing to be performed.
[0033]
FIG. 14 is a flowchart showing an outline of step S78 shown in FIG. In order to recognize the current state of the user in step S78 shown in FIG. 6, the current action is acquired from the action data 27 in step S150. The action data 27 describes the actions executed by the human simulator 2a in chronological order. As shown in FIG. 15, the action data 27 is composed of a pointer 160 indicating a currently executed action and data 161 indicating the action. The behavior data (wait (complete (target “injection valve”) (operation: open)) of the row pointed to by the pointer 160 corresponds to the current state.
[0034]
In FIG. 14, if the acquired data is data indicating the waiting state, in step S151, the process of comparing the declaration content with the acquired data in the waiting state is executed, and it is determined that there is no operation to be performed otherwise. , Return empty data and end the process. If the acquired data is (wait (complete (target “injection valve”) (operation: open))), it is data indicating a wait state, and is compared with the declaration contents in step S151. The pointer of the action data 27 is advanced by one.
[0035]
By advancing the pointer by one, the data pointed to by the pointer is changed to (declaration (start (target “manual switch for injection valve” (execution “closed”))). Then, the data at the position of the pointer updated in step S153 is displayed. The action data is obtained from the action data and returned as the action to be executed next.If empty data is returned from step S78, a response sentence that returns a simple response such as "Yes." The response generation unit is transmitted to terminate the processing of the behavior control unit 22. If the data of the operation is returned, the next operation is determined to be performed, the behavior sequence is transmitted to the operation signal generation unit 24, and the processing is terminated. .
[0036]
FIG. 16 is a flowchart illustrating a processing operation in the operation signal generation unit 24.
The operation signal generation unit 24 performs two kinds of processing: a case where an operation is instructed by an external utterance, and a case where the operation is spontaneously performed based on the action data 27. If the data of the operation instruction by utterance (operation instruction (target “injection valve”) (operation: open) (execution “open”)) is passed as the operation data, a signal for operating the target is generated in step S170, Send to plant simulator. Next, as a repetition of the operation, in step S171, the data of the operation instruction is processed to generate data of a response content (declaration (completion (target “injection valve”) (execution: open)), which is transmitted to the response generation unit 23. I do.
[0037]
If the data is not operation instruction data, it is determined in step S172 whether the data is a declaration or an operation. If the data is an operation, an operation signal is transmitted to the simulator in step S173, and if the data is a declaration, the operation signal is transmitted to the response generation unit in step S174. . When those processes are completed, the pointer of the action data is advanced by one in step S175, the data newly pointed to by the pointer is acquired in step S176, and the process is repeated until the data reaches the waiting data.
[0038]
In the case of other declarations such as (declaration (completion (target “injection valve”) (operation: open))) shown in FIG. 12, “Yes.” Returns a simple response such as "OK."
[0039]
In this way, the human-system simulators 2a and 2b simulate the co-worker for the question and the operation request of the trainee 1 to give an appropriate answer or operation, and use the utterance of the trainee 1 as a trigger. This allows the work to be shared to be spontaneously performed while cooperating with the trainee 1.
Further, since the operations of the human simulators 2a and 2b are controlled by the recognition word set 25 and the action data 27, the human simulators 2a and 2b given the data of the same sharing content always have the same level in training. Take action. As a result, the variation in the training level due to the difference in the correspondence, such as the case where a human responds to the trainee 1, is eliminated.
[0040]
In the above-described embodiment, a work training system using a human simulator for a plant has been described. However, at least one trainee and at least one human simulator It can be applied to a work training system using.
[0041]
【The invention's effect】
As described above, in the work training system using the human simulator of the present invention, the human simulator simulates a co-worker required for cooperative work training, so that only one trainee can perform cooperative work training. Thus, the human cost for securing collaborators can be reduced. Also, if the same human simulator is always used for cooperative work training, the level of training that was caused by the involvement of humans will be eliminated, and a constant level of training can be provided. .
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a cooperative work training system including a human simulator according to an embodiment of the present invention.
FIG. 2 is a block diagram of a human simulator in a collaborative work training system including the human simulator shown in FIG. 1;
FIG. 3 is a flowchart illustrating a processing operation of an utterance content recognition unit in the human simulator shown in FIG. 2;
FIG. 4
FIG. 3 is a configuration diagram of data stored in a recognition word set shown in FIG. 2.
5 is a configuration diagram of data transmitted from an utterance content recognition unit shown in FIG. 2 to an action control unit.
FIG. 6 is a flowchart illustrating a processing operation of an action control unit illustrated in FIG. 2;
FIG. 7 is a flowchart illustrating a processing operation of a situation recognition unit illustrated in FIG. 2;
8 is a configuration diagram of data stored in an observable point list shown in FIG.
FIG. 9 is a flowchart illustrating a processing operation of a response generation unit illustrated in FIG. 2;
FIG. 10 is a configuration diagram showing colloquial expression pattern data used in the response generation unit shown in FIG. 2;
11 is a configuration diagram of data transmitted to the behavior control unit shown in FIG.
FIG. 12 is a configuration diagram of another data transmitted to the behavior control unit shown in FIG. 2;
FIG. 13 is a configuration diagram of still another data transmitted to the behavior control unit shown in FIG. 2;
FIG. 14 is a flowchart showing a processing operation for determining a current state in the action control unit shown in FIG. 2;
FIG. 15 is a configuration diagram of action data in the action control unit shown in FIG. 2;
FIG. 16 is a flowchart illustrating a processing operation of an operation signal generation unit illustrated in FIG. 2;
[Explanation of symbols]
1 trainee
2a, 2b Human simulator
3 Communication interface device
4 Simulator
5 System simulator
20 Utterance content recognition unit
21 State Recognition Unit
22 Behavior control unit
23 Response generator
24 Operation signal generator
25 Word Set for Recognition
26 Observable Point List
27 Behavior data
