JP2006244126A - Interactive cooperative work support system - Google Patents
Interactive cooperative work support system Download PDFInfo
- Publication number
- JP2006244126A JP2006244126A JP2005058819A JP2005058819A JP2006244126A JP 2006244126 A JP2006244126 A JP 2006244126A JP 2005058819 A JP2005058819 A JP 2005058819A JP 2005058819 A JP2005058819 A JP 2005058819A JP 2006244126 A JP2006244126 A JP 2006244126A
- Authority
- JP
- Japan
- Prior art keywords
- user
- dialogue
- work
- dialog
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は対話型協調作業支援システムに関し、更に詳しくは、複数ユーザが一連の作業項目を一斉に協調して行うような協調作業を支援する対話型協調作業支援システムに関する。水道の元バルブと蛇口の工事や、工場内における生産設備の保守点検等、作用と確認の箇所が離れた条件下で行われる作業では、複数の作業者が協調してタスクを実行する必要がある。 The present invention relates to an interactive collaborative work support system, and more particularly to an interactive collaborative work support system that supports collaborative work in which a plurality of users perform a series of work items in concert. In work that is performed under conditions where the action and confirmation are separated, such as construction of water supply valves and faucets and maintenance of production facilities in the factory, it is necessary for multiple workers to perform the tasks in a coordinated manner. is there.
従来は、複数の作業者が互いに近接して作業をする場合に、予め各作業者の作業支援情報要求の音声パターンを登録しておき、ある作業者から入力された作業支援情報要求の音声を識別して、登録された音声のみを選択し、対応する作業支援情報を読み出して、該作業者に表示する作業支援システムが知られている(特許文献1)。これにより、各作業者は、本来の作業を継続しながら、隣の作業者の音声に妨げられることなく、音声により作業支援情報を要求できる。 Conventionally, when a plurality of workers work in close proximity to each other, a work support information request voice pattern of each worker is registered in advance, and a work support information request voice input from a worker is received. There is known a work support system that identifies and selects only registered speech, reads out corresponding work support information, and displays it to the worker (Patent Document 1). Thereby, each worker can request the work support information by voice without being disturbed by the voice of the next worker while continuing the original work.
また従来は、どんな順序で作業が進んでも、どの部分の作業が先行しても、実施可能な作業に対する作業指示が発行されるように、業務プロセスを全体のフローとして捉えるのではなく、独立した作業の集合体であると捉え、個々の作業の実施条件をもとに、作業指示を発行可能な協調作業支援システムが知られている(特許文献2)。
しかし、上記従来技術における作業は、いずれも作業者毎に独立して進行することが前提となっており、複数作業者間の作業を連携(同期)させて行うという観点は存在しておらず、このため、従来技術では、作用と確認の箇所が離れた条件下で一定の同期の下に行われるような協調作業の支援を行えなかった。 However, it is assumed that all the work in the above prior art proceeds independently for each worker, and there is no viewpoint of performing the work among a plurality of workers in cooperation (synchronization). For this reason, in the prior art, it has not been possible to support collaborative work that is performed under a certain degree of synchronization under a condition where the action and confirmation points are separated.
本発明は上記従来技術の問題点に鑑みなされたものであり、その目的とする所は、複数ユーザが協調して行う作業を効率よく的確に支援可能な対話型協調作業支援システムを提供することにある。 The present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide an interactive collaborative work support system that can efficiently and accurately support a work performed in cooperation by a plurality of users. It is in.
上記の課題は例えば図1の構成により解決される。即ち、本発明(1)の対話型協調作業支援システムは、複数ユーザによる協調作業を支援する対話型協調作業支援システムであって、各ユーザA〜D等との間で音声による対話情報の入出力を行う対話実行部30と、ユーザ毎の役割に応じた対話モデルを管理すると共に、接続ユーザからの対話情報入力に基づき自己の対話モデルの状態遷移を制御し、該接続ユーザに出力するための新たな対話シナリオを生成する複数の対話制御部11A〜11D等と、前記複数ユーザA〜D等からの対話情報入力に基づき、所要の対話制御部が同期して状態遷移するための共通の条件を管理する同期制御部12とを備えるものである。
The above problem is solved by the configuration of FIG. In other words, the interactive collaborative work support system of the present invention (1) is an interactive collaborative work support system that supports collaborative work by a plurality of users. To manage the
本発明(1)では、複数ユーザA〜D等からの対話情報入力に基づき、所要の対話制御部が同期して状態遷移するための共通の条件を管理する同期制御部12を備えることによ
り、例えばバス車両の点検作業における「ブレーキ作動」と「ブレーキ動作確認」のように、互いに遠隔にある操作行為と動作確認行為とを効率よくペアで管理できる。また、作業者からの対話入力のみならず、作業者への対話出力も音声にて行う構成により、各作業者は自己の作業をハンズフリー、かつアイズフリーで行える。更にまた、作業者同士が直接連絡をとり合う方式ではなく、タスク制御部10を介して連携をとる構成により、作業の効率化、及び安全運用と作業履歴の取得が容易に行える。
In the present invention (1), based on dialogue information input from a plurality of users A to D, etc., by providing a
本発明(2)では、上記本発明(1)において、同期制御部12は、所要のユーザからの作業完了の旨の対話情報入力に基づき、所要の対話制御部を次の状態に遷移させるものである。従って、複数ユーザ間における作業の同期(連携)が効率よく確実に得られる。
In the present invention (2), in the present invention (1), the
本発明(3)では、上記本発明(1)において、同期制御部12は、何れかのユーザによる作業中断の旨の対話情報入力に基づき、所要の対話制御部を中断状態に遷移させるものである。従って、あるユーザの作業に不都合(遅延等)が生じても、他のユーザの作業を効率よく一斉に待たせることが可能である。
In the present invention (3), in the above-mentioned present invention (1), the
本発明(4)では、上記本発明(1)において、同期制御部12は、何れかのユーザと対話実行部30との間の呼に障害が検出されたことにより、所要の対話制御部を呼障害による中断状態に遷移させるものである。従って、回線障害時にも、ユーザからの中断指示と同様に、自動的に対処できる。
According to the present invention (4), in the above-mentioned present invention (1), the
本発明(5)では、上記本発明(1)において、同期制御部12は、何れかのユーザによる作業を前に戻す旨の対話情報入力に基づき、所要の対話制御部における現在の状態を前の状態に遷移させるものである。従って、あるユーザの作業にやりなおし等が生じても、他のユーザの作業を効率よく一斉に前の作業に戻すことが可能である。
In the present invention (5), in the above-mentioned present invention (1), the
本発明(6)では、上記本発明(1)〜(5)において、対話制御部11は、同期制御部12における前記共通の条件が満足されたことにより、自己が管理する現在の状態と、ユーザが入力した対話情報とに基づき、自己が次に出力すべき発話と、ユーザから収集すべき情報とを決定するものである。従って、ユーザ毎の対話(シナリオ)を円滑に運用できる。
In the present invention (6), in the above-mentioned present inventions (1) to (5), the
本発明(7)では、上記本発明(1)〜(6)において、所定イベントの発生に対応するための対話モデルを管理すると共に、複数の対話制御部における対話処理を中断させ、別の対話シナリオを挿入して複数ユーザとの対話を実行するシナリオ挿入部11Sを備えるものである。従って、作業中にイベント(異常等)が発生したり、非定常動作を行う必要が生じた場合でも、これらのイベントに対応する各所定の対話シナリオを途中で強制的に割り込ませることにより、様々な状況にも効率よく対処できる。 In the present invention (7), in the present inventions (1) to (6), a dialogue model for managing the occurrence of a predetermined event is managed, and the dialogue processing in a plurality of dialogue control units is interrupted to create another dialogue. It includes a scenario insertion unit 11S that inserts a scenario and executes dialogues with a plurality of users. Therefore, even if an event (abnormality, etc.) occurs during the work or it is necessary to perform an unsteady operation, various predetermined dialogue scenarios corresponding to these events are forcibly interrupted in the middle. Can deal effectively with any situation.
本発明(8)では、上記本発明(1)において、対話制御部11は、接続ユーザのスキルを反映する個人情報に基づき該スキルに対応する対話モデルを管理するものである。従って、ユーザのスキルを考慮した役割の分担が容易に行える。
In the present invention (8), in the present invention (1), the
以上述べた如く本発明によれば、物理的に離れた複数ユーザによる協調作業を効率良く支援可能となるため、この種の協調作業の安全実施、効率向上に寄与するところが極めて大きい。 As described above, according to the present invention, it is possible to efficiently support collaborative work by a plurality of physically separated users. Therefore, this embodiment greatly contributes to the safety implementation and efficiency improvement of this kind of collaborative work.
以下、添付図面に従って本発明に好適なる実施の形態を詳細に説明する。なお、全図を
通して同一符号は同一又は相当部分を示すものとする。
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. Note that the same reference numerals denote the same or corresponding parts throughout the drawings.
図1は実施の形態による対話型協調作業支援システムの構成を示す図で、この支援システムは、大きく分けて、複数ユーザによる協調作業の実行を同期制御するWebサーバ(タスク処理部)10と、複数ユーザ(クライアント)との間で音声による対話を実行する対話サーバ(対話実行部)30とを備える。 FIG. 1 is a diagram showing a configuration of an interactive cooperative work support system according to an embodiment. This support system is roughly divided into a web server (task processing unit) 10 that synchronously controls execution of cooperative work by a plurality of users, A dialogue server (dialog execution unit) 30 that executes voice dialogue with a plurality of users (clients).
Webサーバ10において、11A〜11Dはユーザ毎に生成され、各接続ユーザA〜Dとの間における対話の実行(進行)を制御する対話制御オブジェクト(本発明の対話制御部に相当)、12は各対話制御オブジェクト11A〜11D間における対話制御の同期を制御する同期制御オブジェクト(本発明の同期制御部に相当)、13は対話サーバ30からのHTTPリクエストを受け付けるサーブレット、14はVoiceXMLドキュメント(一例の対話記述用言語で書かれたリスト)のテンプレートであるJSP{Java(登録商標) Server Pages} 、20は対話シナリオ等の生成に必要な情報を格納しているVoiceXMLデータベース、15はVoiceXMLデータベース20に接続するためのデータベース(DB)連携モジュール、100はWebサーバ10と対話サーバ30間を接続するIP網である。
In the
対話サーバ20において、31はVoiceXMLによる対話シナリオを解釈・実行するVoiceXMLインタプリタ、32はユーザからの音声を認識する音声認識部(ASR)、33はユーザへの音声を合成する音声合成部(TTS)、34は電話端末を収容する電話ボードインタフェース(I/F)、200は公衆交換電話網(PSTN)、50はユーザが使用する電話端末(携帯電話,PHS等)である。好ましくは、ハンズフリータイプの電話端末50を使用することで、各ユーザA〜Dはハンズフリー、かつアイズフリーで専ら作業に専念できる。
In the
係る構成により、次に、対話制御オブジェクト11とユーザ間の1対1対話制御を説明する。ユーザとの間の対話制御は、基本的には、対話制御オブジェクト11からの発話(作業指示)に対して、ユーザが必要な作業をい行い、作業結果を応答すると共に、該応答内容に基づき対話制御オブジェクト11における状態が遷移し、新たな発話(作業指示)を生成する形、で進められる。
Next, the one-to-one dialog control between the
例えば、ユーザAが携帯電話50Aで特定の電話番号にアクセスすると、対話サーバ30の電話ボードI/F34に着信する。対話サーバ30では、ユーザA用のVoiceXMLインタプリ夕31Aを生成すると共に、該インタプリ夕31Aは、ユーザAの発話内容を解析し、Webサーバ10に対して発話内容に対応するHTTP(GET/POST)リクエストを送信する。
For example, when the user A accesses a specific telephone number with the mobile phone 50 </ b> A, the call arrives at the telephone board I /
Webサーバ10では、ユーザA用の対話制御オブジェクト11Aを生成すると共に、サーブレット13は、HTTPリクエストから上記ユーザAとの対話で得られたパラメータ情報を受け取って、これを対話制御オブジェクト11Aに渡す。
In the
対話制御オブジェクト11Aは、該取得したパラメータ情報に基づき、自己の状態を遷移させると共に、データベース連携モジュール15を介してVoiceXMLデータベース20にアクセスし、ユーザAとの対話制御に必要な対話シナリオ(プロンプト,グラマー等)の選択を行う。更に、選択したプロンプトやグラマーをJSP14で対応するテンプレートに埋め込み、VoiceXMLドキュメント(即ち、対話シナリオ)を生成すると共に、これをVoiceXMLインタプリタ11Aに返送する。このVoiceXMLドキュメントは、VoiceXMLインタプリタ11Aで解釈され、更に、音声合成部33で音声に合成され、ユーザAに出力される。
The
ユーザAは、システムからの出力音声に応じて必要な作業を行い、新たな音声入力を行う。対話制御オブジェクト11Aでは、その応答内容に基づき新たな状態に遷移し、新たな発話(作業指示)を生成する。このような対話制御を繰り返すことにより、ユーザAの担当する作業が順に進められる。他のユーザB〜Dについても同様である。
The user A performs necessary work according to the output sound from the system and inputs a new sound. The
次に、ユーザA〜Dによる協調作業の同期制御を説明する。対話制御オブジェクト11A〜11D間で一つの同期制御オブジェクト12を共有することにより、ユーザA〜D間における協調作業の同期制御が実現される。同期制御オブジェクト12では、対話制御オブジェクト11A〜11D毎にそれぞれ同期フラグを管理しており、各同期フラグはユーザA〜Dへの新たな作業の指示によってリセットされ、その後の各ユーザA〜Dからの作業完了の通知があった時点でそれぞれがセットされる。
Next, the synchronous control of the cooperative work by the users A to D will be described. By sharing one
そして、全ての同期フラグがセットされたことを契機に、各対話制御オブジェクト11A〜11Dにおける状態遷移が付勢(イネーブル)される。この同期フラグは、ユーザからの作業完了の通知によりセットされるが、それ以外の通知(ユーザからの作業中断、前の作業に戻る指示の通知等)によってはセットされない。こうして、ユーザA〜Dによる協調作業の同期制御が効率よく行われる。 Then, when all the synchronization flags are set, the state transitions in the dialog control objects 11A to 11D are energized (enabled). This synchronization flag is set by a work completion notification from the user, but is not set by other notifications (such as a work interruption from the user, a notification of an instruction to return to the previous work, etc.). In this way, the synchronous control of the cooperative work by the users A to D is efficiently performed.
なお、上記全ての同期フラグがセットされたことを遷移の条件としたが、これに限らない。実際上は、様々なタイプの作業項目(作業の種類、人数、操作/確認の役割分担等)に応じて、必要なユーザからの作業完了通知のみが要求される。即ち、これが状態遷移の条件となる。本発明では、各場面において、このような要件に該当するユーザを「所要のユーザ」という語で表し、また、該要件の満足により状態遷移すべき関係にある所定の対話制御部を「所要の対話制御部」という語で表している。また、図示しないが、どのユーザ(又は対話制御部11)が所要のユーザ(又は対話制御部11)に該当するかについては、予め各タイプの作業項目に応じて同期制御部12及び又は各ユーザ対応の対話モデル内で管理されている。
The transition condition is that all the synchronization flags are set, but the present invention is not limited to this. Actually, only a work completion notification from a required user is required according to various types of work items (work type, number of persons, operation / confirmation role assignment, etc.). That is, this is a condition for state transition. In the present invention, in each scene, a user who satisfies such a requirement is represented by the word “required user”, and a predetermined dialog control unit that is to be changed in state upon satisfaction of the requirement is designated as “required user”. It is expressed by the word “dialogue control unit”. Further, although not shown in the drawing, which user (or dialogue control unit 11) corresponds to the required user (or dialogue control unit 11) is determined in advance according to each type of work item and the
図2は実施の形態による対話型協調作業支援処理のシーケンス図で、ユーザA、Bによる協調作業の一部を示している。まず、ユーザAの接続により対話制御オブジェクト11Aが生成される。その後、ユーザAがシステムからの要求に応じて個人情報(ユーザ名、ID情報等)の入力を行うと、データベース20に格納されたタスクデータと、ユーザAの個人情報とに基づき、ユーザAの役割に応じた対話モデルAが生成され、これに伴いユーザAから最初の対話シナリオA1を要求される状態となる。これを受けた対話モデル11Aは、同期制御オブジェクト12にユーザA(即ち、対話モデルA)の状態登録を行うと共に、同期制御オブジェクト12による同期待ちの(この例では、ユーザBの接続を待つ)状態となる。
FIG. 2 is a sequence diagram of the interactive cooperative work support process according to the embodiment, and shows a part of the cooperative work by the users A and B. First, the
次に、ユーザBの接続により対話制御オブジェクト11Bが生成される。その後、上記同様にして生成された対話モデルBが同期制御オブジェクト12にユーザB(即ち、対話モデルB)の状態登録を行うと、これにより同期制御オブジェクト12内では上記待ち状態の同期が得られた状態となる。このように、同期制御オブジェクト12では、常に、対話モデルA,Bの状態が管理されており、各対話モデルA,Bからの同期の問い合わせに対しては、待つ必要があるか否かを判定し、かつ該問い合わせに応答可能となっている。図2は、ユーザAが先に対話を完了しているが、ユーザBの対話が完了するまでは、次の対話シナリオには進めない様子を示している。
Next, the
対話モデルAでは、上記同期の状態が得られたことにより、自己が管理する現在の状態と、ユーザが入力したパラメータ情報とに基づき、次に遷移すべき状態を決定する。具体
的には、データベース20にアクセスして、次に出力すべきシステム側の発話シナリオを選択し、かつそれに関連付けられた状態、及びユーザAから収集すべき情報を決定する。更に、これらの発話、状態及び収集すべき情報を、VoiceXMLドキュメントのテンプレート(JSP)に埋め込み、HTTPリクエストに対する結果としてVoiceXMLインタブリ夕31Aに返送する。
In the dialog model A, when the synchronization state is obtained, the state to be changed next is determined based on the current state managed by the user and the parameter information input by the user. Specifically, the
ユーザAは、システムからの対話シナリオA1(タスク等)を受けたことにより、作業A1を実行すると共に、その結果を音声にて応答する。この応答には、作業の完了のみならず、作業の状況に応じて、作業の中断又は作業を前の作業に戻す旨の指示等が行われる場合がある。そして、これらの応答は、対話モデルAに対する次の対話シナリオA2の要求となり、これを受けた対話モデルAでは、自己が管理する現在の状態と、ユーザが入力した応答情報とに基づき、次に遷移すべき状態を決定する。こうして、全てのタスクが終了するまで、同様の処理を繰り返す、ユーザBについても同様である。 The user A receives the dialogue scenario A1 (task or the like) from the system, and executes the operation A1 and responds with the result by voice. In this response, not only the completion of the work but also an instruction to interrupt the work or return the work to the previous work may be performed depending on the situation of the work. These responses become requests for the next dialogue scenario A2 for the dialogue model A. In the dialogue model A that receives this response, the next state is managed based on the current state managed by the user and the response information input by the user. Determine the state to transition to. The same applies to user B who repeats the same processing until all tasks are completed.
図3は実施の形態による同期制御処理の流れを説明する図で、図3(A)は同期制御オブジェクト12で管理する作業完了の同期フラグを示している。同期制御オブジェクト12では各ユーザA〜Dの対応に設けられた作業完了の同期フラグを作業項目毎に管理している。一方、各対話制御オブジェクト11A〜11Dは、各作業項目におけるユーザからの作業の完了(又は、作業中断、前の作業に戻る旨の)の入力を同期制御オブジェクト12に通知する。同期制御オブジェクト12では、対話制御オブジェクト11A〜11Dから作業完了の通知が行われると、対応する作業完了の同期フラグをセットするが、その他の指示入力(作業中断の指示、作業を前の作業に戻す旨の指示等)では対応する同期フラグをセットしない。従って、全ての作業が完了した時点でのみ作業完了の同期状態となる。
FIG. 3 is a diagram for explaining the flow of the synchronization control process according to the embodiment. FIG. 3A shows a work completion synchronization flag managed by the
図3(A)は、ユーザA〜Dが作業項目nを行っているときの作業完了の同期フラグの状態を示しており、ユーザA, C, Dからの作業完了は既に通知されているが、ユーザBからの作業完了の音声入力を待っている状態である。好ましくは、このとき、ユーザA,C,Dには待機状態にある旨の音声メッセージ(ex「しばらくお待ちください。」)が通知される。そして、全てのユーザA〜Dの作業完了が通知された時点で、各対話制御オブジェクト11A〜11Dにおける次に遷移すべき状態の決定が付勢される。 FIG. 3A shows the state of the work completion synchronization flag when the users A to D are performing the work item n, and the work completion from the users A, C, and D has already been notified. In this state, the user B is waiting for a voice input for completing the work. Preferably, at this time, the users A, C, and D are notified of a voice message (ex “Please wait for a while”) indicating that they are in a standby state. Then, when the completion of the work of all the users A to D is notified, determination of the state to be transitioned next in each of the dialog control objects 11A to 11D is activated.
なお、図示しないが、上記作業完了の同期フラグと同様にして、他にも、作業中断の指示フラグ、作業を前に戻す旨の指示フラグが各対話制御オブジェクト11A〜11Dの対応に設けられている。作業中断の指示フラグについては、何れかが最初にセットされた時点でユーザ全体の作業中断の同期判定が有効になるが、該フラグは当該中断指示を出したユーザよってリセットされ、これによりユーザ全体の作業中断の同期判定は無効に解除される。 Although not shown in the drawing, in the same manner as the work completion synchronization flag, a work interruption instruction flag and an instruction flag for returning the work to the front are provided in correspondence to each of the dialog control objects 11A to 11D. Yes. As for the work interruption instruction flag, the synchronization determination of the work interruption of the entire user becomes valid at the time when any of the flags is first set, but the flag is reset by the user who issued the interruption instruction, thereby The synchronous determination of the interruption of work is canceled invalid.
但し、上記最初の中断指示フラグがリセットされる前に、もし、他のユーザによる作業中断の指示フラグがセットされていた場合は、上記最初の中断指示フラグがリセットされた後でも、ユーザ全体の作業中断の同期判定は有効のままである。従って、一度に複数ユーザによる作業中断の指示が受け付けられ、適正に処理される。作業を前に戻す旨の指示についても上記同様に複数ユーザ分を受け付けるが、何れか最初のユーザの指示によりユーザ全体の作業が前に戻された時点で、全ての前に戻す旨の指示フラグが一旦リセットされる。 However, if the work interruption instruction flag by another user has been set before the first interruption instruction flag is reset, the entire user's operation will be stopped even after the first interruption instruction flag is reset. The work interruption synchronization judgment remains valid. Accordingly, work interruption instructions from a plurality of users are accepted at a time and are processed appropriately. As for the instruction to return the work to the front, a plurality of users are accepted in the same manner as described above, but when the work of the entire user is returned to the front by any one of the user's instructions, an instruction flag to return all the work Is reset once.
図3(B)は対話制御オブジェクト11で実行する同期制御処理の一部フローを示している。作業項目nの実行開始によりこの処理に入力する。ステップS11では同期制御オブジェクト12の作業完了の同期フラグを検査する。ステップS12では全て完了の状態
か否かを判別し、全て完了の場合はステップS13で自己の実行すべき作業項目を(n+1)に更新し、この処理を抜ける。
FIG. 3B shows a partial flow of the synchronous control process executed by the
また、上記ステップS12の判別で全て完了でない場合は、ステップS14でその原因が何れかのユーザの中断指示によるものか否かを判別する。ユーザの中断指示による場合は、更にステップS18で本人(当該対話制御オブジェクト11が接続するユーザ)による中断指示か否かを判別し、本人による場合はステップS19で当該ユーザに対して中断指示解除待ちの旨(ex「作業を中断しました。作業を再開するには、再開、とおっしゃってください。」)の通知を行う。また、本人でない場合はステップS20で自己が接続するユーザに、作業が他人により中断されている旨(ex「鈴木の操作により、作業を中断しました。作業が再開されるまでしばらくお待ちください。」)を通知する。このように、何れかのユーザが作業中断を指示した場合は、既に作業完了しているユーザが存在していたとしても、全てのユーザの作業が中断される。
If all the determinations in step S12 are not complete, it is determined in step S14 whether or not the cause is due to any user interruption instruction. In the case of a user interruption instruction, it is further determined in step S18 whether or not the user (the user to whom the
そして、ステップS21では中断の再開(全ての中断指示フラグが解除)か否かを判別し、再開でない場合はステップS18に戻る。また、中断再開の場合は、作業再開の旨(ex「中断していた作業を再開します。」の通知を行って後、ステップS11に戻り、引き続き作業項目nの作業完了を待つ。なお、中断した作業が再開された時は、既に作業を完了しているユーザが存在していたとしても、全てのユーザの作業が当該作業項目nの最初からやり直される。 In step S21, it is determined whether or not the interruption is resumed (all interruption instruction flags are released). If not, the process returns to step S18. In the case of resuming the interruption, after notifying that the work has been resumed (ex “resuming the suspended work is resumed”), the process returns to step S11 to continue waiting for the work item n to be completed. When the interrupted work is resumed, even if there is a user who has already completed the work, the work of all the users is started again from the beginning of the work item n.
また、上記ステップS14の判別で作業の中断でない場合は、更にステップS15で何れかのユーザによる現在の作業を前の作業に戻す旨の指示(バック指示)か有効か否かを判別する。バック指示が無効の場合は、作業項目nの作業が引き続き進行中であるので、処理はステップS11に戻る。また、バック指示が有効の場合は、ステップS16で自己が接続するユーザに作業を一つ前に戻す旨(ex「鈴木の操作により、前の作業に戻ります。」)の通知を行い、ステップS17では自己の作業項目を(n−1)に更新し、この処理を抜ける。何れかのユーザが前の作業に戻る旨を指示した場合は、作業完了しているユーザが存在していても、全てのユーザが前の作業に戻ることになる。 If it is determined in step S14 that the operation is not interrupted, it is further determined in step S15 whether an instruction (back instruction) for returning the current operation by any user to the previous operation is valid. If the back instruction is invalid, the work for work item n is still in progress, and the process returns to step S11. If the back instruction is valid, a notification is sent to the user to which he / she is connected in step S16 that the work is to be returned to the previous one (ex: “The operation will be returned to the previous work by Suzuki”). In S17, the own work item is updated to (n-1), and this process is exited. If any user instructs to return to the previous work, all users will return to the previous work even if there are users who have completed the work.
なお、図示しないが、全ての作業項目を完了する前に、何れかのユーザと対話サーバ30との間の呼の接続が回線障害等により切断された場合には、一種の中断状態となるが、当該ユーザ本人による中断指示とは異なる為、何らかの手段が必要となる。この場合は、例えば電話ボードI/F34にて、ある回線の障害を検出したことにより、当該回線の接続ユーザに代わって、該接続ユーザに対応するVoiceXMLインタプリタ31より対応する対話制御オブジェクト11に回線障害による中断の指示を行い、これにより他の全てのユーザの作業を自動的に中断させることが可能である。やがて、電話ボードI/F34にて、回線障害の復帰を検出した場合は、上記同様のルートで中断解除の指示を行い、これにより全てのユーザの作業を再開可能である。
Although not shown in the drawing, if a call connection between any user and the
図4は実施の形態による対話例を示す図で、ユーザA,Bが水道保守の協調作業を行う場合を時系列に示している。まず、ユーザAがシステムに登録すると共に、この例では協調作業に必要なもう一人のユーザBの接続待ちとなる。やがて、ユーザBがシステムに登録すると、待ち合わせの同期が得られ、これによりユーザA,Bに作業の内容、場所に関する情報が通知されると共に、所定の協調作業が開始される。 FIG. 4 is a diagram showing an example of dialogue according to the embodiment, and shows a case in which the users A and B perform cooperative work for water supply maintenance in time series. First, the user A registers with the system, and in this example, the connection waits for another user B necessary for cooperative work. Eventually, when the user B registers in the system, the synchronization of the waiting is obtained, thereby notifying the users A and B of the contents and location of the work, and starting a predetermined cooperative work.
図5は実施の形態によるVoiceXMLデータベース20の記憶内容を説明する図で、バス車両のフットブレーキ検査作業に適用した場合を具体的に示している。VoiceXMLデータベース20は、対話制御オブジェクトの状態(state)、該状態におけるシステム側の発話(prompt)、及び該状態においてユーザから収集すべき情報(Answer)を状態毎に
保持している。これにより、ある状態は、その状態でユーザから収集すべき情報と、そのために出力するプロンプトとに関連付けられている。
FIG. 5 is a diagram for explaining the stored contents of the
例えば、ステート「Login」のプロンプトは「バス車両検査システムです。」であり、要求するアンサーはない。また、ステート「AskSagyoType」のプロンプトは「個人作業を行いますか、グループ作業を行いますか」であり、要求するアンサーは「個人作業又はグループ作業」である。他ステートについても同様に理解できる。 For example, the prompt for state "Login" is "Bus vehicle inspection system" and there is no answer to request. The prompt of the state “AskSagyoType” is “Do you do personal work or do you work together?” And the requested answer is “Personal work or group work”. Other states can be understood similarly.
なお、図示しないが、各状態でVoiceXMLを生成するためのJSP(テンプレート)には以下のタイプ、
「Annouce」情報提示
「Ask」質問
「Disconnect」対話を終了
「Waiting」待機状態にあることを通知
「Backward」前の作業に戻ることを通知
「Suspended」中断されたことを通知
「AskForResume」再開の指示を要求
「Resumed」再開されたことを通知
「Reconnect」未完了作業があることを通知
「Error」エラー通知
がある。
Although not shown, the JSP (template) for generating VoiceXML in each state has the following types:
“Annouce” information presentation “Ask” question “Disconnect” dialog is terminated Notification of “Waiting” waiting
Notification of returning to the previous work
“Suspended” Notification of suspension
Request for "AskForResume" resume
"Resumed" Notification of resuming
"Reconnect" Notify that there is incomplete work
There is an “Error” error notification.
図6,図7は実施の形態による状態(state)遷移パターンを説明する図(1),(2)であり、各ブロック(状態)のシステム動作については図8の説明を参照されたい。図6は各ユーザがそれぞれに作業完了の応答を入力する場合(作業パターン1)を示している。各ユーザA〜Dは、システムからの作業の指示に対して、問題がなければ作業を完了(操作完了,動作確認等)したことをそれぞれに音声入力し、所要数のユーザの完了応答が揃ったところで、次の作業項目に進む。この場合に、各ユーザは、作業中に何らかの問題が見つかった場合は、作業中断の指示を音声入力し、問題解決を行った後、作業再開の指示を音声入力する。また各ユーザは、前の作業を再度行う必要が生じた場合には、前の作業に戻る旨の指示を音声入力できる。また、回線毎の回線障害につても上記同様に扱える。 6 and 7 are diagrams (1) and (2) for explaining a state transition pattern according to the embodiment. Refer to the explanation of FIG. 8 for the system operation of each block (state). FIG. 6 shows a case where each user inputs a work completion response (work pattern 1). Each user A to D voice-inputs that the work has been completed (operation completion, operation check, etc.) if there is no problem in response to the work instruction from the system, and the completion response of the required number of users is prepared. Now, go to the next work item. In this case, if any problem is found during the work, each user inputs a work interruption instruction by voice, and after solving the problem, inputs a work resumption instruction by voice. Each user can input an instruction to return to the previous work by voice when it becomes necessary to perform the previous work again. Also, the line failure for each line can be handled in the same manner as described above.
図7はある代表者(班長)のみが作業完了の応答を入力できる場合(作業パターン2)を示している。班長は所要のユーザが作業を完了したことをオフライン(現場)で確認後、代表して作業完了を音声入力する。班長以外の各ユーザには、好ましくは、班長が音声入力するまで、システムからの作業指示が繰り返しアナウンスされる。前の作業に戻る場合や作業を中断する場合も同様に、班長が代表して指示を音声入力する。 FIG. 7 shows a case (work pattern 2) where only a representative (team leader) can input a work completion response. After confirming that the required user has completed the work offline (on-site), the team leader representatively inputs the completion of the work by voice. Preferably, work instructions from the system are repeatedly announced to each user other than the team leader until the team leader makes a voice input. Similarly, when returning to the previous work or suspending the work, the team leader represents the voice by voice on behalf of the team.
なお、Webサーバ10は、各ユーザの登録時におけるユーザのスキル・経験に関する個人情報(作業の主任資格保持等)を考慮することで、対話モデル11の生成時に、当該ユーザの対話モデルに対して上記班長のような管理権限を自動的に付与することが可能である。
Note that the
図8は上記図6,図7の各状態におけるシステム動作を説明する図である。図6の各ユーザA,C,DはユーザBの操作(Sousa)2に対して、確認(Kakunin)2のユーザ入力を行う必要があるが、図7の各ユーザA,C,DはユーザBの操作(Soisa)2に対して、ユーザ入力なしのアナウンス確認(AnounceKakunin)2を行う。この場合は、必要なら、不図示の班長が確認(Kakunin)2のユーザ入力を行うことになる。 FIG. 8 is a diagram for explaining the system operation in each state of FIGS. Each of the users A, C, and D in FIG. 6 needs to input the confirmation (Kakunin) 2 for the operation (Sousa) 2 of the user B, but each of the users A, C, and D in FIG. For the operation (Soisa) 2 of B, an announcement confirmation (AnounceKakunin) 2 without user input is performed. In this case, if necessary, the team leader (not shown) performs user input for confirmation (Kakunin) 2.
図9は他の実施の形態による対話型協調作業支援システムの構成を示す図で、システム運用中に発生した様々な(不測等の)イベントに応じて、現在進行中の対話シナリオを自動的に中断させると共に、これに代わる他の対話シナリオを強制挿入可能な場合を示している。図において、11Sは、システム運用中に何らかのイベントが検出されたことにより、対話制御オブジェクト11A〜11Dにおける対話シナリオの進行を一時的に中断させると共に、これまでのタスク処理に割り込んで、所定の対話シナリオを能動的に挿入するシナリオ挿入部、31a〜31dは、対話制御オブジェクト11A〜11Dの各拡張機能として設けられると共に、シナリオ挿入部11Sからの挿入シナリオを受け取り、各作業者A〜Dとの間で対話を実行するシナリオ挿入対応部である。 FIG. 9 is a diagram showing the configuration of an interactive collaborative work support system according to another embodiment. In accordance with various events (such as unforeseen events) that occur during the operation of the system, an interactive scenario that is currently in progress is automatically performed. It shows a case where it is possible to forcibly insert another interactive scenario in place of interruption. In the figure, 11S temporarily interrupts the progress of the dialog scenario in the dialog control objects 11A to 11D when some event is detected during the system operation, and interrupts the task processing so far to perform a predetermined dialog. Scenario insertion units 31a to 31d for actively inserting scenarios are provided as extended functions of the dialog control objects 11A to 11D, receive an insertion scenario from the scenario insertion unit 11S, and communicate with the workers A to D. It is a scenario insertion corresponding part that executes a dialogue between them.
上記何らかのイベントとしては、検査対象についての異常の検出(ユーザによる検査対象の異常報告でも良い)、回線障害の検出、システムに関する障害の検出、等が考えられる。あるユーザが使用中のPSTN回線に何らかの障害が発生したときは、上記の如くその回線対応部から中断の指示を対応する対話制御オブジェクト11に通知しても良いが、回線障害の旨をシナリオ挿入部11Sに通知することで、一旦全ての作業を中断又は停止させると共に、他の正常なPSTN回線を使用し、又は作業員の数を再編成して、途中からの作業を継続し、又は別途新たに作業を再開させることが容易に可能となる。回線障害等は、その場で一時的に対話を中断させても、しばらくは回復しない場合があるので、本発明により他の対話シナリオで対処するのが効率が良い。
Examples of the event include detection of an abnormality regarding the inspection target (may be an abnormality report on the inspection target by the user), detection of a line failure, detection of a failure related to the system, and the like. When a failure occurs on a PSTN line that is being used by a certain user, an interruption instruction may be sent from the line corresponding unit to the corresponding
なお、各対話制御オブジェクト11A〜11D中にシナリオ挿入対応部31a〜31dをそれぞれ設けたことにより、VoiceXMLドキュメントのプッシュ機能を利用して、何れか1又は2以上のユーザとの間で単発的なシナリオ(対話)を挿入することも容易に行える。例えば、本システムでは、全作業者の完了入力が得られていない間は、各対話制御オブジェクト11によって、システムが待機状態である旨を各作業者に通知するためのVoiceXMLドキュメント(ex「しばらくお待ちください。」を生成するが、各VoiceXMLインタプリタがそれを音声出力すると、再び各インタプリタから各対話制御オブジェクト11に状態遷移有無のHTTPリクエストを送り、これを受けた各対話制御オブジェクト11では、再度全作業者の完了入力が得られたか否かを調べることになる。このため、ある時点の条件満足により次の状態に遷移させることが可能となる実際のタイミングは、待ち状態の作業者に対する音声プロンプト「しばらくお待ちください。」の送出後となってしまうが、本シナリオ挿入機能を利用すれば、音声プロンプト「しばらくお待ちください。」の再生中であってもその再生を中断させ、直ちに次の状態に遷移させることが容易に可能となる。
It should be noted that by providing the scenario insertion corresponding units 31a to 31d in each of the dialog control objects 11A to 11D, the voice XML document push function is used, so that one or two or more users can be used only once. You can easily insert scenarios (dialogues). For example, in this system, when the completion input of all workers is not obtained, each XML object is notified by the
あるいは、何れかのユーザにより「作業中断」、「作業を前に戻す」旨の操作が行われた場合は、他の作業者は元の作業シナリオを実行しており、作業結果を音声入力しても実質的に無効となってしまうが、本シナリオ挿入機能を利用すれば、全作業者に「作業中断」、「作業を前に戻す」旨の操作が行われたことを迅速に伝えることが可能となる。 Alternatively, when an operation such as “work interruption” or “return work” is performed by any user, the other worker is executing the original work scenario, and the work result is input by voice. However, if this scenario insertion function is used, all workers can be quickly notified that operations such as “work suspension” and “return work” have been performed. Is possible.
また、60は保守者等がシステムの運用状況を監視する保守端末であり、該保守端末60からシナリオ挿入部11Sを介して保守者が各ユーザに所望の対話シナリオを挿入しても良い。こうすれば、不測(予想外)のイベント発生に対しても柔軟に対処できる。
図10は他の実施の形態による対話例を示すで、作業中に異常が発見された場合に、該異常を検出したユーザの対話モデルに速やかに割り込んで異常の詳細な報告を取得する場合を時系列に示している。ここではユーザA,Bがバルブの操作と、配管の水漏れチェックとを分担して行う。ユーザAがバルブをオープンし、ユーザBが水漏れ異常を発見すると、その通知によりユーザAがバルブを閉栓する。その後は、シナリオ挿入部11Sが新たな対話シナリオを挿入することで、該シナリオ挿入部11Sからの要求に従い、ユーザ
Bが詳しい検査状況を報告している。 本実施の形態によれば、緊急イベントが起きた場合や、通常にはない対話処理の必要が生じた場合には、他のユーザがどんな対話状態にあっても、速やかにその処理に割り込むことが可能となる。
FIG. 10 shows an example of dialogue according to another embodiment. In the case where an abnormality is discovered during work, a case in which a detailed report of the abnormality is obtained by quickly interrupting the dialogue model of the user who has detected the abnormality is shown. Shown in time series. Here, the users A and B share the operation of the valve and the water leak check of the pipe. When the user A opens the valve and the user B finds a water leak abnormality, the user A closes the valve by the notification. After that, the scenario insertion unit 11S inserts a new dialogue scenario, so that the user B reports the detailed examination status according to the request from the scenario insertion unit 11S. According to the present embodiment, when an emergency event occurs, or when an unusual dialogue process is necessary, any other user in any dialogue state can immediately interrupt the process. Is possible.
なお、上記各実施の形態ではユーザが携帯電話50を使用したが、これに限らない。他にもPHS,IP電話、又はアナログ固定電話を使用しても本システムを構成できる。また、合成音声に替えて、予め録音した音声を使用してもよい。 In each of the above embodiments, the user uses the mobile phone 50. However, the present invention is not limited to this. In addition, this system can also be configured using a PHS, IP phone, or analog landline phone. In addition, a pre-recorded voice may be used instead of the synthesized voice.
また、上記本発明に好適なる複数の実施の形態を述べたが、本発明思想を逸脱しない範囲内で各部の構成、制御、処理及びこれらの組合せの様々な変更が行えることは言うまでも無い。 Moreover, although several embodiment suitable for the said invention was described, it cannot be overemphasized that the structure of each part, control, a process, and these combination can be variously changed within the range which does not deviate from this invention. .
10 Webサーバ(タスク処理部)
11 対話制御オブジェクト
12 同期制御オブジェクト
13 サーブレット
14 JSP
15 データベース(DB)連携モジュール
20 VoiceXMLデータベース
30 対話サーバ(対話実行部)
31 VoiceXMLインタプリタ
32 音声認識部(ASR)
33 音声合成部(TTS)
34 電話ボードインタフェース(I/F)
50 電話端末
60 保守端末
100 IP網
200 公衆交換電話網(PSTN)
10 Web server (task processing unit)
11
15 Database (DB)
31
33 Speech synthesis unit (TTS)
34 Telephone board interface (I / F)
50
Claims (8)
各ユーザとの間で音声による対話情報の入出力を行う対話実行部と、
ユーザ毎の役割に応じた対話モデルを管理すると共に、接続ユーザからの対話情報入力に基づき自己の対話モデルの状態遷移を制御し、該接続ユーザに出力するための新たな対話シナリオを生成する複数の対話制御部と、
前記複数ユーザからの対話情報入力に基づき、所要の対話制御部が同期して状態遷移するための共通の条件を管理する同期制御部とを備えることを特徴とする対話型協調作業支援システム。 An interactive collaborative work support system that supports collaborative work by multiple users,
A dialogue execution unit for inputting / outputting dialogue information with each user by voice;
A plurality of dialog models that manage a dialog model according to each user's role, control the state transition of the user's own dialog model based on dialog information input from the connected user, and generate a new dialog scenario for output to the connected user The dialogue control part of
An interactive collaborative work support system comprising: a synchronous control unit that manages a common condition for a required dialog control unit to make a state transition in synchronization based on dialogue information input from the plurality of users.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005058819A JP2006244126A (en) | 2005-03-03 | 2005-03-03 | Interactive cooperative work support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005058819A JP2006244126A (en) | 2005-03-03 | 2005-03-03 | Interactive cooperative work support system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006244126A true JP2006244126A (en) | 2006-09-14 |
Family
ID=37050480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005058819A Pending JP2006244126A (en) | 2005-03-03 | 2005-03-03 | Interactive cooperative work support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006244126A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018156613A (en) * | 2017-03-21 | 2018-10-04 | 富士通株式会社 | Work navigation program, work navigation method, and work navigation system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10154177A (en) * | 1996-09-27 | 1998-06-09 | Hitachi Ltd | Cooperative job support system |
JPH10173774A (en) * | 1996-12-06 | 1998-06-26 | Hitachi Ltd | Communication network maintenance supporting device, central managing device for maintenance work, maintenance managing method for communication network and communication network maintenance supporting system |
JPH11327587A (en) * | 1998-05-15 | 1999-11-26 | Omron Corp | Device and system for supporting work |
JP2004046730A (en) * | 2002-07-15 | 2004-02-12 | Kawasaki Heavy Ind Ltd | Work instruction method and system |
-
2005
- 2005-03-03 JP JP2005058819A patent/JP2006244126A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10154177A (en) * | 1996-09-27 | 1998-06-09 | Hitachi Ltd | Cooperative job support system |
JPH10173774A (en) * | 1996-12-06 | 1998-06-26 | Hitachi Ltd | Communication network maintenance supporting device, central managing device for maintenance work, maintenance managing method for communication network and communication network maintenance supporting system |
JPH11327587A (en) * | 1998-05-15 | 1999-11-26 | Omron Corp | Device and system for supporting work |
JP2004046730A (en) * | 2002-07-15 | 2004-02-12 | Kawasaki Heavy Ind Ltd | Work instruction method and system |
Non-Patent Citations (1)
Title |
---|
石川 晃 外3名: "対話部品を用いた電話・WWWブラウザ端末共通ヒューマンインタラクション開発環境", 情報処理学会研究報告 96−HI−69, vol. 96, no. 109, JPN6009066007, 15 November 1996 (1996-11-15), pages 17 - 24, ISSN: 0001496749 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018156613A (en) * | 2017-03-21 | 2018-10-04 | 富士通株式会社 | Work navigation program, work navigation method, and work navigation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6789320B2 (en) | Providing a state machine personal assistant module that can be traced selectively | |
JP6827479B2 (en) | Non-deterministic task initiation with personal assistant module | |
US8000969B2 (en) | Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges | |
JP5179375B2 (en) | Method and server for processing voice applications in a client-server computing system | |
US6757362B1 (en) | Personal virtual assistant | |
JP2020024723A (en) | Providing communications channel between instances of automated assistants | |
KR102043365B1 (en) | Local maintenance of data for voice actions that can be selectively performed offline on a speech recognition electronic device | |
KR20190097267A (en) | Create and send call requests to use third party agents | |
US9055165B2 (en) | Communication system for establishing a telephone call or a data communication | |
RU2008127911A (en) | PROGRAMMABLE MULTIMEDIA CONTROLLER WITH PROGRAMMABLE FUNCTIONS | |
JP7297797B2 (en) | Method and apparatus for managing holds | |
CN110998526B (en) | User-configured and custom interactive dialog applications | |
KR20220028128A (en) | Speaker Recognition Using Speaker Dependent Speech Model(s) | |
KR20220143683A (en) | Electronic Personal Assistant Coordination | |
WO2019176670A1 (en) | Information processing device, information processing method, and program | |
JP6689953B2 (en) | Interpreter service system, interpreter service method, and interpreter service program | |
JP3920175B2 (en) | Call activation system | |
WO2022119942A1 (en) | Systems and methods of integrating legacy chatbots with telephone networks | |
JP2006244126A (en) | Interactive cooperative work support system | |
JP7068077B2 (en) | Voice dialogue system, voice dialogue device and voice dialogue method | |
JP2023501059A (en) | Semi-delegated calls with automated assistants on behalf of human participants | |
JP6985439B2 (en) | Providing communication channels between instances of automated assistants | |
JP2021051591A (en) | Information output control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100511 |