JP2006244126A - Interactive cooperative work support system - Google Patents

Interactive cooperative work support system Download PDF

Info

Publication number
JP2006244126A
JP2006244126A JP2005058819A JP2005058819A JP2006244126A JP 2006244126 A JP2006244126 A JP 2006244126A JP 2005058819 A JP2005058819 A JP 2005058819A JP 2005058819 A JP2005058819 A JP 2005058819A JP 2006244126 A JP2006244126 A JP 2006244126A
Authority
JP
Japan
Prior art keywords
user
dialogue
work
dialog
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005058819A
Other languages
Japanese (ja)
Inventor
Takahiro Kii
隆弘 紀伊
Takuo Ikeda
拓郎 池田
Takahiro Ishikawa
貴洋 石川
Takashi Ota
恭士 大田
Tomonori Iketani
智則 池谷
Hideki Kanda
英樹 神田
Yukihiro Hattori
幸弘 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Central Japan Railway Co
Original Assignee
Fujitsu Ltd
Central Japan Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Central Japan Railway Co filed Critical Fujitsu Ltd
Priority to JP2005058819A priority Critical patent/JP2006244126A/en
Publication of JP2006244126A publication Critical patent/JP2006244126A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently and accurately support cooperative work by a plurality of users. <P>SOLUTION: An interactive cooperative work support system for supporting cooperative work by a plurality of users comprises an interaction execution part 30 for inputting and outputting voice interaction information among the users A to D, etc., a plurality of interaction control parts 11A to 11D, etc. for managing interaction models depending on users' roles, and controlling state transitions of the associated interaction models according to the interaction information inputs from the connected users to generate new interaction scenarios outputted to the connected users, and a synchronous control part 12 for managing common conditions for the synchronous state transition of necessary interaction control parts according to the interaction information inputs from a plurality of the users A to D, etc. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は対話型協調作業支援システムに関し、更に詳しくは、複数ユーザが一連の作業項目を一斉に協調して行うような協調作業を支援する対話型協調作業支援システムに関する。水道の元バルブと蛇口の工事や、工場内における生産設備の保守点検等、作用と確認の箇所が離れた条件下で行われる作業では、複数の作業者が協調してタスクを実行する必要がある。   The present invention relates to an interactive collaborative work support system, and more particularly to an interactive collaborative work support system that supports collaborative work in which a plurality of users perform a series of work items in concert. In work that is performed under conditions where the action and confirmation are separated, such as construction of water supply valves and faucets and maintenance of production facilities in the factory, it is necessary for multiple workers to perform the tasks in a coordinated manner. is there.

従来は、複数の作業者が互いに近接して作業をする場合に、予め各作業者の作業支援情報要求の音声パターンを登録しておき、ある作業者から入力された作業支援情報要求の音声を識別して、登録された音声のみを選択し、対応する作業支援情報を読み出して、該作業者に表示する作業支援システムが知られている(特許文献1)。これにより、各作業者は、本来の作業を継続しながら、隣の作業者の音声に妨げられることなく、音声により作業支援情報を要求できる。   Conventionally, when a plurality of workers work in close proximity to each other, a work support information request voice pattern of each worker is registered in advance, and a work support information request voice input from a worker is received. There is known a work support system that identifies and selects only registered speech, reads out corresponding work support information, and displays it to the worker (Patent Document 1). Thereby, each worker can request the work support information by voice without being disturbed by the voice of the next worker while continuing the original work.

また従来は、どんな順序で作業が進んでも、どの部分の作業が先行しても、実施可能な作業に対する作業指示が発行されるように、業務プロセスを全体のフローとして捉えるのではなく、独立した作業の集合体であると捉え、個々の作業の実施条件をもとに、作業指示を発行可能な協調作業支援システムが知られている(特許文献2)。
特開平11-327587(要約,図) 特開平10−154177(段落「0011」)
Also, in the past, work processes were not considered as a whole flow, but independently, so that work instructions were issued for work that could be performed regardless of the order in which work proceeded and which part of work preceded. A collaborative work support system that can be regarded as a collection of work and can issue work instructions based on the execution conditions of each work is known (Patent Document 2).
JP-A-11-327587 (summary, figure) JP 10-154177 (paragraph "0011")

しかし、上記従来技術における作業は、いずれも作業者毎に独立して進行することが前提となっており、複数作業者間の作業を連携(同期)させて行うという観点は存在しておらず、このため、従来技術では、作用と確認の箇所が離れた条件下で一定の同期の下に行われるような協調作業の支援を行えなかった。   However, it is assumed that all the work in the above prior art proceeds independently for each worker, and there is no viewpoint of performing the work among a plurality of workers in cooperation (synchronization). For this reason, in the prior art, it has not been possible to support collaborative work that is performed under a certain degree of synchronization under a condition where the action and confirmation points are separated.

本発明は上記従来技術の問題点に鑑みなされたものであり、その目的とする所は、複数ユーザが協調して行う作業を効率よく的確に支援可能な対話型協調作業支援システムを提供することにある。   The present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide an interactive collaborative work support system that can efficiently and accurately support a work performed in cooperation by a plurality of users. It is in.

上記の課題は例えば図1の構成により解決される。即ち、本発明(1)の対話型協調作業支援システムは、複数ユーザによる協調作業を支援する対話型協調作業支援システムであって、各ユーザA〜D等との間で音声による対話情報の入出力を行う対話実行部30と、ユーザ毎の役割に応じた対話モデルを管理すると共に、接続ユーザからの対話情報入力に基づき自己の対話モデルの状態遷移を制御し、該接続ユーザに出力するための新たな対話シナリオを生成する複数の対話制御部11A〜11D等と、前記複数ユーザA〜D等からの対話情報入力に基づき、所要の対話制御部が同期して状態遷移するための共通の条件を管理する同期制御部12とを備えるものである。   The above problem is solved by the configuration of FIG. In other words, the interactive collaborative work support system of the present invention (1) is an interactive collaborative work support system that supports collaborative work by a plurality of users. To manage the dialog execution unit 30 that performs output and the dialog model according to the role of each user, and to control the state transition of its own dialog model based on the dialog information input from the connected user and output it to the connected user A plurality of dialogue control units 11A to 11D that generate a new dialogue scenario and a common dialogue control unit that performs a state transition synchronously based on dialogue information input from the plurality of users A to D, etc. And a synchronization control unit 12 for managing conditions.

本発明(1)では、複数ユーザA〜D等からの対話情報入力に基づき、所要の対話制御部が同期して状態遷移するための共通の条件を管理する同期制御部12を備えることによ
り、例えばバス車両の点検作業における「ブレーキ作動」と「ブレーキ動作確認」のように、互いに遠隔にある操作行為と動作確認行為とを効率よくペアで管理できる。また、作業者からの対話入力のみならず、作業者への対話出力も音声にて行う構成により、各作業者は自己の作業をハンズフリー、かつアイズフリーで行える。更にまた、作業者同士が直接連絡をとり合う方式ではなく、タスク制御部10を介して連携をとる構成により、作業の効率化、及び安全運用と作業履歴の取得が容易に行える。
In the present invention (1), based on dialogue information input from a plurality of users A to D, etc., by providing a synchronization control unit 12 that manages a common condition for a required dialogue control unit to make a state transition in synchronization, For example, remote operation actions and operation check actions can be efficiently managed in pairs, such as “brake operation” and “brake operation check” in bus vehicle inspection work. Further, not only dialogue input from the worker but also dialogue output to the worker is performed by voice, so that each worker can perform his / her own work hands-free and eyes-free. Furthermore, it is not a method in which workers directly communicate with each other, but the configuration in which cooperation is established through the task control unit 10 makes it possible to improve the efficiency of work, and to obtain safe operation and work history easily.

本発明(2)では、上記本発明(1)において、同期制御部12は、所要のユーザからの作業完了の旨の対話情報入力に基づき、所要の対話制御部を次の状態に遷移させるものである。従って、複数ユーザ間における作業の同期(連携)が効率よく確実に得られる。   In the present invention (2), in the present invention (1), the synchronization control unit 12 causes the required dialog control unit to transition to the next state based on the dialog information input indicating the completion of the work from the required user. It is. Therefore, work synchronization (cooperation) among a plurality of users can be obtained efficiently and reliably.

本発明(3)では、上記本発明(1)において、同期制御部12は、何れかのユーザによる作業中断の旨の対話情報入力に基づき、所要の対話制御部を中断状態に遷移させるものである。従って、あるユーザの作業に不都合(遅延等)が生じても、他のユーザの作業を効率よく一斉に待たせることが可能である。   In the present invention (3), in the above-mentioned present invention (1), the synchronization control unit 12 shifts the required dialogue control unit to the suspended state based on the dialogue information input indicating that the work is suspended by any user. is there. Therefore, even if an inconvenience (delay or the like) occurs in the work of a certain user, it is possible to efficiently wait for the work of other users all at once.

本発明(4)では、上記本発明(1)において、同期制御部12は、何れかのユーザと対話実行部30との間の呼に障害が検出されたことにより、所要の対話制御部を呼障害による中断状態に遷移させるものである。従って、回線障害時にも、ユーザからの中断指示と同様に、自動的に対処できる。   According to the present invention (4), in the above-mentioned present invention (1), the synchronization control unit 12 detects a failure in a call between any user and the dialog execution unit 30, and thereby detects a required dialog control unit. Transition to a suspended state due to a call failure. Therefore, even when a line failure occurs, it can be automatically dealt with in the same way as an interruption instruction from the user.

本発明(5)では、上記本発明(1)において、同期制御部12は、何れかのユーザによる作業を前に戻す旨の対話情報入力に基づき、所要の対話制御部における現在の状態を前の状態に遷移させるものである。従って、あるユーザの作業にやりなおし等が生じても、他のユーザの作業を効率よく一斉に前の作業に戻すことが可能である。   In the present invention (5), in the above-mentioned present invention (1), the synchronization control unit 12 changes the current state in the required dialogue control unit based on the dialogue information input for returning the work by any user to the previous stage. The state is transitioned to. Therefore, even if a certain user's work is redone, it is possible to efficiently and efficiently return the work of other users to the previous work.

本発明(6)では、上記本発明(1)〜(5)において、対話制御部11は、同期制御部12における前記共通の条件が満足されたことにより、自己が管理する現在の状態と、ユーザが入力した対話情報とに基づき、自己が次に出力すべき発話と、ユーザから収集すべき情報とを決定するものである。従って、ユーザ毎の対話(シナリオ)を円滑に運用できる。   In the present invention (6), in the above-mentioned present inventions (1) to (5), the dialog control unit 11 has the current state managed by itself when the common condition in the synchronization control unit 12 is satisfied, Based on the dialogue information input by the user, the utterance to be output next by the user and the information to be collected from the user are determined. Therefore, the dialogue (scenario) for each user can be smoothly operated.

本発明(7)では、上記本発明(1)〜(6)において、所定イベントの発生に対応するための対話モデルを管理すると共に、複数の対話制御部における対話処理を中断させ、別の対話シナリオを挿入して複数ユーザとの対話を実行するシナリオ挿入部11Sを備えるものである。従って、作業中にイベント(異常等)が発生したり、非定常動作を行う必要が生じた場合でも、これらのイベントに対応する各所定の対話シナリオを途中で強制的に割り込ませることにより、様々な状況にも効率よく対処できる。   In the present invention (7), in the present inventions (1) to (6), a dialogue model for managing the occurrence of a predetermined event is managed, and the dialogue processing in a plurality of dialogue control units is interrupted to create another dialogue. It includes a scenario insertion unit 11S that inserts a scenario and executes dialogues with a plurality of users. Therefore, even if an event (abnormality, etc.) occurs during the work or it is necessary to perform an unsteady operation, various predetermined dialogue scenarios corresponding to these events are forcibly interrupted in the middle. Can deal effectively with any situation.

本発明(8)では、上記本発明(1)において、対話制御部11は、接続ユーザのスキルを反映する個人情報に基づき該スキルに対応する対話モデルを管理するものである。従って、ユーザのスキルを考慮した役割の分担が容易に行える。   In the present invention (8), in the present invention (1), the dialogue control unit 11 manages the dialogue model corresponding to the skill based on the personal information reflecting the skill of the connected user. Therefore, it is possible to easily share roles in consideration of user skills.

以上述べた如く本発明によれば、物理的に離れた複数ユーザによる協調作業を効率良く支援可能となるため、この種の協調作業の安全実施、効率向上に寄与するところが極めて大きい。   As described above, according to the present invention, it is possible to efficiently support collaborative work by a plurality of physically separated users. Therefore, this embodiment greatly contributes to the safety implementation and efficiency improvement of this kind of collaborative work.

以下、添付図面に従って本発明に好適なる実施の形態を詳細に説明する。なお、全図を
通して同一符号は同一又は相当部分を示すものとする。
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. Note that the same reference numerals denote the same or corresponding parts throughout the drawings.

図1は実施の形態による対話型協調作業支援システムの構成を示す図で、この支援システムは、大きく分けて、複数ユーザによる協調作業の実行を同期制御するWebサーバ(タスク処理部)10と、複数ユーザ(クライアント)との間で音声による対話を実行する対話サーバ(対話実行部)30とを備える。   FIG. 1 is a diagram showing a configuration of an interactive cooperative work support system according to an embodiment. This support system is roughly divided into a web server (task processing unit) 10 that synchronously controls execution of cooperative work by a plurality of users, A dialogue server (dialog execution unit) 30 that executes voice dialogue with a plurality of users (clients).

Webサーバ10において、11A〜11Dはユーザ毎に生成され、各接続ユーザA〜Dとの間における対話の実行(進行)を制御する対話制御オブジェクト(本発明の対話制御部に相当)、12は各対話制御オブジェクト11A〜11D間における対話制御の同期を制御する同期制御オブジェクト(本発明の同期制御部に相当)、13は対話サーバ30からのHTTPリクエストを受け付けるサーブレット、14はVoiceXMLドキュメント(一例の対話記述用言語で書かれたリスト)のテンプレートであるJSP{Java(登録商標) Server Pages} 、20は対話シナリオ等の生成に必要な情報を格納しているVoiceXMLデータベース、15はVoiceXMLデータベース20に接続するためのデータベース(DB)連携モジュール、100はWebサーバ10と対話サーバ30間を接続するIP網である。   In the Web server 10, 11A to 11D are generated for each user, a dialog control object (corresponding to the dialog control unit of the present invention) 12 for controlling the execution (progress) of the dialog with each connected user A to D, 12 A synchronization control object (corresponding to the synchronization control unit of the present invention) that controls the synchronization of the dialog control among the dialog control objects 11A to 11D, 13 is a servlet that accepts an HTTP request from the dialog server 30, and 14 is a VoiceXML document (one example) JSP {Java (registered trademark) Server Pages} which is a template of a list written in a dialog description language), 20 is a VoiceXML database storing information necessary for generating a dialog scenario, and 15 is stored in the VoiceXML database 20. Database (DB) cooperation module for connection, 100 is a Web server An IP network which connects the interaction server 30 and server 10.

対話サーバ20において、31はVoiceXMLによる対話シナリオを解釈・実行するVoiceXMLインタプリタ、32はユーザからの音声を認識する音声認識部(ASR)、33はユーザへの音声を合成する音声合成部(TTS)、34は電話端末を収容する電話ボードインタフェース(I/F)、200は公衆交換電話網(PSTN)、50はユーザが使用する電話端末(携帯電話,PHS等)である。好ましくは、ハンズフリータイプの電話端末50を使用することで、各ユーザA〜Dはハンズフリー、かつアイズフリーで専ら作業に専念できる。   In the dialogue server 20, 31 is a VoiceXML interpreter that interprets and executes a voice XML dialogue scenario, 32 is a speech recognition unit (ASR) that recognizes speech from the user, and 33 is a speech synthesis unit (TTS) that synthesizes speech to the user. , 34 is a telephone board interface (I / F) for accommodating telephone terminals, 200 is a public switched telephone network (PSTN), and 50 is a telephone terminal (cellular phone, PHS, etc.) used by a user. Preferably, by using the hands-free type telephone terminal 50, each of the users A to D can concentrate exclusively on work with hands-free and eyes-free.

係る構成により、次に、対話制御オブジェクト11とユーザ間の1対1対話制御を説明する。ユーザとの間の対話制御は、基本的には、対話制御オブジェクト11からの発話(作業指示)に対して、ユーザが必要な作業をい行い、作業結果を応答すると共に、該応答内容に基づき対話制御オブジェクト11における状態が遷移し、新たな発話(作業指示)を生成する形、で進められる。   Next, the one-to-one dialog control between the dialog control object 11 and the user will be described. The dialog control with the user basically performs the necessary work for the utterance (work instruction) from the dialog control object 11, responds the work result, and based on the response content. The state in the dialog control object 11 is changed, and the process proceeds in a form in which a new utterance (work instruction) is generated.

例えば、ユーザAが携帯電話50Aで特定の電話番号にアクセスすると、対話サーバ30の電話ボードI/F34に着信する。対話サーバ30では、ユーザA用のVoiceXMLインタプリ夕31Aを生成すると共に、該インタプリ夕31Aは、ユーザAの発話内容を解析し、Webサーバ10に対して発話内容に対応するHTTP(GET/POST)リクエストを送信する。   For example, when the user A accesses a specific telephone number with the mobile phone 50 </ b> A, the call arrives at the telephone board I / F 34 of the dialog server 30. The dialog server 30 generates a VoiceXML interpreter 31A for the user A, and the interpreter 31A analyzes the user A's utterance content and sends an HTTP (GET / POST) corresponding to the utterance content to the Web server 10. Send a request.

Webサーバ10では、ユーザA用の対話制御オブジェクト11Aを生成すると共に、サーブレット13は、HTTPリクエストから上記ユーザAとの対話で得られたパラメータ情報を受け取って、これを対話制御オブジェクト11Aに渡す。   In the Web server 10, the dialog control object 11A for the user A is generated, and the servlet 13 receives the parameter information obtained by the dialog with the user A from the HTTP request and passes it to the dialog control object 11A.

対話制御オブジェクト11Aは、該取得したパラメータ情報に基づき、自己の状態を遷移させると共に、データベース連携モジュール15を介してVoiceXMLデータベース20にアクセスし、ユーザAとの対話制御に必要な対話シナリオ(プロンプト,グラマー等)の選択を行う。更に、選択したプロンプトやグラマーをJSP14で対応するテンプレートに埋め込み、VoiceXMLドキュメント(即ち、対話シナリオ)を生成すると共に、これをVoiceXMLインタプリタ11Aに返送する。このVoiceXMLドキュメントは、VoiceXMLインタプリタ11Aで解釈され、更に、音声合成部33で音声に合成され、ユーザAに出力される。   The dialog control object 11A changes its own state based on the acquired parameter information, and also accesses the VoiceXML database 20 via the database linkage module 15 to provide a dialog scenario (prompt, required for dialog control with the user A). Grammar etc.). Further, the selected prompt or grammar is embedded in the corresponding template by the JSP 14 to generate a VoiceXML document (ie, a dialogue scenario) and return it to the VoiceXML interpreter 11A. The VoiceXML document is interpreted by the VoiceXML interpreter 11A, further synthesized into speech by the speech synthesizer 33, and output to the user A.

ユーザAは、システムからの出力音声に応じて必要な作業を行い、新たな音声入力を行う。対話制御オブジェクト11Aでは、その応答内容に基づき新たな状態に遷移し、新たな発話(作業指示)を生成する。このような対話制御を繰り返すことにより、ユーザAの担当する作業が順に進められる。他のユーザB〜Dについても同様である。   The user A performs necessary work according to the output sound from the system and inputs a new sound. The dialog control object 11A transitions to a new state based on the response content and generates a new utterance (work instruction). By repeating such interactive control, the work in charge of the user A is sequentially performed. The same applies to the other users B to D.

次に、ユーザA〜Dによる協調作業の同期制御を説明する。対話制御オブジェクト11A〜11D間で一つの同期制御オブジェクト12を共有することにより、ユーザA〜D間における協調作業の同期制御が実現される。同期制御オブジェクト12では、対話制御オブジェクト11A〜11D毎にそれぞれ同期フラグを管理しており、各同期フラグはユーザA〜Dへの新たな作業の指示によってリセットされ、その後の各ユーザA〜Dからの作業完了の通知があった時点でそれぞれがセットされる。   Next, the synchronous control of the cooperative work by the users A to D will be described. By sharing one synchronization control object 12 among the dialog control objects 11A to 11D, synchronization control of cooperative work among the users A to D is realized. The synchronization control object 12 manages a synchronization flag for each of the dialog control objects 11A to 11D, and each synchronization flag is reset by a new work instruction to the users A to D. Each is set when there is a notification of completion of work.

そして、全ての同期フラグがセットされたことを契機に、各対話制御オブジェクト11A〜11Dにおける状態遷移が付勢(イネーブル)される。この同期フラグは、ユーザからの作業完了の通知によりセットされるが、それ以外の通知(ユーザからの作業中断、前の作業に戻る指示の通知等)によってはセットされない。こうして、ユーザA〜Dによる協調作業の同期制御が効率よく行われる。   Then, when all the synchronization flags are set, the state transitions in the dialog control objects 11A to 11D are energized (enabled). This synchronization flag is set by a work completion notification from the user, but is not set by other notifications (such as a work interruption from the user, a notification of an instruction to return to the previous work, etc.). In this way, the synchronous control of the cooperative work by the users A to D is efficiently performed.

なお、上記全ての同期フラグがセットされたことを遷移の条件としたが、これに限らない。実際上は、様々なタイプの作業項目(作業の種類、人数、操作/確認の役割分担等)に応じて、必要なユーザからの作業完了通知のみが要求される。即ち、これが状態遷移の条件となる。本発明では、各場面において、このような要件に該当するユーザを「所要のユーザ」という語で表し、また、該要件の満足により状態遷移すべき関係にある所定の対話制御部を「所要の対話制御部」という語で表している。また、図示しないが、どのユーザ(又は対話制御部11)が所要のユーザ(又は対話制御部11)に該当するかについては、予め各タイプの作業項目に応じて同期制御部12及び又は各ユーザ対応の対話モデル内で管理されている。   The transition condition is that all the synchronization flags are set, but the present invention is not limited to this. Actually, only a work completion notification from a required user is required according to various types of work items (work type, number of persons, operation / confirmation role assignment, etc.). That is, this is a condition for state transition. In the present invention, in each scene, a user who satisfies such a requirement is represented by the word “required user”, and a predetermined dialog control unit that is to be changed in state upon satisfaction of the requirement is designated as “required user”. It is expressed by the word “dialogue control unit”. Further, although not shown in the drawing, which user (or dialogue control unit 11) corresponds to the required user (or dialogue control unit 11) is determined in advance according to each type of work item and the synchronization control unit 12 and / or each user. It is managed within the corresponding interaction model.

図2は実施の形態による対話型協調作業支援処理のシーケンス図で、ユーザA、Bによる協調作業の一部を示している。まず、ユーザAの接続により対話制御オブジェクト11Aが生成される。その後、ユーザAがシステムからの要求に応じて個人情報(ユーザ名、ID情報等)の入力を行うと、データベース20に格納されたタスクデータと、ユーザAの個人情報とに基づき、ユーザAの役割に応じた対話モデルAが生成され、これに伴いユーザAから最初の対話シナリオA1を要求される状態となる。これを受けた対話モデル11Aは、同期制御オブジェクト12にユーザA(即ち、対話モデルA)の状態登録を行うと共に、同期制御オブジェクト12による同期待ちの(この例では、ユーザBの接続を待つ)状態となる。   FIG. 2 is a sequence diagram of the interactive cooperative work support process according to the embodiment, and shows a part of the cooperative work by the users A and B. First, the dialog control object 11A is generated by the connection of the user A. Thereafter, when user A inputs personal information (user name, ID information, etc.) in response to a request from the system, based on the task data stored in database 20 and user A's personal information, user A's A dialogue model A corresponding to the role is generated, and accordingly, the user A is in a state where the first dialogue scenario A1 is requested. Upon receiving this, the dialogue model 11A registers the state of the user A (that is, the dialogue model A) in the synchronization control object 12, and waits for synchronization by the synchronization control object 12 (in this example, waits for the connection of the user B). It becomes a state.

次に、ユーザBの接続により対話制御オブジェクト11Bが生成される。その後、上記同様にして生成された対話モデルBが同期制御オブジェクト12にユーザB(即ち、対話モデルB)の状態登録を行うと、これにより同期制御オブジェクト12内では上記待ち状態の同期が得られた状態となる。このように、同期制御オブジェクト12では、常に、対話モデルA,Bの状態が管理されており、各対話モデルA,Bからの同期の問い合わせに対しては、待つ必要があるか否かを判定し、かつ該問い合わせに応答可能となっている。図2は、ユーザAが先に対話を完了しているが、ユーザBの対話が完了するまでは、次の対話シナリオには進めない様子を示している。   Next, the dialog control object 11B is generated by the connection of the user B. Thereafter, when the dialog model B generated in the same manner as described above registers the state of the user B (that is, the dialog model B) in the synchronization control object 12, the synchronization in the waiting state is obtained in the synchronization control object 12. It becomes a state. As described above, the synchronization control object 12 always manages the states of the dialogue models A and B, and determines whether or not it is necessary to wait for the synchronization inquiry from each dialogue model A and B. And can respond to the inquiry. FIG. 2 shows that user A completes the dialog first, but cannot proceed to the next dialog scenario until user B completes the dialog.

対話モデルAでは、上記同期の状態が得られたことにより、自己が管理する現在の状態と、ユーザが入力したパラメータ情報とに基づき、次に遷移すべき状態を決定する。具体
的には、データベース20にアクセスして、次に出力すべきシステム側の発話シナリオを選択し、かつそれに関連付けられた状態、及びユーザAから収集すべき情報を決定する。更に、これらの発話、状態及び収集すべき情報を、VoiceXMLドキュメントのテンプレート(JSP)に埋め込み、HTTPリクエストに対する結果としてVoiceXMLインタブリ夕31Aに返送する。
In the dialog model A, when the synchronization state is obtained, the state to be changed next is determined based on the current state managed by the user and the parameter information input by the user. Specifically, the database 20 is accessed, the system-side utterance scenario to be output next is selected, the state associated therewith, and the information to be collected from the user A are determined. Further, these utterances, states, and information to be collected are embedded in a template (JSP) of the VoiceXML document, and are returned to the VoiceXML interpreter 31A as a result of the HTTP request.

ユーザAは、システムからの対話シナリオA1(タスク等)を受けたことにより、作業A1を実行すると共に、その結果を音声にて応答する。この応答には、作業の完了のみならず、作業の状況に応じて、作業の中断又は作業を前の作業に戻す旨の指示等が行われる場合がある。そして、これらの応答は、対話モデルAに対する次の対話シナリオA2の要求となり、これを受けた対話モデルAでは、自己が管理する現在の状態と、ユーザが入力した応答情報とに基づき、次に遷移すべき状態を決定する。こうして、全てのタスクが終了するまで、同様の処理を繰り返す、ユーザBについても同様である。   The user A receives the dialogue scenario A1 (task or the like) from the system, and executes the operation A1 and responds with the result by voice. In this response, not only the completion of the work but also an instruction to interrupt the work or return the work to the previous work may be performed depending on the situation of the work. These responses become requests for the next dialogue scenario A2 for the dialogue model A. In the dialogue model A that receives this response, the next state is managed based on the current state managed by the user and the response information input by the user. Determine the state to transition to. The same applies to user B who repeats the same processing until all tasks are completed.

図3は実施の形態による同期制御処理の流れを説明する図で、図3(A)は同期制御オブジェクト12で管理する作業完了の同期フラグを示している。同期制御オブジェクト12では各ユーザA〜Dの対応に設けられた作業完了の同期フラグを作業項目毎に管理している。一方、各対話制御オブジェクト11A〜11Dは、各作業項目におけるユーザからの作業の完了(又は、作業中断、前の作業に戻る旨の)の入力を同期制御オブジェクト12に通知する。同期制御オブジェクト12では、対話制御オブジェクト11A〜11Dから作業完了の通知が行われると、対応する作業完了の同期フラグをセットするが、その他の指示入力(作業中断の指示、作業を前の作業に戻す旨の指示等)では対応する同期フラグをセットしない。従って、全ての作業が完了した時点でのみ作業完了の同期状態となる。   FIG. 3 is a diagram for explaining the flow of the synchronization control process according to the embodiment. FIG. 3A shows a work completion synchronization flag managed by the synchronization control object 12. The synchronization control object 12 manages a work completion synchronization flag provided for each user A to D for each work item. On the other hand, each of the dialog control objects 11A to 11D notifies the synchronization control object 12 of the input of the completion of the work from the user in each work item (or the work suspension or return to the previous work). The synchronization control object 12 sets a corresponding work completion synchronization flag when notification of work completion is given from the dialog control objects 11A to 11D. However, other instruction inputs (work suspension instruction, work to previous work) are set. The corresponding synchronization flag is not set in the case of an instruction to return. Therefore, the work completion synchronization state is achieved only when all work is completed.

図3(A)は、ユーザA〜Dが作業項目nを行っているときの作業完了の同期フラグの状態を示しており、ユーザA, C, Dからの作業完了は既に通知されているが、ユーザBからの作業完了の音声入力を待っている状態である。好ましくは、このとき、ユーザA,C,Dには待機状態にある旨の音声メッセージ(ex「しばらくお待ちください。」)が通知される。そして、全てのユーザA〜Dの作業完了が通知された時点で、各対話制御オブジェクト11A〜11Dにおける次に遷移すべき状態の決定が付勢される。   FIG. 3A shows the state of the work completion synchronization flag when the users A to D are performing the work item n, and the work completion from the users A, C, and D has already been notified. In this state, the user B is waiting for a voice input for completing the work. Preferably, at this time, the users A, C, and D are notified of a voice message (ex “Please wait for a while”) indicating that they are in a standby state. Then, when the completion of the work of all the users A to D is notified, determination of the state to be transitioned next in each of the dialog control objects 11A to 11D is activated.

なお、図示しないが、上記作業完了の同期フラグと同様にして、他にも、作業中断の指示フラグ、作業を前に戻す旨の指示フラグが各対話制御オブジェクト11A〜11Dの対応に設けられている。作業中断の指示フラグについては、何れかが最初にセットされた時点でユーザ全体の作業中断の同期判定が有効になるが、該フラグは当該中断指示を出したユーザよってリセットされ、これによりユーザ全体の作業中断の同期判定は無効に解除される。   Although not shown in the drawing, in the same manner as the work completion synchronization flag, a work interruption instruction flag and an instruction flag for returning the work to the front are provided in correspondence to each of the dialog control objects 11A to 11D. Yes. As for the work interruption instruction flag, the synchronization determination of the work interruption of the entire user becomes valid at the time when any of the flags is first set, but the flag is reset by the user who issued the interruption instruction, thereby The synchronous determination of the interruption of work is canceled invalid.

但し、上記最初の中断指示フラグがリセットされる前に、もし、他のユーザによる作業中断の指示フラグがセットされていた場合は、上記最初の中断指示フラグがリセットされた後でも、ユーザ全体の作業中断の同期判定は有効のままである。従って、一度に複数ユーザによる作業中断の指示が受け付けられ、適正に処理される。作業を前に戻す旨の指示についても上記同様に複数ユーザ分を受け付けるが、何れか最初のユーザの指示によりユーザ全体の作業が前に戻された時点で、全ての前に戻す旨の指示フラグが一旦リセットされる。   However, if the work interruption instruction flag by another user has been set before the first interruption instruction flag is reset, the entire user's operation will be stopped even after the first interruption instruction flag is reset. The work interruption synchronization judgment remains valid. Accordingly, work interruption instructions from a plurality of users are accepted at a time and are processed appropriately. As for the instruction to return the work to the front, a plurality of users are accepted in the same manner as described above, but when the work of the entire user is returned to the front by any one of the user's instructions, an instruction flag to return all the work Is reset once.

図3(B)は対話制御オブジェクト11で実行する同期制御処理の一部フローを示している。作業項目nの実行開始によりこの処理に入力する。ステップS11では同期制御オブジェクト12の作業完了の同期フラグを検査する。ステップS12では全て完了の状態
か否かを判別し、全て完了の場合はステップS13で自己の実行すべき作業項目を(n+1)に更新し、この処理を抜ける。
FIG. 3B shows a partial flow of the synchronous control process executed by the dialog control object 11. The processing item n is input to this process when the execution starts. In step S11, the synchronization flag of work completion of the synchronization control object 12 is checked. In step S12, it is determined whether or not all are completed. If all are completed, the work item to be executed is updated to (n + 1) in step S13, and this process is exited.

また、上記ステップS12の判別で全て完了でない場合は、ステップS14でその原因が何れかのユーザの中断指示によるものか否かを判別する。ユーザの中断指示による場合は、更にステップS18で本人(当該対話制御オブジェクト11が接続するユーザ)による中断指示か否かを判別し、本人による場合はステップS19で当該ユーザに対して中断指示解除待ちの旨(ex「作業を中断しました。作業を再開するには、再開、とおっしゃってください。」)の通知を行う。また、本人でない場合はステップS20で自己が接続するユーザに、作業が他人により中断されている旨(ex「鈴木の操作により、作業を中断しました。作業が再開されるまでしばらくお待ちください。」)を通知する。このように、何れかのユーザが作業中断を指示した場合は、既に作業完了しているユーザが存在していたとしても、全てのユーザの作業が中断される。   If all the determinations in step S12 are not complete, it is determined in step S14 whether or not the cause is due to any user interruption instruction. In the case of a user interruption instruction, it is further determined in step S18 whether or not the user (the user to whom the dialogue control object 11 is connected) is an interruption instruction. (Ex "Work has been interrupted. Please say resume to resume work"). If the user is not the person himself / herself, in step S20, the user connected to the user is informed that the operation has been interrupted by another person (ex “The operation has been interrupted by the operation of Suzuki. Please wait for a while until the operation is resumed.” ). As described above, when any user instructs to suspend work, even if there is a user who has already completed the work, the work of all the users is suspended.

そして、ステップS21では中断の再開(全ての中断指示フラグが解除)か否かを判別し、再開でない場合はステップS18に戻る。また、中断再開の場合は、作業再開の旨(ex「中断していた作業を再開します。」の通知を行って後、ステップS11に戻り、引き続き作業項目nの作業完了を待つ。なお、中断した作業が再開された時は、既に作業を完了しているユーザが存在していたとしても、全てのユーザの作業が当該作業項目nの最初からやり直される。   In step S21, it is determined whether or not the interruption is resumed (all interruption instruction flags are released). If not, the process returns to step S18. In the case of resuming the interruption, after notifying that the work has been resumed (ex “resuming the suspended work is resumed”), the process returns to step S11 to continue waiting for the work item n to be completed. When the interrupted work is resumed, even if there is a user who has already completed the work, the work of all the users is started again from the beginning of the work item n.

また、上記ステップS14の判別で作業の中断でない場合は、更にステップS15で何れかのユーザによる現在の作業を前の作業に戻す旨の指示(バック指示)か有効か否かを判別する。バック指示が無効の場合は、作業項目nの作業が引き続き進行中であるので、処理はステップS11に戻る。また、バック指示が有効の場合は、ステップS16で自己が接続するユーザに作業を一つ前に戻す旨(ex「鈴木の操作により、前の作業に戻ります。」)の通知を行い、ステップS17では自己の作業項目を(n−1)に更新し、この処理を抜ける。何れかのユーザが前の作業に戻る旨を指示した場合は、作業完了しているユーザが存在していても、全てのユーザが前の作業に戻ることになる。   If it is determined in step S14 that the operation is not interrupted, it is further determined in step S15 whether an instruction (back instruction) for returning the current operation by any user to the previous operation is valid. If the back instruction is invalid, the work for work item n is still in progress, and the process returns to step S11. If the back instruction is valid, a notification is sent to the user to which he / she is connected in step S16 that the work is to be returned to the previous one (ex: “The operation will be returned to the previous work by Suzuki”). In S17, the own work item is updated to (n-1), and this process is exited. If any user instructs to return to the previous work, all users will return to the previous work even if there are users who have completed the work.

なお、図示しないが、全ての作業項目を完了する前に、何れかのユーザと対話サーバ30との間の呼の接続が回線障害等により切断された場合には、一種の中断状態となるが、当該ユーザ本人による中断指示とは異なる為、何らかの手段が必要となる。この場合は、例えば電話ボードI/F34にて、ある回線の障害を検出したことにより、当該回線の接続ユーザに代わって、該接続ユーザに対応するVoiceXMLインタプリタ31より対応する対話制御オブジェクト11に回線障害による中断の指示を行い、これにより他の全てのユーザの作業を自動的に中断させることが可能である。やがて、電話ボードI/F34にて、回線障害の復帰を検出した場合は、上記同様のルートで中断解除の指示を行い、これにより全てのユーザの作業を再開可能である。   Although not shown in the drawing, if a call connection between any user and the dialogue server 30 is disconnected due to a line failure or the like before completing all the work items, a kind of interruption occurs. Since it is different from the interruption instruction by the user himself, some means is required. In this case, for example, when a failure of a certain line is detected by the telephone board I / F 34, the voice XML interpreter 31 corresponding to the connected user connects the line to the dialog control object 11 corresponding to the connected user. It is possible to instruct interruption due to a failure and thereby automatically suspend the work of all other users. Eventually, when the telephone board I / F 34 detects the return of the line failure, an instruction for canceling the suspension is given through the same route as described above, whereby all users' work can be resumed.

図4は実施の形態による対話例を示す図で、ユーザA,Bが水道保守の協調作業を行う場合を時系列に示している。まず、ユーザAがシステムに登録すると共に、この例では協調作業に必要なもう一人のユーザBの接続待ちとなる。やがて、ユーザBがシステムに登録すると、待ち合わせの同期が得られ、これによりユーザA,Bに作業の内容、場所に関する情報が通知されると共に、所定の協調作業が開始される。   FIG. 4 is a diagram showing an example of dialogue according to the embodiment, and shows a case in which the users A and B perform cooperative work for water supply maintenance in time series. First, the user A registers with the system, and in this example, the connection waits for another user B necessary for cooperative work. Eventually, when the user B registers in the system, the synchronization of the waiting is obtained, thereby notifying the users A and B of the contents and location of the work, and starting a predetermined cooperative work.

図5は実施の形態によるVoiceXMLデータベース20の記憶内容を説明する図で、バス車両のフットブレーキ検査作業に適用した場合を具体的に示している。VoiceXMLデータベース20は、対話制御オブジェクトの状態(state)、該状態におけるシステム側の発話(prompt)、及び該状態においてユーザから収集すべき情報(Answer)を状態毎に
保持している。これにより、ある状態は、その状態でユーザから収集すべき情報と、そのために出力するプロンプトとに関連付けられている。
FIG. 5 is a diagram for explaining the stored contents of the VoiceXML database 20 according to the embodiment, and specifically shows a case where the content is applied to a foot brake inspection work of a bus vehicle. The VoiceXML database 20 holds the state of the dialog control object, the system-side utterance (prompt) in the state, and information (Answer) to be collected from the user in the state for each state. Thus, a certain state is associated with information to be collected from the user in that state and a prompt to be output for that purpose.

例えば、ステート「Login」のプロンプトは「バス車両検査システムです。」であり、要求するアンサーはない。また、ステート「AskSagyoType」のプロンプトは「個人作業を行いますか、グループ作業を行いますか」であり、要求するアンサーは「個人作業又はグループ作業」である。他ステートについても同様に理解できる。   For example, the prompt for state "Login" is "Bus vehicle inspection system" and there is no answer to request. The prompt of the state “AskSagyoType” is “Do you do personal work or do you work together?” And the requested answer is “Personal work or group work”. Other states can be understood similarly.

なお、図示しないが、各状態でVoiceXMLを生成するためのJSP(テンプレート)には以下のタイプ、
「Annouce」情報提示
「Ask」質問
「Disconnect」対話を終了
「Waiting」待機状態にあることを通知
「Backward」前の作業に戻ることを通知
「Suspended」中断されたことを通知
「AskForResume」再開の指示を要求
「Resumed」再開されたことを通知
「Reconnect」未完了作業があることを通知
「Error」エラー通知
がある。
Although not shown, the JSP (template) for generating VoiceXML in each state has the following types:
“Annouce” information presentation “Ask” question “Disconnect” dialog is terminated Notification of “Waiting” waiting
Notification of returning to the previous work
“Suspended” Notification of suspension
Request for "AskForResume" resume
"Resumed" Notification of resuming
"Reconnect" Notify that there is incomplete work
There is an “Error” error notification.

図6,図7は実施の形態による状態(state)遷移パターンを説明する図(1),(2)であり、各ブロック(状態)のシステム動作については図8の説明を参照されたい。図6は各ユーザがそれぞれに作業完了の応答を入力する場合(作業パターン1)を示している。各ユーザA〜Dは、システムからの作業の指示に対して、問題がなければ作業を完了(操作完了,動作確認等)したことをそれぞれに音声入力し、所要数のユーザの完了応答が揃ったところで、次の作業項目に進む。この場合に、各ユーザは、作業中に何らかの問題が見つかった場合は、作業中断の指示を音声入力し、問題解決を行った後、作業再開の指示を音声入力する。また各ユーザは、前の作業を再度行う必要が生じた場合には、前の作業に戻る旨の指示を音声入力できる。また、回線毎の回線障害につても上記同様に扱える。   6 and 7 are diagrams (1) and (2) for explaining a state transition pattern according to the embodiment. Refer to the explanation of FIG. 8 for the system operation of each block (state). FIG. 6 shows a case where each user inputs a work completion response (work pattern 1). Each user A to D voice-inputs that the work has been completed (operation completion, operation check, etc.) if there is no problem in response to the work instruction from the system, and the completion response of the required number of users is prepared. Now, go to the next work item. In this case, if any problem is found during the work, each user inputs a work interruption instruction by voice, and after solving the problem, inputs a work resumption instruction by voice. Each user can input an instruction to return to the previous work by voice when it becomes necessary to perform the previous work again. Also, the line failure for each line can be handled in the same manner as described above.

図7はある代表者(班長)のみが作業完了の応答を入力できる場合(作業パターン2)を示している。班長は所要のユーザが作業を完了したことをオフライン(現場)で確認後、代表して作業完了を音声入力する。班長以外の各ユーザには、好ましくは、班長が音声入力するまで、システムからの作業指示が繰り返しアナウンスされる。前の作業に戻る場合や作業を中断する場合も同様に、班長が代表して指示を音声入力する。   FIG. 7 shows a case (work pattern 2) where only a representative (team leader) can input a work completion response. After confirming that the required user has completed the work offline (on-site), the team leader representatively inputs the completion of the work by voice. Preferably, work instructions from the system are repeatedly announced to each user other than the team leader until the team leader makes a voice input. Similarly, when returning to the previous work or suspending the work, the team leader represents the voice by voice on behalf of the team.

なお、Webサーバ10は、各ユーザの登録時におけるユーザのスキル・経験に関する個人情報(作業の主任資格保持等)を考慮することで、対話モデル11の生成時に、当該ユーザの対話モデルに対して上記班長のような管理権限を自動的に付与することが可能である。   Note that the Web server 10 considers personal information (such as holding the chief qualification of the work) of the user's skill and experience at the time of registration of each user, so that when the interaction model 11 is generated, the Web server 10 It is possible to automatically grant management authority like the team leader.

図8は上記図6,図7の各状態におけるシステム動作を説明する図である。図6の各ユーザA,C,DはユーザBの操作(Sousa)2に対して、確認(Kakunin)2のユーザ入力を行う必要があるが、図7の各ユーザA,C,DはユーザBの操作(Soisa)2に対して、ユーザ入力なしのアナウンス確認(AnounceKakunin)2を行う。この場合は、必要なら、不図示の班長が確認(Kakunin)2のユーザ入力を行うことになる。   FIG. 8 is a diagram for explaining the system operation in each state of FIGS. Each of the users A, C, and D in FIG. 6 needs to input the confirmation (Kakunin) 2 for the operation (Sousa) 2 of the user B, but each of the users A, C, and D in FIG. For the operation (Soisa) 2 of B, an announcement confirmation (AnounceKakunin) 2 without user input is performed. In this case, if necessary, the team leader (not shown) performs user input for confirmation (Kakunin) 2.

図9は他の実施の形態による対話型協調作業支援システムの構成を示す図で、システム運用中に発生した様々な(不測等の)イベントに応じて、現在進行中の対話シナリオを自動的に中断させると共に、これに代わる他の対話シナリオを強制挿入可能な場合を示している。図において、11Sは、システム運用中に何らかのイベントが検出されたことにより、対話制御オブジェクト11A〜11Dにおける対話シナリオの進行を一時的に中断させると共に、これまでのタスク処理に割り込んで、所定の対話シナリオを能動的に挿入するシナリオ挿入部、31a〜31dは、対話制御オブジェクト11A〜11Dの各拡張機能として設けられると共に、シナリオ挿入部11Sからの挿入シナリオを受け取り、各作業者A〜Dとの間で対話を実行するシナリオ挿入対応部である。   FIG. 9 is a diagram showing the configuration of an interactive collaborative work support system according to another embodiment. In accordance with various events (such as unforeseen events) that occur during the operation of the system, an interactive scenario that is currently in progress is automatically performed. It shows a case where it is possible to forcibly insert another interactive scenario in place of interruption. In the figure, 11S temporarily interrupts the progress of the dialog scenario in the dialog control objects 11A to 11D when some event is detected during the system operation, and interrupts the task processing so far to perform a predetermined dialog. Scenario insertion units 31a to 31d for actively inserting scenarios are provided as extended functions of the dialog control objects 11A to 11D, receive an insertion scenario from the scenario insertion unit 11S, and communicate with the workers A to D. It is a scenario insertion corresponding part that executes a dialogue between them.

上記何らかのイベントとしては、検査対象についての異常の検出(ユーザによる検査対象の異常報告でも良い)、回線障害の検出、システムに関する障害の検出、等が考えられる。あるユーザが使用中のPSTN回線に何らかの障害が発生したときは、上記の如くその回線対応部から中断の指示を対応する対話制御オブジェクト11に通知しても良いが、回線障害の旨をシナリオ挿入部11Sに通知することで、一旦全ての作業を中断又は停止させると共に、他の正常なPSTN回線を使用し、又は作業員の数を再編成して、途中からの作業を継続し、又は別途新たに作業を再開させることが容易に可能となる。回線障害等は、その場で一時的に対話を中断させても、しばらくは回復しない場合があるので、本発明により他の対話シナリオで対処するのが効率が良い。   Examples of the event include detection of an abnormality regarding the inspection target (may be an abnormality report on the inspection target by the user), detection of a line failure, detection of a failure related to the system, and the like. When a failure occurs on a PSTN line that is being used by a certain user, an interruption instruction may be sent from the line corresponding unit to the corresponding dialog control object 11 as described above. By notifying the section 11S, all work is temporarily suspended or stopped, and another normal PSTN line is used, or the number of workers is reorganized to continue the work from the middle, or separately It becomes possible to newly resume the work. Since a line failure or the like may not be recovered for a while even if the conversation is temporarily interrupted on the spot, it is efficient to deal with another conversation scenario according to the present invention.

なお、各対話制御オブジェクト11A〜11D中にシナリオ挿入対応部31a〜31dをそれぞれ設けたことにより、VoiceXMLドキュメントのプッシュ機能を利用して、何れか1又は2以上のユーザとの間で単発的なシナリオ(対話)を挿入することも容易に行える。例えば、本システムでは、全作業者の完了入力が得られていない間は、各対話制御オブジェクト11によって、システムが待機状態である旨を各作業者に通知するためのVoiceXMLドキュメント(ex「しばらくお待ちください。」を生成するが、各VoiceXMLインタプリタがそれを音声出力すると、再び各インタプリタから各対話制御オブジェクト11に状態遷移有無のHTTPリクエストを送り、これを受けた各対話制御オブジェクト11では、再度全作業者の完了入力が得られたか否かを調べることになる。このため、ある時点の条件満足により次の状態に遷移させることが可能となる実際のタイミングは、待ち状態の作業者に対する音声プロンプト「しばらくお待ちください。」の送出後となってしまうが、本シナリオ挿入機能を利用すれば、音声プロンプト「しばらくお待ちください。」の再生中であってもその再生を中断させ、直ちに次の状態に遷移させることが容易に可能となる。   It should be noted that by providing the scenario insertion corresponding units 31a to 31d in each of the dialog control objects 11A to 11D, the voice XML document push function is used, so that one or two or more users can be used only once. You can easily insert scenarios (dialogues). For example, in this system, when the completion input of all workers is not obtained, each XML object is notified by the dialog control object 11 to notify each worker that the system is in a standby state (ex “wait for a while”. If each VoiceXML interpreter outputs it as a voice, an HTTP request indicating whether there is a state transition is sent from each interpreter to each dialog control object 11 again. Therefore, the actual timing at which the transition to the next state can be made when the condition at a certain point is satisfied is the voice prompt for the waiting worker. After waiting for a while, please use this scenario insertion function. For example, even when the voice prompt “Please wait for a while” is being reproduced, the reproduction can be easily interrupted and immediately shifted to the next state.

あるいは、何れかのユーザにより「作業中断」、「作業を前に戻す」旨の操作が行われた場合は、他の作業者は元の作業シナリオを実行しており、作業結果を音声入力しても実質的に無効となってしまうが、本シナリオ挿入機能を利用すれば、全作業者に「作業中断」、「作業を前に戻す」旨の操作が行われたことを迅速に伝えることが可能となる。   Alternatively, when an operation such as “work interruption” or “return work” is performed by any user, the other worker is executing the original work scenario, and the work result is input by voice. However, if this scenario insertion function is used, all workers can be quickly notified that operations such as “work suspension” and “return work” have been performed. Is possible.

また、60は保守者等がシステムの運用状況を監視する保守端末であり、該保守端末60からシナリオ挿入部11Sを介して保守者が各ユーザに所望の対話シナリオを挿入しても良い。こうすれば、不測(予想外)のイベント発生に対しても柔軟に対処できる。   Reference numeral 60 denotes a maintenance terminal for a maintenance person or the like to monitor the operation status of the system, and the maintenance person may insert a desired dialogue scenario from the maintenance terminal 60 to each user via the scenario insertion unit 11S. In this way, it is possible to flexibly cope with unexpected (unexpected) event occurrence.

図10は他の実施の形態による対話例を示すで、作業中に異常が発見された場合に、該異常を検出したユーザの対話モデルに速やかに割り込んで異常の詳細な報告を取得する場合を時系列に示している。ここではユーザA,Bがバルブの操作と、配管の水漏れチェックとを分担して行う。ユーザAがバルブをオープンし、ユーザBが水漏れ異常を発見すると、その通知によりユーザAがバルブを閉栓する。その後は、シナリオ挿入部11Sが新たな対話シナリオを挿入することで、該シナリオ挿入部11Sからの要求に従い、ユーザ
Bが詳しい検査状況を報告している。 本実施の形態によれば、緊急イベントが起きた場合や、通常にはない対話処理の必要が生じた場合には、他のユーザがどんな対話状態にあっても、速やかにその処理に割り込むことが可能となる。
FIG. 10 shows an example of dialogue according to another embodiment. In the case where an abnormality is discovered during work, a case in which a detailed report of the abnormality is obtained by quickly interrupting the dialogue model of the user who has detected the abnormality is shown. Shown in time series. Here, the users A and B share the operation of the valve and the water leak check of the pipe. When the user A opens the valve and the user B finds a water leak abnormality, the user A closes the valve by the notification. After that, the scenario insertion unit 11S inserts a new dialogue scenario, so that the user B reports the detailed examination status according to the request from the scenario insertion unit 11S. According to the present embodiment, when an emergency event occurs, or when an unusual dialogue process is necessary, any other user in any dialogue state can immediately interrupt the process. Is possible.

なお、上記各実施の形態ではユーザが携帯電話50を使用したが、これに限らない。他にもPHS,IP電話、又はアナログ固定電話を使用しても本システムを構成できる。また、合成音声に替えて、予め録音した音声を使用してもよい。   In each of the above embodiments, the user uses the mobile phone 50. However, the present invention is not limited to this. In addition, this system can also be configured using a PHS, IP phone, or analog landline phone. In addition, a pre-recorded voice may be used instead of the synthesized voice.

また、上記本発明に好適なる複数の実施の形態を述べたが、本発明思想を逸脱しない範囲内で各部の構成、制御、処理及びこれらの組合せの様々な変更が行えることは言うまでも無い。   Moreover, although several embodiment suitable for the said invention was described, it cannot be overemphasized that the structure of each part, control, a process, and these combination can be variously changed within the range which does not deviate from this invention. .

実施の形態による対話型協調作業支援システムの構成を示す図である。It is a figure which shows the structure of the interactive collaborative work assistance system by embodiment. 実施の形態による対話型協調作業支援処理のシーケンス図である。It is a sequence diagram of interactive cooperative work support processing according to an embodiment. 実施の形態による同期制御処理の流れを説明する図である。It is a figure explaining the flow of the synchronous control processing by embodiment. 実施の形態による対話例を説明する図である。It is a figure explaining the example of a dialogue by an embodiment. 実施の形態によるVoiceXMLデータベースの記憶内容を説明する図である。It is a figure explaining the memory content of the VoiceXML database by embodiment. 実施の形態による状態遷移パターンを説明する図(1)である。It is a figure (1) explaining the state transition pattern by embodiment. 実施の形態による状態遷移パターンを説明する図(2)である。It is a figure (2) explaining the state transition pattern by embodiment. 各STATEにおけるシステムの動作を説明する図である。It is a figure explaining operation | movement of the system in each STATE. 他の実施の形態による対話型協調作業支援システムの構成を示す図である。It is a figure which shows the structure of the interactive collaborative work assistance system by other embodiment. 他の実施の形態による対話例を説明する図である。It is a figure explaining the example of a dialogue by other embodiments.

符号の説明Explanation of symbols

10 Webサーバ(タスク処理部)
11 対話制御オブジェクト
12 同期制御オブジェクト
13 サーブレット
14 JSP
15 データベース(DB)連携モジュール
20 VoiceXMLデータベース
30 対話サーバ(対話実行部)
31 VoiceXMLインタプリタ
32 音声認識部(ASR)
33 音声合成部(TTS)
34 電話ボードインタフェース(I/F)
50 電話端末
60 保守端末
100 IP網
200 公衆交換電話網(PSTN)

10 Web server (task processing unit)
11 Dialog control object 12 Synchronization control object 13 Servlet 14 JSP
15 Database (DB) linkage module 20 VoiceXML database 30 Dialog server (dialog execution unit)
31 VoiceXML interpreter 32 Voice recognition unit (ASR)
33 Speech synthesis unit (TTS)
34 Telephone board interface (I / F)
50 Telephone terminal 60 Maintenance terminal 100 IP network 200 Public switched telephone network (PSTN)

Claims (8)

複数ユーザによる協調作業を支援する対話型協調作業支援システムであって、
各ユーザとの間で音声による対話情報の入出力を行う対話実行部と、
ユーザ毎の役割に応じた対話モデルを管理すると共に、接続ユーザからの対話情報入力に基づき自己の対話モデルの状態遷移を制御し、該接続ユーザに出力するための新たな対話シナリオを生成する複数の対話制御部と、
前記複数ユーザからの対話情報入力に基づき、所要の対話制御部が同期して状態遷移するための共通の条件を管理する同期制御部とを備えることを特徴とする対話型協調作業支援システム。
An interactive collaborative work support system that supports collaborative work by multiple users,
A dialogue execution unit for inputting / outputting dialogue information with each user by voice;
A plurality of dialog models that manage a dialog model according to each user's role, control the state transition of the user's own dialog model based on dialog information input from the connected user, and generate a new dialog scenario for output to the connected user The dialogue control part of
An interactive collaborative work support system comprising: a synchronous control unit that manages a common condition for a required dialog control unit to make a state transition in synchronization based on dialogue information input from the plurality of users.
同期制御部は、所要のユーザからの作業完了の旨の対話情報入力に基づき、所要の対話制御部を次の状態に遷移させることを特徴とする請求項1記載の対話型協調作業支援システム。 2. The interactive collaborative work support system according to claim 1, wherein the synchronization control unit causes the required dialog control unit to transition to the next state based on dialog information input to the effect that the required user has completed the work. 同期制御部は、何れかのユーザによる作業中断の旨の対話情報入力に基づき、所要の対話制御部を中断状態に遷移させることを特徴とする請求項1記載の対話型協調作業支援システム。 2. The interactive cooperative work support system according to claim 1, wherein the synchronization control unit shifts a required dialogue control unit to a suspended state based on a dialogue information input indicating work suspension by any user. 同期制御部は、何れかのユーザと対話実行部との間の呼に障害が検出されたことにより、所要の対話制御部を呼障害による中断状態に遷移させることを特徴とする請求項1記載の対話型協調作業支援システム。 2. The synchronization control unit according to claim 1, wherein when a failure is detected in a call between any one of the users and the dialogue execution unit, the required dialogue control unit is shifted to a suspended state due to a call failure. Interactive collaborative work support system. 同期制御部は、何れかのユーザによる作業を前に戻す旨の対話情報入力に基づき、所要の対話制御部における現在の状態を前の状態に遷移させることを特徴とする請求項1記載の対話型協調作業支援システム。 2. The dialogue according to claim 1, wherein the synchronization control unit shifts the current state in the required dialogue control unit to the previous state based on the dialogue information input for returning the work by any user to the previous state. Type collaborative work support system. 対話制御部は、同期制御部における前記共通の条件が満足されたことにより、自己が管理する現在の状態と、ユーザが入力した対話情報とに基づき、自己が次に出力すべき発話と、ユーザから収集すべき情報とを決定することを特徴とする請求項1乃至5の何れか一つに記載の対話型協調作業支援システム。 The dialogue control unit, when the common condition in the synchronization control unit is satisfied, based on the current state managed by the user and the dialogue information input by the user, The interactive collaborative work support system according to claim 1, wherein information to be collected is determined. 所定イベントの発生に対応するための対話モデルを管理すると共に、複数の対話制御部における対話処理を中断させ、別の対話シナリオを挿入して複数ユーザとの対話を実行するシナリオ挿入部を備えることを特徴とする請求項1乃至6の何れか一つに記載の対話型協調作業支援システム。 Provided with a scenario insertion unit that manages a dialogue model for responding to occurrence of a predetermined event, interrupts dialogue processing in a plurality of dialogue control units, and inserts another dialogue scenario to execute dialogue with a plurality of users. The interactive collaborative work support system according to any one of claims 1 to 6. 対話制御部は、接続ユーザのスキルを反映する個人情報に基づき該スキルに対応する対話モデルを管理することを特徴とする請求項1記載の対話型協調作業支援システム。 2. The interactive collaborative work support system according to claim 1, wherein the dialog control unit manages a dialog model corresponding to the skill based on personal information reflecting the skill of the connected user.
JP2005058819A 2005-03-03 2005-03-03 Interactive cooperative work support system Pending JP2006244126A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005058819A JP2006244126A (en) 2005-03-03 2005-03-03 Interactive cooperative work support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005058819A JP2006244126A (en) 2005-03-03 2005-03-03 Interactive cooperative work support system

Publications (1)

Publication Number Publication Date
JP2006244126A true JP2006244126A (en) 2006-09-14

Family

ID=37050480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005058819A Pending JP2006244126A (en) 2005-03-03 2005-03-03 Interactive cooperative work support system

Country Status (1)

Country Link
JP (1) JP2006244126A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156613A (en) * 2017-03-21 2018-10-04 富士通株式会社 Work navigation program, work navigation method, and work navigation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154177A (en) * 1996-09-27 1998-06-09 Hitachi Ltd Cooperative job support system
JPH10173774A (en) * 1996-12-06 1998-06-26 Hitachi Ltd Communication network maintenance supporting device, central managing device for maintenance work, maintenance managing method for communication network and communication network maintenance supporting system
JPH11327587A (en) * 1998-05-15 1999-11-26 Omron Corp Device and system for supporting work
JP2004046730A (en) * 2002-07-15 2004-02-12 Kawasaki Heavy Ind Ltd Work instruction method and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154177A (en) * 1996-09-27 1998-06-09 Hitachi Ltd Cooperative job support system
JPH10173774A (en) * 1996-12-06 1998-06-26 Hitachi Ltd Communication network maintenance supporting device, central managing device for maintenance work, maintenance managing method for communication network and communication network maintenance supporting system
JPH11327587A (en) * 1998-05-15 1999-11-26 Omron Corp Device and system for supporting work
JP2004046730A (en) * 2002-07-15 2004-02-12 Kawasaki Heavy Ind Ltd Work instruction method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石川 晃 外3名: "対話部品を用いた電話・WWWブラウザ端末共通ヒューマンインタラクション開発環境", 情報処理学会研究報告 96−HI−69, vol. 96, no. 109, JPN6009066007, 15 November 1996 (1996-11-15), pages 17 - 24, ISSN: 0001496749 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156613A (en) * 2017-03-21 2018-10-04 富士通株式会社 Work navigation program, work navigation method, and work navigation system

Similar Documents

Publication Publication Date Title
JP6789320B2 (en) Providing a state machine personal assistant module that can be traced selectively
JP6827479B2 (en) Non-deterministic task initiation with personal assistant module
US8000969B2 (en) Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
JP5179375B2 (en) Method and server for processing voice applications in a client-server computing system
US6757362B1 (en) Personal virtual assistant
JP2020024723A (en) Providing communications channel between instances of automated assistants
KR102043365B1 (en) Local maintenance of data for voice actions that can be selectively performed offline on a speech recognition electronic device
KR20190097267A (en) Create and send call requests to use third party agents
US9055165B2 (en) Communication system for establishing a telephone call or a data communication
RU2008127911A (en) PROGRAMMABLE MULTIMEDIA CONTROLLER WITH PROGRAMMABLE FUNCTIONS
JP7297797B2 (en) Method and apparatus for managing holds
CN110998526B (en) User-configured and custom interactive dialog applications
KR20220028128A (en) Speaker Recognition Using Speaker Dependent Speech Model(s)
KR20220143683A (en) Electronic Personal Assistant Coordination
WO2019176670A1 (en) Information processing device, information processing method, and program
JP6689953B2 (en) Interpreter service system, interpreter service method, and interpreter service program
JP3920175B2 (en) Call activation system
WO2022119942A1 (en) Systems and methods of integrating legacy chatbots with telephone networks
JP2006244126A (en) Interactive cooperative work support system
JP7068077B2 (en) Voice dialogue system, voice dialogue device and voice dialogue method
JP2023501059A (en) Semi-delegated calls with automated assistants on behalf of human participants
JP6985439B2 (en) Providing communication channels between instances of automated assistants
JP2021051591A (en) Information output control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100511