JP2007334553A - 情報端末装置、情報処理装置、作業記録データ変換装置、作業記録保管用サーバ装置、閲覧装置、作業記録編集装置、活動支援システム、情報端末プログラム、情報処理プログラム、作業記録データ変換プログラム、作業記録保管用サーバプログラム、閲覧プログラム、編集プログラム、情報端末プログラム、情報処理プログラム、作業記録データ変換プログラム、作業記録保管用サーバプログラムまたは編集プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】作業の報告、支援者からの指示、マルチメディア情報の送受信の時刻を記録し、音声通信の一部をテキスト抽出し、これらのデータを統合的に扱うことにより、検索性にすぐれた作業記録を簡便に作成する活動支援システムを提供することである。
【解決手段】一連の作業が終了すると、端末操作や画像の送受信の記録並びに、入力あるいは送受信されたマルチメディアデータを一括して作業記録を統合するための作業記録作成用情報処理装置２２に転送する。ここで、これらのデータの統合処理が行われ、作業記録文書データが出力される。作業記録文書データと関連するマルチメディアデータは、作業記録保管用サーバ２４に転送され保管される。
【選択図】図３

Description

本発明は、現場での活動を離れた場所からマルチメディア情報を送受信して支援する活動支援システム、情報端末および情報処理装置に関する。

近年、オフィスのＯＡ化、ネットワーク化の進展に伴い、コンピュータ、ディジタル複写機など画像形成装置が急速に普及した。その結果として、これらの機器に対する保守、点検の需要も著しく増大している。
ところで、通常、機器保守などの作業が行われる場面では、作業記録を作成することが一般的である。どんな作業が行われたかの履歴を記録しておくにとどまらず、機器保守の事例として、その際の機器の状態に関する記録をし、並びに、どのような対応をとったかといった情報を記録しておき、その後の活動に活用できるようにしておく必要がある。
特開２００３−２１６４０９ 特開２００３−２１６６９０ 特開２０００−２５９７９５０ 特開平０８−１５３０７７

特許文献１および特許文献２記載の発明は、音声入力を利用して作業記録を作成あるいは参照する技術である。これらは、作業者一人が状況を音声で記録するものであり、また、マルチメディアデータを取り扱える構成とはなっていない。
特許文献３は、マルチメディアデータを含む報告書を作成する装置に関するものであり、テキストデータとマルチメディアデータが関連付けられた報告書を作成しているが、報告書に含まれるテキスト情報は、あらかじめ人手により入力されたものである。
特許文献４は、複数の計算機間でデータをやりとりしながら作業を行う協調作業を記録する際に、検索性良記録する方法の発明に関する。

従来技術においては、マルチメディア情報を一般的な形式で記憶・保管する機能は提供されているが、事後、検索しやすいような形式に変換するなどの処理は提供されていなかった。また、従来技術において、作業者と支援者の会話によるやりとりで発生する音声情報と、機器が発生する音声情報とは、区別して扱われていなかった。
特許文献３のように、あらかじめテキストが入力されていることを前提とせず、現場において発生した作業の記録（撮像・録音）並びにデータの送受信の記録に基づいて、これらデータを発生した順に並べる方がより効率的である。
また、特許文献４と異なり、一連の作業をひとまとまりの報告書（電子文書）の形式にまとめて、連続した作業記録を効率良く再生することが望ましい。
さらに、会話によるやりとりは携帯電話等の外部装置を利用し、機器が発生する音声のサンプルデータ等とは区別して取り扱うことがより、効率的である。特に、音声通信とマルチメディアデータの入力・送受信が発生した時刻に基づいて、作業記録を時系列で表現できることが望ましい。

そこで、本発明の目的は、作業の報告と、支援者からの作業指示、並びにマルチメディア情報の送受信の時刻を記録しておくことと、音声通信の一部をテキスト抽出し、これらのデータを統合的に扱うことにより、検索性にすぐれた作業記録を簡便に作成する手段を提供することである。

請求項１記載の発明では、ネットワークを介して他の情報端末装置と接続された情報端末装置であって、前記ネットワークを介して前記他の情報端末装置との間でデータの送受信を行う通信手段と、前記ネットワークを介してマルチメディア情報を入力する入力手段と、前記ネットワークを介してマルチメディア情報を出力する出力手段と、前記通信手段によるマルチメディアの送受信、前記入力手段によるマルチメディア情報の入力、前記出力手段によるマルチメディア情報出力のいずれかの端末操作の発生を検知する検知手段と、前記検知手段が、前記通信手段によるマルチメディア情報の送受信、前記入力手段によるマルチメディア情報の入力、前記出力手段によるマルチメディア情報出力のいずれかの端末操作の発生を少なくとも１つを検知したとき、当該検知した時刻をマルチメディア情報と関連付ける端末操作処理手段とを備えたことを特徴とする。
請求項２記載の発明では、請求項１記載の発明において、前記検知手段が検知した時刻を端末操作処理手段がマルチメディア情報と関連付けた情報を記録情報として格納する格納手段を備えたことを特徴とする。
請求項３記載の発明では、請求項１または請求項２記載の発明において、電話等の音声通信端末からの音声情報を入力し、前記音声通信端末との通信開始並びに通信終了と同期して音声通信端末から入力された音声情報の格納の開始または停止をする音声通信処理部を備えたことを特徴とする。

請求項４記載の発明では、請求項３記載の発明において、前記音声通信処理部は、音声通信の開始とともに開始時刻を記憶し、音声通信の終了とともに終了時刻を記憶し、音声通信の開始時刻・終了時刻・音声通信記録データへのアクセス情報を、前記格納手段に追記可能であることを特徴とする。
請求項５記載の発明では、情報処理装置が、請求項１から請求項５に記載の情報端末装置からマルチメディア情報を受け取るマルチメディアデータアクセス情報処理部と、請求項１から請求項５に記載の情報端末装置から端末操作記録情報を受け取る端末操作記録データ処理部と、請求項１から請求項５に記載の情報端末装置から音声情報を受け取って当該音声情報に含まれる語句を抽出する音声認識語句抽出処理部と、前記マルチメディアデータアクセス情報処理部が受け取ったマルチメディア情報と、端末操作記録情報と、音声認識語句抽出処理部によって抽出された語句を統合して作業記録データを作成する情報統合処理部を備えたことを特徴とする。
請求項６記載の発明では、請求項５前記情報統合処理部に統合された作業記録データを出力する出力装置を具備することを特徴とする。
請求項７記載の発明では、請求項５または請求項６記載の発明において、前記情報統合処理部が、作業記録データを作成するに際し、当該作業記録データは、作業開始前の状態の記録が１以上と、作業内容が１以上記録されており、前記作業開始前の状態の記録は、作業開始前の状態を説明する音声情報と、この音声情報から抽出された語句と、０または１以上のマルチメディア情報とが記載されており、前記作業内容は、作業指示に相当する音声情報と、作業の結果を説明する音声情報と、これらの音声情報から抽出された語句と、１以上のマルチメディア情報とが記載されていることを特徴する。
請求項８記載の発明では、請求項７記載の発明において、前記情報統合処理部が、作業記録データを作成するに際し、当該作業記録データにおける作業開始前の状態の記録は、音声情報およびマルチメディア情報が、請求項１ないし請求項２に示す情報端末装置で記録あるいは送受信された際の時刻の情報を含むことを特徴とする。

請求項９記載の発明では、請求項７または請求項８記載の発明において、前記情報統合処理部が、作業記録データを作成するに際し、当該作業記録データに含まれる作業内容の記録は、音声情報並びにマルチメディア情報が、請求項１ないし請求項２に示す情報端末装置で記録あるいは送受信された際の時刻の情報を含むことを特徴とする。
請求項１０記載の発明では、作業記録データ変換装置が、請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを読み込む入力手段と、前記入力手段から読み込まれた前記作業記録データを、一般的な計算機環境で提供される閲覧装置で読み込むことが可能な標準的なデータ形式へ変換するデータ変換手段とを備えたことを特徴とする。
請求項１１記載の発明では、作業記録保管用サーバ装置が、請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを受領する受領手段と、前記受領手段で受領した作業記録データを格納する格納手段と、前記格納手段に格納された作業記録データを閲覧装置からの要求に応じて送信する通信手段と、を備えたことを特徴とする。

請求項１２記載の発明では、作業記録保管用サーバ装置が、請求項１０に記載の作業記録データ変換装置によって変換され、標準的なデータ形式で表現される作業記録データを受領する受領手段と、前記受領手段で受領した作業記録データを格納する格納手段と、
前記格納手段に格納された作業記録データを閲覧装置からの要求に応じて送信する通信手段と、を備えたことを特徴とする。
請求項１３記載の発明では、閲覧装置が、請求項５記載の情報処理装置から出力される作業記録データおよび関連付けられたマルチメディア情報を読み込む入力手段と、前記入力手段で読み込んだ前記マルチメディア情報および音声通信情報を再生する再生手段と、請求項７ないし請求項９のいずれか１項に記載の情報処理装置で作成される作業記録データを表示する表示手段と、を備えたことを特徴とする。
請求項１４記載の発明では、作業記録編集装置が、請求項４記載の情報処理装置から作業記録データを読み込む入力手段と、請求項７、請求項８または請求項９に記載の作業記録データに含まれる音声情報から抽出された語句を編集する編集手段と、前記編集手段での編集後の作業記録データを出力する出力手段と、を備えたことを特徴とする。
請求項１５記載の発明では、活動支援システムであって、単数または複数の請求項１または請求項２に記載の情報端末装置と、前記情報端末装置と双方向なネットワークで接続され、前記情報端末装置にて撮像または録音されたマルチメディア情報を受信して再生できる支援者用情報端末装置と、請求項５から請求項９のいずれか１項に記載の情報処理装置と、請求項１１または請求項１２に記載の作業記録保管用サーバ装置と、請求項１３に記載の作業記録閲覧装置と、がネットワークを介して接続されていることを特徴とする。
請求項１６記載の発明では、ネットワークを介して他の情報端末装置と接続された情報端末装置において、前記ネットワークを介して前記他の情報端末装置との間でデータの送受信を行う通信機能と、前記ネットワークを介してマルチメディア情報を入力する入力機能と、前記ネットワークを介してマルチメディア情報を出力する出力機能と、
前記通信機能によるマルチメディアの送受信、前記入力機能によるマルチメディア情報の入力、前記出力機能によるマルチメディア情報出力のいずれかの端末操作の発生を検知する検知機能と、前記検知機能により、前記通信機能によるマルチメディア情報の送受信、前記入力機能によるマルチメディア情報の入力、前記出力機能によるマルチメディア情報出力のいずれかの端末操作の発生を少なくとも１つを検知したとき、当該検知した時刻をマルチメディア情報と関連付ける端末操作処理機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な情報端末プログラムであることを特徴とする。
請求項１７記載の発明では、請求項１から請求項５に記載の情報端末装置からマルチメディア情報を受け取るマルチメディアデータアクセス情報処理機能と、請求項１から請求項５に記載の情報端末装置から端末操作記録情報を受け取る端末操作記録データ処理機能と、請求項１から請求項５に記載の情報端末装置から音声情報を受け取って当該音声情報に含まれる語句を抽出する音声認識語句抽出処理機能と、前記マルチメディアデータアクセス情報処理機能で受け取ったマルチメディア情報と、端末操作記録情報と、音声認識語句抽出処理機能によって抽出された語句を統合して作業記録データを作成する情報統合処理機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な情報処理プログラムであることを特徴とする。

請求項１８記載の発明では、請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを読み込む入力機能と、前記入力機能から読み込まれた前記作業記録データを、一般的な計算機環境で提供される閲覧装置で読み込むことが可能な標準的なデータ形式へ変換するデータ変換機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な作業記録データ変換プログラムであることを特徴とする。
請求項１９記載の発明では、請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを受領する受領機能と、前記受領機能で受領した作業記録データを格納する格納機能と、前記格納機能に格納された作業記録データを閲覧装置からの要求に応じて送信する通信機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な作業記録保管用サーバプログラムであることを特徴とする。
請求項２０記載の発明では、請求項５記載の情報処理装置から出力される作業記録データおよび関連付けられたマルチメディア情報を読み込む入力機能と、前記入力機能で読み込んだ前記マルチメディア情報および音声通信情報を再生する再生機能と、請求項７ないし請求項９のいずれか１項に記載の情報処理装置で作成される作業記録データを表示する表示機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な閲覧プログラムであることを特徴とする。
請求項２１記載の発明では、請求項４記載の情報処理装置から作業記録データを読み込む入力機能と、請求項７、請求項８または請求項９に記載の作業記録データに含まれる音声情報から抽出された語句を編集する編集機能と、前記編集機能での編集後の作業記録データを出力する出力機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な編集プログラムであることを特徴とする。
請求項２２記載の発明では、請求項１６記載の情報端末プログラム、請求項１７記載の情報処理プログラム、請求項１８記載の作業記録データ変換プログラム、請求項１９記載の作業記録保管用サーバプログラムまたは請求項２１記載の編集プログラムを記録した記録媒体であることを特徴とする。

請求項１および請求項１６記載の発明では、端末操作処理手段が操作が発生した時刻をマルチメディア情報と関連付けることができる。
請求項２においては、マルチメディア情報と関連付けて実施した作業を時系列に記録することができる。
請求項３記載の発明では、音声通信処理部が、音声通信端末から音声通信の開始時刻・終了時刻にあわせて音声通信によってやりとりされた情報を記録しているので、作業記録に関連する通話をもらさず記録することができる。

請求項４記載の発明では、音声通信の開始時刻・終了時刻・音声通信記録データへのアクセス情報を、前記格納手段に追記可能としているため、音声通信によってやりとりされた情報とマルチメディア情報との関連付けを表現することができる。
請求項５から請求項９および請求項１７記載の発明では、音声情報から語句を抽出することが可能であり、また情報端末装置の操作記録を入力しているので、抽出した語句を統合の上、一連の作業の作業記録を時系列に並べて出力することを可能にしている。

請求項１０および請求項１８記載の発明では、一般的な閲覧装置で読み込むことが可能な標準的なデータ形式へ変換することができる。
請求項１１および請求項１２および請求項１９記載の発明では、作業記録保管用サーバ装置が格納手段に格納された作業記録データを閲覧装置からの要求に応じて送信する通信手段を備えているので、閲覧装置からの要求に応じて作業記録データを提供することができる。

請求項１３および請求項２０記載の発明では、請求項７ないし請求項９のいずれか１項に記載の情報処理装置で作成される作業記録データを閲覧可能とすることができる。
請求項１４および請求項２１記載の発明では、編集手段が、作業記録データに含まれる音声情報から抽出された語句を編集することができる。
請求項１５記載の発明では、検索性にすぐれた作業記録を簡便に作成し、且つ閲覧することができる活動支援システムを提供することができる。

以下、本発明の好適な実施の形態を図１ないし図１８を参照して、詳細に説明する。
図１は、本実施例に係る支援者側情報端末１０と作業者側情報端末２０の関係を示したシステム構成図である。
作業者側情報端末２０は、インターネットまたは社内ＬＡＮ等のネットワーク３０によって支援者側情報端末１０に接続することができる。作業者側情報端末２０は、この機能により、動画や静止画を支援者側情報端末１０に送信し、支援者側情報端末１０と同期して再生させたり、支援者の指示が加筆された静止画を受信したりしながら作業を行うことができるようになっている。

図２は、作業者側情報端末２０並びに支援者側情報端末１０の画面イメージを示した図であり、図３は、上記で説明した作業者側端末２０と作業記録閲覧装置３００との関係を説明するシステム構成図である。
作業者は、上記とは別の音声通信（携帯電話等）を利用して支援者から指示を受けたり、支援者に質問したりする場合、携帯電話（携帯端末）と作業者側情報端末２０をＵＳＢケーブル等で接続することにより、通話内容を音声情報として作業者側情報端末２０に取り込むこともできる。
この間の端末操作や画像の送受信は、作業者側情報端末２０においてすべて記録される。そして、図３に示すように、一連の作業が終了すると、これら端末操作や画像の送受信の記録並びに、入力あるいは送受信されたマルチメディアデータを一括して作業記録を統合するための作業記録作成用情報処理装置２２に転送する。そして、この作業記録作成用情報処理装置２２において、これらのデータの統合処理が行われ、作業記録文書データが出力される。
作業記録文書データと関連するマルチメディアデータは、作業記録保管用サーバ２４に転送され保管される。作業記録を閲覧する場合は、作業記録閲覧装置３００を用い、ネットワーク３０を介して作業記録保管用サーバ２４にアクセスして、見たい作業記録文書データをダウンロードして閲覧する。

図４は、本実施例に係る作業者側情報端末２０の構成を示したブロック図である。
この作業者側情報端末２０は、外部記憶装置８０、スピーカ８２、表示装置（ディスプレイ）８４、カメラ８６、マイク８８、携帯電話９０と接続されている。また、ネットワーク３０により、遠隔地に存在するセンターに設置されている支援者側情報端末１０に接続することができるようになっている。
この作業者側情報端末２０は、ファイル入出力装置５２、端末操作情報処理装置５４、ＭＭ再生部５６、通信制御装置５８、ＣＰＵ（中央演算処理装置）６０、メモリ６２、キーボード９２、ポインティングデバイス９４、カメラ８６およびマイク８８と接続している入力制御装置６４、音声通信処理部６６およびシステムバス６８を備えている。

一方、センター側の支援者側情報端末１０は、カメラ、マイク、ディスプレイ、スピーカ、外部記憶装置、ネットワークにより構成される。作業者側端末２０と全く同じ構成でも問題ないが、音声通信装置からの入力手段、音声通信処理部、端末操作情報処理装置は省略可能である。
まず、現場の作業者は作業者側情報端末２０と携帯電話等の音声通信装置を使用して、センターに存在する作業支援者と通信する。音声通信装置によって行われた会話の内容は、すべて作業者側情報端末２０に転送され、音声通信処理ユニットの機能により外部記憶装置８０に記録される。
現場の作業者は、すべての作業が完了するまで、カメラ８６による撮像、マイク８８による録音によって現場の状況を記録し、センターに送信する作業を繰り返す。入力されたセンターに存在する作業支援者は、送られてきた映像並びに音声を再生して、現場の状況を把握し、現場で次に何をするべきか現場作業者に、音声通信装置によって指示を与える。現場の作業者は、指示にしたがって作業を行い、その結果状況に変化がある場合には、その状況を記録して再度センターに送信する。

この間、音声通信情報、マルチメディア情報は、それぞれ対応する処理部の機能により、外部記憶装置８０に記録される。それと同時に、情報端末操作の内容とマルチメディア情報並びに音声情報へアクセスするための情報（ファイル名など）が、端末操作情報処理部５４の機能により、外部記憶装置８０に記録される。

以上のデータ処理の手順を図５、図６および図７のフローチャートを参照して説明する。
まず、図５に示すように、前処理として、作業記録用ファイルをオープンする（ステップ１０）。そして、マルチメディアデータを入力受付可能状態にし（ステップ１１）、データの送受信が可能な状態にする（ステップ１２）。その後、端末操作のためのメニューが表示される（ステップ１３）。
次に、端末操作の場合には、メニューが選択され（ステップ１４）、メニューに割り当てられた命令が動作する（ステップ１５）。そして、命令の内容と実行の結果が検知され（ステップ１６）、命令の内容と実行の結果がファイル入出力装置５２を経て、ディスク上のファイルに書き出される（ステップ１７）。
その後、後処理として、作業記録が終了した場合（ステップ１８；Ｙ）、作業記録用ファイルをクローズする（ステップ１９）。一方、作業が終了していない場合(ステップ１８；Ｎ）、ステップ１４に戻り処理を続行する。

図６は、マルチメディアデータ入力の場合を示したフローチャートである。図５のステップ１３に続いて、まず、カメラ８６、マイク８８よりデータが入力されると（ステップ２０）、入力を検知して、データを記憶し、ファイル名入力を画面上で指示する（ステップ２１）。そして、データ入力の記録（時刻等）並びにマルチメディアデータのファイル名、パスがファイル入出力装置５２を経て、ディスク上のファイルに書き出される（ステップ２２）。その後、図５のステップ１８に進む。
図７は、マルチメディアデータ受信の場合を示したフローチャートである。まず、通信制御装置５８を経てデータが受信されると（ステップ３０）、受信を検知して、データが記録されたファイル名を画面上で指示する（ステップ３１）。そして、データ入力の記録（時刻等）並びにマルチメディアデータのファイル名、パスがファイル入出力装置５２を経て、ディスク上のファイルに書き出される（ステップ３２）。その後、図５のステップ１８に進む。
このように、前処理を示す、図５のステップ１０からステップ１３の後に、ステップ１４からステップ１７、ステップ２０からステップ２２（図６）またはステップ３０からステップ３２(図７）が択一的に処理され、図５のステップ１８に進む。なお、ステップ１８において、（Ｎ）の場合、ステップ２０またはステップ３０に進むこともある。
この作業者側情報端末２０では、イベントドリブン方式で動作を行う。よって、前処理に相当するステップ１０からステップ１３処理が終了すると、端末操作（ステップ１４からステップ１７）、マルチメディア入力（ステップ２０からステップ２２）およびマルチメディア受信（ステップ３０からステップ３２）が何れも可能な状態となる。
この実施例では、どの順番で処理を行うかは定まっておらず、発生した入力に応じて、いずれかの処理が行われる。その後明確なプログラム終了指示がない限り（ステップ１８）、入力待ちの状態となる。この間作業ファイルは随時書き込み可能状態を維持している。

図８は、作業者側情報端末２０で取り込まれる音声通信による会話の例を示した図である。また、図９は、図８に対応する通話とマルチメディア送受信のタイミングを時系列に図示した模式図である。さらに、図１０は、以上のやりとりが記録された作業記録作成用情報処理装置２２の例を示した図である。

続いて、作業記録データを処理する作業記録作成用情報処理装置２２について説明する。
図１１は、作業記録作成用情報処理装置２２の構成を示した機能ブロック図である。この図に示すように、この作業記録作成用情報処理装置２２は、ＭＭデータを入力するＭＭデータ入力部１０２、音声データを入力する音声通信データ入力部１０４、作業者側情報端末２０からの操作記録データを入力する端末操作記録データ入力部１０６、音声通信データ入力部１０４から入力された音声データに対して音声認識／語句抽出を行う音声認識／語句抽出処理部１０８、端末操作記録データ入力部１０６から入力された端末操作記録データを処理する端末操作記録データ処理部１１０および各データを統合処理する情報統合処理部１１２を備えている。
現場の作業者は、センターからの支援を受けた一連の作業が終わった段階で、作業者側情報端末２０の端末操作記録を作業記録作成用情報処理装置２２に転送する。この作業記録作成用情報処理装置２２における処理の手順を図１２のフローチャートを参照して説明する。
まず、端末操作記録データ入力部１０６が、端末操作記録データをファイルから読み出し（ステップ４０）、端末操作記録データ処理部１１０が、端末操作記録データを、操作等が発生した時刻単位で切り分ける（ステップ４１）。

次に、音声通信データ入力部１０４が、音声通信データをファイルから読み出し（ステップ４２）、音声認識／語句抽出処理部１０８により、音声通信による会話をテキストに変換する（ステップ４３）。また、ＭＭデータ入力部１０２が、ＭＭデータのプロパティ情報をファイルから読み出す（ステップ４４）。
そして、端末操作記録データと会話のテキスト情報を照合し、作業単位ごとにマークアップ言語で記述する（ステップ４５）。次に、ＭＭデータのファイル名を所定のファイル命名規則にしたがって変更し（ステップ４６）、作業記録文書データとしてファイルに出力する（ステップ４７）。
この作業記録作成用情報処理装置２２の結果、請求項４ないし請求項５に示す形式の情報通信端末操作を記録するテキストデータが自動的に生成される。

続いて、作業記録作成用情報処理装置２２における語句抽出の方法並びにマルチメディアデータの関連付けの方法について順を追って説明する。
（１）端末操作記録ファイルを読み出して、１つの作業単位に相当する部分を抽出する。ここで、ある音声通信の終了時刻から、次の音声通信の開始時刻までを、１つの作業単位と考える。
（２）１つの作業単位につき、以下の関連ファイルを特定する。
（イ）支援者による作業指示を含む音声ファイル
（ロ）作業者による作業報告を含む音声ファイル
（ハ）作業報告のために作業者が支援者に送信したマルチメディアファイル
（ニ）作業指示のために、支援者が作業者に向けて送信したマルチメディアファイル（存在しない場合もある）
（３）作業指示を含む音声ファイルについて、音声認識処理を行い作業指示に相当する語句を抽出する。
（４）作業報告を含む音声ファイルについて、音声認識処理を行い作業報告に相当する語句を抽出する。
（５）作業単位ごとに、作業指示に相当する語句並びに作業報告に相当する語句とを、所定の書式で記述する。
（６）作業単位ごとに、（２）で特定したファイルの情報を記述する。

以上の処理を、端末操作記録ファイル全体について行い、これを作業記録とする。図１３は、各データとファイルの関係を図示した模式図である。以上の処理の結果である作業記録をマークアップ言語（ＸＭＬ）で記述した例を図１４に示してある。

次に、作業記録保管用サーバ２４について説明する。
図１５は、作業記録保管用サーバ２４の機能ブロック図である。この作業記録保管用サーバ２４は、データ入出力制御部２０２、データ検索部２０４および作業記録閲覧装置３００と連結可能なデータ通信制御部２０６とを備えている。
前記作業記録作成用情報処理装置２２によって処理された作業記録データ文書ファイル並びにこの作業記録に関連するマルチメディア情報および音声通信情報が、作業記録保管用サーバ２４に転送され、保管される。作業記録保管用サーバ２４は、検索機能およびファイル入出力機能を具備しており、作業記録データの諸情報（作業者氏名、作業日時、等）および作業記録に記載されているキーワードをキーとして検索・取得する機能を提供している。
また、作業記録保管用サーバ２４のデータ通信制御部２０６により、作業記録閲覧装置３００より、閲覧要求があった場合は、該当する作業記録文書データを検索し、作業記録文書データ並びに関連するマルチメディアデータファイル一式を作業記録閲覧装置３００に送信する。

作業記録保管用サーバ２４他の実施例として、一般的なＰＣ環境において普及している閲覧ソフトと、普及しているマルチメディア再生アプリケーションのみで閲覧可能な作業記録データ文書を扱うこともできる。
この場合、作業者側情報端末２０の出力である作業記録文書データを入力し、作業記録データ変換装置で処理したものを作業記録保管用サーバ２４で保管すれば良い。
図１６は、作業記録データ変換装置の機能ブロック図である。
この図に示すように、外部記憶装置から作業記録データが作業記録データ変換部に入力され、この作業記録データ変換部から、データ変換済み作業記録データが他の外部記録装置へ出力される。
実際には、作業記録作成用情報処理装置２２で出力される作業記録データ文書を記述しているマークアップ言語のスキーマを、作業記録閲覧装置３００で閲覧する際のスキーマに変換する処理を行えば良い。

続いて、図１７の作業記録閲覧装置の機能ブロック図を参照して、作業記録閲覧装置３００について説明する。
作業記録閲覧装置３００は、作業記録表示部３０８にＭＭデータを再生するＭＭデータ再生部３０６並びに表示装置３１０およびスピーカ３１２を備えている。
この作業記録閲覧装置３００は、作業記録データ３０４およびそれと関連付けられたＭＭデータ３０２を読み込み、レイアウトして表示装置３１０に出力する。レイアウトの方法については、作業記録データ変換装置において、出力される作業記録データ文書ファイル（ＨＴＭＬ等）が、定型のレイアウトとする指示を含むように実装しても良いし、別途、スタイルシートを用意して作業記録保管用サーバ２４に置くようにしておいても良い。
図１７には含まれていないが、作業記録閲覧装置３００をコンピュータ上で構成する場合、作業記録閲覧装置３００の中に、通信制御手段が存在していて、作業記録保管用サーバ２４にアクセスし、作業記録文書データファイルをダウンロードできるような構成とすることも可能である。

最後に、作業記録編集装置について説明する。
前記作業記録作成用情報処理装置２２が具備する音声認識／語句抽出処理部１０８の機能により、作業指示および作業報告に相当する語句を抽出できるとしているが、抽出した語句だけでは、説明文として十分でない場合が想定される。この理由の１つとしては、音声認識／語句抽出処理部１０８の機能が十分でないことによることが考えられる。また別の理由として、支援者と作業者が双方で同一のマルチメディア情報を閲覧しながら会話をする場合に具体的な機器の名称ではなく、「ここの部分」といった代名詞の使用で、十分意思の疎通が可能となり、音声通信データの中から具体的な名称が欠落する場合が考えられる。以上の問題を解決する手段として、システム全体の中に作業記録編集装置を追加する構成が考えられる。

図１８は、作業記録編集装置４００の機能ブロック図である。この作業記録編集装置４００は、ＭＭデータ４１０を再生するＭＭデータ再生部４０２、作業記録データ４１２を編集する作業記録編集部４０４、キーボード４１４およびポインティングデバイス４１６からの入力を受け付ける入出力制御部４０６、表示装置４１８およびスピーカ４２０を制御する表示制御部４０８を備えている。
この構成によれば、作業者によってテキスト情報を自由に追加することが可能となり、作業者の入力の手間を増大させることなく、作業記録の質を向上させることにつなげることができる。
作業記録をテキストデータとして実装するのであれば、テキストエディタを作業記録編集装置４００として採用するだけで実現可能である。作業記録を独自のバイナリデータとして実装するのであれば、テキスト入力に編集を可能とするユーザーＩ／Ｆを実装する必要がある。
以上の実施形態においては、作業記録閲覧装置３００並びに作業記録編集装置４００を、作業者側情報端末２０や支援者側情報端末１０から独立した形の構成を提示したが、これらの装置を作業者側情報端末２０や支援者側情報端末１０に含まれる形の実施形態も可能である。

本実施例に係る支援者側情報端末と作業者側情報端末の関係を示したシステム構成図である。 作業者側情報端末並びに支援者側情報端末の画面イメージを示した図である。 作業者側情報端末と作業記録閲覧装置の関係を説明するシステム構成図である。 本実施例に係る作業者側情報端末の構成を示したブロック図である。 本実施例における前処理および後処理並びに端末操作のデータ処理手順を示したフローチャートである。 本実施例におけるマルチメディアデータ入力の場合の処理手順を示したフローチャートである。 本実施例におけるマルチメディアデータ受信の場合の処理手順を示したフローチャートである。 作業者側情報端末２０で取り込まれる音声通信による会話の例を示した図である。 通話とマルチメディア送受信のタイミングを時系列に図示した模式図である。 情報のやりとりが記録された作業記録作成用情報処理装置の例を示した図である。 作業記録作成用情報処理装置の構成を示した機能ブロック図である。 作業記録作成用情報処理装置における処理の手順を示したフローチャートである。 関連するデータとファイルの関係を示した図である。 作業記録作成用情報処理装置にて作業記録が統合された作業記録（作業記録文書）の例を示した図である。 作業記録保管用サーバの機能ブロック図である。 作業記録データ変換装置の機能ブロック図である。 作業記録閲覧装置の機能ブロック図である。 作業記録編集装置の機能ブロック図である。

符号の説明

１０ 支援者側情報端末
２０ 作業者側情報端末
２２ 作業記録作成用情報処理装置
２４ 作業記録保管用サーバ
３０ ネットワーク
３００ 作業記録閲覧装置
４００ 作業記録編集装置

Claims (22)

1. ネットワークを介して他の情報端末装置と接続された情報端末装置であって、
   前記ネットワークを介して前記他の情報端末装置との間でデータの送受信を行う通信手段と、
   前記ネットワークを介してマルチメディア情報を入力する入力手段と、
   前記ネットワークを介してマルチメディア情報を出力する出力手段と、
   前記通信手段によるマルチメディアの送受信、前記入力手段によるマルチメディア情報の入力、前記出力手段によるマルチメディア情報出力のいずれかの端末操作の発生を検知する検知手段と、
   前記検知手段が、前記通信手段によるマルチメディア情報の送受信、前記入力手段によるマルチメディア情報の入力、前記出力手段によるマルチメディア情報出力のいずれかの端末操作の発生を少なくとも１つを検知したとき、当該検知した時刻をマルチメディア情報と関連付ける端末操作処理手段とを備えたことを特徴とする情報端末装置。
2. 前記検知手段が検知した時刻を端末操作処理手段がマルチメディア情報と関連付けた情報を記録情報として格納する格納手段を備えたことを特徴とする請求項１記載の情報端末装置。
3. 電話等の音声通信端末からの音声情報を入力し、前記音声通信端末との通信開始ならびに通信終了と同期して音声通信端末から入力された音声情報の格納の開始または停止をする音声通信処理部を備えたことを特徴とする請求項１または請求項２記載の情報端末装置。
4. 前記音声通信処理部は、音声通信の開始とともに開始時刻を記憶し、音声通信の終了とともに終了時刻を記憶し、音声通信の開始時刻・終了時刻・音声通信記録データへのアクセス情報を、前記格納手段に追記可能であることを特徴とする請求項３記載の情報端末装置。
5. 請求項１から請求項５に記載の情報端末装置からマルチメディア情報を受け取るマルチメディアデータアクセス情報処理部と、
   請求項１から請求項５に記載の情報端末装置から端末操作記録情報を受け取る端末操作記録データ処理部と、
   請求項１から請求項５に記載の情報端末装置から音声情報を受け取って当該音声情報に含まれる語句を抽出する音声認識語句抽出処理部と、
   前記マルチメディアデータアクセス情報処理部が受け取ったマルチメディア情報と、端末操作記録情報と、音声認識語句抽出処理部によって抽出された語句を統合して作業記録データを作成する情報統合処理部を備えたことを特徴とする情報処理装置。
6. 前記情報統合処理部に統合された作業記録データを出力する出力装置を具備することを特徴とする請求項５記載の情報処理装置。
   
7. 前記情報統合処理部が、作業記録データを作成するに際し、
   当該作業記録データは、作業開始前の状態の記録が１以上と、作業内容が１以上記録されており、
   前記作業開始前の状態の記録は、作業開始前の状態を説明する音声情報と、この音声情報から抽出された語句と、０または１以上のマルチメディア情報とが記載されており、
   前記作業内容は、作業指示に相当する音声情報と、作業の結果を説明する音声情報と、これらの音声情報から抽出された語句と、１以上のマルチメディア情報とが記載されていることを特徴する請求項５または請求項６記載の情報処理装置。
8. 前記情報統合処理部が、作業記録データを作成するに際し、
   当該作業記録データにおける作業開始前の状態の記録は、音声情報およびマルチメディア情報が、請求項１ないし請求項２に示す情報端末装置で記録あるいは送受信された際の時刻の情報を含むことを特徴とする請求項７記載の情報処理装置。
9. 前記情報統合処理部が、作業記録データを作成するに際し、
   当該作業記録データに含まれる作業内容の記録は、音声情報ならびにマルチメディア情報が、請求項１ないし請求項２に示す情報端末装置で記録あるいは送受信された際の時刻の情報を含むことを特徴とする請求項７または請求項８記載の情報処理装置。
10. 請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを読み込む入力手段と、
    前記入力手段から読み込まれた前記作業記録データを、一般的な計算機環境で提供される閲覧装置で読み込むことが可能な標準的なデータ形式へ変換するデータ変換手段と、を備えたことを特徴とする作業記録データ変換装置。
11. 請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを受領する受領手段と、
    前記受領手段で受領した作業記録データを格納する格納手段と、
    前記格納手段に格納された作業記録データを閲覧装置からの要求に応じて送信する通信手段と、を備えたことを特徴とする作業記録保管用サーバ装置。
12. 請求項１０に記載の作業記録データ変換装置によって変換され、標準的なデータ形式で表現される作業記録データを受領する受領手段と、
    前記受領手段で受領した作業記録データを格納する格納手段と、
    前記格納手段に格納された作業記録データを閲覧装置からの要求に応じて送信する通信手段と、を備えたことを特徴とする作業記録保管用サーバ装置。
13. 請求項５記載の情報処理装置から出力される作業記録データおよび関連付けられたマルチメディア情報を読み込む入力手段と、
    前記入力手段で読み込んだ前記マルチメディア情報および音声通信情報を再生する再生手段と、
    請求項７ないし請求項９のいずれか１項に記載の情報処理装置で作成される作業記録データを表示する表示手段と、を備えたことを特徴とする閲覧装置。
14. 請求項４記載の情報処理装置から作業記録データを読み込む入力手段と、
    請求項７、請求項８または請求項９に記載の作業記録データに含まれる音声情報から抽出された語句を編集する編集手段と、
    前記編集手段での編集後の作業記録データを出力する出力手段と、を備えたことを特徴とする作業記録編集装置。
15. 単数または複数の請求項１または請求項２に記載の情報端末装置と、
    前記情報端末装置と双方向なネットワークで接続され、前記情報端末装置にて撮像または録音されたマルチメディア情報を受信して再生できる支援者用情報端末装置と、
    請求項５から請求項９のいずれか１項に記載の情報処理装置と、
    請求項１１または請求項１２に記載の作業記録保管用サーバ装置と、
    請求項１３に記載の作業記録閲覧装置と、がネットワークを介して接続されていることを特徴とする活動支援システム。
16. ネットワークを介して他の情報端末装置と接続された情報端末装置において、
    前記ネットワークを介して前記他の情報端末装置との間でデータの送受信を行う通信機能と、
    前記ネットワークを介してマルチメディア情報を入力する入力機能と、
    前記ネットワークを介してマルチメディア情報を出力する出力機能と、
    前記通信機能によるマルチメディアの送受信、前記入力機能によるマルチメディア情報の入力、前記出力機能によるマルチメディア情報出力のいずれかの端末操作の発生を検知する検知機能と、
    前記検知機能により、前記通信機能によるマルチメディア情報の送受信、前記入力機能によるマルチメディア情報の入力、前記出力機能によるマルチメディア情報出力のいずれかの端末操作の発生を少なくとも１つを検知したとき、当該検知した時刻をマルチメディア情報と関連付ける端末操作処理機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な情報端末プログラム。
17. 請求項１から請求項５に記載の情報端末装置からマルチメディア情報を受け取るマルチメディアデータアクセス情報処理機能と、
    請求項１から請求項５に記載の情報端末装置から端末操作記録情報を受け取る端末操作記録データ処理機能と、
    請求項１から請求項５に記載の情報端末装置から音声情報を受け取って当該音声情報に含まれる語句を抽出する音声認識語句抽出処理機能と、
    前記マルチメディアデータアクセス情報処理機能で受け取ったマルチメディア情報と、端末操作記録情報と、音声認識語句抽出処理機能によって抽出された語句を統合して作業記録データを作成する情報統合処理機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な情報処理プログラム。
18. 請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを読み込む入力機能と、
    前記入力機能から読み込まれた前記作業記録データを、一般的な計算機環境で提供される閲覧装置で読み込むことが可能な標準的なデータ形式へ変換するデータ変換機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な作業記録データ変換プログラム。
19. 請求項７から請求項９のいずれか１項に記載の情報処理装置の前記情報統合処理部が作成した作業記録データを受領する受領機能と、
    前記受領機能で受領した作業記録データを格納する格納機能と、
    前記格納機能に格納された作業記録データを閲覧装置からの要求に応じて送信する通信機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な作業記録保管用サーバプログラム。
20. 請求項５記載の情報処理装置から出力される作業記録データおよび関連付けられたマルチメディア情報を読み込む入力機能と、
    前記入力機能で読み込んだ前記マルチメディア情報および音声通信情報を再生する再生機能と、
    請求項７ないし請求項９のいずれか１項に記載の情報処理装置で作成される作業記録データを表示する表示機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な閲覧プログラム。
21. 請求項４記載の情報処理装置から作業記録データを読み込む入力機能と、
    請求項７、請求項８または請求項９に記載の作業記録データに含まれる音声情報から抽出された語句を編集する編集機能と、
    前記編集機能での編集後の作業記録データを出力する出力機能と、をコンピュータに実現させるためにコンピュータ読み取り可能な編集プログラム。
22. 請求項１６記載の情報端末プログラム、請求項１７記載の情報処理プログラム、請求項１８記載の作業記録データ変換プログラム、請求項１９記載の作業記録保管用サーバプログラムまたは請求項２１記載の編集プログラムを記録した記録媒体。

Images