JP2006163731A - 活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラム - Google Patents

Abstract

【課題】フィールド側の操作者が、離れた場所にある管理サーバ２にマルチメディア情報を送信し、管理サーバ２から適切な伝達情報を受け取って遠隔地における活動をリアルタイムに支援する。
【解決手段】メンテナンス活動支援システムでは、フィールド端末１のカメラ１５ａ、ｂ、マイク１８ｃ、およびキーボード１６がマルチメディア情報を含む情報を入力し、活動情報処理部１２がデータ処理を施し通信部１４がネットワーク３を介して管理サーバ２に送信する。管理サーバ２では、受信した情報をモニタ２５に表示してインタフェースとして利用して管理サーバ２の操作者による入力を受け付け、支援情報処理部２２がデータ処理を施し通信部２４を介してフィールド端末１へ送信する。フィールド端末１では、受信した情報を出力部１３がＨＭＤ１８ａに画像表示させ、イヤホーン１８ｂに音声出力させる。
【選択図】 図１

Description

本発明は、現場（フィールド）での活動を離れた場所からマルチメディア情報を送受信して支援する活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラムに関し、特に、離れた場所にある機器のメンテナンス活動などのフィールドでの活動において、フィールド側と支援側との間でマルチメディア情報をリアルタイムに通信しながらフィールドにおける活動を支援する活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラムに関するものである。

図１５は、従来例による教育支援システムのブロック図である。図１５に示した従来の教育支援システム１６００によれば、それぞれ教室ＬＡＮ１６０３で接続された講師用端末１６０２と受講者用端末１６０４とから成り、双方の端末１６０２および１６０４は教育用情報を記憶する情報記憶媒体１６０２ａおよび１６０４ａを有して、該情報記憶媒体１６０２ａおよび１６０４ａから読み出されたデータが表示手段である大型モニタ１６０１に表示される。そして、講義の進行と共にそれぞれの端末１６０２および１６０４の入力部１６０２ｂ、ｃおよび１６０４ｂ、ｃを介して双方の操作者の入力を受け付けることによって、講師があたかも黒板に記入して実際の講義を進行させ、かつ受講者がノートに記入して内容を追加・削除しながら聴講するかのように、端末を介して講義および聴講の記録を残すことができる（特許文献１）。

特許文献１に示された技術によると、教室内に設置された黒板代わりの大型モニタを介して講師と受講者が、教室用ＬＡＮで接続された講師用端末と受講者用端末を使用しながら、効率良く聴講できるとしている。

特開２００２−２２９４２７号公報

しかしながら、特許文献１の技術では、あくまで教室という所定の場所に、講師と受講者とが決まった時間に参席し、受講者は講義の進行に沿って受講しなければならないという不便さがあった。従って、多くの受講者にとってこの従来例による教育支援システムは、時間的・場所的制約を逃れることができないという不便さが解決されたものではなかった。

また、同文献による教育支援システムを、教育支援だけでなく、例えば専門家が複数の非専門家に対して、教育的内容を伝達したり、専門的な作業を指示したりする一般的な活動を支援するシステムに適用しようとする場合、教室で講義を進めるという時間的・場所的制約条件から逃れられないという不便さがあった。

また、メンテナンス、営業、あるいは教育などの一般的な活動では、それぞれの現場（フィールド）において解決すべき問題が常に生起しており、かつ必要なスキルや知識を持った専門家が必ずしもその現場に居合わせることができるとは限らないため、問題を解決できる専門家が現場に居合わせることが最善ではあるが、これが不可能な場合は、現場から専門家への単なる報告だけではなく、該現場の状況そのものを体感できたり生々しく伝え、現場での対応を指示することができるリアルタイムで双方的な伝達技術が必要とされていた。

本発明は、上記に鑑みてなされたものであって、その目的は、現場（フィールド）側が、機器のメンテナンス、営業活動、教育活動を含む一般的な活動を行う際に、遠隔地にいる専門家に現場の状況をマルチメディア情報を送受信して生々しく伝達し、専門的な知識、指示、アドバイスなどをフィールド側に伝達することによりフィールド側の活動をリアルタイムで双方的に支援することができる活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラムを提供することである。

また、本発明の目的は、上記のような遠隔地から専門的な知識や指示などをフィールド側にリアルタイムで双方的に送信しながらメンテナンス、営業および教育を含む活動を進行した記録を時系列的にマルチメディア情報で記録することができる活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラムを提供することである。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、活動支援システムであって、画像・音声情報を含むマルチメディア情報の入力を受け付けてネットワークを介して送信する情報端末と、前記情報端末が送信するマルチメディア情報を前記ネットワークを介して受信し、受信したマルチメディア情報に関連する情報の入力を受け付け、受け付けられた関連する情報を前記情報端末に送信する支援装置とを備えて、前記情報端末の操作者の活動を支援する活動支援システムであって、前記情報端末は、前記情報端末を操作する操作者の頭部に装着し、音声情報の入力を受け付ける音声入力部、音声情報を出力する音声出力部、および表示すべき情報を受け付けて前記操作者の眼部近傍で前記表示すべき情報を視覚的に表示する表示部が、一体的に構成された頭部装着型入出力手段と、画像情報を取得する撮像手段と、前記音声入力部により入力される音声情報、および前記撮像手段により取得される画像情報を前記支援装置に送信し、かつ前記支援装置から送信される情報を受信する端末側通信手段とを備え、前記支援装置は、前記端末側通信手段が送信する前記音声情報および画像情報を受信する装置側受信手段と、前記装置側受信手段が受信した前記音声情報を出力する音声出力手段と、前記装置側受信手段が受信した前記画像情報を画面に表示する表示手段と、音声情報の入力を受け付ける音声入力手段と、前記表示手段が表示した画面上の画像から前記支援装置の操作者による操作入力情報を受け付ける装置側入力手段と、前記装置側入力手段が受け付けた前記操作入力情報に基づいて、前記装置側受信手段が受信した情報に対して関連する情報を付加する付加処理を含む支援情報処理を施す支援情報処理手段と、前記装置側入力手段が受け受けた操作入力情報、前記音声入力手段が受け付けた音声情報、および前記支援情報処理手段が支援情報処理を施した情報のうち少なくともいずれかの情報を前記情報端末に送信する装置側送信手段と、を備え、前記端末側通信手段は、前記装置側通信手段が送信する前記少なくともいずれかの情報を受信し、前記頭部装着型入出力手段の音声出力部は、前記端末側通信手段が音声情報を受信した場合は音声出力し、前記頭部装着型入出力手段の表示部は、前記端末側通信手段が画像情報を含む表示すべき情報を受信した場合は表示するものであることを特徴とする。

また、請求項２にかかる発明は、情報端末であって、画像・音声情報を含むマルチメディア情報の入力を受け付けてネットワークを介して支援装置に送信し、前記支援装置で関連する情報の入力を受け付けて受け付けられた前記関連する情報に基づいて前記マルチメディア情報に対して、操作者の活動を支援する支援情報処理が施されて返送される前記マルチメディア情報を受信し、出力して前記操作者の活動を支援する情報端末であって、前記支援装置との間で前記マルチメディア情報を送受信する端末側通信手段と、前記情報端末の操作者の頭部に装着し、音声情報の入力を受け付ける音声入力部、音声情報を出力する音声出力部、および表示すべき情報を受け付けて前記操作者の眼部近傍で前記表示すべき情報を視覚的に表示する表示部が、一体的に構成された頭部装着型入出力手段と、画像情報を取得する撮像手段と、を備え、前記端末側通信手段は、前記音声入力部により入力される音声情報、および前記撮像手段により取得される画像情報を前記支援装置に送信し、前記頭部装着型入出力手段の音声出力部は、前記端末側通信手段が前記支援装置から音声情報を受信した場合は音声出力し、前記頭部装着型入出力手段の表示部は、前記端末側通信手段が前記支援装置から画像情報を含む表示すべき情報を受信した場合は表示するものであることを特徴とする。

また、請求項３にかかる発明は、請求項２に記載の情報端末において、前記頭部装着型入出力手段の表示部は、透明または半透明のパネル上に表示すべき情報を表示するものであることを特徴とする。

また、請求項４にかかる発明は、請求項２または３に記載の情報端末において、前記頭部装着型入出力手段と撮像手段は、一体型に構成されていることを特徴とする。

また、請求項５にかかる発明は、請求項２〜４のいずれか１つに記載の情報端末において、さらに、機器に関する状況の記録であるログ情報の入力を受け付ける端末側入力手段を備え、前記頭部装着型入出力手段の表示部は、前記端末側通信手段が前記端末側入力手段が受け付けた前記ログ情報を送信して、送信した前記ログ情報のログ解析情報を受信した場合、前記ログ解析情報を表示するものであることを特徴とする。

また、請求項６にかかる発明は、請求項２〜５のいずれか１つに記載の情報端末において、前記端末側入力手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子を備えて前記ログ情報の入力を受け付けるものであることを特徴とする。

また、請求項７にかかる発明は、請求項２〜６のいずれか１つに記載の情報端末において、前記端末側通信手段は、前記ネットワークの混み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする。

また、請求項８にかかる発明は、請求項２〜７のいずれか１つに記載の情報端末において、前記端末側通信手段は、情報を圧縮して送信するものであることを特徴とする。

また、請求項９にかかる発明は、請求項６〜８のいずれか１つに記載の情報端末において、さらに、前記端末側通信手段が送受信する情報、前記音声入力部が入力する音声情報、前記表示部が表示する画面情報、前記音声出力部が出力する音声情報、前記端末側入力手段が受け付けるログ情報のうち少なくともいずれかを記憶する端末側記憶手段を備えたことを特徴とする。

また、請求項１０にかかる発明は、支援装置であって、情報端末からネットワークを介して送信された画像・音声情報を含むマルチメディア情報を受信し、受信したマルチメディア情報に関連する情報の入力を受け付け、受け付けた前記関連する情報に基づいて前記マルチメディア情報に対して、前記情報端末の操作者の活動を支援する支援情報処理を施して返送し前記操作者の活動を支援する支援装置であって、前記情報端末が送信する前記音声情報および画像情報を受信する装置側受信手段と、前記装置側受信手段が受信した前記音声情報を出力する音声出力手段と、前記装置側受信手段が受信した前記画像情報を画面に表示する表示手段と、前記表示手段が表示した画面上の画像から前記支援装置の操作者による操作入力情報を受け付ける装置側入力手段と、音声情報の入力を受け付ける音声入力手段と、前記装置側入力手段が受け付けた前記操作入力情報に基づいて、前記装置側通信手段が受信した情報に対して関連する情報を付加する付加処理を含む支援情報処理を施す支援情報処理手段と、前記装置側入力手段が受け付けた操作入力情報、前記音声入力手段が受け付けた音声情報、および前記支援情報処理手段が支援情報処理を施した情報のうち少なくともいずれかの情報を前記情報端末に送信する装置側送信手段と、を備えたことを特徴とする。

また、請求項１１にかかる発明は、請求項１０に記載の支援装置において、前記支援情報処理手段は、前記装置側受信手段が前記情報端末から機器に関する状況の記録であるログ情報を受信した場合、前記ログ情報を解析し、前記装置側送信手段は、前記支援情報処理手段によって解析されたログ情報を前記情報端末に対して送信するものであることを特徴とする。

また、請求項１２にかかる発明は、請求項１０または１１に記載の支援装置において、前記装置側送信手段は、前記ネットワークの込み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする。

また、請求項１３にかかる発明は、請求項１０〜１２のいずれか１つに記載の支援装置において、前記装置側送信手段は、情報を圧縮して送信するものであることを特徴とする。

また、請求項１４にかかる発明は、請求項１０〜１３のいずれか１つに記載の支援装置において、前記支援装置は、さらに、前記装置側受信手段が受信する情報、前記装置側送信手段が送信する情報、前記音声入力手段が入力する音声情報、前記表示手段が表示する画面情報、前記装置側入力手段が受け付ける操作入力情報、および前記支援情報処理手段が支援情報処理を施す情報のうち少なくともいずれかの情報を記憶する装置側記憶手段を備えたことを特徴とする。

また、請求項１５にかかる発明は、請求項１０〜１４のいずれか１つに記載の支援装置において、前記支援情報処理手段は、前記装置側記憶手段が記憶した情報を時間経過に対応付ける経過時間画像を生成して表示手段に表示させ、前記装置側入力手段は、前記表示手段に表示された経過時間画像上の時間に対応する前記記憶手段に記憶された情報を読み書きする要求情報を、受け付け、前記支援情報処理手段は、前記装置側入力手段が受け付けた読み書きする要求情報に従って前記記憶手段に記憶された情報を読み書きするものであることを特徴とする。

また、請求項１６にかかる発明は、請求項１０〜１５のいずれか１つに記載の支援装置において、前記支援情報処理手段は、前記装置側記憶手段が記憶した情報を前記経過時間画像に対応して表示するアイコン情報を生成して前記表示手段に表示させ、前記装置側入力手段は、前記表示手段に表示されたアイコンから対応する前記記憶手段に記憶された情報を読み書きする要求情報を、受け付け、前記支援情報処理手段は、前記装置側入力手段が受け付けた読み書きする要求情報に従って前記記憶手段に記憶された情報を読み書きするものであることを特徴とする。

また、請求項１７にかかる発明は、端末側活動支援方法であって、画像・音声情報を含むマルチメディア情報の入力を受け付けてネットワークを介して支援装置に送信する情報端末に対して、前記支援装置が受信した前記マルチメディア情報に対して前記情報端末を操作する操作者の活動を支援する支援情報処理が施されて返送されることによって前記操作者の活動を支援する端末側活動支援方法であって、音声情報の入力を受け付ける音声入力工程と、画像情報を取得する撮像工程と、前記音声入力工程で入力される音声情報、および前記撮像工程で取得される画像情報を前記支援装置に送信し、前記支援装置で受信した前記音声情報および画像情報の少なくともいずれかの情報に対して支援情報処理が施されて返送された場合、支援情報処理が施されら情報を受信する通信工程と、前記通信工程で前記支援情報処理が施された音声情報を受信した場合は音声出力する音声出力工程と、前記通信工程で前記支援情報処理が施された画像情報および表示すべき情報を受信した場合、視覚的に表示する表示工程とを含むことを特徴とする。

また、請求項１８にかかる発明は、請求項１７に記載の端末側活動支援方法において、さらに、機器に関する状況の記録であるログ情報の入力を受け付けるログ情報入力工程を含み、前記通信工程で、前記ログ情報入力工程で受け付けられた前記ログ情報が前記支援装置に送信され、支援装置で受信した前記ログ情報のログ解析がなされてログ解析情報が返送された場合、受信し、前記表示工程は、前記通信工程で前記ログ解析情報を受信した場合、前記ログ解析情報を表示するものであることを特徴とする。

また、請求項１９にかかる発明は、請求項１７または１８に記載の端末側活動支援方法において、前記通信工程は、前記ネットワークの混み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする。

また、請求項２０にかかる発明は、請求項１７〜１９のいずれか１つに記載の端末側活動支援方法において、前記通信工程は、情報を圧縮して送信するものであることを特徴とする。

また、請求項２１にかかる発明は、請求項１８〜２０のいずれか１つに記載の端末側活動支援方法において、さらに、前記通信手段で送信する情報、前記通信手段で受信する情報、前記音声入力工程で入力する音声情報、前記音声出力工程で出力する音声情報、前記表示工程で表示する画面情報、前記ログ情報入力工程で受け付けるログ情報のうち少なくともいずれかを記憶する記憶工程を備えたことを特徴とする。

また、請求項２２にかかる発明は、装置側活動支援方法であって情報端末からネットワークを介して送信された画像・音声情報を含むマルチメディア情報を受信し、受信したマルチメディア情報に関連する情報の入力を受け付け、受け付けた前記関連する情報に基づいて前記マルチメディア情報に対して、前記情報端末を操作する操作者を支援する支援情報処理を施して返送し前記操作者の活動を支援する装置側活動支援方法であって、前記情報端末が送信する前記音声情報および画像情報を受信する受信工程と、前記受信工程で受信した前記音声情報を出力する音声出力工程と、前記受信工程で受信した前記画像情報を画面に表示する表示工程と、前記表示工程で表示され画面上の画像から操作入力情報を受け付ける入力工程と、前記入力工程で受け付けられた操作入力情報に基づいて、前記受信工程で受信した情報に対して関連する情報を付加する付加処理を含む支援情報処理を施す支援情報処理工程と、音声情報の入力を受け付ける音声入力工程と、前記入力工程で受け受けられた操作入力情報、前記音声入力工程で受け付けられた音声情報、および前記支援情報処理工程で支援情報処理が施された情報のうち少なくともいずれかの情報を前記情報端末に送信する送信工程と、を含むことを特徴とする。

また、請求項２３にかかる発明は、請求項２２に記載の装置側活動支援方法において、前記支援情報処理工程は、前記受信工程で前記情報端末から機器に関する状況の記録であるログ情報を受信した場合、前記ログ情報を解析し、前記送信工程は、前記支援情報処理工程で解析されたログ情報を前記情報端末に対して送信するものであることを特徴とする。

また、請求項２４にかかる発明は、請求項２２または２３に記載の装置側活動支援方法において、前記送信工程は、前記ネットワークの込み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする。

また、請求項２５にかかる発明は、請求項２２〜２４のいずれか１つに記載の装置側活動支援方法において、前記送信工程は、情報を圧縮して送信するものであることを特徴とする。

また、請求項２６にかかる発明は、請求項２２〜２５のいずれか１つに記載の装置側活動支援方法において、さらに、前記受信工程で受信する情報、送信工程で送信する情報、前記音声出力工程で出力する音声情報、前記音声入力工程で入力する音声情報、前記表示工程で表示する画面情報、前記入力工程で受け付ける操作入力情報、および前記支援情報処理工程で処理を施す情報のうち少なくともいずれかの情報を記憶する記憶工程を含むことを特徴とする。

また、請求項２７にかかる発明は、請求項２２〜２６のいずれか１つに記載の装置側活動支援方法において、前記支援情報処理工程は、前記記憶工程で記憶した情報を時間経過に対応付ける経過時間画像を生成して表示工程で表示させ、前記入力工程は、前記表示工程で表示された経過時間画像から、対応する前記記憶工程で記憶された情報を読み書きする要求情報を、受け付けるものであり、前記支援情報処理工程は、前記入力工程で受け付けた読み下記の要求情報に従って前記記憶工程で記憶された情報を読み書きするものであることを特徴とする。

また、請求項２８にかかる発明は、請求項２２〜２７のいずれか１つに記載の装置側活動支援方法において、前記支援情報処理工程は、前記記憶工程で記憶した情報を前記経過時間画像に表示するアイコン情報を生成して前記表示工程で表示させ、前記入力工程は、前記表示工程で表示されたアイコンから対応する前記記憶工程で記憶された情報を読み書きする要求情報を、受け付けるものであり、前記支援情報処理工程は、前記入力工程で受け付けた読み書きの要求情報に従って前記記憶工程で記憶された情報を読み出すものであることを特徴とする。

また、請求項２９にかかる発明は、プログラムであって、請求項１７〜２１のいずれか１つに記載の端末側活動支援方法をコンピュータで実行させることを特徴とする。

また、請求項３０にかかる発明は、プログラムであって、請求項２２〜２８のいずれか１つに記載の装置側活動支援方法をコンピュータで実行させることを特徴とする。

請求項１にかかる発明によれば、情報端末を操作する操作者は、話す音声や周囲の音を頭部装着型入出力手段の音声入力部によって入力し、撮像手段によって周囲の状況を伝える画像を取得して、支援装置に送信し、支援装置側では、受信した音声画像情報を視聴し、支援装置の操作者からの入力を受け付けて受信した情報に対して支援活動処理を施し、支援活動処理を施された情報が携帯端末に送り返され、その結果、携帯端末の操作者は、頭部装着型入出力手段の音声出力部および表示部により支援装置側からの音声と画像を視聴することによって、携帯端末の操作者は、支援装置からマルチメディア情報による支援を受けて、両手を自由に使えながら活動を進行することができるので、情報端末の操作者の活動を、的確に効率良くリアルタイムで双方的にマルチメディア情報を遣り取りしながら支援できる支援システムを提供できるという効果を奏する。

また、請求項２にかかる発明によれば、情報端末を操作する操作者は、話す音声や周囲の音を頭部装着型入出力手段の音声入力部によって入力し、撮像手段によって周囲の状況を伝える画像を取得して、支援装置に送信し、支援装置により支援情報処理を施された情報が送り返された場合に受信して、その結果、携帯端末の操作者は、頭部装着型入出力手段の音声出力部および表示部により支援装置側からの音声と画像を視聴することによって、携帯端末の操作者は、支援装置からマルチメディア情報による支援を受けて、両手を自由に使えながら活動を進行することができるので、的確に効率良くリアルタイムで双方的なマルチメディア情報による支援を受けることができる情報端末を提供できるという効果を奏する。

また、請求項３にかかる発明によれば、頭部装着型入出力手段の表示部が透明または半透明のパネルであるので、パネル上に表示された画像を見ながらも、視界を遮られることなく情報端末の操作者は活動を続けることができるので、的確に効率良くリアルタイムで双方的なマルチメディア情報による支援を受けることができる情報端末を提供できるという効果を奏する。

また、請求項４かかる発明によれば、頭部装着型入出力手段と撮像手段が一体型に構成されているので、頭部の高い位置から、情報端末の操作者の活動中の画像を取得できるので、的確な画像を取得して送信することにより、的確に効率良くリアルタイムで双方的なマルチメディア情報による支援を受けることができる情報端末を提供できるという効果を奏する。

また、請求項５にかかる発明によれば、機器のログ情報を取得して支援装置に送信し、解析した結果を受信して情報端末の操作者は読むことができるので、例えば機器のメンテナンス作業を行う場合には、ログ解析をも含めて的確に効率良くリアルタイムで双方的なマルチメディア情報による支援を受けることができる情報端末を提供できるという効果を奏する。

また、請求項６にかかる発明によれば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子を備えてログ情報の入力を行うことができるという効果を奏する。

また、請求項７にかかる発明によれば、情報端末は、ネットワークの混み具合を検知して最適経路を検出して送信するので、効率良く支援装置に情報を伝えることができるという効果を奏する。

また、請求項８にかかる発明によれば、情報端末は情報を圧縮して送信するので、効率良く支援装置に情報を伝えることができるという効果を奏する。

また、請求項９にかかる発明によれば、情報端末が入出力する情報を記憶することができるので、活動内容を記録・再現することができるという効果を奏する。

また、請求項１０にかかる発明によれば、情報端末から、話す音声や周囲の音および周囲の状況を伝える画像を受信して、受信した音声画像情報を支援装置の操作者が視聴して操作者が受信した情報に対して支援活動処理を施した場合、支援活動処理を施された情報が携帯端末に送り返され、その結果、携帯端末の操作者が、支援装置側からの音声と画像を視聴することによって、支援装置からマルチメディア情報による支援を受けて活動を進行することができるので、情報端末の操作者の活動を、的確に効率良くリアルタイムで双方的にマルチメディア情報を遣り取りしながら支援できる支援装置を提供できるという効果を奏する。

また、請求項１１にかかる発明によれば、情報端末から機器に関するログ情報を受信した場合、解析して送り返すことによって、例えばメンテナンス作業をしている情報端末の操作者に対してログ解析結果を知らせることを含めて、情報端末の操作者の活動を、支援できる支援装置を提供できるという効果を奏する。

また、請求項１２にかかる発明によれば、支援装置は、ネットワークの込み具合を検知して最適経路を検出して送信するので、効率良く送信できるという効果を奏する。

また、請求項１３にかかる発明によれば、支援装置は、情報を圧縮して送信するので、効率良く送信できるという効果を奏する。

また、請求項１４にかかる発明によれば、支援装置が送受信する情報や生成する情報を記憶することができるので、記憶された内容から情報端末の操作者の活動を支援した内容を記録・再現することができるという効果を奏する。

また、請求項１５にかかる発明によれば、表示された経過時間画像から入力することによって、経過時間に対応して記憶された情報を読み書きできるので、活動を支援した内容を時間経過に沿って読み出し、また書き込むことができるという効果を奏する。

また、請求項１６にかかる発明によれば、表示された経過時間画像に対応して表示されたアイコンから入力することによって、経過時間に対応して記憶された情報を読み書きできるので、アイコンからの簡易な操作によって、活動を支援した内容を時間経過に沿って読み出し、また書き込むことができるという効果を奏する。

また、請求項１７にかかる発明によれば、情報端末を操作する操作者は、話す音声や周囲の音を入力し、周囲の状況を伝える画像を取得して、支援装置に送信し、支援装置により支援情報処理を施された情報が送り返された場合に受信して、その結果、携帯端末の操作者は音声と画像を視聴することによって、支援装置からマルチメディア情報による支援を受けて、両手を自由に使えながら活動を進行することができるので、的確に効率良くリアルタイムで双方的なマルチメディア情報による支援を受けることができる端末側活動支援方法を提供できるという効果を奏する。

また、請求項１８にかかる発明によれば、機器のログ情報を取得して支援装置に送信し、解析した結果を受信して情報端末の操作者は読むことができるので、例えば機器のメンテナンス作業を行う場合には、ログ解析をも含めて的確に効率良くリアルタイムで双方的なマルチメディア情報による支援を受けることができる端末側活動支援方法を提供できるという効果を奏する。

また、請求項１９にかかる発明によれば、情報端末は、ネットワークの混み具合を検知して最適経路を検出して送信するので、効率良く支援装置に情報を伝えることができるという端末側活動支援方法を提供できるという効果を奏する。

また、請求項２０にかかる発明によれば、情報端末は情報を圧縮して送信するので、効率良く支援装置に情報を使えることができる端末側活動支援方法を提供することができるという効果を奏する。

また、請求項２１にかかる発明によれば、情報端末が入出力する情報を記憶することができるので、活動内容を記録・再現することができる端末側活動支援方法を提供することができるという効果を奏する。

また、請求項２２にかかる発明によれば、情報端末から、話す音声や周囲の音および周囲の状況を伝える画像を受信して、受信した音声画像情報を支援装置の操作者が視聴して操作者が受信した情報に対して支援活動処理を施した場合、支援活動処理を施された情報が携帯端末に送り返され、その結果、携帯端末の操作者が、支援装置側からの音声と画像を視聴することによって、支援装置からマルチメディア情報による支援を受けて活動を進行することができるので、情報端末の操作者の活動を、的確に効率良くリアルタイムで双方的にマルチメディア情報を遣り取りしながら支援できる装置側活動支援方法を提供できるという効果を奏する。

また、請求項２３にかかる発明によれば、情報端末から機器に関するログ情報を受信した場合、解析して送り返すことによって、例えばメンテナンス作業をしている情報端末の操作者に対してログ解析結果を知らせることを含めて、情報端末の操作者の活動を支援できる装置側活動支援方法を提供できるという効果を奏する。

また、請求項２４にかかる発明によれば、支援装置は、ネットワークの込み具合を検知して最適経路を検出して送信するので、効率良く送信して情報端末の操作者の活動を支援できる装置側活動支援方法を提供できるという効果を奏する。

また、請求項２５にかかる発明によれば、支援装置は、情報を圧縮して送信するので、効率良く送信して情報端末の操作者の活動を支援できる装置側活動支援方法を提供できるという効果を奏する。

また、請求項２６にかかる発明によれば、支援装置が送受信する情報や生成する情報を記憶することができるので、記憶された内容から情報端末の操作者の活動を支援した内容を記録・再現することができる装置側活動支援方法を提供することができるという効果を奏する。

また、請求項２７にかかる発明によれば、支援装置においては、表示された経過時間画像から入力することによって、経過時間に対応して記憶された情報を読み書きできるので、活動を支援した内容を時間経過に沿って読み出し、また書き込むことができる装置側活動支援方法を提供することができるという効果を奏する。

また、請求項２８にかかる発明によれば、支援装置においては、表示された経過時間画像に対応して表示されたアイコンから入力することによって、経過時間に対応して記憶された情報を読み書きできるので、アイコンからの簡易な操作によって、活動を支援した内容を時間経過に沿って読み出し、また書き込むことができる装置側活動支援方法を提供することができるという効果を奏する。

また、請求項２９にかかる発明によれば、請求項１７〜２１のいずれか１つに記載の端末側活動支援方法をコンピュータで実行させることができるという効果を奏する。

また、請求項３０にかかる発明によれば、請求項２２〜２８のいずれか１つに記載の装置側活動支援方法をコンピュータで実行させることができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラムの最良な実施の形態を、実施の形態１〜実施の形態４に分けて詳細に説明する。

（１．実施の形態１）
図１は、本発明の実施の形態１にかかるメンテナンス活動支援システムの構成を示す機能的ブロック図である。メンテナンス活動支援システム１０００は、フィールド端末１と、管理サーバ２とが、ネットワーク３でそれぞれ接続されてなる。

フィールド端末１は、情報処理ユニット１ａと、情報入出力ユニット１ｂとを備える。情報入出力ユニット１ｂは、フィールドにおけるマルチメディア情報を入力し、情報処理ユニット１ａに送信する。情報処理ユニット１ａは、情報入出力ユニット１ｂから受信したマルチメディア情報を情報処理して、管理サーバに送信する。情報処理ユニット１ａはまた、情報入出力ユニット１ｂに対してマルチメディア情報を入出力させる。

管理サーバ２は、情報処理ユニット２ａと、情報入出力ユニット２ｂとを備える。情報処理ユニット２ａは、フィールド端末１から送信されたフィールドにおけるマルチメディア情報を受信し、情報処理して、情報入出力ユニット２ｂに出力する。また、情報入出力ユニット２ｂは、管理サーバ２の操作者からの音声・キーボードからの操作入力などを受け付ける。情報処理ユニット２ａは、情報入出力ユニット２ｂから受け付けた入力情報に従って情報処理を施してフィールド端末１に送信する。情報処理ユニット２ａはまた、処理を施した情報を情報入出力ユニット２ｂに出力させる。以下、フィールド端末１および管理サーバ２の順序で説明する。

図２は、メンテナンス現場の作業者がフィールド端末を装着した状態を説明する図である。フィールド端末１は、現場の画像情報、音声情報などのフィールドに関連する情報の入力を受け付ける。フィールド端末１は、メンテナンス作業を行うフィールド（現場）において、メンテナンスを行う作業者Ａが身体に装着する端末である。フィールド端末１を装着する場合、身体に装着するのはフィールド端末１の一部であっても良く、あるいは全部であったも良い。ネットワーク３は、身体に装着して操作するために、無線ＬＡＮを含むものであることが望ましい。

管理サーバ２は、フィールド端末１から送信されてくる現場における画像情報、音声情報を含む情報を受信して表示する。表示された情報を見ながら管理サーバ２の操作者は、必要な指示情報、あるいは連絡すべき情報などを入力する。管理サーバ２は、入力された情報を受け付けて、フィールド端末１に送信する。

こうして、現場におけるフィールド端末１から、現場の状況がマルチメディア情報でネットワーク３を介して管理サーバ２に伝えられて表示され、管理サーバ２は表示を介して操作者からの必要な指示入力を受け付け、ネットワーク３を介してフィールド端末１にマルチメディア情報を送信する。

このようにして、操作者が現場での状況をリアルタイムにマルチメディア情報で双方向的に送受信することによって、管理サーバ２側においては、リアルに体感的にフィールド側の状況を認識するができる。管理サーバ２を専門的知識を有する操作者が操作する場合、現場に対して専門的で的確な指示を、リアルタイムにマルチメディア情報で双方向的に伝達する。

図１および２を参照しながら、操作者Ａが操作するフィールド端末１の機能を説明する。メンテナンス作業者Ａは、メンテナンスすべき機器に対して現場（フィールド）で、メンテナンス活動を行う。

情報処理ユニット１ａは、入力部１１、活動情報処理部１２，出力部１３、通信部１４、および記憶部１９を有する。

情報入出力ユニット１ｂは、カメラ１５ａおよびｂ、キーボード１６、液晶ディスプレー１７ｄ、ヘッドマウントギア１８、およびＵＳＢ端子１９ｂを有する。

ヘッドマウントギア１８は、フィールドにおいてメンテナンス活動を実行する操作者が頭部に装着するものであり、ヘッドマウントディスプレー（ＨＭＤ）１８ａ、イヤホーン１８ｂ、およびマイク１８ｃを有する。

ＨＭＤ１８ａは、小型の液晶ディスプレーであって、眼鏡のように人体の眼部に近接する位置において、操作者Ａが表示される画像を見るものである。液晶ディスプレーは、透明もしくは半透明であることが望ましい。イヤホーン１８ｂは音声を出力し、操作者は音声情報を聴覚によって認識できる。マイク１８ｃは、操作者の声、あるいはメンテナンスすべき機器の発する動作音などを音声情報として入力する。キーボード１６は、操作者による操作入力を受け付けて、情報処理ユニット１ａに送信する。キーボード１６は、マウス機能（１６ａおよびｂ）を備える。

ヘッドマウントギア１８は、ＨＭＤ１８ａ、イヤホーン１８ｂおよびマイク１８ｃとが分離した構造とすることも、あるいは、一体型の構造とすることもできる。また、ヘッドマウントギア１８に対して、カメラ１５ａを一体的に装着する構成としてもよい。

カメラ１５ａおよびｂは、デジタル方式の撮像手段であって、スチール写真および動画と両方の撮影が可能である。例えば、カメラ１５ａおよびｂのうち一方を画素数が少なくヘッドマウントギア１８に装着し、概ね操作者の視線の方向を常に撮影するものとしてもよい。他方のカメラは、画素数が多く、精細な画像を撮影する。

ＵＳＢ端子１９ｂは、メンテナンスすべき機器にあるＵＳＢポートに接続して該機器のログ記録情報などを取得することができる。

フィールド端末１において、情報処理ユニット１ａの入力部１１は、情報入出力ユニット１ｂから送信される音声・画像を含むマルチメディア情報、およびキーボード１６からの入力情報を受け付ける。

活動情報処理部１２は、入力部１１を介して入力を受け付けた情報を、閲覧・記録が可能なようにデータ処理する。活動情報処理部１２は、オフライン状態でも処理可能であり、処理したデータを記憶部１９に格納する。活動情報処理部１２は、操作者からのキーボード１６を介した操作入力を入力部１１が受け付けた場合、受け付けられた入力に従って、入力したマルチメディア情報に対してデータ処理を施す。

出力部１３は、活動情報処理部１２によって処理を施されたマルチメディアを含む情報を、イヤホーン１８ｂに音声出力させ、またＨＭＤ１８ａに映像表示出力させる。

通信部１４は、管理サーバ２との間で情報通信を行い、通常、１対１の通信ソフトウェアであり、トランスコーディング（リフローイング）機能、およびトラフィックコントロース機能を実現するソフトウェアを含む。また、通信部１４は、遠隔操作で明示的あるいは自動的に制御可能なＱｏｓ（Ｑｕａｌｉｔｙ Ｏｆ Ｓｅｒｖｉｃｅ）機能を備え、活動情報処理部１２が処理を施した情報を、管理サーバ２ａに送信する。

ここで、情報処理ユニット１ａは、図２に示すように携帯型のパーソナルコンピュータ（ＰＣ）１７として実現できる。また、図１の液晶ディスプレーは、管理サーバ２との通信などで詳細な画像を見る場合に使用する。ＨＭＤ１８ａで代用できる場合は、液晶ディスプレー１７を構成から省略しても良い。

管理サーバ２の情報処理ユニット２ａは、入力部２１、支援情報処理部２２、出力部２３、通信部２４、および記憶部２９を備える。管理サーバ２の情報入出力ユニット２ｂは、モニタ２５、スピーカ２６、マイク２７、キーボード２８ａ、およびマウス２８ｂを備える。

情報処理ユニット２ａの通信部２４は、フィールド端末１から送信されるマルチメディア情報を受信する。通信部２４は、１対１通信ソフトウェア、およびトランスコーディング（リフローイング）機能を有するソフトウェアを含む。

支援情報処理部２２は、通信部２４が受信したマルチメディア情報を閲覧し記録する閲覧・記録ソフトウェア、およびフィールド側のメンテナンス活動を支援する支援ソフトウェアを備えて構成する。

出力部２３は、支援情報処理部２２が処理を施したマルチメディア情報を、情報入出力ユニット２ｂに出力する。入力部２１は、情報入出力ユニット２ｂからの情報を受信して、支援情報処理部２２、および通信部２４に送信する。通信部２４は、支援情報処理部２２によって処理された情報、および入力部２１が情報入出力ユニット２ｂから受信した情報を、フィールド端末１に送信する。

情報入出力ユニット２ｂのモニタ２５は、支援情報処理部２２によって処理されたデータ、および通信部２４が受信した画像、あるいは出力部２３が出力する画像を表示する。

スピーカ２６は、支援情報処理部２２によって処理された音声情報、および通信部２４が受信し出力部２３が出力するフィールド側からの音声情報を、音声として出力する。

マイク２７は、管理サーバ２の操作者が発する音声、あるいはフィールド側に伝達すべき正常な機械音などの音声情報を入力する。キーボード２８ａおよびマウス２８ｂは、操作者の操作入力による入力情報を受け付ける。

入力部２１は、キーボード２８ａおよびマウス２８ｂによって受け付けられた入力情報、およびマイク２７を介して受け付けられた音声情報を受信する。入力部２１が受信した情報、および支援情報処理部２２が処理したデータは、通信部２４によってフィールド端末１に送信される。

記憶部２９は、管理サーバ２に入力された情報、出力された情報、送受信された情報を記録する。記憶部２９は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）記録装置を適用することが望ましい。少ないコストで、大容量の記憶をすることができるからである。また、記憶部２９による記録は、時系列的な流れで、各マルチメディア情報が記憶されることが望ましい。

図３は、実施の形態１によるメンテナンス支援システムのフィールド端末において表示される画面を説明する模式図である。フィールド端末１のＨＭＤ１８ａには、画面３００が表示されている。フィールド端末１において操作者Ａ（図２）がメンテナンスすべき機器に対してメンテナンス作業を実行する際に、操作者Ａがフィールド端末１をＯＮすると、メンテナンス活動を支援するために管理サーバ２ａから送信されてくる情報を表示したものである。

アイコン３０５は、マイクを介した音声入力のオン・オフを切り替えるものである。操作者Ａがアイコン３０５をクリックして話すと、話した音声はマイクを通じて、音声情報としてフィールド端末１から管理サーバ２に送信される。

アイコン３０７は、イヤホーン１８ｂによる音声出力のオン・オフを切り替えるものである。操作者Ａがアイコン３０７をクリックすると、管理サーバ２から送信されて記録された音声情報がイヤホーン１８ｂを通して出力され、音声で管理サーバ２からの指示事項やアドバイスなどを聞くことができる。あるいは、マイク１８ｃによって録音された音声を聞くことができる。

機械部分の画像３１０は、操作者Ａがカメラ１５ｂによってメンテナンスすべき機器の該機械部分を精細に撮影した画像である。画像３１０は、機械部分の詳細が視覚的に把握できるように精細に拡大されて表示されている。画像３１０は、撮影後そのまま表示されても良く、あるいは、一度管理サーバ２ａに送られてから送信されたものを受信して表示するものであっても良い。

画像３２０は、他のカメラ１５ａが撮影したビデオ画像であり、管理サーバ２ａに送信されて管理サーバ２ａにおいて表示されているモニタ画像を表示しても良い。画像３３０は、画像３１０を管理サーバ２がモニタしている画像である。

時間軸画像３４０は、時間の流れを時系列的に表現している。時間軸画像３４０は、操作者Ａがフィールド端末１をＯＮすると同時にＨＭＤ１８ａに表示される。この時間軸画像３４０上の点に対応して、各種イベントにより取得されたマルチメディア情報が、イベントに対応する時間軸上に関連づけられて記憶されている。

画像３５１は、対応する時間軸画像３４０上においてメンテナンスを開始して、スキャナ作動の音声情報および高画質の動画情報を取得したことを表している。この部分のアイコンをクリックすると動画像をＨＭＤ１８ａに表示させることができる。

画像３５２は、機械の全体的な異音をマイク１８ｃで録音したことをアイコンで表示している。この部分のアイコンをクリックすると録音された異音をイヤホーン１８ｂで出力させることができる。

画像３５３は、印字した汚れが目立つことをカメラ１５ｂによって接写した印字結果を、管理サーバ２に送信して処理され、返信されて受信したものを表示している。この時の画像３５３は、また、操作者が話した言葉「印字汚れが目立つ」が音声情報として記録を残されていることを示す。この部分のアイコンをクリックすると、画像および音声がそれぞれ出力され、操作者Ａは画像および音声によって確認することができる。

画像３５７は、機械部分から「ギコギコという異音」が発生したものを録音したことを示しており、発生した異音に対応する機械部分が画像３５４であることを示している。また、ここでの録音は高音質録音であって、ＰＣ上ではウェイブ波形データ３５６として記憶され、またモニタ２５に表示される。アイコンをクリックすると、同様にマルチメディアで出力できる。

画像３６０は、管理サーバ２ａの操作者が、フィールド端末１から送られた画像と異音から判断して、「部品Ｂの拡大写真を送って」と音声で連絡してきた情報を記憶したことを表している。画像３５８は、カメラ１５ｂによって高画質の写真を撮影して送信したことを表している。アイコンのクリックにより出力するのは同様である。

画像３５９は、管理サーバ２の操作者Ｂが、音声によって「部品Ｂを交換しよう」と指示した情報を受信して記録したことを示している。また、画像３５８は、カメラ１５ｂによって撮影された機械部分の該当箇所に限定した高画質な写真画像情報のサムネイル画像である。ここをクリックすると、実際に高画質で撮影された高画質な画像が表われる。そして、この該当箇所の高画質な画像を初めとしてフィールド端末１で取得して管理サーバ２に送信された各種の情報は、管理サーバ２において格納される。

画面上にアイコンなどで表示された画像・音声情報は、フィールド端末１で取得して管理サーバ２ａに送られて必要なデータ処理を施されて送り返されたものを受信して出力する構成と、フィールド端末１で取得してそのままフィールド端末１において出力する構成があるが、必要に応じて適宜選択して出力される。また、フィールド端末１における種々の情報の入力は、管理サーバ２に送信されるが、フィールド端末１においてそれらの情報を逐一記憶する構成とすることもでき、あるいは選択的に記憶する構成とすることもできる。

管理サーバ２ａ側では、フィールド端末１から受信した音声情報と画像情報とを出力する。出力された画像あるいは音声によって操作者は適宜必要な指示事項を入力し、受け付けられた入力によって、例えば、音声による「部品Ｂを交換しよう」という指示情報が、送信されてフィールド端末１に伝達される。フィールド端末１では、この指示情報を受信して、フィールド端末１において操作者Ａは受信した指示に従ってメンテナンス活動を進行する。

図４−１は、実施の形態１によるメンテナンス支援システムの管理サーバにおいて表示される画面を説明する模式図である。管理サーバ２のモニタ２５に表示された画面情報４００は、フィールド端末１の操作者Ａ（図２）がメンテナンスすべき機器に対してメンテナンス作業を実行している間、フィールド端末１のカメラ１５ａおよびｂ、マイク１８ｃからの音声・画像情報、およびキーボード１６が受け付けた操作者Ａの操作入力の情報が、管理サーバ２ａに送信されて、支援情報処理部２２がデータ処理を施し、出力部２３がモニタ２５に表示させたものである。

表示された画像４０１は、メンテナンス作業を実行しているフィールドにおける湿度、気温などを表示している。ここでは、気温２５℃、湿度７５％、天候曇りのち雨という情報が表示されている。このデータは、フィールド端末１において操作者Ａが入力することができるが、また、一部のデータについては、Ｗｅｂ上の情報を自動的に表示する構成としても良い。メンテナンスを施そうとする機器は、環境に影響されることがあるからである。

表示４０２は、最近までのメンテナンスの類似事例についてのデータを表示しており、ここでは最近の事例５０件のうち類似事例が５件発生していることを表している。これは、操作者Ａが入力したものを表示する。あるいは、機器におけるログデータをフィールド端末１のＵＳＢ端子１９ｂを介して取得して送信した場合、管理サーバ２側で解析して表示する構成とする。

表示４０３は修理履歴を表す。また、過去事例のログアイコン４０４をクリックすると、具体的な修理の事例が表示される。

画像４１０は、機器の全体像を操作者Ａが操作するカメラ１５ａが撮影したものを表示したものである。スクロールバー４１２を操作することによって、表示する機器の部分を移動することができる。また、キーボード２８ａあるいはマウス２８ｂを操作することによって入力された操作情報から、表示された画像を拡大縮小する構成とすることができる。

管理サーバ２ａのモニタ２５に表示される情報は、フィールド端末１において操作者Ａがメンテナンス作業を進行するに従って、フィールド端末１から送信される情報を受信して、リアルタイムにマルチメディア情報で双方向的に出力されるものである。

以下、画面４００において表示される画像の多くは、図３において説明したフィールド端末１が取得したマルチメディア情報を含む情報を、リアルタイムで管理サーバ２ａのモニタ２５に表示するものであり、同時にフィールド端末１に対しても、一部が送信されて表示されるものである。

時間軸画像４２０は、時間の流れを表現する時系列的な時間軸である。時間軸画像４２０上の点に対応して、各種入力手段から取得された情報が、位置に関連して記憶されている。例えば、画像４２１は対応する時間軸画像４２０上においてスキャナ作動の音声情報と、高画質動画情報を取得して格納されていることを表している。アイコンをクリックするとそれぞれの情報が出力されることはフィールド端末１について説明したと同様である。

また、画像４２２は、時間軸画像４２０上の対応する時点において、収録された機械の全体的な異音情報をアイコンで表示し、クリック操作によって出力する。

また、画像４２３は、印字した際に汚れが目立つ印字サンプルを、カメラ１５ｂによって接写した画像を受信して記録したことを表わしている。この時の画像４２２の上のアイコン４２３ｂは、操作者が話した言葉「印字汚れが目立つ」が音声情報として記録されていることを示し、アイコンのクリック操作によって出力する。

画像４２４ａは、機械部分から「ギコギコという異音」が発生している音声情報が格納されていることを示す。また、対応する機械部分が画像４２４ａとして記録されていることを示す。ここでの録音は高音質録音であって、ＰＣ上ではウェイブ波形データ４２４ｃとして記憶されている。アイコンのクリック操作によってそれぞれの情報を出力する。

画像４２４ｂは、管理サーバ２の操作者が異音を聞いて音声で「部品Ｂの拡大写真を送って」と連絡した音声情報が記録されていることを表している。

画像４２７は、管理サーバ２の操作者が音声によって「部品Ｂを交換しよう」と指示した音声情報が格納されていることを示している。

また、画像４２６は、フィールド端末１において操作者Ａがカメラ１５ｂによって高画質の写真を撮影して送信し、記録されていることを表したサムネイル画像である。このサムネイル画像４２６をクリックすることによって、高画質で撮影された写真画像を見ることができる。

このようにして、管理サーバ２の操作者による画像・音声の指示情報は、管理サーバ２からフィールド端末１に送信されて、フィールド端末１において画像・音声出力されてフィールド端末１において操作者Ａに必要なアドバイスや指示を伝達することができる。

図４−２は、実施の形態１によるメンテナンス支援手順を説明するフローチャートである。フィールド端末１を装着した操作者がカメラ１５ａのスイッチを入れると、画像を取得開始する（ステップＳ１０１）。操作者は、また、機械音や機器の状態についての説明をマイク１８ｃを通して行う（ステップＳ１０２）。操作者は、また、ＵＳＢ端子１９ｂから機器のログ情報を取得する（ステップＳ１０３）。取得された情報は入力部１１を介して活動情報処理部に送信され、音声画像情報を含む活動情報として圧縮処理などの処理を施され（ステップＳ１０４）、通信部１４によって管理サーバ２に送信される（ステップＳ１０５）。

管理サーバ２の通信部２４は、フィールド端末１の通信部１４から送信された情報を受信し（ステップＳ１０６）、スピーカが音声出力し（ステップＳ１０７）、画像を、モニタ２５に表示させる（ステップＳ１０８）。表示を見て音声を聞いた管理サーバ２側の操作者は、マイクを通して必要な事項を音声情報として伝え（ステップＳ１０９）、キーボードやマウスによって操作情報を入力する（ステップＳ１１０）。管理サーバ２の支援情報処理部２２は、受信した画像または音声情報に対して、入力された操作情報に従って、フィールド端末１の操作者に伝えるべき支援情報処理を施し（ステップＳ１１１）、通信部は、支援情報処理を施された情報を送信する（ステップＳ１１２）。

フィールド端末１の通信部は、管理サーバ２からの情報を受信し（ステップＳ１１３）、音声情報をイヤホーン１８ｂから出力し（ステップＳ１１４）、ヘッドマウントディスプレー１８ａから表示すべき情報を表示する（ステップＳ１１５）。入力部が、フィールド端末１をＯＦＦする信号の受け付けを検出状態にあり（ステップＳ１１６）、受け付けた場合は（ステップＳ１１６のＹｅｓ）終了し、受け付けない場合（ステップＳ１１６のＮｏ）は、ステップＳ１０１に戻る。

図５は、実施の形態による管理サーバのモニタに表示される画面の一部について説明する図である。管理サーバ２のモニタ２５に表示された画面５００中の画像５０２は、フィールド端末１から送信されてきた印字サンプルである。画像５１０は、印字サンプル画像５０２がさらに拡大されたものである。画像５１０中において、余白の歪み５１２、罫線５１１、および汚れが読み取れる。

画像５０３は、メンテナンスすべき機器の全体画像である。画像５０４は、フィールド端末１において操作者Ａが機器を動作させて異音情報を取得する際の全体的な画像である。

画像５０１は、ネットワークの混み具合を模式的に表したものである。図中のアイコン５０２ａ、５０３ａ、および５０４ａは、オン・オフのクリック操作入力を受け入れ、それぞれの画像に対応する音声情報の入力のオン・オフを決定するものである。

画像５０３ｂ、５０４ｂ、および５０４ｃは、収録した音声情報をそれぞれ出力して聞くためのアイコンである。なお、図５は管理サーバ２のモニタに表示される画面として説明したが、同様に、フィールド端末１において表示する画面においても、同様の表示方式を適用することができる。

このようにして、管理サーバ２とフィールド端末１とがネットワーク３で接続されたメンテナンス支援システムにおいては、フィールド端末１において操作者Ａがメンテナンス活動を進行させる時に、カメラ、マイク、およびキーボードなどによって入力を受け付けられたマルチメディア情報を含む情報を、ネットワーク送受信に適した形にデータ処理して管理サーバ２に送信しモニタ２５に表示するので、管理サーバ２を操作する専門的知識を有する操作者は、現場（フィールド側）における機器の状況を生々しく認識することができ、それ故、的確に判断し、指示事項やアドバイス、あるいは資料などをマルチメディア情報によってフィールド側に送信し、フィールド側では送信された専門的な判断による指示事項やアドバイス、あるいは資料などをマルチメディア情報で受信して表示することができるので、多数のメンテナンス要員による大量のメンテナンス作業に対しても、より少ない要員の専門家が管理サーバ側に配置されたならば、集中的に的確にメンテナンス活動を支援して実行することができるので、リアルタイムにマルチメディア情報で双方向的に効率的で的確なメンテナンス活動を支援することができる。

（２．実施の形態２）
図６−１は、本発明の実施の形態２による営業支援システムの機能的ブロック図である。図７は、実施の形態２による営業支援システムにおける営業員側と顧客側との情報の遣り取りを説明する図である。この営業支援システム２０００は、フィールド端末１と、顧客端末４とがネットワーク３で接続されてなる。ここで、実施の形態２によるフィールド端末１および顧客端末４とは、それぞれの機能的構成は実施の形態１によるメンテナンス支援システムにおけるフィールド端末１および管理サーバ２とに対応するので、異なる部分についてのみ重点的に説明する。

実施の形態２による営業支援システムは、顧客が自宅にいて新しく自動車を購入したいと思っているような場合に、実際にディーラーに足を運んで実車を検分する前に、販売店にいる営業員が、該顧客の要望に添って要望する車についてリアルタイムにマルチメディア情報で双方的に情報を伝えることによって営業を支援するシステムである。

営業員はフィールド端末１を装着し、顧客はネットワーク３を介してフィールド端末１から送信されてくる実車のマルチメディア情報を、ネットワーク３で接続した顧客のパソコン８５０のモニタ８５１の画面８５５を見る。ここでは、顧客のＰＣ環境が実施の形態１における管理サーバ２に相当し、画面を見ながら音声による指示あるいは操作入力によって営業員のフィールド端末１に指示情報を送信する。顧客からの指示情報などを受信したフィールド端末１を装着する営業員は、指示される例えば、車のインテリアあるいはイクステリアなどの画像や、エンジン音などの音声情報を取得して顧客に送信することによって、顧客はマルチメディア情報を送受信しながら実車を体感することができる。

図６−２は、実施の形態２による営業支援手順を説明するフローチャートである。顧客端末４側において、フィールド端末１側に対して、アクセスを開始し、マイク２７を介して顧客は音声情報によって購入したい旨を音声入力すると（ステップＳ２０１）、通信部２４は入力した音声情報を営業員が装着するフィールド端末１に送信する（ステップＳ２０２）。

フィールド端末１の通信部１４は、顧客からの音声情報を受信し（ステップＳ２０３）、要望に添ってカメラ１５ａとマイク１８ｃを操作し、入力部１１はカメラによる撮影画像情報を受け付け（ステップＳ２０４）、マイクを介して音声情報を受け付ける（ステップＳ２０５）。フィールド端末１の通信部１４は、映像・音声情報を顧客端末４に送信する（ステップＳ２０６）。

顧客端末４の通信部２４は、映像・音声情報を受信し（ステップＳ２０７）、出力部２３はスピーカ２６から音声出力させ（ステップＳ２０８）、モニタ２５に映像を表示させる（ステップＳ２０９）。例えば車体の外観の映像や、エンジン音の音声を聞いた顧客は、顧客端末４のキーボード２８ａ・マウス２８ｂを介して操作情報を入力し（ステップＳ２１０）、入力部２１によって受け付けられた操作情報に従って、支援情報処理部は、例えば車体の拡大してみたい箇所を画像上にマークを付する画像処理を施すなど、支援情報処理を施す（ステップＳ２１１）し、通信部２４は、支援情報処理を施された情報をフィールド端末１に送信する（ステップＳ２１２）。

フィールド端末１の通信部２４は送信された情報を受信し（ステップＳ２１３）、イヤホーンから顧客の声を出力し（ステップＳ２１４）、またヘッドマウントディスプレー１８ａから表示すべき情報を表示する（ステップＳ２１５）。ここで、入力部１１は、ＯＦＦ信号を受け付けたか否かを検出状態にあって（ステップＳ２１６）、検出した場合は（ステップＳ２１６のＹｅｓ）そのまま終了し、検出しない場合（ステップＳ２１６のＮｏ）はステップＳ２０３に戻る。

図７に示した画面中の画像８０１は、営業員Ｂがヘッドギアを装着して車の外観を、ヘッドギアに装着したカメラで車の外観を撮影していることを表示している。撮影された車の外観の画像情報は、画像８０２として表示されて、ネットワーク３を介してつながる顧客のパソコン８５０に送信され、モニタ８５１上に同様の画像８５５として表示される。また、営業員Ｂが装着するマイクを通してエンジン音が音声情報として入力され、入力されたエンジン音は、顧客Ｃのパソコン８５１に送信されて、パソコンにつながるスピーカ（不図示）によって音声出力される。出力された画像や音声によって、顧客Ｃは様々な角度から車を見る画像を見ることができ、エンジン音を聞き、あるいはシートに座った位置からのインテリアの状態などをマルチメディア情報によって確認することができる。

（３．実施の形態３）
図８は、本発明の実施の形態３によるインストラクト支援システムの機能的ブロック図である。図９は、実施の形態３によるインストラクト支援システムをゴルフのレッスンに適用した例を説明する図である。この実施の形態３では、フィールド側において複数のフィールド端末１を使用する。

このインストラクト支援システム３０００では、画像１００１に示すように、フィールド側におけるインストラクターＥが生徒に対してインストラクトし（教え）ながら、そのインストラクトの状態をマルチメディア情報として取得してインストラクトサーバ５に送信し、インストラクトサーバ５から、インストラクターＥおよび生徒Ｄに対して、インストラクションのためのアドバイスや指示を内容とするマルチメディア情報をリアルタイムに双方向的に伝達する。マルチメディア情報の入力には既述のイヤホーン１８ｂおよびマイク１８ｃが使用される。

実施の形態３によるインストラクト支援システムが、実施の形態２による営業支援システムにおいて行った説明と異なる点は、顧客端末４の代わりにインストラクトサーバ５を備えた点である。また、フィールド側においては、フィールド端末１をインストラクターおよび生徒の両方が装着することである。

ここで、実施の形態３によるフィールド端末１およびインストラクトサーバ５は、それぞれの機能的構成が実施の形態２による営業支援システムにおけるフィールド端末１および顧客端末４と同じであるので、異なる部分についてのみ説明する。

フィールド側においては、インストラクターＥおよび生徒Ｄの両方がフィールド端末を装着するものとして説明するが、実際の適用においてはフィールド端末の備える機能を、インストラクター用および生徒用に分けて、インストラクター用フィールド端末、および生徒用フィールド端末として構成することもできる。

生徒Ｄはゴルフのレッスンをゴルフ練習場のインストラクターＥから受けている（画像１００１）。生徒ＤおよびインストラクターＥは、それぞれが装着しているカメラによって練習の有様をリアルタイムで管理サーバにマルチメディア情報で伝達できる。

インストラクトサーバ５は、インストラクトを指導する所謂一流のトッププロが操作者Ｆとして操作する。操作者Ｆは、ＰＣ１０５０に接続するモニタ画面１０５５ａおよび１０５５ｂ、スピーカ（不図示）からの画像（１０５６ａおよび１０５６ｂ）・音声によって、インストラクターＥが生徒に対して行うゴルフ場でのレッスンを、リアルタイムにマルチメディア情報で双方向的に視聴することができる。

例えば、生徒Ｄがゴルフ球を打った画像は、インストラクターＥの装着するフィールド端末１の備えるカメラ（不図示）によって取得されて管理センタに送信され、モニタを見ている操作者Ｆは、体の開きとか、肩のラインなどを矯正するアドバイスを音声で与えて指導する。また、インストラクトの仕方をインストラクターＥにアドバイスすることができる。

（変形例）
図１０は、変形例によるインストラクト支援システムにおいて、テニスのレッスンを行うことを説明する図である。変形例によるインストラクト支援システムが、実施の形態３と異なる点は、試合をする生徒２人が、フィールド端末をそれぞれ装着し、フィールドにおけるインストラクターがいない点である。２人の生徒Ｇ１，Ｇ２がそれぞれテニスの試合、あるいは練習を行い、その映像がインストラクトサーバ５に送信され、モニタしている所謂一流トッププロが、生徒２人に対するアドバイスが、インストラクトサーバ５によって受け付けられてマルチメディア情報で伝達される。

変形例によるインストラクト支援システムの構成は、実施の形態３によるインストラクト支援システムと同様であるが、フィールド側においては、生徒用のフィールド端末を双方が装着することである。

画面１１０１は、一方の生徒Ｇ１が見ているものを、装着しているカメラが取得した画像情報であり、生徒Ｇ１がサーブを正に行おうとする瞬間の画像である。画像１１０２は、相手の生徒Ｇ２が生徒Ｇ１が打ったサーブをレシーブしようとしている画像である。

こうして、生徒Ｇ１およびＧ２が練習試合をしている様子が、それぞれ装着しているフィールド端末の備えたカメラの撮影によってリアルタイムでインストラクトサーバ５にマルチメディア情報で双方向的に伝達される。

インストラクトサーバ５には、所謂一流トッププロが操作者Ｈとして控えており、モニタ１１５５ａおよび１１５５ｂ上の画像１１５６ａ、１１５６ｂやスピーカからの音声によって、生徒に対するテニスコートでのレッスンをリアルタイムに実感を持って視聴することができ、そして、インストラクトサーバ５の操作者Ｈがアドバイスしようとする場合は、生徒のトスの位置、ラケットの軌道、あるいは打ち返す位置などについてのアドバイスを音声でリアルタイムに双方向的に指導することができる。

図１１は、日本におけるスポーツクラブに入会している会員の推移を示すグラフである。図１２は、日本人のスポーツ参加の傾向を示すグラフである。図１１に示すように、個人のスポーツクラブの会員は、１９８９年以来増え続けている。また、図１２に示すように、スポーツを少ししかしない人口は減少し、スポーツを適度以上にこなす人口は増加傾向にある。従って、実施の形態３および変形例によるインストラクト支援システムは、スポーツ人口が増加してインストラクターが不足するという問題を解決し、優れたインストラクターによる指導を受けたいという社会的なニーズに応えることができる。

（４．実施の形態４）
図１３−１は、本発明の実施の形態４による自動車の故障診断支援システムを説明する図である。実施の形態４による自動車の故障診断支援システムの機能的構成が、実施の形態１によるメンテナンス支援システムと異なる点は、画像音声情報の入出力手段である情報入出力ユニット２ｂ、および入出力する音声・画像情報を含む情報を処理して通信する情報処理ユニット１ａとして、携帯電話機の備える入出力機能および情報処理機能を使用する点である。即ち、実施の形態４による自動車の故障診断支援システムにおいては、フィールド端末として携帯電話１４０１を適用するものである。

携帯電話機１４０１は撮像機能を備えた、所謂カメラ付き携帯電話で、超小型大容量ハードディスク（ＨＤ）１９ｆを備える。携帯電話機１４０１はここでは、取り扱い性を向上させるために、外付けのイヤホーン１８ｂとマイク１８ｃを備える。例えば、ドライバーあるいは車の所有者は、自己の携帯電話機１４０１でエンジンルーム部分を写真撮影して管理サーバ１４００に送信する。

図１３−２は、実施の形態４による故障診断手順を説明するフローチャートである。携帯電話１４０１の入力部１１は、マイクを介して故障を起こしたユーザが故障状況を説明した内容を音声情報で受け付け（ステップＳ３０１）、付属するカメラ１５ａによって撮影された画像情報を受け付け（ステップＳ３０２）、携帯電話１４０１内部の活動情報処理部は１２は受け付けた情報を活動情報としての処理を施し（ステップＳ３０４）、通信部１４が処理を施された情報を管理サーバ１４００に送信する（ステップＳ３０４）。

管理サーバ１４００の通信部２４は、活動情報を受信し（ステップＳ３０５）、出力部２３がスピーカから音声出力させ（ステップＳ３０６）、モニタ２５に画像を表示させる（ステップＳ３０７）。管理サーバの操作者である故障診断の専門家は、故障の説明と故障部分の画像から、音声による指示（ステップＳ３０８）、あるいは故障箇所に対するマーキングをキーボード２８ａ・マウス２８ｂから入力すると、支援情報処理部２２は入力部で受け付けられた入力情報に従って支援処理を施して（ステップＳ３１０）、通信部２４は支援処理情報を携帯電話１４０１に送信する（ステップＳ３１１）。

携帯電話１４０１の通信部１４は支援サーバからの支援処理を施された情報を受信し（ステップＳ３１２）、出力部１２はイヤホーンから音声出力し（ステップＳ３１３）、携帯電話の表示画面に表示すべき情報を表示する（ステップＳ３１４）。入力部１１はＯＦＦ信号を検出状態にあり（ステップＳ３１５）、検出しなければ（ステップＳ３１５のＮｏ）ステップＳ３０１に戻り、検出した場合は（ステップＳ３１５のＹｅｓ）そのまま終了する。

この自動車の故障診断支援システムの管理サーバ１４００においては、自動車１４０３の故障診断についての専門家としての操作者Ｋが、管理サーバ１４００のＰＣ１４５１に接続するモニタ１４５５ａおよび１４５５ｂを見ながら、例えばオイル漏れを画像を通してチェック、またエンジン音を聞いて故障箇所などを判断し、ドライバーの持つ携帯電話１４０１と必要なアドバイス・指示情報などを送受信することによって、効率良く的確な故障診断を下すことができる。

また、実施の形態４においては、携帯電話機１４０１を使用することによって故障診断システム以外にも、営業支援システム、あるいはインストラクト支援システムなど、一般的な活動支援システムにも適用可能である。

（ハードウェア構成）
図１４は、かかる管理サーバのハードウェア構成を示すブロック図である。図に示すように、この管理サーバ２は、コントローラ１７１０とエンジン部１７６０とをＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスで接続した構成となる。コントローラ１７１０は、管理サーバ全体の制御とマルチメディア情報処理、通信、操作部（不図示）からの入力を制御するコントローラである。エンジン部１７６０は、ＰＣＩバスに接続可能な画像処理エンジンなどであり、例えば取得した画像データに対して誤差拡散やガンマ変換などの画像処理部分が含まれる。

コントローラ１７１０は、ＣＰＵ１７１１と、ノースブリッジ（ＮＢ）１７１３と、システムメモリ（ＭＥＭ−Ｐ）１７１２と、サウスブリッジ（ＳＢ）１７１４と、ローカルメモリ（ＭＥＭ−Ｃ）１７１７と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｅｒｃｕｉｔ）１７１６と、ハードディスクドライブ１７１８とを有し、ノースブリッジ１７１３とＡＳＩＣ１７１６との間をＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）バス１７１５で接続した構成となる。また、ＭＥＭ−Ｐ１７１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７１２ａと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７１２ｂとをさらに有する。

ＣＰＵ１７１１は、管理サーバ２の全体制御を行うものであり、ＮＢ１７１３、ＭＥＭ−Ｐ１７１２およびＳＢ１７１４からなるチップセットを有し、このチップセットを介して他の機器と接続される。

ＮＢ１７１３は、ＣＰＵ１７１１とＭＥＭ−Ｐ１７１２、ＳＢ１７１４、ＡＧＰ１７１５とを接続するためのブリッジであり、ＭＥＭ−Ｐ１７１２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩマスタおよびＡＧＰターゲットとを有する。

ＭＥＭ−Ｐ１７１２は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリなどとして用いるシステムメモリであり、ＲＯＭ１７１２ａとＲＡＭ１７１２ｂとからなる。ＲＯＭ１７１２ａは、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭ１７１２ｂは、プログラムやデータの展開用メモリ、画像処理時の画像描画メモリなどとして用いる書き込みおよび読み出し可能なメモリである。

ＳＢ１７１４は、ＮＢ１７１３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。このＳＢ１７１４は、ＰＣＩバスを介してＮＢ１７１３と接続されており、このＰＣＩバスには、ネットワークインターフェース（Ｉ／Ｆ）部なども接続される。

ＡＳＩＣ１７１６は、マルチメディア情報処理用のハードウェア要素を有するマルチメディア情報処理用途向けのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、ＡＧＰ１７１５、ＰＣＩバス、ＨＤＤ１７１８およびＭＥＭ−Ｃ１７１７をそれぞれ接続するブリッジの役割を有する。

このＡＳＩＣ１７１６は、ＰＣＩターゲットおよびＡＧＰマスタと、ＡＳＩＣ１７１６の中核をなすアービタ（ＡＲＢ）と、ＭＥＭ−Ｃ１７１７を制御するメモリコントローラと、ハードウェアロジック等により画像データの回転などを行う複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）と、エンジン部１７６０との間でＰＣＩバスを介してＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）１７４０、ＩＥＥＥ（ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ １３９４）インタフェース１７５０が接続される。

ＭＥＭ−Ｃ１７１７は、送信用画像バッファ、符号バッファとして用いるローカルメモリであり、ＨＤＤ１７１８は、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストーレジである。

ＡＧＰ１７１５は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ−Ｐ１７１２に高スループットで直接アクセスすることにより、グラフィクスアクセラレータカードを高速にするものである。

ＡＳＩＣ１７１６に接続するキーボード１７２０は、操作者からの操作入力を受け付けて、ＡＳＩＣ１７１６に受け付けられた操作入力情報を送信する。

以上説明した本発明の実施の形態あるいは変形例は、説明のための一例であって、本発明はここに説明したこれらの具体例に限定されるものではない。

以上のように、本発明にかかる活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラムは、遠隔地における種々の活動を情報処理技術を用いて支援する技術に有用であり、特に、フィールド（現場）で行う作業、教育、あるいは故障診断の際に、フィールドと離れた場所にある管理サーバなどとの間で、マルチメディア情報によって指示、アドバイス、あるいは資料をリアルタイムに双方向で通信して活動を支援する技術に有用である。

本発明の実施の形態１によるメンテナンス活動支援システムの構成を示す機能的ブロック図である。 メンテナンス現場の作業者がフィールド端末を装着した状態を説明する図である。 実施の形態１によるメンテナンス支援システムのフィールド端末において表示される画面を説明する模式図である。 実施の形態１によるメンテナンス支援システムの管理サーバにおいて表示される画面を説明する模式図である。 実施の形態１によるメンテナンス支援手順を説明するフローチャートである。 実施の形態１による管理サーバのモニタに表示される画面の一部について説明する図である。 本発明の実施の形態２による営業支援システムの機能的ブロック図である。 実施の形態２による営業支援手順を説明するフローチャートである。 実施の形態２による営業支援システムにおける営業員側と顧客側との情報の遣り取りを説明する図である。 本発明の実施の形態３によるインストラクト支援システムの機能的ブロック図である。 実施の形態３によるインストラクト支援システムをゴルフのレッスンに適用した例を説明する図である。 変形例によるインストラクト支援システムにおいて、テニスのレッスンを行うことを説明する図である。 日本におけるスポーツクラブに入会している会員の推移を示すグラフである。 日本人のスポーツ参加の傾向を示すグラフである。 本発明の実施の形態４による自動車の故障診断支援システムを説明する図である。 実施の形態４による故障診断手順を説明するフローチャートである。 実施の形態１による管理サーバのハードウェア構成図である。 従来例による教育支援システムのブロック図である。

符号の説明

１ フィールド端末１
１ａ 情報処理ユニット
１ｂ 情報入出力ユニット
２ 管理サーバ２
２ａ 情報処理ユニット
２ｂ 情報入出力ユニット
３ ネットワーク
１１、２１ 入力部
１２ 活動情報処理部
１３、２３ 出力部
１４、２４ 通信部
１９、２９ 記憶部
１５ａ、１５ｂ カメラ
１６ キーボード
１７ｄ 液晶ディスプレー
１８ ヘッドマウントギア
１９ｂ ＵＳＢ端子
１８ａ ヘッドマウントディスプレー（ＨＭＤ）
１８ｂ イヤホーン
１８ｃ マイク
２２ 支援情報処理部
２５ モニタ
２６ スピーカ
２７ マイク
２８ａ キーボード
２８ｂ マウス

Claims (30)

1. 画像・音声情報を含むマルチメディア情報の入力を受け付けてネットワークを介して送信する情報端末と、前記情報端末が送信するマルチメディア情報を前記ネットワークを介して受信し、受信したマルチメディア情報に関連する情報の入力を受け付け、受け付けられた関連する情報を前記情報端末に送信する支援装置とを備えて、前記情報端末の操作者の活動を支援する活動支援システムであって、
   前記情報端末は、
   前記情報端末を操作する操作者の頭部に装着し、音声情報の入力を受け付ける音声入力部、音声情報を出力する音声出力部、および表示すべき情報を受け付けて前記操作者の眼部近傍で前記表示すべき情報を視覚的に表示する表示部が、一体的に構成された頭部装着型入出力手段と、
   画像情報を取得する撮像手段と、
   前記音声入力部により入力される音声情報、および前記撮像手段により取得される画像情報を前記支援装置に送信し、かつ前記支援装置から送信される情報を受信する端末側通信手段とを備え、
   前記支援装置は、
   前記端末側通信手段が送信する前記音声情報および画像情報を受信する装置側受信手段と、
   前記装置側受信手段が受信した前記音声情報を出力する音声出力手段と、
   前記装置側受信手段が受信した前記画像情報を画面に表示する表示手段と、
   音声情報の入力を受け付ける音声入力手段と、
   前記表示手段が表示した画面上の画像から前記支援装置の操作者による操作入力情報を受け付ける装置側入力手段と、
   前記装置側入力手段が受け付けた前記操作入力情報に基づいて、前記装置側受信手段が受信した情報に対して関連する情報を付加する付加処理を含む支援情報処理を施す支援情報処理手段と、
   前記装置側入力手段が受け受けた操作入力情報、前記音声入力手段が受け付けた音声情報、および前記支援情報処理手段が支援情報処理を施した情報のうち少なくともいずれかの情報を前記情報端末に送信する装置側送信手段と、を備え、
   前記端末側通信手段は、前記装置側通信手段が送信する前記少なくともいずれかの情報を受信し、
   前記頭部装着型入出力手段の音声出力部は、前記端末側通信手段が音声情報を受信した場合は音声出力し、
   前記頭部装着型入出力手段の表示部は、前記端末側通信手段が画像情報を含む表示すべき情報を受信した場合は表示するものであることを特徴とする活動支援システム。
2. 画像・音声情報を含むマルチメディア情報の入力を受け付けてネットワークを介して支援装置に送信し、前記支援装置で関連する情報の入力を受け付けて受け付けられた前記関連する情報に基づいて前記マルチメディア情報に対して、操作者の活動を支援する支援情報処理が施されて返送される前記マルチメディア情報を受信し、出力して前記操作者の活動を支援する情報端末であって、
   前記支援装置との間で前記マルチメディア情報を送受信する端末側通信手段と、
   前記情報端末の操作者の頭部に装着し、音声情報の入力を受け付ける音声入力部、音声情報を出力する音声出力部、および表示すべき情報を受け付けて前記操作者の眼部近傍で前記表示すべき情報を視覚的に表示する表示部が、一体的に構成された頭部装着型入出力手段と、
   画像情報を取得する撮像手段と、を備え、
   前記端末側通信手段は、前記音声入力部により入力される音声情報、および前記撮像手段により取得される画像情報を前記支援装置に送信し、
   前記頭部装着型入出力手段の音声出力部は、前記端末側通信手段が前記支援装置から音声情報を受信した場合は音声出力し、
   前記頭部装着型入出力手段の表示部は、前記端末側通信手段が前記支援装置から画像情報を含む表示すべき情報を受信した場合は表示するものであることを特徴とする情報端末。
3. 前記頭部装着型入出力手段の表示部は、透明または半透明のパネル上に表示すべき情報を表示するものであることを特徴とする請求項２に記載の情報端末。
4. 前記頭部装着型入出力手段と撮像手段は、一体型に構成されていることを特徴とする請求項２または３に記載の情報端末。
5. さらに、機器に関する状況の記録であるログ情報の入力を受け付ける端末側入力手段を備え、
   前記頭部装着型入出力手段の表示部は、前記端末側通信手段が前記端末側入力手段が受け付けた前記ログ情報を送信して、送信した前記ログ情報のログ解析情報を受信した場合、前記ログ解析情報を表示するものであることを特徴とする請求項２〜４のいずれか１つに記載の情報端末。
6. 前記端末側入力手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子を備えて前記ログ情報の入力を受け付けるものであることを特徴とする請求項２〜５のいずれか１つに記載の情報端末。
7. 前記端末側通信手段は、前記ネットワークの混み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする請求項２〜６のいずれか１つに記載の情報端末。
8. 前記端末側通信手段は、情報を圧縮して送信するものであることを特徴とする請求項２〜７のいずれか１つに記載の情報端末。
9. さらに、前記端末側通信手段が送受信する情報、前記音声入力部が入力する音声情報、前記表示部が表示する画面情報、前記音声出力部が出力する音声情報、前記端末側入力手段が受け付けるログ情報のうち少なくともいずれかを記憶する端末側記憶手段を備えたことを特徴とする請求項６〜８のいずれか１つに記載の情報端末。
10. 情報端末からネットワークを介して送信された画像・音声情報を含むマルチメディア情報を受信し、受信したマルチメディア情報に関連する情報の入力を受け付け、受け付けた前記関連する情報に基づいて前記マルチメディア情報に対して、前記情報端末の操作者の活動を支援する支援情報処理を施して返送し前記操作者の活動を支援する支援装置であって、
    前記情報端末が送信する前記音声情報および画像情報を受信する装置側受信手段と、
    前記装置側受信手段が受信した前記音声情報を出力する音声出力手段と、
    前記装置側受信手段が受信した前記画像情報を画面に表示する表示手段と、
    前記表示手段が表示した画面上の画像から前記支援装置の操作者による操作入力情報を受け付ける装置側入力手段と、
    音声情報の入力を受け付ける音声入力手段と、
    前記装置側入力手段が受け付けた前記操作入力情報に基づいて、前記装置側通信手段が受信した情報に対して関連する情報を付加する付加処理を含む支援情報処理を施す支援情報処理手段と、
    前記装置側入力手段が受け付けた操作入力情報、前記音声入力手段が受け付けた音声情報、および前記支援情報処理手段が支援情報処理を施した情報のうち少なくともいずれかの情報を前記情報端末に送信する装置側送信手段と、
    を備えたことを特徴とする支援装置。
11. 前記支援情報処理手段は、前記装置側受信手段が前記情報端末から機器に関する状況の記録であるログ情報を受信した場合、前記ログ情報を解析し、
    前記装置側送信手段は、前記支援情報処理手段によって解析されたログ情報を前記情報端末に対して送信するものであることを特徴とする請求項１０に記載の支援装置。
12. 前記装置側送信手段は、前記ネットワークの込み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする請求項１０または１１に記載の支援装置。
13. 前記装置側送信手段は、情報を圧縮して送信するものであることを特徴とする請求項１０〜１２のいずれか１つに記載の支援装置。
14. 前記支援装置は、さらに、前記装置側受信手段が受信する情報、前記装置側送信手段が送信する情報、前記音声入力手段が入力する音声情報、前記表示手段が表示する画面情報、前記装置側入力手段が受け付ける操作入力情報、および前記支援情報処理手段が支援情報処理を施す情報のうち少なくともいずれかの情報を記憶する装置側記憶手段を備えたことを特徴とする請求項１０〜１３のいずれか１つに記載の支援装置。
15. 前記支援情報処理手段は、前記装置側記憶手段が記憶した情報を時間経過に対応付ける経過時間画像を生成して表示手段に表示させ、
    前記装置側入力手段は、前記表示手段に表示された経過時間画像上の時間に対応する前記記憶手段に記憶された情報を読み書きする要求情報を、受け付け、
    前記支援情報処理手段は、前記装置側入力手段が受け付けた読み書きする要求情報に従って前記記憶手段に記憶された情報を読み書きするものであることを特徴とする請求項１０〜１４のいずれか１つに記載の支援装置。
16. 前記支援情報処理手段は、前記装置側記憶手段が記憶した情報を前記経過時間画像に対応して表示するアイコン情報を生成して前記表示手段に表示させ、
    前記装置側入力手段は、前記表示手段に表示されたアイコンから対応する前記記憶手段に記憶された情報を読み書きする要求情報を、受け付け、
    前記支援情報処理手段は、前記装置側入力手段が受け付けた読み書きする要求情報に従って前記記憶手段に記憶された情報を読み書きするものであることを特徴とする請求項１０〜１５のいずれか１つに記載の支援装置。
17. 画像・音声情報を含むマルチメディア情報の入力を受け付けてネットワークを介して支援装置に送信する情報端末に対して、前記支援装置が受信した前記マルチメディア情報に対して前記情報端末を操作する操作者の活動を支援する支援情報処理が施されて返送されることによって前記操作者の活動を支援する端末側活動支援方法であって、
    音声情報の入力を受け付ける音声入力工程と、
    画像情報を取得する撮像工程と、
    前記音声入力工程で入力される音声情報、および前記撮像工程で取得される画像情報を前記支援装置に送信し、前記支援装置で受信した前記音声情報および画像情報の少なくともいずれかの情報に対して支援情報処理が施されて返送された場合、支援情報処理が施されら情報を受信する通信工程と、
    前記通信工程で前記支援情報処理が施された音声情報を受信した場合は音声出力する音声出力工程と、
    前記通信工程で前記支援情報処理が施された画像情報および表示すべき情報を受信した場合、視覚的に表示する表示工程とを含むことを特徴とする端末側活動支援方法。
18. さらに、機器に関する状況の記録であるログ情報の入力を受け付けるログ情報入力工程を含み、
    前記通信工程で、前記ログ情報入力工程で受け付けられた前記ログ情報が前記支援装置に送信され、支援装置で受信した前記ログ情報のログ解析がなされてログ解析情報が返送された場合、受信し、
    前記表示工程は、前記通信工程で前記ログ解析情報を受信した場合、前記ログ解析情報を表示するものであることを特徴とする請求項１７に記載の端末側活動支援方法。
19. 前記通信工程は、前記ネットワークの混み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする請求項１７または１８に記載の端末側活動支援方法。
20. 前記通信工程は、情報を圧縮して送信するものであることを特徴とする請求項１７〜１９のいずれか１つに記載の端末側活動支援方法。
21. さらに、前記通信手段で送信する情報、前記通信手段で受信する情報、前記音声入力工程で入力する音声情報、前記音声出力工程で出力する音声情報、前記表示工程で表示する画面情報、前記ログ情報入力工程で受け付けるログ情報のうち少なくともいずれかを記憶する記憶工程を備えたことを特徴とする請求項１８〜２０のいずれか１つに記載の端末側活動支援方法。
22. 情報端末からネットワークを介して送信された画像・音声情報を含むマルチメディア情報を受信し、受信したマルチメディア情報に関連する情報の入力を受け付け、受け付けた前記関連する情報に基づいて前記マルチメディア情報に対して、前記情報端末を操作する操作者を支援する支援情報処理を施して返送し前記操作者の活動を支援する装置側活動支援方法であって、
    前記情報端末が送信する前記音声情報および画像情報を受信する受信工程と、
    前記受信工程で受信した前記音声情報を出力する音声出力工程と、
    前記受信工程で受信した前記画像情報を画面に表示する表示工程と、
    前記表示工程で表示され画面上の画像から操作入力情報を受け付ける入力工程と、
    前記入力工程で受け付けられた操作入力情報に基づいて、前記受信工程で受信した情報に対して関連する情報を付加する付加処理を含む支援情報処理を施す支援情報処理工程と、
    音声情報の入力を受け付ける音声入力工程と、
    前記入力工程で受け受けられた操作入力情報、前記音声入力工程で受け付けられた音声情報、および前記支援情報処理工程で支援情報処理が施された情報のうち少なくともいずれかの情報を前記情報端末に送信する送信工程と、
    を含むことを特徴とする装置側活動支援方法。
23. 前記支援情報処理工程は、前記受信工程で前記情報端末から機器に関する状況の記録であるログ情報を受信した場合、前記ログ情報を解析し、
    前記送信工程は、前記支援情報処理工程で解析されたログ情報を前記情報端末に対して送信するものであることを特徴とする請求項２２に記載の装置側活動支援方法。
24. 前記送信工程は、前記ネットワークの込み具合を検知して最適経路を検出して送信するトラフィックコントロールを行うものであることを特徴とする請求項２２または２３に記載の装置側活動支援方法。
25. 前記送信工程は、情報を圧縮して送信するものであることを特徴とする請求項２２〜２４のいずれか１つに記載の装置側活動支援方法。
26. さらに、前記受信工程で受信する情報、送信工程で送信する情報、前記音声出力工程で出力する音声情報、前記音声入力工程で入力する音声情報、前記表示工程で表示する画面情報、前記入力工程で受け付ける操作入力情報、および前記支援情報処理工程で処理を施す情報のうち少なくともいずれかの情報を記憶する記憶工程を含むことを特徴とする請求項２２〜２５のいずれか１つに記載の装置側活動支援方法。
27. 前記支援情報処理工程は、前記記憶工程で記憶した情報を時間経過に対応付ける経過時間画像を生成して表示工程で表示させ、
    前記入力工程は、前記表示工程で表示された経過時間画像から、対応する前記記憶工程で記憶された情報を読み書きする要求情報を、受け付けるものであり、
    前記支援情報処理工程は、前記入力工程で受け付けた読み下記の要求情報に従って前記記憶工程で記憶された情報を読み書きするものであることを特徴とする請求項２２〜２６のいずれか１つに記載の装置側活動支援方法。
28. 前記支援情報処理工程は、前記記憶工程で記憶した情報を前記経過時間画像に表示するアイコン情報を生成して前記表示工程で表示させ、
    前記入力工程は、前記表示工程で表示されたアイコンから対応する前記記憶工程で記憶された情報を読み書きする要求情報を、受け付けるものであり、
    前記支援情報処理工程は、前記入力工程で受け付けた読み書きの要求情報に従って前記記憶工程で記憶された情報を読み出すものであることを特徴とする請求項２２〜２７のいずれか１つに記載の装置側活動支援方法。
29. 請求項１７〜２１のいずれか１つに記載の端末側活動支援方法をコンピュータで実行させることを特徴とするプログラム。
30. 請求項２２〜２８のいずれか１つに記載の装置側活動支援方法をコンピュータで実行させることを特徴とするプログラム。

Images