JP2000259750A - マルチメディア報告書作成装置および報告書作成方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像、音声およびテキストデータになるマル
チメディア情報を互いに対応付けして報告書を作成でき
るものはなかった。 【解決手段】 画像・音声情報取得手段１〜４は、ＰＣ
から画像データおよび音声データを通信によって取得し
て画像・音声ファイルとして保存する。テキスト入力情
報取得部７はテキスト情報を取得し、画像・音声対応フ
ァイル決定・取得手段１１、１２は複数ある画像・音声
対応ファイルの中からテキスト情報に従って取得すべき
画像・音声対応ファイルを決定し、取得する。画像・音
声取得手段１３はテキスト情報に対応する画像・音声対
応ファイルを解析して該当する画像・音声データを取得
し、これをテキスト情報と組合わせてテーブルデータと
して保存する。報告書出力手段１４〜２０はテーブルデ
ータから互いに対応する画像と音声およびテキストデー
タを個別または一括した報告書として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、通信手段により取
得された作業記録等の画像、音声、テキスト等のマルチ
メディアデータを対応付けした報告書を作成する報告書
作成装置及び報告書作成方法に関するものである。

【０００２】

【従来の技術】従来の報告書を作成するツールではテキ
ストデータのみ、あるいはテキストデータと画像データ
のみを対象としたものが一般的である。一方、テキス
ト、画像データだけでなく音声データをも取り込み可能
とした報告書作成ツールとして、デジタルカメラ画像を
整理するアルバムソフトの類が存在する。

【０００３】しかし、これらでは画像を取り込んで報告
書やアルバムを整理する際に音声を録音する方式が一般
的であり、実際に画像とほぼ同時に録音された音声デー
タを対応づけて報告書に取り込むものはほとんど見られ
ない。

【０００４】また、特願平９−１６３６５号公報には、
動画と音声を取り込み可能なペーパーレス報告書の作成
装置が開示されている。この装置では動画と音声等のマ
ルチメディアデータを用いて報告書を作成可能としてい
る。

【０００５】しかし、この装置では、報告書において重
要な機能である静止画の一覧ができないし、また、完全
にペーパーレスにしてしまっているために紙に出力して
複数人に配るといったことができない。

【０００６】

【発明が解決しようとする課題】以上のように、従来の
技術では、テキストデータ、画像データ、音声データ等
のマルチメディアデータを対応づけて取り込む機能がな
いか、そのような機能があっても、報告書作成ツールと
して当然もつべき機能が不足しているなどといった欠点
を有していた。

【０００７】本発明の目的は、取得した画像データ、音
声データ、テキストデータ等のマルチメディアデータを
容易に対応付けして印刷、画像一覧等ができるマルチメ
ディア報告書作成装置および報告書作成方法を提供する
ことにある。

【０００８】

【課題を解決するための手段】本発明は、前記課題を解
決するため、報告書を作成するに際して、取得する画像
データ、音声データをテキストデータと共に対応付けて
おき、静止画の一覧、印刷、印刷プレビュー機能を有し
て対応付けたマルチメディア情報を個別にまたは一括し
て出力できるようにしたもので、以下の装置および方法
を特徴とする。

【０００９】外部の情報発信源から画像データおよび音
声データを通信によって取得し、画像・音声ファイルと
して保存する画像・音声情報取得手段と、予め入力した
テキスト情報を取得するテキスト入力情報取得手段と、
前記テキスト入力情報取得手段において取得されたテキ
スト情報に従って、複数ある前記画像・音声対応ファイ
ル中から取得すべき画像・音声対応ファイルを決定し、
画像・音声対応ファイルとして取得する画像・音声対応
ファイル決定・取得手段と、前記テキスト情報に対応す
る前記画像・音声対応ファイルを解析して該当する画像
・音声データを取得し、このデータをテキスト情報と組
み合わたテーブルデータとして保存する画像・音声取得
手段と、前記テーブルデータから互いに対応する画像と
音声およびテキストデータを個別または一括した報告書
として出力する報告書出力手段と、を備えたことを特徴
とするマルチメディア報告書作成装置。

【００１０】外部の情報発信源から画像データおよび音
声データを通信によって取得し、画像・音声ファイルと
して保存し、予め入力したテキスト情報を取得し、前記
取得されたテキスト情報に従って、複数ある前記画像・
音声対応ファイル中から取得すべき画像・音声対応ファ
イルを決定し、画像・音声対応ファイルとして取得し、
前記テキスト情報に対応する前記画像・音声対応ファイ
ルを解析して該当する画像・音声データを取得し、この
データをテキスト情報と組み合わたテーブルデータとし
て保存し、前記テーブルデータから互いに対応する画像
と音声およびテキストデータを個別または一括した報告
書として出力する、ことを特徴とするマルチメディア報
告書作成方法。

【００１１】本発明のマルチメディア報告書作成装置お
よび方法は、例えば、図１に示す装置構成にされる。

【００１２】画像・音声情報取得手段は、通信機器１と
ネットワークインタフェース部２と通信制御部３および
画像・音声データ受信保存部４で構成される。すなわ
ち、外部の情報発信源になるＰＣ（パーソナルコンピュ
ータ）が画像データを取得時に音声データを録音してお
き、これら画像データと音声データを装置制御部５の制
御のもとに１〜３の制御で無線受信し、受信保存部４に
よってハードディスク６にファイルとして保存する。

【００１３】テキスト入力情報取得手段は、テキスト入
力情報取得部７と画像・音声取得ボタン８で構成され、
作業者によって予め入力されたテキスト情報を画像・音
声取得ボタン８の操作によって取得し、ハードディスク
１０に記録する。

【００１４】画像・音声対応ファイル決定・取得手段
は、画像・音声対応ファイル決定部１１と画像・音声対
応ファイル取得部１２で構成され、マルチメディア報告
書作成機能・制御部９の制御のもとに、画像・音声対応
ファイル決定部１１ではテキスト入力情報取得部７にお
いて取得された情報に従って、複数ある画像・音声対応
ファイル中から取得すべき画像・音声対応ファイルを決
定し、画像・音声対応ファイル取得部１２では画像・音
声対応ファイル決定部１１によって決定された画像・音
声対応ファイルをハードディスク６から取得する。

【００１５】画像・音声取得手段は、画像・音声取得部
１３で構成され、マルチメディア報告書作成機能・制御
部９の制御のもとに、テキスト情報に対応する画像・音
声対応ファイルを解析し、ハードディスク６より画像デ
ータと音声データを取得し、取得した画像データと音声
データをテキスト情報と共にハードディスク（データベ
ース）１０にテーブル形式で保存する。

【００１６】報告書出力手段は、画像一覧表示部１４と
その画像一覧ボタン１５、印刷プレビュー部１６とその
印刷プレビューボタン１７、印刷部１８とその印刷ボタ
ン１９およびプリンタ２０で構成され、各ボタン１５、
１７、１９を操作することにより、テーブルデータから
互いに対応する画像と音声およびテキストデータを個別
または一括した報告書として出力する。例えば、画像一
覧ボタン１５の操作では、ハードディスク１０内の表示
すべき画像データをディスプレイ上に複数の縮小画像を
表示する。また、印刷プレビューボタン１７を操作する
ことにより、印刷プレビュー部１６でテキストおよび画
像データが印刷書式に整形され、ディスプレイ上に表示
される。また、印刷ボタン１９を操作することにより、
印刷部１８でテキストおよび画像データが印刷書式に整
形され、プリンタ２０に出力される。

【００１７】したがって、従来の報告書ではテキストの
み、あるいは画像のみというものでマルチメディアを扱
うことは不可能であった。また、マルチメディアを扱う
報告書作成システムでも、画像データの取り込みと同時
に対応する音声データの取り込みを行なうものはほとん
ど見られない。この点について、本発明ではテキスト、
画像、音声データ等のマルチメディアを用いて容易に報
告書を作成でき、しかも画像データと音声データとを対
応付けて取り込むことができる。

【００１８】

【発明の実施の形態】図２は、本発明の実施形態を示す
マルチメディア報告書作成システムのハードウェア構成
である。

【００１９】本実施形態は、通信インフラ構築、製造、
物流管理、サービス、医療支援などの分野で活躍するフ
ィールドワーカに対して、マルチメディアとウェアラブ
ルＰＣの技術を駆使した快適な作業支援環境を提供する
ものである。このうち、本実施形態は、電話回線保守、
故障復旧等の作業を想定して構築した場合である。

【００２０】構成機器は、フィールドワーカが身につけ
るウェアラブルＰＣ２１と作業車２２に搭載される車載
サーバ２３、プリンタ２４、ウェアラブルＰＣと車載サ
ーバ間の通信を担う無線ＬＡＮ２５、位置情報を取得す
るためのＧＰＳ（ＧｒｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ
Ｓｙｓｔｅｍ）２６からなる。

【００２１】ウェアラブルＰＣは、電子化されたマニュ
アルの閲覧、検索等を容易に行なえ、作業者にハンズフ
リー環境を享受するという特徴を有する。この特徴ゆ
え、飛行機、船舶等の維持整備等、多量の紙媒体のマニ
ュアルを必要とし、かつ作業効率化のためにハンズフリ
ーであることが要求される作業に応用するために近年研
究開発が活発化している。

【００２２】本システムにおけるウェアラブルＰＣ２１
は、画像撮影用のＣＣＤカメラ、音声入力用の骨伝導マ
イク、ＣＣＤカメラと接続されたＰＣＭＣＩＡのビデオ
キャプチャカード、ＰＣＭＣＩＡの無線ＬＡＮ子機が装
備されている。音声認識技術により骨伝導マイクを用い
てウェアラブルＰＣに音声でコマンド指令することが可
能であり、入力作業においてキーボードやマウスといっ
た周辺機器をほとんど必要としない。

【００２３】ウェアラブルＰＣ２１と車載サーバ２３間
は無線ＬＡＮによって情報の送受信が実現されている。
車載サーバ２３には設備データや工事記録、作業マニュ
アル等のデータベースがあり、ＧＰＳ２６によって位置
情報を検出して設備データとリンクすることにより、現
在位置における付設設備、過去の工事記録といったイン
フラ保守に必要な情報を検索可能である。

【００２４】フィールドワーカは音声指令により無線Ｌ
ＡＮを介してウェアラブルＰＣ２１にそれらの情報を受
信し、身につけているヘッドマウントディスプレイで参
照可能である。インフラ保守等の屋外作業において作業
記録を行なうことは工事履歴の参照、付帯設備の確認を
行なう上で非常に重要である。本システムでは作業記録
のためにウェアラブルＰＣ２１にＣＣＤカメラを搭載し
ており、音声指令にて作業現場の画像を撮影し、ウェア
ラブルＰＣ上のハードディスク上に画像ファイルとして
記録する。

【００２５】また、画像情報の取得後、骨伝導マイクに
より、撮影した画像に対応した音声メモも同じくウェア
ラブルＰＣ２１上のハードウェア上に音声メモファイル
として記録する。

【００２６】また、取得した画像ファイルおよび音声メ
モファイルには自動的にファイル名を付与する。またこ
の際に、どの画像に対してどの音声ファイルが対応する
かを示す画像・音声対応ファイルに画像ファイル名、音
声ファイル名を追記する。

【００２７】画像・音声対応ファイルでは対応する画像
データと音声データのファイル名は１行にペアで書き出
す。取得画像データに対して音声データを付与しなかっ
た場合には、音声ファイル名が書かれるべき位置に、存
在しない旨の記号を書き出す。

【００２８】各画像ファイル、音声ファイル、および画
像・音声対応ファイルは無線ＬＡＮを介して車載サーバ
２３に転送する。ウェアラブルＰＣ２１から転送された
これらのファイルは車載サーバ２３のあるディレクトリ
に保存される。

【００２９】図３は、車載サーバ２３およびその周辺装
置の詳細なブロック構成であり、同図が図１と異なる部
分は、画像・音声データ受信保存部４に代えて、電話工
事作業支援システム３１とそのデータベース３２を搭載
し、ＧＰＳ２６を追加した点にある。

【００３０】データベース３２は電話回線の設備データ
や工事記録作業マニュアル等を保存し、電話工事作業支
援システム３１は受信した画像・音声データをハードデ
ィスク６に保存するに際してこれらデータに関連する情
報として設備データや作業マニュアル情報およびＧＰＳ
２６からの位置情報を結合する機能を設ける。

【００３１】図２および図３の構成において、ウェアラ
ブルＰＣ２１で収集された画像、音声データは無線ＬＡ
Ｎを介して車載サーバ２３に転送され、車載サーバ２３
上のマルチメディア報告書作成システムにより作業報告
書を作成する。図４に実際に作成したマルチメディア報
告書作成システムの入力画面を示す。マルチメディア報
告書作成システムは日付、作業者名、工事順、住所、工
事内容、備考を入力する欄をフォームとして作成し、サ
ブフオームとして画像データ、音声データおよび各画
像、音声データの備考欄を設けた。フォームとサブフオ
ームは主キーを介して１対多のリレーショナルデータベ
ース構成になっている。

【００３２】本システムは、画像、音声の一括挿入機
能、取得した画像の縮小画像を一覧する画像一覧機能、
印刷プレビュー機能、印刷機能を有する。これらの機能
操作は図４の下部に位置するボタンによって行なう。

【００３３】ウェアラブルＰＣ２１上で取得された画
像、音声データのファイル名は画像・音声対応ファイル
に書き出される。異なる工事現場の画像、音声データを
整理するために、画像・音声対応ファイルは各工事現場
毎に作成される。図４に示す「画像・音声取得」ボタン
を押すことにより、画像、音声の一括入力が可能であ
る。ボタンを押すと図２のテキスト入力情報取得部７に
より、作業報告者が入力した情報から図２の画像・音声
対応ファイル決定部１１において、読みこむべき画像・
音声対応ファイルを決定し、画像・音声対応ファイル取
得部１２において実際に画像・音声対応ファイルを取得
する。

【００３４】画像・音声取得部１３は、画像・音声対応
ファイルを読み込み、ハードディスク６より画像データ
と音声データを取得する。そして、取得した画像データ
と音声データは、テキスト情報と共にテーブル形式でハ
ードディスク１０に保存される。このようにして、画像
ファイルと音声ファイルを対応づけて一括して取り込む
ことが可能となる。

【００３５】図４の「画像一覧」ボタンを押すと、図５
に示すように１ページに９枚の縮小画像を表示する。ま
た、各縮小画像をクリックすると図４の表示に戻り、ク
リックされた画像が画像データ格納場所に表示されて備
考欄の編集が容易に行なえる。

【００３６】図４の「印刷プレビュー」ボタンを押す
と、図６に示すような形式で入力したテキストおよび画
像データが整形され、ディスプレイ上に表示される。

【００３７】「印刷」ボタンの働きは「印刷プレビュ
ー」ボタンとほぼ同じであるが、出力先をプリンタ２０
に設定している。

【００３８】以上のように、ウェアラブルＰＣ２１で画
像、音声を取得し、その際に画像・音声対応ファイルを
作成し、それらを車載サーバ２３に転送してマルチメデ
ィア報告書作成システムにおいて読み込むことにより、
対応する画像と音声を一括して挿入することが可能とな
った。また、報告書として必要である画像一覧機能や印
刷プレビュー機能を付加し、報告書をプリンタに印刷す
ることも可能である。

【００３９】なお、本実施形態では、外部の情報発信源
からの情報取得を無線とする場合を示すが、有線により
取得するシステムに適用して同等の作用効果を得ること
ができる。

【００４０】

【発明の効果】以上のとおり、本発明によれば、外部の
情報発信部から画像データおよび音声データを通信によ
って取得し、予め入力したテキスト情報に対応する画像
・音声対応ファイルを解析して該当する画像・音声デー
タを取得し、このデータをテキスト情報と組み合わたテ
ーブルデータとし、このテーブルデータから互いに対応
する画像と音声およびテキストデータを個別または一括
した報告書として出力するようにしたため、画像デー
タ、音声データ、テキストデータ等のマルチメディアデ
ータを容易に対応付けして印刷、画像一覧等ができる効
果がある。

【図面の簡単な説明】

【図１】本発明の基本構成図。

【図２】本発明の実施形態を示すハードウェア構成図。

【図３】実施形態における車載サーバのブロック図。

【図４】実施形態におけるマルチメディア報告書作成の
ための入力画面例。

【図５】実施形態における画像データ一覧画面例。

【図６】実施形態におけるテキストと画像データの画面
例。

【符号の説明】

１…通信機器 ２…ネットワークインタフェース部 ３…通信制御部 ４…画像・音声データ受信保存部 ５、９…制御部 ６、１０…ハードディスク ７…テキスト入力情報取得部 ８、１５、１７、１９…ボタン １１…画像・音声対応ファイル決定部 １２…画像・音声対応ファイル取得部 １３…画像・音声取得部 １４…画像一覧表示部 １６…印刷プレビュー部 １８…印刷部 ２０…プリンタ

フロントページの続き Ｆターム(参考） 5B075 KK07 ND16 ND20 ND22 NK02 NK54 NR03 PP02 PP07 PP13 PQ02 PQ03 PQ05 PQ46 PQ48 QT06 UU06 UU40

Claims (2)

【特許請求の範囲】
1. 【請求項１】 外部の情報発信源から画像データおよび
   音声データを通信によって取得し、画像・音声ファイル
   として保存する画像・音声情報取得手段と、 予め入力したテキスト情報を取得するテキスト入力情報
   取得手段と、 前記テキスト入力情報取得手段において取得されたテキ
   スト情報に従って、複数ある前記画像・音声対応ファイ
   ル中から取得すべき画像・音声対応ファイルを決定し、
   画像・音声対応ファイルとして取得する画像・音声対応
   ファイル決定・取得手段と、 前記テキスト情報に対応する前記画像・音声対応ファイ
   ルを解析して該当する画像・音声データを取得し、この
   データをテキスト情報と組み合わたテーブルデータとし
   て保存する画像・音声取得手段と、 前記テーブルデータから互いに対応する画像と音声およ
   びテキストデータを個別または一括した報告書として出
   力する報告書出力手段と、 を備えたことを特徴とするマルチメディア報告書作成装
   置。
2. 【請求項２】 外部の情報発信源から画像データおよび
   音声データを通信によって取得し、画像・音声ファイル
   として保存し、 予め入力したテキスト情報を取得し、 前記取得されたテキスト情報に従って、複数ある前記画
   像・音声対応ファイル中から取得すべき画像・音声対応
   ファイルを決定し、画像・音声対応ファイルとして取得
   し、 前記テキスト情報に対応する前記画像・音声対応ファイ
   ルを解析して該当する画像・音声データを取得し、この
   データをテキスト情報と組み合わたテーブルデータとし
   て保存し、 前記テーブルデータから互いに対応する画像と音声およ
   びテキストデータを個別または一括した報告書として出
   力する、ことを特徴とするマルチメディア報告書作成方
   法。