JP2014216994A - 機器監視システム、機器監視プログラムおよび携帯端末 - Google Patents

Abstract

【課題】 機器に異常音が発生したことを利用者に容易に認識させることができる機器監視システム、機器監視プログラムおよび携帯端末を提供する。【解決手段】 機器監視システムの携帯端末は、ＭＦＰに発生した音が異常音であると判定された場合に、このＭＦＰが異常音を発生したことを示す情報を、このＭＦＰに関する付加情報の少なくとも一部とし（Ｓ１３５）、撮像部による撮影画像にこの付加情報を、この撮影画像上のこのＭＦＰの位置に対応付けて合成した合成画像を表示部に表示させる（Ｓ１３６）ことを特徴とする。【選択図】 図６

Description

本発明は、撮像デバイスによる撮影画像に付加情報を合成した合成画像を表示デバイスに表示させるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を実現する機器監視システム、機器監視プログラムおよび携帯端末に関する。

従来、撮像デバイスによる撮影画像に付加情報を合成した合成画像を表示デバイスに表示させるＡＲ技術を実現する方法として、撮像デバイスによる撮影画像に、機器に発生した音を付加情報として、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を表示デバイスに表示させるものが知られている（特許文献１参照。）。

特開２０１２−１５００５９号公報

機器に発生した音は、機器の異常を利用者に知らせる重要な情報である。例えば、機器として自動車を例に説明すると、自動車のエンジンの音、車体の振動音など、自動車に発生した音が通常の音と異なる異常音である場合、この自動車に異常が発生している可能性があり、この異常によってこの自動車の事故が発生する可能性があるので、この自動車は、早急に修理される必要がある。

しかしながら、機器に発生した音が異常音であるか否かを判定するためには、異常音ではない通常の音を把握しておく必要があり、更に、通常の音に対して何れの程度異なっていれば異常音であると判定するかの見極めが必要であるので、機器に発生した音が異常音であるか否かを利用者が判定することは困難である。

そこで、本発明は、機器に異常音が発生したことを利用者に容易に認識させることができる機器監視システム、機器監視プログラムおよび携帯端末を提供することを目的とする。

本発明の機器監視システムは、機器と、撮像デバイスおよび表示デバイスを備える携帯端末とを備える機器監視システムであって、前記携帯端末は、前記撮像デバイスによる撮影画像に、前記機器に関する付加情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段を備え、前記機器監視システムは、前記機器に発生した音が異常音であるか否かを判定する異常音判定手段を備え、前記表示制御手段は、前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に、この機器に異常音が発生したことを示す情報を、この機器に関する前記付加情報の少なくとも一部とすることを特徴とする。

この構成により、本発明の機器監視システムは、機器に発生した音が異常音であるか否かを判定し、この機器に発生した音が異常音であると判定した場合に、撮像デバイスによる撮影画像に、この機器に異常音が発生したことを示す情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を表示デバイスに表示させるので、機器に異常音が発生したことを利用者に容易に認識させることができる。

また、本発明の機器監視システムは、前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に通知する異常音発生通知手段を備えても良い。

この構成により、本発明の機器監視システムは、機器に発生した音が異常音であると判定された場合に通知するので、機器に異常音が発生したことを携帯端末によって確認する切っ掛けを利用者に与えることができ、結果として、機器に異常音が発生したことを利用者に容易に認識させることができる。

また、本発明の機器監視システムは、前記機器に発生した音を記録する発生音記録手段と、前記発生音記録手段によって記録された音を再生する発生音再生手段とを備え、前記表示制御手段は、前記機器に発生した音を前記発生音再生手段に再生させるための指示を受け付けるための再生指示受付用情報を、この機器に関する前記付加情報の少なくとも一部としても良い。

この構成により、本発明の機器監視システムは、実際に機器に発生した音を指示に応じて再生するので、機器に本当に異常音が発生したということを利用者に容易に確認させることができる。

本発明の機器監視プログラムは、撮像デバイスおよび表示デバイスを備える携帯端末によって実行される機器監視プログラムであって、前記撮像デバイスによる撮影画像に、機器に関する付加情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段、および、前記機器に発生した音が異常音であるか否かを判定する異常音判定手段として前記携帯端末を機能させ、前記表示制御手段は、前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に、この機器に異常音が発生したことを示す情報を、この機器に関する前記付加情報の少なくとも一部とすることを特徴とする。

この構成により、本発明の機器監視プログラムは、機器に発生した音が異常音であるか否かを判定し、この機器に発生した音が異常音であると判定した場合に、撮像デバイスによる撮影画像に、この機器に異常音が発生したことを示す情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を表示デバイスに表示させるので、機器に異常音が発生したことを利用者に容易に認識させることができる。

本発明の携帯端末は、撮像デバイスと、表示デバイスと、前記撮像デバイスによる撮影画像に、機器に関する付加情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段と、前記機器に発生した音が異常音であるか否かを判定する異常音判定手段とを備え、前記表示制御手段は、前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に、この機器に異常音が発生したことを示す情報を、この機器に関する前記付加情報の少なくとも一部とすることを特徴とする。

この構成により、本発明の携帯端末は、機器に発生した音が異常音であるか否かを判定し、この機器に発生した音が異常音であると判定した場合に、撮像デバイスによる撮影画像に、この機器に異常音が発生したことを示す情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を表示デバイスに表示させるので、機器に異常音が発生したことを利用者に容易に認識させることができる。

本発明の機器監視システム、機器監視プログラムおよび携帯端末は、機器に異常音が発生したことを利用者に容易に認識させることができる。

本発明の第１の実施の形態に係る機器監視システムのブロック図である。 図１に示すＭＦＰのブロック図である。 図１に示す管理サーバーのブロック図である。 図１に示す携帯端末のブロック図である。 発生した音が異常音であるか否かを判定する場合の図２に示すＭＦＰの動作のフローチャートである。 ＭＦＰに関する付加情報を撮影画像に合成した合成画像を表示部に表示させる場合の図４に示す携帯端末の動作のフローチャートである。 撮影画像上にＭＦＰが存在しない場合に図４に示す携帯端末によって生成される合成画像の一例を示す図である。 撮影画像上のＭＦＰが異常音を発生していなかった場合に図４に示す携帯端末によって生成される合成画像の一例を示す図である。 撮影画像上のＭＦＰが異常音を発生していた場合に図４に示す携帯端末によって生成される合成画像の一例を示す図である。 本発明の第２の実施の形態に係る機器監視システムのブロック図である。 図１０に示すＭＦＰのブロック図である。 図１０に示す携帯端末のブロック図である。 ＭＦＰに発生した音が異常音であるか否かを判定する場合の図１２に示す携帯端末の動作のフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態に係る機器監視システム１０の構成について説明する。

図１は、本実施の形態に係る機器監視システム１０のブロック図である。

図１に示すように、機器監視システム１０は、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）２０を含む複数のＭＦＰと、これら複数のＭＦＰを管理する例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの管理サーバー４０と、例えばスマートフォンなどの携帯端末５０を含む複数の携帯端末とを備えている。これら複数のＭＦＰと、管理サーバー４０と、これら複数の携帯端末とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１１を介して互いに通信可能に接続されている。機器監視システム１０の複数のＭＦＰのそれぞれは、本発明の機器を構成している。

なお、機器監視システム１０の複数のＭＦＰが設置されている建物の内部には、現実空間での位置を示す信号を赤外線によって発信する図示していない赤外線発信機が多数設置されている。

機器監視システム１０の複数のＭＦＰのそれぞれの構成は、ＭＦＰ２０の構成と同様である。したがって、以下においては、機器監視システム１０の複数のＭＦＰを代表してＭＦＰ２０について説明する。

同様に、機器監視システム１０の複数の携帯端末のそれぞれの構成は、携帯端末５０の構成と同様である。したがって、以下においては、機器監視システム１０の複数の携帯端末を代表して携帯端末５０について説明する。

図２は、ＭＦＰ２０のブロック図である。

図２に示すように、ＭＦＰ２０は、利用者による種々の操作が入力されるボタンなどの入力デバイスである操作部２１と、種々の情報を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、音を入力する音入力デバイスであるマイクロフォン２３と、原稿から画像を読み取る読取デバイスであるスキャナー２４と、用紙などの記録媒体に印刷を実行する印刷デバイスであるプリンター２５と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２６と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部２７と、ＭＦＰ２０の現実空間での現在の位置を検出するために建物内に設置されている赤外線発信機から赤外線によって発信された信号を受信する赤外線受信機などの位置検出デバイスである位置検出部２８と、各種のデータを記憶しているＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶装置である記憶部２９と、ＭＦＰ２０全体を制御する制御部３０とを備えている。

操作部２１は、表示部２２とともにタッチパネルを形成する入力デバイスを含んでいても良い。

記憶部２９は、制御部３０によって実行される機器用プログラム２９ａを記憶している。

制御部３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを予め記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、ＲＯＭまたは記憶部２９に記憶されているプログラムを実行するようになっている。

制御部３０は、記憶部２９に記憶されている機器用プログラム２９ａを実行することによって、ＭＦＰ２０に発生した音が異常音であるか否かを判定する異常音判定手段３０ａ、ＭＦＰ２０に発生した音が異常音であると異常音判定手段３０ａによって判定された場合に通知する異常音発生通知手段３０ｂ、および、ＭＦＰ２０に発生した音を記録する発生音記録手段３０ｃとして機能する。

制御部３０は、操作部２１に特定の操作が入力されたとき、または、定期的に、位置検出部２８によって現在の位置を検出することによってＭＦＰ２０の現実空間での位置を示す機器位置情報を生成し、生成した機器位置情報を、この機器位置情報を生成したとき、操作部２１に特定の操作が入力されたとき、ネットワーク通信部２７を介して管理サーバー４０（図１参照。）から要求されたとき、または、定期的に、ネットワーク通信部２７を介して管理サーバー４０に送信するようになっている。

また、制御部３０は、異常音判定手段３０ａによる判定結果に基づいてＭＦＰ２０の状態を示す機器状態情報を生成し、生成した機器状態情報を、この機器状態情報を生成したとき、操作部２１に特定の操作が入力されたとき、ネットワーク通信部２７を介して管理サーバー４０から要求されたとき、または、定期的に、ネットワーク通信部２７を介して管理サーバー４０に送信するようになっている。

また、制御部３０の発生音記録手段３０ｃは、ＭＦＰ２０に異常音が発生した場合に、ＭＦＰ２０に発生した異常音の音声データである異常音データを生成し、生成した異常音データを、この異常音データを生成したとき、操作部２１に特定の操作が入力されたとき、ネットワーク通信部２７を介して管理サーバー４０から要求されたとき、または、定期的に、ネットワーク通信部２７を介して管理サーバー４０に送信するようになっている。

図３は、管理サーバー４０のブロック図である。

図３に示すように、管理サーバー４０は、種々の操作が入力されるマウスやキーボードなどの入力デバイスである操作部４１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部４２と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部４３と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部４４と、管理サーバー４０全体を制御する制御部４５とを備えている。

記憶部４４は、ＭＦＰの現実空間での位置を示す機器位置情報４４ａと、ＭＦＰの状態を示す機器状態情報４４ｂと、異常が無いＭＦＰに発生する音のサンプルの音声データであるサンプル音データ４４ｃと、ＭＦＰに発生した異常音の音声データである異常音データ４４ｄとをＭＦＰ毎に記憶することが可能である。

制御部４５は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部４４に記憶されているプログラムを実行するようになっている。

制御部４５は、ＭＦＰから送信されてきてネットワーク通信部４３を介して受信した機器位置情報、機器状態情報、異常音データを、それぞれ、機器位置情報４４ａ、機器状態情報４４ｂ、異常音データ４４ｄとして記憶部４４に記憶させるようになっている。

図４は、携帯端末５０のブロック図である。

図４に示すように、携帯端末５０は、種々の操作が入力されるボタンなどの入力デバイスである操作部５１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部５２と、音を出力する音出力デバイスであるスピーカー５３と、静止画または動画を撮影する撮像デバイスである撮像部５４と、携帯端末５０の現実空間での現在の位置を検出するために建物内に設置されている赤外線発信機から赤外線によって発信された信号を受信する赤外線受信機などの位置検出デバイスである位置検出部５５と、携帯端末５０の現実空間での現在の方向を検出する加速度センサーなどの方向検出デバイスである方向検出部５６と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部５７と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部５８と、携帯端末５０全体を制御する制御部５９とを備えている。

操作部５１は、表示部５２とともにタッチパネルを形成する入力デバイスを含んでいても良い。

記憶部５８は、制御部５９によって実行される機器監視プログラム５８ａを記憶している。

制御部５９は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部５８に記憶されているプログラムを実行するようになっている。

制御部５９は、記憶部５８に記憶されている機器監視プログラム５８ａを実行することによって、撮像部５４による撮影画像に、ＭＦＰに関する付加情報を、この撮影画像上のこのＭＦＰの位置に対応付けて合成した合成画像を表示部５２に表示させる表示制御手段５９ａ、および、異常音データ４４ｄ（図３参照。）として記録された音を再生する発生音再生手段５９ｂとして機能する。

次に、機器監視システム１０の動作について説明する。

まず、発生した音が異常音であるか否かを判定する場合のＭＦＰ２０の動作について説明する。

図５は、発生した音が異常音であるか否かを判定する場合のＭＦＰ２０の動作のフローチャートである。

ＭＦＰ２０の制御部３０は、音が発生する特定の動作を実行するとき、または、定期的に、図５に示す動作を実行する。

図５に示すように、ＭＦＰ２０の異常音判定手段３０ａは、マイクロフォン２３によって音を収集する（Ｓ１０１）。

次いで、異常音判定手段３０ａは、ネットワーク通信部２７を介して管理サーバー４０から受信したＭＦＰ２０のサンプル音データによって表される音と、Ｓ１０１において収集した音とを比較することによって、Ｓ１０１において収集した音が異常音であるか否かを判定する（Ｓ１０２）。Ｓ１０１において収集した音が異常音であるか否かの判定に使用される音の属性としては、例えば音の周波数、リズムなど、様々な属性が採用されることが可能である。例えば、異常音判定手段３０ａは、サンプル音データによって表される音の周波数と、Ｓ１０１において収集した音の周波数との誤差が特定の範囲外であれば、Ｓ１０１において収集した音が異常音であると判定するようになっていても良い。また、異常音判定手段３０ａは、サンプル音データによって表される音のリズムと、Ｓ１０１において収集した音のリズムとの誤差が特定の範囲外であれば、Ｓ１０１において収集した音が異常音であると判定するようになっていても良い。

異常音判定手段３０ａは、Ｓ１０１において収集した音が異常音ではないとＳ１０２において判定すると、図５に示す動作を終了する。

一方、ＭＦＰ２０の発生音記録手段３０ｃは、Ｓ１０１において収集した音が異常音であるとＳ１０２において判定されると、Ｓ１０１において収集した音に基づいて異常音データを生成した後、生成した異常音データをネットワーク通信部２７を介して管理サーバー４０に送信することによって、管理サーバー４０の記憶部４４にＭＦＰ２０の異常音データ４４ｄとして記憶させる（Ｓ１０３）。

次いで、ＭＦＰ２０の異常音発生通知手段３０ｂは、位置検出部２８によって検出したＭＦＰ２０の現実空間での現在の位置を管理サーバー４０に送信することによって、この位置に対して特定の範囲内に存在する携帯端末の利用者の電子メールアドレスなどの連絡先を管理サーバー４０から取得し、取得した連絡先に対して異常音の発生を通知して（Ｓ１０４）、図５に示す動作を終了する。

次に、ＭＦＰに関する付加情報を撮影画像に合成した合成画像を表示部５２に表示させる場合の携帯端末５０の動作について説明する。

携帯端末５０の利用者は、例えば、ＭＦＰからの異常音の発生の通知を受け取った場合に、異常音が発生したＭＦＰを探すために、ＭＦＰに関する付加情報を撮影画像に合成した合成画像を表示部５２に表示させるように携帯端末５０を操作することができる。

図６は、ＭＦＰに関する付加情報を撮影画像に合成した合成画像を表示部５２に表示させる場合の携帯端末５０の動作のフローチャートである。

図６に示すように、携帯端末５０の表示制御手段５９ａは、位置検出部５５によって検出された携帯端末５０の現実空間での現在の位置をネットワーク通信部５７を介して管理サーバー４０に送信することによって、携帯端末５０から特定の距離の範囲に含まれているＭＦＰの機器位置情報および機器状態情報をネットワーク通信部５７を介して管理サーバー４０から取得する（Ｓ１３１）。

次いで、表示制御手段５９ａは、携帯端末５０から特定の距離の範囲に含まれているＭＦＰが存在するか否かを判断する（Ｓ１３２）。ここで、表示制御手段５９ａは、Ｓ１３１においてＭＦＰの機器位置情報を取得した場合に、携帯端末５０から特定の距離の範囲に含まれているＭＦＰが存在すると判断する。一方、表示制御手段５９ａは、Ｓ１３１においてＭＦＰの機器位置情報を取得することができなかった場合には、携帯端末５０から特定の距離の範囲に含まれているＭＦＰが存在しないと判断する。

表示制御手段５９ａは、携帯端末５０から特定の距離の範囲に含まれているＭＦＰが存在するとＳ１３２において判断すると、位置検出部５５によって検出された携帯端末５０の現実空間での現在の位置と、方向検出部５６によって検出された携帯端末５０の現実空間での現在の方向と、Ｓ１３１において取得したＭＦＰの機器位置情報とに基づいて、撮像部５４による撮影の角度範囲に含まれているＭＦＰが存在するか否かを判断する（Ｓ１３３）。

表示制御手段５９ａは、撮像部５４による撮影の角度範囲に含まれているＭＦＰが存在しないとＳ１３３において判断すると、携帯端末５０から特定の距離の範囲に含まれているＭＦＰが存在する方向を示す付加情報を撮像部５４による撮影画像に合成した合成画像を生成する（Ｓ１３４）。

図７は、Ｓ１３４において生成される合成画像の一例を示す図である。

図７に示すように、合成画像６０は、撮影画像６１に、付加情報６２を付した画像である。図７に示す付加情報６２は、ＭＦＰが右方向に存在することを示している。

図６に示すように、表示制御手段５９ａは、撮像部５４による撮影の角度範囲に含まれているＭＦＰが存在するとＳ１３３において判断すると、Ｓ１３１において取得したＭＦＰの機器状態情報に基づくＭＦＰの状態を示す付加情報を、撮像部５４による撮影画像に、このＭＦＰの現実空間での位置と、携帯端末５０の現実空間での位置との関係に対応した撮影画像上のこのＭＦＰの位置に対応付けて合成した合成画像を生成する（Ｓ１３５）。

図８は、撮影画像上のＭＦＰが異常音を発生していなかった場合にＳ１３５において生成される合成画像の一例を示す図である。

図８に示すように、合成画像７０は、撮影画像７１に、付加情報７２を付した画像である。付加情報７２は、対応するＭＦＰが異常音を発生していなかったことを示すタグ７２ａを含んでいる。

図９は、撮影画像上のＭＦＰが異常音を発生していた場合にＳ１３５において生成される合成画像の一例を示す図である。

図９に示すように、合成画像８０は、撮影画像８１に、付加情報８２を付した画像である。付加情報８２は、対応するＭＦＰが異常音を発生したことを示すタグ８２ａと、対応するＭＦＰに発生した音を再生させるための指示を受け付けるためのボタン８２ｂとを含んでいる。ボタン８２ｂは、本発明の再生指示受付用情報を構成している。

図６に示すように、表示制御手段５９ａは、Ｓ１３４またはＳ１３５の処理の後、Ｓ１３４またはＳ１３５において生成した合成画像を表示部５２に表示させる（Ｓ１３６）。すなわち、携帯端末５０は、ＭＦＰの機器位置情報および機器状態情報に基づく付加情報をＡＲ技術によって表示部５２に表示させる。

なお、図９に示すボタン８２ｂが操作部５１を介して押されると、携帯端末５０の発生音再生手段５９ｂは、このボタン８２ｂに対応するＭＦＰの機器位置情報をネットワーク通信部５７を介して管理サーバー４０に送信することによって、この機器位置情報に対応付けて記憶部４４に記憶されている異常音データをネットワーク通信部５７を介して管理サーバー４０から取得する。そして、発生音再生手段５９ｂは、このＭＦＰに発生した音を、この異常音データに基づいてスピーカー５３を介して再生する。

図６に示すように、表示制御手段５９ａは、携帯端末５０から特定の距離の範囲に含まれているＭＦＰが存在しないとＳ１３２において判断するか、Ｓ１３６の処理を終了すると、ＭＦＰに関する付加情報を撮影画像に合成した合成画像を表示部５２に表示させる動作の終了の操作が操作部５１を介して入力されたか否かを判断する（Ｓ１３７）。

表示制御手段５９ａは、終了の操作が入力されなかったとＳ１３７において判断すると、再びＳ１３１の処理を実行する。

一方、表示制御手段５９ａは、終了の操作が入力されたとＳ１３７において判断すると、図６に示す動作を終了する。

以上に説明したように、機器監視システム１０は、ＭＦＰに発生した音が異常音であるか否かを判定し（Ｓ１０２）、このＭＦＰに発生した音が異常音であると判定した場合に、撮像部５４による撮影画像８１に、このＭＦＰが異常音を発生したことを示す情報であるタグ８２ａを、この撮影画像８１上のこのＭＦＰの位置に対応付けて合成した合成画像８０を表示部５２に表示させる（Ｓ１３６）ので、ＭＦＰに異常音が発生したことを利用者に容易に認識させることができる。

機器監視システム１０は、撮像部５４による撮影画像８１に、ＭＦＰが異常音を発生したことを示すタグ８２ａを、この撮影画像８１上のこのＭＦＰの位置に対応付けて合成した合成画像８０を表示部５２に表示させるので、携帯端末５０の利用者が聴覚障害者であったとしても、ＭＦＰに異常音が発生したことを携帯端末５０の利用者に容易に認識させることができる。

機器監視システム１０は、ＭＦＰに発生した音が異常音であると判定された場合（Ｓ１０２でＹＥＳ）に通知する（Ｓ１０４）ので、ＭＦＰに異常音が発生したことを携帯端末５０によって確認する切っ掛けを利用者に与えることができ、結果として、ＭＦＰに異常音が発生したことを利用者に容易に認識させることができる。

機器監視システム１０は、実際にＭＦＰに発生した音を、図９に示すボタン８２ｂが押されるという指示に応じて再生するので、ＭＦＰに本当に異常音が発生したということを利用者に容易に確認させることができる。

また、機器監視システム１０は、実際にＭＦＰに発生した音を、図９に示すボタン８２ｂが押されるという指示に応じて再生するので、実際にＭＦＰに発生した音を、携帯端末５０の利用者が他の人にも容易に聞かせることができる。

なお、機器監視システム１０は、本実施の形態においてＭＦＰにおける異常音の発生をこのＭＦＰから特定の範囲内に存在する携帯端末の利用者の連絡先に対してＭＦＰ自身が通知するようになっているが、ＭＦＰから直接通知するのではなく、ＭＦＰから管理サーバー４０を介して間接的に通知するようになっていても良い。

また、機器監視システム１０は、ＭＦＰ２０の異常音判定手段３０ａ、異常音発生通知手段３０ｂおよび発生音記録手段３０ｃの少なくとも一部がＭＦＰ２０ではなく管理サーバー４０において実現されるようになっていても良い。

また、機器監視システム１０は、本実施の形態において管理サーバー４０を備えているが、ＭＦＰ自身が管理サーバー４０として機能しても良い。すなわち、携帯端末５０は、ＭＦＰの機器位置情報、機器状態情報および異常音データを、このＭＦＰから直接受信するようになっていても良い。

（第２の実施の形態）
まず、本発明の第２の実施の形態に係る機器監視システム２１０の構成について説明する。

なお、機器監視システム２１０の構成のうち、本発明の第１の実施の形態に係る機器監視システム１０（図１参照。）の構成と同様の構成については、機器監視システム１０の構成と同一の符号を付して詳細な説明を省略する。

図１０は、本実施の形態に係る機器監視システム２１０のブロック図である。

図１０に示すように、機器監視システム２１０の構成は、機器監視システム１０（図１参照。）がＭＦＰ２０（図１参照。）および携帯端末５０（図１参照。）に代えてＭＦＰ２２０および携帯端末２５０を備えた構成と同様である。機器監視システム２１０の複数のＭＦＰのそれぞれの構成は、ＭＦＰ２２０の構成と同様である。同様に、機器監視システム２１０の複数の携帯端末のそれぞれの構成は、携帯端末２５０の構成と同様である。

図１１は、ＭＦＰ２２０のブロック図である。

図１１に示すように、ＭＦＰ２２０の構成は、ＭＦＰ２０（図２参照。）がマイクロフォン２３（図２参照。）、機器用プログラム２９ａ（図２参照。）、異常音判定手段３０ａ（図２参照。）、異常音発生通知手段３０ｂ（図２参照。）および発生音記録手段３０ｃ（図２参照。）を備えていない構成と同様である。

図１２は、携帯端末２５０のブロック図である。

図１２に示すように、携帯端末２５０の構成は、携帯端末５０（図４参照。）がマイクロフォン２５１を備えていて、機器監視プログラム５８ａ（図４参照。）に代えて機器監視プログラム２５８ａを備えている構成と同様である。

制御部５９は、記憶部５８に記憶されている機器監視プログラム２５８ａを実行することによって、撮像部５４による撮影画像に、ＭＦＰに関する付加情報を、この撮影画像上のこのＭＦＰの位置に対応付けて合成した合成画像を表示部５２に表示させる表示制御手段５９ａ、異常音データ４４ｄ（図３参照。）として記録された音を再生する発生音再生手段５９ｂ、ＭＦＰに発生した音が異常音であるか否かを判定する異常音判定手段２５９ａ、ＭＦＰに発生した音が異常音であると異常音判定手段２５９ａによって判定された場合に通知する異常音発生通知手段２５９ｂ、および、ＭＦＰに発生した音を記録する発生音記録手段２５９ｃとして機能する。

次に、機器監視システム２１０の動作について説明する。

なお、ＭＦＰに関する付加情報を撮影画像に合成した合成画像を表示部５２に表示させる場合の携帯端末２５０の動作については、第１の実施の形態に係る携帯端末５０の動作と同様であるので、説明を省略する。

ＭＦＰに発生した音が異常音であるか否かを判定する場合の携帯端末２５０の動作について説明する。

図１３は、ＭＦＰに発生した音が異常音であるか否かを判定する場合の携帯端末２５０の動作のフローチャートである。

携帯端末２５０の制御部５９は、図１３に示す動作を実行することを利用者によって操作部５１を介して指示されたとき、または、定期的に、図１３に示す動作を実行する。

図１３に示すように、携帯端末２５０の制御部５９は、位置検出部５５によって検出された携帯端末２５０の現実空間での現在の位置をネットワーク通信部５７を介して管理サーバー４０に送信することによって、携帯端末２５０から最も近いＭＦＰをネットワーク通信部５７を介して管理サーバー４０から取得し、このＭＦＰを対象のＭＦＰ（以下「対象ＭＦＰ」と言う。）として特定する（Ｓ１６１）。

次いで、携帯端末２５０の異常音判定手段２５９ａは、マイクロフォン２５１によって音を収集する（Ｓ１６２）。

次いで、異常音判定手段２５９ａは、ネットワーク通信部５７を介して管理サーバー４０から受信した対象ＭＦＰのサンプル音データによって表される音と、Ｓ１６２において収集した音とを比較することによって、Ｓ１６２において収集した音が異常音であるか否かを、Ｓ１０２の処理と同様にして判定する（Ｓ１６３）。

異常音判定手段２５９ａは、Ｓ１６２において収集した音が異常音ではないとＳ１６３において判定すると、図１３に示す動作を終了する。

一方、携帯端末２５０の発生音記録手段２５９ｃは、Ｓ１６２において収集した音が異常音であるとＳ１６３において判定されると、Ｓ１６２において収集した音に基づいて異常音データを生成した後、生成した異常音データをネットワーク通信部５７を介して管理サーバー４０に送信することによって、管理サーバー４０の記憶部４４に対象ＭＦＰの異常音データ４４ｄとして記憶させる（Ｓ１６４）。

次いで、携帯端末２５０の異常音発生通知手段２５９ｂは、対象ＭＦＰの現実空間での現在の位置を管理サーバー４０に送信することによって、この位置に対して特定の範囲内に存在する携帯端末の利用者の電子メールアドレスなどの連絡先を管理サーバー４０から取得し、取得した連絡先に対して異常音の発生を通知する（Ｓ１６５）。ここで、異常音発生通知手段２５９ｂは、携帯端末２５０の表示部５２およびスピーカー５３の少なくとも一方を介して、ＭＦＰにおける異常音の発生を携帯端末２５０自身の利用者に通知するようになっていても良い。

携帯端末２５０の制御部５９は、Ｓ１６５の処理を終了すると、図１３に示す動作を終了する。

なお、機器監視システム２１０は、本実施の形態において対象ＭＦＰにおける異常音の発生をこのＭＦＰから特定の範囲内に存在する携帯端末の利用者の連絡先に対して携帯端末２５０が通知するようになっているが、携帯端末２５０から直接通知するのではなく、携帯端末２５０から管理サーバー４０を介して間接的に通知するようになっていても良い。

また、機器監視システム２１０は、携帯端末２５０の異常音判定手段２５９ａ、異常音発生通知手段２５９ｂおよび発生音記録手段２５９ｃの少なくとも一部が携帯端末２５０ではなく管理サーバー４０において実現されるようになっていても良い。

なお、上述した各実施の形態における機器監視システムは、本発明の機器としてＭＦＰを備えているが、プリンター専用機、コピー専用機、ＦＡＸ専用機など、ＭＦＰ以外の画像形成装置を本発明の機器として備えていても良いし、画像形成装置以外の機器を本発明の機器として備えていても良い。

１０ 機器監視システム
２０ ＭＦＰ（機器）
３０ａ 異常音判定手段
３０ｂ 異常音発生通知手段
３０ｃ 発生音記録手段
５０ 携帯端末
５２ 表示部（表示デバイス）
５４ 撮像部（撮像デバイス）
５８ａ 機器監視プログラム
５９ａ 表示制御手段
５９ｂ 発生音再生手段
８０ 合成画像
８１ 撮影画像
８２ 付加情報
８２ａ タグ（機器に異常音が発生したことを示す情報）
８２ｂ ボタン（再生指示受付用情報）
２１０ 機器監視システム
２２０ ＭＦＰ（機器）
２５０ 携帯端末
２５８ａ 機器監視プログラム
２５９ａ 異常音判定手段
２５９ｂ 異常音発生通知手段
２５９ｃ 発生音記録手段

Claims (5)

1. 機器と、
   撮像デバイスおよび表示デバイスを備える携帯端末とを備える機器監視システムであって、
   前記携帯端末は、前記撮像デバイスによる撮影画像に、前記機器に関する付加情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段を備え、
   前記機器監視システムは、
   前記機器に発生した音が異常音であるか否かを判定する異常音判定手段を備え、
   前記表示制御手段は、前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に、この機器に異常音が発生したことを示す情報を、この機器に関する前記付加情報の少なくとも一部とすることを特徴とする機器監視システム。
2. 前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に通知する異常音発生通知手段を備えることを特徴とする請求項１に記載の機器監視システム。
3. 前記機器に発生した音を記録する発生音記録手段と、
   前記発生音記録手段によって記録された音を再生する発生音再生手段とを備え、
   前記表示制御手段は、前記機器に発生した音を前記発生音再生手段に再生させるための指示を受け付けるための再生指示受付用情報を、この機器に関する前記付加情報の少なくとも一部とすることを特徴とする請求項１または請求項２に記載の機器監視システム。
4. 撮像デバイスおよび表示デバイスを備える携帯端末によって実行される機器監視プログラムであって、
   前記撮像デバイスによる撮影画像に、機器に関する付加情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段、および、
   前記機器に発生した音が異常音であるか否かを判定する異常音判定手段として前記携帯端末を機能させ、
   前記表示制御手段は、前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に、この機器に異常音が発生したことを示す情報を、この機器に関する前記付加情報の少なくとも一部とすることを特徴とする機器監視プログラム。
5. 撮像デバイスと、
   表示デバイスと、
   前記撮像デバイスによる撮影画像に、機器に関する付加情報を、この撮影画像上のこの機器の位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段と、
   前記機器に発生した音が異常音であるか否かを判定する異常音判定手段とを備え、
   前記表示制御手段は、前記機器に発生した音が異常音であると前記異常音判定手段によって判定された場合に、この機器に異常音が発生したことを示す情報を、この機器に関する前記付加情報の少なくとも一部とすることを特徴とする携帯端末。

Images