JP2014199503A - 携帯端末、マニュアル表示システムおよびマニュアル表示方法ならびにマニュアル表示プログラム - Google Patents

Abstract

【課題】対象製品とマニュアルとを見比べることなく対象機器の消耗部品の交換手順をユーザに呈示できるようにする。
【解決手段】対象製品を撮像する撮像部１２０と、撮像部１２０が撮像した撮像画像を表示する表示部１３０と、を有する携帯端末１００であって、撮像部１２０から取得した撮像画像データに含まれる消耗部品画像データを抽出し、抽出した消耗部品画像データに対応する交換手順画像データを取得する画像データ照合部１１２を有し、表示部１３０は、交換手順画像データに基づき交換手順画像を撮像画像に対して重畳表示する。
【選択図】図１

Description

本発明は、携帯端末、マニュアル表示システムおよびマニュアル表示方法ならびにマニュアル表示プログラムに関する。

従来、家電製品やＯＡ（Ｏｆｆｉｃｅ Ａｕｔｏｍａｔｉｏｎ）機器など（以下、対象製品）のマニュアルは、紙媒体であったりデジタルデータであったりする。これら、従来のマニュアルは対象製品の交換手順を説明した文章および図からなる。

例えば、特開２０１０−２１９８７９号公報（特許文献１）には、「携帯通信端末は送信されたヘルプ情報と撮像画像データとを合成し、ヘルプ情報提供画像データを生成し、表示する。」と記載されている。

特開２０１０−２１９８７９号公報

従来の方法では、対象機器の消耗部品の交換が必要になった場合、ユーザは消耗部品の交換手順が記載されたマニュアルを参照していた。このような場合、ユーザは、対象製品とマニュアルとを見比べながら消耗部品を交換しなければならなかった。

本発明の目的は、対象製品とマニュアルとを見比べることなく対象機器の消耗部品の交換手順をユーザに呈示できるようにする技術を提供することである。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。

本発明の一実施の形態は、対象製品を撮像する撮像部と、前記撮像部が撮像した撮像画像を表示する表示部と、を有する携帯端末であって、前記撮像部から取得した撮像画像データに含まれる消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する交換手順画像データを取得する画像データ照合部を有する。また、前記表示部は、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する。

また、他の実施の形態では、携帯端末と、この携帯端末とネットワークを介して接続されるＡＲ管理システムとを有するマニュアル表示システムであって、前記ＡＲ管理システムは、前記携帯端末に消耗部品画像データを配信する画像データ配信部を有する。また、前記携帯端末は、対象製品を撮像する撮像部と、前記撮像部が撮像した撮像画像を表示する表示部と、前記撮像部から取得した撮像画像データに含まれる消耗部品画像データと前記画像データ配信部から配信された前記消耗部品画像データとが近似する場合、前記消耗部品画像データに対応する交換手順画像データを取得する画像データ照合部とを有する。また、前記表示部は、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する。

また、他の実施の形態では、マニュアル表示方法であって、表示部により、撮像部が撮像した撮像画像を表示する第１表示ステップを有する。また、画像データ照合部により、撮像部から取得した撮像画像データに含まれる消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する交換手順画像データを取得する交換手順画像データ取得ステップを有する。また、前記表示部により、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する第２表示ステップを有する。

また、他の実施の形態では、マニュアル表示プログラムであって、表示部により、撮像部が撮像した撮像画像を表示する第１表示ステップと、画像データ照合部により、撮像部から取得した撮像画像データに含まれる消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する交換手順画像データを取得する交換手順画像データ取得ステップと、前記表示部により、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する第２表示ステップとを携帯端末のコンピュータに実行させる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明の一実施の形態によれば、対象製品とマニュアルとを見比べることなく対象機器の消耗部品の交換手順をユーザに呈示できるようになる。

本発明の一実施の形態におけるマニュアル表示システムの構成例の概要を示す図である。 図１のマニュアル表示システムにおいて、対象製品の例を示す図である。 消耗部品画像の例を示す図である。 図１の携帯端末において、メニュー画面の例を示す図である。 図１の携帯端末において、交換手順画面の例を示す図である。 本発明の一実施の形態におけるマニュアル表示処理の処理フローを示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

本発明の携帯端末は、撮像画像と予め記憶している消耗部品画像データとをパターンマッチングすることで、対応する交換手順画像データを取得し、この交換手順画像データに基づき交換手順画像を表示する。これにより、携帯端末を対象製品にかざすだけで対象機器の消耗部品の交換手順を携帯端末に表示できるようになる。

＜システム構成＞
図１は、本発明の一実施の形態におけるマニュアル表示システムの構成例の概要を示す。

図１において、マニュアル表示システムは例えば、携帯端末１００と、この携帯端末１００とネットワークを介して接続されるＡＲ（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ／拡張現実）管理システム２００とを有する。

携帯端末１００、ＡＲ管理システム２００は、プロセッサによるメモリ上のプログラムの実行により、携帯端末１００、ＡＲ管理システム２００が有するコンピュータを機能させる。

携帯端末１００は、ＡＲアプリケーション１１１と、撮像部１２０と、表示部１３０とを有する。

ＡＲアプリケーション１１１は、画像データ照合部１１２と、登録処理部１１３と、交換手順画像データ記憶部１１４と、消耗部品画像データ記憶部１１５とを有する。ＡＲアプリケーション１１１は、画像認識技術、パターンマッチング技術を利用することで、ＱＲコード（登録商標）などのマーカを用いることなくＡＲを提供するＡｕｒａｓｍａが利用されている。

消耗部品画像データ記憶部１１５は、パターンマッチングに用いる消耗部品画像データを複数記憶する。例えば、対象製品３００が、図２に示すプリンターである場合、消耗部品画像は図３に示すインクが消耗したトナーの画像が該当する。

画像データ照合部１１２は、撮像部１２０（例えば、カメラなど）から取得した対象製品３００（例えば、プリンター）の撮像画像データと消耗部品（例えば、プリンターのトナー）の画像データ（以下、消耗部品画像データ）とをパターンマッチングすることで、一致または近似する消耗部品画像データが撮像画像データに含まれているか否かを判定する。

交換手順画像データ記憶部１１４は、消耗部品画像データと交換手順画像データとを対応付けて複数記憶する。画像データ照合部１１２が、携帯端末１００がかざされた対象製品に消耗部品画像データが含まれると判定する場合、その後、消耗部品の交換手順を説明する画像（以下、交換手順画像）が携帯端末１００の表示部１３０に重畳表示される。交換手順画像は、例えば、図５におけるトナーの交換手順を説明するための吹き出し、吹き出し内の説明文、矢印、新しいトナーの画像が該当する。

表示部１３０は、画面表示を行うとともにユーザからのタッチによる入力を受け付けるタッチパネルが該当する。

ＡＲ管理システム２００は、画像データ登録処理部２１１と、コンテンツ登録処理部２１２と、画像データ配信部２１３と、交換手順画像データ配信部２１４と、画像データ記憶部２１５と、交換手順画像データ記憶部２１６とを有する。

ＡＲ管理システム２００は、携帯端末１００からの要求に応じて消耗部品画像データと交換手順画像データとを携帯端末１００に提供する。

画像データ登録処理部２１１は、登録処理部１１３からの要求に応じて消耗部品画像データを生成し、生成した消耗部品画像データを画像データ記憶部２１５および交換手順画像データ記憶部２１６に記憶する。

コンテンツ登録処理部２１２は、登録処理部１１３からの要求に応じて交換手順画像データを生成し、生成した交換手順画像データを交換手順画像データ記憶部２１６に記憶する。

画像データ配信部２１３は、画像データ照合部１１２からの要求に応じて画像データ記憶部２１５から消耗部品画像データを取得し、取得した消耗部品画像データを画像データ照合部１１２へ配信する。

交換手順画像データ配信部２１４は、画像データ照合部１１２からの要求に応じて交換手順画像データ記憶部２１６から交換手順画像データを取得し、取得した交換手順画像データを画像データ照合部１１２へ配信する。

＜マニュアル表示処理＞
図６は、本発明の一実施の形態におけるマニュアル表示処理の処理フローを示す。

まず、Ｓ６０１にて、撮像部１２０は対象製品３００を撮像する。そして、撮像部１２０は、撮像画像の撮像画像データを表示部１３０および画像データ照合部１１２へ送信する。

次に、Ｓ６０２にて、表示部１３０は、撮像部１２０から受信した撮像画像データに基づき撮像画像を表示する。

次に、Ｓ６０３にて、画像データ照合部１１２は、消耗部品画像データ記憶部１１５から消耗部品画像データをすべて取得する。

次に、Ｓ６０４にて、画像データ照合部１１２は、撮像画像データに含まれる消耗部品画像データを取得した各消耗部品画像データから抽出するための判定をする。より詳細には、画像データ照合部１１２は、撮像部１２０から取得した撮像画像データと消耗部品画像データ記憶部１１５から取得した各消耗部品画像データとをパターンマッチングすることで、一致または近似する消耗部品画像データが撮像画像データに含まれるか否かを判定する。Ｓ６０４にて、画像データ照合部１１２が、一致または近似する消耗部品画像データが撮像画像データに含まれないと判定する場合（Ｓ６０４−Ｎｏ）、Ｓ６０１へ進む。一方、画像データ照合部１１２が、一致または近似する消耗部品画像データが撮像画像データに含まれると判定する場合（Ｓ６０４−Ｙｅｓ）、画像データ照合部１１２は、取得した消耗部品画像データの中から撮像画像データに含まれる消耗部品画像データを抽出する。さらに、画像データ照合部１１２は、抽出された消耗部品画像データの消耗部品画像が存在する撮像画像内の領域を特定するための領域特定情報を算出し、Ｓ６０５へ進む。

次に、Ｓ６０５にて、画像データ照合部１１２は、Ｓ６０４にて抽出された消耗部品画像データに対応する交換手順画像データを交換手順画像データ記憶部１１４から取得する。

次に、Ｓ６０６にて、画像データ照合部１１２は、Ｓ６０５にて取得した交換手順画像データとＳ６０４にて算出した領域特定情報とを表示部１３０に送信する。

次に、Ｓ６０７にて、表示部１３０は、図４に示すメニュー画面を表示する。その後、メニュー画面のメニューボタン４０１がタッチによる入力を受け付けた場合、受信した領域特定情報から特定される領域付近に、交換手順画像データに基づき交換手順画像を撮像画像に対して重畳表示する。

なお、消耗部品画像データ記憶部１１５は、消耗部品画像データとして、消耗され交換が必要な部品のデータのみを記憶するようにしてもよい。

また、表示部１３０は、図５に示す交換手順画面の次へボタン５０１がタッチによる入力を受け付けた場合、次の交換手順画像を撮像画像に対して重畳表示するようにしてもよい。

また、Ｓ６０３にて、画像データ照合部１１２は、画像データ配信部２１３に消耗部品画像データの配信を要求し、画像データ配信部２１３から消耗部品画像データを取得するようにしてもよい。その後、画像データ照合部１１２は、取得した消耗部品画像データを消耗部品画像データ記憶部１１５に記憶するようにしてもよい。

さらに、画像データ照合部１１２は、定期的に画像データ配信部２１３に消耗部品画像データの配信を要求し、その後、画像データ配信部２１３から取得した消耗部品画像データを消耗部品画像データ記憶部１１５に記憶するようにしてもよい。

また、Ｓ６０５にて、画像データ照合部１１２は、Ｓ６０４にて特定された消耗部品画像データに対応する交換手順画像データの配信の要求を、交換手順画像データ配信部２１４に対して行うことで、対応する交換手順画像データを取得するようにしてもよい。その後、画像データ照合部１１２は、取得した交換手順画像データを交換手順画像データ記憶部１１４に記憶するようにしてもよい。

さらに、画像データ照合部１１２は、定期的に、交換手順画像データ配信部２１４に交換手順画像データの配信を要求し、取得した交換手順画像データを交換手順画像データ記憶部１１４に記憶するようにしてもよい。

ここで、本発明のマニュアル表示方法およびマニュアル表示プログラムはＳ６０２が第１表示ステップに相当し、Ｓ６０５が交換手順画像データ取得ステップに相当し、Ｓ６０７が第２表示ステップに相当する。

＜本実施の形態の効果＞
以上説明した本実施の形態によれば、消耗部品画像データとパターンマッチングすることで取得した交換手順画像を撮像画像に対して重畳表示することで、携帯端末を対象製品にかざすだけで対象機器の消耗部品の交換手順を携帯端末に表示できるようになり、対象製品とマニュアルとを見比べることなく対象機器の消耗部品の交換手順をユーザに呈示できるようになる。

さらに、消耗部品画像が表示される領域付近に交換手順画像を重畳表示することで、消耗部品画像の位置をユーザが認識しやすくなる。

さらに、交換が必要な消耗部品の消耗部品画像データを抽出し、抽出した消耗部品画像データに対応する交換手順画像を取得することで、携帯端末を対象製品にかざすだけで消耗部品の交換の必要性をチェックできるようになる。

以上、本発明によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、対象製品とマニュアルとを見比べることなく対象機器の消耗部品の交換手順をユーザに呈示できるようになるという優れた効果を有し、携帯端末、マニュアル表示システムおよびマニュアル表示方法ならびにマニュアル表示プログラムにも適用することができる。

１００ 携帯端末
１１１ ＡＲアプリケーション
１１２ 画像データ照合部
１１３ 登録処理部
１１４ 交換手順画像データ記憶部
１１５ 消耗部品画像データ記憶部
１２０ 撮像部
１３０ 表示部
２００ ＡＲ管理システム
２１１ 画像データ登録処理部
２１２ コンテンツ登録処理部
２１３ 画像データ配信部
２１４ 交換手順画像データ配信部
２１５ 画像データ記憶部
２１６ 交換手順画像データ記憶部
３００ 対象製品
４０１ メニューボタン
５０１ 次へボタン

Claims (12)

1. 対象製品を撮像する撮像部と、前記撮像部が撮像した撮像画像を表示する表示部と、を有する携帯端末であって、
   前記撮像部から取得した撮像画像データに含まれる消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する交換手順画像データを取得する画像データ照合部を有し、
   前記表示部は、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する、携帯端末。
2. 請求項１に記載の携帯端末において、
   前記表示部は、消耗部品画像が表示される領域付近に前記交換手順画像を重畳表示する、携帯端末。
3. 請求項１または２に記載の携帯端末において、
   前記画像データ照合部は、交換が必要な消耗部品の前記消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する前記交換手順画像データを取得する、携帯端末。
4. 携帯端末と、この携帯端末とネットワークを介して接続されるＡＲ管理システムと、を有するマニュアル表示システムであって、
   前記ＡＲ管理システムは、前記携帯端末に消耗部品画像データを配信する画像データ配信部を有し、
   前記携帯端末は、対象製品を撮像する撮像部と、前記撮像部が撮像した撮像画像を表示する表示部と、前記撮像部から取得した撮像画像データに含まれる前記消耗部品画像データと前記画像データ配信部から配信された前記消耗部品画像データとが近似する場合、前記消耗部品画像データに対応する交換手順画像データを取得する画像データ照合部と、を有し、
   前記表示部は、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する、マニュアル表示システム。
5. 請求項４に記載のマニュアル表示システムにおいて、
   前記表示部は、消耗部品画像が表示される領域付近に前記交換手順画像を重畳表示する、マニュアル表示システム。
6. 請求項４または５に記載のマニュアル表示システムにおいて、
   前記画像データ照合部は、交換が必要な消耗部品の前記消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する前記交換手順画像データを取得する、マニュアル表示システム。
7. 対象製品を撮像する撮像部と、前記撮像部が撮像した撮像画像を表示する表示部と、を有する携帯端末におけるマニュアル表示方法であって、
   前記表示部により、前記撮像部が撮像した前記撮像画像を表示する第１表示ステップと、
   画像データ照合部により、前記撮像部から取得した撮像画像データに含まれる消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する交換手順画像データを取得する交換手順画像データ取得ステップと、
   前記表示部により、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する第２表示ステップと、を有する、マニュアル表示方法。
8. 請求項７に記載のマニュアル表示方法において、
   前記第２表示ステップは、消耗部品画像が表示される領域付近に前記交換手順画像を重畳表示する、マニュアル表示方法。
9. 請求項７または８に記載のマニュアル表示方法において、
   前記交換手順画像データ取得ステップは、交換が必要な前記消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する前記交換手順画像データを取得する、マニュアル表示方法。
10. 対象製品を撮像する撮像部と、前記撮像部が撮像した撮像画像を表示する表示部と、を有する携帯端末のコンピュータを機能させるためのマニュアル表示プログラムであって、
    前記表示部により、前記撮像部が撮像した前記撮像画像を表示する第１表示ステップと、
    画像データ照合部により、前記撮像部から取得した撮像画像データに含まれる消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する交換手順画像データを取得する交換手順画像データ取得ステップと、
    前記表示部により、前記交換手順画像データに基づき交換手順画像を前記撮像画像に対して重畳表示する第２表示ステップと、を携帯端末のコンピュータに実行させる、マニュアル表示プログラム。
11. 請求項１０に記載のマニュアル表示プログラムにおいて、
    前記２表示ステップは、消耗部品画像が表示される領域付近に前記交換手順画像を重畳表示する、マニュアル表示プログラム。
12. 請求項１０または１１に記載のマニュアル表示プログラムにおいて、
    前記交換手順画像データ取得ステップは、交換が必要な消耗部品の前記消耗部品画像データを抽出し、抽出した前記消耗部品画像データに対応する前記交換手順画像データを取得する、マニュアル表示プログラム。

Images