JP2014171190A - 携帯機器、携帯機器用プログラムおよび機器情報表示システム - Google Patents

Abstract

【課題】 電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる携帯機器、携帯機器用プログラムおよび機器情報表示システムを提供する。
【解決手段】 携帯機器は、Ｓ１０２によって取得したＭＦＰの機器情報に基づく付加情報を、撮像部による撮影画像に、Ｓ１０２において取得したこのＭＦＰの現実空間での位置と、携帯機器の現実空間での位置との関係に対応した撮影画像上のこのＭＦＰの位置である撮影画像上機器位置に対応付けて合成した合成画像を表示部に表示させる（Ｓ１０４、Ｓ１０５）場合、このＭＦＰがこの撮影画像上機器位置に存在していないと判断したときに（Ｓ１０３でＮＯ）このＭＦＰの画像を撮影画像に撮影画像上機器位置で合成した合成画像を生成し（Ｓ１０７）、このＭＦＰがこの撮影画像上機器位置に存在していると判断したときに（Ｓ１０３でＹＥＳ）このＭＦＰの画像を撮影画像に合成せずに合成画像を生成する。
【選択図】 図５

Description

本発明は、撮像デバイスによる撮影画像に対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を実現する携帯機器、携帯機器用プログラムおよび機器情報表示システムに関する。

従来、撮像デバイスによる撮影画像に撮影された対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させる携帯機器として、この電子機器の現実空間での位置と、この携帯機器の現実空間での位置との関係に対応した撮像デバイスによる撮影画像上のこの電子機器の位置で、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とを撮影画像に合成した合成画像を表示デバイスに表示させることによって、撮影画像に、電子機器の機器情報に基づく付加情報と、電子機器の画像とが合成された直感的な表示を実行することができる携帯機器が知られている（特許文献１参照。）。

また、従来、撮像デバイスによる撮影画像に撮影された対象の電子機器の機器情報に基づく付加情報を合成した合成画像を表示デバイスに表示させる携帯機器として、この電子機器の現実空間での位置と、この携帯機器の現実空間での位置との関係に対応した撮像デバイスによる撮影画像上のこの電子機器の位置で、この電子機器の機器情報に基づく付加情報を撮影画像に合成した合成画像を表示デバイスに表示させることによって、撮影画像上の実際の電子機器に、この電子機器の機器情報に基づく付加情報を直感的に表示することができる携帯機器も知られている（特許文献２、３参照。）。

特開２０１２−１２９９９６号公報 特開２０１２−２９１６４号公報 特開２０１２−９００７７号公報

しかしながら、特許文献１に記載されている携帯機器においては、撮影画像上に実際の電子機器が存在していたとしても、電子機器の機器情報に基づく付加情報だけでなく、電子機器の画像をも合成するので、撮影画像上に実際の電子機器が存在している場合には、特許文献２、３に記載されている携帯機器と比較して、直感性が劣るという問題がある。

一方、特許文献２、３に記載されている携帯機器においても、携帯機器と、電子機器との間に障害物があることによって、撮影画像上に電子機器の代わりにこの障害物が存在する場合には、撮影画像上の障害物に、電子機器の機器情報に基づく付加情報が合成された違和感がある画像を表示するという問題がある。

そこで、本発明は、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる携帯機器、携帯機器用プログラムおよび機器情報表示システムを提供することを目的とする。

本発明の携帯機器は、撮像デバイスおよび表示デバイスを備える携帯機器であって、電子機器の現実空間での位置を取得する機器位置取得手段と、前記電子機器の機器情報を取得する機器情報取得手段と、前記電子機器の画像を取得する機器画像取得手段と、前記機器情報取得手段によって取得された前記電子機器の機器情報に基づく付加情報を、前記撮像デバイスによる撮影画像に、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との関係に対応した前記撮影画像上のこの電子機器の位置である撮影画像上機器位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段と、前記撮影画像上機器位置に前記電子機器が存在しているか否かを画像処理によって判断する撮影画像上機器存在判断手段とを備え、前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していないと判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成した前記合成画像を生成し、前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していると判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成せずに前記合成画像を生成することを特徴とする。

この構成により、本発明の携帯機器は、撮影画像上に対象の電子機器が存在していない場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像との両方を撮影画像に合成し、撮影画像上に対象の電子機器が存在している場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とのうち、この電子機器の機器情報に基づく付加情報のみを撮影画像に合成するので、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。

また、本発明の携帯機器において、前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、この合成画像においてこの電子機器の画像を囲んでこの画像とこの撮影画像とを区別する区別領域を生成しても良い。

この構成により、本発明の携帯機器は、電子機器の機器情報に基づく付加情報と、電子機器の画像とを撮影画像に合成した合成画像を生成する場合に、電子機器の画像と、撮影画像とを区別領域によって区別するので、合成画像における電子機器の画像の視認性を向上することができる。したがって、本発明の携帯機器は、電子機器の画像とともに表示される電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。

また、本発明の携帯機器において、前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との距離に応じて、この電子機器の画像の大きさを決定しても良い。

この構成により、本発明の携帯機器は、電子機器の機器情報に基づく付加情報と、電子機器の画像とを撮影画像に合成した合成画像を生成する場合に、電子機器の画像の大きさを現実空間における電子機器と携帯機器との距離に応じた大きさにするので、電子機器の画像とともに表示される電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。

また、本発明の携帯機器は、前記合成画像上の前記付加情報に対する指示を受け付ける指示受付手段と、前記指示受付手段によって受け付けられた指示に応じた前記電子機器に対する命令を送信する命令送信手段とを備えても良い。

この構成により、本発明の携帯機器は、直感性が高く表示された電子機器の機器情報に基づく付加情報に対する指示に基づいた命令を電子機器に送信することができるので、電子機器の操作感の直感性を向上することができる。

本発明の携帯機器用プログラムは、撮像デバイスおよび表示デバイスを備える携帯機器を、上述の携帯機器として機能させることを特徴とする。

この構成により、本発明の携帯機器用プログラムは、撮影画像上に対象の電子機器が存在していない場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像との両方を撮影画像に合成し、撮影画像上に対象の電子機器が存在している場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とのうち、この電子機器の機器情報に基づく付加情報のみを撮影画像に合成するので、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。

本発明の機器情報表示システムは、電子機器と、この電子機器の機器情報に基づく前記付加情報を前記撮影画像に合成した前記合成画像を前記表示デバイスに表示させる上述の携帯機器とを備えることを特徴とする。

この構成により、本発明の機器情報表示システムは、撮影画像上に対象の電子機器が存在していない場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像との両方を撮影画像に合成し、撮影画像上に対象の電子機器が存在している場合に、この電子機器の機器情報に基づく付加情報と、この電子機器の画像とのうち、この電子機器の機器情報に基づく付加情報のみを撮影画像に合成するので、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。

本発明の携帯機器、携帯機器用プログラムおよび機器情報表示システムは、電子機器の機器情報に基づく付加情報の表示の直感性を向上することができる。

本発明の一実施の形態に係る画像形成システムのブロック図である。 図１に示すＭＦＰのブロック図である。 図１に示す管理サーバーのブロック図である。 図１に示す携帯機器のブロック図である。 撮像部による撮影画像に対象のＭＦＰの機器情報に基づく付加情報を合成した合成画像を表示部に表示させる場合の図４に示す携帯機器の動作のフローチャートである。 ＭＦＰと、携帯機器との間に障害物がない場合に図１に示すＭＦＰおよび携帯機器を上方から観察した状態の一例を示す図である。 （ａ）は、図６に示す状態における携帯機器の撮像部による撮影画像の一例を示す図である。（ｂ）は、図６に示す状態においてＭＦＰの機器情報に基づく付加情報が合成された合成画像の一例を示す図である。 ＭＦＰと、携帯機器との間に障害物として壁がある場合に図１に示すＭＦＰおよび携帯機器を上方から観察した状態の一例を示す図である。 （ａ）は、図８に示す状態における携帯機器の撮像部による撮影画像の一例を示す図である。（ｂ）は、図８に示す状態において特定の範囲が削除された撮影画像の一例を示す図である。 （ａ）は、図８に示す状態においてＭＦＰの画像が合成された合成画像の一例を示す図である。（ｂ）は、図８に示す状態においてＭＦＰの機器情報に基づく付加情報が合成された合成画像の一例を示す図である。 表示部に表示された合成画像に基づいてＭＦＰを制御する場合の図４に示す携帯機器の動作のフローチャートである。 図８に示す状態においてＭＦＰの機器情報に基づく付加情報と、ＭＦＰの画像とのうち、ＭＦＰの機器情報に基づく付加情報のみを撮影画像に合成するようになっていると仮定した場合の合成画像の一例を示す図である。

以下、本発明の一実施の形態について、図面を用いて説明する。

まず、本実施の形態に係る機器情報表示システムとしての画像形成システム１０の構成について説明する。

図１は、本実施の形態に係る画像形成システム１０のブロック図である。

図１に示すように、画像形成システム１０は、電子機器としてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）２０を含む複数のＭＦＰと、ＭＦＰ２０を含む複数のＭＦＰを管理するコンピューターである管理サーバー３０と、撮影画像に対象のＭＦＰの機器情報に基づく付加情報を合成した合成画像を表示させる例えばスマートフォンなどの携帯機器４０とを備えている。ＭＦＰ２０を含む複数のＭＦＰと、管理サーバー３０と、携帯機器４０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１１を介して互いに通信可能に接続されている。

画像形成システム１０に含まれている複数のＭＦＰのそれぞれの構成は、ＭＦＰ２０の構成と同様である。したがって、以下においては、画像形成システム１０に含まれる複数のＭＦＰを代表してＭＦＰ２０について説明する。

図２は、ＭＦＰ２０のブロック図である。

図２に示すように、ＭＦＰ２０は、利用者による種々の操作が入力されるボタンなどの入力デバイスである操作部２１と、種々の情報を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、原稿から画像を読み取る読取デバイスであるスキャナー２３と、用紙などの記録媒体に印刷を実行する印刷デバイスであるプリンター２４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２５と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部２６と、ＭＦＰ２０の現実空間での現在の位置を検出するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などの位置検出デバイスである位置検出部２７と、各種のデータを記憶しているＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶装置である記憶部２８と、ＭＦＰ２０全体を制御する制御部２９とを備えている。

操作部２１は、表示部２２とともにタッチパネルを形成する入力デバイスを含んでいても良い。

記憶部２８は、ＭＦＰ２０の現実空間での位置を示す機器位置データ２８ａと、ＭＦＰ２０の機種名、性能、現在の状態などのＭＦＰ２０の機器情報２８ｂと、ＭＦＰ２０の画像を示す機器画像データ２８ｃとを記憶している。

制御部２９は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを予め記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。ＣＰＵは、ＲＯＭまたは記憶部２８に記憶されているプログラムを実行するようになっている。

制御部２９は、操作部２１に特定の操作が入力されたとき、または、定期的に、位置検出部２７によって現在の位置を検出して、機器位置データ２８ａとして記憶部２８に記憶させるようになっている。

また、制御部２９は、記憶部２８に記憶されている機器位置データ２８ａ、機器情報２８ｂおよび機器画像データ２８ｃを、これらに何らかの変更があったとき、操作部２１に特定の操作が入力されたとき、ネットワーク通信部２６を介して管理サーバー３０（図１参照。）から要求されたとき、または、定期的に、ネットワーク通信部２６を介して管理サーバー３０に送信するようになっている。

図３は、管理サーバー３０のブロック図である。

図３に示すように、管理サーバー３０は、種々の操作が入力されるマウスやキーボードなどの入力デバイスである操作部３１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部３２と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部３３と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部３４と、管理サーバー３０全体を制御する制御部３５とを備えている。

記憶部３４は、ＭＦＰの現実空間での位置を示す機器位置データ３４ａと、ＭＦＰの機種名、性能、現在の状態などのＭＦＰの機器情報３４ｂと、ＭＦＰの画像を示す機器画像データ３４ｃとをＭＦＰ毎に記憶することが可能である。

制御部３５は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部３４に記憶されているプログラムを実行するようになっている。

制御部３５は、ＭＦＰから送信されてきた機器位置データ、機器情報および機器画像データをネットワーク通信部３３を介して受信して、それぞれ、機器位置データ３４ａ、機器情報３４ｂおよび機器画像データ３４ｃとして記憶部３４に記憶させるようになっている。

図４は、携帯機器４０のブロック図である。

図４に示すように、携帯機器４０は、種々の操作が入力されるボタンなどの入力デバイスである操作部４１と、種々の情報を表示するＬＣＤなどの表示デバイスである表示部４２と、静止画または動画を撮影する撮像デバイスである撮像部４３と、携帯機器４０の現実空間での現在の位置を検出するＧＰＳ受信機などの位置検出デバイスである位置検出部４４と、携帯機器４０の現実空間での現在の方向を検出する加速度センサーなどの方向検出デバイスである方向検出部４５と、ネットワーク１１（図１参照。）経由で外部の装置と通信を行うネットワーク通信デバイスであるネットワーク通信部４６と、プログラムおよび各種のデータを記憶しているＨＤＤなどの不揮発性の記憶装置である記憶部４７と、携帯機器４０全体を制御する制御部４８とを備えている。

操作部４１は、表示部４２とともにタッチパネルを形成する入力デバイスを含んでいても良い。

記憶部４７は、制御部４８によって実行される携帯機器用プログラム４７ａを記憶している。

制御部４８は、例えば、ＣＰＵと、プログラムおよび各種のデータを予め記憶しているＲＯＭと、ＣＰＵの作業領域として用いられるＲＡＭとを備えている。ＣＰＵは、ＲＯＭまたは記憶部４７に記憶されているプログラムを実行するようになっている。

制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、対象のＭＦＰの現実空間での位置を機器位置データとして取得する機器位置取得手段４８ａ、対象のＭＦＰの機器情報を取得する機器情報取得手段４８ｂ、および、対象のＭＦＰの画像を機器画像データとして取得する機器画像取得手段４８ｃとして機能する。

また、制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、機器情報取得手段４８ｂによって取得されたＭＦＰの機器情報に基づく付加情報を、撮像部４３による撮影画像に、機器位置取得手段４８ａによって取得されたこのＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との関係に対応した撮影画像上のこのＭＦＰの位置である撮影画像上機器位置に対応付けて合成した合成画像を表示部４２に表示させる表示制御手段４８ｄとして機能する。

また、制御部４８は、記憶部４７に記憶されている携帯機器用プログラム４７ａを実行することによって、ＭＦＰの撮影画像上機器位置に、このＭＦＰが存在しているか否かを画像処理によって判断する撮影画像上機器存在判断手段４８ｅ、表示制御手段４８ｄによって表示部４２に表示させられた合成画像上のＭＦＰの機器情報に基づく付加情報に対する指示を受け付ける指示受付手段４８ｆ、および、指示受付手段４８ｆによって受け付けられた指示に応じたＭＦＰに対する命令を送信する命令送信手段４８ｇとして機能する。

次に、画像形成システム１０の動作について説明する。

まず、撮像部４３による撮影画像に対象のＭＦＰ２０の機器情報に基づく付加情報を合成した合成画像を表示部４２に表示させる場合の携帯機器４０の動作について説明する。

図５は、撮像部４３による撮影画像に対象のＭＦＰ２０の機器情報に基づく付加情報を合成した合成画像を表示部４２に表示させる場合の携帯機器４０の動作のフローチャートである。

図５に示すように、携帯機器４０の制御部４８の表示制御手段４８ｄは、撮像部４３による撮影画像を表示部４２に表示させる（Ｓ１０１）。

次いで、制御部４８の機器位置取得手段４８ａ、機器情報取得手段４８ｂおよび機器画像取得手段４８ｃは、位置検出部４４によって検出された携帯機器４０の現実空間での現在の位置と、方向検出部４５によって検出された携帯機器４０の現実空間での現在の方向とをネットワーク通信部４６を介して管理サーバー３０に送信することによって、撮像部４３による撮影の角度範囲と、携帯機器４０からの予め定められている距離の範囲とに含まれているＭＦＰの機器位置データ、機器情報および機器画像データをネットワーク通信部４６を介して管理サーバー３０から取得する（Ｓ１０２）。

次いで、制御部４８の撮影画像上機器存在判断手段４８ｅは、Ｓ１０２において取得されたＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との関係に対応した撮影画像上機器位置に、このＭＦＰが存在しているか否かを画像処理によって判断する（Ｓ１０３）。すなわち、撮影画像上機器存在判断手段４８ｅは、撮影画像においてＭＦＰの撮影画像上機器位置に、このＭＦＰの画像が存在しているか否かを判断する。

制御部４８の表示制御手段４８ｄは、ＭＦＰが存在しているとＳ１０３において判断された場合、Ｓ１０２において取得されたこのＭＦＰの機器情報に基づく付加情報を、撮像部４３による撮影画像に、このＭＦＰの撮影画像上機器位置に対応付けて合成した合成画像を生成する（Ｓ１０４）。

そして、表示制御手段４８ｄは、Ｓ１０４において生成した合成画像を表示部４２に表示させて（Ｓ１０５）、図５に示す動作を終了する。

表示制御手段４８ｄは、ＭＦＰが存在していないとＳ１０３において判断された場合、撮像部４３による撮影画像から、このＭＦＰの撮影画像上機器位置の特定の範囲を切り取って削除する（Ｓ１０６）。

なお、表示制御手段４８ｄは、Ｓ１０６においてＭＦＰの撮影画像上機器位置の特定の範囲を撮影画像から削除する場合、Ｓ１０２において取得されたこのＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との距離に応じて、この特定の範囲の大きさを決定する。

表示制御手段４８ｄは、Ｓ１０６の処理の後、Ｓ１０６においてＭＦＰの撮影画像上機器位置の特定の範囲が削除された撮影画像に、Ｓ１０２において取得されたこのＭＦＰの画像を、このＭＦＰの撮影画像上機器位置で合成した合成画像を生成する（Ｓ１０７）。

なお、表示制御手段４８ｄは、Ｓ１０７においてＭＦＰの画像を撮影画像に合成する場合、Ｓ１０２において取得されたこのＭＦＰの現実空間での位置と、位置検出部４４によって検出された携帯機器４０の現実空間での位置との距離に応じて、このＭＦＰの画像の大きさを決定する。

表示制御手段４８ｄは、Ｓ１０７の処理の後、Ｓ１０７において撮影画像に画像を合成したＭＦＰの機器情報であってＳ１０２において取得された機器情報に基づく付加情報を、撮影画像、すなわち、Ｓ１０７において生成した合成画像に、このＭＦＰの撮影画像上機器位置に対応付けて合成した合成画像を生成する（Ｓ１０４）。

そして、表示制御手段４８ｄは、Ｓ１０４において生成した合成画像を表示部４２に表示させて（Ｓ１０５）、図５に示す動作を終了する。

図６は、ＭＦＰ２０と、携帯機器４０との間に障害物がない場合にＭＦＰ２０および携帯機器４０を上方から観察した状態の一例を示す図である。

図６には、携帯機器４０の撮像部４３による撮影の角度範囲４３ａが示されている。また、図６には、人９１、人９２および壁９３が含まれている。

図７（ａ）は、図６に示す状態における携帯機器４０の撮像部４３による撮影画像の一例を示す図である。図７（ｂ）は、図６に示す状態においてＭＦＰ２０の機器情報に基づく付加情報が合成された合成画像の一例を示す図である。

図６に示す状態である場合、Ｓ１０１において表示部４２に表示される撮影画像は、図７（ａ）に示すようになる。そして、図６に示す状態である場合、ＭＦＰ２０と、携帯機器４０との間に障害物がないので、携帯機器４０の制御部４８は、撮影画像上機器位置にＭＦＰ２０が存在しているとＳ１０３において判断し、Ｓ１０２において取得したＭＦＰ２０の機器情報に基づく付加情報を、撮像部４３による撮影画像に、ＭＦＰ２０の撮影画像上機器位置に対応付けて合成した図７（ｂ）に示すような合成画像を表示部４２に表示する（Ｓ１０４およびＳ１０５）。

図７（ｂ）において、吹き出しで表されている付加情報５０は、ＭＦＰ２０の機器情報に基づく付加情報である。付加情報５０は、ＭＦＰ２０の現在の状態を示すメッセージ５１と、ＭＦＰ２０に対する指示を受け付けるための各種のボタン５２とを含んでいる。

図８は、ＭＦＰ２０と、携帯機器４０との間に障害物として壁９４がある場合にＭＦＰ２０および携帯機器４０を上方から観察した状態の一例を示す図である。

図８には、携帯機器４０の撮像部４３による撮影の角度範囲４３ａが示されている。また、図８には、人９１、人９２、壁９３および壁９４が含まれている。

図９（ａ）は、図８に示す状態における携帯機器４０の撮像部４３による撮影画像の一例を示す図である。図９（ｂ）は、図８に示す状態において特定の範囲が削除された撮影画像の一例を示す図である。図１０（ａ）は、図８に示す状態においてＭＦＰ２０の画像６２が合成された合成画像の一例を示す図である。図１０（ｂ）は、図８に示す状態において付加情報５０が合成された合成画像の一例を示す図である。

図８に示す状態である場合、Ｓ１０１において表示部４２に表示される撮影画像は、図９（ａ）に示すようになる。そして、図８に示す状態である場合、ＭＦＰ２０と、携帯機器４０との間に障害物としての壁９４があるので、携帯機器４０の制御部４８は、撮影画像上機器位置にＭＦＰ２０が存在していないとＳ１０３において判断し、図９（ｂ）に示すように、撮像部４３による撮影画像から、ＭＦＰ２０の撮影画像上機器位置の特定の範囲６１を切り取って削除する（Ｓ１０６）。次いで、携帯機器４０の制御部４８は、範囲６１が削除された撮影画像に、Ｓ１０２において取得されたＭＦＰ２０の画像６２を、ＭＦＰ２０の撮影画像上機器位置で合成した図１０（ａ）に示すような合成画像を生成する（Ｓ１０７）。なお、範囲６１のうち、ＭＦＰ２０の画像６２が合成された領域以外の領域６３は、図１０（ａ）に示す合成画像においてＭＦＰ２０の画像６２を囲んでこの画像６２と撮像部４３による撮影画像とを区別する領域であり、本発明の区別領域を構成している。最後に、携帯機器４０の制御部４８は、Ｓ１０２において取得したＭＦＰ２０の機器情報に基づく付加情報５０を、Ｓ１０７において生成した合成画像に、ＭＦＰ２０の撮影画像上機器位置に対応付けて合成した図１０（ｂ）に示すような合成画像を表示部４２に表示する（Ｓ１０４およびＳ１０５）。

次に、表示部４２に表示された合成画像に基づいてＭＦＰ２０を制御する場合の携帯機器４０の動作について説明する。

図１１は、表示部４２に表示された合成画像に基づいてＭＦＰ２０を制御する場合の携帯機器４０の動作のフローチャートである。

図１１に示すように、携帯機器４０の制御部４８の指示受付手段４８ｆは、Ｓ１０５において表示部４２に表示させられた合成画像上の付加情報５０に対する指示を操作部４１から受け付ける（Ｓ１３１）。例えば、指示受付手段４８ｆは、図７（ｂ）または図１０（ｂ）に示すボタン５２が押されることによって、指示を受け付ける。

次いで、制御部４８の命令送信手段４８ｇは、Ｓ１３１において受け付けられた指示に応じたＭＦＰに対する命令をネットワーク通信部４６を介して管理サーバー３０に送信して（Ｓ１３２）、図１１に示す動作を終了する。

なお、管理サーバー３０の制御部３５は、携帯機器４０からネットワーク通信部３３を介して受信した命令に基づいてＭＦＰを制御する。

以上に説明したように、携帯機器４０は、撮影画像上に対象のＭＦＰが存在していない場合に（Ｓ１０３でＮＯ）、このＭＦＰの機器情報に基づく付加情報５０と、このＭＦＰの画像６２との両方を撮影画像に合成し（Ｓ１０７およびＳ１０４）、撮影画像上に対象のＭＦＰが存在している場合に（Ｓ１０３でＹＥＳ）、このＭＦＰの機器情報に基づく付加情報５０と、このＭＦＰの画像６２とのうち、付加情報５０のみを撮影画像に合成する（Ｓ１０４）ので、ＭＦＰの機器情報に基づく付加情報５０の表示の直感性を向上することができる。

仮に、携帯機器４０は、例えば図８に示すようにＭＦＰ２０と、携帯機器４０との間に障害物である壁９４がある場合、すなわち、図９（ａ）に示すように撮影画像上にＭＦＰ２０が存在していない場合であっても、ＭＦＰ２０の機器情報に基づく付加情報５０と、ＭＦＰ２０の画像６２とのうち、付加情報５０のみを撮影画像に合成するようになっているとすると、図１２に示すように、撮影画像上の壁９４に、付加情報５０が合成された違和感がある画像を表示することになる。しかしながら、携帯機器４０は、撮影画像上にＭＦＰ２０が存在していない場合には、図１０（ｂ）に示すように、ＭＦＰ２０の機器情報に基づく付加情報５０と、ＭＦＰ２０の画像６２との両方を撮影画像に合成する（Ｓ１０７およびＳ１０４）ので、ＭＦＰ２０の機器情報に基づく付加情報５０の表示の直感性を向上することができる。

なお、本実施の形態おいては、壁が障害物となっている。しかしながら、壁以外にも、柱、椅子、机、棚、人など、様々なものが障害物となり得る。

携帯機器４０は、ＭＦＰの機器情報に基づく付加情報５０と、ＭＦＰの画像６２とを撮影画像に合成した合成画像を生成する（Ｓ１０７およびＳ１０４）場合に、図１０（ｂ）に示すように、ＭＦＰの画像６２と、撮影画像とを区別領域である領域６３によって区別するので、合成画像におけるＭＦＰの画像６２の視認性を向上することができる。したがって、携帯機器４０は、ＭＦＰの画像６２とともに表示されるＭＦＰの機器情報に基づく付加情報５０の表示の直感性を向上することができる。

なお、携帯機器４０は、本実施の形態において、撮影画像から範囲６１を切り取って削除した後でＭＦＰの画像６２を合成することによって領域６３を生成している。しかしながら、携帯機器４０は、本実施の形態において示した方法以外の方法によって、領域６３を生成するようになっていても良い。

また、携帯機器４０は、本実施の形態において、外形が円形である領域６３を生成している。しかしながら、携帯機器４０は、外形が円形以外の形状である領域６３を生成するようになっていても良い。例えば、携帯機器４０は、ＭＦＰの画像６２を縁取った形状である領域６３を生成するようになっていても良い。

また、携帯機器４０は、領域６３を設けずに、撮影画像にＭＦＰの画像６２を直接合成するようになっていても良い。

携帯機器４０は、ＭＦＰの機器情報に基づく付加情報５０と、ＭＦＰの画像６２とを撮影画像に合成した合成画像を生成する（Ｓ１０７およびＳ１０４）場合に、ＭＦＰの画像６２の大きさを現実空間におけるＭＦＰと携帯機器４０との距離に応じた大きさにする（Ｓ１０７）、すなわち、ＭＦＰの画像６２の縮尺を現実空間におけるＭＦＰと携帯機器４０との距離に応じて変更するので、ＭＦＰの画像６２とともに表示されるＭＦＰの機器情報に基づく付加情報５０の表示の直感性を向上することができる。

なお、携帯機器４０は、ＭＦＰの機器情報に基づく付加情報５０と、ＭＦＰの画像６２とを撮影画像に合成した合成画像を生成する場合に、ＭＦＰの画像６２の縮尺を変更するようになっていなくても良い。

携帯機器４０は、直感性が高く表示されたＭＦＰの機器情報に基づく付加情報５０に対する指示に基づいた命令をＭＦＰに送信する（Ｓ１３２）ことができるので、ＭＦＰの操作感の直感性を向上することができる。

なお、画像形成システム１０は、本実施の形態において管理サーバー３０を備えているが、ＭＦＰ自身が管理サーバー３０として機能しても良い。すなわち、携帯機器４０は、ＭＦＰの機器位置データ、機器情報および機器画像データを、このＭＦＰから直接受信するようになっていても良いし、ＭＦＰへの命令を、このＭＦＰに直接送信するようになっていても良い。

また、本発明の機器情報表示システムは、本実施の形態において本発明の電子機器としてＭＦＰを備えているが、プリンター専用機、コピー専用機、ＦＡＸ専用機など、ＭＦＰ以外の画像形成装置を本発明の電子機器として備えていても良いし、画像形成装置以外の電子機器を本発明の電子機器として備えていても良い。

１０ 画像形成システム（機器情報表示システム）
２０ ＭＦＰ（電子機器）
２８ｂ 機器情報
３４ｂ 機器情報
４０ 携帯機器
４２ 表示部（表示デバイス）
４３ 撮像部（撮像デバイス）
４７ａ 携帯機器用プログラム
４８ａ 機器位置取得手段
４８ｂ 機器情報取得手段
４８ｃ 機器画像取得手段
４８ｄ 表示制御手段
４８ｅ 撮影画像上機器存在判断手段
４８ｆ 指示受付手段
４８ｇ 命令送信手段
５０ 付加情報
６２ 画像（電子機器の画像）
６３ 領域（区別領域）

Claims (6)

1. 撮像デバイスおよび表示デバイスを備える携帯機器であって、
   電子機器の現実空間での位置を取得する機器位置取得手段と、
   前記電子機器の機器情報を取得する機器情報取得手段と、
   前記電子機器の画像を取得する機器画像取得手段と、
   前記機器情報取得手段によって取得された前記電子機器の機器情報に基づく付加情報を、前記撮像デバイスによる撮影画像に、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との関係に対応した前記撮影画像上のこの電子機器の位置である撮影画像上機器位置に対応付けて合成した合成画像を前記表示デバイスに表示させる表示制御手段と、
   前記撮影画像上機器位置に前記電子機器が存在しているか否かを画像処理によって判断する撮影画像上機器存在判断手段とを備え、
   前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していないと判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成した前記合成画像を生成し、
   前記表示制御手段は、前記撮影画像上機器存在判断手段によって前記電子機器が存在していると判断された場合に、前記機器画像取得手段によって取得されたこの電子機器の画像を前記撮影画像に前記撮影画像上機器位置で合成せずに前記合成画像を生成することを特徴とする携帯機器。
2. 前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、この合成画像においてこの電子機器の画像を囲んでこの画像とこの撮影画像とを区別する区別領域を生成することを特徴とする請求項１に記載の携帯機器。
3. 前記表示制御手段は、前記電子機器の画像を前記撮影画像に合成した前記合成画像を生成する場合、前記機器位置取得手段によって取得されたこの電子機器の現実空間での位置と、前記携帯機器の現実空間での位置との距離に応じて、この電子機器の画像の大きさを決定することを特徴とする請求項１または請求項２に記載の携帯機器。
4. 前記合成画像上の前記付加情報に対する指示を受け付ける指示受付手段と、
   前記指示受付手段によって受け付けられた指示に応じた前記電子機器に対する命令を送信する命令送信手段とを備えることを特徴とする請求項１から請求項３までの何れかに記載の携帯機器。
5. 撮像デバイスおよび表示デバイスを備える携帯機器を、請求項１から請求項４までの何れかに記載の携帯機器として機能させることを特徴とする携帯機器用プログラム。
6. 電子機器と、この電子機器の機器情報に基づく前記付加情報を前記撮影画像に合成した前記合成画像を前記表示デバイスに表示させる請求項１から請求項４までの何れかに記載の携帯機器とを備えることを特徴とする機器情報表示システム。

Images