JP2016057838A - ウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システム - Google Patents

Abstract

【課題】制御対象機器が提供する情報を利用できる状態で撮影できるように撮影部の位置を誘導する。【解決手段】制御対象機器を撮影する撮影部（カメラ）と、撮影した制御対象機器に定められた特定部位の位置情報を取得する取得部（情報取得部）と、位置情報に基づいて制御対象機器における特定部位に注目を促す案内情報を生成する情報生成部（案内画像生成部）と、案内情報を制御対象機器の像に重畳表示する重畳部と、注目を促した特定部位の撮影によって得られた情報に基づく情報処理を実行する制御部（端末制御部）と、を備える。【選択図】図６

Description

本発明は、ウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システムに関する。

近年、モバイル端末の普及に伴い、当該モバイル端末と他の電子機器とを相互接続して情報の送受を行ったり、モバイル端末を利用して電子機器を操作する等の技術が種々提案されている。例えば、モバイル端末で取得または作成したドキュメントを電子機器に転送したり、電子機器側で印刷したりする場合がある。このような場合、モバイル端末と電子機器との相互接続は、例えば無線ＬＡＮを利用して行われる場合がある。モバイル端末と電子機器を無線ＬＡＮで接続する場合、その設定作業は手動で行うこともあるが、無線ＬＡＮの設定情報等を予め電子機器側で準備しておき、その設定情報をモバイル端末側で取得することで容易に接続を確立する技術が提案されている。

例えば、特許文献１に開示された技術の場合、電子機器の一例である宅内通信機器の筐体には、モバイル端末としての携帯電話に無線ＬＡＮの設定を自動で行うための接続情報をマトリックス型の二次元コードの形態で装着している。そして、この二次元コードを携帯電話に設けられたコードリーダで読み取ることにより無線ＬＡＮの接続情報を取得する。例えば、携帯電話に設けられたカメラで二次元コードを撮影して、解析することにより接続情報を取得し、無線ＬＡＮの設定を自動で実行できるように構成している。

近年、モバイル端末の一例として、ウェアラブル端末の開発および実用化が行われている。そして、ウェアラブル端末は、主としてユーザの身体に装着した状態で使用する。例えば頭部装着タイプや手首装着タイプ等があり、さらにカメラ（撮影部）を搭載して周囲の状況を取得するタイプもある。このようなウェアラブル端末の場合、ユーザの見えている範囲とウェアラブル端末のカメラで撮影している範囲が異なる場合がある。また、ユーザには電子機器に表示された供給情報（例えば二次元コード）が目視できていても、カメラの撮影画像上で、二次元コード等の供給情報が有効な認識範囲から外れていたり、認識範囲内であっても小さすぎて内容が解析できない場合等がある。つまり、ユーザは供給情報が読み取れると思っていても、実際には読み取れない場合があり、無線ＬＡＮの接続情報等の各供給情報の取得等がスムーズにできない場合があるという問題があった。

本発明は、上述の課題に鑑みてなされたものであり、制御対象機器（電子機器）が提供する情報（供給情報）を利用できる状態で撮影できるように撮影部の位置を誘導することができるウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システムを提供することを目的の１つとする。

上述した課題を解決し、目的を達成するために、本発明は、制御対象機器を撮影する撮影部と、撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、前記位置情報に基づいて前記制御対象機器における前記特定部位に注目を促す案内情報を生成する情報生成部と、前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、注目を促した前記特定部位の撮影によって得られた情報に基づく情報処理を実行する制御部と、を備えるウェアラブル端末である。

本発明によれば、制御対象機器が提供する情報を利用できる状態で撮影できるように撮影部の位置を誘導することができる。その結果、制御対象機器から供給された情報に基づく情報処理をスムーズに実行することができる。

図１は、実施形態に係るウェアラブル端末と接続可能な制御対象機器の一例である画像処理装置のハードウエア構成を説明する説明図である。 図２は、実施形態に係るウェアラブル端末の一例であるメガネタイプのウェアラブル端末の外観構成を説明する概略構成図である。 図３は、実施形態に係るウェアラブル端末のハードウエア構成を説明する説明図である。 図４は、実施形態に係る画像処理装置の一部の機能を実現するソフトウエアブロック図である。 図５は、実施形態に係るウェアラブル端末で取得する二次元コードで示される無線接続の設定情報の一例を説明する説明図である。 図６は、実施形態に係るウェアラブル端末のソフトウエアブロック図である。 図７は、実施形態に係るウェアラブル端末側に保持されている画像処理装置の特徴点とカメラで撮影している画像処理装置の特徴部分の比較状態を説明する説明図である。 図８は、実施形態に係るウェアラブル端末側に保持されている画像処理装置のパネル装置の位置とカメラで撮影している画像処理装置のパネル装置の相対位置の検出を説明する説明図である。 図９は、実施形態に係るウェアラブル端末で生成される案内情報の一例を示す説明図である。 図１０は、実施形態に係るメガネタイプのウェアラブル端末を介してユーザに見える映像の一例を示す説明図である。 図１１は、実施形態に係るウェアラブル端末の処理を説明するフローチャートである。 図１２は、図１１における取得情報に基づく処理の詳細を説明するフローチャートである。 図１３は、他の実施形態に係るウェアラブル端末の処理を説明するフローチャートである。 図１４は、図１３に示す実施形態で表示される案内情報の一例を説明する説明図である。 図１５は、画像処理装置側で二次元コードの生成および表示を要求された場合の処理を説明するフローチャートである。 図１６は、実施形態のウェアラブル端末で認識可能な情報の例として示される電子透かしの一例を説明する説明図である。 図１７は、実施形態に適用可能な他のウェアラブル端末として示される腕時計タイプのウェアラブル端末の外観構成および案内情報の表示態様を示す説明図である。

以下に添付図面を参照して、ウェアラブル端末、プログラム、情報処理システム、情報処理システムの制御方法および相互接続システムの実施形態を詳細に説明する。

本実施形態において、制御対象機器（電子機器）とウェアラブル端末とは、相互に無線接続されて、ウェアラブル端末側から制御対象機器の操作、制御を可能とする。本実施形態において、ウェアラブル端末は、一例として、制御対象機器と無線接続を実現するための設定情報を取得するために、制御対象機器を撮影する撮影部を含む。撮影部は、制御対象機器側が提供する情報(供給情報)としての設定情報、一例としてマトリックス型の二次元コードを撮影する。このとき、ウェアラブル端末は、制御対象機器が提供する二次元コードを利用できる状態で撮影できるように、案内を実現するために撮影した制御対象機器に定められた特定部位の位置情報を取得部が取得する。そして、取得した位置情報に基づいて制御対象機器における特定部位、例えば二次元コードの表示位置に注目を促す案内情報を情報生成部が生成する。生成した案内情報はユーザが認識し易いように、重畳部が制御対象機器の像に重畳表示する。案内情報によって注目を促すことにより撮影部の位置を変化させて、良好な特定部位の撮影を実現し、その撮影によって得られた情報（例えば二次元コード）に基づく情報処理を制御部が実行することで、無線接続処理をスムーズに実現する。

図１は、本実施形態に係るウェアラブル端末と接続可能な制御対象機器（電子機器）の一例である画像処理装置１０のハードウエア構成を説明する説明図である。なお、図１は、後述するウェアラブル端末との無線接続に関連する構成を主として示し、画像処理装置の他の機能に関する構成は、簡略化または省略している。

画像処理装置１０は、例えば複写機、プリンター、イメージスキャナ、ファクシミリ等の機能を1つの筐体に収めたものであり、デジタル複合機と称される（ＭＦＰ；MultiFunction Printer/Product/Peripheral）。画像処理装置１０は、ネットワークＩ／Ｆ（インタフェース）や通信Ｉ／Ｆを介して印刷データや画像ファイルを受信可能である。そして、受け付けた印刷データや画像ファイルに対して所望の処理条件を設定して印刷出力処理を実行する。所望の処理条件は、当該画像処理装置１０のパネル装置からの入力操作やネットワークＩ／Ｆや通信Ｉ／Ｆを介して接続された他の制御機器、例えばホストＰＣ（コンピュータ）やモバイル端末等からの入力操作により設定可能である。

画像処理装置１０は、コントローラ１２、パネル装置１４およびプリンタエンジン１６を含んで構成される。

コントローラ１２は、その動作時点に設定されている動作モードおよびネットワークＩ／Ｆを介して接続されたホストコンピュータ１８や通信Ｉ／Ｆを介して接続された後述するウェアラブル端末からの印字制御データに従って印刷処理を実行する。画像処理装置１０は、ホストコンピュータ（ホストＰＣ）１８やウェアラブル端末からの印字制御データを画像データ（ビットマップデータ）に変換（レンダリング）しプリンタエンジン１６へ出力する。なお、コントローラ１２は、さらに後述する各種モジュールで構成される。

パネル装置１４は、画像処理装置１０の状態を示す液晶パネル等を用いた表示部と、ユーザが画像処理装置１０の動作モードやフォント等の切替えやパスワードの入力等を行うためのタッチパネル等を用いた入力部とから構成される。

プリンタエンジン１６は、プロセスカートリッジを備える。プロセスカートリッジは、感光体を内蔵すると共に、帯電部、露光部、現像部、転写部、クリーニング部、除電部等を含む一体化部品であり、画像処理装置１０に対し着脱可能となっている。プリンタエンジン１６は、コントローラ１２からの制御信号および画像データに従ってプロセスカートリッジの感光体上に静電潜像を生成してそれを現像する。さらに給紙部より転写紙を給紙して、現像した画像をこの転写紙に転写および定着することにより、転写紙上に画像を形成する。なお、プリンタエンジン１６は、プロセスカートリッジではなく、トナーカートリッジを用いる構成とすることもできる。その場合、感光体、帯電部、露光部、現像部、転写部、クリーニング部、除電部等は、トナーカートリッジとは別の部品としてプリンタエンジン１６が備える。

次に、画像処理装置１０のコントローラ１２に含まれる各種モジュールについて説明する。コントローラ１２は、ＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２４、ＮＶＲＡＭ２６、ＨＤＤ２８、通信Ｉ／Ｆ３０、ネットワークＩ／Ｆ３２、エンジンＩ／Ｆ３４、パネルＩ／Ｆ３６等を含む。

ＣＰＵ２０は、ＲＯＭ２２に格納された制御プログラムに従ってホストコンピュータ１８やウェアラブル端末からの印刷データを処理する。

ＲＯＭ２２は、ＣＰＵ２０が、コントローラ１２内で実行するデータの管理や周辺モジュールを統括的に制御するための制御プログラム（ソフトウエア）を格納する。

ＲＡＭ２４は、ＣＰＵ２０が制御プログラムにしたがって作成するページメモリやソフトウエアが動作するために必要なワークメモリ等として使用される。またＲＡＭ２４は、ホストコンピュータ１８やウェアラブル端末からの印刷データをページ単位に管理して一時記憶するバッファとして使用される。またＲＡＭ２４は印字データから変換された画像データ（印字パターン）を記憶するビットマップメモリ（画像メモリ、展開メモリ）としても使用される。

ＮＶＲＡＭ２６は、電源を切っても保持したいデータ、例えば、印刷制御に用いられる、パネル装置１４を介して設定された所定の設定値や所定の印刷条件情報等の情報を格納しておくための不揮発性ＲＡＭである。

ＨＤＤ２８は、不揮発性記憶手段としての磁気ディスク等のハードディスクであり、ホストコンピュータ１８やウェアラブル端末等からの印刷データの蓄積や印字データから変換されたビットマップデータの蓄積に使用できる。またＨＤＤ２８は、それらのデータの保存のため、または一時記憶のためのバッファやワーク用領域等として、様々な用途で使用される。また、ＨＤＤ２８は印字に使用されるさまざまな種類のフォントデータの格納に使用されてもよい。

通信Ｉ／Ｆ３０は、ウェアラブル端末等の外部機器と無線通信（Ｗｉ−Ｆｉ通信）を行うためのインタフェースである。

ネットワークＩ／Ｆ３２は、ホストコンピュータ１８から画像処理装置１０への印刷ジョブとして送られる印刷データ（印字制御データおよび印字データを含む）およびホストコンピュータ１８から画像処理装置１０へのステータス信号を送受信するためのインタフェースである。

エンジンＩ／Ｆ３４は、コントローラ１２からプリンタエンジン１６への制御信号およびプリンタエンジン１６からコントローラ１２へのステータス信号のやりとりをするためのインタフェースである。

パネルＩ／Ｆ３６は、パネル装置１４を介してユーザが画像処理装置１０の状態表示の切替えや動作モードおよびフォント等の切替え等を行えるように、コントローラ１２がパネル装置１４との間で信号のやりとりをするためのインタフェースである。

このように構成される画像処理装置１０において、通信Ｉ／Ｆ３０やネットワークＩ／Ｆ３２を通してウェアラブル端末やホストコンピュータ１８から送られてきた印刷データ（例えばＰＤＬデータ）は、ＣＰＵ２０により印字データおよび印字制御データとその他に分けられる。そして、印字データおよび印字制御データはそれぞれ画像データ（ビットマップデータ）および画像処理装置１０内部で使用される制御コードに変換されてＨＤＤ２８またはＲＡＭ２４に記憶される。その際、ホストコンピュータ１８やウェアラブル端末からの印刷ジョブまたはデータが１ページ分を超えた時、コントローラ１２は、まず印字データから生成した中間コードを画像データに変換する。それが終了すると、エンジンＩ／Ｆ３４を通してプリンタエンジン１６にプリントスタートの命令を出す。そして、この命令に応じてプリンタエンジン１６が印刷を開始する。

図２は、一例としてメガネタイプのウェアラブル端末３８の外観構成を説明する概略構成図である。メガネタイプのウェアラブル端末３８は、一例として第１ユニット４０と第２ユニット４２を備える。第１ユニット４０は、一例としてメガネフレーム３８ａの一部に配置され、当該ウェアラブル端末３８の全体を制御するコントローラやバッテリ、マイク、スピーカ等が内蔵されている。また、第２ユニット４２もまたメガネフレーム３８ａの一部に配置され、表示部やカメラ、スイッチ、各種センサ等が内蔵されている。ユーザは、ウェアラブル端末３８をメガネをかけるが如く頭部に装着する。その結果、表示部に表示される画像がユーザの眼前に拡張現実を実現し、様々な情報を提供する。

図３は、ウェアラブル端末３８のハードウエア構成を説明する説明図である。ウェアラブル端末３８は、コントローラ４４、表示部４６、カメラ４８、マイク５０、スピーカ５２、スイッチ５４等を含んで構成されている。

コントローラ４４は、ウェアラブル端末３８の全体を制御し、例えばインターネットを介して情報の検索、取得およびその表示、写真やビデオの撮影、再生およびその保存、メールの送受信、電話等の機能を実現する。また、それらの機能の実現にあたり表示部４６を介して適宜必要な情報をユーザの視界の一部に表示する。なお、コントローラ４４は、さらに後述する各種モジュールで構成される。

表示部４６は、図２に示すように、一例としてメガネフレーム３８ａの上部隅に配置され、インターネット等の通信手段を介して取得した情報やコントローラ４４で生成した情報等を示す映像をレンズ３８ｂに照射して表示する。また、別の例では、レンズ３８ｂ越しに表示部４６の表示内容が視認できるようにしてもよい。また、レンズ３８ｂを省略し表示部４６のみの構成で表示内容が視認できるようにしてもよい。この場合、所定の距離から所定の大きさのディスプレイを見るような感覚をユーザに与えるように表示部４６上に映像が表示される。

カメラ４８（撮影部）は、図２に示すように、一例としてメガネフレーム３８ａの上部隅に配置される。そして、カメラ４８の画角は、ウェアラブル端末３８を頭部に装着したユーザの視野角と実質的に同じまたはカメラ４８の画角の方がユーザの視野角より大きく設定されることが望ましい。つまり、カメラ４８で撮影した映像とユーザが認識する風景とが実質的に同じになるように設定されている。なお、カメラ４８で撮影した映像内の像の位置と実風景内の像の位置が一致するように、カメラ４８の撮影角度の調整を行える機構を備えてもよい。なお、カメラ４８の解像度は適宜選択可能であるが、撮影した写真データやビデオデータが印刷やビデオ再生に十分に活用できる品質を得るレベルとすることが望ましい。カメラ４８の配置場所はメガネフレーム３８ａの中央部等他の部分でもよいし、複数のカメラを配置してステレオカメラとして機能させてもよい。

マイク５０は、図２に示すように、メガネフレーム３８ａの一部に配置され、ユーザの発話による指示（コマンド）を集音したり、電話機能の実行時には会話の集音を行う。この他、周囲音の集音を行ってもよい。マイク５０は、集音の目的によって特性が変化するようにしてもよい。特性の切り替えはユーザの発話コマンドによって切り替わるようにしてもよいし、発話内容に応じて自動的に切り替わるようにしてもよい。

スピーカ５２は、図２に示すように、メガネフレーム３８ａにおいてユーザの耳に近い部分に配置され、ウェアラブル端末３８の動作案内音の出力や通信手段を介して取得した音声の出力等を行う。スピーカ５２は開放型のスピーカでもよいし、骨伝導型のスピーカでもよい。また、イヤホーンとしてユーザの耳に装着するようにしてもよい。

スイッチ５４は、図２に示すように、メガネフレーム３８ａの一部に配置され、音声コマンド以外のコマンド入力を行う場合に利用する。スイッチ５４は、操作音がマイク５０で集音されにくいように、マイク５０から離れた位置に配置されることが望ましい。スイッチ５４は、押下タイプの他、スライドタイプやダイヤルタイプでもよい。また、圧力スイッチや近接スイッチでもよい。

次に、ウェアラブル端末３８のコントローラ４４に含まれる各種モジュールについて説明する。コントローラ４４は、ＣＰＵ５６、ＲＯＭ５８、ＲＡＭ６０、ＥＥＰＲＯＭ６２、通信Ｉ／Ｆ６４、入出力Ｉ／Ｆ６６等を含む。

ＣＰＵ５６は、ＲＯＭ５８に格納された制御プログラムに従ってウェアラブル端末３８の動作を制御したり、ウェアラブル端末３８に無線接続された電子機器を制御するための処理を実行する。

ＲＯＭ５８は、ＣＰＵ５６が、コントローラ４４内で実行するデータの管理や周辺モジュールを統括的に制御するための制御プログラム（ソフトウエア）を格納する。

ＲＡＭ６０は、ＣＰＵ５６が制御プログラムを動作させるために必要なワークメモリ等として使用される。またＲＡＭ６０は、通信手段を介して取得した情報やカメラ４８やマイク５０を介して取得した情報を一時記憶するバッファとしても使用される。

ＥＥＰＲＯＭ６２は、電源を切っても保持したいデータ、例えば、ウェアラブル端末３８の設定情報等を格納しておくための不揮発性ＲＯＭである。

通信Ｉ／Ｆ６４は、画像処理装置１０等の外部機器と無線通信（Ｗｉ−Ｆｉ通信）を行うためのインタフェースである。

入出力Ｉ／Ｆ６６は、ウェアラブル端末３８に備えられる各種機器、例えば表示部４６、カメラ４８、マイク５０、スピーカ５２、スイッチ５４等との間で信号の送受信を行うインタフェースである。

図４は、画像処理装置１０の一部の機能（二次元コードに関連する機能）を実現するためのソフトウエアブロック図である。図４に示される表示制御部６８、二次元コード生成部７０、通信制御部７２、設定実行部７４等は、ＣＰＵ２０がＲＯＭ２２に記憶された制御プログラムを読み出すことで実現する処理モジュールである。なお、図４に示された１つのブロックを複数のブロックによって実現してもよいし、図４に示された複数のブロックを１つのブロックとして実現してもよい。また、これらの一部または全部をハードウエアとして実現してもよい。

前述したように、本実施形態のウェアラブル端末３８は、画像処理装置１０の特定部位の撮影によって得られた情報に基づく情報処理を実行して、画像処理装置１０とウェアラブル端末３８との間で無線接続を実現する。そのため、画像処理装置１０は、一例として二次元コードをパネル装置１４上に表示する。表示制御部６８は、二次元コード生成部７０によって生成された二次元コード、またはＲＯＭ２２内の設定情報保存部７６に保存された二次元コードをウェアラブル端末３８で読み取れる状態でパネル装置１４に出力する。

二次元コード生成部７０は、例えば、設定情報保存部７６に無線接続の設定情報のみが保存され、二次元コードが保存されていない場合や二次元コードの表示タイミングにより表示内容（設定情報の内容）が変化する場合に、二次元コードを生成する。二次元コード生成部７０は、ユーザが操作する操作部７８からの生成コマンドを受け付けると設定情報保存部７６から無線接続の設定情報を読み出して二次元コードを生成する。二次元コードには、一例として図５に示すように、画像処理装置１０に固有の「ＩＰアドレス」、「ＳＳＩＤ」、「パスワード」等が含まれる。なお、ＩＰアドレスは静的ＩＰアドレスでもよいし、動的ＩＰアドレスでもよい。静的ＩＰアドレスの場合、ウェアラブル端末３８との間で一度接続設定をしてしまえば、以降はウェアラブル端末３８で設定情報の取得の必要がなくなり、処理の簡略化ができる。一方、動的ＩＰアドレスの場合、ウェアラブル端末３８は、ユーザがウェアラブル端末３８と画像処理装置１０との接続を行うたびに、設定情報を提供する。例えば、オフィス等で同機種の画像処理装置１０が複数台存在する場合は、ユーザが見ている画像処理装置１０との接続がスムーズに実現できる。なお、操作部７８は、パネル装置１４上でタッチパネルの形態で構成されてもよい。

通信制御部７２は、通信Ｉ／Ｆ３０を介してウェアラブル端末３８等の電子機器と無線通信を実現する。

設定実行部７４は、ウェアラブル端末３８等の電子機器との間での無線接続を実現する。

図６は、ウェアラブル端末３８のソフトウエアブロック図である。図６に示される端末制御部８０、映像受信部８２、映像解析部８４、表示制御部８６、音声認識部８８、音声出力部９０、操作認識部９２、通信制御部９４、設定実行部９６等は、ＣＰＵ５６がＲＯＭ５８に記憶された制御プログラムを読み出すことで実現する処理モジュールである。なお、図６に示された１つのブロックを複数のブロックによって実現してもよいし、図６に示された複数のブロックを１つのブロックとして実現してもよい。また、これらの一部または全部をハードウエアとして実現してもよい。

端末制御部８０は、ウェアラブル端末３８の全体を制御する。例えば、マイク５０やスイッチ５４を介して入力された指示コマンドに基づき、インターネット等の通信手段を利用して検索を行い必要な情報を取得したり、ＲＯＭ５８やＥＥＰＲＯＭ６２等の記憶手段から情報を取得したり、カメラ４８により映像情報を取得したりする。また、取得した各情報を表示部４６に表示したり、それに伴う音声をスピーカ５２から出力する制御等を行う。また、取得した情報をＲＡＭ６０（図３参照）やＥＥＰＲＯＭ６２等に保存する制御を行う。

映像受信部８２は、カメラ４８を制御して当該カメラ４８で映像情報を取得する。カメラ４８は、ウェアラブル端末３８の周辺映像を撮影すると共に、その中に含まれる情報、例えば二次元コード等を撮影することで取得する。なお、取得した映像情報は、一時的にＲＡＭ６０やＥＥＰＲＯＭ６２に記憶する。また、映像解析部８４は、取得した映像情報の映像解析を必要に応じて行う。例えば、取得した映像情報が二次元コードの場合、その二次元コードが含む情報の解析を行う。また、映像解析部８４は、解析結果をＲＡＭ６０やＥＥＰＲＯＭ６２等に記憶する。

表示制御部８６は、端末制御部８０がインターネット等の通信手段やＲＯＭ５８、ＥＥＰＲＯＭ６２、カメラ４８等を介して取得した画像情報や文字情報を表示部４６に表示する。本実施形態の表示部４６は、図２に示すように、レンズ３８ｂを通した視界の一部に配置され、視界内の適切な位置に画像情報や文字情報が表示される。表示される画像情報や文字情報は、例えば、半透明の態様で表示されてユーザがレンズ３８ｂを介して見ている像（現実風景）上に重畳される。その結果、ユーザが見ている像（現実風景）の視認性を損なうこと無く、取得した画像情報や文字情報をユーザに提供することができる。この場合、表示部４６に表示される情報は、オリジナル情報を表示してもよいし、情報内容に応じて、予め定めた規則にしたがい優先度の高い情報を選択的に表示するようにしてもよい。また、適宜情報を加工して表示するようにしてもよい。

表示制御部８６は、情報取得部９８（取得部）、案内画像生成部１００(情報生成部)、重畳部１０２を含む。本実施形態のウェアラブル端末３８は、効率的な利用を実現するために各種案内情報を生成する。例えば、カメラ４８によって周辺映像を撮影する際に、その画像の中に取得すべき情報が含まれている場合がある。しかし、その情報が必ずしも解析可能な状態で映り込んでいるとは限らない。例えば、二次元コードを解析しようとする場合、現状の撮影状態では、二次元コードの表示された位置が遠すぎて映像情報に二次元コードが存在するものの解析できない場合がある。そのような場合に、画像処理装置１０における特定部位、例えば二次元コードが表示されている位置にユーザの注目を促すような案内情報を生成する。例えば「ここを見てください。」や「もう少しパネルに近づいてください。」等の案内情報を提供する。

そこで、表示制御部８６は、まずカメラ４８が現在撮影している（ユーザの視野に入っている）電子機器を特定する。つまり、情報取得部９８は、カメラ４８が現在撮影している電子機器の特徴的な部分と一致する特徴点を有する電子機器をＲＯＭ５８の特徴点情報保存部５８ａに保持された情報から読み出す。特徴点情報保存部５８ａには、例えば画像処理装置１０を特定するための特徴点情報が機種ごとに保存されている。特徴点情報は画像処理装置１０の画像情報に付加した態様で保存されていてもよい。

図７は、説明のために特徴点情報保存部５８ａに保持されている画像処理装置１０の特徴点（左側）とカメラ４８で撮影している画像処理装置１０の特徴部分（右側）の比較状態を示している。特徴点は、輝度差が大きいエッジ部分などで定義される。そして、カメラ４８で撮影した電子機器の輝度差が大きいエッジ部分を抽出し、輝度の変化を方向として表し、輝度差と方向が一致するものを同じ特徴点とする。そして、表示制御部８６は、カメラ４８で取得した画像情報の特徴点と比較して、一致する特徴点数が所定閾値以上になった場合に、画像処理装置１０が存在すると判定する。特徴点情報保存部５８ａに、複数の角度や距離から撮影した画像処理装置の画像の情報を保持することで、画像処理装置１０の検出精度を向上することができる。

また、特徴点情報保存部５８ａには、画像処理装置１０における特定部位、例えば二次元コードが表示されているパネル装置１４の相対的な位置情報が機種ごとに保持されている。情報取得部９８は、特定した画像処理装置１０におけるパネル装置１４の相対位置を示す位置情報を特徴点情報保存部５８ａから取得する。そして、この位置情報に基づいて、カメラ４８で撮影している画像処理装置１０におけるパネル装置１４の位置を特定する。図８は、説明のために特徴点情報保存部５８ａに保持されている画像処理装置１０の特徴点としてのパネル装置１４の位置（左側）に基づいて、カメラ４８で撮影している画像処理装置１０におけるパネル装置１４の位置を特定している状態例を示している。このように、画像処理装置１０の機種が特定できれば、カメラ４８で撮影している画像処理装置１０における特定部位、例えばパネル装置１４の撮影画像上の位置が特定できる。なお、二次元コードは、パネル装置１４上だけでなく、画像処理装置１０の側面（ハウジング側壁）等にシール等で貼られている場合がある。その場合はそのシール（二次元コード）の位置を特徴点情報保存部５８ａで保存してもよい。

案内画像生成部１００は、カメラ４８で撮影している画像処理装置１０における特定部位、例えばパネル装置１４の撮影画像上の位置が特定できたら、その位置にユーザの注目を促すように案内情報を生成する。前述したように、ウェアラブル端末３８を頭部に装着したユーザの視野角とカメラ４８の画角が実質的に同じに設定されている。したがって、例えば図９に示すように、パネル装置１４の位置をカメラ４８の撮影画像の例えば左上隅を基準に、座標（Ｍ，Ｎ）として決めることができる。案内画像生成部１００は、座標（Ｍ，Ｎ）を基準に案内情報である「ここを見てください」というメッセージ１０４と、パネル装置１４の位置を強調する例えば強調枠１０６を生成する。そして、生成した案内情報（メッセージ１０４、強調枠１０６）を重畳部１０２がユーザが実際に見ている画像処理装置１０の像のパネル装置１４の位置に重畳表示する。ユーザが実際に見ている画像処理装置１０の像に案内画像を重畳した状態を図１０に示す。案内画像の表示態様は、例えば半透明として実風景（実像）の視認の妨げにならないようにすることが望ましい。このような、案内情報の表示を行うことによりウェアラブル端末３８を装着したユーザは、メッセージ１０４や強調枠１０６により注意喚起され、強調枠１０６で囲まれた部分を注目する。つまり、案内情報は、強調枠１０６で囲まれた部分を視野の真ん中に持ってくるような移動をユーザに促したり、さらに近づくような移動を促したりする効果を実現する。なお、メッセージ１０４や強調枠１０６はユーザの注目を喚起するような態様で、かつユーザの視認負担にならない態様で表示することが望ましい。例えば赤色表示等の際だち表示や点滅表示等にしてもよい。また、案内画像生成部１００は、強調枠１０６を撮影画像中の特定部位に示される情報の表示サイズ、例えば、パネル装置１４の表示サイズや二次元コードの表示サイズに対応する表示サイズとしてもよい。例えば、撮影画像中のパネル装置１４の表示サイズが小さい場合、すなわちパネル装置１４から遠い場合には、強調枠１０６の表示サイズも小さくする。逆に撮影画像中のパネル装置１４の表示サイズが十分に大きい場合、すなわちパネル装置１４から近い場合には、強調枠１０６の表示サイズもそれに対応させて大きくする。このように強調枠１０６等の案内情報の表示サイズを変化させることにより、ユーザが実際に見ている画像処理装置１０との距離感を認識させやすくすることができる。また、画像処理装置１０の何処を見たらよいのかを理解させやすくすることができる。

音声認識部８８は、マイク５０から入力される音声情報を取得、認識して端末制御部８０における制御を実行する。例えば音声コマンドや検索キーワードの入力、電話機能使用時の入力やテキスト作成時に文章入力を受け付ける。

音声出力部９０は、インターネット等の通信手段を利用して取得した情報や、ＲＯＭ５８やＥＥＰＲＯＭ６２等の記憶手段から取得した情報、カメラ４８で取得した映像情報等に付随する音声をスピーカ５２を介して出力して、ユーザに提供する。

操作認識部９２は、表示部４６に表示される選択コマンドの選択、決定等をスイッチ５４の操作を介して受け付け、端末制御部８０に操作に対応する処理を実行させる。

通信制御部９４は、通信Ｉ／Ｆ６４を介して画像処理装置１０をはじめとする他の電子機器やインターネット、ＬＡＮ等との無線接続を実現する。

設定実行部９６は、画像処理装置１０をはじめとする他の電子機器やインターネット、ＬＡＮ等との無線接続の設定を実行する。なお、設定実行部９６は、無線接続時の設定情報等をＥＥＰＲＯＭ６２の設定情報保存部６８ａに保存し、再接続を行う場合に利用してもよい。

このように構成されるウェアラブル端末３８と画像処理装置１０との無線接続の手順を図１１および図１２のフローチャートを用いて説明する。一例として、ウェアラブル端末３８を装着したユーザが、ウェアラブル端末３８の記憶部やクラウド上等に保持されたデータを画像処理装置１０で印刷処理を実行するにあたり、ウェアラブル端末３８と画像処理装置１０とを無線接続する例を説明する。

まず、ユーザは、マイク５０やスイッチ５４を用いてカメラ４８によりユーザ周辺の風景の撮影を実行させて、映像受信部８２による撮影画像の取り込みを行う（Ｓ１００；撮影処理）。端末制御部８０は、映像解析部８４の撮影画像の解析結果に基づいて、撮影画像の中に画像処理装置１０（ＭＦＰ）が存在するか否か判定する（Ｓ１０２）。撮影画像に画像処理装置１０が存在しない場合（Ｓ１０２のＮｏ）、Ｓ１００に戻り、映像受信部８２は他の撮影画像の取得を行う。なお、この場合、音声出力部９０は、画像処理装置１０が確認できないことや他の方向の撮影を行う旨のメッセージをスピーカ５２から出力してもよい。また、表示制御部８６は、同様な内容のメッセージを表示部４６に表示してもよい。

撮影画像に画像処理装置１０が存在する場合（Ｓ１０２のＹｅｓ）、通信制御部９４は、その画像処理装置１０との無線接続が接続済みか否か判定する（Ｓ１０４）。既に無線接続済みの場合（Ｓ１０４のＹｅｓ）、端末制御部８０は、一旦このフローを終了し、接続されている画像処理装置１０を用いた印刷処理等を実行する。

Ｓ１０４において、撮影画像中の画像処理装置１０とウェアラブル端末３８との無線接続が未接続の場合（Ｓ１０４のＮｏ）、端末制御部８０は、表示制御部８６により撮影画像中の画像処理装置１０の機種特定を実行する（Ｓ１０６）。この場合、図７に示すように表示制御部８６は、撮影画像中の画像処理装置１０の特徴点と情報取得部９８が特徴点情報保存部５８ａから取得する特徴点情報との比較により、機種特定を実行する。表示制御部８６は撮影画像中の画像処理装置１０の機種特定が完了したら、特定した画像処理装置１０において接続情報を示す二次元コードが表示されたパネル装置１４の位置を示す特定部位の位置情報を情報取得部９８に取得させる（Ｓ１０８；取得処理）。表示制御部８６は、特徴点情報保存部５８ａから取得したパネル装置１４の位置情報に基づき、現在の解析対象の撮影画像にパネル装置１４が存在するか否か判定する（Ｓ１１０）。例えば、ユーザが画像処理装置１０の側面や背面を見ていた場合には、画像処理装置１０の存在が確認できる場合でもパネル装置１４が確認できない場合がある（Ｓ１１０のＮｏ）。そのような場合は、Ｓ１００に戻り、他の撮影画像の取り込みを行い、Ｓ１００以降の処理を再度実行する。

Ｓ１１０において、表示制御部８６が撮影画像中にパネル装置１４が存在すると判定した場合（Ｓ１１０のＹｅｓ）、表示制御部８６は、案内画像生成部１００に図９に示すような案内情報を生成させる（Ｓ１１２；情報生成処理）。さらに、表示制御部８６は重畳部１０２を用いて、生成された案内情報をユーザの見ている画像処理装置１０の像に重畳させる（Ｓ１１４；重畳処理）。この時点で映像解析部８４が、撮影画像中で解析可能な二次元コードを取得できない場合（Ｓ１１６のＮｏ）、Ｓ１００に戻り、他の撮影画像を取り込み、Ｓ１００以降の処理を再度実行する。また、映像解析部８４が、撮影画像中に解析可能な二次元コードを取得できた場合（Ｓ１１６のＹｅｓ）、端末制御部８０は、取得した二次元コードに基づく無線接続処理を実行して（Ｓ１１８；情報処理）、このフローを一旦終了する。

図１２には、端末制御部８０が設定実行部９６等に実行させる二次元コードに基づく無線接続処理の詳細が示されている。まず、端末制御部８０は、映像解析部８４に取得した二次元コードの解析を実行させる（Ｓ２００）。この解析では、二次元コードに含まれる例えばＩＰアドレス、ＳＳＩＤ、パスワード等が抽出される。端末制御部８０は解析結果を表示制御部８６を介して表示部４６に表示させてユーザに提供する（Ｓ２０２）。このような設定情報を表示することにより、制御対象の画像処理装置１０に関する多くの情報がユーザに提供可能となり、利用しようとする画像処理装置１０の管理が容易になる。なお、この表示処理は省略してもよい。

続いて、端末制御部８０は、表示制御部８６を介して、解析結果に基づく処理を実行するか否かを問い合わせる確認情報を表示部４６に表示させる（Ｓ２０４；確認処理）。例えば、「画像処理装置に接続しますか？」等の実行確認を行う（Ｓ２０６）。このような接続確認を行うことで、ユーザが接続しようとしている画像処理装置１０以外の電子機器に対して誤って接続処理等を実施してしまうことが防止できる。また、解析した二次元コードの含む情報が無線接続の設定情報ではなく、他の制御を実行するための情報であった場合、その制御を実行するか否かを問い合わせてもよい。問い合わせ後、マイク５０から入力されるボイスコマンドやスイッチ５４から入力される操作コマンドにより、接続処理の実行指示を受け付けた場合（Ｓ２０６のＹｅｓ）、設定実行部９６はウェアラブル端末３８と画像処理装置１０との無線接続を実行する（Ｓ２０８）。また、Ｓ２０６において、ボイスコマンドや操作コマンドにより非実行指示が受け付けられた場合（Ｓ２０６のＮｏ）、Ｓ２０８の処理をスキップしてこのフローを一旦終了する。

このように、制御対象機器（画像処理装置１０）の特定部位に注目を促す案内情報を生成して、制御対象機器の像に重畳表示することにより、制御対象機器が提供する情報を利用できる状態で撮影できるようにカメラ４８の位置を誘導することができる。その結果、制御対象機器から供給された情報に基づく情報処理をスムーズに実行することができる。

図１３は、他の実施形態に係るウェアラブル端末３８の処理を説明するフローチャートである。他の実施形態では、ユーザから画像処理装置１０までの距離が遠すぎて、二次元コードの存在確認はできるものの内容が十分に解析できなかった場合や、画像処理装置１０側で二次元コードが非表示状態になっていた場合の対応について説明している。

ユーザは、マイク５０やスイッチ５４を用いたコマンド入力によりカメラ４８による撮影および映像受信部８２による撮影画像の取り込みを行う（Ｓ１００）。端末制御部８０は、映像解析部８４の解析結果に基づいて、撮影画像の中に画像処理装置１０（ＭＦＰ）が存在するか否か判定する（Ｓ１０２）。撮影画像に画像処理装置１０が存在しない場合（Ｓ１０２のＮｏ）、Ｓ１００に戻り、映像受信部８２は他の撮影画像の取得を行う。

撮影画像に画像処理装置１０が存在する場合（Ｓ１０２のＹｅｓ）、通信制御部９４は、その画像処理装置１０との無線接続が接続済みか否か判定する（Ｓ１０４）。そして、既に無線接続済みの場合（Ｓ１０４のＹｅｓ）、端末制御部８０は、一旦このフローを終了し、接続されている画像処理装置１０を用いた印刷処理等を実行する。

Ｓ１０４において、撮影画像中の画像処理装置１０とウェアラブル端末３８との無線接続が未接続の場合（Ｓ１０４のＮｏ）、端末制御部８０は、表示制御部８６により撮影画像中の画像処理装置１０の機種特定を実行する（Ｓ１０６）。表示制御部８６は撮影画像中の画像処理装置１０の機種特定が完了したら、特定した画像処理装置１０において接続情報を示す二次元コードが表示されたパネル装置１４の位置を示す特定部位の位置情報を情報取得部９８に取得させる（Ｓ１０８）。表示制御部８６は、特徴点情報保存部５８ａから取得したパネル装置１４の位置情報に基づき、現在の解析対象の撮影画像にパネル装置１４が存在するか否か判定する（Ｓ１１０）。パネル装置１４の存在が確認できない場合（Ｓ１１０のＮｏ）、Ｓ１００に戻り、他の撮影画像の取り込みを行い、Ｓ１００以降の処理を再度実行する。

Ｓ１１０において、表示制御部８６が撮影画像中にパネル装置１４が存在すると判定した場合（Ｓ１１０のＹｅｓ）、表示制御部８６は、案内画像生成部１００に案内情報を生成させる（Ｓ１１２）。さらに、表示制御部８６は、重畳部１０２を介して生成された案内情報をユーザの見ている画像処理装置１０の像に重畳させる（Ｓ１１４）。この時点で、映像解析部８４が、撮影画像中に解析可能な二次元コードを取得できた場合（Ｓ１１６のＹｅｓ）、端末制御部８０は、取得した二次元コードに基づく無線接続処理を実行して（Ｓ１１８；情報処理）、このフローを一旦終了する。一方、Ｓ１１６において、映像解析部８４が、撮影画像中で解析可能な二次元コードを取得できない場合（Ｓ１１６のＮｏ）、映像解析部８４は、撮影画像の解析を二次元コードの解析モードから二次元コードの探索モードに切り替える。そして、映像解析部８４は、撮影画像中に二次元コード表示済みのパネル装置１４が存在するか否か判定する（Ｓ３００）。もし、撮影画像中に二次元コード表示済みのパネル装置１４が発見できた場合（Ｓ３００のＹｅｓ）、案内画像生成部１００は、ユーザに画像処理装置１０（パネル装置１４）に接近することを促す接近案内情報を生成する。例えば、パネル装置１４に二次元コードが表示されているものの、ユーザからパネル装置１４までの距離が遠すぎて二次元コードが小さく解析不能な場合に、パネル装置１４に接近することを促す案内情報を生成する。そして、重畳部１０２を介して、生成した接近案内情報をユーザが見ている画像処理装置１０の像に対応して重畳させて、表示部４６に表示する（Ｓ３０２）。図１４のイメージ図は、ユーザが見ている画像処理装置１０の像に接近案内情報１０８として「もう少しパネルに近づいてください」というメッセージを重畳した状態を示している。接近案内情報１０８の表示によりユーザは、パネル装置１４（画像処理装置１０）への接近を促される。その結果、カメラ４８により撮影される撮影画像中のパネル装置１４が実質的に拡大され、二次元コードの認識および解析を容易に実行できるようになる。表示制御部８６が接近案内情報１０８の表示を完了したら、Ｓ１１０に移行し（Ａ）、Ｓ１１０以降の処理を再度実行し、二次元コードの再確認および必要に応じて二次元コードの再撮影が実行される。

Ｓ３００において、撮影画像中に二次元コード表示済みのパネル装置１４が存在しない場合がある（Ｓ３００のＮｏ）。例えば、画像処理装置１０のパネル装置１４において、二次元コードが通常時は非表示とされている場合が考えられる。また、パネル装置１４以外にシール貼附等により表示されている場合がある。この場合、案内画像生成部１００は、情報取得部９８を介して特徴点情報保存部５８ａから二次元コードの表示態様に関する情報を取得する。例えば、パネル装置１４に二次元コードが常時表示されているか否か、特定の操作を行ったときのみ表示されるか否か等の情報や、パネル装置１４以外の部分に二次元コードが表示（貼附）されている等の情報を取得する。二次元コードが特定の操作を行ったときのみパネル装置１４に表示される場合、案内画像生成部１００は、その操作手順を示す二次元コード表示案内を案内情報として生成する。そして、重畳部１０２が二次元コード表示案内情報をユーザが見ている画像処理装置１０の像に対応して重畳するように表示部４６に表示する（Ｓ３０４）。二次元コード表示案内情報として、例えば、「（１）パネル装置のキー操作が必要です」と表示する。続いて、「（２）ファンクションキープッシュ操作」、「（３）二次元コード生成キープッシュ操作」、「（４）二次元コード表示キープッシュ操作」、「（５）ウェアラブル端末で二次元コードを目視」等と表示する。

図１５は、画像処理装置１０側のＣＰＵ２０における二次元コードの生成処理を説明するフローチャートである。図４のソフトウエアブロック図と共に、生成処理の詳細を説明する。ユーザによる操作部７８やパネル装置１４等の操作で、二次元コードの表示コマンドを二次元コード生成部７０が受け付けた場合（Ｓ４００のＹｅｓ）、二次元コード生成部７０はＲＯＭ２２の設定情報保存部７６に保存された設定情報を取得する（Ｓ４０２）。そして、二次元コード生成部７０は、二次元コード（二次元コード画像）を生成する（Ｓ４０４）。表示制御部６８は、生成した二次元コードをパネル装置１４の所定の位置に表示して（Ｓ４０６）、このフローを一旦終了する。Ｓ４００において、二次元コードの表示コマンドの入力がない場合（Ｓ４００のＮｏ）、表示コマンドの入力待ち状態となる。

なお、パネル装置１４に表示する二次元コードは、例えば、所定時間表示した後に非表示とするようにしてもよい。このように通常時は接続情報を含む二次元コードを非表示とすることで、セキュリティ性の向上に寄与できる。また、画像処理装置１０としての基本操作には関与しない二次元コードが通常時には表示されないので、パネル装置１４の表示レイアウトの自由度向上に寄与できる。また、意匠性の向上にも寄与できる。なお、二次元コードが常時表示される態様の場合で、設定情報に含まれるＩＰアドレスが動的ＩＰアドレスの場合、二次元コード生成部７０は、所定の周期で対応する動的ＩＰアドレスを含む二次元コードを作成するようにしてもよい。

図１３に戻り、Ｓ３０４で二次元コード表示案内情報を表示部４６に重畳して、ユーザに操作指示を行った後は、Ｓ１１０（Ａ）に移行してパネル装置１４に表示された二次元コードをウェアラブル端末３８で取得するための処理を再度実行する。

なお、二次元コードがパネル装置１４以外の位置に貼附等により表示されている場合、二次元コード生成部７０で、その旨を示す二次元コードを生成して、ウェアラブル端末３８に通知してもよい。また、Ｓ１０６で画像処理装置１０の機種を特定した時点で、二次元コードの貼附位置を特徴点情報保存部５８ａから取得するようにしてもよい。このような場合、案内画像生成部１００は、二次元コード表示案内として「側面に貼附された二次元コードを見てください」等の案内情報を生成する。そして、重畳部１０２により、その案内情報を他の案内情報と同様に表示部４６に重畳表示して、二次元コードをウェアラブル端末３８で取得するための処理を実行する。

このように、二次元コードの表示態様に応じた案内情報を生成し、表示部４６に重畳表示することにより、二次元コードを解析可能な状態でスムーズに取得して、二次元コードが提供する情報に基づく処理が迅速に実行できる。

ところで、上述した実施形態において、ウェアラブル端末３８のカメラ４８で取得する情報の一例として二次元コードを示したが、他の形態の情報表示技術を用いてもよい。図１６は、一例として、パネル装置１４の表示画像１４ａに電子透かし１１０を埋め込んだ例である。電子透かし１１０は、一例として文字の特徴がある部分１１０ａ，１１０ｂ等にビット情報を埋め込み、この情報を解析することで埋め込まれている情報を取得することができる。このように、パネル装置１４の表示画像１４ａに電子透かし１１０を埋め込むことで、ウェアラブル端末３８のカメラ４８で二次元コードと同様に電子透かし１１０を読み取ることができる。その結果、二次元コードと同様の情報を容易にウェアラブル端末３８側で取得できる。このような電子透かし１１０を用いることで、接続情報等を通常の表示画面に表示してもその表示レイアウトを崩すことがなく、設定情報等を認識されにくい態様で常時表示しておくことができる。また、電子透かし１１０は表示上認識されにくいので、二次元コードを利用する場合のように、表示／非表示の切り替えを行う処理を省略することができる。

また、上述した実施形態では、ウェアラブル端末の一例としてメガネタイプのウェアラブル端末３８を示したが、他のタイプのウェアラブル端末にも本実施形態を適用できる。図１７は、ウェアラブル端末の他の例として、腕時計タイプのウェアラブル端末１１２を示している。ウェアラブル端末１１２は、本体部１１４の表面に配置された表示部１１６と、本体部１１４の側面に配置されたカメラ１１８と、本体部１１４を支持すると共にユーザの腕に固定するバンド１２０等を含む。なお、本体部１１４には、図示を省略しているが、メガネタイプのウェアラブル端末３８と同様に、マイク、スピーカ、スイッチ等が配置されている。また、スピーカの代わりにイヤホーン等を装着する接続ジャックが形成されていてもよい。また、本体部１１４の内部には、図３に示すコントローラ４４と同様の構成が納められ、ＣＰＵ５６上では図６と同様な各種モジュールが構成されて同様に機能する。

ウェアラブル端末１１２の場合、画像処理装置１０と無線接続しようとする場合には、接続しようとする画像処理装置１０に向かってウェアラブル端末１１２のカメラ１１８を翳す。この場合、表示部１１６には、画像処理装置１０の撮影画像が表示されると共に、ウェアラブル端末３８と同様に、その撮影画像に基づいて画像処理装置１０の特定、パネル装置１４の相対位置の検出等を行う。そして、案内画像生成部１００は、画像処理装置１０のパネル装置１４に表示された二次元コードや電子透かし１１０を読み取り可能な位置にカメラ１１８を移動させるように促す案内情報を生成する。案内情報の一例としては、図１７に示すように矢印メッセージ１２２とすることができる。ウェアラブル端末１１２の場合、表示部１１６が小さく、ユーザは腕を動かしながらカメラ１１８の位置を調整するため、案内内容の理解が容易でシンプルな矢印等のマーク表示が望ましい。なお、音声出力による案内や文字表示による案内を併用してもよく、ユーザの注目を促すことができる。

上述の各説明において、モバイル機器の一例として示したウェアラブル端末は、メガネタイプや腕時計タイプで、当該ウェアラブル端末に表示部、カメラ、マイク、スピーカ、スイッチ等が一体的に搭載された例を示した。別の例として、構成の一部や全てが別体構成とされていてもよい。例えば、カメラのみを別体構成としてもよく、同様の効果を得ることができる。また、ウェアラブル端末としてコンタクトレンズタイプにも本実施形態の技術は適用可能である。この場合、上述の構成の一部は別構成となる場合があるが、同様な効果が得られる。

また、別の実施形態として、撮影部、取得部、情報生成部、重畳部、制御部とを含む情報処理システムを構成してもよい。この場合、撮影部は、制御対象機器を撮影する。取得部は、撮影した制御対象機器に定められた特定部位の位置情報を取得する。情報生成部は、位置情報に基づいて制御対象機器における特定部位に注目を促す案内情報を生成する。重畳部は、案内情報を制御対象機器の像に重畳表示する。制御部は、注目を促した特定部位の撮影によって得られた情報に基づく処理を実行する。このような構成の情報処理システムにおいても、上述したようにウェアラブル端末に実施形態の技術を適用した場合と同様の効果を得ることができる。

また、別の実施形態として、ウェアラブル端末と、当該ウェアラブル端末と無線接続可能な画像処理装置と、からなる相互接続システムを構成してもよい。この場合、ウェアラブル端末は、撮影部と、取得部と、情報生成部と、重畳部と、端末制御部とを含む。撮影部は、制御対象機器を撮影する。取得部は、撮影した制御対象機器に定められた特定部位の位置情報を取得する。情報生成部は、位置情報に基づいて制御対象機器における特定部位に注目を促す案内情報を生成する。重畳部は、案内情報を制御対象機器の像に重畳表示する。端末制御部は、注目を促した特定部位の撮影によって得られた情報に基づき画像処理装置に対し無線接続処理を実行する。一方、画像処理装置は、表示部と、本体制御部とを含む。表示部は、ウェアラブル端末と無線接続するための情報を特定部位に表示する。本体制御部は、情報に基づきウェアラブル端末に対する無線接続処理を実行する。このような構成の相互接続システムにおいても、上述したように実施形態と同様な効果を得ることができる。

また、上述した実施形態においては、ウェアラブル端末３８，１１２の制御対象機器を画像処理装置１０とする場合を示したが、制御対象機器は、適宜選択可能である。例えば、複写機、プリンター、イメージスキャナ、ファクシミリ等のいずれか一つの機能、またはそのうちの幾つかを組み合わせた機能を有する電子機器としてもよい。また、テレビや録画、録音装置等のオーディオ機器、家電機器、自動車、ロボット等を制御対象機器としてもよく、同様の効果を得ることができる。

また、上述した実施形態では、無線接続の一例として、Ｗｉ−Ｆｉ通信を示し、二次元コードに含まれる接続情報を提供、取得する場合を示したが、例えばブルートゥース（登録商標）のペアリング情報を接続情報として提供、取得してもよい。この場合も同様の効果を得ることができる。

また、上述した実施形態においては、一例としてウェアラブル端末３８，１１２の画像処理装置１０との無線接続を確立する際の設定情報を取得する場合を示したが、取得する情報は適宜選択可能である。制御対象機器の情報、例えば紙なし情報やトナー切れ情報等を二次元コード等に含ませて、接続前のウェアラブル端末に提供してもよい。この場合、接続機器の事前選択を行わせることが可能になり、制御対象機器の利用効率の向上に寄与できる。

上述の実施形態の画像処理装置１０やウェアラブル端末３８，１１２等で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。別の実施形態としては、プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。この場合、画像処理装置１０やウェアラブル端末３８，１１２等にはそれぞれインタフェースを備えるようにすればよい。

さらに、上述の実施形態の画像処理装置１０やウェアラブル端末３８，１１２等で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述の実施形態の画像処理装置１０やウェアラブル端末３８，１１２等で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 画像処理装置
１２，４４ コントローラ
１４ パネル装置
２０，５６ ＣＰＵ
２２，５８ ＲＯＭ
２４，６０ ＲＡＭ
２６ ＮＶＲＡＭ
２８ ＨＤＤ
３０，６４ 通信Ｉ／Ｆ
３２ ネットワークＩ／Ｆ
３６ パネルＩ／Ｆ
３８，１１２ ウェアラブル端末
４６，１１６ 表示部
４８，１１８ カメラ
５８ａ 特徴点情報保存部
６２ ＥＥＰＲＯＭ
６８ 表示制御部
７０ 二次元コード生成部
８０ 端末制御部
１００ 案内画像生成部
１０２ 重畳部
１０４ メッセージ
１０６ 強調枠
１０８ 接近案内情報
１２２ 矢印メッセージ

特開２００６−１５７８１４号公報

Claims (17)

1. 制御対象機器を撮影する撮影部と、
   撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、
   前記位置情報に基づいて前記制御対象機器における前記特定部位に注目を促す案内情報を生成する情報生成部と、
   前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、
   注目を促した前記特定部位の撮影によって得られた情報に基づく情報処理を実行する制御部と、
   を備えるウェアラブル端末。
2. 前記情報生成部は、前記特定部位に示される供給情報を読み取り可能な位置に前記撮影部を移動させるように促す案内情報を生成する請求項１に記載のウェアラブル端末。
3. 前記制御部は、前記特定部位に示されたマトリックス型の二次元コードが含む情報に基づき前記情報処理を実行する請求項１または請求項２に記載のウェアラブル端末。
4. 前記制御部は、前記特定部位に示された電子透かしが含む情報に基づき前記情報処理を実行する請求項１または請求項２に記載のウェアラブル端末。
5. 前記情報生成部は、前記特定部位に示される情報の表示サイズに対応する表示サイズの前記案内情報を生成する請求項１から請求項４のいずれか１項に記載のウェアラブル端末。
6. 前記制御部は、注目を促した前記特定部位において所定の情報が非表示であると判定した場合、前記制御対象機器において前記所定の情報を表示させるための手順を示す案内情報を出力する請求項１に記載のウェアラブル端末。
7. 前記制御部は、前記特定部位の撮影によって得られた情報に基づく処理の実行の可否をユーザに確認する確認情報を出力する請求項１から請求項６のいずれか１項に記載のウェアラブル端末。
8. ウェアラブル端末に、
   制御対象機器を撮影部で撮影する撮影処理と、
   撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得処理と、
   前記位置情報に基づいて前記制御対象機器における前記特定部位に注目を促す案内情報を生成する情報生成処理と、
   前記案内情報を前記制御対象機器の像に重畳表示する重畳処理と、
   注目を促した前記特定部位の撮影によって得られた情報に基づく情報処理と、
   を実行させるプログラム。
9. 前記情報生成処理は、前記特定部位に示される供給情報を読み取り可能な位置に前記撮影部を移動させるように促す案内情報を生成する請求項８に記載のプログラム。
10. 前記情報処理は、前記特定部位に示されたマトリックス型の二次元コードが含む情報に基づく処理を実行する請求項８または請求項９に記載のプログラム。
11. 前記情報処理は、前記特定部位に示された電子透かしが含む情報に基づく処理を実行する請求項８または請求項９に記載のプログラム。
12. 前記情報生成処理は、前記特定部位に示される情報の表示サイズに対応する表示サイズの前記案内情報を生成する請求項８から請求項１１のいずれか１項に記載のプログラム。
13. 前記情報処理は、注目を促した前記特定部位において所定の情報が非表示である場合、前記制御対象機器において前記所定の情報を表示させるための手順を示す案内情報を出力する請求項８に記載のプログラム。
14. 前記情報処理は、前記特定部位の撮影によって得られた情報に基づく処理の実行の可否をユーザに確認する確認処理を実行する請求項８から請求項１３のいずれか１項に記載のプログラム。
15. 制御対象機器を撮影する撮影部と、
    撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、
    前記位置情報に基づいて前記制御対象機器における前記特定部位に注目を促す案内情報を生成する情報生成部と、
    前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、
    注目を促した前記特定部位の撮影によって得られた情報に基づく処理を実行する制御部と、
    を備える情報処理システム。
16. 制御対象機器を撮影部で撮影し、
    撮影した前記制御対象機器に定められた特定部位の位置情報を取得し、
    前記位置情報に基づいて前記制御対象機器における前記特定部位に注目を促す案内情報を生成し、
    前記案内情報を前記制御対象機器の像に重畳表示し、
    注目を促した前記特定部位の撮影によって得られた情報に基づく処理を実行する、
    ことを含む情報処理システムの制御方法。
17. ウェアラブル端末と、当該ウェアラブル端末と無線接続可能な画像処理装置と、からなる相互接続システムであって、
    前記ウェアラブル端末は、
    制御対象機器を撮影する撮影部と、
    撮影した前記制御対象機器に定められた特定部位の位置情報を取得する取得部と、
    前記位置情報に基づいて前記制御対象機器における前記特定部位に注目を促す案内情報を生成する情報生成部と、
    前記案内情報を前記制御対象機器の像に重畳表示する重畳部と、
    注目を促した前記特定部位の撮影によって得られた情報に基づき前記画像処理装置に対し無線接続処理を実行する端末制御部と、
    を含み、
    前記画像処理装置は、
    前記ウェアラブル端末と無線接続するための情報を前記特定部位に表示する表示部と、
    前記情報に基づき前記ウェアラブル端末に対する無線接続処理を実行する本体制御部と、
    を含む相互接続システム。

Images