JP2018156205A - 情報処理システム、情報処理方法、電子機器及び情報処理プログラム - Google Patents

Abstract

【課題】複数の機器間で、より効率的で安全な表示情報の共有を図る。【解決手段】電子機器は、表示部に表示する画面情報を携帯端末に送信する際に、所定の入力操作を受け付け可能な状態に操作部を制御し、画面情報を表示しない状態に表示部を制御したうえで、画面情報を携帯端末に送信する。携帯端末は、電子機器から受信した画面情報を視認可能な形態で提供する。一例として、携帯端末は、眼鏡型端末となっており、電子機器から受信した画面情報に対応する光学像を形成してユーザの目に照射する。また、携帯端末は、電子機器から受信した画面情報に基づいて、レーザ光でユーザの目の網膜を走査することで、弱視者等の視覚障害者であっても、画面情報を視認可能とする。さらに、弱視者等の視覚障害者に対しては、画面情報のオブジェクトの数を削減したうえで表示サイズを大きくし、視認し易くする。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法、電子機器及び情報処理プログラムに関する。

特許文献１（特開２００１−２８２４０４号公報）に、装置の持つユーザインタフェース資源を複数の装置との間で共有可能とした情報処理システムが開示されている。この情報処理システムの場合、クライアントコンピュータは、他の装置から受信した他の装置のユーザインタフェース情報を、情報処理システムのＬＣＤディスプレイに表示する。また、クライアントコンピュータは、タッチパネルを介して入力されたユーザインタフェース情報を他の装置へ転送する。これにより、各装置のユーザインタフェース資源を、複数の装置間で共有することができる。

ここで、例えばスマートフォン、タブレット、スマートグラス、腕時計型端末、ウェアラブルデバイス等の携帯型端末を用いて表示画面を備えた電子機器を操作することを考える。この場合、ユーザは、携帯型端末の表示画面を見ながら電子機器の操作を行うこととなるため、電子機器の表示画面に対する表示は無駄となり、省エネルギーの観点からも好ましいことではない。また、電子機器の表示画面に対しても表示を行うと、電子機器の表示画面を他人が見得る状態となるため、セキュリティ上も好ましいことではない。

本発明は、上述の課題に鑑みてなされたものであり、複数の機器間で、より効率的で安全に表示情報の共有を図ることができるような情報処理システム、情報処理方法、電子機器及び情報処理プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、電子機器と、電子機器との間で通信を行う携帯端末とを有する情報処理システムであって、電子機器は、画面情報を表示する表示部と、所定の入力操作を行うための操作部と、携帯端末に画面情報を送信する際に、入力操作を受け付け可能な状態に操作部を制御し、画面情報を表示しない状態に表示部を制御する制御部と、画面情報を携帯端末に送信する機器側通信部と、を備え、携帯端末は、電子機器と通信を行うことで、機器側通信部から送信された画面情報を受信する端末側通信部と、受信した画面情報を視認可能な形態で提供する画面情報提供部と、を備える。

本発明によれば、複数の機器間で、より効率的で安全に表示情報の共有を図ることができるという効果を奏する。

図１は、第１の実施の形態の情報処理システムのシステム構成を示す図である。 図２は、第１の実施の形態の情報処理システムのスマートグラスのブロック図である。 図３は、第１の実施の形態の情報処理システムのスマートグラスの外観を示す斜視図である。 図４は、スマートグラスの要部の構成を示す分解斜視図である。 図５は、スマートグラスのソフトウェア構成を説明するための機能ブロック図である。 図６は、第１の実施の形態のＭＦＰのブロック図である。 図７は、ＭＦＰのソフトウェア構成を説明するための機能ブロック図である。 図８は、第１の実施の形態の情報処理システムにおけるスマートグラスの動作の流れを示すフローチャートである。 図９は、第１の実施の形態の情報処理システムにおけるＭＦＰの動作の流れを示すフローチャートである。 図１０は、第１の実施の形態の情報処理システムの変形例を説明するための図である。 図１１は、第２の実施の形態の情報処理システムのスマートグラスのブロック図である。 図１２は、第２の実施の形態の情報処理システムのスマートグラスの要部の分解斜視図である。 図１３は、第２の実施の形態の情報処理システムのＭＦＰのブロック図である。 図１４は、第２の実施の形態の情報処理システムのＭＦＰのソフトウェア構成を説明するための機能ブロック図である。 図１５は、通常の操作画面の一例を示す図である。 図１６は、視覚支援モード時における操作画面の一例を示す図である。 図１７は、第３の実施の形態の情報処理システムのＭＦＰのソフトウェア構成を説明するための機能ブロック図である。 図１８は、第３の実施の形態の情報処理システムのＭＦＰの動作の流れを示すフローチャートである。

以下、一例として複合機（ＭＦＰ：Multifunction Peripheral）と眼鏡型端末との間で情報の共有を図る情報処理システムを説明する。なお、電子機器と携帯端末との間で情報の共有を図るシステムであれば、どのようなシステムでもよい。例えば、ＭＦＰの代わりにコピー装置又はスキャナ装置等の他の情報処理機器を用いてもよい。また、本発明の各実施の形態では、眼鏡型端末を携帯端末の一例として用いて説明するが、眼鏡型端末の代わりに、ゴーグル型端末、スマートフォン、腕時計型端末、タブレット型端末等の他の携帯端末を用いてもよい。

（第１の実施の形態）
（システム構成）
図１は、第１の実施の形態の情報処理システムのシステム構成図である。この図１に示すように、第１の実施の形態の情報処理システムは、少なくとも一つの眼鏡型携帯端末（以下、スマートグラスと言う）１と、少なくとも一つのＭＦＰ２と、無線ＬＡＮ（Local Area Network）のアクセスポイント装置３とを有している。スマートグラス１は、携帯端末の一例である。ＭＦＰ２は、電子機器の一例である。

一例ではあるが、スマートグラス１及びＭＦＰ２は、ＢＬＥ（Bluetooth（登録商標） Low Energy）による直接通信、及び、無線ＬＡＮのアクセスポイント装置３を介したＬＡＮ通信が可能となっている。スマートグラス１と無線ＬＡＮのアクセスポイント装置３との間は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ｂ等のＷｉ−Ｆｉ（登録商標）規格に準拠した無線通信を行う。また、ＭＦＰ２と無線ＬＡＮのアクセスポイント装置３は、イーサネット（登録商標）に接続されており、ＩＥＥＥ８０２．３規格に準拠した通信プロトコルを使用した通信を行う。

（スマートグラスのハードウェア構成）
図２に、スマートグラス１のハードウェア構成を示すブロック図である。この図２に示すようにスマートグラス１は、操作部９．中央演算部（ＣＰＵ）１０、メインメモリ１２、フラッシュメモリ１３、第１の通信部１４、第２の通信部１６、表示制御部１８及び表示部１９を有している。表示制御部１８及び表示部１９は、画面情報提供部の一例となっている。

ＣＰＵ１０は、フラッシュメモリ１３に記憶されたＯＳ（Operating System）及び情報処理プログラムを実行し、所定の情報処理を行う。メインメモリ１２としては、例えばＤＲＡＭ（Dynamic Random Access Memory）が設けられている。メインメモリ１２は、ＣＰＵ１０のワークエリアとして使用され、また、ＭＦＰ２から受信する画面データを一時的に記憶する。フラッシュメモリ１３は、電源オン時のシステム立ち上げ、スマートグラス１の機能を実現するための各種プログラム、及び各種情報処理に必要なデータを記憶する。

第１の通信部１４は、ＢＬＥ通信を行う通信部となっており、ＢＬＥ規格に準拠した無線通信プロトコルに基づいて、アンテナ１５を介してＭＦＰ２との間の無線通信を行う。第２の通信部１６は、Ｗｉ−Ｆｉ（登録商標）通信を行う通信部となっており、例えばＩＥＥＥ８０２．１１ｂ規格に準拠した無線通信プロトコルに基づいて、アンテナ１７を介して無線ＬＡＮのアクセスポイント装置３との間で無線通信を行う。第１の通信部１４及び第２の通信部１６は、端末側通信部の一例となっている。

表示制御部１８は、文字及びグラフィックデータ等を、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro-Luminescence）等の表示部１９に表示制御する。後述するが、表示部１９上に形成された画面情報は光学像とされ、スマートグラス１の反射部（図３の符号３４）に照射される。そして、光学像は、スマートグラス１の反射部を介して目の網膜に到達することで人間に認識される。

（外観構成）
図３に、スマートグラス１の外観構成を示す。この図３からわかるように、スマートグラス１は、眼鏡型を有しており、右目用及び左目用の各リム部３０を有している。各リム部３０には、それぞれレンズ部３１が嵌め込まれている。また、各レンズ部３１の略中央周辺部は、例えばハーフミラー又はホログラム等の反射部３４となっている。また、各リム部３０には、それぞれ右耳用及び左耳用の耳掛け部３２が設けられている。各耳掛け部３２には、後述する投影部３３が設けられている。投影部３３により形成された光学像は、反射部３４により反射され人間の目に出射される。投影部３３は、画面情報提供部の一例である。

（投影部の構成）
図４は、各耳掛け部３２に設けられている投影部３３の構成を示す図である。投影部３３は、いわゆる透過型の投影部となっており、図４に示すようにＬＣＤ又は有機ＥＬ等の表示部４４（上述の表示部１９に相当）、バックライト４２及び導光板４３を有している。制御回路４１は、バックライト４２を点灯駆動すると共に、表示部４４を表示制御する。バックライト４２からの光は、導光板４３を介して表示部４４の裏面全体に照射される。これにより、表示部４４に表示された画像に対応する光学像が、表示部４４の表面から出射され、出射レンズ４５を介してレンズ部３１の反射部３４に照射される。反射部３４は、この照射光（光学像）を人間の目に向けて反射する。これにより、光学像が目の網膜に到達し、表示部４４に表示された画像等が人間に認識される。

なお、この実施の形態の場合、投影部３３として、透過型の投影部を設けることとしたが、投影部３３として、反射型の投影部を設けてもよい。この場合、光源からの光を表示部４４に照射し、これにより得られる反射光を、レンズ部３１の反射部３４を介して人間の目に向けて反射する構成となる。このような反射型とした場合でも、透過型と同様に、表示部４４に表示された表示物を人間の目で視認することができる。

（スマートグラスのソフトウェア構成）
図５に、スマートグラス１のソフトウェア構成となる機能ブロック図を示す。図２に示したＣＰＵ１０は、フラッシュメモリ１３に記憶されている情報処理プログラムを実行することで、図５に示す各機能を実現する。具体的には、ＣＰＵ１０は、情報処理プログラムを実行することで、ＢＬＥ通信を行う第１の通信制御部５０、及び、表示部４４（表示部１９）に表示する表示データを取得する取得部５１の各機能を実現する。また、ＣＰＵ１０は、情報処理プログラムを実行することで、Ｗｉ−Ｆｉ（登録商標）通信を行う第２の通信部５２、及び、表示部４４（表示部１９）に対して画像等を表示する表示制御部５３の各機能を実現する。

また、操作部９は、例えば耳掛け部３２に設けられたハードウェアキーとなっており、ユーザは、操作部９を接触操作又は押し下げ操作することで、スマートグラス１に対する所望の画像の表示等を指示するようになっている。ＣＰＵ１０は、情報処理プログラムを実行することで、操作部９を介して行われたこのようなユーザの入力操作を処理する操作処理部５４を実現する。また、ＣＰＵ１０は、情報処理プログラムを実行することで、スマートグラス１の機器種別及び表示画素数等の各種情報を、メインメモリ１２又はフラッシュメモリ１３に記憶制御する記憶制御部５５を実現する。

なお、この例では、第１の通信制御部５０〜記憶制御部５５をソフトウェアで実現することとしたが、第１の通信制御部５０〜記憶制御部５５のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、第１の通信制御部５０〜記憶制御部５５の各機能をＣＰＵ１０に実現させる情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、情報処理プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、情報処理プログラムは、携帯端末内のＲＯＭ等に予め組み込んで提供してもよい。

（ＭＦＰのハードウェア構成）
次に、図６は、ＭＦＰ２のハードウェア構成を示すブロック図である。この図６に示すように、ＭＦＰ２は、ＣＰＵ６０、メインメモリ６１、フラッシュメモリ６２、バスコントローラ６４、ＰＣＩ（Peripheral Component Interconnect）ブリッジ６５、キャッシュメモリ６６、スキャナ部７０及びプリント部７２を有している。また、ＭＦＰ２は、ハードディスクドライブ７４、有線ＬＡＮ通信部７５、ＬＡＮインタフェース（ＬＡＮＩ／Ｆ）７６、第１の通信部７７、第２の通信部８７、ハードキー８０、タッチパネル８２、及び、ＲＴＣ（Real Time Clock）８３を有している。タッチパネル８２は、表示部及び操作部の一例である。

ＣＰＵ６０は、フラッシュメモリ６２に記憶されたＯＳ及び情報処理プログラムを実行し、所定の情報処理を行う。メインメモリ６１としては、例えばＤＲＡＭが設けられており、ＣＰＵ６０のワークエリア等で使用される。フラッシュメモリ６２は、電源を切ってもデータが消去されない不揮発性メモリとなっており、電源オン時のシステム立ち上げ、及び、ＭＦＰ２の機能を実現するための各種プログラムが記憶されている。また、フラッシュメモリ６２には、プログラムの実行時に参照されるスイッチ及びパラメータ等のデータも記憶されている。

バスコントローラ６４は、ＣＰＵバス８４とバス８６でのデータ転送を制御する。ＰＣＩブリッジ６５は、キャッシュメモリ６６を使用して、ＰＣＩバス８５とＣＰＵ６０との間のデータ転送を行う。例えばＤＲＡＭであるキャッシュメモリ６６は、ＰＣＩブリッジ６５により使用される。スキャナ部７０は、例えば１次元配列されたＬＥＤ（Light Emitting Diode）アレイを光源として、カラーＣＣＤラインセンサにより紙面画像を読み取る。そして、カラーＣＣＤ（Charge Coupled Device）ラインセンサから出力されるＲ（赤）、Ｇ（緑）、Ｂ（青）の各アナログ画像信号をデジタル化した画像データを生成する。また、スキャナ部７０は、ＲＧＢの各画像データに基づいて、色差成分（Ｃｂ，Ｃｒ）の画像データ及び輝度成分（Ｙ）の画像データを生成し、例えばＪＰＥＧ（Joint Photographic Experts Group）に準拠した圧縮（符号化）処理を施した画像データを生成する。

プリント部７２は、シアン、マゼンタ、イエロー、ブラックのトナーを使用して、紙面にカラー画像又はモノクロ画像をプリントする。ＨＤＤ７４は、スキャナ７０から入力された画像データ又はネットワーク（イーサネット（登録商標））を介して受信した画像データ等を記憶する。

有線ＬＡＮ通信部７５は、例えばＩＥＥＥ８０２．３規格に準拠した通信プロトコルを実行し、イーサネット（登録商標）に接続された他の機器との通信を、ＬＡＮＩ／Ｆ７６を介して制御する。第１の通信部７７は、ＢＬＥ通信部となっており、ＢＬＥ規格に準拠した無線通信プロトコルを実行して、アンテナ７８を介して他の機器との無線通信を行う。第２の通信部８７は、Ｗｉ−Ｆｉ（登録商標）通信部となっており、例えばＩＥＥＥ８０２．１１ｂ規格に準拠した無線通信プロトコルを実行して、アンテナ８８を介して他の機器との無線通信を行う。有線ＬＡＮ通信部７５、第１の通信部７７及び第２の通信部８７は、機器側通信部の一例である。

ハードキー８０は、ＭＦＰ２の操作部又は筐体等に物理的に設けられた入力ボタンである。一例ではあるが、タッチパネル８２は、ＬＣＤ表示部上に透明電極等で形成された透明電導膜を張り合わせた静電容量方式のタッチパネルとなっている。タッチパネル８２には、ＣＰＵ６０により、ＭＦＰ２の操作メニュー等が表示される。ＣＰＵ６０は、ユーザにより接触操作されたタッチパネル８２上の座標位置に基づいて、ユーザの入力操作を特定し、対応する情報処理を行う。ＲＴＣ８３は、日付時計となっており、図示していないバッテリーによりバックアップされ、現在時刻を計時する。

（ＭＦＰのソフトウェア構成）
図７は、ＭＦＰ２のソフトウェア構成を示す機能ブロック図である。ＭＦＰ２のＣＰＵ６０は、フラッシュメモリ６２に記憶された情報処理プログラムを実行することで、第１の通信制御部９０、入力処理部９１、有線ＬＡＮ通信制御部９２、制御部の一例である表示制御部９３、画面データ送信部９４、画面データ生成部９５、記憶制御部９６、及び、第２の通信制御部９７を実現する。

第１の通信制御部９０は、ＢＬＥ通信制御部となっており、図６に示す第１の通信部７７のＢＬＥ通信を制御する。入力処理部９１は、タッチパネル８２の接触操作位置を検出する。有線ＬＡＮ通信制御部９２は、有線ＬＡＮ通信部７５における、ＩＥＥＥ８０２．３規格に準拠した通信プロトコルを実行、制御する。表示制御部９３は、タッチパネル８２に対して画面データを表示制御する。

画面データ送信部９４は、タッチパネル８２に表示する画面データを、ＨＴＴＰ（Hypertext Transfer Protocol）通信により、スマートグラス１に送信する。画面データ生成部９５は、機器の状態及び操作手順に従ってタッチパネル８２に表示するための画面データを生成する。また、画面データ生成部９５は、画面データの送信先となるスマートグラス１の表示画素数に合わせて、送信する画面データのデータサイズを縮小処理する。

記憶制御部９６は、メインメモリ６１、フラッシュメモリ６２又はＨＤＤ７４等の記憶部に対して機器種別、各種設定情報等を記憶制御する。第２の通信制御部９７は、例えばＩＥＥＥ８０２．１１ｂ規格に準拠した無線通信プロトコルを実行して、Ｗｉ−Ｆｉ（登録商標）通信を行う第２の通信部８７を通信制御する。

（システム動作）
次に、スマートグラス１を介してＭＦＰ２を操作する場合における実施の形態の情報処理システムのシステム動作を、スマートグラス１及びＭＦＰ２に分けて説明する。図８のフローチャートが、スマートグラス１の動作の流れを、図９のフローチャートが、ＭＦＰ２の動作の流れを示している。

（スマートグラスの動作）
ＭＦＰ２を操作する場合、ユーザは、スマートグラス１を装着してＭＦＰ２の前に移動する。そして、ユーザは、スマートグラス１と他の機器との連携動作を行うべく、ＢＬＥ通信機能及びＷｉ−Ｆｉ通信機能をオン状態とするように、図２に示す操作部９に設けられているスマートグラス１の通信ボタンをオン操作する。図８のフローチャートのステップＳ１では、図５に示す操作処理部５４が、通信開始操作の有無（通信ボタンのオン操作の有無）を監視している。操作処理部５４により、通信ボタンのオン操作が検出されると（ステップＳ１：Ｙｅｓ）、処理がステップＳ２に進む。なお、ＢＬＥ通信機能及びＷｉ−Ｆｉ通信機能を、常にオン状態としてもよい。この場合、スマートグラス１に設ける通信ボタンを不要とすることができる。

ステップＳ２では、図５に示す第１の通信制御部５０が、図２に示す第１の通信部１４を制御して、ＢＬＥ通信機能をオン制御する。また、ステップＳ２では、図５に示す第２の通信制御部５２が、図２に示す第２の通信部１６を制御して、Ｗｉ−Ｆｉ通信機能をオン制御する。

スマートグラス１の第１の通信制御部５０はオン制御されることで、ＢＬＥ通信のマスター端末として動作し、ＭＦＰ２から断続的に送信されている、ＭＦＰ２の周囲の端末からＢＬＥ通信が可能な端末を探すためのアドバタイズメントパケットの受信待ちとなる。ステップＳ３では、スマートグラス１の第１の通信制御部５０が、ＭＦＰ２から送信されたアドバタイズメントパケットの受信待ちの状態となる。第１の通信制御部５０により、ＭＦＰ２から送信されたアドバタイズメントパケットが受信されると（ステップＳ３：Ｙｅｓ）、処理がステップＳ４に進む。

アドバタイズメントパケットには、アドバタイズメントパケットを送信している機器の種別を示す情報（発信元を示す情報：この場合は、ＭＦＰ２を示す情報）が含まれている。第１の通信制御部５０が、受信したアドバタイズメントパケットを解析することで、アドバタイズメントパケットを発信している機器がＭＦＰ２であることを認識する。そして、第１の通信制御部５０は、ステップＳ４において、ＢＬＥ通信によりスキャン要求パケットをＭＦＰ２に送信し、ＭＦＰ２から返信されたスキャン応答パケットを受信する。ステップＳ５では、第１の通信制御部５０が、ＭＦＰ２から返信されたスキャン応答パケットの受信の有無を判別する。第１の通信制御部５０が、ＭＦＰ２からスキャン応答パケットを受信したと判別することで（ステップＳ５：Ｙｅｓ）、処理がステップＳ６に進む。

ステップＳ６では、第１の通信制御部５０が、第１の通信であるＢＬＥ通信の接続要求信号（ＣＯＮＮＥＣＴ＿ＲＥＱ ＰＤＵ）をＭＦＰ２に送信して、ＭＦＰ２とＢＬＥで接続する。ステップＳ７では、第１の通信制御部５０が、ＭＦＰ２とＧＡＴＴ（General Attribute Profile）によるＡＴＴ（Attribute）プロトコルを実行して、ＭＦＰ２のＩＰアドレス情報、無線ＬＡＮのアクセスポイント装置３のＳＳＩＤ（Service Set Identifier）、Ｗｉ−Ｆｉ通信回線を確立するためのセットアップ情報等のＷｉ−Ｆｉ通信に必要な情報をＭＦＰ２から取得する。

図５に示す第２の通信制御部５２は、ＢＬＥ通信で取得されたＭＦＰ２のＩＰアドレス情報及びＷｉ−Ｆｉ通信回線を確立するためのセットアップ情報に基づいて、ＭＦＰ２との間にＷｉ−Ｆｉ通信回線を確立する。Ｗｉ−Ｆｉ通信回線が確立されると、記憶制御部５５は、ステップＳ８において、例えば図２に示すメインメモリ１２等の記憶部に予め記憶されているスマートグラス１の表示部１９の表示画素数を示す情報及び機器種別情報を読み出す。そして、ステップＳ８において、Ｗｉ−Ｆｉ通信を行う第２の通信制御部５２が、記憶部から読み出された表示画素数を示す情報及び機器種別情報を、ＨＴＴＰ（Hyper Text Transfer Protocol）のＰＯＳＴリクエストを使用してＭＦＰ２に送信する。

次にステップＳ９では、スマートグラス１の取得部５１が、第２の通信制御部５２を介して、タッチパネル８２に表示する画面データの取得要求メッセージを、ＨＴＴＰのＧＥＴリクエストを使用してＭＦＰ２に送信する。

ＭＦＰ２は、画面データの取得要求メッセージを受信すると、スマートグラス１の表示画素数に対応する大きさの画面データを生成し、生成した画面データを、ＨＴＴＰの応答メッセージに添付してスマートグラス１へ送信する。この際、ＭＦＰ２は、タッチパネル８２には、画面データの表示は行わない。ただ、タッチパネル８２に対する画面データの表示は行わないのであるが、タッチパネル８２に画面データ（＝スマートグラス１に送信した画面データ）を表示した場合における操作ボタン等の表示位置（座標位置）は認識している。また、タッチパネル８２の接触操作検出機能は有効となっている。すなわち、ユーザは、後述するように、スマートグラス１に表示されたタッチパネル８２の画面を見ながら、ＭＦＰ２のタッチパネル８２を操作することで、所望の動作をＭＦＰ２に指示するようになっている。

スマートグラス１は、図２に示す第２の通信部１６を介して、ＭＦＰ２から送信された画面データを受信する。図５に示す取得部５１は、ステップＳ１０において、ＭＦＰ２から受信した応答メッセージに画面データが存在するか否かを判別する。取得部５１により、ＭＦＰ２から受信した応答メッセージに画面データが存在しないと判別された場合（ステップＳ１０：Ｎｏ）、ステップＳ１２に処理が進む。

これに対して、取得部５１により、ＭＦＰ２から受信した応答メッセージに画面データが存在すると判別された場合（ステップＳ１０：Ｙｅｓ）、ステップＳ１１に処理が進む。ステップＳ１１では、図５に示す表示制御部５３（図２に示す表示制御部１８に相当）が、図４を用いて説明した透過型の投影部３３の表示部４４に、ＭＦＰ２から送信された画面データを表示制御する。これにより、投影部３３において、ＭＦＰ２から送信された画面データに対応する光学像が形成される。画面データに対応する光学像が、スマートグラス１のレンズ部３１に設けられた反射部３４により反射されてユーザの目の網膜に到達する。これにより、表示部４４に表示された画面データがユーザに認識される。

ユーザは、スマートグラス１に表示されるＭＦＰ２の画面を見ながら、ＭＦＰ２のタッチパネル８２を接触操作して、ＭＦＰ２に対して所望の動作を指定する。上述のように、ＭＦＰ２のタッチパネル８２は、画面表示は行われないのであるが、ユーザの接触操作は検出可能な状態となっている。また、ＭＦＰ２は、現在、スマートグラス１に表示されている画面を認識しており、この画面をタッチパネル８２に表示した場合における操作ボタンのタッチパネル８２上の座標位置等も認識している。このため、ＭＦＰ２は、スマートグラス１に表示されるＭＦＰ２の画面を見ながら接触操作されるタッチパネル８２上の座標位置に基づいて、ユーザにより操作されたボタン等を認識し、ユーザに指定された動作を行う。

次に、図５に示すスマートグラス１の取得部５１は、ステップＳ１２において、例えば１秒等の所定の時間をカウントし、所定時間が経過した際に（ステップＳ１２：Ｙｅｓ）、ステップＳ９に処理を戻す。そして、ステップＳ９において、上述のようにＨＴＴＰのＧＥＴリクエストを使用して、第２の通信制御部５２を介して、ＭＦＰ２に画面データの取得要求メッセージを送信する。これにより、所定時間毎に画面データの取得要求メッセージがＭＦＰ２に送信される。

ＭＦＰ２は、画面データの取得要求メッセージを受信すると、前回、スマートグラス１へ送信した画面データと現在の画面データとを比較して、差異がある場合に、現在の画面データをＨＴＴＰの応答メッセージを使用してスマートグラス１へ送信する。なお、前回及び現在の各画面データの間に差異が無い場合、ＭＦＰ２は、画面データを含まないＨＴＴＰの応答メッセージをスマートグラス１へ送信する。

（ＭＦＰの動作）
以上は、スマートグラス１側を主体としたシステム動作の説明であったが、以下、ＭＦＰ２を主体としたシステム動作の説明を行う。ＭＦＰ２を主体としたシステム動作の流れを、図９のフローチャートに示す。まず、図９のフローチャートのステップＳ２１では、ＭＦＰ２の種別を示す情報を含むアドバタイズメントパケットを断続的に送信するように、図７に示すＢＬＥ通信を行う第１の通信制御部９０が、図６に示す第１の通信部７７を制御する。

スマートグラス１は、アドバタイズメントパケットを受信すると、ＢＬＥ通信によりスキャン要求パケットをＭＦＰ２に送信する。ステップＳ２２では、図７に示すＭＦＰ２の第１の通信制御部９０が、スマートグラス１からスキャン要求パケットを受信したか否かを判別する。第１の通信制御部９０により、スマートグラス１からスキャン要求パケットを受信したと判別された場合、第１の通信制御部９０は、ステップＳ２３において、スキャン応答パケットをスマートグラス１に送信する。

次に、ステップＳ２４では、第１の通信制御部９０が、スマートグラス１から第１の通信であるＢＬＥ通信の接続要求信号（ＣＯＮＮＥＣＴ＿ＲＥＱ ＰＤＵ）を受信する。続いて、第１の通信制御部９０は、スマートグラス１とＧＡＴＴによるＡＴＴプロトコルを実行して、例えばＭＦＰ２のＩＰアドレス情報、無線ＬＡＮのアクセスポイント装置３のＳＳＩＤ（Service Set Identifier）、Ｗｉ−Ｆｉ通信回線を確立するためのセットアップ情報等のＷｉ−Ｆｉ通信に必要な情報をスマートグラス１に送信する。

スマートグラス１は、ＢＬＥ通信で取得されたＭＦＰ２のＩＰアドレス情報及びＷｉ−Ｆｉ通信回線を確立するためのセットアップ情報に基づいて、ＭＦＰ２との間にＷｉ−Ｆｉ通信回線を確立する。そして、スマートグラス１は、Ｗｉ−Ｆｉ通信回線が確立されると、スマートグラス１の表示部１９の表示画素数を示す情報及び機器種別情報を、ＨＴＴＰ（Hyper Text Transfer Protocol）のＰＯＳＴ（Power-On Self-Test）リクエストを使用してＭＦＰ２に送信する。スマートグラス１からＷｉ−Ｆｉ通信回線を介して送信された表示画素数を示す情報及び機器種別情報は、図１に示すアクセスポイント装置３により受信され、イーサネット（登録商標）を介してＭＦＰ２に送信される。そして、ＭＦＰ２の有線ＬＡＮ通信制御部９２により受信される。

ステップＳ２５では、ＭＦＰ２の有線ＬＡＮ通信制御部９２が、スマートグラス１から送信された表示画素数を示す情報を、イーサネット（登録商標）等のＬＡＮ経由で受信したか否かを判別する。有線ＬＡＮ通信制御部９２により、スマートグラス１から送信された表示画素数を示す情報を、イーサネット（登録商標）等のＬＡＮ経由で受信したと判別された場合、処理がステップＳ２６に進む。

スマートグラス１は、表示画素数を示す情報を送信すると、ＭＦＰ２のタッチパネル８２に表示する画面データの取得要求メッセージを、ＨＴＴＰのＧＥＴリクエストを使用してＭＦＰ２に送信する。ステップＳ２６では、有線ＬＡＮ通信制御部９２が、スマートグラス１から画面データの取得要求メッセージを受信したか否かを判別する。スマートグラス１から画面データの取得要求メッセージを受信したことが判別されると（ステップＳ２６：Ｙｅｓ）、ステップＳ２７に処理が進む。

ステップＳ２７では、画面データ生成部９５が、前回、スマートグラス１へ送信した画面データと現在の画面データとを比較して、差異があるか否か（画像データの更新の有無）を判別する。前回及び現在の各画面データの間に差異が存在する場合（ステップＳ２７：Ｙｅｓ）、ステップＳ２８に処理が進む。ステップＳ２８では、画面データ生成部９５が、スマートグラス１から受信した、スマートグラス１側の表示画素数を示す情報に基づいて、スマートグラス１側の表示画素数が、ＭＦＰ２側のタッチパネル８２の表示画素数よりも少ないか否かを判別する。

スマートグラス１側の表示画素数が、ＭＦＰ２側のタッチパネル８２の表示画素数よりも少ない場合（ステップＳ２８：Ｙｅｓ）、画面データ生成部９５が、ステップＳ２９において、スマートグラス１の表示画素数に合致した画素数となるように、画面データの画素数を間引き処理して縮小する。そして、ステップＳ３０において、画面データ送信部９４が、縮小した画面データを、ＨＴＴＰの応答メッセージを使用してスマートグラス１へ送信する。なお、前回及び現在の各画面データの間に差異が無い場合、画面データ送信部９４は、画面データを含まないＨＴＴＰの応答メッセージをスマートグラス１へ送信する。

（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態の情報処理システムは、スマートグラス１を装着してＭＦＰ２を操作する場合、ＭＦＰ２のタッチパネル８２の接触操作検出機能を有効にした状態で、画面データは非表示とすると共に、タッチパネル８２に表示する画面データをスマートグラス１に送信する。そして、スマートグラス１側で、ＭＦＰ２のタッチパネル８２に表示される画面データを表示する。ユーザは、スマートグラス１に表示された画面データを見ながらＭＦＰ２のタッチパネル８２を操作する。

これにより、スマートグラス１にＭＦＰ２の画面データを送信している場合は、ＭＦＰ２のタッチパネル８２に対する画面データを非表示とすることができる。このため、スマートグラス１及びＭＦＰ２のタッチパネル８２の両方に画面データが表示されることで、ユーザにとって画面データが二重に見え、タッチパネル８２が操作し難くなる不都合を防止できる。また、スマートグラス１にＭＦＰ２の画面データを送信している場合は、ＭＦＰ２のタッチパネル８２に対する画面データを非表示とすることで、無駄な表示を防止でき、ＭＦＰ２の節電を図ることができる。また、ＭＦＰ２のタッチパネル８２に対する画面データを非表示とすることができるため、ＭＦＰ２の表示内容を他人から盗み見される不都合を防止でき、セキュリティの向上を図ることができる。

（第１の実施の形態の変形例）
上述の第１の実施の形態の説明では、スマートグラス１とＭＦＰ２は、無線ＬＡＮのアクセスポイント装置３を介した通信を行うこととした。しかし、図１０に示すようにＭＦＰ２にＷｉ−Ｆｉ通信を行う第２の通信部８７を設け（図６参照）、無線ＬＡＮアクセスポイント３を使用せずに、直接的なＷｉ−Ｆｉ通信により、スマートグラス１とＭＦＰ２が通信を行うようにしてもよい。

一例ではあるが、スマートグラス１及びＭＦＰ２間で直接的なＷｉ−Ｆｉ通信を可能とする場合、Ｗｉ−Ｆｉダイレクト通信を用いることができる。これにより、上述の第１の実施の形態と同様の効果を得ることができる。

（第２の実施の形態）
次に、第２の実施の形態の情報処理システムの説明をする。上述の第１の実施の形態におけるスマートグラス１の投影部３３は、ＭＦＰ２の画面データに対応する光学像を生成して、ユーザの目に照射する例であった。これに対して、第２の実施の形態の情報処理システムは、画面データに対応するレーザ光でユーザの網膜を走査することで、弱視者等の視力障害者でもＭＦＰ２にタッチパネル８２に表示される画面データを視認可能とし、視力障害者に対する支援を可能とした例である。

なお、上述の第１の実施の形態と以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明を行い、重複した説明は省略する。

（第２の実施の形態のスマートグラスの構成）
図１１に、第２の実施の形態の情報処理システムに設けられているスマートグラス１のブロック図を示す。上述の図２と図１１を見比べてわかるように、第２の実施の形態の場合、スマートグラス１は、上述の表示制御部１８及び表示部１９を有する投影部３３に代えて、レーザコントローラ１１０、レーザ光源１１１、及び、走査ミラー１１２を備えた投影部を有している。レーザコントローラ１１０、レーザ光源１１１、及び、走査ミラー１１２は、画面情報提供部の一例である。

図１２は、第２の実施の形態のスマートグラス１に設けられている投影部の構成を示す斜視図である。この図１２において、レーザコントローラ１１０は、ＭＦＰ２から取得した画像データ（タッチパネル８２に表示する画像データ）に基づいて、半導体レーザであるレーザ光源１１１を駆動制御する。レーザ光源１１１は、レーザコントローラ１１０の制御に応じて、弱視者等の網膜を走査するための微弱なレーザ光を出射する。

集光レンズ１１３は、レーザ光源１１１から出射された赤緑青（ＲＧＢ）のレーザ光を集光して走査ミラー１１２に照射する。走査ミラー１１２は、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーとなっており、ＭＦＰ２の画面データに対応する赤緑青（ＲＧＢ）のレーザ光で弱視者等の網膜を走査するための走査光を生成する。走査ミラー１１２で生成された走査光は、レンズ部３１の反射部３４により反射され、弱視者等の目の網膜１１５で収束する。これにより、弱視者等の目の網膜１１５が、ＭＦＰ２の画面データに対応するレーザ光で走査され、弱視者等が、いわゆる残像効果により、ＭＦＰ２の画面データを視認することができる。

（第２の実施の形態のＭＦＰの構成）
図１３に、第２の実施の形態の情報処理システムに設けられているＭＦＰ２のハードウェア構成となるブロック図を示す。図６及び図１３を見比べてわかるように、第２の実施の形態の情報処理システムの場合、ＭＦＰ２は、第１の実施の形態の構成に加え、ＩＣカード１５１に記憶されている情報の読み取り（及び書き込み）を行うリーダライタ１５０を有している。

また、図１４に、第２の実施の形態の情報処理システムに設けられているＭＦＰ２のソフトウェア構成となる機能ブロック図を示す。図７及び図１４を見比べてわかるように、第２の実施の形態の情報処理システムの場合、ＭＦＰ２は、第１の実施の形態の構成に加え、ユーザ認証部１６０及びリーダライタ制御部１６１を有している。なお、ユーザ認証部１６０及びリーダライタ制御部１６１の各機能は、上述と同様に、ＭＦＰ２のＣＰＵ６０が、情報処理プログラムを実行することで実現される機能となっている。

（第２の実施の形態の動作）
図１３に示すリーダライタ１５０は、例えば半径が１０ｃｍ程度の磁界を常に発生しており、社員カードとなっているＩＣカード１５１が近接操作されると、例えば１３．５６ＭＨｚの周波数帯を使用した通信を行うことで、ＩＣカード１５１から社員識別情報（社員ＩＤ）を受信する。図１４に示すリーダライタ制御部１６１は、ＩＣカード１５１から社員ＩＤを受信するようにリーダライタ１５０を制御する。

図１３に示すメインメモリ６１又はフラッシュメモリ６２等の記憶部には、各社員の社員ＩＤに対して、例えば氏名、性別、入社年月日、所属部署等の社員情報が関連付けられて記憶された認証データベース（認証ＤＢ）が記憶されている。また、弱視者等の視覚障害者であることを示す情報も、社員情報（ユーザ情報の一例）として社員ＩＤに関連付けられて認証ＤＢに記憶されている。

ＩＣカード１５１から社員ＩＤが読み出されると、図１４に示すユーザ認証部１６０は、読み出された社員ＩＤに基づいて認証ＤＢを参照し、読み出された社員ＩＤに対応するユーザが、認証ＤＢに登録されている正規のユーザであるか否かを判別する。また、ユーザ認証部１６０は、認証ＤＢを参照することで、読み出された社員ＩＤに対応するユーザが、弱視者等の視覚障害者であるか否かを判別する。

ユーザ認証部１６０により、正規のユーザであることが認証され、かつ、弱視者等の視覚障害者であることが判別された場合、画面データ生成部９５は、「視覚支援モード」に移行し、ＭＦＰ２の操作画面を構成するボタンの数を削減し、かつ、ボタンを通常よりも大きく表示した画面データを生成する。なお、表示制御部９３は、「視覚支援モード」に移行しない場合は、タッチパネル８２に画面データを表示するが、「視覚支援モード」に移行した場合には、第１の実施の形態と同様にタッチパネル８２に対して画面データを非表示とする。

図１５は、通常の操作画面の一例を示す図である。これに対して、図１６は、視覚支援モード時に生成される操作画面の一例を示す図である。通常、図１５に示すように印刷部数、カラー、片面／両面印刷設定、集約、及び、用紙トレイの各設定項目を操作画面上に表示する表示形態となっている。また、通常、これらの設定項目と共に、設定されている印刷部数（１枚）、設定されている印刷カラー（白黒印刷）、片面／両面印刷設定（片面印刷）、集約処理（しない）、及び、用紙トレイの選択（自動選択）等の、現在の設定情報を、操作画面上に表示する表示形態となっている。

これに対して、「視覚支援モード」に移行すると、画面データ生成部９５は、表示するボタンを、図１６に示すように、例えば印刷部数（１枚）、印刷カラー（白黒のアイコン）、片面／両面印刷設定（片面）、及び、印刷開始ボタン（スタートボタン）の、計４つのボタンに削減すると共に、各ボタンを大きく表示する画面データを生成する。このような視覚支援モード時に生成される画面データで表示されるボタンは、使用頻度の高い機能のボタンが選択され表示される。なお、視覚支援モード時に生成される画面データで表示されるボタンは、ユーザが任意に選択可能としてもよい。

図１４に示す画面データ送信部９４及び有線ＬＡＮ通信制御部９２は、「視覚支援モード」で生成された画面データを、上述のように有線ＬＡＮ通信部７５を介してアクセスポイント装置３に送信する。これにより、画面データは、アクセスポイント装置３を介して、ユーザが装着しているスマートグラス１に無線送信される。

図１１に示すスマートグラス１の第２の通信部１６は、Ｗｉ−Ｆｉ通信によりアクセスポイント装置３から送信された、視覚支援が施された画面データを受信する。レーザコントローラ１１０は、ＭＦＰ２から受信した視覚支援が施された画像データに基づいて、レーザ光源１１１を駆動制御する。レーザ光源１１１は、レーザコントローラ１１０の制御に応じて微弱なレーザ光を出射する。

集光レンズ１１３は、レーザ光源１１１から出射された赤緑青（ＲＧＢ）のレーザ光を集光して走査ミラー１１２に照射する。ＭＥＭＳミラーとなっている走査ミラー１１２は、ＭＦＰ２の画面データに対応する赤緑青（ＲＧＢ）のレーザ光でユーザの網膜を走査するための走査光を生成する。走査ミラー１１２で生成された走査光は、レンズ部３１の反射部３４により反射され、ユーザの目の網膜１１５で収束する。これにより、ユーザの目の網膜１１５が、ＭＦＰ２の画面データに対応するレーザ光で走査され、弱視者等が、いわゆる残像効果により、ＭＦＰ２の画面データを視認することができる。

図１６が、弱視者等により視認されるＭＦＰ２の操作画面の一例である。上述のように、「視覚支援モード」においては、予め選択された設定項目の少数のボタン（画面情報のオブジェクトの一例）が、大きな表示面積で表示される。これにより、ユーザが弱視者等の視覚障害者であっても、ＭＦＰ２の操作画面を視認することができ、ＭＦＰ２のタッチパネル８２を接触操作して、ＭＦＰ２に対して所望の動作を指定することができる。

（第２の実施の形態の効果）
このような第２の実施の形態の情報処理システムは、ＭＦＰ２の画面データに対応するレーザ光でユーザの網膜を走査する。これにより、弱視者等の視覚障害者であっても、ＭＦＰ２の操作画面等を視認することができ、ＭＦＰ２のタッチパネル８２を接触操作して所望の動作を指定することができる。また、「視覚支援モード」においては、予め選択された設定項目の少数のボタンが、大きな表示面積で表示される。このため、弱視者等の視覚障害者であっても、ＭＦＰ２の操作画面等を、より容易に視認可能とすることができる他、上述の第１の実施の形態と同様の効果を得ることができる。

（第２の実施の形態の変形例）
上述の第２の実施の形態の説明では、ＩＣカード１５１から読み取った社員ＩＤに基づいて認証ＤＢを参照し、視覚障害者であることを識別した。しかし、弱視者等の視覚障害者用のスマートグラス１に対して、健常者用のスマートグラス１とは異なる機器種別情報（端末情報の一例）を付しておく。そして、スマートグラス１からＭＦＰ２に、視覚障害者用のスマートグラス１であることを示す機器種別を通知する。これにより、ＭＦＰ２が視覚障害者用のスマートグラス１であることを認識して、「視覚支援モード」に移行してもよい。

（第３の実施の形態）
次に、第３の実施の形態の情報処理システムの説明をする。この第３の実施の形態の情報処理システムは、ＭＦＰ２のタッチパネル８２に表示しようとしている画面データが、セキュリティを有する画面データの場合に、タッチパネル８２を非表示としてスマートグラス１にセキュリティを有する画面データを送信する例である。

なお、上述の各実施の形態と以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明を行い、重複した説明は省略する。

（第３の実施の形態のＭＦＰの構成）
図１７は、ＭＦＰ２のＣＰＵ６０が、情報処理プログラムを実行することで実現される各機能の機能ブロック図である。上述の図１４と図１７を見比べてわかるように、第３の実施の形態の場合、リーダライタ制御部１６１の代わりに、セキュリティ判断部１８０を有している。

図１８は、第３の実施の形態の情報処理システムにおけるＭＦＰ２の動作の流れを示すフローチャートである。この図１８のフローチャートのうち、ステップＳ２１〜ステップＳ３０の各処理は、図９のフローチャートのステップＳ２１〜ステップＳ３０と同じ動作となる。このため、図１８のフローチャートのテップＳ２１〜ステップＳ３０の動作は、図９のフローチャートの説明を参照されたい。

図１８のフローチャートで、図９のフローチャートに対して異なる処理は、ステップＳ４１〜ステップＳ４３の処理である。すなわち、前回、スマートグラス１へ送信した画面データと現在の画面データとを比較して差異がある場合、図１７に示す画面データ生成部９５が、ステップＳ２７において、画面データが更新されていると判別し、処理がステップＳ４１に進む。

ステップＳ４１では、セキュリティ判断部１８０が、表示制御部９３で表示しようとしている画面データにセキュリティ情報が含まれているか否かを判別する。具体的には、この第３の実施の形態の場合、各画面データには、それぞれ画面識別情報（画面ＩＤ）が付されている。また、図６に示すメインメモリ６１又はフラッシュメモリ６２等の記憶部には、セキュリティ情報を含む画面データの画面ＩＤが記憶されたセキュリティＩＤデータベース（セキュリティＩＤＤＢ）が設けられている。

セキュリティ判断部１８０は、表示制御部９３で表示しようとしている画面データの画面ＩＤと同じＩＤが、セキュリティＩＤＤＢに記憶されているか否かを判別し、この判別結果を表示制御部９３に供給する。例えば、表示制御部９３で表示しようとしている画面データが、ユーザ識別情報（ユーザＩＤ）及びパスワードの入力画面であり、セキュリティ情報を含む画面として、セキュリティＩＤＤＢに画面ＩＤが記憶されているとする。この場合、セキュリティ判断部１８０は、ステップＳ４１において、表示制御部９３で表示しようとしている画面データは、セキュリティ情報を含む画面データであると判別し（ステップＳ４１：Ｙｅｓ）、セキュリティ情報を含む画面データであることを示す判別結果を表示制御部９３に送信する。

表示制御部９３は、この判別結果を取得すると、ステップＳ４２において、タッチパネル８２の接触操作機能は有効とした状態でバックライトを消灯制御して、タッチパネル８２を非表示状態とする。バックライトの消灯制御以外にも、セキュリティ情報を含む画面とは全く関連のない予め用意していた画面（例えば単に「入力中」と表示する画面や広告表示など）を重畳的に表示する制御などにより、セキュリティ情報を含む画面を非表示状態とする手段でもよい。そして、ユーザＩＤ及びパスワードの入力画面の画面データは、上述のステップＳ２８及びステップＳ２９で所定の画像処理が施され、ステップＳ３０において、画面データ送信部９４によりスマートグラス１に送信される。

これにより、ユーザが装着したスマートグラス１にユーザＩＤ及びパスワードの入力画面の画面データが表示される。ユーザは、スマートグラス１に表示される入力画面を見ながら、ＭＦＰ２のタッチパネル８２を接触操作して、ユーザＩＤ及びパスワードの入力を行う。この場合、第三者は、何の画像も表示されていないタッチパネル８２に対して、スマートグラス１を装着して接触操作するユーザを見ることとなる。このため、ユーザは、第三者に入力画面を見られることなく、スマートグラス１に表示された入力画面に基づいて、ＭＦＰ２のタッチパネルを操作して、ユーザＩＤ及びパスワードの入力を行うことができる。

一方、セキュリティ判断部１８０により画面データにセキュリティ情報が含まれていないと判別された場合（ステップＳ４１：Ｎｏ）、表示制御部９３は、ステップＳ４３において、画面データをＭＦＰ２のタッチパネル８２に表示する。この場合、画面データ送信部９４は、セキュリティ情報が含まれていないと判別された画面データを、ＨＴＴＰの応答メッセージに添付せずにスマートグラス１へ送信する。セキュリティ情報が含まれていない画面データをＭＦＰ２のタッチパネル８２に表示しても、何ら問題はない。この場合、ユーザは、ＭＦＰ２のタッチパネル８２に表示される画面を見ながらタッチパネル８２を接触操作して所望の動作をＭＦＰ２に指定する。

（第３の実施の形態の効果）
このような第３の実施の形態の情報処理システムは、ＭＦＰ２のタッチパネル８２に表示しようとしている画面データが、セキュリティを有する画面データの場合に、タッチパネル８２を非表示としてスマートグラス１にセキュリティを有する画面データを送信する。ユーザは、スマートグラス１に表示される画面を見ながらＭＦＰ２のタッチパネル８２を接触操作する。これにより、ユーザは、第三者に入力画面を見られることなく、スマートグラス１に表示された画面に基づいて、ＭＦＰ２のタッチパネルを操作して、所望の入力操作を安全に行うことができる他、上述の各実施の形態と同様の効果を得ることができる。

最後に、上述の各実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。

例えば、表示部及び操作部を有していれば、ＭＦＰ２の代わりに、どのような電子機器を用いてもよい。

また、上述のＣＰＵ１０及びＣＰＵ６０としては、ソフトウェアによって各機能を実行するようプログラムされたプロセッサ、及び、各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＩＣ（Integrated Circuit）又は回路モジュールなどのハードウェアを含むものとする。

また、上述の各実施の形態は、情報処理技術分野における通常の知識を有した技術者であれば、ＡＳＩＣ（Application Specific Integrated Circuits）や、従来の回路モジュールを接続して構成した装置によって実施することが可能である。

また、上述の各実施の形態に記載された各機能は、それぞれ、一又は複数の処理回路（Circuit）によって実現することが可能である。なお、ここで、本明細書における「処理回路」とは、ソフトウェアによって各機能を実行するようプログラムされたプロセッサ、各機能を実行するよう設計されたＡＳＩＣ及び回路モジュール等のハードウェアを含むものとする。

また、スマートグラス１は、例えば画像形成装置など電子機器たる外部装置に対して、上述の近距離無線通信（ＢＬＥ通信）を介して通信可能な携帯通信端末として機能し、スマートフォン、タブレット端末、又はウェアラブルデバイス等のいわゆるスマート端末とも呼ばれるデバイスと同様である。スマートフォンとは、携帯電話としての通話機能のほか、カメラ装置による撮像機能、パーソナルコンピュータ装置のようなＷｅｂ情報表示機能など多機能を備える端末、タブレット端末とは、スマートフォンと同様に多機能端末として機能するタブレット型の端末というのが典型である。しかし、本明細書では、これらスマート端末の部類に数えられる眼鏡型の端末として、便宜上、スマートグラスと称するが、眼鏡のようにユーザの頭部に装着され得る形態のものが典型であり、ユーザゴーグルなど称呼は問わず、含みうるものとする。

このような実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ スマートグラス
２ 複合機（ＭＦＰ）
３ 無線ＬＡＮのアクセスポイント装置
９ 操作部
１０ ＣＰＵ
１２ メインメモリ
１３ フラッシュメモリ
１４ 第１の通信部（ＢＬＥ通信部）
１６ 第２の通信部（Ｗｉ−Ｆｉ通信部）
１８ 表示制御部
１９ 表示部
３０ リム部
３１ レンズ部
３２ 耳掛け部
３３ 投影部
３４ 反射部
４１ 制御回路
４２ バックライト
４３ 導光板
４４ 表示部
４５ 出射レンズ
５０ 第１の通信制御部
５１ 取得部
５２ 第２の通信制御部
５３ 表示制御部
５４ 操作処理部
５５ 記憶制御部
６０ ＣＰＵ
６１ メインメモリ
６２ フラッシュメモリ
６６ キャッシュメモリ
７０ スキャナ部
７２ プリント部
７４ ハードディスクドライブ（ＨＤＤ）
７５ 有線ＬＡＮ通信部
７６ ＬＡＮインタフェース（ＬＡＮＩ／Ｆ）
７７ 第１の通信部
８０ ハードキー
８２ タッチパネル
８７ 第２の通信部
９０ 第１の通信制御部
９１ 入力処理部
９２ 有線ＬＡＮ通信制御部
９３ 表示制御部
９４ 画面データ送信部
９５ 画面データ生成部
９６ 記憶制御部
９７ 第２の通信制御部
１１０ レーザコントローラ
１１１ レーザ光源
１１２ 走査ミラー
１１３ 集光レンズ
１１５ 目の網膜
１５０ リーダライタ
１５１ ＩＣカード
１６０ ユーザ認証部
１６１ リーダライタ制御部
１８０ セキュリティ判断部

特開２００１−２８２４０４号公報

Claims (22)

1. 電子機器と、前記電子機器との間で通信を行う携帯端末とを有する情報処理システムであって、
   前記電子機器は、
   画面情報を表示する表示部と、
   所定の入力操作を行うための操作部と、
   前記携帯端末に前記画面情報を送信する際に、前記入力操作を受け付け可能な状態に前記操作部を制御し、前記画面情報を表示しない状態に前記表示部を制御する制御部と、
   前記画面情報を前記携帯端末に送信する機器側通信部と、を備え、
   前記携帯端末は、
   前記電子機器と通信を行うことで、前記機器側通信部から送信された前記画面情報を受信する端末側通信部と、
   受信した前記画面情報を視認可能な形態で提供する画面情報提供部と、を備えること
   を特徴とする情報処理システム。
2. 前記端末側通信部は、前記機器側通信部との間で第１の通信方式の通信を行うことで、前記機器側通信部から第２の通信方式の通信回線を確立するための回線確立情報を取得し、
   前記機器側通信部は、前記回線確立情報を用いて前記端末側通信部との間に確立された前記第２の通信方式の通信回線を用いて、アクセスポイント装置を介した有線通信、又は、アクセスポイント装置を介さずに直接的に行う無線通信により、前記画面情報を前記携帯端末に送信すること
   を特徴とする請求項１に記載の情報処理システム。
3. 前記画面情報は、セキュリティの有無を示すセキュリティ情報を含み、
   前記電子機器は、前記携帯端末に送信する前記画面情報に含まれる前記セキュリティ情報が、セキュリティを有することを示す場合に、前記制御部が、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、前記機器側通信部が、セキュリティを有する前記画面情報を前記携帯端末に送信すること
   を特徴とする請求項１又は請求項２に記載の情報処理システム。
4. 前記画面情報に含まれるセキュリティを有することを示すセキュリティ情報が、ユーザ識別情報又はパスワードの入力画面を含む前記画面情報であることを示すセキュリティ情報であった場合、前記電子機器は、前記制御部が、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、前記機器側通信部が、セキュリティを有する前記画面情報を前記携帯端末に送信することにより、前記表示部に前記画面情報を表示しない状態のまま、前記携帯端末において前記画面情報を表示すること
   を特徴とする請求項３に記載の情報処理システム。
5. 前記電子機器は、
   ユーザ情報又は前記携帯端末の端末情報を取得する情報取得部を、さらに備え、
   前記制御部は、前記情報取得部により取得された前記ユーザ情報又は前記端末情報に応じて、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
   前記機器側通信部は、前記画面情報を前記携帯端末に送信すること
   を特徴とする請求項１又は請求項２に記載の情報処理システム。
6. 前記携帯端末は、前記電子機器から受信した前記画面情報に基づいて、反射方式又は透過方式で生成した光学像をユーザの目に照射することで、前記画面情報を視認させる眼鏡型端末であること
   を特徴とする請求項１から請求項５のうち、いずれか一項に記載の情報処理システム。
7. 前記携帯端末は、前記電子機器から受信した前記画面情報に基づいて、所定のレーザ光でユーザの目の網膜を走査することで、前記画面情報を視認させる眼鏡型端末であること
   を特徴とする請求項１から請求項５のうち、いずれか一項に記載の情報処理システム。
8. 前記携帯端末は、前記電子機器から受信した前記画面情報に基づいて、所定のレーザ光でユーザの目の網膜を走査することで、前記画面情報を視認させる眼鏡型端末であり、
   前記電子機器の制御部は、前記情報取得部で取得された前記ユーザ情報が視覚障害者であることを示し、又は、前記情報取得部で取得された前記端末情報が、視覚障害者により装着される前記眼鏡型端末であることを示す場合に、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、前記機器側通信部が、前記画面情報を前記携帯端末に送信すること
   を特徴とする請求項５に記載の情報処理システム。
9. 前記電子機器の制御部は、前記情報取得部で取得された前記ユーザ情報が視覚障害者であることを示し、又は、前記情報取得部で取得された前記端末情報が、視覚障害者により装着される前記眼鏡型端末であることを示す場合、前記携帯端末に送信する前記画面情報として、一度に表示するオブジェクトの数を削減すると共に、表示するオブジェクトの表示サイズを拡大した前記画面情報を生成すること
   を特徴とする請求項８に記載の情報処理システム。
10. 電子機器の制御部が、表示部に表示する画面情報を携帯端末に送信する際に、所定の入力操作を受け付け可能な状態に操作部を制御し、前記画面情報を表示しない状態に前記表示部を制御する制御ステップと、
    前記電子機器の機器側通信部が、前記画面情報を前記携帯端末に送信する送信ステップと、
    前記携帯端末の端末側通信部が、前記電子機器と通信を行うことで、前記機器側通信部から送信された前記画面情報を受信する受信ステップと、
    前記携帯端末の画面情報提供部が、前記受信ステップで受信した前記画面情報を視認可能な形態で提供する画面情報提供ステップと
    を有する情報処理方法。
11. 画面情報を表示する表示部と、
    所定の入力操作を行うための操作部と、
    携帯端末に前記画面情報を送信する際に、前記入力操作を受け付け可能な状態に前記操作部を制御し、前記画面情報を表示しない状態に前記表示部を制御する制御部と、
    前記画面情報を前記携帯端末に送信する機器側通信部と
    を有する電子機器。
12. 前記画面情報は、セキュリティの有無を示すセキュリティ情報を含み、
    前記制御部は、前記携帯端末に送信する前記画面情報に含まれる前記セキュリティ情報が、セキュリティを有することを示す場合に、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記機器側通信部は、セキュリティを有する前記画面情報を前記携帯端末に送信すること
    を特徴とする請求項１１に記載の電子機器。
13. 前記画面情報に含まれるセキュリティを有することを示すセキュリティ情報が、ユーザ識別情報又はパスワードの入力画面を含む前記画面情報であることを示すセキュリティ情報であった場合、前記制御部は、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記機器側通信部は、セキュリティを有する前記画面情報を前記携帯端末に送信することで、前記表示部に前記画面情報を表示しない状態のまま、前記携帯端末において前記画面情報を表示すること
    を特徴とする請求項１２に記載の電子機器。
14. ユーザ情報又は前記携帯端末の端末情報を取得する情報取得部を、さらに備え、
    前記制御部は、前記情報取得部により取得された前記ユーザ情報又は前記端末情報に応じて、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記機器側通信部は、前記画面情報を前記携帯端末に送信すること
    を特徴とする請求項１１又は請求項１２に記載の電子機器。
15. 前記制御部は、前記情報取得部で取得された前記ユーザ情報が視覚障害者であることを示し、又は、前記情報取得部で取得された前記端末情報が、視覚障害者により使用される前記携帯端末であることを示す場合に、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記機器側通信部は、前記画面情報を前記携帯端末に送信すること
    を特徴とする請求項１４に記載の電子機器。
16. 前記制御部は、前記情報取得部で取得された前記ユーザ情報が視覚障害者であることを示し、又は、前記情報取得部で取得された前記端末情報が、視覚障害者により使用される前記携帯端末であることを示す場合、前記携帯端末に送信する前記画面情報として、一度に表示するオブジェクトの数を削減すると共に、表示するオブジェクトの表示サイズを拡大した前記画面情報を生成すること
    を特徴とする請求項１５に記載の電子機器。
17. 画面情報を表示する表示部と、所定の入力操作を行うための操作部と、前記画面情報を携帯端末に送信する機器側通信部とを有する電子機器のコンピュータを動作させるための情報処理プログラムであって、
    前記コンピュータを、
    前記携帯端末に前記画面情報を送信する際に、前記入力操作を受け付け可能な状態に前記操作部を制御し、前記画面情報を表示しない状態に前記表示部を制御する制御部と、
    前記画面情報を前記携帯端末に送信するように前記機器側通信部を制御する通信制御部として機能させること
    を特徴とする情報処理プログラム。
18. 前記画面情報は、セキュリティの有無を示すセキュリティ情報を含み、
    前記制御部は、前記携帯端末に送信する前記画面情報に含まれる前記セキュリティ情報が、セキュリティを有することを示す場合に、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記通信制御部は、セキュリティを有する前記画面情報を前記携帯端末に送信するように前記機器側通信部を制御すること
    を特徴とする請求項１７に記載の情報処理プログラム。
19. 前記画面情報に含まれるセキュリティを有することを示すセキュリティ情報が、ユーザ識別情報又はパスワードの入力画面を含む前記画面情報であることを示すセキュリティ情報であった場合、前記制御部は、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記通信制御部は、セキュリティを有する前記画面情報を前記携帯端末に送信するように前記機器側通信部を制御することで、前記表示部に前記画面情報を表示しない状態のまま、前記携帯端末において前記画面情報を表示すること
    を特徴とする請求項１８に記載の情報処理プログラム。
20. 前記コンピュータを、
    ユーザ情報又は前記携帯端末の端末情報を取得する情報取得部として、さらに機能させ、
    前記制御部は、前記情報取得部により取得された前記ユーザ情報又は前記端末情報に応じて、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記通信制御部は、前記画面情報を前記携帯端末に送信するように前記機器側通信部を制御すること
    を特徴とする請求項１７又は請求項１８に記載の情報処理プログラム。
21. 前記制御部は、前記情報取得部で取得された前記ユーザ情報が視覚障害者であることを示し、又は、前記情報取得部で取得された前記端末情報が、視覚障害者により使用される前記携帯端末であることを示す場合に、前記入力操作を受け付け可能な状態に前記操作部を制御すると共に、前記画面情報を表示しない状態に前記表示部を制御し、
    前記通信制御部は、前記画面情報を前記携帯端末に送信するように前記機器側通信部を制御すること
    を特徴とする請求項２０に記載の情報処理プログラム。
22. 前記制御部は、前記情報取得部で取得された前記ユーザ情報が視覚障害者であることを示し、又は、前記情報取得部で取得された前記端末情報が、視覚障害者により使用される前記携帯端末であることを示す場合、前記携帯端末に送信する前記画面情報として、一度に表示するオブジェクトの数を削減すると共に、表示するオブジェクトの表示サイズを拡大した前記画面情報を生成すること
    を特徴とする請求項２１に記載の情報処理プログラム。

Images