JP2017167611A - 端末装置、データ処理システム及びプログラム - Google Patents

Abstract

【課題】端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができる端末装置、データ処理システム及びプログラムを提供する。
【解決手段】端末装置１００は、処理装置画像４００Ｉを取得するカメラ装置１７０と、表示部１６０とを有し、表示部１６０は、データの処理を依頼する画面であって、カメラ装置１７０が取得した処理装置画像４００Ｉと、処理を依頼するデータを示すデータ画像９６０Ｄとを表示する依頼画面１６０Ｂを表示し、依頼画面１６０Ｂにおいて、操作者が処理装置画像４００Ｉとデータ画像９６０Ｄとを指定する操作に応じて、指定したデータ画像９６０Ｄが示すデータの処理を、指定した処理装置画像４００Ｉが示すデータ処理装置４００に依頼する。
【選択図】図７

Description

本発明は、端末装置、データ処理システム及びプログラムに関する。

特許文献１には、マーカー画像及び電子透かしが重畳して印刷されたマーカーから情報を読み取って、コンテンツを表示するコンテンツ表示装置であって、電子透かしのコードとコンテンツとを紐付けて記憶する記憶手段と、前記マーカーを撮影する撮影手段と、撮影した前記マーカーの電子透かしを識別してコードを抽出するコード抽出手段と、抽出した前記コードに対応する前記コンテンツを取得するコンテンツ取得手段と、撮影した前記マーカーのマーカー画像の位置を認識する位置認識手段と、認識した前記位置に、取得した前記コンテンツを表示する表示手段と、を備えることを特徴とするコンテンツ表示装置が記載されている。

特許文献２には、ＡＲマーカである画像が印刷されたカードを撮影するためのカメラと、このカメラで撮影された画像を受け取りこの画像にマッチングする画像を画像記憶装置に記録された画像の中から検索してこの索出画像に対応する仮想三次元映像を決定する映像決定装置と、映像記憶装置から読み出された前記仮想三次元映像を受け取り前記画像にアノデーションして表示する表示装置と、から成るアノテーションシステムが記載されている。

特開２０１４−２１９８２２号公報 特開２０１５−１４６１７３号公報

端末装置からデータ処理装置にデータの処理を依頼する場合、データ処理装置のネットワーク上のアドレスを取得して、端末処理装置とデータ処理装置との接続を接続することを要する。しかしながら、端末装置とデータ処理装置とを接続する操作は煩雑であることがある。

本発明は、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができる端末装置、データ処理システム及びプログラムを提供することを目的とする。

請求項１に係る本発明は、データ処理装置の画像である処理装置画像を取得する画像取得手段と、表示手段と、を有し、前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、前記画像取得手段が取得した処理装置画像の少なくとも１つと、処理を依頼するデータを示すデータ画像の少なくとも１つとを表示する前記依頼画面を表示し、前記依頼画面において、操作者が処理装置画像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を指定した処理装置画像が示すデータ処理装置に依頼する端末装置である。

請求項２に係る本発明は、前記画像取得手段は撮影装置を有し、前記撮影装置でデータ処理装置を撮影することにより処理装置画像を取得する請求項１記載の端末装置である。

請求項３に係る本発明は、前記画像取得手段は撮影装置を有し、前記撮影装置が操作された時点において、前記撮影装置で撮影可能な方向に配置されているデータ処理装置の画像を処理装置画像として取得する請求項１記載の端末装置である。

請求項４に係る本発明は、前記表示手段は、データ処理装置が設置された位置を示し、データの処理を依頼するデータ処理装置を指定するための処理装置指定画面をさらに表示し、前記画像取得手段は、操作者が前記処理装置指定画面で指定したデータ処理装置の画像を取得する請求項１記載の端末装置である。

請求項５に係る本発明は、データ処理装置にデータの処理を依頼するデータ処理依頼手段と、前記画像取得手段が取得した処理装置画像に基づいて、処理装置画像が取得されたデータ処理装置のネットワーク上におけるアドレスを取得するアドレス取得手段と、をさらに有し、前記データ処理依頼手段は、前記アドレス取得手段が取得したデータ処理装置のネットワーク上のアドレスに基づいて、ネットワーク上のアドレスが取得されたデータ処理装置にデータの処理を依頼する請求項１乃至４いずれか記載の端末装置である。

請求項６に係る本発明は、依頼画面に処理装置画像が表示されたデータ処理装置の位置情報を取得する位置情報取得手段をさらに有し、前記アドレス取得手段は、少なくともデータ処理装置の位置情報及びデータ処理装置のネットワーク上におけるアドレスを保存しているデータベースを参照し、前記位置情報検知手段により位置情報が取得されたデータ処理装置のネットワーク上のアドレスを取得する請求項５記載の端末装置である。

請求項７に係る本発明は、前記画像取得手段で取得された処理装置画像に基づいて、処理装置画像が取得されたデータ処理装置と通信可能な通信プロトコロを特定するプロトコル特定手段をさらに有し、前記データ処理依頼手段は、前記プロトコル特定手段が特定した通信プロトコルを用いてデータ処理装置にデータの処理を依頼する請求項５又は６記載の端末装置である。

請求項８に係る本発明は、前記表示手段は、処理を依頼するデータを指定するためのデータ指定画面をさらに表示し、前記データ指定画面は、複数のデータ画像を表示する際に、複数のデータ画像を前記データ指定画面に対して交わる方向に奥行きがあるように配置して表示する請求項１乃至７いずれか記載の端末装置である。

請求項９に係る本発明は、前記依頼画面において、操作者がデータ画像の１つを処理装置画像の１つに重ねることにより、データ画像と処理装置画像とが指定される請求項１乃至８いずれか記載の端末装置である。

請求項１０に係る本発明は、表示手段を有し、前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、処理装置の実像と同時に視認することができるように、処理を依頼するデータを示すデータ画像の少なくとも１つを表示する前記依頼画面を表示し、前記依頼画面において、操作者がデータの処理を依頼する処理装置の実像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を実像が指定されたデータ処理装置に依頼する端末装置である。

請求項１１に係る本発明は、前記表示手段は、操作者が移動中にはデータ画像を表示しない請求項１０記載の端末装置である。

請求項１２に係る本発明は、前記表示手段は、データ画像を２色以内で表示する請求項１０又は１１記載の端末装置である。

請求項１３に係る本発明は、前記表示手段は、データ画像を透過可能に表示する請求項１０乃至１２いずれか記載の端末装置である。

請求項１４に係る本発明は、前記依頼画面において、操作者がデータ画像の１つを処理装置の実像の１つに重ねることにより、データ画像と処理装置画像とが指定される請求項１０乃至１３いずれか記載の端末装置である。

請求項１５に係る本発明は、端末装置と、前記端末装置からの依頼を受けてデータを処理するデータ処理装置と、を有し、前記端末装置は、データ処理装置の画像である処理装置画像を取得する画像取得手段と、表示手段と、を有し、前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、前記画像取得手段が取得した処理装置画像の少なくとも１つと、処理を依頼するデータを示すデータ画像の少なくとも１つとを表示する前記依頼画面を表示し、前記依頼画面において、操作者が処理装置画像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を指定した処理装置画像が示すデータ処理装置に依頼するデータ処理システムである。

請求項１６に係る本発明は、複数の前記端末装置を有し、複数の前記端末装置の１つの依頼画面で処理装置画像とデータ画像とを指定する操作がなされた場合に、複数の前記端末装置の少なくとも他の１つの依頼画面になされた操作が表示される請求項１３記載のデータ処理システムである。

請求項１７に係る本発明は、端末装置と、前記端末装置からの依頼を受けてデータを処理するデータ処理装置と、を有し、前記端末装置は表示手段を有し、前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、処理装置の実像と同時に視認することができるように、処理を依頼するデータを示すデータ画像の少なくとも１つを表示する前記依頼画面を表示し、前記依頼画面において、操作者がデータの処理を依頼する処理装置の実像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を実像が指定されたデータ処理装置に依頼するデータ処理システムである。

請求項１８に係る本発明は、データ処理装置の画像である処理装置画像を取得する画像取得ステップと、表示ステップと、をコンピュータに実行させ、前記表示ステップでは、データ処理装置にデータの処理を依頼する依頼画面であって、前記画像取得ステップで取得した処理装置画像の少なくとも１つと、処理を依頼するデータを示すデータ画像の少なくとも１つとを表示する前記依頼画面を表示させ、前記依頼画面において、操作者が処理装置画像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を指定した処理装置画像が示すデータ処理装置に依頼させるプログラムである。

請求項１９に係る本発明は、表示ステップをコンピュータに実行させ、前記表示ステップでは、データ処理装置にデータの処理を依頼する依頼画面であって、処理装置の実像と同時に視認することができるように、処理を依頼するデータを示すデータ画像の少なくとも１つを表示する前記依頼画面を表示させ、前記依頼画面において、操作者がデータの処理を依頼する処理装置の実像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を実像が指定されたデータ処理装置に依頼させる
プログラムである。

請求項１に係る本発明によれば、專ら操作部等を操作者が操作することによって、端末装置とデータ処理装置とを接続することを要する技術と比較して、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができる端末装置を提供することができる。

請求項２に係る本発明によれば、撮影をせずに処理装置画像の表示をする技術ではデータベース等に処理装置画像を保存することを要するのに対して、処理装置画像の保存を不要とすることができる。

請求項３に係る本発明によれば、撮影により処理装置画像を取得する技術では、撮影可能な位置にあるデータ処理装置の処理装置画像しか取得することができないことに対して、撮影ができない位置にあるデータ処理装置の処理装置画像を取得することができ、そのデータ処理装置にデータの処理を依頼することができる。

請求項４に係る本発明によれば、例えば操作者に最も近い場所に設置されているデータ処理装置を選択する等、データ処理装置が設置された場所を考慮して処理装置画像を取得することができ、そのデータ処理装置にデータの処理を依頼することができる。

請求項５に係る本発明によれば、端末装置とデータ処理装置とを接続する際に、操作者がデータ処理装置のネッワーク上のアドレスを入力する操作をすることを要する技術と比較して、端末装置とデータ処理装置を接続する操作の煩雑さを低減することができる。

請求項６に係る本発明によれば、位置情報を用いずに、例えば識別子を撮影することでデータ処理装置を特定し、特定したデータ処理装置のネットワーク上のアドレスを取得する技術と比較して、データ処理装置のネットワーク上のアドレスを取得する操作を簡単にすることができる。

請求項７に係る本発明によれば、操作部等を操作者が操作することによって、データ処理装置と通信が可能なようにプロトコルを設定する技術と比較して、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができる。

請求項８に係る本発明によれば、データを專ら平面的に配置する技術と比較して、処理を依頼するデータの選択しやすくすることができる。

請求項９に係る本発明によれば、操作者がデータ画像の１つを処理装置画像の１つに重ねる以外の操作でデータ画像と処理装置画像とが指定する技術と比較して、操作を簡単にすることができる。

請求項１０に係る本発明によれば、專ら操作部等を操作者が操作することによって、端末装置とデータ処理装置とを接続することを要する技術と比較して、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができる端末装置を提供することができる。

請求項１１に係る本発明によれば、操作者が移動中にデータ画像を表示することで生じる虞がある操作者の３Ｄ酔いを生じにくくすることができる。

請求項１２に係る本発明によれば、データ画像を３色以上で表示する技術と比較して、操作者が実像とデータ画像との区別をしやすくすることができる。

請求項１３に係る本発明によれば、不透過のデータ画像を表示する技術で生じる実像がデータ画像に遮られた見難くなるとの弊害を抑制することができる。

請求項１４に係る本発明によれば、操作者がデータ画像の１つを処理装置の実像の１つに重ねる以外の操作でデータ画像と処理装置画像とが指定する技術と比較して、操作を簡単にすることができる。

請求項１５に係る本発明によれば、專ら操作部等を操作者が操作することによって、端末装置とデータ処理装置とを接続することを要する技術と比較して、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができるデータ処理システムを提供することができる。

請求項１６に係る本発明によれば、１つの端末装置を用いて操作者によりなされた操作を、他の者が他の端末装置で確認することができる。

請求項１７に係る本発明によれば、專ら操作部等を操作者が操作することによって、端末装置とデータ処理装置とを接続することを要する技術と比較して、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができるデータ処理システムを提供することができる。

請求項１８に係る本発明によれば、專ら操作部等を操作者が操作することによって、端末装置とデータ処理装置とを接続することを要する技術と比較して、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができるプログラムを提供することができる。

請求項１９に係る本発明によれば、專ら操作部等を操作者が操作することによって、端末装置とデータ処理装置とを接続することを要する技術と比較して、端末装置とデータ処理装置とを接続する操作の煩雑さを低減することができるプログラムを提供することができる。

本発明の第１の実施形態に係るデータ処理システムを示す図である。 図１に示すデータ処理システムが有する端末装置の構成を示すブロック図である。 図２に示す端末装置の一例であるスマートフォンを示す正面図である。 図１に示すデータ処理システムが有する無線通信装置の構成を示すブロック図である。 図１に示すデータ処理システムが有する管理装置の構成を示すブロック図である。 図１に示す画像処理システムが有する情報処理装置の構成を示すブロック図である。 図７（Ａ）は、処理装置画像を取得するために、端末装置でデータ処理装置を撮影する様子模式的に示す図であり、図７（Ｂ）は、端末装置の表示部に撮影されたデータ処理装置の処理装置画像が表示されている状態を示す図である。 図８（Ａ）は、端末装置の表示部に表示される依頼画面の第１の例を示す図であり、図８（Ｂ）は、端末装置の表示部に表示される依頼画面の第２の例を示す図である。 図９（Ａ）は、依頼画面でデータ処理装置にデータの処理を依頼する操作の第１の例を説明する図であり、図９（Ｂ）は、依頼画面でデータ処理装置にデータの処理を依頼する操作の第２の例を説明する図である。 図１０（Ａ）及び図１０（Ｂ）は、依頼画面でデータ処理装置にデータの処理を依頼する操作の第３の例を説明する図である。 依頼画面に複数の処理装置画像が表示されている場合におけるデータ処理装置にデータの処理を依頼する操作を説明する図である。 図１２（Ａ）〜図１２（Ｄ）は、端末装置の表示部に表示されるデータ選択画面の例をそれぞれに示す図であり、図１２（Ｅ）、図１２（Ｆ）は、図１２（Ｂ）に示されているデータ選択画面が操作された状態をそれぞれに示す図である。 図１３（Ａ）は、端末装置の表示部に表示されるデータ表示画面の例を示す図であり、図１３（Ｂ）は端末装置の表示部に表示される依頼画面の第３の例を示す図であり、図１３（Ｃ）は図１３（Ｂ）に示されている依頼画面でデータ処理装置にデータの処理を依頼する操作を説明する図である。 端末装置でデータ処理装置の処理装置画像を取得するための操作を模式的に説明する図である。 図１５（Ａ）及び図１５（Ｂ）は端末装置の表示部に表示された処理装置表示画面の例を示す図であり、図１５（Ｃ）は、図１５（Ｂ）が表示された後に、表示部に表示される依頼画面を示す図である。 図１６（Ａ）は、端末装置の表示部に表示された処理装置選択画面の例を示す図であり、図１６（Ｂ）は、図１６（Ａ）に示す処理装置選択画面を操作した後に表示部に表示される依頼画面を示す図である。 端末装置の表示部に表示されるモード選択画面の例を示す図である。 図１に示す端末装置のモードの選択時における動作を説明するフローチャートである。 図１に示す端末装置のカメラ選択モードにおける動作を説明するフローチャートである。 図１に示す端末装置の見取図選択モードにおける動作を説明するフローチャートである。 図１に示す端末装置のデータ選択モードにおける動作を説明するフローチャートである。 本発明の第２の実施形態に係るデータ処理システムで端末装置として用いられているウェアラブルコンピュータを示す斜視図である。 図２２に示すウェアラブルコンピュータの表示部に表示された依頼画面の例を示す図である。 本発明の第３の実施形態に係るデータ処理システムを示す図である。

（第１の実施の形態）
次に、本発明を実施するための形態を図面を参照して説明する。図１には、本発明の第１の実施形態に係るデータ処理システム１０が示されている。データ処理システム１０は、端末装置１００と、無線通信装置３００と、例えば３個のデータ処理装置４００Ａ、４００Ｂ、４００Ｃと、管理装置５００とを有し、これらがネットワーク６００に接続されている。

データ処理装置４００Ａ、データ処理装置４００Ｂ、データ処理装置４００Ｃは、特に区別をする必要がある場合を除き、以下、データ処理装置４００と総称して説明をする。また、以下、データ処理システム１０が３個のデータ処理装置４００を有する場合を例として説明をするものの、データ処理システム１０は少なくとも１つのデータ処理装置４００を有すればよい。

端末装置１００は、望ましくは携帯可能な装置であり、例えば、スマートフォンやタブレット装置、ウェアラブルコンピュータ等を用いることができる。また、端末装置１００は、無線通信装置３００を介してネットワーク６００に無線で接続可能であることが望ましいものの、ネットワーク６００に有線で接続可能なものであってもよい。以下、端末装置１００として、携帯可能であり、無線通信装置３００を介してネットワーク６００と接続可能な装置であるスマートフォンを用いる場合を例として説明をする。

図２は、端末装置１００の構成を示すブロック図である。図２に示すように、端末装置１００は、操作部１１０を有する。操作部１１０は、操作者が操作することによって操作者の指示を受け付ける入力装置として用いられていて、例えばタッチパネル等を用いることができる。

端末装置１００は、ＧＰＳ受信部１２０をさらに有する。ＧＰＳ受信部１２０はＧＰＳ衛星９９０からの電波を受信する。

端末装置１００は、無線通信部１３０をさらに有する。無線通信部１３０は、例えばＷｉ−Ｆｉなどの無線ネットワークの通信を行って無線通信装置３００と無線通信を行うことにより端末装置１００をネットワーク６００に接続する。

端末装置１００は、加速度センサ１４０をさらに有する。加速度センサ１４０は、端末装置１００の地面に対する姿勢、傾きを検出する。加速度センサ１４０は、端末装置１００の地面に対する上下方向が正しいか否かをさらに検出する。

端末装置１００は、電子コンパス１５０をさらに有する。電子コンパス１５０は、端末装置１００の方向を検出する。電子コンパス１５０としては、例えば地磁気センサ等を用いることができる。

端末装置１００は、表示部１６０をさらに有する。表示部１６０としては、例えば液晶表示パネルを用いることができる。

端末装置１００は、カメラ装置１７０をさらに有する。カメラ装置１７０は、画像所得手段として用いられているとともに撮影装置として用いられていて、例えば、表示部１６０をファインダとして用いて被写体を撮影する。

端末装置１００は、メモリ１８０をさらに有する。メモリ１８０は、カメラ装置１７０で撮影した画像データ等を記憶する。

端末装置１００は、制御部１０２をさらに有する。制御部１０２は、操作部１１０と、ＧＰＳ受信部１２０と、無線通信部１３０と、加速度センサ１４０と、電子コンパス１５０と、表示部１６０と、カメラ装置１７０と、メモリ１８０とをプログラムに応じて制御する。制御部１０２は、さらには画像処理を行う。

制御部１０２は、さらには、ＧＰＳ衛星９９０から発せられた電波であって、ＧＰＳ受信部１２０が受信した電波に基づいて、地球上における端末装置１００の位置を演算する。このように、制御部１０２は、端末装置１００の緯度及び経度位置座標を求め、端末装置１００の位置情報を取得する。

端末装置１００の位置情報の取得は、ＧＰＳ電波を取得する以外の方法で行ってもよい。例えば、端末装置１００の位置情報の取得を、無線ＬＡＮを用いたＷｉ−Ｆｉ測位による行ってもよい。このため、端末装置１００がＧＰＳ受信部１２０を有しないとしても、複数の無線ＬＡＮアクセスポイントによって端末装置１００の位置情報の取得が可能である。

図３は、端末装置１００を正面から示す図である。図３に示すように、先述の表示部１６０は、端末装置１００の前側に配置されていて、端末装置１００の前側から表示内容を見ることができるようになっている。操作部１１０も表示部１６０と同様に端末装置１００の前側配置されていて、前側から操作をすることができるようになっている。

端末装置１００は、先述のカメラ装置１７０として、端末装置１００の前側を撮影するカメラ装置１７０Ａと、端末装置１００の後側を撮影するカメラ装置１７０Ｂとを有する。カメラ装置１７０Ａとカメラ装置１７０Ｂとは、特に区別をする必要がない限りカメラ装置１７０として総称して説明する。

端末装置１００は、補助操作部１１２をさらに有する。補助操作部１１２は、操作部１１０による操作を補うためのものであり、例えば端末装置１００に前側に配置されている。補助操作部１１２としては、例えば押し釦式のスイッチ装置を用いることができる。

図４は、無線通信装置３００の構成を示すブロック図である。無線通信装置３００は、無線通信アクセスポインとして機能し、図４に示すように、無線通信部３１０と、通信インターフェイス部３２０と、制御部３０２とを有している。無線通信部３１０は、端末装置１００と無線通信を行う。通信インターフェイス部３２０は、無線通信装置３００をネットワーク６００に通信可能に接続する。制御部３０２は、無線通信部３１０と通信インターフェイス部３２０とを制御する。

図５は、管理装置５００の構成を示すブロック図である。管理装置５００は、ネットワーク６００に接続されているデータ処理装置４００を一元的に管理するための装置であり、図５に示すように操作部５１０を有する。操作部５１０は管理装置５００を操作するために用いられ、操作部５１０としては例えばキーボート等を用いることができる。

管理装置５００は、通信インターフェイス部５２０をさらに有する。通信インターフェイス部５２０は、管理装置５００をネットワーク６００に通信可能に接続する。管理装置５００は、記憶部５３０と、モニタ等の表示手段５４０と、メモリ５５０と、これらを制御する制御部５０２とをさらに有する。

記憶部５３０としては、例えばハードディスクドライブを用いることができる。また、記憶部５３０は、そのデータベース内に、それぞれのデータ処理装置４００の位置情報、それぞれのデータ処理装置４００の形状情報、それぞれのデータ処理装置４００が通信に用いることができる通信プロトコル及びそれぞれのデータ処理装置４００の識別情報を制御部５０２が読み出すことができるように記憶している。ここで、データ処理装置４００の位置情報としては、例えばグローバル・ポジショニング・システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ）により取得できる緯度・経度位置座標や、Ｗｉ−Ｆｉの測位により得られた位置座標や、ＩＭＥＳ（Ｉｎｄｏｏｒ ＭＥｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）等により得られる位置座標などを挙げることができる。

データ処理装置４００の位置情報は、それぞれの情報処理装置の設置時に測定した結果を記憶部５３０に記憶させておく。また、データ処理装置４００に位置と測定する機能を持たせて、データ処理装置４００が自ら測定したデータ処理装置４００の位置が、例えば自動でネットワーク６００を介して記憶部５３０に記憶されるようにしてもよい。

また、データ処理装置４００の識別情報としては、ネットワーク６００上におけるアドレスを挙げることができ、さらには、ネットワーク６００におけるデータ処理装置４００のＩＤ、ＩＰアドレス等を挙げることができる。

図６は、データ処理装置４００の構成を示すブロック図である。データ処理装置４００は、端末装置１００からの依頼に基づいてデータを処理する装置である。以下の説明においては、端末装置１００からの依頼に基づいて、データから画像形成するとの処理をする装置である画像形成装置を、データ処理装置４００Ａ、４００Ｂ、４００Ｃとして用いる場合を例として説明をするものの、端末装置１００からの依頼に基づいてデータ等の情報を処理する装置であれは、画像形成装置に限らず情報処理装置として用いることができる。

例えば、端末装置１００からの依頼に基づいて、画像データを出力するとのデータを処理する装置であるプロジェクター、ディスプレイ等をデータ処理装置４００として用いることができる。また、例えば、端末装置１００からの依頼に基づいて、画像を読み取り、読み取った画像データを、例えば端末装置１００等に送信するとのデータの処理をする装置である原稿読取装置（スキャナ）をデータ処理装置４００として用いることができる。また、例えば、端末装置１００からの依頼に基づいて、例えば端末装置１００からのデータに多岐な処理を行うことができるパーソナルコンピュータをデータ処理装置４００として用いることができる。

また、以下、データ処理装置４００Ａ、４００Ｂ、４００Ｃとして、全てが同じ処理を行う同じ種類の装置である画像形成装置である場合を例として説明をするものの、ネットワーク６００に接続される複数のデータ処理装置４００は、情報に対して互いに異なる処理をする互いに異なる種類の装置であってもよい。例えば、データ処理装置４００Ａが画像形成装置であり、データ処理装置４００Ｂがプロジェクターであり、データ処理装置４００Ｃがパーソナルコンピュータであってもよい。

図６に示すように、データ処理装置４００は、通信インターフェイス部４１０を有する、通信インターフェイス部４１０は、ネットワーク６００に対してデータ処理装置４００を通信可能に接続する。データ処理装置４００は、記憶部４２０をさらに有する。記憶部４２０としては、例えばハードディスドライブを用いることができる。

データ処理装置４００は、給紙部４４０と、画像形成部４３０と、排紙部４５０とをさらに有する。給紙部４４０は画像形成部４３０に用紙を供給し、画像形成部４３０は供給された用紙に画像を形成し、排紙部４５０は、画像が形成された用紙をデータ処理装置４００の外部に排出する。

データ処理装置４００は、制御部４０２をさらに有する。制御部４０２は、通信インターフェイス部４１０と、記憶部４２０と、画像形成部４３０と、給紙部４４０と、排紙部４５０とを制御する。

図７（Ａ）は、端末装置１００でデータ処理装置４００の画像である処理装置画像４００Ｉを取得する操作の第１の例を模式的に示す図であり、端末装置１００でデータ処理装置４００を撮影する状態を模式的に示した図である。図７（Ａ）に示すように、端末装置１００を撮影するには、例えば端末装置１００の操作部１１０及び表示部１６０とは逆側に配置されているカメラ装置１７０Ｂをデータ処理装置４００に向けて、例えば補助操作部１１２を押す等の操作をする。尚、図７（Ａ）において、データ処理装置４００が設置されている後側の壁面には、時計９２２が掛けられている。

図７（Ｂ）は、図７（Ａ）に示すようにして、データ処理装置４００を撮影した写真が示されている。写真は、表示部１６０に表示されるものであり、写真には、データ処理装置４００の画像である処理装置画像４００Ｉと、時計の画像である時計画像９２２Ｉとが示されている。以上で説明をしたように、端末装置１００においては、カメラ装置１７０Ｂが撮影装置として用いられているとともに、処理装置画像４００Ｉを取得するための画像取得手段として用いられている。

以下、図７（Ｂ）に示すように、表示部１６０における処理装置画像４００Ｉが示されている画面を処理装置表示画面１６０Ａとよぶ。尚、処理装置表示画面１６０Ａに表示される処理装置画像４００Ｉは、１つのデータ処理装置４００を特定することができるものであればよく、必ずしもカメラ装置１７０で撮影されたものでなくてもよい。より具体的には、処理装置画像４００Ｉは、例えば、記憶部５３０（図５を参照）に収納されたデータベースに保存されている事前に撮影されたデータ処理装置４００の写真でもよい。また、処理装置画像４００Ｉは、写真ではなく、１つのデータ処理装置４００を特定することができるアイコン等であってもよい。

図８（Ａ）には、表示部１６０に表示される画面であり、データ処理装置４００にデータの処理を依頼するための画面である依頼画面１６０Ｂの第１の例が示されている。図８（Ａ）に示すように、依頼画面１６０Ｂは、処理装置画像４００Ｉと、データ処理装置４００に処理を依頼するデータを示すデータ画像９６０Ｄとを表示している。図８（Ａ）に示す依頼画面１６０Ｂにおいては、データ画像９６０Ｄは、表示部１６０中における予め定められた位置である表示部１６０中における左上部に表示されている。

ここで、データ画像９６０Ｄが示すデータの例としては、例えばテキストファイル、画像ファイル、例えば文書作成ソフト等の特定のアプリケーションで作成されたデータファイル等を挙げることができる。

図８（Ｂ）には、依頼画面１６０Ｂの第２の例が示さている。図８（Ａ）に示す依頼画面１６０Ｂの第１の例では、データ画像９６０Ｄは、表示部１６０中における予め定められた位置に表示されていた。これに対して、この第２の例では、データ画像９６０Ｄは、少なくとも１つが処理装置画像４００Ｉに重なる位置に配置されるように表示されている。また、この第２の例では、複数のデータ画像９６０Ｄが、表示部１６０の表面に対して交わる方向の奥行きがあるように配置され、表示されている。

図８（Ａ）及び図８（Ｂ）にそれぞれに示す例では、依頼画面１６０Ｂは、１つの処理装置画像４００Ｉと複数のデータ画像９６０Ｄとを表示しているものの、依頼画面１６０Ｂは、処理装置画像４００Ｉの少なくとも１つとデータ画像９６０Ｄの少なくとも１つとを表示するものであればよい。

図９（Ａ）には、依頼画面１６０Ｂにおいてデータ処理装置４００にデータの処理を依頼するための操作の第１の例が説明されている。図９（Ａ）に示すように、この第１の例においてデータの処理をデータ処理装置４００に依頼するには、タッチパネルである操作部１１０上において操作者が指を使って処理を依頼したいデータを示すデータ画像９６０Ｄをドラックし、ドラックしたデータ画像９６０Ｄを処理を依頼したいデータ処理装置４００を示す処理装置画像４００Ｉの上へとドラックする。

図９（ｂ）には、依頼画面１６０Ｂにおいてデータ処理装置４００にデータの処理を依頼するための操作の第２の例が説明されている。この第２の例では、操作者がジェスチャをすることでデータの処理をデータ処理装置４００に依頼する。より具体的には、操作者は、データ画像９６０Ｄを手前に引きせるように空間上においてジェスチャすることでデータ画像９６０Ｄを選択し、データ画像９６０Ｄが選択された状態で空間上において指を回転させるようにジェスチャすることで選択されてデータ画像９６０Ｄが示すデータの処理をデータ処理装置４００に依頼する。

図９（ｂ）で説明をした第２の例により操作をするためには、例えば指輪型や腕時計型のウェアラブル端末８１０を操作者が装着することを要する。また、図２に示した構成に加えて、ウェアラブル端末８１０の位置を検知し、検知結果を制御部１０２へと入力するための位置検知部（不図示）を端末装置１００が有することを要する。このような位置検知部を端末装置１００が有するようにすることに替えて、ウェアラブル端末８１０の位置を検知するための位置検知装置８２０を端末装置１００に対して装着するようにしてもよい。

図１０には、依頼画面１６０Ｂにおいてデータ処理装置４００にデータの処理を依頼するための操作の第３の例が説明されている。この第３の例では、操作者は、先述の第２の例と同様に、操作者によるジェスチャで、データの処理をデータ処理装置４００に依頼する。より具体的には、操作者は、図１０（Ａ）に示すように処理を依頼したいデータを示すデータ画像９６０Ｄを空間上で指し示すようにジェスチャし、さらにはデータ画像９６０Ｄを掴むようにジェスチャすることでデータ画像９６０Ｄを選択する。

そして、データ画像９６０Ｄを掴んだ状態で手を空間上で移動させることにより、図１０（Ｂ）に示すように、掴んだ状態にあるデータ画像９６０Ｄを処理装置画像４００Ｉに重ねるように移動させる。そして、データ画像９６０Ｄが処理装置画像４００Ｉに重ねられた状態で、指を開くようにジェスチャすることでデータ画像９６０Ｄが示すデータの処理をデータ処理装置４００に依頼する。

図１０で説明をした第３の例により操作をするためには、カメラ装置１７０Ａ又はカメラ装置１７０Ｂで操作者の手を撮影し、撮影したデータを制御部１０２へと入力し、制御部１０２で操作者の手の位置を算出し、算出した手の位置に基づいて制御部１０２で依頼画面１６０Ｂに手の画像を表示させる。

以上で説明をした第３の例においては、操作者の手を撮影するためにカメラ装置１７０Ｂを用いている。このため、先述の第２の例のように操作者はウェアラブル端末８１０を装着することを要せず、位置検知装置８２０を端末装置１００に装着することを要しない。

図１１には、依頼画面１６０Ｂの第３の例が示されている。先述の依頼画面１６０Ｂの第１の例と第２の例とでは、依頼画面１６０Ｂに１つの処理装置画像４００Ｉが示されていた（図８を参照）。これに対して、この第３の例では、依頼画面１６０Ｂに２つの処理装置画像４００Ｉが表示されている。そして、この依頼画面１６０Ｂでは、表示される複数の処理装置画像４００Ｉのうち示すデータ処理装置４００が端末装置１００から近い位置にあるもの程、依頼画面１６０Ｂ上で大きく表示されるようになっている。

図１１に示す依頼画面１６０Ｂの第２の例でデータの処理をデータ処理装置４００に依頼するためには、処理を依頼したいデータを示すデータ画像９６０Ｄを依頼画面１６０Ｂ上において処理を依頼したいデータ処理装置４００を示す処理装置画像４００Ｉに移動させるようにすればよい。データ画像９６０Ｄを移動させるには、タッチパネルが用いられている操作部１１０の上で、操作者がデータ画像９６０Ｄをドラックし、ドロップするようにしてもよいし、操作者がウェアラブル端末８１０を装着した状態で空間上でジェスチャをするようにしてもよいし、例えばカメラ装置１７０Ｂで手の動きを検知することができるようにして、操作者が空間上でジェスチャをするようにしてもよい。

図１２（Ａ）〜図１２（Ｄ）には、表示部１６０に表示される画面であり、データ処理装置４００に処理を依頼するデータを指定する画面であるデータ指定画面１６０Ｃがそれぞれに示されている。これらのデータ指定画面１６０Ｃは、データ画像９６０Ｄを少なくとも１つ表示し、表示するデータ画像９６０Ｄが複数である場合は、これらのデータ画像９６０Ｄを、データ指定画面１６０Ｃに対して交わる方向に奥行きがあるように表示している。

すなわち、図１２（Ａ）に示す例においては、データ指定画面１６０Ｃは、データ指定画面１６０Ｃに対して傾斜した１つの平面上に配置された状態となるように複数のデータ画像９６０Ｄを表示している。また、図１２（Ｂ）に示す例においては、データ指定画面１６０Ｃは、１つの球面の上に配置される状態となるように複数のデータ画像９６０Ｄを表示している。また、図１２（Ｃ）に示す例においては、データ指定画面１６０Ｃは、１本の湾曲した帯の上に配置された状態となるように複数のデータ画像９６０Ｄを表示している。また、図１２（Ｄ）に示す例においては、データ指定画面１６０Ｃに対して傾斜するように配置された互いに平行な複数の平面上に配置された状態となるように複数のデータ画像９６０Ｄを表示している。

図１２（Ｅ）と図１２（Ｆ）とには、図１２（Ｂ）に示す状態から、それぞれに操作された後におけるデータ指定画面１６０Ｃが示されている。より具体的には、図１２（Ｅ）は、図１２（Ｂ）に示す場合よりも配置された複数のデータ画像９６０Ｄが形成する球面に接近した位置に視点を移動させて複数のデータ画像９６０Ｄを見たように複数のデータ画像９６０Ｄを表示している。また、図１２（Ｆ）には、複数のデータ画像９６０Ｄが形成する球面の内側に視点を移動させて複数のデータ画像９６０Ｄを見たように複数のデータ画像９６０Ｄを表示している。

上述のように、奥行きを有するように表示された複数のデータ画像９６０Ｄを見る視点を移動させるように操作することによって、所望のデータ画像９６０Ｄを探しやすくすることができ、所望のデータ画像９６０Ｄを指定しやすくすることができる。

図１２（Ａ）〜図１２（Ｆ）に示すデータ指定画面１６０Ｃは、例えば、タッチパネルを操作者が操作するようにしてもよいし、ウェアラブル端末８１０（図９を参照）を装着した状態における操作者によるジェスチャで操作するようにしてよいし、カメラ装置１７０Ｂで操作者の指の位置を検知しつつ、操作者がジェスチャすることで操作するようにしてもよい。より具体的には、例えば、空間上で特定のデータ画像９６０Ｄを指し示すようにジェスチャすることで、指し示されたデータ画像９６０Ｄが選択されるようにし、データ画像９６０Ｄが選択された状態で指先を回転させるようにジェスチャすることで選択されたデータ画像９６０Ｄが示すデータを処理の対象として指定するようにすることができる。

図１３（Ａ）には、表示部１６０に表示される画面であり、データ画像９６０Ｄを表示する画面であるデータ表示画面１６０Ｆの例が示されている。図１３（Ａ）の例では、データ表示画面１６０Ｆに、例えば図１２（Ａ）〜図１２（Ｄ）に示すデータ指定画面１６０Ｃで選択されたデータ画像９６０Ｄが表示されている。また、この例においては、データ表示画面１６０Ｆに、データの処理を依頼するデータ処理装置４００を選択する操作を促す表示１６０ｋとして、例えば、「カメラで装置を選択してください」との表示がなされている。

図１３（Ｂ）は、表示１６０ｋに促され、例えばカメラ装置１７０でデータ処理装置４００を撮影し、データ処理装置４００を選択した後に表示される画面の例であり、端末装置１００の表示部に表示される依頼画面１６０Ｂの第４の例を示す図である。先述の依頼画面１６０Ｂの第１の例と第２の例とでは、依頼画面１６０Ｂは、複数のデータ画像９６０Ｄを示し（図８を参照）、依頼画面１６０Ｂにおいて複数のデータ画像９６０Ｄの中から処理を依頼するデータを示す１つのデータ画像９６０Ｄが指定された。これに対して、この第４の例においては、依頼画面１６０Bは、データ指定画面１６０Cで選択された１つのデータ画像９６０Ｄを表示する。

この第４の例においてデータの処理をデータ処理装置４００に依頼するには、図１３（Ｃ）に示すように、例えば、タッチパネルである操作部１１０上において操作者が指を使って処理を依頼したいデータを示すデータ画像９６０Ｄをドラックし、ドラックしたデータ画像９６０Ｄを処理を依頼したいデータ処理装置４００を示す処理装置画像４００Ｉの上へとドラックするとの操作がなされる。

図１４は、端末装置１００でデータ処理装置４００の画像である処理装置画像４００Ｉを取得する操作の第２の例を模式的に示す図である。先述の処理装置画像４００Ｉを取得する操作の第１の例では、処理装置画像４００Ｉを取得するために、例えばカメラ装置１７０Ｂを用いてデータ処理装置４００の撮影がなされた（図７（Ａ）を参照）。これに対して、この第２の例では、処理装置画像４００Ｉを取得するために、例えばカメラ装置１７０Ｂを特定の方向に向けて、例えば操作部１１０を用いてカメラ装置１７０Ｂを操作する。これにより、カメラ装置１７０Ｂが操作された時点において、カメラ装置１７０Ｂで撮影可能な方向に配置されているデータ処理装置４００の画像が取得される。

図１４に示す例においては、データ処理装置４００は、例えばキャビネット等の障害物９２４に対してカメラ装置１７０Ｂとは逆側にあり、カメラ装置１７０Ｂでデータ処理装置４００を撮影することができない。このため、先述の第１の例を用いて、カメラ装置１７０Ｂでデータ処理装置４００を撮影することにより処理装置画像４００Ｉを所得することはできない。しかしながら、この第２の操作においては、たとえデータ処理装置４００がカメラ装置１７０Ｂから撮影することができない位置に配置されていても、カメラ装置１７０Ｂで撮影可能な方向に位置するデータ処理装置４００を示す処理装置画像４００Ｉを所得することができる。

図１５（Ａ）には、表示部１６０に表示される処理装置表示画面１６０Ａであって、図１４を参照して説明をした操作により取得された処理装置画像４００Ｉが表示される画面である処理装置表示画面１６０Ａの第２の例が示されている。先述の処理装置表示画面１６０Ａの第１の例では、カメラ装置１７０Ｂで撮影されたデータ処理装置４００の写真が処理装置画像４００Ｉとして用いられた（図７（Ａ）を参照）。これに対して、この第２の例においては、処理装置画像４００Ｉとして、予め撮影され、例えば記憶部５３０（図５を参照）に保存されているデータ処理装置４００の写真や、データ処理装置４００を示すアイコンが処理装置画像４００Ｉとして用いられる。

また、この第２の例においては、カメラ装置１７０Ｂの位置及びカメラ装置１７０Ｂの向きと、処理装置画像４００Ｉが示すデータ処理装置４００との位置関係を分かりやすくするように、カメラ装置１７０Ｂが操作された時点でカメラ装置１７０Ｂが撮影した写真の上に重ねるようにして処理装置画像４００Ｉが表示される。例えば、図１５（Ａ）に示す例においては、障害物９２４の後側に隠れた位置にデータ処理装置４００が位置することを示すように、障害物９２４の像である障害物画像９２４Ｉに重ねるようにして処理装置画像４００Ｉを表示する。

図１５（Ｂ）には、表示部１６０に表示される処理装置表示画面１６０Ａの第３の例であって、図１５（Ａ）に示した処理装置表示画面１６０Ａの第２の例が表示された後に表示される画面が示されている。処理装置表示画面１６０Ａの第２の例では、処理装置画像４００Iは、障害物９２４等とデータ処理装置４００との位置関係が分かりやすいように処理装置表示画面１６０Ａに表示された。これに対して、この処理装置表示画面１６０Ａの第３の例では、処理装置画像４００Ｉは、例えば処理装置表示画面１６０Ａの右下等の処理装置表示画面１６０Ａの予め定められた位置に表示される。

図１５（Ａ）に示す処理装置表示画面１６０Ａから図１５（Ｂ）に示す処理装置表示画面１６０Ａへは、例えば予め定められた所定時間経過した後に遷移するようにしてもよいし、例えば処理装置表示画面１６０Ａ上の処理装置画像４００Ｉをタップする等の操作者の操作により遷移するようにしてもよい。

図１５（Ｃ）には、表示部１６０に表示される依頼画面１６０Ｂの第５の例が示されている。この依頼画面の第５の例は、図１５（Ｂ）に示す処理装置表示画面１６０Ａの第３の例に表示に加えて、例えば複数のデータ画像９６０Ｄを表示する。この画面でデータ処理装置４００にデータの処理を依頼するには、操作者が処理を依頼したいデータを示すデータ画像９６０Ｄをドラックし、処理を依頼したいデータ処理装置４００を示す処理装置画像４００Ｉの上でドラックする等の操作をすればよい。

図１６（Ａ）には、表示部１６０に表示される画面であって、処理を依頼するデータ処理装置４００を指定する画面である処理装置指定画面１６０Ｄが示されている。処理装置指定画面１６０Ｄには、端末装置１００が位置する周囲の見取図が表示され、さらには見取り図上における端末装置１００の位置が例えばアイコン等のマーク１００Ｍで表示され、見取図に表示された範囲内に設置されているデータ処理装置４００とそのデータ処理装置４００の見取り図上における位置とが例えばアイコン等のマーク４００Ｍで表示される。

処理装置指定画面１６０Ｄでデータの処理を依頼するデータ処理装置４００を指定するには、例えば、端末装置１００の最も近くに位置するデータ処理装置４００等の処理を依頼したいデータ処理装置４００を示す見取り図上のマークを、例えばタップする等の操作で操作者が指定すればよい。

図１６（Ｂ）には、表示部１６０に表示される依頼画面１６０Ｂの第６の例が示されている。この依頼画面の第６の例は、図１６（Ａ）に示した処理装置指定画面１６０Ｄで指定されたデータ処理装置４００を示す処理装置画像４００Ｉが例えば右下部分に表示し、さらには、例えば複数のデータ画像９６０Ｄを表示している。この依頼画面１６０Ｂの第６の例でデータ処理装置４００にデータの処理を依頼するには、操作者が処理を依頼したいデータを示すデータ画像９６０Ｄをドラックし、処理を依頼したいデータ処理装置４００を示す処理装置画像４００Ｉの上でドラックする等の操作をすればよい。

図１７には、表示部１６０に表示される画面であって、アプリケーションを起動させた後に最初に表示される画面であるモード選択画面１６０Ｅが示されている。モード選択画面１６０Ｅは、処理を依頼するデータと処理を依頼するデータ処理装置４００とをどのような順序で、どのような方法で指定するかのモードを選択するために用いられる。

モード選択画面１６０Ｅには、処理を依頼するデータを選択するよりも先に処理を依頼するデータ処理装置４００を選択するモードであって、データ処理装置４００を選択するためにカメラ装置１７０を用いるモードであるカメラ選択モードを選択するためのモード選択ボタン１６０ｈが表示されている。また、モード選択画面１６０Ｅには、処理を依頼するデータを選択するよりも先に処理を依頼するデータ処理装置４００を選択するモードであって、処理装置の選択に見取図（図１６（Ａ）を参照）するモードである見取図モードを選択するためのモード選択ボタン１６０ｉが表示されている。また、モード選択画面１６０Ｅには、処理を依頼するデータ処理装置４００を選択するよりも先に処理を依頼するデータを選択するモードであるデータ選択モードを選択するためのモード選択ボタン１６０ｉが表示されている。

図１８には、データ処理システム１０の動作が説明されている。例えば、補助操作部１１２を操作者が操作することによりアプリケーションが起動し、一連の動作がスタートすると、ステップＳ２０において、制御部１０２は表示部１６０を制御して、表示部１６０にモード選択画面１６０Ｅを表示させる。

ステップＳ２２において、操作者によってモード選択ボタン１６０ｈが操作され、カメラ選択モードが選択された場合は、ステップＳ１００のカメラ選択モードに進む。また、ステップＳ２４において、操作者によりモード選択ボタン１６０ｉが操作され、見取図選択モードが選択された場合は、ステップＳ２００の見取図選択モードに進む。また、ステップＳ２６において、操作者によってモード選択ボタン１６０ｊが操作され、データ選択モードが選択された場合は、ステップＳ３００のデータ選択モードに進む。

一方、例えば予め定められた所定時間内に、カメラ選択モード、見取図モード及びデータ選択モードのいずれもが選択されなかった場合は、制御部１０２はアプリケーションを終了させる。

図１９には、カメラ選択モードにおけるデータ処理システム１０の動作が説明されている。ステップＳ１０４において、カメラ装置１７０が操作されたことを制御部１０２が、確認すると次のステップＳ１０４に進む。一方、例えば予め定められ所定時間内に、カメラ装置１７０の操作を制御部が確認できなかった場合、制御部１０２はアプリケーションを終了させる。

次のステップであるステップＳ１０４では、制御部１０２は、カメラ装置１７０の操作がなされた時点における端末装置１００の位置情報を取得する。より具体的には、制御部１０２は、ＧＰ受信部１２０にＧＰＳ衛星からの電波を検出させ、端末装置１００の位置情報を取得させる。この際、加速度センサ１４０に、カメラ装置１７０が操作された時点における端末装置１００の姿勢を検出させるとともに、電子コンパス１５０に、カメラ装置１７０が操作された時点における端末装置１００の向きを検出させることが望ましい。

次のステップであるステップＳ１０６において、制御部１０２は、管理装置５００にデータ処理装置４００の抽出を要求する。より具体的には、制御部１０２は、無線通信部１３０を制御して、無線通信部１３０に無線通信装置３００と通信させ、さらには、ネットワーク６００を介して端末装置１００の位置情報と、望ましくは端末装置１００の姿勢と向きとの検出結果を管理装置５００に送信し、これらの値に基づいて記憶部５３０に記憶されているデータベースの中から該当するデータ処理装置４００を抽出することを管理装置５００に要求する。

次のステップＳ１０８では、制御部１０２は、ステップＳ１０６で抽出させたデータ処理装置４００のネットワーク６００上のアドレスを取得する。より具体的には、制御部１０２は、ステップＳ１０６で抽出させたデータ処理装置４００のネットワーク上のアドレスを記憶部５３０に記憶されているデータベースから抽出することを管理装置５００に要求し、さらには抽出したネットワーク上のアドレスを端末装置１００へと送信することを管理装置５００に要求する。

次のステップＳ１１０では、制御部１０２は、表示部１６０に処理装置表示画面１６０Ａを表示させる。この際、ステップＳ１０６で抽出させたデータ処理装置４００が、ステップＳ１０２においてカメラ装置１７０で撮影された写真に写っているものであれば、カメラ装置１７０で撮影された写真を処理装置画像４００Ｉとして用い、この写真中のデータ処理装置４００の像を、処理装置画像４００Ｉとして用いる（図７（Ｂ）に示す処理装置表示画面１６０Ａの第１の例を参照）。

一方、ステップＳ１０６で抽出させたデータ処理装置４００が、例えば障害物に隠れた位置に配置されている等の理由で、ステップＳ１０２において撮影された写真にデータ処理装置４００写っていない場合、制御部１０２は、管理装置５００の記憶部５３０に保存されている予め撮影されたデータ処理装置４００の画像や、データ処理装置４００を示すアイコン等を処理装置画像４００Ｉとして用いる（図１５（Ａ）に示す処理装置表示画面１６０Ａの第２の例を参照）。

次のステップであるステップＳ１１２では、制御部１０２は、表示部１６０に、依頼画面１６０Ｂを表示させる。すなわちステップＳ１１０で表示させた処理装置表示画面１６０Ａに、少なくとも１つのデータ画像９６０Ｄを重畳するように表示させた画像を表示部１６０に表示させる（例えば、図８（Ａ）に示す依頼画面１６０Ｂの第１の例、図１５（Ｃ）に示す依頼画面１６０Ｂの第４の例を参照）。

次のステップであるステップＳ１１４で、操作者により処理するデータを示すデータ画像９６０Ｄの指定と処理を依頼するデータ処理装置を示す処理装置画像４００Ｉの指定とがなされた場合、ステップＳ１１６で、制御部１０２は、選択されたデータ画像９６０Ｄが示すデータを、無線通信装置３００とネットワーク６００とを介してデータ処理装置４００に転送させる。

ステップＳ１１４で、例えば予め定められた所定時間内にデータ画像９６０Ｄ及び処理装置画像４００Ｉの選択がなされなかった場合、制御部１０２はアプリケーションを終了させる。

図２０には、見取図選択モードにおけるデータ処理システム１０の動作が説明されている。見取図選択モードが選択された場合、ステップＳ２０２で、制御部１０２は、見取図選択モードが選択された時点における端末装置１００の位置情報を取得する。より具体的には、制御部１０２は、ＧＰ受信部１２０にＧＰＳ衛星からの電波を検出させ、端末装置１００の位置情報を取得させる。

次のステップであるステップＳ２０４では、制御部１０２は、ステップＳ２０２で取得した端末装置１００の位置情報に基づいて、表示部１６０に端末装置１００が位置する周囲の見取図と、見取図中における端末装置１００の位置と、見取図中におけるデータ処理装置４００の位置とを示した処理装置指定画面１６０Ｄを表示させる（図１６（Ａ）に示す処理装置指定画面１６０Ｄを参照）。より具体的には、制御部１０２は、ステップＳ２０４で取得された端末装置１００の位置情報を管理装置５００に送信し、管理装置５００に処理装置指定画面１６０Ｄの生成と、生成した処理装置指定画面１６０Ｄの端末装置１００への転送とを要求し、管理装置５００から送信された処理装置指定画面１６０Ｄを表示部１６０に表示させる。

この際、管理装置５００の制御部５０２は、端末装置１００から送付されてきた端末装置１００の位置データと、記憶部５３０に記憶されているデータ処理装置４００の位置データと、記憶部５３０に記憶されている見取図とから処理装置指定画面１６０Ｄを生成する。

次のステップであるステップＳ２０６において、操作者により処理を依頼するデータ処理装置４００を示すマーク４００Ｍの指定がなされた場合、次のステップであるステップＳ２０８において、制御部１０２は、ステップＳ２０４でマーク４００Ｍが選択されたデータ処理装置４００のネットワーク６００上のアドレスを取得する。より具体的には、制御部１０２は、管理装置５００にマーク４００Ｍが選択されたデータ処理装置４００のネットワーク６００上のアドレスを送信することを要求する。

次のステップであるステップＳ２１２で、制御部１０２は、表示部１６０に、依頼画面１６０Ｂを表示させる（図１６（Ｂ）に示す依頼画面１６０Ｂの第５の例を参照）。より具体的には、制御部１０２は、ステップＳ２１０でマーク４００Ｍが選択されたデータ処理装置４００の処理装置画像４００Ｉの転送を管理装置５００に要求し、転送されてきた処理装置画像４００Ｉを表示部１６０に表示させ、さらには、データ画像９６０Ｄを表示部１６０に表示させる。

次のステップであるステップＳ２１４で、操作者により処理するデータを示すデータ画像９６０Ｄの指定がなされた場合、ステップＳ２１６で、制御部１０２は、無線通信部１３０を制御し、無線通信装置３００とネットワーク６００とを介して選択されてデータ画像９６０Ｄが示すデータを、ステップＳ２０４で選択されたマーク４００Ｍが示すデータ処理装置４００へと転送させる。

ステップＳ２１４で、例えば予め定められた所定時間内に処理装置画像４００Ｉの選択がなされなかった場合、制御部１０２はアプリケーションを終了させる。

図２１には、データ選択モードにおけるデータ処理システム１０の動作が説明されている。データ選択モードが選択された場合、ステップＳ３０２で、制御部１０２は、表示部にデータ指定画面１６０Ｃを表示させる（図１２（Ａ）〜（Ｄ）を参照）。

次のステップＳ３０４で、操作者によりデータ画像９６０Ｄの指定がなされると、次のステップであるステップＳ３０６において、制御部１０２は、表示部１６０にデータ表示画面１６０Ｆを表示させる、データ表示画面１６０Ｆは、ステップＳ３０４において選択されたデータ画像９６０Ｄを、表示部１６０の例えば左上に表示する画面である。

次のステップであるステップＳ３０８でカメラ装置１７０の操作がなされた場合は、ステップＳ３１０で、制御部１０２はＧＰＳ受信部１２０に受信させたＧＰＳ衛星９９０からの電波により端末装置１００の位置情報と所得する。一方、ステップＳ３０８で予め定められた所定時間の間にカメラ装置１７０の操作がなされなかった場合、制御部１０２はアプリケーションを終了させる。

次のステップであるステップＳ３１２では、制御部１０２は、管理装置５００にデータ処理装置４００の抽出を要求する。より具体的には、制御部１０２は、無線通信部１３０を制御して無線通信部１３０に無線通信装置３００と通信させ、さらには、制御部１０２は、ネットワーク６００を介して端末装置１００の位置情報と、望ましくは端末装置１００の姿勢と向きとの検出結果を管理装置５００に送信し、これらの値に基づいて記憶部５３０に記憶されているデータベースの中から該当するデータ処理装置４００を抽出することを管理装置５００に要求する。

次のステップＳ３１４では、制御部１０２は、ステップＳ３１２で抽出させたデータ処理装置４００のネットワーク６００上のアドレスを取得する。より具体的には、制御部１０２は、ステップＳ１０６で抽出させたデータ処理装置４００のネットワーク上のアドレスを記憶部５３０に記憶されているデータベースから抽出することを管理装置５００に要求し、さらには抽出したネットワーク上のアドレスを端末装置１００へと送信することを管理装置５００に要求する。

次のステップであるステップＳ３１６では、制御部１０２は、表示部１６０に、依頼画面１６０Ｂを表示させる。すなわちステップＳ３０６で表示させたデータ表示画面１６０Ｆに、ステップＳ３１４でネットワーク上のアドレスが取得されたデータ処理装置４００を示す処理装置画像４００Ｉを重畳するよう表示させた画像を表示部１６０に表示させる（図１３（Ｂ）に示す依頼画面１６０Ｂの第３の例を参照）。

次のステップであるステップＳ３１４で、操作者により処理するデータを示すデータ画像９６０Ｄの指定がなされた場合、ステップＳ３２０で、制御部１０２は、無線通信部１３０を制御し、無線通信装置３００とネットワーク６００とを介して選択されたデータ画像９６０Ｄが示すデータをデータ処理装置４００へと無線通信部１３０に転送させる。

ステップＳ３１８で、例えば予め定められた所定時間内に処理装置画像４００Ｉの選択がなされなかった場合、すなわちデータ処理の指示がなされたかった場合には、制御部１０２はアプリケーションを終了させる。

（第２の実施形態）
次に本発明の第２の実施形態を説明する。図２２には、本発明の第２の実施形態で用いられる端末装置１００が示されている。先述の第１の実施形態においては、端末装置１００として、スマートフォンが用いられていた（図３を参照）。これに対して、この第２の実施形態では、端末装置１００として眼鏡型のウェアラブルコンピュータが用いられている。このウェアラブルコンピュータは、例えば３Ｄホログラムとして像を形成し、例えば３Ｄホログラムとして形成した像を、操作者が見ている実像に重ね合わせるようにして表示するものである。

図２１に示すように、端末装置１００は、筐体部１０４と、フレーム部１０６と、レンズ部１０８とを有する。レンズ部１０８は、通常の眼鏡と同様にフレーム部１０６に装着されている。また、筐体部１０４は、レンズ部１０８を介しての操作者の視界を遮らないようにフレーム部１０６に装着されている。

筐体部１０４には、カメラ装置１７０が装着されている。また、筐体部１０４内に、制御部１０２、ＧＰＳ受信部１２０、無線通信部１３０、加速度センサ１４０、電子コンパス１５０及びメモリ１８０が内蔵されている。ＧＰＳ受信部１２０、無線通信部１３０、加速度センサ１４０、電子コンパス１５０及びメモリ１８０の構成は、第１の実施形態で用いられたものと同等であるので説明を省略する。

端末装置１００は、第１の実施形態に係る端末装置１００が有していた例えばタッチパネル等の操作部１１０を有しない。端末装置１００では、例えばカメラ装置１７０で操作者の手等の動き及び位置情報を検知し、検知された手等の動き及び位置情報を制御部１０２で処理することにより操作がなされる。

第１の実施形態に係る端末装置１００では、表示部１６０として液晶表示パネルが用いられていた。これに対して、第２の実施形態においては、表示部１６０としてハーフミラー部材１６２を用いている。表示部１６０は、ハーフミラー部材１６２と併せて、発光素子１６４と、光学系１６６とを有する。発光素子１６４と光学系１６６とは、発光素子１６４で発せられた光を光学系１６６でハーフミラー部材１６２に結像するように筐体部１０４に装着されている。

ハーフミラー部材１６２は、例えば樹脂やガラス等の透明な素材から形成されている。発光素子１６４としては、例えば液晶表示素子やエレクトロルミネンス表示素子等を用いることができる。光学系１６６としては、例えばレンズ、プリズム等の光学素子を単独で、又は組み合わせて用いることができる。

表示部１６０は、ハーフミラー部材１６２に画像が表示されない場合は、ハーフミラー部材１６２が素通しとなり、光を透過する状態となる。このため、ハーフミラー部材１６２に画像が表示されていない状態において、操作者の視界を妨げることがない。

図２３には、データ処理装置４００にデータの処理を依頼する依頼画面１６０Ｂが示されている。図２３に示すように、依頼画面１６０Ｂにおいては、データ処理装置４００の実像と同時に操作者が視認することができるように、処理を依頼するデータを示すデータ画像９６０Ｄが表示されている。図１８において、データ処理装置４００及び時計９２２は、ハーフミラー部材１６２及びレンズ部１０８を通して操作者が見ている実像である。一方、データ画像９６０Ｄは、発光素子１６４が発した光を光学系１６６が結像することにより形成され、表示されている像である。

依頼画面１６０Ｂにおいて操作者がデータ処理装置４００にデータの処理を依頼するには、ジェスチャにより処理を依頼したいデータを示すデータ画像９６０Ｄをデータ処理装置４００の実像の上に移動させればよい。操作者のジェスチャは、操作者の例えば手等の動きと位置情報とをカメラ装置１７０で検知し、検知された手等の動き及び位置情報を制御部１０２で処理することによりなされる。カメラ装置１７０で操作者の例えば手等の動きをと位置情報とを検知することに替えて、操作者がウェアラブル端末８１０（図９を参照）し、ウェアラブル端末を検知することにより、操作者の手等の動きと位置とを検知するようにしてもよい。

この第２の実施形態で用いられる端末装置１００においては、操作者が移動中にはデータ画像９６０Ｄを表示しないことが望ましい。これにより、操作者が移動中においてもデータ画像９６０Ｄを表示することにより生じる虞がある操作者の３Ｄ酔を生じにくくすることができる。

また、この第２の実施形態で用いられる端末装置１００においては、データ画像９６０Ｄを２色以内で表示することが望ましい。これにより、データ画像９６０Ｄを３色以上で表示する場合と比較して、操作者が例えばデータ処理装置４００や時計９２２の実像と、データ画像９６０Ｄとの区別をしやすくすることができる。

また、この第２の実施形態で用いられる端末装置１００においては、データ画像９６０Ｄを透過可能に表示することが望ましい。これにより、不透過のデータ画像９６０Ｄを表示する場合に生じるデータ画像９６０Ｄに遮られて、例えばデータ処理装置４００や時計９２２に実像が見難くなるとの弊害を抑制することができる。

第２の実施形態に係るデータ処理システム１０の以上で説明をした構成、動画以外の構成及び動作は、先述の第１の実施形態に係るデータ処理システム１０と同等である。このため、第１の実施形態と同等である構成、動作の説明を省略する。

（第３の実施形態）
次に本発明の第３の実施形態を説明する。図２４には、本発明の第３の実施形態に係るデータ処理システム１０が示されている。先述の第１の実施形態においては、データ処理システム１０は、端末装置１００と、無線通信装置３００と、例えば３個のデータ処理装置４００Ａ、４００Ｂ、４００Ｃと、管理装置５００とを有し、これらがネットワーク６００に接続されていた。これらの構成に加えて、この第３の実施形態に係るデータ処理システム１０は、データ保存装置８４０と、ジェスチャ配信装置８６０とを有し、データ保存装置８４０とジェスチャ配信装置８６０とがネットワーク６００に接続されている。

また、第１の実施形態においては、１台の端末装置１００がネットワーク６００に接続されている場合を例として説明をしたものの、この第３の実施形態においては、ネットワーク６００に、３台の端末装置１００Ａ、１００Ｂ、１００Ｃが接続されている場合を例として説明をする。ここで、端末装置１００Ａ、１００Ｂ、１００Ｃは、例えば用いられているプラットフォーム（オペレーターシステム）が異なるものとする。また、この第３の実施形態においては、ウェアラブル端末８１０（図９を参照）を装着している一人の操作者がジェスチャにより端末装置１００Ａを操作し、端末装置１００Ｂ、１００Ｃは、それぞれに他の操作者が操作する場合を例として説明する。

データ保存装置８４０は、所謂ドキュメントサーバであり、データ処理装置４００に処理を依頼するデータを保存している。

ジェスチャ配信装置８６０は、例えば端末装置１００Ａ等の１つの端末装置を操作する操作者のジェスチャを、例えば端末装置１００Ｂ、１００Ｃ等の他の端末装置に配信する。より具体的には、ジェスチャ配信装置は、操作者が装着しているウェアラブル端末８１０の動きと位置情報と検知する検知装置８６２を有し、検知装置８６２で検知したウェアラブル端末８１０の動きと位置とをネットワーク６００を介して他の端末装置１００Ｂ、１００Ｃに配信する。

この第３のデータ処理システム１０においては、端末装置１００Ａで、データの処理を依頼するデータ処理装置４００を示す処理装置画像４００Ｉが指定されたり、処理を依頼するデータ画像９６０Ｄが選択されたり等の操作がジェスチャによりなされた場合に、そのジェスチャがジェスチャ配信装置８６０によって端末装置１００Ｂ、１００Ｃに配信され、端末装置１００Ｂ、１００Ｃがそれぞれに有する表示部１６０に、端末装置１００Ａに対してなされた操作を表示することができるようになっている。以上のように構成された第３のデータ処理システム１０においては、１つの端末装置１００用いて一人の操作者によってなされた操作を、他の操作者が他の端末装置１００で確認することができる。

以上で説明をしたように、本発明は、端末装置、データ処理システム及びプログラムに適用することができる。

１０・・・情報処理システム
１００・・・端末装置
１６０・・・表示部
１６０Ａ・・・処理装置表示画面
１６０Ｂ・・・依頼画面
１６０C・・・データ指定画面
１６０Ｄ・・・処理装置指定画面
１６０Ｅ・・・モード選択画面
１６０Ｆ・・・データ表示画面
１６２・・・ハーフミラー部材
１７０・・・カメラ装置
３００・・・無線通信装置
４００・・・データ処理装置
４００Ｉ・・・処理装置画像
５００・・・管理装置
６００・・・ネットワーク
９６０Ｄ・・・データ画像

Claims (19)

1. データ処理装置の画像である処理装置画像を取得する画像取得手段と、
   表示手段と、
   を有し、
   前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、前記画像取得手段が取得した処理装置画像の少なくとも１つと、処理を依頼するデータを示すデータ画像の少なくとも１つとを表示する前記依頼画面を表示し、
   前記依頼画面において、操作者が処理装置画像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を指定した処理装置画像が示すデータ処理装置に依頼する
   端末装置。
2. 前記画像取得手段は撮影装置を有し、前記撮影装置でデータ処理装置を撮影することにより処理装置画像を取得する
   請求項１記載の端末装置。
3. 前記画像取得手段は撮影装置を有し、前記撮影装置が操作された時点において、前記撮影装置で撮影可能な方向に配置されているデータ処理装置の画像を処理装置画像として取得する
   請求項１記載の端末装置。
4. 前記表示手段は、データ処理装置が設置された位置を示し、データの処理を依頼するデータ処理装置を指定するための処理装置指定画面をさらに表示し、
   前記画像取得手段は、操作者が前記処理装置指定画面で指定したデータ処理装置の画像を取得する
   請求項１記載の端末装置。
5. データ処理装置にデータの処理を依頼するデータ処理依頼手段と、
   前記画像取得手段が取得した処理装置画像に基づいて、処理装置画像が取得されたデータ処理装置のネットワーク上におけるアドレスを取得するアドレス取得手段と、
   をさらに有し、
   前記データ処理依頼手段は、前記アドレス取得手段が取得したデータ処理装置のネットワーク上のアドレスに基づいて、ネットワーク上のアドレスが取得されたデータ処理装置にデータの処理を依頼する
   請求項１乃至４いずれか記載の端末装置。
6. 依頼画面に処理装置画像が表示されたデータ処理装置の位置情報を取得する位置情報取得手段をさらに有し、
   前記アドレス取得手段は、少なくともデータ処理装置の位置情報及びデータ処理装置のネットワーク上におけるアドレスを保存しているデータベースを参照し、前記位置情報検知手段により位置情報が取得されたデータ処理装置のネットワーク上のアドレスを取得する
   請求項５記載の端末装置。
7. 前記画像取得手段で取得された処理装置画像に基づいて、処理装置画像が取得されたデータ処理装置と通信可能な通信プロトコロを特定するプロトコル特定手段をさらに有し、
   前記データ処理依頼手段は、前記プロトコル特定手段が特定した通信プロトコルを用いてデータ処理装置にデータの処理を依頼する
   請求項５又は６記載の端末装置。
8. 前記表示手段は、処理を依頼するデータを指定するためのデータ指定画面をさらに表示し、
   前記データ指定画面は、複数のデータ画像を表示する際に、複数のデータ画像を前記データ指定画面に対して交わる方向に奥行きがあるように配置して表示する
   請求項１乃至７いずれか記載の端末装置。
9. 前記依頼画面において、操作者がデータ画像の１つを処理装置画像の１つに重ねることにより、データ画像と処理装置画像とが指定される請求項１乃至８いずれか記載の端末装置。
10. 表示手段を有し、
    前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、処理装置の実像と同時に視認することができるように、処理を依頼するデータを示すデータ画像の少なくとも１つを表示する前記依頼画面を表示し、
    前記依頼画面において、操作者がデータの処理を依頼する処理装置の実像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を実像が指定されたデータ処理装置に依頼する
    端末装置。
11. 前記表示手段は、操作者が移動中にはデータ画像を表示しない請求項１０記載の端末装置。
12. 前記表示手段は、データ画像を２色以内で表示する請求項１０又は１１記載の端末装置。
13. 前記表示手段は、データ画像を透過可能に表示する請求項１０乃至１２いずれか記載の端末装置。
14. 前記依頼画面において、操作者がデータ画像の１つを処理装置の実像の１つに重ねることにより、データ画像と処理装置画像とが指定される請求項１０乃至１３いずれか記載の端末装置。
15. 端末装置と、
    前記端末装置からの依頼を受けてデータを処理するデータ処理装置と、
    を有し、
    前記端末装置は、
    データ処理装置の画像である処理装置画像を取得する画像取得手段と、
    表示手段と、
    を有し、
    前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、前記画像取得手段が取得した処理装置画像の少なくとも１つと、処理を依頼するデータを示すデータ画像の少なくとも１つとを表示する前記依頼画面を表示し、
    前記依頼画面において、操作者が処理装置画像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を指定した処理装置画像が示すデータ処理装置に依頼する
    データ処理システム。
16. 複数の前記端末装置を有し、
    複数の前記端末装置の１つの依頼画面で処理装置画像とデータ画像とを指定する操作がなされた場合に、複数の前記端末装置の少なくとも他の１つの依頼画面になされた操作が表示される
    請求項１３記載のデータ処理システム。
17. 端末装置と、
    前記端末装置からの依頼を受けてデータを処理するデータ処理装置と、
    を有し、
    前記端末装置は表示手段を有し、
    前記表示手段は、データ処理装置にデータの処理を依頼する依頼画面であって、処理装置の実像と同時に視認することができるように、処理を依頼するデータを示すデータ画像の少なくとも１つを表示する前記依頼画面を表示し、
    前記依頼画面において、操作者がデータの処理を依頼する処理装置の実像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を実像が指定されたデータ処理装置に依頼する
    データ処理システム。
18. データ処理装置の画像である処理装置画像を取得する画像取得ステップと、
    表示ステップと、
    をコンピュータに実行させ、
    前記表示ステップでは、データ処理装置にデータの処理を依頼する依頼画面であって、前記画像取得ステップで取得した処理装置画像の少なくとも１つと、処理を依頼するデータを示すデータ画像の少なくとも１つとを表示する前記依頼画面を表示させ、
    前記依頼画面において、操作者が処理装置画像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を指定した処理装置画像が示すデータ処理装置に依頼させる
    プログラム。
19. 表示ステップをコンピュータに実行させ、
    前記表示ステップでは、データ処理装置にデータの処理を依頼する依頼画面であって、処理装置の実像と同時に視認することができるように、処理を依頼するデータを示すデータ画像の少なくとも１つを表示する前記依頼画面を表示させ、
    前記依頼画面において、操作者がデータの処理を依頼する処理装置の実像の１つとデータ画像の１つとを指定する操作に応じて、指定したデータ画像が示すデータの処理を実像が指定されたデータ処理装置に依頼させる
    プログラム。

Images