JP2019061556A

JP2019061556A - 通信システム及びウェアラブル端末

Info

Publication number: JP2019061556A
Application number: JP2017186759A
Authority: JP
Inventors: 国晃大山; Kuniaki Oyama
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2017-09-27
Filing date: 2017-09-27
Publication date: 2019-04-18

Abstract

【課題】ユーザーが直感的にどの固定端末を使えばよいかを判断できる通信システムを提供する。【解決手段】ウェアラブル端末１の撮像部１４が撮影した映像から映像解析部１５が画像形成装置２（固定端末）を検出すると、通信部１７はサーバー３からその画像形成装置２の稼働情報を取得する。その稼働情報が予め定められた条件である場合、通信部１７はその画像形成装置２の周辺にある他の画像形成装置２の稼働情報と位置情報をサーバー３から取得する。そして表示制御部１１０は位置情報に基づいて他の画像形成装置２の設置方向を示す矢印と共に稼働情報を表示部１２に表示させる。【選択図】図６

Description

本発明は、ウェアラブル端末を備える通信システム及びウェアラブル端末に関するものである。

近年、固定端末の稼働情報や操作画面をユーザーの視界に表示させて遠隔操作することが可能なヘッドマウントディスプレイや眼鏡型ウェアラブル端末の技術が多く提示されている。特許文献１には、固定端末（例えば、画像形成装置）のジョブ情報を取得し、そのジョブによって画像形成が施される用紙の現在の位置を通紙経路上に表示することで、ユーザーにジョブの実行状況を提供するジョブ情報表示装置について記載されている。

２０１４−１９４７２５号公報

しかし、特許文献１に記載の技術では、ウェアラブル端末を装着したユーザーの視界にある画像形成装置のジョブの実行状況は分かるが、視界外にある画像形成装置の稼働状況は提供されない。従って、視界にある画像形成装置のジョブ処理にかかる時間が長時間で即座に使用できない場合、視界外にある画像形成装置の中から、ユーザーが自分で他の画像形成装置を探す必要があった。

本発明は、上記の事情に鑑みなされたものであり、そのウェアラブル端末を装着したユーザーの視界にある固定端末の稼働情報を示す画像をユーザーの視界に表示し、更にユーザーの視界外にある固定端末の稼働情報とその設置方向を示す画像を表示することで、ユーザーがどの固定端末を使えばよいかを直感的に判断可能にすることを目的とする。

本発明における通信システムは、ユーザーの頭部に装着されて当該ユーザーの視界に画像を表示するウェアラブル端末と、固定端末と、前記ウェアラブル端末及び前記固定端末との間でデータ送受信が可能なサーバーと、を備えた通信システムであって、前記ウェアラブル端末は、前記ユーザーの視界を撮像する撮像部と、前記撮像部が撮影した映像を解析し、前記固定端末を検出する映像解析部と、前記映像解析部が検出した固定端末の稼働情報を前記サーバーから取得する通信部と、ユーザーの視界に画像を表示する表示部と、前記表示部に対して表示制御を行う表示制御部とを有し、前記通信部が取得した稼働情報が予め定められた条件を満たすとき、前記通信部は、前記映像解析部が検出した固定端末の周辺にある他の固定端末の稼働情報を前記サーバーから取得し、前記表示制御部は、前記表示部に当該周辺にある他の固定端末の設置方向を示す画像と共に、当該周辺にある他の固定端末の稼働情報を示す画像を、前記表示部に更に表示させる。

また、本発明におけるウェアラブル端末は、ユーザーの頭部に装着され、当該ユーザーの視界に画像を表示するウェアラブル端末であって、前記ユーザーの視界を撮像する撮像部と、前記撮像部が撮影した映像を解析し、前記固定端末を検出する映像解析部と、前記映像解析部が検出した固定端末の稼働情報を外部のサーバーから取得する通信部と、前記稼働情報をユーザーの視界に表示する表示部と、前記表示部に対して表示制御を行う表示制御部とを備え、前記通信部が取得した稼働情報が予め定められた条件を満たすとき、前記通信部は前記映像解析部が検出した固定端末の周辺にある他の固定端末の稼働情報を前記サーバーから取得し、前記表示制御部は、前記表示部に当該周辺にある他の固定端末の設置方向を示す画像と共に、当該周辺にある他の固定端末の稼働情報を示す画像を、前記表示部に更に表示させる。

本発明によれば、撮像部が撮影した映像から映像解析部が固定端末を検出した場合、通信部がその固定端末の稼働情報をサーバーから取得し、表示制御部がその稼働情報を示す画像を表示部に表示させることで、ユーザーはその固定端末の稼働情報を簡単に把握することができる。また、更に通信部はその固定端末の周辺にある他の固定端末の稼働情報と位置情報をサーバーから取得し、表示制御部が他の固定端末の設置方向と稼働情報を示す画像を更に表示させることで、ユーザーは対面する固定端末の稼働情報以外に、視界外にある他の固定端末の設置方向及び稼働情報を即座に把握することができる。従って、ユーザーは、どの固定端末が最も早く使用できるかを即座に判断でき、使用する固定端末を効率的に選ぶことができる。

通信システムについて示した図である。ウェアラブル端末の内部構成を示した機能ブロック図である。設置方向算出部が行う処理の一例を説明するための図である。通信システムによる画像形成装置の稼働情報表示処理の流れについて説明したフローチャートである。表示部が表示する画像の一例を示した図である。表示部が表示する画像の一例を示した図である。表示部が表示する画像の一例を示した図である。表示部が表示する画像の一例を示した図である。

以下、本発明の一実施形態に係る通信システム及びウェアラブル端末について説明する。図１は、本実施の形態における通信システム１００について示した図である。通信システム１００は、ウェアラブル端末１と固定端末に相当する例えば複数の画像形成装置２とサーバー３を備える。ウェアラブル端末１は、ユーザーの頭部に装着される例えばヘッドマウントディスプレイ（ＶＲ（Virtual Reality）：仮想現実を実現する装置）や眼鏡型ウェアラブル端末（ＡＲ（Augumented Reality）：拡張現実を実現する装置）であり、装着者の視界に映像を表示する。そして、装着者はその映像を手で仮想的に操作する。

画像形成装置２は、原稿を読み取って画像を用紙に印刷する。あるいはネットワークＮに接続された外部装置（不図示）から画像データを受信して画像を印刷する。

ウェアラブル端末１を装着したユーザーが、画像形成装置２の方向に顔を向けると、ウェアラブル端末１はユーザーの視界にその画像形成装置２の稼働情報を表示する。稼働条件が予め定められた条件である場合、例えば、その画像形成装置２がメンテナンス中であって稼働停止中であるや、受け付けたジョブの実行が全て終わるまでに掛かる時間（ジョブ終了時間）が予め定められた時間以上である場合、ウェアラブル端末１は、ユーザーの視界外にある他の画像形成装置２の設置方向と稼働情報を更に表示する。これにより、ユーザーは対面する画像形成装置２の稼働情報の他に、その周辺にある他の画像形成装置２の稼働情報も知ることができ、使用可能な画像形成装置２を簡単に探し出すことができる。

図２は、ウェアラブル端末１の内部構成を示した機能ブロック図である。ウェアラブル端末１は、制御ユニット１０、表示部１２、視線検出部１３、撮像部１４、映像解析部１５、位置検出部１６、通信部１７及びメモリー１８を備える。

表示部１２は、ユーザーの視界に映像や画像を表示する。表示部１２は、例えば、LCOS(Liquid crystal on silicon)等の、光の反射をコントロールすることにより映像を映し出す反射型の液晶デバイスである。

視線検出部１３は、ユーザーの視線を検出する。具体的には、視線検出部１３はユーザーの瞳孔の向きを検出して、ユーザーの視線位置を検出する。この視線検出には、公知の技術を利用することができる。例えば、ウェアラブル端末１が備える可視光カメラ（不図示）で装着者の片眼を撮影し、目頭を基準点として瞳孔の動きを検出することで、視線を検出する。

撮像部１４は、ユーザーの視界を撮像するものであり、例えば小型ＣＣＤ（Charged Coupled Device）カメラである。

映像解析部１５は、撮像部１４が撮影した映像からパターンマッチング等の処理を利用して、画像形成装置２やユーザーの手の動きや指の位置を検出、解析する。

位置検出部１６は、自機（ウェアラブル端末１）の位置を検出する。例えば、位置検出部１６はGPS（Global Positioning System）センサーを有し、現在位置の位置情報（緯度、経度及び高さ）を算出する。

通信部１７は、近距離無線通信等を介してネットワークＮや画像形成装置２等とデータの送受信を行うためのインターフェース回路である。

制御ユニット１０は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。プロセッサーは、ＣＰＵ（Central Processing Unit）、ＭＰＵ、又はＡＳＩＣである。上記プロセッサーが、上記のＲＯＭ又はメモリー１８に記憶されているプログラムに従って動作することにより、制御ユニット１０は、制御部１１０、表示制御部１１１、及び設置方向算出部１１２として機能する。なお、制御部１１０、表示制御部１１１、及び設置方向算出部１１２は、それぞれハード回路により構成されてもよい。

制御部１１０は、ウェアラブル端末１の全体的な動作制御を司る。表示制御部１１１は、表示部１２の動作を制御し、表示部１２に対して画像を表示させる。具体的には、表示制御部１１１は、通信部１７が受信した画像形成装置２の稼働情報を表示部１２に表示させる。なお、表示制御部１１１は、表示部１２に、各情報やアイコン、矢印等を示す場合、これらを画像により表示させる。

設置方向算出部１１２は、映像解析部１５が検出した画像形成装置２の周辺にある画像形成装置２の設置方向を算出する。

図３を用いて、設置方向算出部１１２が行う処理の一例を説明する。図３では、ユーザー９と、ＭＦＰ２２及びＭＦＰ２３とを示している。ＭＦＰ２２及びＭＦＰ２３は、ユーザー９が装着しているウェアラブル端末の撮像部１４が撮影して映像解析部１５が画像形成装置２であると解析しているＭＦＰ２１と同じフロアにあり、ユーザーの視界の外（つまり撮像部１４の撮影範囲外）に設置されている他の画像形成装置２である。

全ての画像形成装置２には、予め個別の識別情報（装置番号）が設定されている。識別情報の取得方法としては、例えば、撮像部１４が画像形成装置２に貼付された装置番号やバーコード等を撮影し、その撮影画像から映像解析部１５が装置番号を識別する。その他、画像形成装置２がｗｉｆｉ等の無線ＬＡＮ（Local Area Network）を利用して自機の装置番号をウェアラブル端末１へ発信するようにしてもよい。

サーバー３は、建物内にある全ての画像形成装置２の位置情報（緯度、経度及び高さ）を予め記憶しており、設置方向算出部１１２は映像解析部１５が解析したＭＦＰ２１と、更にその周辺にある他の画像形成装置２（ＭＦＰ２２及びＭＦＰ２３）の位置情報を、通信部１７を介してサーバー３から取得する。

そして、設置方向算出部１１２は、位置検出部１６が算出した自機の位置情報と、サーバー３から取得したＭＦＰ２１の位置情報と、映像解析部１５によりＭＦＰ２１が解析されていることとから、ユーザー９の向き（この「向き」はウェアラブル端末１の正面が何れの方向を向いているか、を示す。図３では矢印Ｙに向かう向き。）を算出する。

更に、設置方向算出部１１２は、サーバー３から取得したＭＦＰ２１、ＭＦＰ２２及びＭＦＰ２３の位置情報と、ユーザー９の位置及び向きとを基準にして、ＭＦＰ２２及びＭＦＰ２３がどの方向に設置されているかを算出する。つまり、設置方向算出部１１２は、図３に示すように、ＭＦＰ２２の設置方向として矢印ｙ１の示す向き、ＭＦＰ２３の設置方向として矢印ｙ２の示す向きを算出する。そして表示制御部１１１が、この矢印ｙ１及びｙ２の示す方向を表す画像を表示部１２に表示させる制御を行う。

図４は、通信システム１００による画像形成装置２の稼働情報表示処理の流れについて説明したフローチャートである。図５〜図８は、表示部１２がユーザーの視界に表示する画像の一例を示した図である。

まず、撮像部１４が撮影した映像を映像解析部１５が解析して画像形成装置２を検出すると（Ｓ１１）、制御部１１０は、検出した画像形成装置２の装置番号を通信部１７にサーバー３へ送信させる（Ｓ１２）。

サーバー３は、受信した装置番号が示す画像形成装置２から、ネットワークＮを介して稼働情報を取得する。更に、サーバー３は、予め記憶している全ての画像形成装置２の位置情報の中から装置番号が示す画像形成装置２の位置情報を読み出す。そしてサーバー３はこれら稼働情報と位置情報をウェアラブル端末１へ送信する（Ｓ２１）。

ウェアラブル端末１がサーバー３から画像形成装置２の稼働情報と位置情報を受信すると、表示制御部１１１は稼働情報に基づいたアイコンを表示部１２に表示させる（Ｓ１３）。

図５は、このとき表示部１２がユーザーの視界に表示する画像の一例を示した図である。ＭＦＰ１１は映像解析部１５が検出した実物の画像形成装置２である。当該画像形成装置２の近傍に立っている他のユーザー実物である。各アイコンの説明をする。表示制御部１１１によって表示部１２に表示される画像であるアイコン３１は、他のユーザーがＭＦＰ１１の操作パネル等をタッチしながら直接操作している最中であることを示す。この他、表示制御部１１１は、作業員によるメンテナンス中や不具合（用紙詰まり、用紙切れ、トナー切れ等）により稼働停止中である場合も、それらのステータスに応じたアイコンを表示部１２に表示させる。

表示制御部１１１によって表示部１２に表示される画像であるアイコン群３２は、ＭＦＰ１１が受け付けているジョブの進捗状況を示す。表示３２１は受付中のジョブの数と、受付中のジョブが全て終わるまでの時間（ジョブ終了時間）を画像により示す。アイコン３２２ａ、３２２ｂ、３２２ｃ及び３２２ｄは各ジョブの種類（コピー、プリント（印刷）、ＦＡＸ等）を示し、更に各アイコンの下に記載された時間は各ジョブに掛かる時間を示す。このようなアイコン表示により、ユーザーはＭＦＰ１１がすぐに使用できる状況であるか否かを知ることができる。

また、アイコン３３は、ＭＦＰ１１の稼働情報を表示している他のウェアラブル端末の数を示している。図５の場合、他に５台のウェアラブル端末がＭＦＰ１１の稼働情報を表示していること）を示している。このアイコン３３によってどの程度の数の人がこれからＭＦＰ１１を使用しようとしているかを判断することができる。なお、サーバー３は、ＭＦＰ１１の稼働情報と位置情報を送信したウェアラブル端末とその台数を記憶しており、当該台数情報をウェアラブル端末１に送信する。これにより、ウェアラブル端末１の表示制御部１１１は、表示部１２にアイコン３３を表示可能となる。

図５より、ＭＦＰ１１は他のユーザーが直接操作中であり、受付中のジョブが４つあり、それらのジョブが全て終わるまで３分２４秒かかり、そして現在ＭＦＰ１１の稼働情報を見ているユーザーは５人いることが分かる。

次に、制御部１１０は、サーバー３から受信した稼働情報より画像形成装置２のジョブ終了時間が予め定められた設定時間（例えば、２〜５分）以上であるか否かを判別する（Ｓ１４）。この設定時間は画像形成装置２やウェアラブル端末１の管理者等が予め設定し、任意の時間を設定可能とする。

ジョブ終了時間が上記予め定められた時間以上である場合（Ｓ１４；ＹＥＳ）、制御部１１０は画像形成装置２の周辺にある他の画像形成装置２の稼働情報と位置情報のリクエスト信号を通信部１７にサーバー３へ送信させる（Ｓ１５）。サーバー３はこのリクエスト信号を受けて、画像形成装置２の周辺にある他の画像形成装置２を抽出し、抽出された画像形成装置２の稼働情報を、ネットワークＮを介して取得する。そして、サーバー３は他の画像形成装置２の稼働情報と位置情報をウェアラブル端末１へ送信する（Ｓ２２）。

ウェアラブル端末１がサーバー３から周辺にある他の画像形成装置２の稼働情報と位置情報を受信すると、表示制御部１１１は稼働情報と位置情報に基づいてジョブ終了時間と設置方向を示す矢印を表示部１２に表示させる（Ｓ１６）。

図６は、このとき表示部１２が表示する画像の一例を示した図である。表示制御部１１１は、図５に示したＭＦＰ１１の稼働情報を示すアイコンに加えて、ＭＦＰ１１の周辺にある画像形成装置２（ＭＦＰ１８、ＭＦＰ１９及びＭＦＰ２０）の設置方向を示す矢印Ｙ１、Ｙ２及びＹ３と、それぞれの画像形成装置２のジョブ終了時間を表示部１２に表示させる。

このとき、表示制御部１１１が、ＭＦＰ１８〜ＭＦＰ２０の詳しい稼働情報（受付中のジョブ数やジョブの種類、遠隔アクセス数等）を表示せず、ジョブ終了時間のみを矢印Ｙ１〜Ｙ３と共に表示することで、ユーザーの視界をシンプルにし、情報表示が多すぎて画面が見づらくなることを防ぐことができる。

図６では、ＭＦＰ１８はＭＦＰ１１より下の階にありジョブ終了時間は５分２０秒、ＭＦＰ１９はＭＦＰ１１に向かって左方面にありジョブ終了時間は０秒、ＭＦＰ２０はＭＦＰ１１より上の階にありジョブ終了時間は２０秒であることを示している。この矢印とジョブ終了時間の表示によって、ユーザーは他の画像形成装置２の位置と使用状況を即座に知ることができる。

この他の表示の仕方として、表示制御部１１１が、予め設定されたジョブ終了時間（例えば、２〜５分）以下である画像形成装置２の設置方向及びジョブ終了時間のみを表示するようにしてもよい。

例えば、ジョブ終了時間が２分以下である画像形成装置２の設置方向及びジョブ終了時間のみ表示することと設定した場合、図６の画面例では、ＭＦＰ１８の設置方向を示す矢印Ｙ１とジョブ終了時間を表示せず、ＭＦＰ１９及びＭＦＰ２０の設置方向を示す矢印Ｙ２及びＹ３とジョブ終了時間のみを表示する。これにより、ユーザーの視界にはすぐに使用可能な画像形成装置２の情報だけが表示されるため、画像を更にシンプルにすることができ、より見やすい画像にすることができる。

また、ＭＦＰ１１の周辺にある画像形成装置２が一台のみである場合、同時に表示される矢印の数が減るため、その分、表示制御部１１１は矢印とジョブ終了時間の他に更に詳しい稼働情報（受付ジョブ数や遠隔アクセス数等）を表示するようにしてもよい。

また、ＭＦＰ１１の周辺にある画像形成装置２のうち、他のユーザーが直接操作中である画像形成装置２がある場合、表示制御部１１１はその画像形成装置２の設置方向を示す矢印の近くに直接操作中であることを示すアイコンを表示させるようにしてもよい。例えば、通信部１７が取得したＭＦＰ１９の稼働情報から、制御部１１０がＭＦＰ１９は直接操作中であると判別した場合、表示制御部１１１はＭＦＰ１９の設置方向を示す矢印Ｙ２に隣接または近傍して直接操作中であることを示すアイコン３９を表示部１２に表示させる。

更に、通信部１７は予め定められた時間間隔でＭＦＰ１１、ＭＦＰ１８〜ＭＦＰ２０の最新の稼働情報をサーバー３から取得し、表示制御部１１１は、その最新の稼働情報を表示部１２に表示させる。

次に、ユーザーの視線が矢印Ｙ１〜Ｙ３の何れかの方向に予め定められた時間向けられたことを視線検出部１３が検出した、またはユーザーが手で矢印Ｙ１〜Ｙ３の何れかを触る動作をしたことを映像解析部１５が解析した場合（Ｓ１７；ＹＥＳ）、表示制御部１１１は、視線やジェスチャーで指定された矢印の示す画像形成装置２の詳しい稼働情報を表示部１２に表示させる（Ｓ１８）。

図７は、Ｓ１８にて表示部１２が表示する画像の一例を示した図である。ユーザーがＭＦＰ１９の矢印Ｙ２の方向に視線を予め定められた時間向けたことを視線検出部１３が検出した、またはユーザーが例えば手で矢印Ｙ２を触る動作をしたことを映像解析部１５が解析した場合、表示制御部１１１はサーバー３から取得したＭＦＰ１９の稼働情報に基づいて稼働情報画面４０を表示部１２に表示させる。

図７に示すＭＦＰ１９の稼働情報画面４０（内容は全て画像により表示）のアイコン４１及び４２より、直接操作中であり作業員によるメンテナンス中であること、更にアイコン４５より受付ジョブ数は０であるがジョブ受付が停止中であることが分かる。このように、ユーザーは他の画像形成装置２の稼働状況を直感的に把握することができる。

ここで、Ｓ１６において、ステータスがメンテナンス中であったり、用紙又はトナー切れで稼働停止中であったりする画像形成装置２の設置方向及びジョブ終了時間は表示しないこととしてもよい。この場合、図６に示した表示例の場合、表示制御部１１１はＭＦＰ１９の設置方向を示す矢印Ｙ２とジョブ終了時間を表示させない。ユーザーが矢印Ｙ２を選択すると、ＭＦＰ１９の詳しい稼働情報が表示されるが、ユーザーはそのときになってＭＦＰ１９が稼働停止中であることを知ることになり、選択操作が無駄になってしまう。従って、稼働停止中である画像形成装置２の設置方向及びジョブ終了時間は表示しないこととすることで、その無駄な選択操作をなくすことができる。

また、サーバー３は各画像形成装置２の位置情報（緯度、経度及び高さ）に加えて、設置フロア、設置されている部屋の名前、部署名等の更に詳しい位置情報を保持し、表示制御部１１１が稼働情報画面に詳しい位置情報を更に表示させるようにしてもよい。図７の稼働情報画面４０では、ＭＦＰ１９の設置位置として「５Ｆ、営業部」が表示されている。これにより、ユーザーはＭＦＰ１９の位置をすぐに把握することができる。

また、サーバー３は全ての画像形成装置２の写真画像を記憶しており、ウェアラブル端末１の通信部１７からリクエストされた画像形成装置２の稼働情報を送信する際に、その画像形成装置２の写真画像も同時に送信する。そして、表示制御部１１１は稼働情報画面４０を表示部１２に表示させる際に、受信した写真画像も同時に表示させることで、ユーザーがＭＦＰ１９を見つけやすくなる。

続いて、ユーザーがウェアラブル端末１の装着を外す（例えば、ウェアラブル端末１に取り付けられた図略のセンサーにより装着又は非装着を判別する）、またはユーザーによる予め定められた画面表示終了の動作を映像解析部１５が検出した場合（Ｓ１９；ＹＥＳ）、ウェアラブル端末１は処理を終了する。

一方、ユーザーが視線を元の位置（ＭＦＰ１１の設置方向）に向けたことを視線検出部１３が検出した、またはユーザーが例えば手で稼働情報画面４０を外に振り払う動作をしたことを映像解析部１５が解析した場合（Ｓ１７；ＹＥＳ）、表示制御部１１１はＭＦＰ１９の稼働情報画面４０の表示を終了させ、図６に示す画面例を表示させる制御を表示部１２に対して行う（Ｓ１８）。

表示部１２が図６に示す画面例を表示しているときに、ユーザーがＭＦＰ２０の矢印Ｙ３の方向に視線を所定時間向けたことを視線検出部１３が検出した、またはユーザーが手で矢印Ｙ３を触る動作をしたことを映像解析部１５が解析した場合、表示制御部１１１はサーバー３から取得したＭＦＰ２０の稼働情報に基づいて画面４０を表示部１２に表示させる。

図８は、このとき表示部１２が表示する画像の一例を示した図である。図８に示すＭＦＰ２０の稼働情報画面５０（内容は全て画像により表示）にあるアイコン５１より、ＭＦＰ２０はＦＡＸ動作中であり、受付ジョブ数が１、ジョブ終了時間が２０秒であること、更にアイコン５２より、ＭＦＰ２０の稼働情報を表示している他のウェアラブル端末は１台のみであることが分かる。つまりユーザーは、ＭＦＰ２０へのジョブ送信を今すぐに行えば、ＦＡＸ送信が終了次第、自身が送信したジョブが実行されることが分かる。また、ＦＡＸ送信が終了したら直ちにＭＦＰ２０を直接操作できることが分かる。

以上、説明したように、ユーザーは対面した画像形成装置２（つまり、撮像部１４が撮影し、映像解析部１５が画像形成装置２であると検出した装置）の稼働情報を即座に知ることができる。そして、その画像形成装置２のジョブ終了時間が予め定められた時間より長い場合、その画像形成装置２の周辺にある他の画像形成装置２の稼働情報も簡単に把握することができる。これにより、ユーザーは何れの画像形成装置２を使用するべきかをすぐに判断することができ、効率的に画像形成装置２を選択することができる。

また、対面している画像形成装置２の周辺の画像形成装置２の設置方向を矢印で示すことで、ユーザーは画像形成装置２の位置を直感的に知ることができる。

上述の実施形態では、固定端末として画像形成装置２を例に挙げて説明したが、この他にパソコンやアーケードゲーム（業務用ゲーム）等、複数人数で共有して使用する装置であって、ネットワークＮを介したデータ送受信が可能な装置であればよい。

１ウェアラブル端末
１０制御ユニット
１１０制御部
１１１表示制御部
１１２設置方向算出部
１２表示部
１３視線検出部
１４撮像部
１５映像解析部
１６位置検出部
１７通信部
１８メモリー
２画像形成装置
３サーバー
Ｎネットワーク

Claims

ユーザーの頭部に装着されて当該ユーザーの視界に画像を表示するウェアラブル端末と、固定端末と、前記ウェアラブル端末及び前記固定端末との間でデータ送受信が可能なサーバーと、を備えた通信システムであって、
前記ウェアラブル端末は、
前記ユーザーの視界を撮像する撮像部と、
前記撮像部が撮影した映像を解析し、前記固定端末を検出する映像解析部と、
前記映像解析部が検出した固定端末の稼働情報を前記サーバーから取得する通信部と、
ユーザーの視界に画像を表示する表示部と、
前記表示部に対して表示制御を行う表示制御部とを有し、
前記通信部が取得した稼働情報が予め定められた条件を満たすとき、前記通信部は、前記映像解析部が検出した固定端末の周辺にある他の固定端末の稼働情報を前記サーバーから取得し、前記表示制御部は、前記表示部に当該周辺にある他の固定端末の設置方向を示す画像と共に、当該周辺にある他の固定端末の稼働情報を示す画像を、前記表示部に更に表示させる通信システム。
前記表示制御部は、前記周辺にある他の固定端末の稼働情報としてジョブ終了時間を示す画像を、前記設置方向を示す画像と共に、前記表示部に表示させる請求項１に記載の通信システム。
前記映像解析部は更にユーザーの手の動きを解析し、
前記表示部が前記周辺にある他の固定端末の設置方向及び稼働情報を表示している間に前記映像解析部がユーザーによる予め定められた手の動きを検出した場合、前記表示制御部は当該検出された手の動きが示す方向にある固定端末の稼働情報のみを前記表示部に表示させる請求項１又は請求項２に記載の通信システム。
前記ウェアラブル端末は、ユーザーの視線を検出する視線検出部を更に備え、
前記表示部が前記周辺にある他の固定端末の設置方向及び稼働情報を表示している間に、前記視線検出部がユーザーの視線が前記固定端末の設置方向を示す画像としての矢印画像に予め定められた時間だけ向けられたことを検出した場合、前記表示制御部は当該矢印画像が示す方向にある固定端末の稼働情報のみを前記表示部に表示させる請求項１乃至請求項３のいずれかに記載の通信システム。
前記表示制御部は、前記周辺にある他の固定端末のうち、ユーザーによって直接操作されていない固定端末の設置方向及び稼働情報を示す画像のみを前記表示部に表示させる請求項１乃至請求項４のいずれかに記載の通信システム。
前記映像解析部が検出した固定端末の稼働情報を示す画像として、前記表示制御部は当該固定端末の稼働情報を表示中のウェアラブル端末の数を示す画像を、前記表示部に表示させる請求項１乃至請求項５のいずれかに記載の通信システム。
前記映像解析部が検出した固定端末の稼働情報を示す画像として、前記表示制御部は、当該固定端末が受け付けているジョブの数と当該各ジョブに掛かる時間を示す画像を、前記表示部に表示させる請求項１乃至請求項６のいずれかに記載の通信システム。
前記通信部は、予め定められた時間間隔で前記固定端末の最新の稼働情報を取得し、前記表示制御部は、当該最新の稼働情報を前記表示部に表示させる請求項１乃至請求項７のいずれかに記載の通信システム。
前記ウェアラブル端末は、
自機の位置を検出する位置検出部と、
前記位置検出部が検出した自機の位置と、前記映像解析部が解析した固定端末の位置から当該固定端末の周辺にある固定端末の設置方向を算出する設置方向算出部とを更に有し、
前記表示制御部は、前記設置方向算出部が算出した設置方向を示す画像を、前記表示部に表示させる請求項１乃至請求項８のいずれかに記載の通信システム。
前記固定端末は、画像形成装置である請求項１乃至請求項９のいずれかに記載の通信システム。
ユーザーの頭部に装着され、当該ユーザーの視界に画像を表示するウェアラブル端末であって、
前記ユーザーの視界を撮像する撮像部と、
前記撮像部が撮影した映像を解析し、前記固定端末を検出する映像解析部と、
前記映像解析部が検出した固定端末の稼働情報を外部のサーバーから取得する通信部と、
前記稼働情報をユーザーの視界に表示する表示部と、
前記表示部に対して表示制御を行う表示制御部とを備え、
前記通信部が取得した稼働情報が予め定められた条件を満たすとき、前記通信部は前記映像解析部が検出した固定端末の周辺にある他の固定端末の稼働情報を前記サーバーから取得し、前記表示制御部は、前記表示部に当該周辺にある他の固定端末の設置方向を示す画像と共に、当該周辺にある他の固定端末の稼働情報を示す画像を、前記表示部に更に表示させるウェアラブル端末。