JP2014194725A - ジョブ情報表示装置 - Google Patents

Abstract

【課題】画像形成装置でのジョブの実行状況を遠くから容易に認識することのできるジョブ情報表示装置を提供する。
【解決手段】ヘッドマウントディスプレイ装置４０は、ユーザの見ている光景と同じ光景をカメラ部で撮影し、該光景の中に存在する画像形成装置１０を画像解析等によって認識し、その画像形成装置からジョブの実行状況を示すジョブ情報を取得する。このジョブ情報に基づいて、該ジョブの実行状況を、画像形成装置の通紙経路８１上にそのジョブで使用される用紙を仮想的に示す仮想用紙８２を配置した画像を作成し、該画像をユーザの見ている光景内の画像形成装置に重なるように表示スクリーン４４に表示する。
【選択図】図２

Description

本発明は、画像形成装置でのジョブの実行状況を表示するジョブ情報表示装置に関する。

ネットワークに接続されて複数のユーザで共用されるプリンタに対してジョブを投入した場合、このジョブの実行が完了するタイミングは、プリンタに蓄積されていた先行するジョブの状況等によって様々になる。そのため、自分のジョブが印刷されたかどうかを確認するために排紙トレイを見に行くことがある。しかし、自分のジョブの前に別のユーザのジョブが実行中の場合もあり、排紙トレイまで来てもまだ自分の印刷物が出力されていないことがある。また、排紙トレイに堆積している印刷物の内容を見て初めて自分の印刷物かどうかがわかるので、他人の印刷物が印刷中の場合にはその他人の印刷物を覗き見してしまうことになる。そこで、プリンタでのジョブの実行状況をユーザに通知する技術が各種提案されている。

たとえば、プリンタに一体に設けられた、あるいはネットワークを介して設けられたＵＩ装置の表示部に、対象のプリンタで実行中および待機中のジョブを一覧にしたジョブリストを表示し、選択されたジョブのキャンセル等を受け付けるようにしたジョブ管理装置が開示されている（特許文献１参照）。

このほか、携帯端末で複合機を撮影すると、その撮影箇所に応じた表示情報が携帯端末に表示される技術がある（特許文献２参照）。たとえば、ジャムが発生したときに携帯端末で複合機の搬送部を撮影すると、ジャムの発生箇所が、撮影画像中の複合機に重ねて表示される。

特開２００３−１２５１２３号公報 特開２０１２−１５６８７２号公報

プリンタに一体に設けられた、あるいはネットワークを介して設けられたＵＩ装置の表示部にジョブリストを表示する方法の場合、オフィスに複数台のプリンタが存在するような状況では、自分のジョブがどのプリンタで実行されるかをすぐに把握できない。また、多数枚を印刷するジョブとジョブの間で１枚だけ印刷する自分のジョブが実行されるような場合に、自分のジョブが実行されるタイミングを的確に把握することは難しい。また、文字列が並ぶジョブリストでは、自分のジョブの実行状況を直感的に把握することはできなかった。

特許文献２の技術では、ジャムの発生箇所などを直感的に認識可能であるが、複数のジョブが実行待ちの場合に、自分のジョブがいつ実行されるかといった情報を提供するものではない。

本発明は、上記の問題を解決しようとするものであり、自分のジョブの実行状況を容易に確認することのできるジョブ情報表示装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
前記ユーザの見ている現実空間に存在する画像形成装置を認識する認識部と、
前記認識部によって認識された画像形成装置に投入されたジョブの実行状況を示す情報を取得する情報取得部と、
前記情報取得部によって取得した前記情報に基づいて、前記ジョブの実行状況を該ジョブが実行される画像形成装置の通紙経路上の仮想用紙で表した拡張現実空間を前記ＡＲ表示部に表示させる制御部と
を有する
ことを特徴とするジョブ情報表示装置。

上記発明では、ユーザの見ている光景（現実空間）の中に存在する画像形成装置に投入されたジョブの実行状況が、現実空間内の画像形成装置の通紙経路上に仮想用紙を合成した拡張現実空間として表示される。仮想用紙は、各ジョブで使用される用紙に対応した図形などであり、そのジョブの用紙の現在の通紙経路上の位置に重ねて表示される。仮想用紙は、当該ジョブ情報表示装置を装着しているユーザが投入したジョブに対応するもののみ表示してもよいし、他のユーザのジョブに対応する仮想用紙を含めてすべてのジョブについて表示してもよい。

［２］前記表示制御部は、当該ジョブ情報表示装置のユーザが投入したジョブに係る前記仮想用紙を他のユーザが投入したジョブに係る前記仮想用紙と識別可能に表示する
ことを特徴とする［１］に記載のジョブ情報表示装置。

上記発明では、ジョブ情報表示装置を装着しているユーザが投入したジョブに対応する仮想用紙と、他のユーザの投入したジョブに対応する仮想用紙とが識別可能に表示される。識別可能とする方法は任意でよい。

［３］当該ジョブ情報表示装置のユーザが投入したジョブに係る前記仮想用紙と他のユーザが投入したジョブに係る前記仮想用紙の色を相違させる
ことを特徴とする［２］に記載のジョブ情報表示装置。

［４］当該ジョブ情報表示装置のユーザが投入したジョブに係る前記仮想用紙と他のユーザが投入したジョブに係る前記仮想用紙の形状を相違させる
ことを特徴とする［２］または［３］に記載のジョブ情報表示装置。

［５］ジョブの境界を識別可能に前記仮想用紙を表示する
ことを特徴とする［１］乃至［４］のいずれか１つに記載のジョブ情報表示装置。

上記発明では、ジョブ中の最初の用紙や最後の用紙を示す情報を仮想用紙に付加したり、仮想用紙の色や形状を隣り合うジョブで相違させたりする等により、ジョブの境界が識別可能にされる。

［６］待機中のジョブに対応する前記仮想用紙は、該ジョブで使用される用紙の給紙トレイに重ねて表示する
ことを特徴とする［１］乃至［５］のいずれか１つに記載のジョブ情報表示装置。

上記発明では、給紙トレイが複数存在する場合に、待機中のジョブに対応する仮想用紙は、該ジョブで給紙元に指定された給紙トレイの位置に重ねて表示される。

［７］前記待機中のジョブに対応する前記仮想用紙に、該ジョブの印刷枚数を示す情報を付加して表示する
ことを特徴とする［６］に記載のジョブ情報表示装置。

上記発明では、待機中のジョブでの印刷量を容易に認識することが可能になる。

［８］待機中のジョブが複数存在する場合は、待機中の各ジョブに対応する前記仮想用紙を、ジョブの実行順に並べて表示する
ことを特徴とする［６］または［７］に記載のジョブ情報表示装置。

上記発明では、各仮想用紙に対応するジョブの実行順を容易に認識することができる。

［９］印刷の完了したジョブに対応する前記仮想用紙は、排紙トレイに重ねて、もしくは排紙トレイの近傍に表示する
ことを特徴とする［１］乃至［８］のいずれか１つに記載のジョブ情報表示装置。

［１０］前記印刷の完了したジョブに対応する前記仮想用紙は、該ジョブの実行が完了してから所定時間の経過後に消去する
ことを特徴とする［９］に記載のジョブ情報表示装置。

上記発明では
［１１］通紙経路を仮想的に表した仮想通紙経路を表示する
ことを特徴とする［１］乃至［１０］のいずれか１つに記載のジョブ情報表示装置。

［１２］前記ＡＲ表示部は、ヘッドマウントディスプレイである
ことを特徴とする［１］乃至［１１］のいずれか１つに記載のジョブ情報表示装置。

本発明に係るジョブ情報表示装置によれば、画像形成装置を眺めるだけで、ジョブの実行状況を仮想的に表した仮想用紙が現実空間の画像形成装置の通紙経路上に重ねて表示されるので、ジョブの実行状況を、遠くから（たとえば、オフィス内の自分の席から）でも容易に確認することができる。

本発明の実施の形態に係るジョブ情報表示装置が使用される情報システムの構成例を示す図である。 ヘッドマウントディスプレイ装置を装着したユーザが画像形成装置を見たときの表示例を示す図である。 画像形成装置の電気的な概略構成を示すブロック図である。 ヘッドマウントディスプレイ装置の電気的な概略構成を示すブロック図である。 特定マークを付加した画像形成装置の一例を示す図である。 特定マークを用いて画像形成装置を認識し、その画像形成装置でのジョブの実行状況を仮想用紙で表示する処理の概略を示す流れ図である。 仮想用紙表示処理（図６のステップＳ１０４）の詳細を示す流れ図である。 最初の用紙および最後の用紙に対応する仮想用紙を他の仮想用紙と識別可能に表示した例を示す図である。 複数のジョブが処理待ちの状態にある場合の表示例を示す図である。 処理待ちのジョブの量（印刷枚数）を表す場合の表示例を示す図である。 完了のジョブに対する仮想用紙を表示した状態の一例を示す図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係るジョブ情報表示装置が使用される情報システム２の構成を示している。情報システム２は、オフィスなどに設置された１または複数台の画像形成装置１０、ＰＣ（パーソナルコンピュータ）４、無線ルータ５、画像形成装置１０でのジョブの実行状況を表示するジョブ情報表示装置としてのヘッドマウントディスプレイ（ＨＭＤ）装置４０などをＬＡＮ（Local Area Network）などのネットワーク３に接続して構成される。ヘッドマウントディスプレイ装置４０は無線ルータ５と無線通信で接続され、無線ルータ５を介してネットワーク３に接続されている。

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク３を通じて送信したりするスキャン機能、ＰＣ４などからネットワーク３を通じて受信した印刷データに係る画像を記録紙上に画像形成して印刷出力するプリンタ機能などを備えた、所謂、複合機（ＭＦＰ）である。なお、画像形成装置１０は少なくともプリンタ機能を備える装置であれば、他の機能はなくてもよい。

ヘッドマウントディスプレイ装置４０は、ユーザの見ている光景（現実空間）を撮影するカメラ部５２（図３参照）を備えている。ヘッドマウントディスプレイ装置４０はこのカメラ部５２で撮影した映像を解析して、ユーザの見ている光景の中に存在する画像形成装置１０を認識する。また、その認識した画像形成装置１０と通信して、画像形成装置１０に投入されたジョブの実行状況を示す情報（ジョブ情報）を取得する。そして、この取得したジョブ情報に基づいて、ジョブの実行状況を示す画像を作成し、該画像をユーザの見ている光景（現実空間）内の画像形成装置１０に重ね合わせた拡張現実空間を表示する。

具体的には、ジョブで使用される用紙を仮想的に示す仮想用紙を、該ジョブの実行状況（「処理待ち」、「処理中」、「完了」）に対応した通紙経路上の位置に表示することでそのジョブの実行状況を示す。たとえば、「処理待ち」（待機中）ならば給紙トレイの位置に、「処理中」ならば搬送経路の途中に、「完了」ならば排紙トレイの位置に仮想用紙が表示される。仮想用紙は図形や文字などで表される。

図２は、ヘッドマウントディスプレイ装置４０を装着したユーザが画像形成装置１０を見たときの表示状態（拡張現実空間）の一例を示している。ヘッドマウントディスプレイ装置４０はメガネのようにユーザの頭に装着されて使用される。ヘッドマウントディスプレイ装置４０は、装着時に装着者の左右の目の前にそれぞれ配置されるメガネのレンズ部分に対応した透過部４１と、左右の透過部４１の間を繋ぐブリッジ４２と、左右の透過部４１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル部４３を備えて構成される。

ヘッドマウントディスプレイ装置４０はユーザの見ている実際の光景に、仮想的に表示すべき部分の画像だけを重ね合わせる方式（所謂、光透過型）を採用している。透過部４１を通してユーザは現実世界を見る。透過部４１には画像を表示可能な半透明な表示スクリーン部４４が設けてあり、任意の画像を現実世界の光景に重ね合わせることで拡張現実空間をユーザに見せる。

図２は、ヘッドマウントディスプレイ装置４０の透過部４１上の表示スクリーン部４４に、仮想的に通紙経路を表した仮想通紙経路８１と、仮想的に用紙を表した仮想用紙８２の画像を、現実世界の画像形成装置１０に重ね合わさるようにして表示した状態の一例を示している。

図３は、画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、画像読取部１７、操作部１８、表示部１９、ネットワーク通信部２０、無線通信部２１、画像処理部２２、プリンタ部２４などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。

画像読取部１７は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１７は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１７の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。

操作部１８と表示部１９はユーザからジョブの投入などの操作を受ける操作パネルを構成する。表示部１９は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部１８は、スタートボタンなどの各種操作スイッチと、表示部１９の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部１９の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。

ネットワーク通信部２０は、ＬＡＮなどのネットワーク３を通じてＰＣ４や他のサーバなどの外部装置と通信する機能を果たす。ネットワーク通信部２０は、無線ＬＡＮの機能も有する。画像形成装置１０は２０を通じてＰＣ４などからジョブの投入を受ける。無線通信部２１は、ヘッドマウントディスプレイ装置４０等と無線通信する機能を果たす。

画像処理部２２は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２４は、画像データに応じた画像を用紙上に画像形成する機能を果たす。プリンタ部２４は用紙上に画像を形成する画像形成部２５、用紙を搬送する搬送部２６などを備えて構成される。画像形成部２５は、たとえば、感光体ドラム、帯電装置、レーザーユニット、現像装置、転写分離装置、クリーニング装置、定着装置などを有し、電子写真プロセスによって画像形成を行う。搬送部２６は、多数の用紙を収納した給紙トレイ２７、手差しトレイ２８などから印刷に使用する用紙を繰り出し、画像形成部２５を経て、排紙トレイ２９へ排出するように搬送する。

画像形成装置１０は、ヘッドマウントディスプレイ装置４０からジョブ情報の取得要求を受信すると、当該画像形成装置１０に投入されている各ジョブの実行状況を示すジョブ情報を作成し、ヘッドマウントディスプレイ装置４０に対して送信する機能を備えている。ここでは、処理待ちのジョブ、処理中のジョブ、処理完了から所定時間が経過していないジョブについてそれぞれジョブ情報を作成してヘッドマウントディスプレイ装置４０へ送信する。一のジョブ情報には、当該画像形成装置１０の装置ＩＤ、装置タイプ、ジョブＩＤ、ジョブ種別、該ジョブを投入したユーザのユーザＩＤ、ジョブの状態（処理待ち、処理中、完了）、給紙トレイ番号、排紙トレイ番号、トータルページ数、処理待ちの場合は処理順位（待っているジョブの中で先頭から何番目かを示す情報）、処理中の場合は現在処理中のページのページ番号とそのページの印刷に使用される用紙の通紙経路上の位置情報、完了の場合は処理完了の時刻などの情報が含まれる。

なお、ヘッドマウントディスプレイ装置４０は、装置タイプ別に通紙経路のレイアウト、給紙トレイや排紙トレイの位置などを示すレイアウト報を予め記憶しており、画像形成装置１０から取得したジョブ情報に含まれる装置タイプの情報から、その画像形成装置１０に対応するレイアウト情報を特定し、通紙経路、給紙トレイの数や位置などを認識するようになっている。

図４は、ヘッドマウントディスプレイ装置４０の電気的な概略構成を示している。ヘッドマウントディスプレイ装置４０は、制御部としてのＣＰＵ４６にバスを介してＲＯＭ４７、ＲＡＭ４８、不揮発メモリ４９、方位センサー部５１、カメラ部５２、操作部５３、前述の表示スクリーン部４４、無線通信部５４、画像処理部５５などを接続して構成される。

ＣＰＵ４６はＲＯＭ４７に格納されているプログラムに従ってヘッドマウントディスプレイ装置４０の動作を制御する。ＲＯＭ４７にはプログラムや固定データが記憶されている。ＲＡＭ４８はＣＰＵ４６がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４９には、各種の設定情報が記憶される。

方位センサー部５１は、ヘッドマウントディスプレイ装置４０の向きや姿勢およびその変化を検出する。方位センサー部５１は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部５１は、ヘッドマウントディスプレイ装置４０を装着しているユーザの姿勢やユーザが向いている方向や角度（これらは、カメラ部５２が撮影している方向や向きと一致）を検出したり、ヘッドマウントディスプレイ装置４０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４６へ通知する。ＣＰＵ４６は、方位センサー部５１からの通知に基づいて、ヘッドマウントディスプレイ装置４０を装着しているユーザの姿勢、角度、傾けられたりした動作の向きや速さを認識する。

カメラ部５２は、ヘッドマウントディスプレイ装置４０の前方（装着者が見ている光景）を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部５２は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。

操作部５３は少数のスイッチ等であり、表示スクリーン部４４に表示する画像の明るさなどの調整に使用される。

無線通信部５４は、無線ルータ５と無線通信し、該無線ルータ５およびネットワーク３を介して画像形成装置１０と各種の情報を授受する機能を果たす。無線通信部５４は画像形成装置１０と近距離無線通信するものであってもよい。

画像処理部５５は、表示スクリーン部４４に表示する画像の拡大・縮小、変形などを行う。

次に、ヘッドマウントディスプレイ装置４０がカメラ部５２の撮影画像内の画像形成装置１０を認識する方法について説明する。

ヘッドマウントディスプレイ装置４０の表示スクリーン部４４上で画像形成装置１０に重ねて仮想用紙８２や仮想通紙経路８１を表示するには、ユーザの見ている光景内で画像形成装置１０の位置を特定する必要がある。ここでは、目印となる特定マーク９１（図５参照）を用いて画像形成装置１０の位置を認識する方法を示す。

図５は、画像形成装置１０に特定マーク９１を付加したものの一例を示している。ヘッドマウントディスプレイ装置４０はカメラ部５２の撮影した画像内にある特定マーク９１を画像処理により検出する。特定マーク９１は複数種類あり、形状、色、模様でそれぞれ区別される。

精度高く画像形成装置１０の位置や向きを特定するためには、１台の画像形成装置１０に対して２つ以上の特定マーク９１が検出されることが望ましい。ヘッドマウントディスプレイ装置４０は検出された特定マーク９１の大きさや検出された複数の特定マーク９１の位置関係により画像形成装置１０の位置や距離（大きさ）や向きを特定し、重ねあわせのための描画位置等を決定する。

なお、特定マーク９１はどの方向から画像形成装置１０を見た場合でも少なくとも２つ見えるように、画像形成装置１０の四方に設けることが望ましい。このほかに画像処理ではなく、所定のセンサを使用して画像形成装置１０の位置を特定してもよい。

また、対象となる画像形成装置１０が複数台存在する場合は、それぞれの画像形成装置１０を一意に特定可能な識別情報が特定マーク９１などに付加される。たとえば、第１の画像形成装置１０と第２の画像形成装置１０とで特定マーク９１の色や形状を相違させることで、各画像形成装置１０を一意に特定可能に、すなわち、画像内の各画像形成装置１０の装置ＩＤを特定できるようにする。

次に、ヘッドマウントディスプレイ装置４０がジョブの実行状況を表示する処理の流れについて説明する。

図６は、前述の特定マーク９１を用いて画像形成装置１０を認識し、その画像形成装置１０でのジョブの実行状況を仮想用紙で表示する処理の流れを示している。

ヘッドマウントディスプレイ装置４０は、カメラ部５２の撮影している画像を画像処理によって解析して前述の特定マーク９１を検出する（ステップＳ１０１）。特定マーク９１を検出できない場合は（ステップＳ１０１；Ｎｏ）特定マーク９１の検出処理を繰り返す。

特定マーク９１を検出できた場合は（ステップＳ１０１；Ｙｅｓ）、検出した特定マーク９１を用いて画像形成装置１０の位置等を特定可能か否かを判断する（ステップＳ１０２）。たとえば、１台の画像形成装置１０について特定マーク９１を２以上検出できた場合は特定可能と判断し、１台の画像形成装置１０に対して１つしか特定マーク９１を検出できない場合は、その画像形成装置１０の位置等は特定不可であると判断する。

特定マーク９１により画像形成装置１０の位置等を特定できない場合は（ステップＳ１０２；Ｎｏ）、ステップＳ１０１に戻って処理を継続する。

特定マーク９１により１台以上の画像形成装置１０の位置等を特定できた場合は（ステップＳ１０２；Ｙｅｓ）、位置を特定できた各画像形成装置１０からジョブ情報を取得する（ステップＳ１０３）。たとえば、ユーザが画像形成装置１０から比較的遠く離れた席にいる場合には、ユーザの見ている光景（視界）の中に２台以上の画像形成装置１０が含まれる場合があり、このような場合はユーザの見ている光景の中に存在するそれぞれの画像形成装置１０からジョブ情報を取得する。

ここではヘッドマウントディスプレイ装置４０は、位置等を特定できた各画像形成装置１０の装置ＩＤを特定マーク９１に付加された識別情報（色や形）に基づいて認識し、その装置ＩＤを持つ画像形成装置１０に対してジョブ情報の取得要求を送信する。ジョブ情報の取得要求を受信した画像形成装置１０は、自装置に投入されている各ジョブ（処理待ちのジョブ、処理中のジョブ、処理完了から所定時間が経過していないジョブ）について前述したジョブ情報を作成してヘッドマウントディスプレイ装置４０へ送信する。

画像形成装置１０からジョブ情報を受信したヘッドマウントディスプレイ装置４０は、該ジョブ情報に基づいてジョブの実行状況を示す仮想用紙等を、ユーザの見ている光景の中の対応する画像形成装置１０に重ね合わせて表示する仮想用紙表示処理を行う（ステップＳ１０４）。その後、ステップＳ１０１に戻って処理を継続する。処理を繰り返すことで、現時点のジョブの実行状況が逐次反映された表示が行われる。たとえば、仮想用紙が仮想の通紙経路上を移動する様子が動画のように表示される。

図７は、仮想用紙表示処理（図６のステップＳ１０４）の詳細な流れを示している。なお、図７は１台の画像形成装置１０から受信したジョブ情報に対する処理を示しており、対象の画像形成装置１０が複数台の場合は、それぞれの画像形成装置１０に対して図７の処理が行われる。

１台の画像形成装置１０から複数のジョブについてジョブ情報を受信した場合もあるため、該画像形成装置１０から受信したすべてのジョブ情報のそれぞれについてステップＳ２０１とＳ２１６の間の処理が行われる。まず、注目するジョブ情報の示すジョブ（以後、注目するジョブとする）が本人（当該ヘッドマウントディスプレイ装置４０を装着しているユーザ）のジョブか否かを判断する（ステップＳ２０２）。なお、ヘッドマウントディスプレイ装置４０には、当該ヘッドマウントディスプレイ装置４０を装着しているユーザのユーザＩＤが登録されており、画像形成装置１０から受信したジョブ情報に含まれるユーザＩＤと一致するか否かにより、上記の判断が行われる。なお、いずれの場合にも仮想通紙経路８１を該当する画像形成装置に重ねて表示する。

注目するジョブが本人のジョブである場合は（ステップＳ２０２；Ｙｅｓ）、仮想用紙の書式を本人用に設定してステップＳ２０５へ移行する。注目するジョブが本人のジョブでない場合は（ステップＳ２０２；Ｎｏ）、仮想用紙の書式を他人用に設定してステップＳ２０５へ移行する。

ステップＳ２０５では注目するジョブの実行状況が「完了」か否かを判断する。「完了」の場合は（ステップＳ２０５；Ｙｅｓ）、該当する画像形成装置１０の当該ジョブで指定された排紙トレイ番号に対応する排紙トレイ２９の位置に仮想用紙を表示して（ステップＳ２０６）、本処理を終了する（リターン）。この仮想用紙は１つで１つのジョブを示す。

なお、ヘッドマウントディスプレイ装置４０は、「完了」のジョブに対応する仮想用紙８８の表示は、表示を開始した後、一定時間（たとえば、３秒）が経過したときに消去する。画像形成装置１０は排紙トレイ２９に排紙した用紙が取り出されたか否かを検知しないので、排紙トレイ２９に表示した仮想用紙８８を、該仮想用紙８８に対応する用紙が排紙トレイ２９から取り出されたタイミングに合わせて消去することはできない。そこで、排紙トレイに重ねて表示した仮想用紙８８は、その表示後、一定時間で消去するようにしている。なお、排紙トレイに代えて、画像形成装置１０本体の排紙口の近くに仮想用紙を表示するようにしてもよい。排紙先の排紙トレイを特定できない場合などに有効である。図１１は、「完了」のジョブに対応する仮想用紙８８を排紙口の近傍に表示した状態の一例を示している。

注目するジョブの実行状況が「完了」でない場合は（ステップＳ２０５；Ｎｏ）、注目するジョブが画像形成装置１０において「処理中」か否かを判断する（ステップＳ２０７）。注目するジョブが「処理中」でなければ（ステップＳ２０７；Ｎｏ）、該ジョブは「処理待ち」のジョブである。そこで、該ジョブで指定されている給紙トレイ番号に対応する給紙元（給紙トレイ２７もしくは手差しトレイ２８）の位置に仮想用紙を表示して（ステップＳ２０８）、本処理を終了する（リターン）。この仮想用紙は１つで１つのジョブを示す。

注目するジョブが「処理中」の場合は（ステップＳ２０７；Ｙｅｓ）、ステップＳ２０９とステップＳ２１５の間の処理を該ジョブのすべての用紙のそれぞれについて行う。

まず、注目する用紙の位置に仮想用紙を描画する（ステップＳ２１０）。注目する用紙のページ番号をＰ１、ジョブ情報が示す処理中のページのページ番号をＰ２とし、Ｐ２＞Ｐ１ならば、注目する用紙は処理済みなので、当該ジョブで指定された排紙トレイ番号に対応する排紙トレイ２９の位置に、注目する用紙に対応する仮想用紙を表示する。このとき排紙済みの用紙の量（枚数）を数値あるいは仮想用紙の大きさや積み重ねの高さなどで示すようにしてもよい。

Ｐ２＝Ｐ１ならば、注目する用紙は画像形成の途中であって通紙経路上にある。そこで、ジョブ情報から当該ページの印刷に使用される用紙の通紙経路上の位置情報を取得し、それに対応する位置に仮想用紙を表示する。

Ｐ１＞Ｐ２ならば、注目する用紙は「処理待ち」の状態にあるので、該当する給紙元の位置に、この注目する用紙に対応する仮想用紙を表示する。このとき未処理のページの量（枚数）を数値あるいは仮想用紙の大きさや積み重ねの高さなどで示すようにしてもよい。

次に、注目する用紙が当該ジョブの中の最初の用紙か否かを判断する（ステップＳ２１１）。最初の用紙でなければステップＳ２１３へ移行する。最初の用紙であれば（ステップＳ２１１；Ｙｅｓ）、当該用紙に対応する仮想用紙に、最初の用紙を示す識別情報を付加して表示し（ステップＳ２１２）、ステップＳ２１３へ移行する。たとえば、仮想用紙を示す図形の中に「Ｓ」の文字を表示して、最初の用紙であることを識別表示する。

ステップＳ２１３では、注目する用紙が当該ジョブの中の最後の用紙か否かを判断する。最後の用紙でなければステップＳ２１５へ移行する。最後の用紙であれば（ステップＳ２１３；Ｙｅｓ）、当該用紙に対応する仮想用紙に、最後の用紙を示す識別情報を付加して表示し（ステップＳ２１４）、ステップＳ２１５へ移行する。たとえば、仮想用紙を示す図形の中に「Ｅ」の文字を表示して、最後の用紙であることを識別表示する。

なお、処理中のジョブについては、排紙トレイや給紙トレイの位置に仮想用紙を表示しないようにしてもよい。この場合、通紙経路上に表示する仮想用紙に、「ｍ／ｎ」（ｍは当該ページのページ番号、ｎはトータルページ数）のような表示を付加すると、ジョブの進行状況を表すことができる。

図８は、最初の用紙および最後の用紙に対応する仮想用紙を通紙経路上に表示した場合の表示例を示している。円型の仮想用紙８３は、他人のジョブの仮想用紙を示す。星型の仮想用紙８４は本人のジョブの仮想用紙を示す。図８の例では、他人の第１ジョブの最後のページに対応する仮想用紙８３ａと、他人の第２ジョブの最初のページに対応する仮想用紙８３ｂとが仮想通紙経路８１上に表示されている。これにより、ジョブの切れ目が認識される。最初と最後の双方を識別表示する代わりに、いずれか一方のみを識別表示してもよい。この場合もジョブの切れ目を識別することができる。また、隣り合うジョブで仮想用紙の色や形を相違させる等により、ジョブの切れ目を認識可能に表示してもよい。

図９は、複数のジョブが「処理待ち」の状態にある場合の表示例を示している。同図では、枠線を施した仮想用紙はジョブ単位に用紙を示している。給紙トレイ２９の位置に重ね合わせて表示された仮想用紙８３、８５ｂ、８５ｃは枠線を備えており、ジョブ単位のものである。仮想通紙経路８１上に表示された「処理中」のページに対応する仮想用紙８５ａは、枠線がなく、１枚の用紙に対応したものである。また、星型は本人のジョブに対応する仮想用紙８４であり、矩形は他人のジョブに対応する仮想用紙８５ａ、８５ｂ、８５ｃである。

「処理待ち」のジョブに対応する仮想用紙８４、８５ｂ、８５ｃは、給紙トレイ２９の位置に重ねて、右から左にジョブの実行順に（先に実行されるものほど右側に）表示される。「処理待ち」のジョブに対応する各仮想用紙８４、８５ｂ、８５ｃは、そのジョブで指定された給紙トレイ番号に対応する給紙トレイ２９の位置に重ね合わせて表示される。図９の例では、待ち順が先頭から２番目のジョブに対応する仮想用紙８５ｃは「処理待ち」の他のジョブの仮想用紙８４、８５ｂと異なる給紙トレイ２７に重ねて表示されている。図９のような表示により、ヘッドマウントディスプレイ装置４０を装着しているユーザは、本人のジョブが「処理待ち」のジョブの中で先頭から３番目のジョブであること、そのジョブで使用される給紙トレイは上から３段目であることを、一目で確認することができる。

図１０では、給紙トレイ２７に重ねて表示された各仮想用紙８６はジョブ単位のものであり、それぞれ、ジョブの量（印刷枚数）に対応する高さに（縦の棒グラフのように）表示されている。また、「処理待ち」のジョブに対応する各仮想用紙８６にはそのジョブの印刷枚数を示す数値が付加されている。ジョブの量は、棒グラフ以外の形態で表現されてもよい。また、ジョブの量は、仮想用紙の形態（高さ等）と数値のいずれか一方のみで表されてもよい。

このように、本実施の形態に係るヘッドマウントディスプレイ装置４０を使用することにより、ユーザは、遠くからでも各画像形成装置１０でのジョブの実行状況を迅速かつ容易に確認することができる。たとえば、オフィスの１箇所に複数台の画像形成装置１０が併置されているような場合に、遠くの自分の席からその複数台の画像形成装置１０をヘッドマウントディスプレイ装置４０を装着して眺めると、自分のジョブが実行される画像形成装置１０に重ねて、本人用の仮想用紙が表示される。これにより、どの画像形成装置１０で自分のジョブが実行されるかを、実際の画像形成装置１０上で一目で把握することができる。実際の画像形成装置１０に重ねて仮想用紙が表示されるので、装置ＩＤなどの表示で出力先の画像形成装置１０が通知される場合に比べて、どの画像形成装置１０で出力されるかを、実際の場所を含めて容易に認識することができる。

たとえば、ユーザはプリントサーバにジョブを送信し、プリントサーバが複数台の画像形成装置１０のいずれかにジョブを割り振るような場合に、自分のジョブがどの画像形成装置１０で実行されるかを、上記のように実物の画像形成装置１０が特定されて明確に認識することができる。

また、自分のジョブが「処理待ち」の場合、自分のジョブで使用する用紙の給紙元となる給紙トレイの位置に重ねて本人用の仮想用紙が表示されるので、どの給紙トレイに用紙を補充すべきかを的確に認識して、用紙の補充作業を行うことができる。

さらに、本人および他人の「処理待ち」の各ジョブに対応する仮想用紙が、給紙トレイに重ねて実行順に表示されるので、自分のジョブの出力物をいつごろ画像形成装置１０に取りに行けばよいかを一目で認識することができる。

さらに、処理中のジョブについては各ページに対応する仮想用紙が通紙経路上に表示される（表示が更新されることで、実際の通紙経路上の用紙の動きに合わせて仮想用紙が移動するように表示される）ので、たとえば、大量印刷を行う他人のジョブとジョブの間で、１枚だけの印刷を行う自分のジョブが実行されるような場合に、自分のジョブの用紙が通紙経路上を移動して処理される様子を、まさにそのタイミングで仮想用紙の移動表示によって確認することができる。これにより、自分のジョブに係わる１枚の出力物が排紙されたときにその出力物を取り行くことができ、この１枚の出力物を排紙トレイから容易に取り出すことができる。

特に、ジョブの切れ目が分かる情報が仮想用紙に付加されるので、ジョブの切れ目が容易に分かり、そのタイミングで画像形成装置１０を注視すればよいので、自分の出力物が排紙されるのを注視して待つユーザの負担が軽減される。また、ジョブの切れ目が分かるので、他人のジョブが複数連続したり、自分のジョブが複数連続したりするような場合でもそれぞれのジョブの境界を明確に認識することができる。

また、通紙経路上を仮想用紙が順次移動する様子が表示されるので、画像形成装置１０が正常に動作していることを直感的に認識することができる。逆に言えば、仮想用紙の移動が停止した場合には、その表示により、画像形成装置１０で異常が生じていることを認識することができる。

さらに、複数の画像形成装置１０が存在する場合には、仮想用紙が通紙経路上を移動する様子を見ることで、それぞれの画像形成装置１０の処理速度も直感的に認識することができる。従って、ヘッドマウントディスプレイ装置４０を装着して画像形成装置１０を遠くから眺めるだけで、「処理待ち」のジョブの量の多少や、処理速度の高低などを一瞬で直感的に認識でき、自分のジョブをどの画像形成装置１０へ投入すべきかの判断を容易に行うことができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、好ましい態様として仮想通紙経路８１を表示したが、仮想通紙経路８１は必ずしも表示されなくてもよい。また、仮想用紙の表示形態は実施の形態に例示したものに限定されない。

実施の形態では、ヘッドマウントディスプレイ装置４０がジョブ情報を画像形成装置１０から直接取得する例を示したが、たとえば、ジョブの実行状況を一括管理するサーバなどから取得するように構成されてもよい。

ジョブ情報表示装置は、画像形成装置１０からジョブ情報を取得して仮想用紙等の表示を行うヘッドマウントディスプレイ装置４０として構成されてもよいし、ジョブ情報を送信する機能を備えた画像形成装置１０とヘッドマウントディスプレイ装置４０とを含むシステムとして構成されてもよい。システムとして構成する場合のヘッドマウントディスプレイ装置４０と画像形成装置１０との機能分担は任意でよい。たとえば、ヘッドマウントディスプレイ装置４０はカメラ部５２で撮影した画像を画像形成装置１０へ送信し、これを受信した画像形成装置１０がジョブ情報に対応して仮想用紙等を画像形成装置１０に位置合わせして表示する画像を作成してヘッドマウントディスプレイ装置４０へ送信し、ヘッドマウントディスプレイ装置４０はこの受信した画像を表示スクリーン部４４に表示する、といった機能分担でもよい。

実施の形態では仮想用紙などはヘッドマウントディスプレイ装置４０で表示するようにしたが、たとえば、カメラ付きの携帯端末などでもかまわない。カメラの撮影した画像内の画像形成装置１０に重ね合わせて仮想用紙や仮想通紙経路を表示するようにすればよい。

２…情報システム
３…ネットワーク
４…ＰＣ
５…無線ルータ
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…自動原稿搬送部
１７…画像読取部
１８…操作部
１９…表示部
２０…ネットワーク通信部
２１…無線通信部
２２…画像処理部
２４…プリンタ部
２５…画像形成部
２６…搬送部
２７…給紙トレイ
２８…手差しトレイ
２９…排紙トレイ
４０…ヘッドマウントディスプレイ装置
４１…透過部
４２…ブリッジ
４３…ツル部
４４…表示スクリーン部
４６…ＣＰＵ
４７…ＲＯＭ
４８…ＲＡＭ
４９…不揮発メモリ
５１…方位センサー部
５２…カメラ部
５３…操作部
５４…ネットワーク通信部
５４…無線通信部
５５…画像処理部
８１…仮想通紙経路
８２…仮想用紙
８３…仮想用紙（他人のジョブ）
８４…仮想用紙（本人のジョブ）
８５…仮想用紙（他人のジョブ）
８６…仮想用紙（ジョブの量を示す）
８８…仮想用紙（完了ジョブ）
９１…特定マーク

Claims (12)

1. ユーザの見ている現実空間に画像を合成した拡張現実空間を表示するＡＲ表示部と、
   前記ユーザの見ている現実空間に存在する画像形成装置を認識する認識部と、
   前記認識部によって認識された画像形成装置に投入されたジョブの実行状況を示す情報を取得する情報取得部と、
   前記情報取得部によって取得した前記情報に基づいて、前記ジョブの実行状況を該ジョブが実行される画像形成装置の通紙経路上の仮想用紙で表した拡張現実空間を前記ＡＲ表示部に表示させる制御部と
   を有する
   ことを特徴とするジョブ情報表示装置。
2. 前記表示制御部は、当該ジョブ情報表示装置のユーザが投入したジョブに係る前記仮想用紙を他のユーザが投入したジョブに係る前記仮想用紙と識別可能に表示する
   ことを特徴とする請求項１に記載のジョブ情報表示装置。
3. 当該ジョブ情報表示装置のユーザが投入したジョブに係る前記仮想用紙と他のユーザが投入したジョブに係る前記仮想用紙の色を相違させる
   ことを特徴とする請求項２に記載のジョブ情報表示装置。
4. 当該ジョブ情報表示装置のユーザが投入したジョブに係る前記仮想用紙と他のユーザが投入したジョブに係る前記仮想用紙の形状を相違させる
   ことを特徴とする請求項２または３に記載のジョブ情報表示装置。
5. ジョブの境界を識別可能に前記仮想用紙を表示する
   ことを特徴とする請求項１乃至４のいずれか１つに記載のジョブ情報表示装置。
6. 待機中のジョブに対応する前記仮想用紙は、該ジョブで使用される用紙の給紙トレイに重ねて表示する
   ことを特徴とする請求項１乃至５のいずれか１つに記載のジョブ情報表示装置。
7. 前記待機中のジョブに対応する前記仮想用紙に、該ジョブの印刷枚数を示す情報を付加して表示する
   ことを特徴とする請求項６に記載のジョブ情報表示装置。
8. 待機中のジョブが複数存在する場合は、待機中の各ジョブに対応する前記仮想用紙を、ジョブの実行順に並べて表示する
   ことを特徴とする請求項６または７に記載のジョブ情報表示装置。
9. 印刷の完了したジョブに対応する前記仮想用紙は、排紙トレイに重ねて、もしくは排紙トレイの近傍に表示する
   ことを特徴とする請求項１乃至８のいずれか１つに記載のジョブ情報表示装置。
10. 前記印刷の完了したジョブに対応する前記仮想用紙は、該ジョブの実行が完了してから所定時間の経過後に消去する
    ことを特徴とする請求項９に記載のジョブ情報表示装置。
11. 通紙経路を仮想的に表した仮想通紙経路を表示する
    ことを特徴とする請求項１乃至１０のいずれか１つに記載のジョブ情報表示装置。
12. 前記ＡＲ表示部は、ヘッドマウントディスプレイである
    ことを特徴とする請求項１乃至１１のいずれか１つに記載のジョブ情報表示装置。