JP2012014406A - 情報処理システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】利用者が実機種を表示装置越しに見ることによって、仮想的に表示された他機種を操作し、利用者が所望する他機種の機能を呼び出す技術を提供することを目的とする。
【解決手段】情報処理装置と、撮像手段を有する表示装置と、を含む情報処理システムであって、表示装置は、撮像手段で撮像された一の機能を有しない第一の処理装置と、一の機能を有する第二の処理装置の画像と、を重畳して表示し、撮像手段で撮像された撮像画像を情報処理装置に送信し、情報処理装置は、表示装置より受信した撮像画像より第一の処理装置の利用者が一の機能を利用する操作をしたことを検知した場合、一の機能を提供する処理を実行するによって課題を解決する。
【選択図】図９

Description

本発明は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。

近年、複写機等の画像形成装置は、スタンドアローンのコピー機能だけでなく、外部のコンピュータ装置とネットワークを介して接続し、コンピュータ側からのデータを印刷するプリント機能等を有する画像処理システムが提案されている。このような画像処理システムは、画像形成装置のスキャナでスキャンした原稿を、電子データファイルへ変換し、ネットワーク経由で外部のコンピュータ装置へ送信するセンド機能等も有する。
また、近年、現実空間と仮想空間とが融合した周知の複合現実空間を利用者に提示するための複合現実感システムの利用が提案されている。
撮像・表示装置としては、カメラ付きＨＭＤ（ヘッド・マウント・ディスプレイ）がよく用いられる。ＨＭＤの撮像系及び表示系を左右独立させ、両眼視差による立体視も実現されている。
このような複合現実感システムにおいて、ＣＡＤ等のデータを仮想空間における仮想物体として仮想空間中に配置し、これを上記視点の位置、視線方向から見た場合の映像を生成してＨＭＤが有する表示装置に表示する技術が提案されている。この方式によれば、現実空間映像の中に仮想のＣＡＤデータに応じた仮想画像を表示し、更に仮想表示する際に実際の手と重ならないような表示を可能としている（特許文献１参照）。

特開２００５−３３９２６６号公報

特許文献１に記載の方式は、共通して仮想空間の映像を視覚的な観点で生成し、仮想物体を現実空間映像に重畳させて利用者に提示することを主な目的としており、目の前にある画像形成装置と異なる他の画像形成装置の機能を提供することは考慮されていない。
例えば、特許文献１の記述によれば、画像形成装置の実機種をＨＭＤ越しに見ると、他機種の画像形成装置が仮想物体として重畳して表示される。ここで、仮想的に表示された他機種の画像形成装置のＵＩを操作することが可能であるが、実機種には前記ＵＩの操作に対応する機能がない場合がある。そのため、仮想物体である他機種の画像形成装置にしかない機能を利用する、或いは使用するためには実機種を利用するしかなく、実際に製品を所有する、或いは製品が設置されているところまで移動して利用するしかなかった。

本発明はこのような問題点に鑑みなされたもので、利用者が実機種を表示装置越しに見ることによって、仮想的に表示された他機種を操作し、利用者が所望する他機種の機能を呼び出す技術を提供することを目的とする。

そこで、本発明は、情報処理装置と、撮像手段を有する表示装置と、を含む情報処理システムであって、表示装置は、撮像手段で撮像された一の機能を有しない第一の処理装置と、一の機能を有する第二の処理装置の画像と、を重畳して表示し、撮像手段で撮像された撮像画像を情報処理装置に送信し、情報処理装置は、表示装置より受信した撮像画像より第一の処理装置の利用者が一の機能を利用する操作をしたことを検知した場合、一の機能を提供する処理を実行する。

本発明によれば、利用者が実機種を表示装置越しに見ることによって、仮想的に表示された他機種を操作し、利用者が所望する他機種の機能を呼び出す技術を提供することができる。

画像処理システムのシステム構成の一例を示す図である。 リーダ部及びプリンタ部の断面の一例を示す図である。 複写装置の操作部の一例を示す図である。 ＨＭＤの概略構成の一例を示す図である。 現実空間の画像形成装置に、他の画像形成装置の映像を重畳した映像の一例を示す図である。 サーバ、ＰＣとして機能するホストコンピュータのハードウェア構成の一例を示す図である。 ＨＭＤのハードウェア構成の一例を示す図である。 ベクトル化処理の一例を示すフローチャートである。 図８のベクトル化処理を用いたベクタスキャン機能の処理の一例を示すフローチャートである。 ジョブ結合印刷の一例を示す図である。 サーバ４０１における、プリントジョブ結合機能の処理の一例を示すフローチャートである。 画像形成装置１００等における、プリントジョブ結合機能の処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、情報処理システムの一例である画像処理システムのシステム構成の一例を示す図である。リーダ部（画像入力装置）２００は、原稿画像を光学的に読み取り、画像データに変換する。リーダ部２００は、原稿を読み取るための機能を持つスキャナユニット２１０と、原稿用紙を搬送するための機能を持つ原稿給紙ユニット２５０とで構成される。
プリンタ部（画像出力装置）３００は、記録紙を搬送し、その上に画像データを可視画像として印字して装置外に排紙する。プリンタ部３００は、複数種類の記録紙カセットを持つ給紙ユニット３１０と、印刷データを記録紙に転写、定着させる機能を持つ印刷ユニット３２０と、印字された記録紙をソート、ステイプルして機外へ出力する機能を持つ排紙ユニット３３０とで構成される。
制御装置１１０は、リーダ部２００、プリンタ部３００、メモリ６００と電気的に接続され、更にネットワーク４００を介して、サーバ４０１、ＰＣ４０２と通信可能に接続されている。
サーバ４０１は、個別のホストコンピュータであってもよいが、同一でもよい。本実施形態では、同一のものとして記載する。サーバ４０１は、情報処理装置の一例である。
ＰＣ４０２は、画像処理装置の一例である画像形成装置１００に対し、プリントジョブを投入するクライアントになる。
制御装置１１０は、リーダ部２００を制御して、原稿の印刷データを読込み、プリンタ部３００を制御して印刷データを記録用紙に出力してコピー機能を提供する。また、制御装置１１０は、リーダ部２００から読み取った原稿を、電子データファイルに変換し、ネットワーク４００を介してホストコンピュータへ送信するスキャン機能を有する。また、制御装置１１０は、ＰＣ４０２からネットワーク４００を介して受信したＰＤＦデータをビットマップデータに変換し、プリンタ部３００に出力するプリンタ機能を有する。更に、制御装置１１０は、スキャンビットマップ、或いは印刷データをメモリ６００に記憶する機能を有する。操作部１５０は、制御装置１１０に接続され、主に液晶タッチパネルで構成され、画像処理システムを操作するためのユーザＩ／Ｆを提供する。

図２は、リーダ部２００及びプリンタ部３００の断面の一例を示す図である。リーダ部２００の原稿給紙ユニット２５０は、原稿を先頭順に１枚ずつプラテンガラス２１１上へ給送して、原稿の読み取り動作終了後、プラテンガラス２１１上の原稿を排出するものである。原稿がプラテンガラス２１１上に搬送されると、ランプ２１２が点灯し、そして光学ユニット２１３の移動が開始され、原稿が露光走査される。このときの原稿からの反射光は、ミラー２１４、２１５、２１６、及びレンズ２１７によってＣＣＤイメージセンサ（以下ＣＣＤという）２１８へ導かれる。このように、走査された原稿の画像は、ＣＣＤ２１８によって読み取られる。ＣＣＤ２１８から出力される画像データは、所定の処理が施された後、制御装置１１０へ転送され、電子的にビットマップ画像として形成される。
プリンタ部３００のレーザドライバ３２１は、レーザ発光部３２２を駆動するものであり、制御装置１１０から出力された画像ビットマップデータに応じたレーザ光をレーザ発光部３２２に発光させる。このレーザ光は、感光ドラム３２３に照射され、感光ドラム３２３にはレーザ光に応じた潜像が形成される。この感光ドラム３２３の潜像の部分には現像器３２４によって現像剤が付着される。
そして、レーザ光の照射開始と同期したタイミングで、カセット３１１及びカセット３１２の何れかから記録紙が給紙されて転写部３２５へ搬送され、感光ドラム３２３に付着された現像剤が記録紙に転写される。現像剤の乗った記録紙は、定着部３２６に搬送され、定着部３２６の熱と圧力とにより現像剤は記像紙に定着される。定着部３２６を通過した記録紙は、排出ローラ３２７によって排紙ユニット３３０に排出さる。また、両面記録が設定されている場合、排出ローラ３２７のところまで記録紙が搬送された後、排出ローラ３２７の回転方向が逆転され、フラッパ３２８によって再給紙搬送路３２９へ導かれる。再給紙搬送路３２９へ導かれた記録紙は、前述したタイミングで転写部３２５へ給紙される。

図３は、複写装置の操作部１５０の一例を示す図である。５０１は、パワースイッチであり、利用者が、これを押すことにより、タッチパネル５１６がＯＮとなり、スキャン、プリント、コピー機能を使用するために、操作することができる。また、利用者が、もう一度押すことにより、タッチパネル５１６がＯＦＦとなり、省電力モードとなる。５１２はテンキーであり、利用者が、画像形成枚数の設定やモード設定の数値入力に使用する。クリアキー５１３は、利用者が、テンキー５１２で入力した設定を無効にする場合に使用する。リセットキー５０８は、利用者が、設定された画像形成枚数や動作モード、選択給紙段等のモードを既定値に戻す場合に使用する。スタートキー５０６は、利用者が、スキャン、コピー等の画像形成を開始する場合に押下するキーである。ストップキー５０７は、利用者が、画像形成動作を停止する場合に使用する。
ガイドキー５０９は、利用者が、あるキー機能が分からない際に押下するキーである。ガイドキー５０９が押下されると、画像形成装置は、機能が分からない操作の説明をタッチパネル５１６に表示する。ユーザモードキー５１０は、利用者が、画像形成装置の設定、例えば、タッチパネルを押したときに、タッチ音を鳴らすかどうかを変更する際等に使用するキーである。５１６は、タッチパネルである。スキャン、プリント、コピーのファンクション毎に設定画面がタッチパネル５１６に表示される。利用者が、描画されたキーに触れることで、詳細な設定、例えばスキャンの場合、スキャン画像のファイル形式、ネットワーク経由でスキャン画像を送る、宛先の設定を行うことが可能である。

次に、表示装置の一例であるＨＭＤ（ヘッドマウントディスプレイ）について説明する。図４は、ＨＭＤ１１１０の概略構成の一例を示す図である。ＨＭＤ１１１０は、同図に示すように、撮像手段の一例であるビデオカメラ１１１１、ＬＣＤ１１１２、光学プリズム１１１３、１１１４により構成されている。ＨＭＤ１１１０は、サーバ４０１と接続され、ビデオカメラ１１１１で撮影された映像に、サーバ４０１から受信した映像を重畳して表示する。
ビデオカメラ１１１１は、光学プリズム１１１４によって導かれた光を撮像する。結果として利用者の視点の位置姿勢に応じて見える現実空間が撮像される。このビデオカメラ１１１１は、本実施形態ではＨＭＤ１１１０内に１つとするが、これに限定されるものではなく、利用者の右目、左目それぞれの位置姿勢に応じて見える現実空間の映像を撮像するために２つ設けてもよい。撮像された映像信号は、サーバ４０１に出力される。ＬＣＤ１１１２は、サーバ４０１が生成し、出力した映像信号を受け、受けた映像信号に基づいた映像を表示するためのものである。本実施形態ではビデオカメラ１１１１が撮像した現実空間の紙媒体に、図１、図２において説明した現実空間の画像形成装置が画像形成し、サーバ４０１より送信された映像を重畳した映像（複合現実空間の映像）が表示される。この表示された映像は光学プリズム１１１３によって利用者の瞳に導かれる。ビデオカメラ１１１１は、撮像手段の一例である。
図５は、現実空間の画像形成装置１００に、他の画像形成装置２１００の映像を重畳した映像の一例を示す図である。

次に、サーバ４０１の機能について説明する。サーバ４０１は、映像を利用したモーションキャプチャ機能を利用して、ＨＭＤ１１１０から入力される現実空間の映像から利用者のアクションを検出する。より具体的には、ＨＭＤ１１１０が、現実空間の画像形成装置１００が有する操作部１５０の位置に、他の画像形成装置２１００の操作部２１５０を表示する。サーバ４０１が、ＨＭＤ１１１０が撮像した撮像画像に基づいて操作者が操作部２１５０を操作するアクションを検出した場合、あたかも他の画像形成装置２１００の操作部２１５０を操作し、他の画像形成装置２１００が有する機能を操作者に提供するができる。この際、ＨＭＤ１１１０は、操作部１５０の平面位置と、他の画像形成装置２１００の操作部の平面位置とを、合わせて表示する。
例えば、画像形成装置１００は有せず、他の画像形成装置２１００が有する機能として、後述するベクタスキャンがある。操作部２１５０を操作者が操作することでサーバ４０１はベクタスキャンを機能させることができる。ベクタスキャンは、一の機能の一例である。また、画像形成装置１００は、第一の処理装置、又は一の機能を有しない画像処理装置の一例である。また、他の画像形成装置２１００は、第二の処理装置、又は一の機能を有する画像処理装置の一例である。

以下、図６を用いて、コンピュータについて説明する。図６は、サーバ４０１、ＰＣ４０２として機能するホストコンピュータのハードウェア構成の一例を示す図である。
図６において、サーバ４０１、ＰＣ４０２は、例えば一般に普及しているパーソナルコンピュータである。サーバ４０１、ＰＣ４０２は、ＨＤ４２０６、ＣＤ−ＲＯＭドライブ（ＣＤ）４２０７、及びＤＶＤ４２０９等に蓄積したり、或いは蓄積されている画像データ等をモニタ４２０２に表示したりすることが可能である。更に、サーバ４０１、ＰＣ４０２は、画像データを、ＮＩＣ４２１０等を用いることによってインターネット等を介して配布させることが可能である。また、ユーザからの各種指示等は、ポインティングデバイス４２１２、及びキーボード４２１３からの入力により行われる。サーバ４０１、ＰＣ４０２の内部では、バス４２０１により後述する各ブロックが接続され、種々のデータの受け渡しが可能である。
図中、４２０２は、サーバ４０１、ＰＣ４０２からの種々の情報を表示することのできるモニタである。４２０３は、サーバ４０１、ＰＣ４０２内の各部の動作を制御、或いはＲＡＭ４２０５にロードされたプログラムを実行することのできるＣＰＵである。４２０４は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭである。４２０５は、ＣＰＵ４２０３にて処理を行うために一時的にプログラムや処理対象の画像データを格納しておくＲＡＭであり、ここにＯＳやＣＰＵ４２０３が後述の各種処理を行うためのプログラムがロードされることになる。４２０６は、ＲＡＭ等に転送されるＯＳやプログラムを格納したり、装置が動作中に画像データを格納したり、読出すために使用されるハードディスク（ＨＤ）である。４２０７は、外部記憶媒体の一つであるＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ等）に記憶されたデータを読み込み或いは書き出すことのできるＣＤ−ＲＯＭドライブである。４２０９も、ＣＤ−ＲＯＭドライブ４２０７と同様にＤＶＤ−ＲＯＭからの読み込み、ＤＶＤ−ＲＡＭへの書き出しができるＤＶＤ−ＲＯＭ（ＤＶＤ−ＲＡＭ）ドライブである。尚、ＣＤ−ＲＯＭ、ＦＤ、ＤＶＤ−ＲＯＭ等に画像処理用のプログラムが記憶されている場合には、これらプログラムはＨＤ４２０６にインストールされ、必要に応じてＲＡＭ４２０５に転送される。
４２１１は、インターネット等のネットワークに接続するＮＩＣ４２１０にサーバ４０１、ＰＣ４０２を接続するためのＩ／Ｆである。Ｉ／Ｆ４２１１を介してサーバ４０１、ＰＣ４０２は、インターネットへデータを送信したり、インターネットからデータを受信したりする。４２１４は、サーバ４０１、ＰＣ４０２にポインティングデバイス４２１２やキーボード４２１３を接続するためのＩ／Ｆで、Ｉ／Ｆ４２１４を介してポインティングデバイス４２１２やキーボード４２１３から入力された各種の指示がＣＰＵ４２０３に入力される。

図７は、ＨＭＤ１１１０のハードウェア構成の一例を示す図である。図７に示すように、ＨＭＤ１１１０は、制御部４４０１、撮像部４４０２、及び表示部４４０３を含む。制御部４４０１は、入力される情報により、処理を制御する機能を提供する。
利用者が最初にＨＭＤ１１１０を装着した状態、つまりサーバ４０１から仮想空間情報が入力されていない状態の場合、制御部４４０１は、識別認証が行われていないと判断し、ユーザ認証を行う。本実施形態では、認証情報をパスワードとするが、指紋センサーをＨＭＤ１１１０に追加して取得する等してもよい。制御部４４０１は、撮像部４４０２において現実映像を撮像する処理を制御する。撮像部４４０２において撮像された撮像画像は、サーバ４０１に送られる。サーバ４０１は、例えば、仮想情報として映し出された、ランダムに配置されている文字情報に対し、ユーザがそれを見て押す行為をしたか等、モーションキャプチャ機能を使うことで、ユーザとパスワードとの認証情報を取得する。そして、サーバ４０１は、取得した認証情報を用いてユーザ認証を行い、その後、本実施形態の場合、ユーザ認証に成功したユーザが画像形成装置２１００の機能が使えるか否か等を認証する。
撮像部４４０２は、図４に示すビデオカメラ１１１１であり、現実映像を取得する。上述したように、制御部４４０１は、撮像部４４０２が取得した現実映像をサーバ４０１へ出力する。
更に、制御部４４０１は、仮想映像が入力されると表示部４４０３へ仮想映像を渡す。表示部４４０３は、取得した仮想映像を利用者に表示する。なお、仮想映像を利用者に表示している間も、現実映像は撮影され、現実映像は、常時、サーバ４０１へ出力される。

図８は、ベクトル化処理の一例を示すフローチャートである。
スキャナユニット２１０は、原稿を走査し、データを、制御装置１１０へ転送する。制御装置１１０は、受け取ったデータを基に、ビットマップ画像を形成する。
但し、このビットマップ画像のままでファイルを形成すると、画像中に文字があっても、文字として認識されない。そのため、文字検索が不可能となり、利便性が低い。
そのため、ベクトル化機能として、下記に示すとおり、ビットマップ画像の文字領域をブロックセレクションし、文字認識して文字コードに変換する。
本実施形態では、ベクトル化処理を、サーバ４０１で処理する。即ち、画像形成装置１００で画像形成されたビットマップ画像を、サーバ４０１へ転送し、サーバ４０１でベクトル化処理後、サーバ４０１が画像形成装置１００へベクトル化処理後のファイルを送る。
サーバ４０１は、ネットワーク４００経由で、ビットマップ画像を受信する（ステップ２００１）。
次に、サーバ４０１は、受信したビットマップ画像に対し、ブロックセレクション処理を行う。
先ず、サーバ４０１は、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。サーバ４０１は、面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行い白画素の塊を抽出し、更に一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。サーバ４０１は、このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つ領域へ分類していく。サーバ４０１は、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、更に近接する文字が整列良くグループ化可能な部分を文字領域として認識する（ステップ２００２）。

ステップ２００３において、サーバ４０１は、文字があると認識した場合、ステップ２００４へ分岐し、文字がないと認識した場合、ステップ２００６へ分岐する。
ステップ２００２のブロックセレクションで抽出した文字領域に対して文字認識を行う場合、サーバ４０１は、まず該当領域に対し横書き、縦書きの判定を行い、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。
ステップ２００４において、サーバ４０１は、横書き、縦書きの判定では、該当領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断する。サーバ４０１は、文字列及び文字への分解を、横書きならば水平方向の射影を利用して行を切り出し、更に切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。サーバ４０１は、縦書きの文字領域に対しては、水平と垂直とを逆にして上述の処理をすればよい。
文字があると認識した場合、ステップ２００５において、サーバ４０１は、ＯＣＲ処理を行う。ここでは、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを、予め字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。
特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
最後に、文字列を検出した場合、サーバ４０１は、その文字コード列、画像に対する座標と共に、例えばＰＤＦ形式としてファイルを作成し、図８に示す処理を終了する（ステップ２００６）。
なお、本実施形態でのベクトル化処理として、文字コード化を説明した。しかしながら、その他、ビットマップ中の図形を認識し、図形のアウトラインを電子データ化することで、後で、図形単位で電子的に再利用可能な形にすることができる、図形アウトライン処理等を採用してもよい。

図９は、図８のベクトル化処理を用いたベクタスキャン機能の処理の一例を示すフローチャートである。
まず、操作者がＨＭＤ１１１０を装着すると、図５で説明したとおり、現実空間の画像形成装置１００に、他の画像形成装置２１００の映像が重畳された映像（画像）が表示される。また、前述のとおり、サーバ４０１は、ＨＭＤ１１１０からの撮像画像に基づき、操作者が、操作部２１５０を操作するアクションを検出する。そして、操作者が、あたかも、他の画像形成装置２１００の操作部２１５０を操作することで、サーバ４０１等は、他の画像形成装置２１００が有する機能を操作者に提供することができる。
例えば、操作部２１５０には、「ベクタスキャン」というボタンが表示される。また、操作部２１５０には、スキャンした後、画像形成装置１００が、ネットワーク４００経由で送信するアドレス、例えば、「Ｅメールアドレス」のリストが表示される。操作者は、送信したい「Ｅメールアドレス」をリストから選択し、スキャン開始ボタン、即ち本実施形態の場合は、「ベクタスキャン」ボタンを押す。このことにより、操作者は、選択した「Ｅメールアドレス」へ、スキャンされ、処理されたファイルを送信することができる。
サーバ４０１は、操作者が、操作部２１５０の「Ｅメールアドレス」リストの表示に対して特定の「Ｅメールアドレス」の欄にタッチし、その後、操作部２１５０の「ベクタスキャン」というボタン表示に対して、押したという操作を、検知する。サーバ４０１は、検知結果を、画像形成装置１００へ通知する（ステップ２１０１）。

次に画像形成装置１００は、前記通知により、原稿給紙ユニット２５０にセットされている原稿をスキャンし、ビットマップ画像へ変換する（ステップ２１０２）。
画像形成装置１００は、ビットマップ画像を、サーバ４０１へ転送し、サーバ４０１でのベクトル化処理を依頼する。即ち、画像形成装置１００は、ベクトル化処理の機能を有しないため、サーバ４０１へベクトル化処理を依頼する。サーバ４０１でのベクトル化処理は、図８で説明したとおりである（ステップ２１０３）。
図８で説明したベクトル化処理を行ったサーバ４０１より、画像形成装置１００は、処理後のＰＤＦファイルを受信する（ステップ２１０４）。
画像形成装置１００は、ステップ２１０１において、操作部２１５０の「Ｅメールアドレス」で押されたＥメールアドレスに対し、ステップ２１０４で受信したＰＤＦを送信する。
これにより、操作者は、画像形成装置１００において、あたかも画像形成装置２１００を使って、画像形成装置２１００が有するベクトルスキャン機能を使用することができる。また、画像形成装置２１００と画像形成装置１００とが重畳表示され、画像形成装置２１００の操作部２１５０が画像形成装置の操作部１５０の位置に表示される。また、画像形成装置２１００の原稿給紙ユニット２２５０が、画像形成装置１００の原稿給紙ユニットの位置に表示される。したがって、画像形成装置１００の操作者は、臨場感をもって、あたかも画像形成装置２１００を使っているかのような操作で、画像形成装置２１００が有するベクトルスキャン機能を使用することができる。

（第２の実施形態）
ＰＣ４０２でのアプリケーションにて、印刷先として、画像形成装置１００へ印刷する場合、ＰＣ４０２のアプリケーションのプリンタドライバが、画像形成装置１００の制御装置１１０が解釈可能なプリンタ言語であるＰＤＬを、ジョブ単位で送信する。ここで言うジョブとは、ある一つのアプリケーション上で、ある一つのファイルに対し、１回の印刷指令を行う単位であり、例えば、両面印刷等がある。
画像形成装置１００の制御装置１１０は、ＰＣ４０２から受けたＰＤＬジョブを解釈し、メモリ６００へ、ビットマップ画像として展開し、印刷ユニット３２０で印刷し、排紙ユニット３３０へ排紙する。

次に、ジョブ結合印刷について、図１０を用いて説明する。図１０は、ジョブ結合印刷の一例を示す図である。前述したように、ジョブは、ある一つのアプリケーション上で、ある一つのファイルに対し、１回の印刷指令を行う単位である。例えば、図１０では、ある一つのアプリケーション上である一つのファイルに対し、白黒両面印刷をし（ジョブＡ−１）、その後、ある一つのアプリケーション上である一つのファイルに対しカラー４ｉｎ１両面印刷（ジョブＢ−１）をする。その後、ある一つのアプリケーション上である一つのファイルに対し縮小レイアウト無しで白黒片面印刷（ジョブＣ−１）をする様子を示している。これらのアプリケーションは同一であっても、別々であってもよい。また、それぞれのファイルは同一であっても、別々であってもよい。何れにしても、それぞれのジョブをアプリケーションから印刷する際には、利用者がそれぞれのアプリケーションからプリンタドライバを開き、印刷の起動をかける必要がある。一方、これらジョブＡ−１、ジョブＢ−１、ジョブＣ−１が、例えば会議等で使用される１セットのドキュメントで、このドキュメントの単位で、例えば必要部数分、資料が必要となることがある。２部必要となる場合、従来の方法だと、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１を起動する為にプリンタドライバを開き、プリント指令を行う。その後、同様に、ジョブＡ−２、ジョブＢ−２、ジョブＣ−２を起動する為にプリンタドライバを開いてプリント指令を行なわなければならず、部数が多いほど煩わしさが大きい。
ジョブ結合とは、この場合、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１を、結合ジョブＹ−１として結合し、結合ジョブＹ−１に対して、必要な部数、例えば２部、プリントを指令するものであり、個々のジョブ毎にプリントを指令する煩わしさを解消するものである。

一方、本実施形態における画像形成装置１００のメモリ６００には制限があり、ＰＣ４０２から受信するプリントジョブに対し、上記ジョブ結合機能ができない。しかし、サーバ４０１にジョブ結合機能を持たせる。即ち、ＰＣ４０２から受けたプリントジョブを、サーバ４０１へ転送し、ＨＭＤ１１１０で、現実空間の画像形成装置１００に、他の画像形成装置２１００の映像を重畳する。操作者は、他の画像形成装置２１００が有する操作部２１５０から、サーバ４０１で、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１を、結合ジョブＹ−１としてジョブ結合することを指令し、操作部２１５０から、所望の部数分、印刷することが可能となる。他の画像形成装置２１００の実物の装置は、ジョブ結合機能がある為、操作者は、画像形成装置１００を使って、他の画像形成装置２１００のジョブ結合機能を使用することができる。ジョブ結合機能は、一の機能の一例である。

図１１は、サーバ４０１における、プリントジョブ結合機能の処理の一例を示すフローチャートである。ＰＣ４０２のアプリケーションのプリンタドライバから発行されたプリントジョブは、ネットワーク４００経由で、画像形成装置１００が受信した後、サーバ４０１が受信する（ステップ２２０１）。プリントジョブを受信した場合、サーバ４０１は、ＰＤＬを含んだジョブを、ハードディスクに格納する（ステップ２２０２）。画像形成装置１００から、プリントジョブの情報のリクエストが来た場合（ステップ２２０３においてＹｅｓ）、サーバ４０１は、ステップ２２０２で格納したジョブの情報、例えばジョブのファイル名等を画像形成装置へ送信する（ステップ２２０４）。
ステップ２２０４で送ったジョブ情報のジョブのうち、画像形成装置１００で選択された、複数のジョブの結合指示を受けた場合（ステップ２２０５においてＹｅｓ）、サーバ４０１は、処理をステップＳ２２０６に進める。結合するジョブが、例えば、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１であった場合、ステップＳ２２０６においてサーバ４０１は、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１の順でそれらを連続して結合したジョブかのように画像形成装置１００へ転送する。ステップ２２０５におけるジョブ結合の指示の中に、例えば２部等の部数の指示があれば、サーバ４０１は、その部数分だけ繰り返し、ステップ２２０６を繰り返す（ステップ２２０７）。
画像形成装置１００から、ジョブ消去の指示がある場合（ステップ２２０８においてＹｅｓ）、サーバ４０１は、対応する、サーバ４０１内のジョブを消去する（ステップ２２０９）。

図１２は、画像形成装置１００等における、プリントジョブ結合機能の処理の一例を示すフローチャートである。
操作者がＨＭＤ１１１０を装着すると、図５で説明したとおり、現実空間の画像形成装置１００に、他の画像形成装置２１００の映像を重畳した映像が表示される。また、前述のとおり、操作者が、操作部２１５０を操作するアクションが検出され、あたかも、他の画像形成装置２１００の操作部２１５０を操作し、他の画像形成装置２１００が有する機能を提供させることができる。このモードを有効にするか、無効にするかは、図３のユーザモードキー５１０で切り替えることが可能となる。
画像形成装置１００が、ＰＣ４０２からプリントジョブを受信した際（ステップ２３０１）、上記モードが有効かどうかを判定し（ステップ２３０２）、無効の場合は一つのジョブ毎に印刷し（ステップ２３０８）、図１２に示す処理を終了する。有効の場合は、画像形成装置１００は、受信したプリントジョブをサーバ４０１に転送する（ステップ２３０３）。
ステップ２３０４において、サーバ４０１は、ＨＭＤ１１１０からの撮像画像に基づいて、操作部２１５０に対して、ジョブ一覧表示操作のアクション（操作）があったかを判定する。前記アクションがあった場合、サーバ４０１は、図１１で説明したような、サーバ４０１で格納されている、ジョブの一覧を、画像形成装置１００に送信する。画像形成装置１００は、操作部２１５０にジョブの一連を表示する。例えば、「Ａ−１」、「Ｂ−１」、「Ｃ−１」のように、ＰＣ４０２から画像形成装置１００へ投入され、サーバ４０１へ転送された、プリントジョブのファイル名が表示される（ステップ２３０５）。

ステップ２３０６において、サーバ４０１は、ＨＭＤ１１１０からの撮像画像に基づいて、操作部２１５０に対して、ジョブ一覧表示がされているなかで、結合したいジョブを選択し、結合を指示する操作があったかを判定する。例えば、ステップ２３０５で、「Ａ−１」、「Ｂ−１」、「Ｃ−１」というようなジョブ名が表示され、操作者がそれらを選択する。そして、操作者が操作部２１５０に表示される印刷部数、例えば「３部」と入力し、「ジョブ結合プリント」を押すことにより、ステップ２３０７以降で、ジョブ結合、及びプリントが行われる。
ステップ２３０７においては、サーバ４０１は、蓄積しているジョブ「Ａ−１」、「Ｂ−１」、「Ｃ−１」を順次呼び出し、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１の順でそれらを連続して結合したジョブかのように画像形成装置１００へ転送する。ステップ２３０８で、画像形成装置１００は、受信したジョブに基づき、順次プリントする。例えばステップ２３０６で「３部」と指定された場合、サーバ４０１は、ジョブ「Ａ−１」、「Ｂ−１」、「Ｃ−１」を呼び出し、順次プリントを合計３度繰り返す。つまり、ジョブ「Ａ−１」、「Ｂ−１」、「Ｃ−１」が一つのジョブに結合され、そのジョブが３部印刷される結果を得ることができる。

これにより、操作者は、画像形成装置１００で、あたかも画像形成装置２１００を使って、画像形成装置２１００が有するジョブ結合プリント機能を使用することができる。また、画像形成装置２１００が画像形成装置１００と重畳表示、画像形成装置２１００の操作部２１５０が画像形成装置の操作部１５０の位置に表示される。したがって、操作者は、臨場感をもって、あたかも画像形成装置２１００を使っているかのような操作で、画像形成装置２１００が有するジョブ結合プリント機能を使用することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、利用者が実機種を表示装置越しに見ることによって、仮想的に表示された他機種を操作し、利用者が所望する他機種の機能を呼び出す技術を提供することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、表示装置の一例としてＨＭＤを例に説明を行ったが、表示手段と撮像手段とを有する携帯端末型の表示装置であってもよい。また、表示手段は、透過型であってもよいし、非透過型であってもよい。
また、上述した実施形態では、サーバ４０１において操作者等の操作（動作）を検知する例を用いて説明を行ったが、ＨＭＤ１１１０が、撮像した撮像画像に基づいて操作者等の操作（動作）を検知するようにしてもよい。

１００ 画像形成装置
４０１ サーバ
１１１０ ＨＭＤ

Claims (7)

1. 情報処理装置と、撮像手段を有する表示装置と、を含む情報処理システムであって、
   前記表示装置は、前記撮像手段で撮像された一の機能を有しない第一の処理装置と、前記一の機能を有する第二の処理装置の画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信し、
   前記情報処理装置は、前記表示装置より受信した撮像画像より第一の処理装置の利用者が前記一の機能を利用する操作をしたことを検知した場合、前記一の機能を提供する処理を実行する情報処理システム。
2. 前記一の機能は、スキャンに関する機能又はプリントに関する機能であって、
   前記一の機能を有しない第一の処理装置は、前記一の機能を有しない画像処理装置、前記一の機能を有する第二の処理装置は、前記一の機能を有する画像処理装置である請求項１記載の情報処理システム。
3. 前記表示装置は、前記一の機能を有する第二の処理装置の画像を前記情報処理より受信し、前記撮像手段で撮像された一の機能を有しない第一の処理装置と、前記一の機能を有する第二の処理装置の画像と、を重畳して表示する請求項１又は２記載の情報処理システム。
4. 撮像手段を有する表示装置と、ネットワークを介して通信可能な情報処理装置であって、
   前記表示装置より前記撮像手段で撮像された撮像画像を受信し、受信した撮像画像より一の機能を有しない第一の処理装置の利用者が前記一の処理装置に重畳して表示されている前記一の機能を有する第二の処理装置の画像に対して前記一の機能を利用する操作をしたことを検知した場合、前記一の機能を提供する処理を実行する情報処理装置。
5. 情報処理装置と、撮像手段を有する表示装置と、を含む情報処理システムにおける情報処理方法であって、
   前記表示装置が、前記撮像手段で撮像された一の機能を有しない第一の処理装置と、前記一の機能を有する第二の処理装置の画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信するステップと、
   前記情報処理装置が、前記表示装置より受信した撮像画像より第一の処理装置の利用者が前記一の機能を利用する操作をしたことを検知した場合、前記一の機能を提供する処理を実行するステップと、
   を含む情報処理方法。
6. 撮像手段を有する表示装置と、ネットワークを介して通信可能な情報処理装置が実行する情報処理方法であって、
   前記表示装置より前記撮像手段で撮像された撮像画像を受信するステップと、
   前記ステップで受信された撮像画像より一の機能を有しない第一の処理装置の利用者が前記一の処理装置に重畳して表示されている前記一の機能を有する第二の処理装置の画像に対して前記一の機能を利用する操作をしたことを検知した場合、前記一の機能を提供する処理を実行するステップと、
   を含む情報処理方法。
7. 撮像手段を有する表示装置と、ネットワークを介して通信可能なコンピュータに、
   前記表示装置より前記撮像手段で撮像された撮像画像を受信するステップと、
   前記ステップで受信された撮像画像より一の機能を有しない第一の処理装置の利用者が前記一の処理装置に重畳して表示されている前記一の機能を有する第二の処理装置の画像に対して前記一の機能を利用する操作をしたことを検知した場合、前記一の機能を提供する処理を実行するステップと、
   を実行させるプログラム。

Images