JP2015166911A - 画像処理システム、画像処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザが印刷出力を待たされることなく、かつ、一部ページ抜き去りを含めた不慮の持ち去りを防ぐことを目的とする。
【解決手段】監視属性が付与された印刷ジョブの出力結果を監視トレイに出力する出力手段と、監視トレイを撮影する撮影手段と、撮影手段により撮影された映像に基づいて前記監視トレイの出力物領域における動きを検出する検出手段と、検出手段により出力物領域における動きが検出された場合、警告情報を出力する警告情報出力手段と、を有することによって課題を解決する。
【選択図】図１２

Description

本発明は、画像処理システム、画像処理装置、情報処理方法及びプログラムに関する。

オフィス環境では、例えば、コピーやネットワークプリント等、多種多様なジョブを実行できるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）が使われている。また、オフィス環境では、ＭＦＰから離れた席から印刷を実行することが多い。この際、人が印刷を実行してからＭＦＰに出力物をとりに行くまで、出力物はＭＦＰの排紙トレイ上に存在することとなる。ＭＦＰは多くの人が存在する環境下で使用されることが多く、印刷した出力物の不慮の持ち去りが発生することが課題であった。
この課題を解決する方法として、セキュアプリント機能と呼ばれるものがある。これは、人がＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）から印刷ジョブを投入すると、ＭＦＰで１回、印刷ジョブが留め置かれ、人がＭＦＰ操作パネル上で印刷の実行を指示すると印刷が行われる機能である。この機能によれば、人がＭＦＰの前にいる状態で印刷が開始され、印刷した出力物に常に目が届くことになるため、不慮の持ち去りが発生することを確実に防げる。

近年、セキュリティへの関心の高まりを受け、各所に監視目的でネットワークカメラが設置されるようになった。ネットワークカメラにはネットワークに接続され、その映像がネットワーク上の録画装置に蓄積されるものもある。このような、ネットワークカメラとＭＦＰとを組み合わせて、上記課題を解決する方法が提案されている。例えば、特許文献１には、人が印刷を行うとネットワークカメラがＭＦＰ近傍の撮影を開始し、ＭＦＰが排紙トレイの出力物が除去されたことを検知すると、ネットワークカメラが撮影を停止する技術が示されている。人が自分の印刷した出力物が無くなったことに気付いた際に、ネットワークカメラが撮影した映像を見返すことで、誰が持ち去ったかを知ることができる。

特開２００８−１９７１５２号公報

しかしながら、セキュアプリント機能は、出力物の持ち去りは無くせるが、ユーザはＭＦＰの操作パネル上で印刷の実行を指示してから、印刷が完了するまでの間、待たなくてはならない。特に複数ページの印刷を行う場合には長時間待たされることになる。
また、特許文献１の方法では、後で取り返せるにしても、第三者に一時的に持ち去られる可能性がある。また、ＭＦＰの排紙トレイの用紙除去検知は、例えば、排紙トレイ上面に接する紙があるかどうかを判断する程度の簡易な検知方法を採用しているものが殆どである。そのため、出力物が複数枚のとき、途中のページを引き抜かれたとしてもＭＦＰはそれを検知することができない。このような一部ページを抜いてまた戻す盗み見行為があっても、ジョブのオーナーである人が映像を見返さない限り、そのような行為があったことに気付かない。

本発明は、ユーザが印刷出力を待たされることなく、かつ、一部ページ抜き去りを含めた不慮の持ち去りを防ぐことを目的とする。

そこで、本発明の画像処理システムは、監視属性が付与された印刷ジョブの出力結果を監視トレイに出力する出力手段と、前記監視トレイを撮影する撮影手段と、前記撮影手段により撮影された映像に基づいて前記監視トレイの出力物領域における動きを検出する検出手段と、前記検出手段により前記出力物領域における動きが検出された場合、警告情報を出力する警告情報出力手段と、を有する。

本発明によれば、ユーザが印刷出力を待たされることなく、かつ、一部ページ抜き去りを含めた不慮の持ち去りを防ぐことができる。

画像処理システムのシステム構成の一例を示す図である。 ＭＦＰのハードウェア構成の一例を示す図である。 ネットワークカメラのハードウェア構成の一例を示す図である。 ネットワークカメラの撮影した映像の例を示す図である。 ネットワークカメラの撮影した別の映像の例を示す図である。 キャリブレーション情報の一例を示す図である。 キャリブレーション情報の紙領域の例を絵で示した図である。 ＭＦＰのディスプレイ兼タッチパネルに表示するキャリブレーション実行画面の一例を示す図である。 ＭＦＰのキャリブレーション処理の一例を示すフローチャートである。 ネットワークカメラのキャリブレーション準備処理の一例を示すフローチャートである。 ネットワークカメラのキャリブレーション処理の一例を示すフローチャートである。 ＭＦＰの印刷ジョブ処理の一例を示すフローチャートである。 ＭＦＰの監視ジョブ印刷処理の一例を示すフローチャートである。 ネットワークカメラの監視処理の一例を示すフローチャートである。 ＭＦＰの警告処理の一例を示すフローチャートである。 ＭＦＰのセキュア印刷出力処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、画像処理システムのシステム構成の一例を示す図である。
ネットワークカメラとＭＦＰとはネットワークを介して接続されており、互いに通信が可能である。
ＭＦＰは、給紙トレイを５つと、排紙トレイを３つとを備えている。また、ＭＦＰの前面には、人がカード認証を行う際にカードを近づけるカードリーダーと、人へ情報を表示したり人からの操作入力を受け付けたりするためのディスプレイ兼タッチパネルとが備えられている。
ネットワークカメラはカメラレンズを備え、周囲の映像を撮影する。ネットワークカメラは、監視目的で設置されることが多く、障害物による死角が発生しないよう、天井等、高いところに設置されることが多い。

図２は、ＭＦＰのハードウェア構成の一例を示す図である。
内部バス１０９は、メモリコントローラ１０３、Ｉ／Ｏコントローラ１０５、エンジンコントローラ１０６、スキャナコントローラ１１０間で情報の伝達が出来るよう、電気信号を伝搬する。
メモリコントローラ１０３は、メインメモリ１０４に対するメモリアクセス全般を統括する。
Ｉ／Ｏコントローラ１０５は、フラッシュメモリ１０７、ＨＤＤ１０８、電話回線ポート１５２、ＬＡＮポート１５３、カードリーダー１５４、マイク１５７、スピーカー１５８、ディスプレイ兼タッチパネル１５１のタッチパネル、内部バス１０９を介して接続している処理部との情報の授受を行う。
電話回線ポート１５２は、電話回線９００１を介して接続されている他の機器、Ｉ／Ｏコントローラ１０５との情報の授受を行う。
ＬＡＮポート１５３は、ネットワーク９０００を介して接続されているネットワークカメラ２００等の他の機器、Ｉ／Ｏコントローラ１０５との情報の授受を行う。
カードリーダー１５４は、通信可能な距離に近づいたＩＤカード、Ｉ／Ｏコントローラ１０５との情報の授受を行う。
用紙検知センサー１５９は、ＭＦＰの備える各排紙トレイに備えられており、各排紙トレイ上に紙があるかどうかを検知する。用紙検知センサー１５９は、Ｉ／Ｏコントローラ１０５と紙の検知に関わる情報の授受を行う。
排紙トレイ上の紙は、印刷ジョブの出力結果の一例である。

エンジンコントローラ１０６は、プリンタエンジン１５５、内部バス１０９を介して接続している処理部との情報の授受を行う。
スキャナコントローラ１１０は、スキャナ１５６、内部バス１０９を介して接続している処理部との情報の授受を行う。
フラッシュメモリ１０７にはブートローダプログラムが格納されている。
ＨＤＤ１０８にはＭＦＰの制御プログラムが格納されている。
メインメモリ１０４は揮発性メモリであり、高速アクセスが可能であるので、フラッシュメモリ１０７やＨＤＤ１０８に記憶されている情報や一時的に使用する情報はここに格納される。

ＭＦＰ１００の電源投入時には、ＣＰＵ１０１がブートローダプログラムを読み出して実行し、ＨＤＤ１０８に格納されているＭＦＰ制御プログラムを取り出し、メインメモリ１０４に格納する。そして、ＣＰＵ１０１がメインメモリ１０４に格納されているＭＦＰ制御プログラムを実行することによって、ＭＦＰ１００の各機能が実現される。また、ＣＰＵ２０１がこのＭＦＰ制御プログラムを実行することで、図９、図１２、図１３、図１５、図１６に示されるフローチャートの処理が実現される。

この各機能に関し、ＭＦＰ１００を例にとりより具体的に説明する。
プリンタエンジン１５５は、ＣＰＵ１０１が画像処理を行い生成した画像を、紙に塗料で現像することで印刷する機能を備えている。
スキャナ１５６は、紙文書を光学的に撮影する機能を備えている。ＣＰＵ１０１がこの撮影情報を受け、画像処理を行い、プリンタエンジン１５５で紙文書への印刷処理を実行すれば、これはコピー機能となる。他の機器からネットワーク９０００、ＬＡＮポート１５３を介して文書を受信し、ＣＰＵ１０１が文書解釈処理、画像処理を行い、プリンタエンジン１５５で紙への印刷処理を実行すれば、これはＰＤＬ印刷機能となる。
ＭＦＰ１００は、情報を表示するディスプレイとユーザからの情報入力を受けるタッチパネルとが一体化したディスプレイ兼タッチパネル１５１を備える。

グラフィックコントローラ１０２は、ディスプレイ兼タッチパネル１５１のディスプレイへの表示を制御する。ＭＦＰ１００は必要に応じて、ディスプレイ兼タッチパネル１５１に、ユーザへの入力を促す画面を表示する。そして、ユーザがディスプレイ兼タッチパネル１５１に対するタッチ操作を行い、指示をＭＦＰ１００に入力する。また、ＭＦＰ１００はユーザからの指示を受ける別の方法も有する。
ＭＦＰ１００は、マイク１５７を備える。ユーザが指示を言葉に発すると、マイク１５７がその音声を拾い、ＣＰＵ１０１が音声認識処理、指示抽出処理を行い、ＭＦＰ１００はユーザからの指示を把握する。
また、ＭＦＰ１００は、スピーカー１５８を備える。ＣＰＵ１０１がユーザへ通知する情報を音声情報に変換し、スピーカー１５８でその音声を再生することにより、ユーザに音として情報を通知することが可能である。

図３は、ネットワークカメラのハードウェア構成の一例を示す図である。
本実施形態で用いるネットワークカメラ２００は、天井に取り付けられるようになっており、建物空間内を広く撮影することが可能である。勿論、ネットワークカメラとしては、天井取り付け型ではなく、壁面に埋め込んだものであったり、スタンドに設置したものであったりしても良い。
内部バス２０６は、メモリコントローラ２０２、Ｉ／Ｏコントローラ２０４間で情報の伝達が出来るよう、電気信号を送受信する。
メモリコントローラ２０２は、メインメモリ２０３に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ２０４は、ＨＤＤ２０５、ＬＡＮポート２０８、カメラ２０７、内部バス２０６を介して接続している処理部との情報の送受信を行う。
ＬＡＮポート２０８は、ネットワーク９０００を介して接続されているＭＦＰ１００等の他の機器、Ｉ／Ｏコントローラ２０４との情報の送受信を行う。
ＨＤＤ２０５にはブートローダプログラム及びネットワークカメラの制御プログラムが格納されている。
メインメモリ２０３は揮発性メモリであり、高速アクセスが可能であるので、ＨＤＤ２０５に記憶されている情報や一時的に使用する情報はここに格納される。

ネットワークカメラ２００の電源投入時には、ＣＰＵ２０１がブートローダプログラムを読み出して実行し、ＨＤＤ２０５に格納されている制御プログラムを取り出し、メインメモリ２０３に格納する。そして、ＣＰＵ２０１がメインメモリ２０３に格納されている制御プログラムを実行することによって、ネットワークカメラの有する各機能が実現される。ＣＰＵ２０１がこの制御プログラムを実行することで、図１０、図１１、図１４に示されるフローチャートの処理が実現される。

図４は、ネットワークカメラ２００の撮影した映像の例を示す図である。図４は本実施形態の理解をしやすくするために用意した、要点だけを記載した線図である。ネットワークカメラ２００で撮影した映像は、実際には複数の画素で構成される。
図４の（ａ）は、ＭＦＰ１００の監視トレイに紙が無いときの映像である。図４の（ｂ）は、ＭＦＰ１００の監視トレイにＡ３サイズのポートレート方向（短辺が先端と後端とになるように出力される方向）の紙が有るときの映像である。図４の（ｃ）は、ＭＦＰ１００の監視トレイにＡ４サイズのランドスケープ方向（長辺が先端と後端とになるように出力される方向）の紙が有るときの映像である。図４の（ｄ）は、ＭＦＰ１００の監視トレイにＡ４サイズのポートレート方向の紙が有るときの映像である。

図５は、ネットワークカメラ２００の撮影した別の映像の例を示す図である。図５は本実施形態の理解をしやすくするために用意した、要点だけを記載した線図である。ネットワークカメラ２００で撮影した映像は、実際には複数の画素で構成される。
図５の（ａ）は、ＭＦＰ１００の監視トレイにＡ３サイズのポートレート方向の紙が有り、その上に人の手が有るときの映像である。図５の（ｂ）は、ＭＦＰ１００の監視トレイにＡ４サイズのランドスケープ方向の紙が有り、その上に人の手が有るときの映像である。図５の（ｃ）は、ＭＦＰ１００の監視トレイにＡ４サイズのポートレート方向の紙が有り、その上に人の手が有るときの映像である。

図６は、キャリブレーション情報の一例を示す図である。
キャリブレーション情報は、ネットワークカメラ２００のＨＤＤ２０５に保存されており、監視トレイ、用紙サイズ、用紙向き、紙領域の情報を属性とするテーブルで管理されている。キャリブレーション情報からは、監視トレイとしてどの排紙トレイを用いるか、その監視トレイにどのサイズをどの用紙向きで出力すると、ネットワークカメラ２００で撮影した映像のどの領域が紙領域に該当するのかを読み取ることができる。例えば、図６中の３行目のデータ要素は、監視トレイとして排紙トレイ１を用いる際に、その監視トレイにＡ４サイズ、ポートレートの紙を出力すると、ネットワークカメラで撮影した映像の中の｛１１１０１…｝というデータ列で示される領域が紙領域に該当することを示している。紙領域は、出力物領域の一例である。

図７は、キャリブレーション情報の紙領域の例を絵で示した図である。
図７の（ａ）から（ｃ）までに描かれている各外枠は、ネットワークカメラ２００の撮影する映像の領域を示している。図７の（ａ）は、図６の１行目のデータ要素の紙領域を示している。図７の（ｂ）は、図６の２行目のデータ要素の紙領域を示している。図７の（ｃ）は、図６の３行目のデータ要素の紙領域を示している。

最初に、ＭＦＰ１００の監視トレイ上の紙領域がネットワークカメラ２００の撮影する映像中のどの領域に位置するかをネットワークカメラ２００に設定するためのキャリブレーション動作を説明する。本キャリブレーションは、後述する画像処理システムの監視動作の精度を向上させるために行うものである。キャリブレーションによりネットワークカメラ２００に監視トレイ上の見張るべき紙領域を明確に設定しておくことで、ネットワークカメラ２００は監視トレイ上の紙領域だけを確実に監視することができる。これにより、ネットワークカメラ２００が監視トレイ上には有るが紙領域上には無い物体を検出し、ＭＦＰ１００が警告を出すような誤動作を抑制することができる。例えば、人が監視トレイの縁に手を置いただけで印刷物に触れていないような場合にまで警告が発生してしまうようなことを防ぐことができる。

図８は、ＭＦＰ１００のディスプレイ兼タッチパネル１５１に表示するキャリブレーション実行画面の一例を示す図である。
ＭＦＰ１００とネットワークカメラ２００とを設置した際に、ユーザがＭＦＰ１００を操作し、キャリブレーション実行画面を表示させ、キャリブレーションを実行するよう指示する。
キャリブレーション実行画面には、監視トレイとして用いる排紙トレイと、監視トレイに出力する用紙サイズと、用紙向きと、を設定するメニューや実行又は実行を取り消すためのボタン等が表示される。
このとき、キャリブレーション実施前の映像をネットワークカメラ２００が撮影すると、図４の（ａ）に示すような映像が撮れる。

次にユーザが、例えば、監視トレイとして排紙トレイ１を、用紙サイズにＡ４サイズを、用紙向きにポートレート向きを設定し、実行ボタンを押下する。すると、ＭＦＰ１００は、給紙トレイからＡ４サイズ、ポートレート向きの用紙を給紙し、排紙トレイ１に出力する。ここで、ネットワークカメラ２００が撮影すると、図４の（ｄ）に示すような映像が撮れる。
ネットワークカメラ２００がこの映像とキャリブレーション実施前に撮影した映像との各画素の輝度差分を計算することで、排紙トレイ１上にＡ４サイズ、ポートレート方向で紙を出力した際の紙領域が、図７の（ｃ）のように得られる。ネットワークカメラ２００は、この算出した紙領域の情報を、監視トレイ、用紙サイズ、用紙向きの情報と紐づけてキャリブレーション情報としてＨＤＤ２０５に保存する。

図９は、ＭＦＰ１００のキャリブレーション処理の一例を示すフローチャートである。図９のＳ１６０１からＳ１６０７までは各処理ステップを示し、すべてＭＦＰ１００が実行する処理である。
Ｓ１６０１で、ＣＰＵ１０１は、図８に示すキャリブレーション実行画面をディスプレイ兼タッチパネル１５１に表示し、ユーザから監視トレイ情報と、用紙サイズ情報と、用紙向き情報と、の入力を受け付ける。
Ｓ１６０２で、ＣＰＵ１０１は、ネットワークカメラ２００に、印刷物を出力する監視トレイ情報と、用紙サイズ情報と、用紙向き情報と共にキャリブレーション準備を通知する。Ｓ１６０１で、例えば、図８に示すようにユーザから設定されれば、Ｓ１６０２で、ＭＦＰ１００からネットワークカメラ２００に監視トレイとして排紙トレイ１が、用紙サイズにＡ４サイズが、用紙向きにポートレート向きが通知される。ネットワークカメラ２００はこの通知を後述する図１０のＳ１７０１で受信する。
Ｓ１６０３で、ＣＰＵ１０１は、ネットワークカメラ２００から、キャリブレーション準備完了を受信する。

Ｓ１６０４で、ＣＰＵ１０１は、指定された用紙サイズ、用紙向きに合致する紙を給紙トレイから給紙し、指定された監視トレイに出力する。例えば、Ａ４サイズ、ポートレート方向の紙が給紙トレイから給紙され、監視トレイである排紙トレイ１に出力される。
Ｓ１６０５で、ＣＰＵ１０１は、ネットワークカメラ２００に、キャリブレーション実施を通知する。ネットワークカメラ２００はこの通知を後述する図１１のＳ１８０１で受信する。
Ｓ１６０６で、ＣＰＵ１０１は、ネットワークカメラ２００から、キャリブレーション完了を受信する。
Ｓ１６０７で、ＣＰＵ１０１は、ディスプレイに用紙を除去しても良い旨を表示し、図９に示す処理を終了する。

図１０は、ネットワークカメラ２００のキャリブレーション準備処理の一例を示すフローチャートである。図１０のＳ１７０１からＳ１７０３までは各処理ステップを示し、すべてネットワークカメラ２００が実行する処理である。
Ｓ１７０１で、ＣＰＵ２０１は、ＭＦＰ１００から、印刷物を出力する監視トレイ情報と、用紙サイズ情報と、用紙向き情報と共にキャリブレーション準備を受信する。例えば、ＭＦＰ１００からネットワークカメラ２００に監視トレイとして排紙トレイ１が、用紙サイズにＡ４サイズが、用紙向きにポートレート向きが通知される。
Ｓ１７０２で、ＣＰＵ２０１は、キャリブレーションを実施する前の撮影を行うようカメラ２０７を制御する。例えば、撮影の結果、図４の（ａ）のような映像が得られる。
Ｓ１７０３で、ＣＰＵ２０１は、ＭＦＰ１００に、キャリブレーション準備完了を通知し、図１０に示す処理を終了する。ＭＦＰ１００はこの通知を図９のＳ１６０３で受信する。

図１１は、ネットワークカメラ２００のキャリブレーション処理の一例を示すフローチャートである。図中のＳ１８０１からＳ１８０５までは各処理ステップを示し、すべてネットワークカメラ２００が実行する処理である。
Ｓ１８０１で、ＣＰＵ２０１は、ＭＦＰ１００からキャリブレーション実施を受信する。
Ｓ１８０２で、ＣＰＵ２０１は、カメラ２０７を制御し、撮影を行う。例えば、撮影の結果、図４の（ｄ）のような映像が得られる。
Ｓ１８０３で、ＣＰＵ２０１は、図１０のＳ１７０２で撮影した映像とＳ１８０２で撮影した映像との間の各画素の輝度差分を計算し、紙領域を算出する。前記の例では、紙領域が、例えば、図７の（ｃ）のように算出される。
Ｓ１８０４で、ＣＰＵ２０１は、印刷物を出力する監視トレイ情報と、用紙サイズ情報と、用紙向き情報とに、算出した紙領域を紐づけ、キャリブレーション情報として保存する。前記の例では、例えば、図６の３行目のデータ要素のように保存される。
Ｓ１８０５で、ＣＰＵ２０１は、ＭＦＰ１００に、キャリブレーション完了を通知し、図１１に示す処理を終了する。ＭＦＰ１００はこの通知を図９のＳ１６０６で受信する。

次に、ＭＦＰ１００が印刷出力した出力物をネットワークカメラ２００が監視し不慮の持ち去りを予防する画像処理システムの監視動作を説明する。
図１２は、ＭＦＰ１００の印刷ジョブ処理の一例を示すフローチャートである。図１２中のＳ１００１からＳ１０１５までは各処理ステップを示し、すべてＭＦＰ１００が実行する処理である。
Ｓ１００１で、ＣＰＵ１０１は、ＰＣ等の情報処理装置から印刷ジョブを受信する。印刷ジョブは、ＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）等と呼ばれ、ＭＦＰ１００を制御するための制御コマンドや、描画用の描画コマンドが含まれている。制御コマンドには例えば、ジョブの種類として、通常ジョブなのか、監視ジョブなのかを示すものや、印刷に用いる用紙のサイズとしてＡ３用紙なのかＡ４用紙なのかを示すものがある。描画コマンドには例えば、どの座標にどの色でどのような形状のオブジェクトを描画するかを示すものがある。ＣＰＵ１０１は、この印刷ジョブを受信し解析することで、最適な給紙処理、印刷処理、排紙処理を実行する。
監視ジョブであることを示す印刷ジョブは、監視属性が付与された印刷ジョブの一例である。
Ｓ１００２で、ＣＰＵ１０１は、監視トレイの用紙検知センサー１５９のステータスを読み出す。

Ｓ１００３で、ＣＰＵ１０１は、Ｓ１００２で読み出したステータスが用紙有りステータスか否かを判定する。ＣＰＵ１０１は、Ｓ１００２で読み出したステータスが用紙有りステータスであればＳ１００４に進み、用紙無しステータスであればＳ１００７に進む。
Ｓ１００４で、ＣＰＵ１０１は、受信した印刷ジョブの制御コマンド中のジョブの種類のコマンドを読み出し、監視ジョブであればＳ１００５に進み、通常ジョブであればＳ１００６に進む。
既に監視トレイに前の印刷ジョブの出力物が有る場合は、そこに重ねて印刷出力してしまうと、前の印刷ジョブとの見分けがつかなくなってしまう。そこで、Ｓ１００５では、ＣＰＵ１０１は、ジョブのオーナーである人の認証が成功するまで印刷出力を行わず、認証が成功した際に印刷出力を行う留め置き印刷処理を適用する。即ち、Ｓ１００５では、ＣＰＵ１０１は、後述する図１６に示すセキュア印刷出力処理を行い、図１２に示す処理を終了する。
Ｓ１００６では、ＣＰＵ１０１は、通常ジョブの印刷処理を行い、紙が有る監視トレイ以外の排紙トレイに印刷物を出力し、図１２に示す処理を終了する。

Ｓ１００７で、ＣＰＵ１０１は、受信した印刷ジョブの制御コマンド中のジョブの種類のコマンドを読み出し、監視ジョブであればＳ１００８に進み、通常ジョブであればＳ１０１５に進む。
Ｓ１００８からＳ１００９まででは、ＣＰＵ１０１は、監視トレイが空いているので監視トレイへ監視ジョブの印刷出力を行う。即ち、Ｓ１００８で、ＣＰＵ１０１は、後述する図１３に示す監視ジョブ印刷処理を行う。
Ｓ１００９で、ＣＰＵ１０１は、監視トレイに印刷物を出力するよう制御する。

Ｓ１０１０からＳ１０１２まででは、ＣＰＵ１０１は、監視トレイに出力した印刷物が持ち去られないようにネットワークカメラと連携して監視処理を行う。即ち、Ｓ１０１０で、ＣＰＵ１０１は、ネットワークカメラに、印刷物を出力した監視トレイ情報と、用紙サイズ情報と、用紙向き情報と共に監視開始（監視開始要求）を通知（又は送信）する。ネットワークカメラ２００はこの通知を、後述する図１４のＳ１２０１で受信する。例えば、ＣＰＵ１０１は、監視トレイ情報として排紙トレイ１を、用紙サイズ情報としてＡ４を、用紙向き情報としてポートレートを通知する。
Ｓ１０１１で、ＣＰＵ１０１は、カード認証を受け付ける。カード認証は、ユーザがＩＤの記録されたカードをカードリーダー１５４に近づけることで行うことができる。ＣＰＵ１０１は、カードリーダー１５４等を介してユーザのＩＤを読み取ることで、ＭＦＰ１００の目の前に誰がいるかを把握することができる。
Ｓ１０１２で、ＣＰＵ１０１は、Ｓ１０１１のカード認証の結果、印刷ジョブのオーナーの認証であることが確認できた場合はＳ１０１３に進み、そうでない場合はＳ１０１１に進み引き続き監視処理を継続する。

Ｓ１０１３で、ＣＰＵ１０１は、Ｓ１０１２の判断の結果、ＭＦＰ１００の目の前に監視ジョブのオーナーである人がいることが確認できたため、監視処理を停止するために、ネットワークカメラに監視解除を通知する。ネットワークカメラ２００はこの通知を図１４のＳ１２０６で受信する。
Ｓ１０１４で、ＣＰＵ１０１は、監視ジョブのオーナーに対して、監視ジョブが既に監視トレイに出力されていることを知らせるために、監視トレイに出力済みである旨をディスプレイ兼タッチパネル１５１に表示し、図１２に示す処理を終了する。
Ｓ１０１５では、ＣＰＵ１０１は、通常ジョブの印刷処理を行い、空いている排紙トレイに印刷物を出力し、図１２に示す処理を終了する。空いている排紙トレイは、監視トレイと異なる出力トレイの一例である。

図１３は、ＭＦＰ１００の監視ジョブ印刷処理の一例を示すフローチャートである。図１３中のＳ１１０１からＳ１１０３までは各処理ステップを示し、すべてＭＦＰ１００が実行する処理である。
Ｓ１１０１で、ＣＰＵ１０１は、受信した印刷ジョブの制御コマンド中の用紙サイズのコマンドを読み出す。
Ｓ１１０２で、ＣＰＵ１０１は、給紙トレイにＳ１１０１で読み出した用紙サイズのポートレート用紙が存在するかどうかを判断し、存在する場合はＳ１１０３に進み、存在しない場合は図１３に示す処理を終了する。
Ｓ１１０３で、ＣＰＵ１０１は、ポートレート用紙を給紙し、印刷処理を行い、図１３に示す処理を終了する。

例えば、ＭＦＰ１００の給紙トレイ１にＡ４サイズのポートレート向きの用紙が、給紙トレイ２にＡ４サイズのランドスケープ向きの用紙がセットされているとする。図１３に示した処理により、Ｓ１１０１で読み出した用紙サイズがＡ４サイズであれば、給紙トレイ１のＡ４サイズのポートレート向きの用紙が給紙され、印刷処理が行われることになる。
ネットワークカメラ２００は常に理想的な場所に設置できるとは限らず、設置した場所によってはＭＦＰ１００本体の影になり、監視トレイの一部しか撮影できない可能性がある。
図１３に示した処理を行い、用紙が例えば図４の（ｃ）のようにポートレート向きで出力される。これにより、ネットワークカメラ２００で撮影した映像に含まれる紙領域の面積が、例えば、図４の（ｄ）のようにランドスケープ向きで出力した場合よりも大きくなるため、ネットワークカメラ２００を設置できる場所の自由度が増す。

図１４は、ネットワークカメラ２００の監視処理の一例を示すフローチャートである。図１４中のＳ１２０１からＳ１２０６までは各処理ステップを示し、すべてネットワークカメラ２００が実行する処理である。
Ｓ１２０１で、ＣＰＵ２０１は、ＭＦＰ１００から、印刷物を出力した監視トレイ情報と、用紙サイズ情報と、用紙向き情報と共に監視開始を受信する。例えば、ＣＰＵ２０１は、監視トレイ情報として排紙トレイ１を、用紙サイズ情報としてＡ４を、用紙向き情報としてポートレートを受信する。
Ｓ１２０２で、ＣＰＵ２０１は、ＨＤＤ２０５からキャリブレーション情報を読み出し、対象の監視トレイと用紙サイズと用紙向きとに紐づく紙領域情報を読み出し、紙領域を特定する。キャリブレーション情報は、例えば、図６に示したものである。監視トレイとして排紙トレイ１を使用する際のＡ４サイズのポートレート向きであれば、｛１１１０１…｝というデータ列で示される紙領域が読み出される。この紙領域はネットワークカメラ２００の撮影する映像の領域の中の絵で示すと、図７の（ｃ）のような領域である。

Ｓ１２０３で、ＣＰＵ２０１は、カメラ２０７を制御し、撮影を行い、撮影した映像の中の紙領域に関し、撮影した映像のフレーム間の各画素の輝度差分を計算する。ＣＰＵ２０１は、輝度差分を、一般的な背景差分をとるための技術を用いることによって算出できる。例えば、ＣＰＵ２０１は、ＯｐｅｎＣＶのｃｖＡｂｓＤｉｆｆ関数を用いるとする。ｃｖＡｂｓＤｉｆｆ関数は、以下のように定義されている。
ｖｏｉｄ ｃｖＡｂｓＤｉｆｆ（ｃｏｎｓｔ ＣｖＡｒｒ＊ ｓｒｃ１， ｃｏｎｓｔ ＣｖＡｒｒ＊ ｓｒｃ２， ＣｖＡｒｒ＊ ｄｓｔ）；
ｓｒｃ１：１番目の入力配列
ｓｒｃ２：２番目の入力配列
ｄｓｔ：出力配列．
ｓｒｃ１にあるフレームの映像データを、ｓｒｃ２に差分をとるフレームの映像データを、ｄｓｔに空の配列を引数としてｃｖＡｂｓＤｉｆｆ関数をコールすると、ｄｓｔに差分データが格納されることになる。
撮影した映像の中の紙領域とは、例えば、図７の（ｃ）に示す領域である。ネットワークカメラ２００が撮影した映像で、例えば、図４の（ｄ）に示すようなフレームが連続的に撮れていた場合は、各フレーム間の各画素の輝度差分が無いことになる。図４の（ｄ）に示すようなフレームの後に、図５の（ｃ）に示すようなフレームが撮れた場合は、フレーム間で人の手の入った領域の画素に輝度差分が発生することになる。

Ｓ１２０４で、ＣＰＵ２０１は、Ｓ１２０３の計算の結果差分が検出された場合はＳ１２０５に進み、検出されなかった場合はＳ１２０６に進む。
Ｓ１２０５では、ＣＰＵ２０１は、ＭＦＰ１００に監視トレイの紙領域上で動きを検知した旨を通知する。ＭＦＰ１００はこの通知を後述する図１５のＳ１３０１で受信する。
Ｓ１２０６では、ＣＰＵ２０１は、ＭＦＰ１００から監視解除を受信したかどうかを判断し、受信していれば図１４に示す処理を終了し、受信していなければＳ１２０３に進む。
図１４に示した処理により、ネットワークカメラ２００が、ＭＦＰ１００の監視トレイに出力された紙の領域上で何か動きが有ったことを検出した場合にはＭＦＰ１００にその旨を通知することができる。

図１５は、ＭＦＰ１００の警告処理の一例を示すフローチャートである。図１５中のＳ１３０１からＳ１３０２までは各処理ステップを示し、すべてＭＦＰ１００が実行する処理である。
Ｓ１３０１で、ＣＰＵ１０１は、ネットワークカメラから動き検知を受信する。
Ｓ１３０２で、ＣＰＵ１０１は、スピーカーで警告メッセージを再生し（警告情報出力）、図１５に示す処理を終了する。警告メッセージは、警告情報の一例である。
図１５に示す処理により、例えば「排紙トレイ１には監視ジョブが出力されています。この印刷物を取るには個人認証が必要です。」といった警告メッセージを流すことができる。よって、監視ジョブのジョブオーナー以外の人が監視トレイの印刷物を間違って手に取ることを予防できる。

図１６は、ＭＦＰ１００のセキュア印刷出力処理の一例を示すフローチャートである。図１６中のＳ１４０１からＳ１４０４までは各処理ステップを示し、すべてＭＦＰ１００が実行する処理である。
Ｓ１４０１で、ＣＰＵ１０１は、カードリーダー１５４で読み取った情報を解析することでカード認証を受け付け、誰がログインを行ったかを判断する。
Ｓ１４０２で、ＣＰＵ１０１は、Ｓ１４０１のカード認証の結果、印刷ジョブのオーナーの認証が成功したかどうかを判断し、印刷ジョブのオーナーの認証の場合はＳ１４０３に進み、そうでない場合はＳ１４０１に進む。
Ｓ１４０３で、ＣＰＵ１０１は、監視ジョブのオーナーに対して、監視ジョブを今から印刷して出力することを知らせるために、印刷処理を開始する旨をディスプレイ兼タッチパネル１５１に表示する。
Ｓ１４０４で、ＣＰＵ１０１は、印刷処理を行うよう制御し、紙が有る監視トレイ以外の排紙トレイに印刷物を出力するよう制御し、図１６に示す処理を終了する。
図１６に示す処理によりＭＦＰ１００が監視ジョブを受信し、ＭＦＰ１００の監視トレイに既に出力物が有る場合は、ジョブをジョブのオーナーである人の認証が成功するまで印刷出力を行わず、認証が成功した際に印刷出力を行う留め置き印刷を行うことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、上述した各実施形態によれば、ユーザが印刷出力を待たされることなく、かつ、一部ページ抜き去りを含めた不慮の持ち去りを防ぐことができる。

Claims (10)

1. 監視属性が付与された印刷ジョブの出力結果を監視トレイに出力する出力手段と、
   前記監視トレイを撮影する撮影手段と、
   前記撮影手段により撮影された映像に基づいて前記監視トレイの出力物領域における動きを検出する検出手段と、
   前記検出手段により前記出力物領域における動きが検出された場合、警告情報を出力する警告情報出力手段と、
   を有する画像処理システム。
2. 前記出力手段は、監視属性が付与された印刷ジョブの出力結果を監視トレイに出力し、監視属性が付与されていない印刷ジョブの出力結果を前記監視トレイとは異なる出力トレイに出力する請求項１記載の画像処理システム。
3. 前記出力手段は、監視属性が付与された印刷ジョブの印刷処理を実行する際は、給紙トレイに指定されたサイズのポートレート用紙が存在する場合は、ポートレート用紙を給紙し、印刷物を前記出力結果として前記監視トレイに出力する請求項１又は２記載の画像処理システム。
4. 前記検出手段は、前記監視トレイのトレイ情報と、前記出力結果のサイズ情報と、前記出力結果の向き情報と、に応じて、前記出力物領域を特定し、特定した出力物領域における動きを検出する請求項１乃至３何れか１項記載の画像処理システム。
5. 監視トレイに出力結果があるか否かを判定する判定手段を更に有し、
   前記出力手段は、前記判定手段により監視トレイに出力結果がないと判定された場合、前記監視属性が付与された印刷ジョブの出力結果を監視トレイに出力し、前記判定手段により監視トレイに出力結果があると判定された場合、留め置き印刷処理を実行し、前記監視属性が付与された印刷ジョブの出力結果を前記監視トレイとは異なる出力トレイに出力する請求項１乃至４何れか１項記載の画像処理システム。
6. 監視属性が付与された印刷ジョブの出力結果を監視トレイに出力する出力手段と、
   前記監視トレイのトレイ情報と、前記出力結果のサイズ情報と、前記出力結果の向き情報と、を含む監視開始要求をネットワークカメラに送信する送信手段と、
   前記監視トレイに係る出力物領域の動きを検知したことを示す通知を前記ネットワークカメラより受信する受信手段と、
   前記受信手段により前記通知を受信すると、警告情報を出力する警告情報出力手段と、
   を有する画像処理装置。
7. 前記出力手段は、監視属性が付与された印刷ジョブの出力結果を監視トレイに出力し、監視属性が付与されていない印刷ジョブの出力結果を前記監視トレイとは異なる出力トレイに出力する請求項６記載の画像処理装置。
8. 画像処理システムが実行する情報処理方法であって、
   監視属性が付与された印刷ジョブの出力結果を監視トレイに出力する出力ステップと、
   前記監視トレイを撮影する撮影ステップと、
   前記撮影ステップにより撮影された映像に基づいて前記監視トレイの出力物領域における動きを検出する検出ステップと、
   前記検出ステップにより前記出力物領域における動きが検出された場合、警告情報を出力する警告情報出力ステップと、
   を含む情報処理方法。
9. 画像処理装置が実行する情報処理方法であって、
   監視属性が付与された印刷ジョブの出力結果を監視トレイに出力する出力ステップと、
   前記監視トレイのトレイ情報と、前記出力結果のサイズ情報と、前記出力結果の向き情報と、を含む監視開始要求をネットワークカメラに送信する送信ステップと、
   前記監視トレイに係る出力物領域の動きを検知したことを示す通知を前記ネットワークカメラより受信する受信ステップと、
   前記受信ステップにより前記通知を受信すると、警告情報を出力する警告情報出力ステップと、
   を含む情報処理方法。
10. コンピュータに、
    監視属性が付与された印刷ジョブの出力結果を監視トレイに出力する出力ステップと、
    前記監視トレイのトレイ情報と、前記出力結果のサイズ情報と、前記出力結果の向き情報と、を含む監視開始要求をネットワークカメラに送信する送信ステップと、
    前記監視トレイに係る出力物領域の動きを検知したことを示す通知を前記ネットワークカメラより受信する受信ステップと、
    前記受信ステップにより前記通知を受信すると、警告情報を出力する警告情報出力ステップと、
    を実行させるためのプログラム。

Images