JP2009267803A - 画像処理装置 - Google Patents

Abstract

【課題】 機器に対する操作者の所定の動作を判定する画像処理装置を提供する。
【解決手段】 所定の機器を操作する操作者を撮像する手段と、前記撮像手段から映像データを取得する手段と、前記機器が所定の操作入力を受付けたタイミングで前記映像データから画像データを抽出して初期設定を行う手段と、前記映像データから逐次画像データを抽出して前記操作者の所定の動作を判定する手段とを備える。
【選択図】 図１

Description

本発明は、媒体出力装置に出力媒体を取り忘れたことを判定する画像処理装置及び画像処理方法に関する。

例えば複写機において、原稿の複写を行った後の原稿あるいは複写物の取り忘れが発生するため、これらの媒体の取り忘れを防止する必要がある。このような媒体取り忘れを防止するために、特許文献１では、媒体取り出しを必要とする媒体出力装置の操作者の位置と動きを操作者位置検知センサで検出し、操作者の立去り動作を判別した際に、媒体が機器内に残留していることを媒体残留センサで検出すると、操作者に所定の警告音声を報知出力する方法が提案されている。
特開２００１−２０２５５１

特許文献１のように所定の機器の上部から撮影した映像のうち移動する動体を操作者として認識するだけでは、撮像範囲を通り過ぎる人や他の動体なども誤認識してしまうことがあった。したがって、媒体出力装置において残留している媒体があることを操作者に通知する際に、適切に通知できないことがあった。

本発明は上記の問題に鑑みて成されたものであり、媒体出力装置の機器に対する操作者の所定の動作を判定する画像処理装置又は方法を提供することを目的とする。

上記課題を解決するための本発明に係る代表的な構成は、媒体出力装置の近傍を撮像する撮像装置から画像データを取得する取得手段と、前記媒体出力装置が前記撮像装置の操作者から所定の操作を受付けた際に、前記撮像装置が撮像した画像データを初期画像として設定する設定手段と、前記取得手段から新たに取得した画像データを前記初期画像と比較することによって、前記操作者の前記媒体出力装置の近傍からの立去りを判定する立去り判定手段と、前記媒体出力装置に媒体が残留しているかを判定する残留判定手段と、前記立去り判定手段および残留判定手段の結果から前記媒体の取り忘れを判定し、前記操作者に警告する警告手段とを有することを特徴とする。

本発明の構成によれば、媒体出力装置に対する所定の操作を受付けたタイミングで撮像した画像を初期画像として設定し、この初期画像と比較することで、撮影した映像から操作者の立去り動作を精度良く判定でき、媒体取り忘れの警告を精度良く行うことができる。

また本発明の構成によれば、媒体を出力する機器に対しての所定の操作を受付けたタイミングで撮像した画像を初期値として設定し、この初期値と比較することで、撮像した映像から前記機器の操作者の立去り判定を精度良く行える。

また本発明の構成によれば、所定の機器の動作に関連する領域を撮像する撮像手段から得られる映像に対して、前記機器が所定の操作を受付けたタイミングで撮像した画像を初期値として設定し、この初期値と比較することで、前記動作中に前記領域における物体の移動を精度良く判定できる。さらに、警告手段を備えることで、前記動作を妨げる物体の進入を検知し警告したり、前記動作中に操作者が操作領域から退出したことを検知し警告したりできる。

以下図面を参照して、本発明の一実施形態を説明する。

（第一の実施形態）
図１に第一の実施形態の概略構成を示す。なお、本実施形態では、複写機操作者の複写物の取り忘れを防止する装置に適用する場合について説明する。

１０は複写機、２０はビデオカメラ等の撮像手段、８０は音声警告手段、１００は媒体の取り忘れを判定するための画像処理手段であり、それぞれネットワークにより接続されている。特に、撮像手段２０は複写機１０の上方に設置され、複写機１０の近傍を撮像するように設定されている。また、音声警告手段８０は複写機１０近傍の操作者に音声が聞こえるように複写機１０の近くに、又は、複写機１０から立ち去る操作者に聞こえるように所定の指向性を持って設置されている。音声警告手段８０の位置は複写機の設置状況にあわせて、装置設置者が調節できるようにしてもよい。

また、画像処理手段１００は撮像手段２０の映像を画像データとして取得する映像取得手段３０（取得手段）、映像取得手段３０で得た画像データから背景画像を抽出する背景画像抽出手段４０、映像取得手段３０で得た画像データと背景画像との差分画像を算出する差分画像算出手段５０、差分画像から操作者の立去り動作を判定する立去り判定手段６０、差分画像から複写物の残留を判定する媒体残留判定手段７０、および画像処理手段１００の各構成要素を制御する不図示の制御手段によって構成される。

次に、本実施形態の動作を図２に従って説明する。本実施形態においては、撮像手段２０は常に撮像を行い、映像取得手段３０に映像データを送信する。映像取得手段３０は映像データの各フレームを画像データとして取得する。

まず、複写機１０が撮像領域内の操作者によって複写機１０の不図示の複写ボタンから複写開始操作を受付ける（ステップＳ１０１）と、背景画像抽出手段４０は映像取得手段３０で取得した画像データから背景画像（初期画像）を抽出する（ステップＳ１０２）。すなわち、撮像手段２０で撮像した映像データの各フレームに相当する画像データから背景画像を作成する。例えば、映像取得手段３０で取得した時間的に連続した所定フレーム数の画像データの同一画素位置における各画素の画素値のメディアンを背景画像の同一画素位置における画素値とする。また、前記方法以外にも、例えば、連続した所定フレーム数の画像データの画素値の平均値を背景画像の画素値としても良いし、統計的な手法により、平均値と分散で背景画像の画素値の時間的な分布を表現するようにしてもよい。なお、ここで画素値とは画像データの輝度成分を表す値でも良いし、ＲＧＢ等の複数色成分の強度を表す値でも良い。本実施形態のように撮像手段２０が複写機１０の上方に設置されている場合には、抽出した背景画像は図３に示すように複写機１０とその操作者を同一フレーム内に納めた画像となる。図中Ｃは複写機、Ｏは操作者を表す。抽出された背景画像データは背景画像抽出手段４０内の画像メモリに格納される。

次に、差分画像算出手段５０は映像取得手段３０で新たに取得した画像データと背景画像抽出手段４０内の画像メモリに格納されている背景画像データとの差分画像を計算する（ステップＳ１０３）。ここで、２つの画像データの同一画素位置の画素値の差分値を画素ごとに求めて差分画像の同一画素位置の画素値とする。映像取得手段３０で取得した画像データは時々刻々と変化するので、その変化成分が差分画像の画素値として反映される。図４に差分画像の例を示す。図中、差分値が小さい領域を白、差分値が大きい領域を黒で模式的に表した。図４ａは背景画像を抽出した直後の差分画像の例であり、操作者が背景画像抽出時とほぼ同じ位置にいるので操作者の境界付近などの比較的小さい領域で差分値が大きくなる。一方、図４ｂは撮影範囲から操作者が立ち去った後の差分画像の例であり、背景画像中の操作者が位置した領域内で差分値が大きくなる。差分画像データは差分画像算出手段５０内の画像メモリに格納される。

次に、立去り判定手段６０は差分画像算出手段５０内の画像メモリに格納されている差分画像データの所定領域内の値から立去り動作の判定を行う（ステップＳ１０４）。以下、簡単に立去り動作判定の原理を説明する。例えば、操作者Ｏが複写操作を行った後に、プリント物Ｐを取り忘れた画像を図５ａとすると、図３に示した背景画像との差分画像は図５ｂに示したようになる。

操作者が立去り動作を行った際には、図５ｂ中、破線で示した領域Ｒ１内の差分画像は図５ｂに示すように特定のパターンになると想定できるので、この領域Ｒ１内の画像パターンにより立去り判定を行う。図６に立去り判定手段６０の構成を示す。また、図７に立去り動作判定の処理の流れを示す。以下、図６、図７に従い、立去り動作判定の動作を説明する。

まず、領域設定手段６１が差分画像データ中の立去り動作判定に使用する領域の設定を行う（ステップＳ２０１）。すなわち、差分画像を図８のように所定サイズ（例えば８×８画素）のブロックに分割したとき、立去り動作判定に使う左上端のブロック（図８のＢｓ）と右下端のブロック（図８のＢｅ）の位置データが設定される。

なお、立去り動作判定に使用する領域を示すブロックの位置データは、撮像手段２０を設置した際に、撮像手段２０の映像データを表示させ、表示した画像を見て、あらかじめ最適な領域を設定しておく。

次に、ブロック抽出手段６２が差分画像の領域内からブロック単位で画像データを順次抽出する（ステップＳ２０２）。

そして、オブジェクト領域判定手段６３はブロック単位の差分画像データに対して操作者の移動によって画像変化が発生した領域（オブジェクト領域とする）か、それ以外の領域かを判定する（ステップＳ２０３）。判定処理は、ブロック単位の差分画像データに対して判定パラメータ記憶手段６６に記憶されているオブジェクト判定パラメータとの演算によって行う。

このようなオブジェクト判定パラメータは、サポートベクターマシーン等の機械学習によって求めることができる。ブロック単位の差分画像データの各画素値を一つの特徴量とする画素数分（Ｎとする）の特徴ベクトルをｘ（Ｎ次元行ベクトル）、サポートベクターマシーンによって求め、判定パラメータ記憶手段６６に記憶されたオブジェクト判定パラメータをａ（Ｎ次元列ベクトル）およびｂとするとき、以下の（式１）により判定を行う。
ａ・ｘ−ｂ （式１）
すなわち、（式１）の値が正の場合は、オブジェクト領域、それ以外はその他の領域と判定する。なお、（式１）は線形サポートベクターマシーンにより学習を行った場合であり、カーネル演算を行う非線形サポートベクターマシーンを用いても良い。また、他の学習方式を用いても良い。

また、学習は、撮像手段２０を設置した際に撮像手段２０の映像データから予め操作者の移動に対応する差分画像とそれ以外の差分画像のサンプルを複数用意し、オブジェクト判定パラメータを求めるようにする。

そして、ブロック毎のオブジェクト領域判定手段６３の判定結果（具体的には（式１）の値の符号を表す２値の値）を判定結果記憶手段６４に記憶する（ステップＳ２０４）。このステップＳ２０２〜Ｓ２０４の処理が領域Ｒ１内の全ブロックについて繰り返され、判定結果記憶手段６４には全ブロック分のオブジェクト領域判定手段６３の判定結果が記憶される。

次に、動作判定手段６５は判定結果記憶手段６４に記憶されたオブジェクト領域判定結果から立去り動作か否かを判定する（ステップＳ２０５）。判定処理は、オブジェクト領域判定結果である符号データ列に対して判定パラメータ記憶手段６６に記憶されている立去り動作判定パラメータとの演算によって、ステップＳ２０３と同様な方法で行う。

すなわち、オブジェクト領域判定結果である符号データの各値を一つの特徴量とするブロック数分（Ｍとする）の特徴ベクトルをｙ（Ｍ次元行ベクトル）、サポートベクターマシーンによって求め、判定パラメータ記憶手段６６に記憶された立去り動作判定パラメータをｃ（Ｍ次元列ベクトル）およびｄとするとき、以下の（式２）により判定を行う。
ｃ・ｙ−ｄ （式２）
（式２）の値が正の場合は、立去り動作、それ以外はその他の変化と判定する。また、学習は、撮像手段２０を設置した際に撮像手段２０の映像データから予め操作者の立去り動作に対応するオブジェクト領域判定結果とそれ以外のオブジェクト領域判定結果のサンプルを複数用意し、立去り動作判定パラメータを求めるようにする。

以上説明した立去り動作判定手段６０の判定結果が立去り動作の場合は次のステップＳ１０５の処理を実施する。また、立去り動作判定手段６０の判定結果が立去り動作以外の場合はステップＳ１０３のステップに処理を戻し、繰返しステップＳ１０３〜Ｓ１０４の処理を行うようにする。

次に、図２を用いて、立去り動作の判定以降の動作を説明する。

媒体残留判定手段７０は差分画像算出手段５０内の画像メモリに格納されている差分画像データのステップＳ１０４の処理とは別の所定領域内の値からプリント物残留の判定を行う（ステップＳ１０５）。ここでの処理はステップＳ１０４における立去り動作判定と同様の処理であるため、簡単に概略のみ説明する。

ステップＳ１０４の処理と同様に、操作者Ｏが複写操作を行った後に、プリント物Ｐを取り忘れた画像を図５ａとすると、図３に示した背景画像との差分画像は図５ｂに示したようになる。プリント物を取り忘れて残留している場合には、図５ｂ中、破線で示した領域Ｒ２内の差分画像は図５ｂに示すように特定のパターンになると想定できるので、この領域Ｒ２内の画像パターンによりプリント物残留の判定を行う。

ステップＳ１０５では、まず、差分画像データ中のプリント物残留の判定に使用する領域（媒体出力領域）の設定を行う。そして、差分画像の領域内から順次抽出したブロック単位の画像データに対してプリント物の排出によって画像変化が発生した領域（オブジェクト領域とする）か、それ以外の領域かを判定する。そして、ブロック毎の判定結果を一旦記憶しておき、記憶した全ブロックのオブジェクト領域判定結果からプリント物残留の判定を行う。オブジェクト領域判定やプリント物残留の判定はステップＳ１０４と同じ原理で行う。

次に、音声警告手段８０は媒体残留判定手段７０が残留と判定した場合に警告音を発し、処理を終了する（ステップＳ１０６）。また、媒体残留判定手段７０が残留でない判定した場合には処理を終了し、複写操作の待機状態になる。

本実施形態においては、背景差分画像データを元にオブジェクト領域の判定を行うようにした。例えば、撮像手段２０からＪＰＥＧ等のＤＣＴ変換を利用した符号化処理を行って画像処理手段１００に映像データを出力する場合には、背景画像を直接画像のＤＣＴ成分から抽出し、背景差分処理を行って、差分画像のＤＣＴ成分から直接ブロック毎にオブジェクト領域の判定を行うようにしてもよい。

（第二の実施形態）
図９に本発明の第二の実施形態の概略構成を示す。第一の実施形態と同一機能を有する構成や処理、機能的に変わらないものについてはその説明を省略する。なお、本実施形態においても本発明の第一の実施形態と同様に、複写機操作者の複写物の取り忘れを防止する装置に適用する場合について説明する。

１０は複写機、２０はビデオカメラ等の撮像手段、８０は音声警告手段、２００は媒体の取り忘れを判定するための画像処理手段であり、本発明の第一の実施形態と同様にそれぞれネットワークにより接続されている。

また、画像処理手段２００は撮像手段２０の映像を画像データとして取得する映像取得手段２３０、映像取得手段２３０で得た画像データから操作者領域を検出する人物検出手段２４０、映像取得手段２３０で得た画像データから操作者領域を逐次的に認識し追跡する追跡手段２５０、操作者領域の追跡結果から操作者の立去り動作を判定する立去り判定手段２６０、複写物の残留を判定する媒体残留判定手段２７０、および画像処理手段２００の各構成要素を制御する不図示の制御手段によって構成される。

次に、本実施形態の動作を図１０に従って説明する。

まず、複写機１０が操作者によって複写機１０の不図示の複写ボタンから複写操作を受付ける（ステップＳ３０１）と、人物検出手段２４０は映像取得手段２３０で取得した画像データから操作者の初期位置を検出する（ステップＳ３０２）。操作者が複写ボタンを押した直後の画像は図１１のようになるので、本実施形態では図１１のＲ３に示す領域の中から操作者の位置を探索するようにする。また、図１１に示すように人物は楕円状の形状をしているので、人物の認識は画像のエッジ成分が楕円上に分布しているかどうかで判定する。以下、具体的な処理方法を図１２、図１３を参照して説明する。

まず、領域設定手段２４１が画像データ中の人物探索を行う領域の設定を行う（ステップＳ４０１）。図１１のＲ３の領域内で操作者の位置を探索するように設定する。なお、領域を示す位置データは、撮像手段２０を設置した際に、撮像手段２０の映像データを表示させ、表示した画像を見て、あらかじめ最適な領域を設定しておく。

次に、エッジ抽出手段２４２が領域内の画像データに対してエッジ抽出を行う（ステップＳ４０２）。ここで、エッジ抽出処理はＳｏｂｅｌフィルタ等のフィルタ処理を用いる。エッジ抽出処理の結果は領域設定手段２４１で設定した領域に対応するエッジ強度画像としてエッジ抽出手段２４２内の画像メモリに記憶される。

そして、楕円領域設定手段２４３は領域設定手段２４１で設定した領域内に楕円状の領域を設定する（ステップＳ４０３）。楕円領域の例を図１４に示す。ここで楕円領域は図１４の斜線で示す領域であり、楕円の中心位置Ｃｅ、外側の楕円の長径ｒ１、短径ｒ２、内側楕円の長径ｒ３、短径ｒ４で定義される。なお、楕円パラメータ記憶手段２４７にはこのような楕円を定義するパラメータが予め記憶されており、ステップＳ４０３のステップではそのうち楕円パラメータの初期値が設定される。

次に、エッジ強度算出手段２４４はエッジ抽出手段２４２のエッジ強度画像から楕円領域設定手段２４３で設定した図１４に示したような楕円領域（図１４の斜線部分）のエッジ強度を積算する（ステップＳ４０４）。すなわち、図１４の外側楕円内で、かつ、内側楕円外に相当する画素のエッジ強度の総和を算出して出力する。

次に、エッジ強度比較手段２４５はエッジ強度の比較を行い、エッジ強度の強い楕円領域およびそのエッジ強度をエッジ強度比較手段２４５内のメモリに保存する（ステップＳ４０５）。なお、楕円領域の初期設定時には、本ステップの処理はスキップされる。

次に、楕円領域設定手段２４３は楕円パラメータ記憶手段２４７の楕円パラメータに従い、領域設定手段２４１で設定した領域内に楕円領域を更新する（ステップＳ４０６）。すなわち、図１１のＲ３の領域内で図１４に示した楕円パラメータＣｅ、ｒ１、ｒ２、ｒ３、ｒ４を更新する。なお、更新の範囲は予め楕円パラメータ記憶手段２４７に記憶されているパラメータに従って行う。

ステップＳ４０４〜Ｓ４０６の処理を所定の範囲で繰返し行った後、領域出力手段２４６は領域設定手段２４１で設定した領域内からエッジ強度比較手段２４５で最終的に楕円領域で最もエッジ強度の強い領域を操作者の位置として出力する（ステップＳ４０７）。

次に、図１０に戻り、人物検出以降の動作を説明する。

追跡手段２５０は映像取得手段２３０で得た画像データから操作者の位置（人物領域）を追跡して認識する（ステップＳ３０３）。ここでの処理はステップＳ３０２における人物検出と同様の処理であるため、簡単に概略のみ説明する。

ステップＳ３０２の処理と同様に、楕円領域のエッジ強度をもとに人物領域の追跡を行う。但し、本ステップでは探索する楕円領域の初期領域を前フレームにおける追跡結果（認識結果）、または、人物検出直後の場合は、人物検出手段２４０における人物検出結果の領域とする。また、探索する範囲は人物の移動する範囲に限定するために、人物検出手段２４０における図１１のＲ３に示した固定的な探索範囲でなく、楕円領域の初期領域に対して予め定めておいた近傍領域とする。

なお、人物検出手段２４０および追跡手段２５０で用いる楕円パラメータは撮像手段２０を設置した際に撮像手段２０の映像データから予め操作者の形状を考慮し、楕円パラメータ記憶手段２４７に最適な値を設定するようにする。

次に、立去り判定手段２６０は操作者領域の追跡結果から操作者の立去り動作を判定する（ステップＳ３０４）。以下、本実施形態における立去り動作判定の原理を説明する。例えば、操作者Ｏが複写操作を行った後に、プリント物Ｐを取り忘れた画像を図１５ａとすると、図１１からの人物領域の軌跡は図１５ｂに示したようになる。なお、図１５ｂの黒丸は人物位置、矢印は人物の向きを表す。このように操作者が立去り動作を行った場合は、人物追跡の軌跡が特定のパターンになると想定できるので、人物領域の軌跡により立去り判定を行う。図１６に立去り判定手段２６０の構成を示す。また、図１７に立去り動作判定の処理の流れを示す。以下、図１６、図１７に従い、立去り動作判定の動作を説明する。

まず、追跡結果更新手段２６１は追跡手段２５０における追跡結果である人物領域の軌跡を更新する（ステップＳ５０１）。すなわち、追跡手段２５０で出力される人物領域の中心位置および方向の値をフレーム毎に追加していく。例えば、第ｉフレームにおける中心位置を示す位置ベクトルをｐｉ、方向ベクトルをｑｉとすると、ｋ番目のフレームまでの更新結果は、
｛ｐ１，ｐ２，…，ｐｋ｝および｛ｑ１，ｑ２，…，ｑｋ｝ （式３）
となる。追跡結果更新手段２６１では（式３）に示したデータを立去り動作の判定または媒体取り忘れ判定の処理が終了するまで保持しておく。

次に、追跡結果正規化手段２６２が追跡結果更新手段２６１で更新した人物領域の軌跡データを正規化する（ステップＳ５０２）。本実施形態では、人物領域の中心位置および方向の夫々に対して多項式近似（例えば３次式）を行い、近似した結果得られたパラメータおよび変数の範囲（人物領域の中心位置の場合は例えば水平方向の画素位置の範囲）を出力するようにする。本ステップの処理は、前述の処理に限らず追跡結果の特徴を失わず、所定の次元数の特徴ベクトルに正規化する処理であれば他の方法でもよい。

次に、動作判定手段２６３は追跡結果正規化手段２６２の出力である人物領域の軌跡データから立去り動作か否かを判定する（ステップＳ５０３）。判定処理は、人物領域の軌跡データに対して判定パラメータ記憶手段２６４に記憶されている立去り動作判定パラメータとの演算によって、本発明の第一の実施形態と同様な方法で行う。すなわち、人物領域の軌跡を表す特徴ベクトルをｚ（Ｌ次元行ベクトル）、サポートベクターマシーンによって求め、判定パラメータ記憶手段２６４に記憶された立去り動作判定パラメータをｅ（Ｌ次元列ベクトル）およびｆとするとき、以下の（式４）により判定を行う。
ｅ・ｚ−ｆ （式４）
（式４）の値が正の場合は、立去り動作、それ以外はその他の変化と判定する。また、学習は、撮像手段２０を設置した際に撮像手段２０の映像データから予め操作者の立去り動作に対応する人物領域の軌跡とそれ以外の人物領域の軌跡のサンプルを複数用意し、立去り動作判定パラメータを求めるようにする。

以上説明した立去り動作判定手段２６０の判定結果が立去り動作の場合は次のステップＳ３０５のステップに処理を移す。また、立去り動作判定手段２６０の判定結果が立去り動作以外の場合はステップＳ３０３のステップに処理を戻し、繰返しステップＳ３０３〜Ｓ３０４の処理を行うようにする。

次に、媒体残留判定手段２７０はプリント物残留の判定を行う（ステップＳ３０５）。ここでの処理は本発明の第一の実施形態と同様な方法で行ってもよいし、複写機１０のプリント物排出トレーにプリント物を検知するセンサを備えて判定を行うようにしてもよい。

音声警告手段８０は媒体残留判定手段７０が残留と判定した場合に警告音を発し、処理を終了する（ステップＳ３０６）。また、媒体残留判定手段７０が残留でない判定した場合には処理を終了し、複写操作の待機状態になる。

前述実施形態のように初期画像が所定の操作をした直後の操作者を撮像する事が好ましいが、初期画像に所定の操作をした操作者を撮像していない場合でも操作者が立ち去る際に必ず通過する領域を撮像するようにしておけば一定の効果は得られる。この場合、通過領域において操作者の特定方向への移動を判断できる事が好ましい。

複写機の操作における複写物の取り忘れを防止する装置に適用する場合について説明したが、本発明は複写原稿の取り忘れを防止する場合も適用できる。例えば、本発明の実施形態における媒体残留判定手段の代わりに原稿の有無を検知するセンサを複写機に備え付け、立去り動作判定で、かつ原稿有判定の場合に警告音を発するように構成したり、警告灯を備えるようにしたりする。

さらに、本発明は複写機に限らず、自動販売機や自動取引装置等の金品の授受を伴う機器の各種媒体を操作者に対して提供あるいは変換する機器などの取り忘れ防止に適用できる。

（その他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行してもよい。

この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能を実現してもよい。

例えば図１８に示す様にＲＯＭ２３０の中に前記実施形態で挙げたフローチャートの処理をＣＰＵ２１０に実現させるプログラムを格納しておき、実行させる際にＲＡＭ２２０に読出しＣＰＵ２１０が処理できるような構成が考えられる。２５０はバスであり、ＲＯＭ２３０、ＲＡＭ２２０、ＣＰＵ２１０およびＨＤＤのデータをやりとりする。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ（中央処理装置）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明を記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートの処理をコンピュータ（又は中央処理装置）に実行させるコンピュータが読み取り可能なプログラムが格納される。

概略構成を示すブロック図。 概略処理フローを示すフローチャート。 背景画像の例を示す上面図。 背景差分画像の例を示す上面図。 立去り動作判定の原理を示す上面図。 立去り判定手段の構成を示すブロック図。 立去り判定手段の処理フローを示すフローチャート。 立去り判定手段の領域設定方法を説明する上面図。 概略構成を示すブロック図。 概略処理フローを示すフローチャート。 人物検出の原理を説明する上面図。（第２実施形態） 人物検出手段の構成を示すブロック図。（第２実施形態） 人物検出手段の処理フローを示すフローチャート。（第２実施形態） 人物検出手段の楕円領域を示す上面図。（第２実施形態） 立去り動作判定の原理を説明する上面図。（第２実施形態） 立去り判定手段の構成を示すブロック図。（第２実施形態） 立去り判定手段の処理フローを示すフローチャート。（第２実施形態） 画像処理装置の概略構成の一例を示す。

符号の説明

１０ 複写機
２０ 撮像手段
３０ 映像取得手段
４０ 背景画像抽出手段
５０ 差分画像算出手段
６０ 立去り判定手段
７０ 媒体残留判定手段
８０ 警告手段

Claims (6)

1. 媒体出力装置の近傍を撮像する撮像装置から画像データを取得する取得手段と、
   前記媒体出力装置が前記撮像装置の操作者から所定の操作を受付けた際に、前記撮像装置が撮像した画像データを初期画像として設定する設定手段と、
   前記取得手段から新たに取得した画像データを前記初期画像と比較することによって、前記操作者の前記媒体出力装置の近傍からの立去りを判定する立去り判定手段と、
   前記媒体出力装置に媒体が残留しているかを判定する残留判定手段と、
   前記立去り判定手段および残留判定手段の結果から前記媒体の取り忘れを判定し、前記操作者に警告する警告手段と
   を有することを特徴とする画像処理装置。
2. 前記媒体出力装置は複写機であり、前記所定の操作が複写開始操作であることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段が前記所定の操作を受付けた際に画像データの所定の領域から前記操作者の初期位置を抽出し、前記立去り判定手段が前記操作者の位置を逐次的に認識し、当該認識結果に基づいて立去り判定をすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像装置は前記媒体出力装置の媒体が出力されるべき媒体出力領域を撮像し、前記残留判定手段が前記撮像装置の画像データに基づいて媒体の残留を判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 媒体出力装置の近傍を撮像する撮像装置から画像データを取得する取得工程と、
   前記媒体出力装置が前記撮像装置の操作者から所定の操作を受付けた際に、前記撮像装置が撮像した画像データを初期画像として設定する設定工程と、
   前記取得手段から新たに取得した画像データを前記初期画像と比較することによって、前記操作者の前記媒体出力装置の近傍からの立去りを判定する立去り判定工程と、
   前記媒体出力装置に媒体が残留しているかを判定する残留判定工程と、
   前記立去り判定工程および残留判定工程の結果から前記媒体の取り忘れを判定し、前記操作者に警告する警告工程と
   を有することを特徴とする画像処理方法。
6. 画像処理装置の中央処理装置に、
   媒体出力装置の近傍を撮像する撮像装置から画像データを取得する取得工程と、
   前記媒体出力装置が前記撮像装置の操作者から所定の操作を受付けた際に、前記撮像装置が撮像した画像データを初期画像として設定する設定工程と、
   前記取得手段から新たに取得した画像データを前記初期画像と比較することによって、前記操作者の前記媒体出力装置の近傍からの立去りを判定する立去り判定工程と、
   前記媒体出力装置に媒体が残留しているかを判定する残留判定工程と、
   前記立去り判定工程および残留判定工程の結果から前記媒体の取り忘れを判定し、前記操作者に警告する警告工程と
   を実行させることを特徴とするコンピュータが読み取り可能なプログラム。

Images