JP2011227857A - 置き去り又は持ち去り判定装置及び同判定方法 - Google Patents

Abstract

【課題】背景画像と現在画像を差分して得られる差分（異物）画像が置き去りによるものか持ち去りによるものかを判定する。
【解決手段】電子カメラ１０で撮影した監視区域の背景画像に基づき、判定装置２０の距離画像作成手段２０１は前記背景画像の距離画像を作成し、記憶装置２２は前記背景画像及び作成した距離画像を記憶する。差分画像作成手段２０２は、前記背景画像と現在画像との差分画像を作成し、置き去り又は持ち去り判定手段２０３は、前記距離画像と前記差分画像を重ね合わせ、前記距離画像における差分画像と重なった部分と同じ画素ライン上にある重ならない部分との距離データを比較して、差分画像が置き去りによるものか持ち去りによるものかを判定する。
【選択図】 図１

Description

本発明は、例えば忘れ物のように、人がある場所に物を置いたまま去ったり、置いたものを持ち去ったりする場合に、異物として判定された物が、置き去った物か、持ち去った物かを特定するための置き去り又は持ち去り判定装置、同判定方法及びプログラムに関する。

ある場所に物を置いたり或いは物を持ち去ったりした場合に、それを判定する方法及び装置は既に知られている。例えば、撮影装置でその場所の背景画像を撮影し、その背景画像をメモリに記憶させておき、それと現在の画像とを比較して、その差分画像を作成すれば、誰かが置き去った或いは持ち去った物が差分画像として得られるため、その物を特定することができる。
また、駅などの常に移動する人や物がある場合などにおいては、時間をおいて撮影した画像から単純に差分画像を作成しても、他の移動体との区別がつき難いが、そのような場合においても、ある場所に物を置いたり或いは物を持ち去ったりするのを判定できるようにした発明（変化区域計算方法及び装置）も既に知られている（特許文献１参照）。

この変化区域計算方法及び装置では、同じ撮影区域について、予め定めた所定の時間間隔で撮影した複数の撮影画像を用い、各画像の画素（ピクセル）の画素値を平均化することにより、短時間に出入りしたものの影響を希釈化して、画像内の異物が一定時間以上滞留した場合だけ異物として抽出できるようにしている。

しかしながら、上記従来の方法では、いずれも背景から変化した箇所を判定するだけであるので、置き去り又は持ち去られた物を特定することはできるが、特定された物が置き去られた物か、或いは持ち去られた物かを特定することはできない。
そのため、置き去り又は持ち去りの判定を前提にするシステムを構築したくとも、そのような要望に対応することはできない。例えば、落し物判定を目的としたシステムの場合には、一般には置き去り判定は必要であるが、落し物を回収した後の落し物持ち去り判定は不要である。しかし、従来の上記装置及び方法では、そのような置き去り又は持ち去りを区別したシステムを構築することはできない。

特開２００７−１０８９６５号公報

本発明は、従来の問題に鑑みてなされたものであって、その目的は、１台のカメラで置き去りと持ち去りを区別して判定することである。

本発明の置き去り又は持ち去り判定装置は、撮影装置で撮影した監視区域の背景画像に基づき、当該背景画像の距離画像を作成する距離画像作成手段と、前記背景画像及び作成した距離画像を記憶する記憶手段と、前記背景画像と現在画像との差分画像を作成する差分画像作成手段と、前記距離画像と前記差分画像を重ね合わせ、前記距離画像における差分画像と重なった部分と同じ画素ライン上にある重ならない部分との距離データに基づき、差分画像が置き去りによるものか持ち去りによるものかを判定する置き去り又は持ち去り判定手段、を有し、前記置き去り又は持ち去り判定手段は、前記距離データが同じであるとき置き去りと判定し、異なるとき持ち去りと判定することを特徴とする。
本発明の置き去り又は持ち去り判定装置における置き去り又は持ち去り判定方法は、監視区域の背景画像データに基づき、前記背景画像の距離画像を作成する距離画像作成工程と、前記背景画像と現在画像との差分画像を作成する差分画像作成工程と、前記距離画像と前記差分画像を重ね合わせ、前記距離画像における差分画像と重なった部分と同じ画素ライン上にある重ならない部分との距離データに基づき、差分画像が置き去りによるものか持ち去りによるものかを判定する置き去り又は持ち去り判定工程、を有し、前記置き去り又は持ち去り判定工程では、前記距離データが同じであるとき置き去りと判定し、異なるとき持ち去りと判定することを特徴とする。
本発明のプログラムは、コンピュータを、本発明の前記置き去り又は持ち去り判定装置の前記各手段として機能させることを特徴とする。

本発明によれば、置き去り、持ち去りを区別して判定することで、それぞれの用途に応じたアプリケーションが実現可能である。つまり、置き去り又は持ち去りのみの判定やその両方を区別して判定することを要するシステムに適用可能である。

本発明の実施形態に係る置き去り又は持ち去り判定装置の構成を概略的に示したブロック図である。 距離画像の作成法を説明する図である。 図２の距離画像の作成法で取得した撮影画像と距離データを示す図である。 図２の距離画像の作成法とは別の方法で作成した距離画像を説明する図である。 距離画像を利用して、置き去り又は持ち去り判定を行う手順を示すフロー図である。 背景画像の距離画像と差分画像と更新後距離画像を示す図である。 第２の実施形態に係る判定装置を概略的に示すブロック図である。 第２の実施形態における置き去り又は持ち去り判定の手順を示すフロー図である。 不動体の判定手順を示すフロー図である。 物体が一様な平面からはみ出した場合の距離画像、差分画像、更新後距離画像を示す図である。

異物の判定を、階段や段差などによる突然の変化を横方向に含まない一様な平面で行う場合は、背景画像の距離画像上に変化画像である差分画像を重ねた場合、物体の置き去りの場合は、背景距離画像で違い（距離の違い）のなかった場所での変化（距離の変化）であり、物体の持ち去りの場合は、背景距離画像で違いのある場所での変化と理解できる。したがって、距離画像を用いることで物体の置き去りと持ち去りの区別が可能である。
本発明は、この点に着目してなされたものである。

以下、本発明の実施形態に係る置き去り又は持ち去り判定装置について説明する。
図１は、本発明の実施形態に係る置き去り又は持ち去り判定装置の構成を概略的に示したブロック図である。
本置き去り又は持ち去り判定装置（以下、単に判定装置という）は、概略的には、監視区域に設置されたカメラ（電子カメラ）１０と、判定装置２０とから成り、判定装置２０は、置き去り又は持ち去り判定制御装置（以下、単に判定制御装置という）２００と、画像データを記憶する記憶装置２２と、判定装置２０の出力や、入力装置２６の入力結果などを表示する表示装置２４、及び上記入力装置２６とから成っている。なお、３０は各装置を接続するバスである。
判定制御装置２００は、例えばマイクロコンピュータを備え、マイクロコンピュータのプログラムによる機能実現手段として、距離画像作成手段２０１、差分画像作成手段２０２、置き去り又は持ち去り判定手段２０３、背景画像および距離画像更新手段２０４を備えている。

判定制御装置２００は、電子カメラ１０で撮影されデジタルデータに変換された背景画像の画像データが入力されると、予め作成した距離画像を基に、その距離画像作成手段２０１により画像のピクセル（画素）毎に距離データを付加した距離画像を形成し、かつ前記入力された背景画像と共に前記距離画像を記憶装置２２に記憶させる処理を行う。
続いて、電子カメラ１０が所定時間後に撮影を行い、撮影した現在画像データが判定装置２０に入力されると、差分画像作成手段２０２は、現在画像と既に記憶した背景画像（いずれも周知の方法で抽出したエッジ画像の画素値を用いることができる）との差分値を算出し、異物画像データを作成する。
置き去り又は持ち去り判定手段２０３は、記憶装置２２に記憶された背景画像の距離画像を読み出して、これに差分画像データ（異物画像データ）を重ね、上記距離画像における異物画像の周囲の距離データと、それに隣接した（同じ画素ライン上の）背景画像の距離データとを比較して、物体（異物）が置き去り又は持ち去りによるものか判定する。背景画像および距離画像更新手段２０４は、置き去り又は持ち去り判定手段２０３の判定結果に基づき、背景画像と距離画像を更新する。

次に、上記判定装置２０によって実行する異物の置き去り又は持ち去り判定について説明する。
上記置き去り又は持ち去り判定について、先ず、既に言及した距離画像の作成について図２ないし４を参照して説明する。
距離画像の作成に当たっては、まず、図２に示すように、平面上に電子カメラ１０のレンズ（視線）を斜め下向きに設定して、その電子カメラ１０で撮影する画像の平面の下端の位置を基準位置（０ｍ）として、その位置からＸｍ間隔で画像に写るマーカ（目印）Ｍを置き（つまり目印をつけて）、撮影を行う。
次に、図３に示すように、その撮影画像に写る各マーカＭの下端位置の画素ラインの距離データを実際の基準位置からの距離として記憶装置に記憶する。この処理を全ての目印に対して行う。この場合マーカＭの下端位置は、自動的に画像処理で判定する方法と、人が手動でマウスをクリックするなどして入力して指定する方法とがあるがいずれでもよい。

上記何れかの方法により、各マーカＭの下端位置の距離を記憶装置に記憶させると、次に、各マーカＭ間の画素ラインの距離データについて、各マーカＭの下端位置の画素ライン間の距離データから算出して補間し、これにより撮影画像面の全てのピクセル（画素）に距離情報を付加した距離画像を作成し、作成した距離画像を記憶装置２２に記憶する。
なお、距離画像データは必ずしも正確である必要はなく、例えば、図４に示すように撮影画像において基準位置から距離が一定の比率で表される画像に形成されてもよい。

図５は、上記距離画像を利用して、置き去り又は持ち去り判定を行う手順を示すフロー図であり、図６Ａ（１）、６Ｂ（１）は、いずれもこのようにして作成された背景画像の距離画像を示す。
ここで、上記距離画像を利用して、置き去り又は持ち去り判定を行う手順について、図５に示すフロー図にしたがって説明する。
まず、図３、図４に示すような背景画像の距離画像を作成する（Ｓ１０１）、つまり電子カメラ１０で撮影した背景画像で、予め作成した上記距離画像を基に画像の各ピクセルの距離データを付加した距離画像を作成し、この背景画像の距離画像を記憶装置に保存する（Ｓ１０２）。この場合、背景画像に物体があるときは、その物体の下端位置の画素ラインの距離データをその物体全体の距離データとして、上記距離画像中の物体像の全てのピクセルの位置情報を記憶しかつ保存する。

次に、現在画像を取得（Ｓ１０３）して、図６Ａ（２）、６Ｂ（２）に示すように、現在画像と背景画像からエッジ画像を抽出し、その両画像の差分を各ピクセル毎に求め差分値（絶対値とする）（＝現在画像−背景画像）を計算して差分画像（異物エッジ画像）を作成する（Ｓ１０４）。次に、この差分画像と背景画像の距離画像を重ね合わせて、距離画像において、差分画像が重なった部分と重なっていない同じ画素ライン上の距離データを比較する（Ｓ１０５）。この場合、（i）距離データに変化がなければ（つまり同じであれば）（Ｓ１０５、ＹＥＳ）、差分画像つまり、動きのあった画像が背景画像中に元々存在していなかったことになるから、置き去りと判定できる（Ｓ１０６）。その後、図６Ａ（１）の背景画像の距離画像を図６Ａ（３）のように更新する（Ｓ１０８）。この時、物体の下端位置の画素ラインの距離データをその物体全体の距離データに更新する。

一方、（ii）差分データ付近で同じ画素ライン上の距離データに変化があれば（Ｓ１０５、ＮＯ）、差分画像つまり、動きのあった画像が背景画像中に存在していたことになるから、持ち去りと判定できる（Ｓ１０７）。そこで、図６Ｂ（１）の背景画像の距離画像を図６Ｂ（３）のように更新する（Ｓ１０８）。この時、物体の画素ライン上の距離データを距離の遠い方のデータに更新する。
本実施形態によれば、以上で述べた簡易な手段及び方法により、差分画像つまり異物が置き去りによるものか持ち去りによるものか判定することができる。

次に、判定装置２０の第２の実施形態について説明する。
図７は、本実施形態に係る判定装置を概略的に示すブロック図であり、この判定装置は、第１の実施形態の置き去り又は持ち去り判定の判定精度を高めたものであり、判定制御装置２００の機能（機能実現手段）以外は全て第１の実施形態の判定装置と同じである。
本実施形態では、上記判定装置２０の判定制御装置２００は、コンピュータの機能実現手段として、上記第１の実施形態に係る置き去り又は持ち去り判定装置に対し、背景差分値の画素値を、例えば所定の閾値を用いて２値化する２値化手段２０５と、２値化した背景差分に係るピクセルをラベリングするラベリング手段２０６と、検知された異物について、それが置き去りの異物か持ち去りの異物かを判定した上で、その判定から一時的に監視区域に出入りした物体でないものだけを検知する不動体判定手段２０７をさらに備えている。

次に、上記第２の実施形態における置き去り又は持ち去り判定について図８に示す処理フロー図に従って説明する。
即ち、まず、背景画像の距離画像を作成し（Ｓ２０１）、次に、電子カメラ１０の撮影画像の入力を行う（Ｓ２０２）。入力画像と記憶装置に記憶した背景画像（入力画像、背景画像共にエッジ画像とする）の差分をとり（差分値は絶対値とする）（Ｓ２０３）、差分画像を予め定めた所定の閾値で２値化する（Ｓ２０４）。続いて、２値化画像のラベリングを行い（Ｓ２０５）、不動体を判定、つまり差分の状態が一定時間以上続いた異物があれば不動体として判定し（Ｓ２０６）、距離画像と不動体とを重ねて、距離画像中において、不動体の周囲の距離データと水平方向の同じ画素ライン上の距離データと比較して、不動体が異物の置き去りか持ち去りかを判定し、距離画像を更新する（Ｓ２０７）。つまり、判定結果出力処理で出力された部分の距離画像を更新する。その判定結果を、不動体として判定した異物を置き去りか持ち去りかの情報付きで出力し（Ｓ２０８）、背景画像（背景差分で使う画像）の距離画像を更新する（Ｓ２０９）。

次に、上記処理で行われる不動体の判定手順について図９を参照して説明する。
この処理はまず、差分の有無が判定され（Ｓ３０１）、差分の状態があれば（Ｓ３０１、ＹＥＳ）、差分タイマのカウントをスタートさせて（Ｓ３０２）、差分タイマカウントが設定値に達したとき、つまり一定時間続いたとき（Ｓ３０３、ＹＥＳ）、当該異物を不動体として判定する（Ｓ３０４）。
なお、以上の処理において、設定値とは、置き去り又は持ち去りと決定することとなる時間である。したがって、設定値以上放置されたときは置き去り又は持ち去りの判定を行う。
本実施形態によるときは、とくに不動体の判定を行うため、短時間に監視区域に出入りしたものや人を判定対象から除外して判定することができる。したがって誤判定を防止し、判定精度が向上する。

なお、置かれた物体が一様な平面からはみ出してしまう場合は全体として物体の距離画像を更新することはできないが、ある程度の周辺距離データがあれば、置き去り又は持ち去りの区別をすることはできる。この場合、物体の差分自体のサイズは変わらないため、正しい大きさの、置き去り又は持ち去り物体として認識することができる。次にその点について説明する。

図１０Ａは、置かれた物体が一様な平面からはみ出してしまう例で、置き去りの場合である。
背景の距離画像は図１０Ａ（１）であり、差分画像（図１０Ａ（２））は距離画像の一様な平面からはみ出しているが、その一部が一様な平面にあるため、１０Ａ（３）に示す更新後の距離画像を得ることができる。
同様に図１０Ｂは、置かれた物体が一様な平面からはみ出してしまう例で、持ち去りの場合である。図１０Ｂ（１）の背景画像の距離画像の一部のピクセルに、置かれた物体の距離情報が付加されているため、図１０Ｂ（２）の差分画像を重ねたとき、図１０Ｂ（３）に示す背景画像の更新した距離画像が得られる。

既に述べたように、置き去り又は持ち去り判定を行う場合の距離画像データは必ずしも正しいものである必要はない。その理由は、変化が一様である平面であれば、画面に写される位置で相対的距離を測ることが出来、それにより置き去り又は持ち去りの区別をすることができるからである。

本実施形態によれば、背景画像と現在画像との差分画像から、置き去り又は持ち去った物を特定する点では上記従来の変化区域計算方法（装置）と同様であるが、
（１）現在画像のピクセル（画素）毎の距離画像を作成してこれを保持しておき、
（２）現在画像から背景画像を各画素毎に減算する処理（背景差分：背景差分値 ＝ 現在画像 − 背景画像）を行い、（３）差分画像の周囲（付近）の画素についての距離画像データと、水平方向の同じ画素ライン上のデータとを比較して、距離データが同一であれば置き去りと判定し、差分画像（エッジ画像）の内部の距離画像データをエッジ画像の下端の距離データで更新する処理を行うことで、容易に置き去り又は持ち去り判定を行うことができる。

また、距離データが異なっていれば、持ち去りとし、エッジ画像の内部の距離画像データを距離の遠い方の距離データ（エッジの外側（左右）の同一画素ライン上の距離データ）で更新する処理を行うことで、置き去り又は持ち去り判定を行った後は、背景画像の距離情報を更新して、また、新たな監視を続けることができる。

１０・・・電子カメラ、２０・・・判定装置、２００・・・判定制御装置、２０１・・・距離画像作成手段、２０２・・・差分画像作成手段、２０３・・・置き去り又は持ち去り判定手段、２０４・・・背景画像および距離画像更新手段、２０５・・・２値化手段、２０６・・・ラベリング手段、２０７・・・不動体判定手段、２２・・・記憶装置、２４・・・表示装置、２６・・・入力装置。

Claims (6)

1. 撮影装置で撮影した監視区域の背景画像に基づき、当該背景画像の距離画像を作成する距離画像作成手段と、
   前記背景画像及び作成した距離画像を記憶する記憶手段と、
   前記背景画像と現在画像との差分画像を作成する差分画像作成手段と、
   前記距離画像と前記差分画像を重ね合わせ、前記距離画像における差分画像と重なった部分と同じ画素ライン上にある重ならない部分との距離データに基づき、差分画像が置き去りによるものか持ち去りによるものかを判定する置き去り又は持ち去り判定手段、を有し、
   前記置き去り又は持ち去り判定手段は、前記距離データが同じであるとき置き去りと判定し、異なるとき持ち去りと判定することを特徴とする置き去り又は持ち去り判定装置。
2. 請求項１に記載された置き去り又は持ち去り判定装置において、
   置き去り又は持ち去り判定手段の判定結果に基づき、前記距離画像を更新する距離画像更新手段を有することを特徴とする置き去り又は持ち去り判定装置。
3. 請求項１又は２に記載された置き去り又は持ち去り判定装置において、
   差分画像データを２値化する処理を行う２値化手段と、
   ２値化した差分画像データをラベリングするラベリング手段と、
   前記ラベリングした差分画像データが所定時間検知されたとき、当該差分画像を不動体と判定する不動体判定手段と、を有し、
   前記置き去り又は持ち去り判定手段は、前記不動体判定手段が不動体と判定した差分画像について、置き去り又は持ち去り判定を行うことを特徴とする置き去り又は持ち去り判定装置。
4. 請求項１ないし３のいずれかに記載された置き去り又は持ち去り判定装置において、
   入力装置及び表示装置を有することを特徴とする置き去り又は持ち去り判定装置。
5. 置き去り又は持ち去り判定装置における置き去り又は持ち去り判定方法であって、
   監視区域の背景画像データに基づき、前記背景画像の距離画像を作成する距離画像作成工程と、
   前記背景画像と現在画像との差分画像を作成する差分画像作成工程と、
   前記距離画像と前記差分画像を重ね合わせ、前記距離画像における差分画像と重なった部分と同じ画素ライン上にある重ならない部分との距離データに基づき、差分画像が置き去りによるものか持ち去りによるものかを判定する置き去り又は持ち去り判定工程、を有し、
   前記置き去り又は持ち去り判定工程では、前記距離データが同じであるとき置き去りと判定し、異なるとき持ち去りと判定することを特徴とする置き去り又は持ち去り判定方法。
6. コンピュータを、請求項１ないし３のいずれかに記載された置き去り又は持ち去り判定装置の前記各手段として機能させるためのプログラム。

Images