JP2012208574A - 死角判定装置およびその方法 - Google Patents

Abstract

【課題】カメラで撮影した場合の障害物の裏等の死角を正確に認識する。
【解決手段】カメラ１により撮影した画像から動体の検出枠を検出する動体検出部２と、検出枠の過去の複数フレーム分を保存する検出枠移動結果保存部４と、検出枠の履歴から死角の有無を検知する死角検知部１４と、検出枠の変化から死角幅を推定する死角幅推定部５と、死角高を推定する死角高推定部６と、死角幅および死角高に基づいて死角領域を設定する死角領域設定部１０と、死角領域から死角撮影用カメラの設置位置を出力する死角情報出力部１１とを設ける。カメラで撮影された画像データの時系列変化に基づいて動き差分や背景差分を用いて移動する動体を検出すると共に検出された動体の例えば外接四角形を検出枠として、検出枠の大きさの減少により障害物の裏側にカメラに対して障害物による死角があると判定することができ、そのような簡単な画像処理で死角を判定することができる。
【選択図】図１

Description

本発明は、死角判定装置およびその方法に関し、特に、死角を撮影可能にするカメラの追加を容易にするための死角判定装置およびその方法に関するものである。

従来、不法侵入者等を検知するために、カメラ等の撮像装置で撮影した画像データ中の移動物体を検出し、その移動物体の有する特徴量からその移動物体が検出対象か否かの判定、またはその移動物体の種類を判定するようにしたものがある。例えば、検出した移動物体の外接四角形を求め、その外接四角形の各辺が前回の画面における位置から移動したか否かを検出し、いずれか一辺でも移動していない場合には上記の各判定を行わないようにし、一方、外接四角形の各辺の全てが移動している場合に判定処理を行うことにより、誤判定の可能性がある場合に判定処理を停止して、正確な判定を行い認識率の向上を図るとしたものがある（例えば特許文献１参照）。

特許第３１９７３９６号公報

一方、監視カメラとして死角領域を正確に求めたい場合がある。しかしながら、上記処理方法では、低い障害物で頭が出た状態で移動するような場合には外接四角形の各辺が移動し得るため判定処理が行われたりすることから、死角に対しての認識を正確に行うことができないという問題がある。

このような課題を解決して、カメラで撮影した場合の死角領域を正確に認識するために、本発明に於いては、カメラにより撮影された映像データから動体を検出する動体検出部と、前記動体の移動履歴から前記カメラの死角の有無を判定する死角判定部とを備える死角判定装置であって、前記動体検出部で前記動体を検出するために設定される検出枠の履歴を保持する検出枠履歴保持部を有し、前記死角判定部は、前記動体の移動履歴としての前記検出枠の履歴に基づいて、死角の有無を判定するものとした。

このように本発明によれば、カメラで撮影された画像データの時系列変化に基づいて動き差分や背景差分を用いて移動する動体を検出すると共に検出された動体の例えば外接四角形を検出枠として、動体の移動履歴として検出枠の履歴を保持し、その検出枠の履歴に基づいて検出枠の大きさが減少する場合には動体が障害物の裏に入ったとすることができ、その部分にカメラに対して障害物による死角があると判定することができるため、そのような簡単な画像処理で死角を判定することができるという優れた効果を奏する。

死角判定装置の全体構成図 （ａ）・（ｂ）・（ｃ）は検出枠の移動による変化を示す図 （ａ）は障害物に対する検出枠の履歴を示し、（ｂ）は死角領域を示す図 （ａ）は死角領域に対して同じ側に戻る場合の入退履歴を示し、（ｂ）は死角領域に対して通過する場合の入退履歴を示す図 （ａ）は死角を通過する場合を示し、（ｂ）は死角で折り返す場合を示す図 本発明に基づく制御要領を示すフロー図 （ａ）は障害物および死角を示す平面図であり、（ｂ）は全周囲カメラによる画像を示す図 推奨カメラの表示の例を示す図 第２実施形態の制御要領を示すフロー図

上記課題を解決するためになされた第１の発明は、カメラにより撮影された映像データから動体を検出する動体検出部と、前記動体の移動履歴から前記カメラの死角の有無を判定する死角判定部とを備える死角判定装置であって、前記動体検出部で前記動体を検出するために設定される検出枠の履歴を保持する検出枠履歴保持部を有し、前記死角判定部は、前記動体の移動履歴としての前記検出枠の履歴に基づいて、死角の有無を判定する構成とする。

これによると、カメラで撮影された画像データの時系列変化に基づいて動き差分や背景差分を用いて移動する動体を検出すると共に検出された動体の例えば外接四角形を検出枠として、動体の移動履歴として検出枠の履歴を保持し、その検出枠の履歴に基づいて検出枠の大きさが減少する場合には動体が障害物の裏に入ったとすることができ、その部分にカメラに対して障害物による死角があると判定することができるため、そのような簡単な画像処理で死角を判定することができる。

また、第２の発明は、前記動体検出部は、前記検出枠を前記動体に外接する上下左右の四辺からなる外接四角形として形成し、前記死角判定部は、前記検出枠が減少した場合に、該検出枠の外接四角形の縦横比の履歴に基づいて、死角があると判定する構成とする。

これによると、動体の外形を簡単な形状の外接四角形で検出し、検出枠が消滅した場合に、その外接四角形の縦横比の履歴から左右または上下に検出枠が消滅したことを判断できるため、その消滅した方向に死角があると判定することができる。

また、第３の発明は、前記死角判定部は、前記検出枠の外接四角形の縦横比の変化において、縦方向の比率が大きくなる場合に死角があると推定する構成とする。これによると、外接四角形の縦方向の比率が大きくなる場合は相対的に横方向の辺の長さが短くなる場合であり、そのような場合には検出枠の横方向にある死角に動体が入って行く場合と推定でき、それにより死角があると推定することができる。

また、第４の発明は、前記死角判定部は、前記検出枠の履歴から死角領域の左右の辺を推定する構成とする。これによると、検出枠の消滅履歴から、検出枠が左右方向に短くなって消滅した場合には、その消滅位置に死角領域の左右いずれかの辺があると推定することができ、その辺が検出枠の移動方向から死角領域の左右の辺のどちらであるかを判断できる。

また、第５の発明は、前記死角判定部は、前記死角領域の左右の辺と重なる前記検出枠の下辺に基づいて前記死角領域の上下の辺を推定する構成とする。

これによると、動体がその高さより低い障害物の死角側を移動すると頭の部分が検出枠として検出され、その下辺が死角領域の上辺と推定することができると共に、障害物の前側を移動する場合には障害物に近付くほど検出枠の下辺が障害物の下辺に近付くため、その検出枠の下辺を死角領域の下辺と推定することにより、死角領域の上下の辺を推定することができる。

また、第６の発明は、前記死角判定部は、前記動体の移動履歴から前記死角への前記動体の入退履歴を求め、該入退履歴に基づいて、前記動体が死角領域の同一側でのみ入退をしている場合には死角領域内にさらに障害物があると判定する構成とする。これによれば、動体が、死角に入った場合にその入った方向ではなく、入った側に戻るという入退を検出した場合には、死角領域内に壁等のさらに別の障害物があると判定することができる。

また、第７の発明は、前記死角判定部は、前記検出枠の大きさが減少し、かつ所定時間内に減少方向とは逆方向に増大して減少前と略同一の大きさになった場合には、前記死角領域に前記動体の移動を妨げる障害物があると判定する構成とする。

これによると、一旦障害物の死角に入ったと推定される動体の検出枠があり、かつ所定時間内に入った方向とは逆方向に出てきた動体の検出枠が検出され、その出てきた検出枠が入った検出枠と略同一の大きさであれば、同一の動体が入って出てきたと推定できることから、死角領域に動体の移動を妨げる障害物としての壁等の別の障害物があると推定することができる。

また、第８の発明は、前記検出枠履歴保持部が、前記検出枠の大きさが減少した場合の過去の複数フレームのデータを保存し、前記死角判定部は、前記死角領域の上下左右の少なくとも一辺を前記過去の複数フレームのデータを平均して求める構成とする。

これによると、１つのデータから死角領域の辺を求める場合よりも、複数のデータを用いかつ平均値から求めることから、死角領域の辺の位置をより高精度に求めることができる。

また、第９の発明は、前記死角判定部は、前記カメラにより撮影された範囲に、前記死角を撮影するカメラを配置するための指標となる座標軸を設定する構成とする。

これによると、１台のカメラによる撮影で死角となる部分を撮影するためにカメラを追加する場合に、そのカメラで撮影された範囲（画面）で、死角を横切る方向の座標軸を知ることができるため、その座標軸上にカメラを設置すれば死角を撮影可能になり、死角を撮影するカメラの設置を容易に行うことができる。

図１は、本発明の第１実施形態に係る死角判定装置の全体構成図である。図１に示すように、カメラ１で撮影した画像データが死角判定部としての死角判定制御部１３の動体検出部２に入力する。

ここで、動体検出部２で処理する映像データの一例を図２を参照して説明する。図２（ａ）に示されるように、例えばフレーム１ａの左上を原点として、横方向をＸ軸、縦方向をＹ軸として画素の座標を設定する。なお、Ｘ軸を床に対して水平にすることにより、画像のフレーム１ａの横方向が動体（移動物体）としての人物Ｍが左右方向に移動する方向となり、フレーム１ａの縦方向が高さと奥行きに対応する上下方向となる。

動体検出部２では、図２（ａ）に示されるフレーム１ａの画像データに基づいて、人物Ｍの外接四角形を検出枠３として設定する。この外接四角形の求め方は背景差分・フレーム間差分などを用いた公知の画像処理（例えば、特開平１１−４１５８９号公報）によるものであって良く、その説明を省略する。そして、例えばフレーム１ａの画面の左上の角を原点座標（０，０）として検出枠３の左上の角を基準座標（Ｘ０，Ｙ０）とし、図２（ａ）から図２（ｂ）のように検出枠３が移動した場合には、基準座標の変化（Ｘ０→Ｘ１、Ｙ０→Ｙ１）から人物Ｍが移動したと判定すると共に、検出枠３に追跡ＩＤ（番号）を設定し検出枠の追跡を行う。

そして、各フレームの検出枠３の状態から、図２（ａ）で基準座標（Ｘ０，Ｙ０）と高さｈ０・幅ｂ０とを求め、図２（ｂ）では基準座標（Ｘ１，Ｙ１）と高さｈ１・幅ｂ１とを求め、図２（ｃ）では基準座標（Ｘ２，Ｙ２）と高さｈ２・幅ｂ２とを求め、それぞれを同一追跡ＩＤにおける各フレームのデータとして検出枠移動結果保存部４に出力する。この場合、高さｈがほぼ変わらず（同一とみなせる許容値以内）、幅ｂが縮んでいることから死角があると判断する。検出枠移動結果保存部４では動体検出部２から送られてくるデータを時系列で過去の複数フレーム分を保存する。

検出枠移動結果保存部４は、所定の過去複数フレーム分のデータを死角検知部１４・死角幅推定部５・死角高推定部６・死角種別推定部７にそれぞれ出力する。

死角検知部１４では、検出枠の履歴から死角の有無を検知する。検出枠の履歴が下記の２つの条件を同時に満たす場合に死角があると判断する。
条件１：検出枠の高さ（ｈ）がほぼ変わらない
条件２：検出枠の幅（ｂ）が徐々に小さくなっている
これにより、出入口から外に出て扉を閉じた場合や、同じ場所に居続けたため背景と同化して動き差分や背景差分を用いても検出枠が消えてしまった場合等では、上記したように高さｈがほとんど変化せずに幅ｂが徐々に小さくなる変化とはならず（例えばフレーム間で消える）、そのような場合には死角とは判定せずに死角に向かって移動する場合だけを判定することが可能となる。このようにして、死角の有無を判定することができる。

死角幅推定部５では、死角の幅を推定するために、先ず幅の基準となる左右両辺の位置を推定する。例えば、図２（ａ）の基準座標Ｘ０と幅ｂ０とを加算した値（座標ＸＬ）を座標ＸＬ０（＝Ｘ０＋ｂ０）とし、図２（ｂ）も同様にその基準座標Ｘ１と幅ｂ１とを加算した値を座標ＸＬ１（＝Ｘ１＋ｂ１）とし、図２（ｃ）も同様にその基準座標Ｘ２と幅ｂ２とを加算した値を座標ＸＬ２（＝Ｘ２＋ｂ２）として、これらＸＬ０、ＸＬ１、ＸＬ２の例えば平均値を障害物８の左辺すなわち死角９の左辺のＸ座標ＸＬとして推定する。その際に、Ｘ０、Ｘ１、Ｘ２の移動量とＸＬ０、ＸＬ１、ＸＬ２の移動量を比較して移動量の少ない方が死角領域と接すると判断する。なお、図２（ｃ）から人物Ｍが完全に障害物８に隠れて死角９に入った場合には検出枠３が消えることになり、そのような場合には検出枠３が消える直前のフレーム１ａのＸ座標を死角９の左辺のＸ座標ＸＬとして推定してもよい。また、図２（ｃ）に示されるように障害物８の右辺すなわち死角９の右辺のＸ座標（ＸＲ）に対しても、右方から左方へ移動する検出枠に対して同様に処理することができ（この場合はＸ０、Ｘ１、Ｘ２の移動量の方が少なくなる）、両値の差（ＸＲ−ＸＬ）を死角幅Ｄｂとして推定する。この場合、上記例の座標ＸＬの推定において複数フレームによる平均値を求めており、それにより誤差を少なくし得る。また、座標ＸＬは左辺に対応するが、右辺に対応する座標ＸＬ、また上下辺に対応する座標の推定に於いても同様にそれぞれ平均値を求めることができる。

なお、別の人物の移動履歴から過去に検出された場所と同じ位置に死角領域が検出された場合には両方の結果を統合して（平均をとるなどして）死角領域情報を更新する。また、死角幅を求める際には、検出枠３の量だけでなく検出枠内の人物形状の変化を利用してもよい。例えば、
１．枠消滅のｎフレーム前の検出枠内の人物形状を記憶する。
２．枠消滅のｎ−１〜１フレーム前の検出枠内をｎフレーム前の検出枠内の人物形状を用いてマッチングを行う。
３．マッチングの結果、人物形状のうち欠けている部分を求め、欠けているラインを死角領域の辺と推定する。
とすることにより上記処理を行うことができる。

また死角高推定部６では、死角幅推定部５から死角９の左右辺の各Ｘ座標ＸＬ・ＸＲが入力され、それら左右辺を上下方向（Ｙ軸方向）に延長した両線分Ｌ１・Ｌ２により挟まれる領域を設定すると共に、両線分Ｌ１・Ｌ２により挟まれる領域に対して過去の複数フレームおける複数の検出枠３が重なるものを全て抽出する（図３（ａ）の矩形破線）。次に、各検出枠３の下辺において上側部分の中から最下位のものを上側下辺３ａとし、下側部分の中から最上位のものを下側下辺３ｂとして抽出し、それらの一例を図３（ｂ）に示す。両下辺３ａ・３ｂをＬ１とＬ２間に延長したものを死角領域の上下辺Ｌ３・Ｌ４と推定し、それら上下辺Ｌ３・Ｌ４の各Ｙ座標ＹＵ・ＹＤを求めることができる。上下辺Ｌ３・Ｌ４の間隔を障害物８による死角９の高さとなる死角高Ｄｈと推定する。なお、上側と下側の区別は、検出領域幅検出の際に用いた検出枠の中心点の平均位置より画面上の上側か下側かで区別すればよい。

死角幅推定部５により推定された死角幅Ｄｂと、死角高推定部６により推定された死角領域の上下左右辺のデータ（各Ｘ座標ＸＬ・ＸＲと各Ｙ座標ＹＵ・ＹＤ）が死角領域設定部１０に入力される。死角領域設定部１０では、死角幅Ｄｂと死角高Ｄｈとに囲まれた奥側を死角９の領域（各Ｘ座標ＸＬ・ＸＲと各Ｙ座標ＹＵ・ＹＤとにより囲まれた領域）として設定する。なお、図３（ｂ）の場合は画面（フレーム）内で上下辺が求められた場合であり、例えば柱等の場合には画面の上下方向に延在している場合があり、その場合には左右辺が上記両線分Ｌ１・Ｌ２となって上下辺が無いことになるが、画面内での死角領域としては左右辺のみで問題無い。

死角領域設定部１０で設定された死角９の領域データは死角種別推定部７に出力される。死角種別推定部７では、死角領域データと、検出枠移動結果保存部４から入力する所定の過去複数フレーム分のデータとに基づいて、死角領域の種別を推定する。死角領域の種類としては、障害物８の裏側が通り抜け可能になっているものと、カメラ１に対して障害物８により隠れていると共に奥側に延在する壁や棚等があることにより通り抜け不可能になっいるものとがある。

死角種別推定部７では、上記２種類の死角領域の種類の判別を行うことができる。一度死角領域に入ってしまうと追跡が途切れてしまうため同一物体が障害物の裏側を通り抜けたのか通り抜けられずに戻ってきたのかの判別はできないが、出入りのタイミングから推測することで障害物の種類を推測する。

死角種別推定部７は、移動履歴から死角領域への入退状況を求める。図４（ａ）、（ｂ）は図において上から下へ時間経過ｔを示しており、各矢印は死角領域に対して移動した人物Ｍの移動履歴から求めた入退状況を表すものである。入退状況の対応付けは入退の時刻が近いものを対応付けたり、あらゆる対応付けを想定してその中から移動速度なども考慮して最も尤度の高い対応付けを選択するなどすればよい。

例えば、移動物体（人物Ｍ）が図４(a)のように検出された場合には、死角領域に入っていく移動履歴１０１に対して移動履歴１０２が対応すると推定できる。この場合、上記入退の時刻が近いものを例とすると、時刻Ｔ１に死角領域に移動履歴１０１が入り、時刻Ｔ２に死角領域から移動履歴１０２が退出し、その入退の時間間隔（Ｔ２−Ｔ１）が対応付けとして設定された所定時間Ｔｄ以内（（Ｔ２−Ｔ１）≦Ｔｄ）である。そして、移動履歴１０１と１０２とは死角領域の同じ側で入退している。同様に移動履歴１１１と１１２、１２１と１２２がそれぞれ対応付けられると推定できる。各対応付けられた移動履歴も死角領域の同じ側で入退している。これらの履歴から障害物の裏側を通り抜ける移動履歴はないと推定されるため障害物の裏側は通り抜けができない種類の死角であると推定できる。

また図４(b)のように検出された場合には、死角に入る移動履歴２０１に対して移動履歴２０２が対応すると推定できる。同様に移動履歴２１１と２１２が対応付けられると推定できる。この場合には各対応付けられた移動履歴が死角領域に入った側とは反対側から退出しており、これらの履歴から障害物の裏側を通り抜ける移動履歴があると推定されるため障害物の裏側は通り抜けが可能な種類の死角であると推定できる。

また、さらに検出枠の大きさを考慮することで対応付けの精度を向上することができる。例えば、移動が検出されて追跡ＩＤが付与された検出枠３の下辺が上記したように減少して消滅し、所定時間（例えば検出枠３の移動速度と障害物８の幅とから通過するのに大きく外れない時間）内に移動方向側にて増大する検出枠が現れて略同一の大きさの検出枠３として再度検出された場合には、同一追跡ＩＤに対応する人物Ｍが障害物８の死角９側を通り抜けたと推定する。この場合には、障害物８を上側から見た図５（ａ）に示されるように通り抜け可能な死角９ａであるとする。一方、検出枠３の下辺が減少しまたは消滅し、かつ移動方向とは逆向き、すなわち戻る方向に、所定時間（例えば検出枠３の移動速度と障害物８の幅とから戻るのに大きく外れない時間）内に増大する検出枠が現れて略同一の大きさの検出枠３として再度検出された場合には、同一追跡ＩＤに対応する人物Ｍが障害物８の死角９に第２の障害物としての例えば壁８ａがあるため引き返したと推定する。この場合には図５（ｂ）に示されるように通り抜け不可能な死角９ｂであるとする。

次に、図６のフローを参照して本発明に基づく制御要領を説明する。先ずステップＳＴ１では、動体検出部２によりカメラ１からのフレーム１ａの画像データを読み込む。次のステップＳＴ２では、動体検出部２により上記した差分検出により動体（人物Ｍ）の移動を検出したら、上記したように外接四角形からなる検出枠３を設定する。次のステップＳＴ３では死角検知部１４により上記したように２つの条件に基づいて死角領域の有無の判定を行い、死角領域有りと判定された場合にはステップＳＴ４に進み、死角領域無しと判定された場合にはステップＳＴ１に戻る。ステップＳＴ４では死角幅推定部５により障害物８の死角９となる領域の死角幅Ｄｂを検出し、次のステップＳＴ５では死角高推定部６により死角９となる領域の死角高Ｄｈを検出して、次のステップＳＴ６に進む。

ステップＳＴ６では、死角９となる領域の上辺の有無を判別する。死角９となる領域の上辺が無いと判定された場合にはステップＳＴ７に進む。ステップＳＴ７では、死角９の種別を判定する。種別としては、上記したように障害物８の裏側（死角９）を通り抜け可能か否かの２種類であって良い。

ステップＳＴ７の次、またはステップＳＴ６で死角９となる領域の上辺が有ると判定された場合にはステップＳＴ８に進む。死角９となる領域の上辺は図３（ｂ）の上側下辺３ａにより決定される。上記したように検出枠３の下辺の履歴から上側下辺３ａが検出された場合には死角９となる領域の上辺があるとしてステップＳＴ８に進む。そのステップＳＴ８では、ステップＳＴ６およびＳＴ７の結果に基づいて死角９となる領域の情報を出力する。この情報の出力としては、図１に示されるようにモニタ１２での表示であって良い。例えば図３（ｂ）のようにモニタ１２の画面上に、撮影された障害物８と、死角９の領域を表す矩形太線とを映し出して、死角９を知らせることができる。例えば監視カメラの配置において、死角９を側方から撮影可能な位置に別のカメラを設置する際の目安として有効となる。

次に、死角撮影用カメラの設置位置を最少構成で可能とする例を以下に説明する。図１に示されるカメラ位置指示部２１は、１台目のカメラ１の配置により死角９となる領域を撮影可能にする死角撮影用カメラの配置の目安となる位置を自動的に検出可能にするためのものである。

カメラ位置指示部２１としては、上記死角情報出力部１１からの死角情報が入力するカメラ位置決定部２１ａと、カメラの種類がデータベース化されて保存されているカメラデータベース部２１ｂと、カメラ１からの画像データが入力すると共にカメラ位置決定部２１ａからのカメラ位置情報が入力する画像合成部２１ｃとにより構成されていて良い。

カメラ位置決定部２１ａは、例えば、図７（ａ）に示されるように例えば店舗のフロアの中央に全周位カメラ１を設置した場合に、カメラ１の撮像例である図７（ｂ）に併せて示されるように、死角が生じる例として示した障害物（棚）８のカメラ１に対して裏側となる部分に死角９となる領域が生じる。

図７（ｂ）に示されるように、モニタ１２の画面上には本図示例における全周囲カメラ１における横方向円周ラインＬｂおよび縦方向円周ラインＬｌと、任意のカメラ設置高ラインＬｈとが表示される。なお、各円周ラインＬｂ・Ｌｌは、平面上における直線に対応し、本図示例の全周囲カメラ１の画像の場合には円弧状のラインとして示される。それら各ラインＬｂ・Ｌｌ・Ｌｈはキー操作等により任意の位置を設定可能であり、例えば横方向円周ラインＬｃは死角となる領域にラインを合わせることにより図に示される全体の楕円形の短軸長さが変化する。そして、モニタ１２上で、死角９に合わせて横方向円周ラインＬｂを位置決めする。そのようにして位置決めした横方向円周ラインＬｂとカメラ設置高ラインＬｈとの交点Ｐ１・Ｐ２のいずれか一方に死角撮影用カメラ３１を設置すると良い（図示例では交点Ｐ１に設置）。

また、上記死角撮影用カメラ３１の設置において、カメラデータベース部２１ｂから好適な機種を選択して、図８に示されるようにモニタ１２上に表示することができる。モニタ１２には図の破線で示されるように死角９ａとなる領域が表示され、例えば上記交点Ｐ２に対応する位置にカメラデータベース部２１ｂから選択した推奨カメラの外観映像３１ａおよびその仕様３１ｂを表示するとよい。図８では、別の位置（死角９の中央部分の真上）に推奨カメラとして例えば広角カメラの外観映像３１ｃおよびその仕様３１ｄを表示する例も併せて示している。ユーザーはこれらの情報に基づいて追加カメラの設置を行う。これにより、カメラを仮設して死角がないかを検証したり専門家を呼んでカメラの位置を決めてもらうということなく簡易に死角を解消するための追加カメラの位置を決めることができる。

さらに、死角の有無に応じてカメラを追加する場合の操作要領について図９のフローを参照して説明する。なお、図示例のフローは、モニタ１２の画面上での操作における要領となる。先ずステップＳＴ１１では上記と同じ操作により死角９の位置を横切る横方向ラインＬｂの設定を行い、上記したように交点Ｐ１に死角撮影用カメラ３１を設置して、次のステップＳＴ１２では、その横方向円周ラインＬｃ上に他の死角があるか否かを判別する。

上記図５（ｂ）で説明したように、壁８ａがあることにより他の死角（図７（ａ）の９ｂ）があると自動判定された場合には、図７（ｂ）の画面上にその旨の表示（図示せず）をしておくことにより、死角９ｂの存在を確認することができ、その場合にはステップＳＴ１３に進む。ステップＳＴ１３では、横方向円周ラインＬｃ上で死角９ｂを反対側から撮影するべく、交点Ｐ２に追加の死角撮影用カメラ３２を設置する。

そして、次のステップＳＴ１４では、死角９を通る縦方向円周ラインＬｌをキー操作等により図７（ｂ）に示されるように位置決めし、そのライン上に他の死角が有るか否かを判別する。図７（ｂ）のように他の死角が無いと判定した場合には本フローを終了する。

一方、ステップＳＴ１２で横方向円周ラインＬｂ上に他の死角が無いと判定した場合にはステップＳＴ１５に進む。ステップＳＴ１５では、上記ステップＳＴ１４と同様に縦方向円周ラインＬｌを位置決めしてそのライン上に他の死角が有るか否かを判別し、死角が有る（図示せず）と判定した場合にはステップＳＴ１６に進む。ステップＳＴ１６では、縦方向円周ラインＬｌとカメラ設置高ラインＬｈとの交点Ｐ３・Ｐ４のいずれか一方にさらなる死角撮影用カメラを設置すると良い。ステップＳＴ１６の処理後、またはステップＳＴ１５で縦方向円周ライン上Ｌｌに他の死角が無いと判定した場合には本フローを終了する。

このようにして、例えば図７（ａ）の場合には死角９が２つあるが、それら死角９が同一横方向円周ラインＬｂ上に位置することが簡単に分かり、それに応じて上記したように１台の死角撮影用カメラ３１の設置という最少構成で、店舗内の死角９を無くした撮影が可能となる。そして、上記フローに基づいて、死角９を通る横方向および縦方向の各円周ラインＬｂ・Ｌｌ上の死角の有無を順番に確認していくことにより、同様にして最少構成のカメラの設置台数で死角の無い撮影が可能である。なお、本死角判定装置の構成として、動体検出を行い枠を出力するところまでをカメラが行い、死角検知以降を死角判定装置が行う構成やカメラ位置指示部２１が別装置になっていてもよい。

なお、上記実施の形態では人物Ｍがフレーム１ａの主に左右方向に移動する場合について説明したが、本発明によれば上下方向（手前側と奥側）へ移動する場合にも適用可能である。例えば、天井から吊り下げられた広告板等がある場合に、その下を動体（人物）が手前から奥側に移動して、天井に設置されたカメラ１から見て広告板の裏側に動体（人物）が隠れることが考えられる。動体（人物）が広告板の手前側から奥側に移動する場合には検出枠３の縦横比で縦の比率が減少し、広告板の奥側から手前に移動する場合には縦の比率が増加する。これによりカメラ１から見て手前側から奥側となる方向に死角があると判定することができる。

本発明にかかる死角判定装置は、カメラで撮影された画像データの動体の移動履歴に基づいて動体の検出枠が減少する場合に死角があると判定するという簡単な画像処理で死角を判定することができ、監視カメラの配置を求める装置等として有用である。

１ カメラ
２ 動体検出部
３ 検出枠
４ 検出枠移動結果保存部
５ 死角幅推定部
６ 死角高推定部
７ 死角種別推定部
１０ 死角領域設定部
１１ 死角情報出力部
１３ 死角判定制御部
２１ カメラ位置指示部

Claims (10)

1. カメラにより撮影された映像データから動体を検出する動体検出部と、
   前記動体の移動履歴から前記カメラの死角の有無を判定する死角判定部とを備える死角判定装置であって、
   前記動体検出部で前記動体を検出するために設定される検出枠の履歴を保持する検出枠履歴保持部を有し、
   前記死角判定部は、前記動体の移動履歴としての前記検出枠の履歴に基づいて、死角の有無を判定することを特徴とする死角判定装置。
2. 前記動体検出部は、前記検出枠を前記動体に外接する上下左右の四辺からなる外接四角形として形成し、
   前記死角判定部は、前記検出枠が減少した場合に、該検出枠の外接四角形の縦横比の履歴に基づいて、死角があると判定することを特徴とする請求項１に記載の死角判定装置。
3. 前記死角判定部は、前記検出枠の外接四角形の縦横比の変化において、縦方向の比率が大きくなる場合に死角があると推定することを特徴とする請求項２に記載の死角判定装置。
4. 前記死角判定部は、前記検出枠の履歴から死角領域の左右の辺を推定することを特徴とする請求項２または請求項３に記載の死角判定装置。
5. 前記死角判定部は、前記死角領域の左右の辺と重なる前記検出枠の下辺に基づいて前記死角領域の上下の辺を推定することを特徴とする請求項４に記載の死角判定装置。
6. 前記死角判定部は、前記動体の移動履歴から前記死角への前記動体の入退履歴を求め、該入退履歴に基づいて、前記動体が死角領域の同一側でのみ入退をしている場合には死角領域内にさらに障害物があると判定することを特徴とする請求項１乃至請求項５のいずれかに記載の死角判定装置。
7. 前記死角判定部は、前記検出枠の大きさが減少し、かつ所定時間内に減少方向とは逆方向に増大して減少前と略同一の大きさになった場合には、前記死角領域に前記動体の移動を妨げる障害物があると判定することを特徴とする請求項１乃至請求項５のいずれかに記載の死角判定装置。
8. 前記検出枠履歴保持部が、前記検出枠の大きさが減少した場合の過去の複数フレームのデータを保存し、
   前記死角判定部は、前記死角領域の上下左右の少なくとも一辺を前記過去の複数フレームのデータを平均して求めることを特徴とする請求項４乃至請求項７のいずれかに記載の死角判定装置。
9. 前記死角判定部は、前記カメラにより撮影された範囲に、前記死角を撮影するカメラを配置するための指標となる座標軸を設定することを特徴とする請求項１に記載の死角判定装置。
10. カメラにより撮影された映像データから動体を検出しかつ当該動体の検出枠を求める過程と、
    求められた前記検出枠の移動履歴を保持する過程と、
    前記検出枠の移動履歴から前記カメラの死角があると判定する過程とを有することを特徴とする死角判定方法。

Images