JP2004088599A

JP2004088599A - Image monitoring apparatus and method therefor

Info

Publication number: JP2004088599A
Application number: JP2002248944A
Authority: JP
Inventors: Kei Takizawa; 滝沢　圭
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-08-28
Filing date: 2002-08-28
Publication date: 2004-03-18

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image monitoring apparatus which can detect even an approaching object having a small movement in an input image, and, in a process of detecting a slow optical flow, can remove the optical flow erroneously detected to thereby prevent erroneous detection of the approaching object. <P>SOLUTION: The apparatus includes a first optical flow detector for capturing an input image at time intervals of δt and calculating an optical flow from images adjacent in a series of input images, and a second optical flow detector for calculating an optical flow from images spaced by (n) images in the input image series. The apparatus can detect not only a fast approaching object but also a slow approaching object. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影された映像からオプティカルフローによる接近物体を検出する画像監視装置と画像監視方法に関する。
【０００２】
【従来の技術】
最近、カメラに撮影された画像を用いて、オプティカルフローによる接近物体を検出する画像監視装置が提案されている。
この画像監視装置としては、例えば、イベント会場の出口に設けられた歩道を逆行してイベント会場に侵入しようとする人物を監視する場合に用いられるようになっている。
【０００３】
この接近物体を検出する技術は、図１のように設置されたカメラの撮像画像から、カメラに接近する物体を検出する技術である。このカメラは、人物が本来歩行すべき方向に向けて設置されている。
【０００４】
これにより、歩道の上に載って移動する人物および、歩道の動く方向に歩く人物は、カメラから遠ざかる動きをする。これに対し歩道を逆行する人物は、カメラに対して接近する動きをする。歩道を逆行する人物が、カメラに接近する物体として検出された場合には、逆行する人物に対して警報を出す、あるいは、歩道の監視員に対して、警報を出す。これにより、歩道を逆行してイベント会場に侵入しようとする人物を阻止することができる。
【０００５】
しかし、上記のような装置では、カメラに対する移動速度が遅い接近物体を検出できないという問題がある。
例えば、図２、図３、図４のように、カメラに対して、接近する人物の速度が非常に遅く、入力画像中で、δｔの間に１しか移動しないような場合には、オプティカルフロー検出で検出されても、長さが小さいため、ノイズとして削除される。その結果、接近する人物は、接近オブジェクトとして検出されない。
【０００６】
図２、図３、図４はそれぞれ、時刻ｔ０、ｔ０＋δｔ（＝ｔ１）、ｔ０＋２δｔ（＝ｔ２）における入力画像を表している。入力画像中の人物は、カメラに対して接近している。時刻ｔ０とｔ１の入力画像間では、人物からは、長さの小さいオプティカルフローが検出される。また、ノイズにより、入力画像において、停止している領域からも長さの小さいオプティカルフローが検出される。長さが小さいオプティカルフローは、ノイズとして削除されるため、接近オブジェクト検出処理では、カメラに接近する人物が検出されないという欠点があった。
【０００７】
【発明が解決しようとする課題】
この発明は、撮影手段による撮影方向に逆行してゆっくり（遅い速度で）移動する物体を誤りなく検知できる画像監視装置と画像監視方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
この発明の画像監視装置は、映像を撮影する撮影手段と、この撮影手段により撮影された映像から異なる複数の時間間隔でオプティカルフローを検知する検知手段と、この検知手段の検知結果により、上記撮影手段の撮影に基づいて速い移動物体と遅い移動物体とを判断する判断手段とを有する。
【０００９】
この発明の画像監視装置は、映像を撮影する撮影手段と、この撮影手段により撮影された映像を所定の時間間隔で取込む取込手段と、この取込手段により取込んだ映像ごとのオプティカルフローを検知する第１の検知手段と、この第１の検知手段の検知結果により、上記撮影手段の撮影に基づいて遅い移動物体を判断する第１の判断手段と、上記取込手段により取込んだ複数の映像ごとのオプティカルフローを検知する第２の検知手段と、この第２の検知手段の検知結果により、上記撮影手段の撮影に基づいて速い移動物体を判断する第２の判断手段とを有する。
【００１０】
この発明の画像監視装置は、映像を撮影する撮影手段と、この撮影手段により撮影された映像を所定の時間間隔で取込む取込手段と、この取込手段により取込んだ映像ごとの短い時間間隔でオプティカルフローを検知する第１の検知手段と、上記取込手段により取込んだ複数の映像ごとの長い時間間隔でオプティカルフローを検知する第２の検知手段と、この第２の検知手段によりオプティカルフローを検知した位置において、上記第２の検知手段によりオプティカルフローを検知する間に、上記第１の検知手段によりオプティカルフローを検知した際に、上記第２の検知手段によるオプティカルフローを削除する削除手段と、この削除手段により削除されなかった上記第２の検知手段によるオプティカルフローにより、上記撮影手段による撮影方向に逆行する移動物体を判断する判断手段とを有する。
【００１１】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態の画像監視装置を説明する。
この画像監視装置は、図１に示すように、イベント会場の出口に設けられている動く歩道１の上部に設けられている撮影手段としてのカメラ２からの撮影映像により、イベント会場の出口に設けられた歩道を逆行してイベント会場に侵入しようとする人物（物体）を監視する場合に用いられるようになっている。
【００１２】
この接近物体を検出する技術は、図１のように設置されたカメラ２の撮像画像から、カメラ２に接近する物体を検出する技術である。このカメラ２は、人物が本来歩行すべき方向に向けて設置されている。
上記画像監視装置は、図５に示すように、画像入力部１１、エッジ検出部１２、第１のオプティカルフロー検出部１３、第２のオプティカルフロー検出部１４、オプティカルフローの検証部１５、接近オブジェクト検出部１６により構成されている。
【００１３】
画像入力部１１は、カメラ２からの撮像画像を一定時間間隔でデジタル化して画像として取込むものであり、この入力画像をエッジ検出部１２に出力する。　具体的には、時刻ｔ０、ｔ０＋δｔ（＝ｔ１）、ｔ０＋２δｔ（＝ｔ２）…、において画像を取り込む。ここで、ｔ０、δｔは、それぞれ、処理開始時刻および、画像を取り込む時間間隔とする。図６に入力画像の例を示す。時刻ｔにおいて、取り込まれた画像をＧｔ（ｘ、ｙ）とする。また、入力画像において、ｘ軸およびｙ軸を、図６のようにとる。エッジ検出では、入力画像Ｇｔｉ（ｘ、ｙ）から、水平エッジ画像ＥＨｔｉ（ｘ、ｙ）と垂直エッジ画像ＥＶｔｉ（ｘ、ｙ）を生成する。ここで、ｔｉを、最後に画像が取り込まれた時刻とする。
【００１４】
ＥＨｔｉ（ｘ、ｙ）＝
−Ｇｔｉ（ｘ−１、ｙ−１）−２＊Ｇｔｉ（ｘ、ｙ−１）
−Ｇｔｉ（ｘ＋１、ｙ−１）＋Ｇｔｉ（ｘ−１、ｙ＋１）
＋２＊Ｇｔｉ（ｘ、ｙ＋１）＋Ｇｔｉ（ｘ＋１、ｙ＋１）
ＥＶｔｉ（ｘ、ｙ）＝
−Ｇｔｉ（ｘ−１、ｙ−１）＋Ｇｔｉ（ｘ＋１、ｙ−１）
−２＊Ｇｔｉ（ｘ−１、ｙ）＋２＊Ｇｔｉ（ｘ＋１、ｙ）
−Ｇｔｉ（ｘ−１、ｙ＋１）＋Ｇｔｉ（ｘ＋１、ｙ＋１）
エッジ検出部１２は、図６に示すように、画像入力部１１から供給される入力画像から動く歩道１の左右の手すり１ａ、１ｂを検出し、この左右の手すり１ａ、１ｂに挟まれる領域と左右の手すり１ａ、１ｂを含む周囲の領域を検出領域として求め、オプティカルフロー検出部１３に出力する。この際、手すり１ａ、１ｂの端部の白と黒の境界線をエッジとしている（輝度変化のある部分をエッジとしている）。
【００１５】
図７から図９にエッジ検出の例を示す。図７を入力画像とした場合、水平エッジ画像、垂直エッジ画像は、それぞれ、図８、図９のようになる。図８、図９においては、絶対値が大きい画素を黒で表している。
第１のオプティカルフロー検出部１３は、連続して取り込まれた二つの画像間での、画像中の動きをオプティカルフローとして検出するものである。
【００１６】
オプティカルフロー検出部１３では、時刻ｔｉ−１と時刻ｔｉ間でのオプティカルフローを検出する。オプティカルフローの例を図１０、図１１に示す。オプティカルフローは点の移動を表すベクトルであるが、実際の計算では、小領域の移動として計算する。図１０のような、時刻ｔｉ−１の小領域Ａのオプティカルフローは、図１１のＡの中心点からＡ’の中心点のベクトルとなる。ここで、Ａ’は、図１１のような、時刻ｔｉ−１の小領域Ａに対応する、時刻ｔｉにおける小領域である。
【００１７】
時刻ｔｉ−１における入力画像の内、移動物体が存在し得る領域を図１２のようにｗｓ×ｗｓの小領域に分割し、各小領域について、オプティカルフローを計算する。
図１３のように検出対象となる小領域を含む範囲について、対応する小領域を探す。検出対象の小領域の左上の座標を（ｘ、ｙ）とし、この小領域がオプティカルフロー（ｌ、ｍ）を持つと仮定した場合の評価値ＳＤ（ｘ、ｙ、ｌ、ｍ）を計算する。ＳＤ（ｘ、ｙ、ｌ、ｍ）は、次のように計算する。
【００１８】
【数１】

検出対象となる小領域Ａが、オプティカルフロー（ｌ、ｍ）をもつ場合、時刻ｔｉ−１の領域Ａは、図１４のような時刻ｔｉの小領域Ｂに対応する。小領域Ａを（ｌ、ｍ）だけ平行移動した領域が、小領域Ｂとなる。ＳＤ（ｘ、ｙ、ｌ、ｍ）は、時刻ｔｉ−１の小領域Ａと時刻ｔｉの小領域Ｂとの差位を表す評価値であり、値が０に近いほど差位が小さく類似していることを表す。評価値を入力画像Ｇｔｉ−１、Ｇｔｉを直接用いずに、エッジ画像を用いて評価値を計算するのは、輝度変動等の影響を受けにくくするためである。（ｌ、ｍ）を小領域Ｂが図１３に示した範囲を移動するように変化させ、それぞれの（ｌ、ｍ）について、ＳＤ（ｘ、ｙ、ｌ、ｍ）を計算する。ＳＤ（ｘ、ｙ、ｌ、ｍ）を最小とする（ｌ、ｍ）をオプティカルフローとする。検出されたオプティカルフローの内、長さが、閾値Ｔｌｅｎよりも小さなものは、削除する。これは、画像入力時のノイズにより、誤って検出されたオプティカルフローを削除するためである。
【００１９】
第２のオプティカルフロー検出部１４は、連続して取り込まれた二つの画像間（時刻ｔｉ−ｎとｔｉ）での、画像中の動きをオプティカルフローとして検出するものである。
第２のオプティカルフロー検出部１４は、時刻ｔｉ−ｎとｔｉについてオプティカルフローを計算する。ここで、ｎは、ｎ＞１を満たす整数とし、検出すべきオプティカルフローの最小の移動量に基づいて予め固定の値を設定する。この処理は、移動量が小さいオプティカルフローを検出するための処理である。
【００２０】
移動量が小さいオプティカルフローは、第１のオプティカルフロー検出部１３では、ノイズとして削除されるが、この第２のオプティカルフロー検出部１４では、十分な長さを持つオプティカルフローとして検出され、ノイズとして削除されない。
【００２１】
たとえば、ｎ＝３とした場合、第２のオプティカルフロー検出部１４により、時刻ｔ３において、図２に示す、時刻ｔ０の入力画像と図４に示す、時刻ｔ３の入力画像とが比較され、十分大きな長さを持つオプティカルフローが検出され、接近する人物は、接近オブジェクトとして検出される。
【００２２】
オプティカルフロー検証部１５は、オプティカルフロー検出部１４で検出されたオプティカルフローに誤検出がないか否かの検証を行い、誤検出されたと判定されたオプティカルフローを削除する。ここでは、説明を簡単にするため、例として図１５の（ａ）〜（ｄ）のように、矩形が下から上に移動する場合を挙げる。図１５の（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ、時刻ｔ０、ｔ１、ｔ２、ｔ３の入力画像である。図１５の（ｂ）、（ｃ）、（ｄ）において点線の矩形は、一つ前の時刻での矩形の位置を表している。
【００２３】
また、図１５の（ｅ）は、図１５の（ｄ）と同様、時刻ｔ３の入力画像である。ただし、図１５の（ｄ）とは異なり、点線の矩形は、時刻ｔ０での矩形の位置を表している。
第２のオプティカルフロー検出部１４は、時刻ｔｉ−ｎとｔｉについてオプティカルフローを計算する。例えば、ｎ＝３と設定されている場合、第２のオプティカルフロー検出部１４において、時刻ｔ０とｔ３についてのオプティカルフローの計算では、図１５の（ｅ）のオプティカルフローのように画像の上から下に向かうオプティカルフローが誤って検出される。時刻ｔ０の小領域ｐは、本来図１５の（ｅ）の小領域ｐ’に対応する。しかし、ｐ’はｐに対応する小領域を探す範囲には入らず、小領域ｐ”に対応すると誤判定される。
【００２４】
そこで、オプティカルフロー検証部１５は、図１６のように処理を行う。時刻ｔｉにおいて、第２のオプティカルフロー検出部１４でｍ個のオプティカルフローＦＬＯＷｊ（ｊ＝１、２、…、ｍ）が検出されたとする。各オプティカルフローＦＬＯＷｊ（ｊ＝１、２、…、ｍ）の始点をｐｊ（ｊ＝１、２、…、ｍ）とする。ｐｊで、時刻時刻ｔｉ−ｎ＋１から時刻ｔｉにおいて、第１のオプティカルフロー検出部１３で、長さがＴｌｅｎ以上のオプティカルフローが検出されているか否か調べる（ＳＴ１）。
【００２５】
検出されていた場合には、第２のオプティカルフロー検出部１４で検出されたフローＦＬＯＷｊ（ｊ＝１、２、…、ｍ）を誤って検出されたフローとして削除する（ＳＴ２）。これは、第２のオプティカルフロー検出部１４で検出対象とする遅いオプティカルフローの検出位置は、短い時間間隔δｔでは、ほとんど停止しており、第１のオプティカルフロー検出部１３で、長さの小さいオプティカルフローしか検出されないという考えに基づいている。図１５の（ｂ）のように、時刻ｔ１において、ｐを始点するオプティカルフローが検出されるため、図１５の（ｅ）のオプティカルフローは誤検出されたものとして削除される。
【００２６】
たとえば、時刻ｔ０において、図１７に示すように、人物Ｅ、Ｆが、動く歩道１上を移動中の退出途中の状態となっている。この際、人物Ｅが人物Ｆよりもカメラ２から離れた位置となっている。この後、時刻ｔ１において、図１８に示すように、人物Ｅが少しカメラ２に近づき、人物Ｆが大きくカメラ２から離れる位置に移動する。さらに、時刻ｔ２において、図１９に示すように、人物Ｅがさらに少しカメラ２に近づき、人物Ｆがさらに大きくカメラ２から離れる位置に移動する。さらに、時刻ｔ３において、図２０に示すように、人物Ｅがさらに少しカメラ２に近づき、人物Ｆがさらに大きくカメラ２から離れる位置に移動する。
【００２７】
このように、図１７から図２０は人物Ｅがゆっくり逆行している状態で、人物Ｆが退出していく状態であり、第２のオプティカルフロー検出部１４において、図１７のｔ０と図２０のｔ３との比較により、人物Ｅに対するオプティカルフローを検出することができる。
【００２８】
図１のようにカメラ２を設置した場合、図２１のように、カメラ２に対して接近する人物は、画面の上から下に向かうｆｌｏｗ　ｂのようなオプティカルフローを持つ。逆に、遠ざかる人物は、図２１のように下側から上側に向かうｆｌｏｗ　ａのようなオプティカルフローを持つ。
【００２９】
このため、図２１のｆｌｏｗ　ａのように、画像の下側から上側に向かうオプティカルフローについては、接近する物体から検出されたオプティカルフローではないとして、削除する。
接近オブジェクト検出部１６では、オプティカルフロー検証部１５により検証されたオプティカルフローの中で、図２２のように、検出したオプティカルフローから、図２３のように、接近する物体を検出する。具体的には、互いに接近して位置しているオプティカルフロー同士をグループ化し接近オブジェクトとして検出する。
【００３０】
上記したように、入力画像中での移動量が小さい接近物体も検出できる。
また、遅いオプティカルフローを検出する処理において、誤検出されたオプティカルフローを削除でき、接近物体の誤検出を防ぐことができる。
【００３１】
前者は、第２のオプティカルフロー検出部１４による効果であり、図１２のように移動量が小さい接近人物から、オプティカルフローが検出できるようになり、接近オブジェクトとして検出できるようになる効果である。
【００３２】
後者は、オプティカルフロー検証部１５による効果である。遅いオプティカルフローを検出する。本発明の第２のオプティカルフロー検出部１４において、図１５の（ｅ）のように誤検出されるオプティカルフローを、削除できる。これにより、接近物体の誤検出を防ぐことができる。
【００３３】
したがって、異なる複数の時間間隔でオプティカルフローを検出することにより、速い接近物体に加え、遅い接近物体も検出可能なものである。
入力画像をδｔの時間間隔で取り込み、入力画像系列で隣接する画像同士からオプティカルフローを計算する第１のオプティカルフロー検出部と、入力画像系列でｎ個離れた画像同士からオプティカルフローを計算する第２のオプティカルフロー検出部を備えた、速い接近物体に加え、遅い接近物体も検出可能なものである。
【００３４】
異なる複数の時間間隔でオプティカルフローを検出し、短い時間間隔で検出したオプティカルフローを用いて、長い時間間隔で検出したオプティカルフローを検証することにより、長い時間間隔で誤検出したオプティカルフローの削除を行うものである。
【００３５】
異なる時間間隔でオプティカルフローを検出し、長い時間間隔で検出したオプティカルフローの位置において、そのオプティカルフローを検出する間に、その位置で、短い時間間隔で一定以上の長さを持つオプティカルフローが検出された場合には、オプティカルフローが誤検出されたとして削除を行うものである。
【００３６】
【発明の効果】
以上詳述したように、この発明によれば、撮影手段による撮影方向に逆行してゆっくり（遅い速度で）移動する物体を誤りなく検知できる画像監視装置と画像監視方法を提供できる。
【図面の簡単な説明】
【図１】画像監視装置のカメラの設置状態を示す図。
【図２】カメラの撮影画像を説明するための図。
【図３】カメラの撮影画像を説明するための図。
【図４】カメラの撮影画像を説明するための図。
【図５】画像監視装置の概略構成を示すブロック図。
【図６】カメラの撮影画像を説明するための図。
【図７】エッジ検出の例を示す図。
【図８】エッジ検出の例を示す図。
【図９】エッジ検出の例を示す図。
【図１０】オプティカルフローの例を示す図。
【図１１】オプティカルフローの例を示す図。
【図１２】入力画像の内、移動物体が存在し得る小領域を説明するための図。
【図１３】検出対象となる小領域を含む範囲を説明するための図。
【図１４】カメラの撮影画像を説明するための図。
【図１５】カメラの撮影画像を説明するための図。
【図１６】オプティカルフロー検証部による検証処理を説明するためのフローチャート。
【図１７】カメラの撮影画像を説明するための図。
【図１８】カメラの撮影画像を説明するための図。
【図１９】カメラの撮影画像を説明するための図。
【図２０】カメラの撮影画像を説明するための図。
【図２１】カメラの撮影画像を説明するための図
【図２２】オプティカルフロー検証部による検証されたオプティカルフローを説明するための図。
【図２３】接近オブジェクトの検出例を示す図。
【符号の説明】
１１…画像入力部、１２…エッジ検出部、１３…第１のオプティカルフロー検出部、１４…第２のオプティカルフロー検出部、１５…オプティカルフローの検証部、１６…接近オブジェクト検出部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image monitoring device and an image monitoring method for detecting an approaching object by an optical flow from a captured video.
[0002]
[Prior art]
Recently, an image monitoring apparatus that detects an approaching object by an optical flow using an image captured by a camera has been proposed.
This image monitoring apparatus is used, for example, when monitoring a person who tries to enter the event venue by going backward on the sidewalk provided at the exit of the event venue.
[0003]
This technique of detecting an approaching object is a technique of detecting an object approaching a camera from a captured image of a camera installed as shown in FIG. This camera is installed in a direction in which a person should originally walk.
[0004]
Accordingly, a person who moves on the sidewalk and a person who walks in the direction of the sidewalk move away from the camera. On the other hand, a person moving backward on the sidewalk moves closer to the camera. When a person moving backward on the sidewalk is detected as an object approaching the camera, a warning is issued to the person running backward or a warning is issued to a guard on the sidewalk. As a result, it is possible to prevent a person who tries to enter the event site by going back on the sidewalk.
[0005]
However, the above-described device has a problem in that it is not possible to detect an approaching object having a slow moving speed with respect to the camera.
For example, as shown in FIG. 2, FIG. 3, and FIG. 4, when the speed of a person approaching the camera is very slow and only one moves during δt in the input image, the optical flow Even if it is detected by detection, it is deleted as noise because of its small length. As a result, the approaching person is not detected as an approaching object.
[0006]
FIGS. 2, 3, and 4 show the input images at times t0, t0 + δt (= t1), and t0 + 2δt (= t2), respectively. A person in the input image is approaching the camera. Between the input images at times t0 and t1, a short optical flow is detected from the person. Further, due to noise, an optical flow having a small length is detected from a stopped area in the input image. An optical flow having a small length is deleted as noise, and thus there is a disadvantage that a person approaching the camera is not detected in the approaching object detection processing.
[0007]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION It is an object of the present invention to provide an image monitoring apparatus and an image monitoring method capable of detecting an object moving slowly (at a slow speed) in a direction opposite to a shooting direction of a shooting unit without error.
[0008]
[Means for Solving the Problems]
An image monitoring apparatus according to the present invention includes: a photographing unit for photographing an image; a detecting unit for detecting an optical flow at a plurality of different time intervals from the image photographed by the photographing unit; Determining means for determining a fast moving object and a slow moving object based on photographing of the means.
[0009]
An image monitoring apparatus according to the present invention includes a photographing unit that photographs a video, a capturing unit that captures a video captured by the capturing unit at a predetermined time interval, and an optical flow for each video captured by the capturing unit. Detecting means for detecting the moving object based on the detection result of the first detecting means, and detecting the slow moving object based on the photographing of the photographing means. A second detecting unit that detects an optical flow for each of the plurality of images; and a second determining unit that determines a fast moving object based on the image captured by the image capturing unit based on the detection result of the second detecting unit. .
[0010]
An image monitoring apparatus according to the present invention includes a photographing unit that photographs a video, a capturing unit that captures a video captured by the capturing unit at a predetermined time interval, and a short time for each video captured by the capturing unit. A first detecting means for detecting an optical flow at intervals, a second detecting means for detecting an optical flow at a long time interval for each of the plurality of images captured by the capturing means, and a second detecting means. At the position where the optical flow has been detected, while the optical flow is detected by the first detecting means while the optical flow is detected by the second detecting means, the optical flow by the second detecting means is deleted. The optical flow by the deletion means and the second detection means which has not been deleted by the deletion means, And a determining means for determining a moving object to reverse the shading direction.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an image monitoring apparatus according to an embodiment of the present invention will be described with reference to the drawings.
As shown in FIG. 1, this image monitoring device is provided at the exit of the event venue by a video taken by a camera 2 as a photographing means provided on a moving sidewalk 1 provided at the exit of the event venue. It is used to monitor a person (object) trying to invade the event venue by moving backward on the sidewalk that has been set.
[0012]
The technique of detecting an approaching object is a technique of detecting an object approaching the camera 2 from a captured image of the camera 2 installed as shown in FIG. The camera 2 is installed in a direction in which a person should originally walk.
As shown in FIG. 5, the image monitoring device includes an image input unit 11, an edge detection unit 12, a first optical flow detection unit 13, a second optical flow detection unit 14, an optical flow verification unit 15, an approaching object The detection unit 16 is configured.
[0013]
The image input unit 11 digitizes a captured image from the camera 2 at predetermined time intervals and captures the image as an image, and outputs the input image to the edge detection unit 12. Specifically, an image is captured at time t0, t0 + δt (= t1), t0 + 2δt (= t2). Here, t0 and δt are a processing start time and a time interval for capturing an image, respectively. FIG. 6 shows an example of the input image. At time t, the captured image is defined as Gt (x, y). Further, in the input image, the x-axis and the y-axis are set as shown in FIG. In the edge detection, a horizontal edge image EHti (x, y) and a vertical edge image EVti (x, y) are generated from the input image Gti (x, y). Here, ti is the time when the image was last taken.
[0014]
EHti (x, y) =
-Gti (x-1, y-1) -2 * Gti (x, y-1)
-Gti (x + 1, y-1) + Gti (x-1, y + 1)
+ 2 * Gti (x, y + 1) + Gti (x + 1, y + 1)
EVti (x, y) =
-Gti (x-1, y-1) + Gti (x + 1, y-1)
-2 * Gti (x-1, y) + 2 * Gti (x + 1, y)
-Gti (x-1, y + 1) + Gti (x + 1, y + 1)
As shown in FIG. 6, the edge detection unit 12 detects the left and right handrails 1a and 1b of the moving sidewalk 1 from the input image supplied from the image input unit 11, and determines the area between the left and right handrails 1a and 1b. A surrounding area including the left and right handrails 1a and 1b is obtained as a detection area and is output to the optical flow detection unit 13. At this time, the border line between white and black at the ends of the handrails 1a and 1b is defined as an edge (the portion where the luminance changes is defined as an edge).
[0015]
7 to 9 show examples of edge detection. When FIG. 7 is the input image, the horizontal edge image and the vertical edge image are as shown in FIGS. 8 and 9, respectively. 8 and 9, pixels having a large absolute value are shown in black.
The first optical flow detection unit 13 detects a motion in an image between two consecutively captured images as an optical flow.
[0016]
The optical flow detection unit 13 detects an optical flow between time ti-1 and time ti. Examples of the optical flow are shown in FIGS. The optical flow is a vector representing the movement of a point, but in actual calculation, it is calculated as the movement of a small area. The optical flow of the small area A at time ti-1 as shown in FIG. 10 is a vector from the center point of A in FIG. 11 to the center point of A ′. Here, A 'is a small area at time ti corresponding to small area A at time ti-1 as shown in FIG.
[0017]
In the input image at time ti-1, an area where a moving object may exist is divided into small areas of ws × ws as shown in FIG. 12, and an optical flow is calculated for each small area.
As shown in FIG. 13, a corresponding small area is searched for in a range including the small area to be detected. The upper left coordinate of the small area to be detected is (x, y), and the evaluation value SD (x, y, 1, m) is calculated assuming that this small area has an optical flow (l, m). . SD (x, y, l, m) is calculated as follows.
[0018]
(Equation 1)

When the small area A to be detected has an optical flow (l, m), the area A at time ti-1 corresponds to the small area B at time ti as shown in FIG. An area obtained by translating the small area A by (l, m) becomes a small area B. SD (x, y, l, m) is an evaluation value representing the difference between the small area A at time ti-1 and the small area B at time ti. To indicate that The reason why the evaluation value is calculated using the edge image without directly using the input images Gti-1 and Gti is to make the evaluation value less susceptible to luminance fluctuation and the like. (L, m) is changed so that the small area B moves in the range shown in FIG. 13, and SD (x, y, l, m) is calculated for each (l, m). (L, m) that minimizes SD (x, y, l, m) is defined as an optical flow. Among the detected optical flows, those whose length is smaller than the threshold value Tlen are deleted. This is to delete an optical flow that is erroneously detected due to noise at the time of image input.
[0019]
The second optical flow detection unit 14 detects, as an optical flow, a motion in an image between two consecutively captured images (time ti-n and ti).
The second optical flow detection unit 14 calculates an optical flow for times ti-n and ti. Here, n is an integer satisfying n> 1, and a fixed value is set in advance based on the minimum moving amount of the optical flow to be detected. This process is a process for detecting an optical flow having a small moving amount.
[0020]
The optical flow having a small moving amount is deleted as noise by the first optical flow detection unit 13, but is detected as an optical flow having a sufficient length by the second optical flow detection unit 14, and is detected as noise. Not deleted.
[0021]
For example, when n = 3, the input image at time t0 shown in FIG. 2 is compared with the input image at time t3 shown in FIG. An optical flow having a large length is detected, and an approaching person is detected as an approaching object.
[0022]
The optical flow verification unit 15 verifies whether the optical flow detected by the optical flow detection unit 14 has no erroneous detection, and deletes the optical flow determined to be erroneously detected. Here, for simplicity of description, a case where the rectangle moves upward from the bottom as shown in FIGS. (A), (b), (c), and (d) of FIG. 15 are input images at times t0, t1, t2, and t3, respectively. In (b), (c), and (d) of FIG. 15, the dotted rectangle indicates the position of the rectangle at the immediately preceding time.
[0023]
FIG. 15E is an input image at time t3 as in FIG. 15D. However, unlike FIG. 15D, the dotted rectangle indicates the position of the rectangle at time t0.
The second optical flow detection unit 14 calculates an optical flow for times ti-n and ti. For example, when n = 3, the second optical flow detection unit 14 calculates the optical flows for the times t0 and t3 from the top of the image like the optical flow in FIG. Downward optical flow is erroneously detected. The small area p at the time t0 originally corresponds to the small area p ′ in FIG. However, p ′ does not fall within the range for searching for the small area corresponding to p, and is erroneously determined to correspond to small area p ″.
[0024]
Thus, the optical flow verification unit 15 performs a process as shown in FIG. At time ti, it is assumed that m optical flows FLOWj (j = 1, 2,..., M) are detected by the second optical flow detection unit 14. The starting point of each optical flow FLOWj (j = 1, 2,..., M) is defined as pj (j = 1, 2,..., M). At pj, from time ti-n + 1 to time ti, the first optical flow detection unit 13 checks whether an optical flow having a length equal to or longer than Tlen is detected (ST1).
[0025]
If the flow has been detected, the flow FLOWj (j = 1, 2,..., M) detected by the second optical flow detection unit 14 is deleted as an erroneously detected flow (ST2). This is because the detection position of the slow optical flow to be detected by the second optical flow detection unit 14 has almost stopped at the short time interval δt, and the first optical flow detection unit 13 has a small length. It is based on the idea that only optical flows are detected. As shown in FIG. 15B, at time t1, an optical flow starting from p is detected, so that the optical flow in FIG. 15E is deleted as being erroneously detected.
[0026]
For example, at time t0, as shown in FIG. 17, the persons E and F are in a state of retreating while moving on the moving sidewalk 1. At this time, the person E is located farther from the camera 2 than the person F. Thereafter, at time t1, as shown in FIG. 18, the person E slightly approaches the camera 2, and the person F moves to a position far away from the camera 2. Further, at time t2, as shown in FIG. 19, the person E approaches the camera 2 a little further, and the person F moves to a position farther away from the camera 2. Further, at time t3, as shown in FIG. 20, the person E approaches the camera 2 a little further, and the person F moves to a position farther away from the camera 2.
[0027]
As described above, FIGS. 17 to 20 show a state in which the person E is moving backward slowly and the person F is leaving, and the second optical flow detection unit 14 detects the time t0 in FIG. By comparing with t3, the optical flow for the person E can be detected.
[0028]
When the camera 2 is installed as shown in FIG. 1, a person approaching the camera 2 has an optical flow such as flow b from the top to the bottom of the screen as shown in FIG. Conversely, a person who moves away has an optical flow such as flow a from the lower side to the upper side as shown in FIG.
[0029]
For this reason, an optical flow going upward from the lower side of the image as shown in flow a in FIG. 21 is deleted because it is not an optical flow detected from an approaching object.
The approaching object detection unit 16 detects an approaching object as shown in FIG. 23 from the detected optical flows as shown in FIG. 22 among the optical flows verified by the optical flow verification unit 15. Specifically, optical flows located close to each other are grouped and detected as an approaching object.
[0030]
As described above, an approaching object having a small moving amount in the input image can be detected.
In the process of detecting a slow optical flow, an erroneously detected optical flow can be deleted, and erroneous detection of an approaching object can be prevented.
[0031]
The former is an effect of the second optical flow detection unit 14, and is an effect that an optical flow can be detected from an approaching person whose movement amount is small as shown in FIG. 12 and can be detected as an approaching object.
[0032]
The latter is the effect of the optical flow verification unit 15. Detect slow optical flows. In the second optical flow detector 14 of the present invention, an optical flow that is erroneously detected as shown in FIG. 15E can be deleted. This can prevent erroneous detection of an approaching object.
[0033]
Therefore, by detecting optical flows at a plurality of different time intervals, a slow approaching object can be detected in addition to a fast approaching object.
A first optical flow detection unit that captures an input image at a time interval of δt and calculates an optical flow from adjacent images in an input image sequence, and a second optical flow detector that calculates an optical flow from n images separated in an input image sequence. It is possible to detect a slow approaching object in addition to a fast approaching object provided with two optical flow detection units.
[0034]
Optical flows are detected at different time intervals, and optical flows detected at long time intervals are used to verify optical flows detected at long time intervals. Is what you do.
[0035]
Optical flows are detected at different time intervals, and at the position of the optical flow detected at a long time interval, while detecting the optical flow, an optical flow having a certain length or more at a short time interval is detected at the position. If it is determined that the optical flow has been erroneously detected, the optical flow is deleted.
[0036]
【The invention's effect】
As described in detail above, according to the present invention, it is possible to provide an image monitoring device and an image monitoring method capable of detecting an object that moves slowly (at a slow speed) in a direction opposite to a shooting direction of a shooting unit without error.
[Brief description of the drawings]
FIG. 1 is a diagram showing an installation state of a camera of an image monitoring device.
FIG. 2 is a diagram illustrating an image captured by a camera.
FIG. 3 is a view for explaining an image captured by a camera.
FIG. 4 is a diagram illustrating an image captured by a camera.
FIG. 5 is a block diagram illustrating a schematic configuration of an image monitoring device.
FIG. 6 is a view for explaining an image captured by a camera.
FIG. 7 is a diagram showing an example of edge detection.
FIG. 8 is a diagram showing an example of edge detection.
FIG. 9 is a diagram showing an example of edge detection.
FIG. 10 is a diagram showing an example of an optical flow.
FIG. 11 is a diagram showing an example of an optical flow.
FIG. 12 is a view for explaining a small area where a moving object may exist in the input image.
FIG. 13 is a diagram for explaining a range including a small region to be detected.
FIG. 14 is a diagram for explaining an image captured by a camera.
FIG. 15 is a view for explaining an image captured by a camera.
FIG. 16 is a flowchart illustrating a verification process performed by an optical flow verification unit.
FIG. 17 is a diagram illustrating an image captured by a camera.
FIG. 18 is a view for explaining an image captured by a camera.
FIG. 19 is a view for explaining an image captured by a camera.
FIG. 20 is a view for explaining an image captured by a camera.
FIG. 21 is a diagram illustrating an image captured by a camera. FIG. 22 is a diagram illustrating an optical flow verified by an optical flow verification unit.
FIG. 23 is a diagram illustrating an example of detecting an approaching object.
[Explanation of symbols]
11: Image input unit, 12: Edge detection unit, 13: First optical flow detection unit, 14: Second optical flow detection unit, 15: Optical flow verification unit, 16: Approaching object detection unit

Claims

Shooting means for shooting a video,
Detecting means for detecting an optical flow at a plurality of different time intervals from a video taken by the photographing means;
Determining means for determining a fast moving object and a slow moving object based on the detection result of the detecting means based on the photographing of the photographing means;
An image monitoring device, comprising:

Shooting means for shooting a video,
Capturing means for capturing the video captured by the capturing means at predetermined time intervals,
First detecting means for detecting an optical flow for each image captured by the capturing means;
First determining means for determining a fast moving object based on the detection result of the first detecting means based on the photographing of the photographing means;
Second detection means for detecting an optical flow for each of the plurality of images captured by the capture means,
A second determining unit that determines a slow moving object based on the detection result of the second detecting unit based on the photographing of the photographing unit;
An image monitoring device, comprising:

Shooting means for shooting a video,
Capturing means for capturing the video captured by the capturing means at predetermined time intervals,
First detecting means for detecting an optical flow at a short time interval for each image captured by the capturing means,
Second detecting means for detecting an optical flow at a long time interval for each of the plurality of images captured by the capturing means;
At the position where the optical flow is detected by the second detection means, while the optical flow is detected by the first detection means while the optical flow is detected by the second detection means, the second detection is performed when the optical flow is detected by the first detection means. Deleting means for deleting an optical flow by means;
Judging means for judging a moving object running backward in the photographing direction by the photographing means by an optical flow by the second detecting means which has not been deleted by the deleting means;
An image monitoring device, comprising:

Shoot the video,
Optical flows are detected at a plurality of different time intervals from the captured video, and a fast moving object and a slow moving object that are moving backward in the shooting direction are determined based on the detection result.
An image monitoring method, characterized in that:

Shoot the video,
Capture this captured video at predetermined time intervals,
Detects the optical flow of each captured image,
Based on this detection result, a fast moving object that moves backward in the shooting direction is determined,
Detect optical flows for each of the captured multiple images,
An image monitoring method characterized in that a slow moving object running backward in the photographing direction is determined based on the detection result.

Shoot the video,
Capture this captured video at predetermined time intervals,
Optical flow is detected at short time intervals for each captured image,
Optical flow is detected at long time intervals for each of the plurality of captured images,
At the position where the optical flow is detected at this long time interval, while detecting the optical flow at the short time interval, the optical flow at the long time interval is deleted when the optical flow at the short time interval is detected. And
An image surveillance method comprising: determining a moving object moving backward in the photographing direction by an optical flow at the long time interval which has not been deleted by the deletion.