JP2002074369A - 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動画像から監視対象である移動物体の動きだ
けを精度良く検出することができる監視システムを提供
する。 【解決手段】 図２（ａ）は入力フレーム画像の一枚を
示すもので、図示のように２つの落石Ａ、Ｂが映ってい
る。この（ａ）のフレーム画像とこれより１フレーム後
（又は前）のフレーム画像とが入力されるものとする。
同図（ｂ）は２つの入力画像から求めた落石の動きベク
トルから求めた速度場ベクトルを示す。図示のように大
部分のベクトルは略同じ方向を向いているが、ノイズ等
により異なる方向を向いているものがある。この速度場
ベクトルにおいて落石の塊を同一ベクトル方向毎に領域
分割したものが、同図（ｃ）の状態であり、このように
領域分割する速度場ラベリング処理を行うことにより、
移動物体の形状、面積等を推定して落石の有無を精度良
く検出することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで撮影した
動画像を用いて監視対象となる物体の動きを監視する監
視システムに関し、特に例えば落石等の監視に用いて好
適なものである。

【０００２】

【従来の技術】従来、落石、侵入物体、走行車両などの
高速運動する移動物体を監視する場合は、接触センサか
らの検出信号やビデオカメラからの動画像を処理するこ
とにより行われている。接触センサによる監視は、セン
サを設置した特定のポイントのみの監視に止まるのに対
し、ビデオカメラからの動画像による監視は撮影エリア
全体を監視できる利点がある。

【０００３】従来の動画像による監視システムにおいて
は、連続する２フレーム画像間の動きベクトル（オプテ
ィカルフロー）を推定し、この動きベクトルを解析する
ことにより、落石や侵入物体、車両等の面積、形状を求
め、これに基づいて異常な動き、即ち、監視対象物体の
有無を検出するようにしている。

【０００４】

【発明が解決しようとする課題】しかしながら、監視対
象である移動物体の色が単一色である場合は、背景濃度
との差が明確な移動物体の輪郭部のみに動きベクトルが
検出され、移動物体の内側では動きベクトルが検出でき
ず、空隙が発生するという問題があった。また、移動物
体の挙動によっては反射光量が変化し、移動物体の輪郭
部分でも一部背景との濃度差がなくなり、動きベクトル
が検出されないことがあった。このように自然環境下で
の監視システムにおいては、複雑な背景濃度や日陰、陰
影等による反射光量の変動があり、動きベクトルの非連
結の問題が多く発生していた。このため、正しい動きベ
クトルが検出できず、その結果、移動物体の面積が推定
できなくなったり、また、１個の移動物体が複数個であ
ると誤検出されてしまう等の問題があった。

【０００５】また、動きベクトル（オプティカルフロ
ー）は微分量の扱いであるため、監視画像に含まれるノ
イズ成分に極めて敏感であり、誤検出の原因になってい
た。

【０００６】また、インターレース走査する２フレーム
の画像信号を用いて動きベクトルを検出するため、偶数
ラインと奇数ラインの時間差により走査線方向に短冊形
あるいはギザギザ等のズレ変形が生じ、これが空間勾配
に影響を与え、移動物体の推定速度に誤差をもたらす原
因となっていた。

【０００７】さらに、屋外においては、木々が揺れた
り、天気が変わったり、鳥が飛ぶというような様々な自
然な正常な動きが存在する。これらの正常な動きと移動
物体の異常な動きとを精度良く識別することは、従来の
フレーム間画像の動きベクトル解析では難しい。そのた
め、従来の動画像による監視は屋外監視には不向きであ
った。

【０００８】従って、本発明の目的は、監視対象である
移動物体の動きだけを精度良く検出することができる動
画像による監視システムを提供することにある。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、監視エリアの動画像を分析することに
より監視エリア内で目的の動きをする物体の有無を判断
する監視システムであって、前記動画像に含まれる時間
的に異なる２つの画像から、画像内の各画素に対応した
速度ベクトルを計算し、該速度ベクトルを座標配列した
速度場ベクトルを求めるベクトル計算手段と、前記速度
場ベクトルの各ベクトルの方向性に応じて領域分割する
速度場ラベリング処理を行うラベリング手段と、前記速
度場ラベリング処理結果に基づいて前記目的の動きをす
る物体の有無を検出する検出手段とを備えた動画像によ
る監視システムを提供する。

【００１０】また、本発明は、監視エリアの動画像を分
析することにより監視エリア内で目的の動きをする物体
の有無を判断する監視方法であって、前記動画像に含ま
れる時間的に異なる２つの画像から、画像内の各画素に
対応した速度ベクトルを計算し、該速度ベクトルを座標
配列した速度場ベクトルを求めるベクトル計算手順と、
前記速度場ベクトルの各ベクトルの方向に応じて領域分
割する速度場ラベリング処理を行うラベリング手順と、
前記速度場ラベリング処理結果に基づいて前記目的の動
きをする物体の有無を検出する検出手順とを含むことを
特徴とする動画像による監視方法を提供する。

【００１１】さらに、本発明は、監視エリアの動画像を
分析することにより監視エリア内で目的の動きをする物
体の有無を判断するプログラムを記録した記録媒体であ
って、監視エリアの動画像に含まれる時間的に異なる２
つの画像から、画像内の各画素に対応した速度ベクトル
を計算する計算処理と、前記速度ベクトルを座標配列し
た速度場ベクトルを求める計算処理と、前記速度場ベク
トルの各ベクトルの方向に応じて領域分割する速度場ラ
ベリング処理と、前記速度場ラベリング処理結果に基づ
いて前記監視エリア内で前記目的の動きをする物体の有
無を検出する検出処理とをコンピュータに実行させるプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体を提供する。

【００１２】

【作用】従って、本発明によれば、２つの入力動画像か
ら画素毎の動きベクトルを算出し、その動きベクトルを
実平面に写像した速度ベクトルを算出し、この定速度ベ
クトルを座標配列して速度場ベクトルを求める。次に、
速度場ラベリング処理を行うことにより速度場ベクトル
を同一とみなすことのできるベクトル方向毎に領域分割
し、このラベリング処理結果から目的の移動を行う物体
の有無を判断する。ここで、速度場ラベリングを行うこ
とにより、移動物体が単一色であったり、反射光量が変
化したりしても監視対象物体を精度良く検出することが
できると共に、ノイズに強い検出を行うことができるよ
うになる。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は本発明の第１の実施の形態
による動画像による監視システムの構成を示すブロック
図である。本実施の形態における監視システムは、山地
等における落石の検出を目的とするものとして以下に説
明する。

【００１４】図１において、監視システムは、崖等の落
石が生じる可能性のある場所（監視エリア）を撮影して
その監視エリアの動画像を出力するビデオカメラ１と、
監視エリアに設置された風向風速計２及び雨量計３と、
ビデオカメラ１からの動画像を画面に表示するディスプ
レイ装置４と、ビデオカメラ１からの動画像データ、風
向風速計２からの風向および風速データ及び雨量計３か
らの雨量データを取り込んで処理することにより監視エ
リア内の物体の動きベクトル（オプティカルフロー）を
求め、監視エリア内の異常な移動物体（つまり、落石）
を検出する動きベクトル処理装置５と、動きベクトル処
理装置５が異常な移動物体を検出すると警報を発信する
警報発信装置６とを備える。

【００１５】動きベクトル処理装置５は、典型的にはコ
ンピュータシステムで構成され、監視用プログラムを実
行することで、監視エリア内の物体の動きベクトル（オ
プティカルフロー）を求めて監視エリア内の異常な移動
物体（落石）を検出すると共に、落石を検出する都度、
その旨を示す監視ログファイルを作成して監視ログファ
イルＤＢ（データベース）７に蓄積し、かつ、監視エリ
アの動画像データから異常な移動物体を検出した時点の
フレーム画像を抽出して監視静止画ＤＢ８に蓄積する。

【００１６】尚、通常は、ビデオカメラ１、風向風速計
２、雨量計３は落石の生じる場所近くに設置され、他の
装置はそこから離れた場所にある管理事務所等に設置さ
れている。その場合、ビデオカメラ等と管理事務所との
通信は有線又は無線により行われる。また、ビデオカメ
ラ１は固定されているものとする。尚、ビデオカメラ１
からの動画像を記録する動画像記録装置を設けてもよ
い。

【００１７】次に、本実施の形態の特徴である速度場ラ
ベリングと正則化パラメータについて説明する。ここで
は概略的に説明し、詳細は後述する。まず、速度場ラベ
リングについて図２を参照して説明する。図２（ａ）は
入力フレーム画像の一枚を示すもので、図示のように２
つの落石Ａ、Ｂが映っている。落石Ａは単一色、落石Ｂ
は模様があるものとする。この（ａ）のフレーム画像と
これより１フレーム後（又は前）のフレーム画像との２
つの時系列画像が入力されるものとする。

【００１８】同図（ｂ）は２つの入力画像から求めた画
像上の落石の動きを示す動きベクトルを実際の監視エリ
アとなる実平面に写像することにより得られる速度ベク
トルを計算し、この速度ベクトルを座標配列した速度場
ベクトルを示す。図示のように大部分のベクトルは略同
じ方向を向いているが、反射光量の変化やノイズ等によ
り異なる方向を向いているものがある。この速度場ベク
トルにおいて落石の塊をベクトルの方向性に応じて領域
分割したものが、同図（ｃ）の状態である。このように
所定の範囲内で同一と認めうるベクトル方向毎に領域分
割する処理を速度場ラベリングと呼ぶものとする。

【００１９】本実施の形態は、上記（ｃ）の速度場ラベ
リング結果に基づいて同図（ｄ）のように落石の塊の動
きの方向を推定することで、落石の形状、面積を推定
し、落石の有無を検出するようにしたものである。

【００２０】次に、正則化パラメータについて説明す
る。図３は、ビデオカメラ１から見た監視エリアの光景
の一例を示す。図３の例では、監視エリア１００内に２
つの山があり、この監視エリア１００は、落石や木々等
の動きの性質が異なる複数の領域にＡ〜Ｅに分けられて
いる。領域Ａは空の領域である。領域ＢとＥは、樹木で
覆われた森林領域である。領域Ｃは、急な斜度を持つ岩
肌の露出した急崖領域である。領域Ｄは、緩やかな斜度
を持つ岩肌の露出した緩崖領域である。

【００２１】これらの領域Ａ〜Ｅでは、その領域内に存
在する物体（岩石、樹木、雲等）の動きの性質（落石の
移動方向、移動方向の分散の度合い、異なる木々や岩石
の動きのばらつき具合等）が領域によって異なる。その
ため、例えばその山地の斜面の傾斜方向や斜度、樹木の
多寡や岩肌の露出割合、風速や風向や降雨雪量等の天候
要素、カメラからその場所までの距離等の環境要素は、
カメラで撮影した動画像上での、監視対象物である落石
の移動方向や移動速度や動きの複雑さ、樹木の揺動や降
雨雪の動きといった外乱となる動きの性質、落石と落石
以外の物体の動きとの相関関係等に影響する。その結
果、監視エリア内の諸物体の動きの連続性、即ち、「動
きベクトルの空間的な滑らかさの度合い」に影響を与え
る。

【００２２】そのため、本実施の形態においては、動き
ベクトル処理装置５は、監視エリアの動画像に含まれる
時間的に異なる２フレームの画像から、動きベクトルを
計算する際に、動きベクトルの空間的な滑らかさの度合
いを示すパラメータを正則化パラメータとして用いてい
る。そして、監視エリア内外の環境要素に応じて、正則
化パラメータの最適値を設定する。この正則化パラメー
タを用いて動きベクトルを計算することにより、監視エ
リアの環境に応じて精度良く目的の動きをする物体の動
きベクトルを求めることができる。

【００２３】その場合、例えば、樹木が多い場所や風の
強い時には、正則化パラメータを大きい値に設定するこ
とで、風によって樹木が一斉に略同じ方向に揺れ動くと
いう外乱の動きが動きベクトルに反映され難くして、監
視目的の落石の動きを樹木の揺れ動きから識別し易くす
ることにより、監視精度を高めることができる。

【００２４】次に、動きベクトル処理装置５が行う処理
について図４のフローチャートを参照して説明する。ま
ず、ビデオカメラ１から入力される画像信号のコントラ
スト制御及び輝度制御を行い、画像内に指定した監視エ
リアの画質評価と制御を逐次実行することにより、入力
画像の画質を一定にする（ステップＳ１、以下、ステッ
プ略）。次に、画質制御された画像信号から２つのフレ
ーム画像を第１画像、第２画像として時系列で入力する
（Ｓ２）。第１画像（又は第２画像）は例えば図２
（ａ）に示すものである。

【００２５】次に、正則化パラメータを用いたオプティ
カルフロー推定処理を行う（Ｓ３、Ｓ４）。このオプテ
ィカルフロー推定処理は、例えば特開平９−２９７８５
１号等で紹介されている公知の正則化手法に、正則化パ
ラメータを用いる改良を加えた方法である。ここで、正
則化手法によるオプティカルフロー推定処理とは、ある
１つのフレームの画像上の各画素の座標点（ｘ，ｙ）と
その動きベクトル、つまりオプティカルフロー（ｕ，
ｖ）との間には、そのフレーム画像内の空間的な明るさ
の勾配を（Ｉｘ，Ｉｙ）、そのフレームと次のフレーム
間の明るさの勾配をＩｔとしたときに、以下の式が成立
することを用いた解析手法である。

【数1】

【００２６】しかし、この（１）式だけからは未知数
ｕ，ｖを推定することができず、他の拘束条件が必要と
なる。これについては、例えば、「Determining Optica
l Flow」（Artificial Intelligence 17 185〜203 頁
（1981））に記載された技術を利用する。この技術にお
いては、「画像中の移動物体が剛体である」及び「画像
中の近傍領域でのオプティカルフロー分布は滑らかであ
る」という２つの仮定をそれぞれ評価関数で表し、弛緩
法を用いてこれらの２つの評価関数の和を最小化させる
ことによってオプティカルフローの推定を行う。

【００２７】具体的には、αを正則化パラメータとし
て、繰り返し演算によって次の（２）式を最小にする
ｕ，ｖを求める。

【数２】

【００２８】即ち、（２）式の右辺において、Ｅａは移
動物体の剛体性を反映した評価関数であり、画像中の移
動物体が完全な剛体、つまり、変形せずそれ自体の輝度
も変化しない物に近いほど（１）式が成立し易くなりＥ
ａはゼロに近づく。また、Ｅｂはオプティカルフローの
空間分布の滑さを反映した評価関数であり、オプティカ
ルフローの空間分布が完全に滑らかな、つまり、オプテ
ィカルフローが空間的に変化しない、つまり、画像内の
どの画素も全て同じ方向へ同じ距離だけ移動する状態に
近いほどＥｂはゼロに近づく。

【００２９】要するに、（２）式の右辺は、画像の積分
領域における移動物体の剛体性とオプティカルフローの
空間分布の滑らかさとを統合的に評価した関数であり、
その積分範囲の領域で上記２つの仮定「画像中の移動物
体が剛体である」及び「画像中の近傍領域でのオプティ
カルフロー分布は滑らかである」が良好に成立するほ
ど、（２）式の右辺は小さい値となる。換言すれば、画
像のある点の近傍領域で上記２つの仮定が成立するな
ら、その近傍領域で（２）式の関数を最小にするような
ｕ，ｖがその点における妥当なオプティカルフローと推
定される。

【００３０】ここで、正則化パラメータαは、（２）式
の右辺における「オプティカルフロー分布の滑らかさ」
の相対的な重みを反映している。つまり、αを大きく設
定するほど、オプティカルフロー分布の滑らかさを重視
していることになる。よって、正期化パラメータαは解
析する画像に応じ、その画像中に存在する各種物体の複
雑さや動きの性質や動きの大きさなどに関連して適切に
設定されるべきである。

【００３１】また、本実施の形態では、前記特開平９−
２９７８５１号でもそうしていたように、前述の（２）
式の評価関数をそのまま用いるのではなく、前述の
（１）式の誤差を考慮するために、座標点（ｘ，ｙ）の
近傍での（１）式の左辺の値の分散σ２を（２）式に導
入して、以下の（３）式の評価関数を最小とするｕ，ｖ
を、弛緩法を用いた反復演算によって求めるようにして
いる。

【数３】

【００３２】上記の方法でフレーム画像内の全画素座標
（ｘ、ｙ）についての動きベクトルつまりオプティカル
（ｕ，ｖ）を求めた後、次に、それらの動きベクトルを
解析して、それらの動きベクトルの中から、物体の異常
な動き（つまり、落石）と見倣し得るものだけを検出す
る。その方法として、落石の移動方向は特定の方向範囲
（例えば、斜面の最大傾斜方向を中心にした所定の角度
範囲）に限定されることに着目して、その特定の方向範
囲に移動する動きだけを抽出する。

【００３３】この場合、斜面によって最大傾斜方向や落
石の方向が分散する幅が違ってくるので、図３に例示し
た領域Ａ〜Ｅ毎に上記の特定の方向範囲を最適に設定す
ることになる。また、風速や風向によっても落石の移動
方向が分散する幅が変わってくる。例えば、水平方向の
風速が強くなれば、落石の落下方向が最大傾斜方向から
ずれる度合いが大きくなるから、風速や風向に応じて上
記の特定の方向範囲を調節することも行う。このような
方法で、画像内の動きベクトルの中から、風による木々
の左右の揺れなどの正常な動きと、落石という異常な動
きとを峻別することができる。また、風速や風向の外に
例えば降雨量や降雪量等に応じて正則化パラメータを設
定してもよい。

【００３４】監視時系列画像には、背景を形成するテク
スチャと移動物体のテクスチャとが混在しており、その
中でオプティカルフロー計算をすることになる。従っ
て、演算画素周辺の輝度分散や空間周波数の状態から適
切な正則化パラメータ値が要求される。また、計算コス
トの低減から厳密な計算をせずにリアルタイム処理が望
まれる。また、通常の監視では、移動物体の表面組成情
報が予め特定できない。このため、演算画素周辺の輝度
分布状態を１次微分で把握し、微分値を引数とする正則
化パラメータテーブルから予め設計した最適な正則化パ
ラメータを引用してオプティカルフローの計算を行う。

【００３５】正則化パラメータテーブル設計には、様々
な実写映像の実験結果で検証した最適値と、同一速度の
複数の移動物体を仮定したときに自然環境では各移動物
体毎に背景間の空間勾配が異なることによる各移動物体
の推定速度に差が生じる問題を正則化パラメータで疑似
的に補正する機能を持たせる。これによりオプティカル
フロー計算に用いる正則化パラメータとして、画素単位
で実空間の実態である対象物の複雑さに適した値を選択
することができる。また、引数である空間処理の工夫で
周辺の光量変化に強く、孤立点ノイズによる影響を除去
することができる。

【００３６】次に、上記のようにして計算されたオプテ
ィカルフローから抽出された局所的な動きベクトルを相
関法を用いて検証し、信頼度を確保する（Ｓ５）。即
ち、落石や高速車両等を撮影した時系列画像には、移動
物体の移動量が１画素／フレーム以上の動きベクトルが
抽出されるケースがあり、その際、ベクトルの信頼性の
評価として正規化相関で検証する。オプティカルフロー
計算で次のフレームの推定移動位置（画素単位に丸め
る）が判明しているので、テンプレートによる探査動作
をせずに相関計算を行うことができる。テンプレートは
オプティカルフロー演算画素を中心で８又は２４近傍を
範囲とする。相関係数が０．５以上の結果のオプティカ
ルフローを有効とする。

【００３７】尚、相関係数（Ｒ）は時系列の第１画像、
第２画像のそれぞれのテンプレート濃度分布を、ａ_ij，
ｂ_ij（１≦ｉ≦ｍ、１≦ｊ≦ｎ）としたとき次式で定義
される

【００３８】

【数４】

【００３９】次に、限定角度フィルタにより、３次元空
間運動の中で明らかに監視対象方向とは異なる動きベク
トルを除去する（Ｓ６）。その後、除去されずに残った
動きベクトルをカメラの距離補正により実平面に写像す
る処理を次のように行う（Ｓ７）。この処理により、画
像上の動きベクトルが監視エリアとなる実平面上の動き
ベクトルに換算される。この実平面に写像された動きベ
クトルを速度ベクトルと呼ぶ。

【００４０】ここでは、画像上の動きベクトルの実平面
上への写像として、カメラ距離の幾何変換を用いて、オ
プティカルフロー計算結果である画像上の動きベクトル
を実平面上の速度ベクトルに導く。なお、この処理は座
標変換により実現でき、具体的には次の２次射影変換式
で行われる。

【数５】 （ｘ，ｙ）は第１、第２画像のメモリ座標の位置、
（Ｘ，Ｙ）は実平面（速度測定面）の位置である。
（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）は変換係数であ
り、未知数は８個となる。

【００４１】逆変換は、

【数６】

【００４２】監視画像に映る測定平面（崖の断面、車両
の走行道等を意味する）に存在する既知の４個所の実寸
法が判明していれば（５）（６）式は解法できる。従っ
て、カメラから移動物体までの距離を求めるアルゴリズ
ムを得ることができる。故にビデオカメラ１におけるＣ
ＣＤ等の撮像素子の受光面積、レンズの焦点距離が判明
していれば、上記の既知の４個所の距離関係から幾何学
計算により目標位置の距離を求めることができる。

【００４３】次に、速度ベクトルを座標配列した推定速
度場をメモリ上に作成し、予め設定した小領域を単位と
して推定速度場メモリ内部を均一に探査する（Ｓ８）。
小領域は例えば１０×１０画素である。探査の際、小領
域内部の画素速度ベクトルの実在数及び速度ベクトルの
平均値を求める。小領域に存在するベクトル個数を予め
定義した有効と判定する割合個数以下なら、その探査位
置の小領域は孤立点ノイズとして除去する。また、画像
信号に特有なノイズ成分を考慮して、探査領域内部で特
定の走査線方向に連続し、他の走査線方向に存在しない
ような孤立列の速度ベクトルも除去する。ここまでの処
理で、例えば図２（ｂ）の速度場ベクトルが得られる。

【００４４】次に、速度場ラベリング処理を行う（Ｓ
９）。上記Ｓ８による除去処理後の小領域について、後
述により詳しく説明するように１次ラベリング、２次ラ
ベリングを行って、移動物体の推定面積、推定形状を求
め、実態を認識する。ここまでの処理により、例えば図
２（ｃ）の速度場ラベリング処理結果が得られる。

【００４５】そして、上記推定面積、推定形状を閾値と
比較する等の方法により、落石の有無を判定する（Ｓ１
０）。ここまでの処理で例えば図２（ｄ）のように、落
石形状認識を行うことができる。そして、落石が有れ
ば、推定速度、推定面積、推定形状、座標推定落石規模
等のログファイルを作成して監視ログファイルＤＢ１３
に蓄積すると共に、落石を検出した時のフレームの静止
画を抽出して監視静止画ＤＢ１５に蓄積する（Ｓ１
１）。また、警報発信装置１７より危険警報を発する
（Ｓ１２）。また、落石が無い場合はＳ１に戻る。

【００４６】次に、上記Ｓ９の速度場ラベリング処理に
ついて詳細に説明する。本実施の形態による速度場ラベ
リング処理においては、前記速度場ベクトル上の小領域
について、推定速度の平均、方向、座標データの１次ラ
ベリングテーブルを作成する。２次ラベリングでは、探
査小領域の面積と座標から連結性を調べると共に、同一
移動物体であるかの判断基準として、連結小領域の速度
ベクトルの平均値である平均速度ベクトルの相関関係を
調べ、明らかに移動方向性が異なる小領域は非連結とし
ている。

【００４７】また面積の推定は、ラベリング処理後、各
ラベルの外接面積を確定し、外接面積に対応する第２画
像の輝度分布から２値化処理の閾値を決定し、２値化処
理により背景と移動物体を分離する。次に、移動物体の
外接面積に含まれる全ての速度ベクトルの座標を集計し
てその重心位置を求め、重心位置の２値化データに対応
する０又は１の個数を外接面積内部でカウントする（移
動物体で抽出するオプティカルフローの分布は、物体の
輪郭の周辺（ズレ）に存在するため、オプティカルフロ
ーの強度で対応せずに発生位置の重心座標で物体内部と
判断する）。次に、移動物体の形状認識プロセスにおい
ては、速度場ラベリングにより移動物体の座標を求め、
第２画像の濃度情報を空間画像計測により実態認識す
る。 上述した速度場ラベリング処理を行うことによ
り、前述した速度ベクトルの非連結の問題及び空隙の問
題を解決することができる。

【００４８】次に、前述した偶数、奇数ラインの走査方
向のズレにより発生する変形を除去するための方向性優
先フィルタについて説明する。予め速度が判明している
移動物体をカメラ撮影する場合には、当然最適なシャッ
タスピードの設定が可能であるが、本実施の形態の場合
は、移動物体の速度が予め判明していない事象の計測で
あるため、シャッタスピードの選択では解決することは
できない。

【００４９】落石や走行車両等の高速運動を撮影した動
画像から抽出するオプティカルフローは、前述したよう
にインターレース走査により、走査周期より速く運動す
る画像要素が存在すると、その画像要素は偶数、奇数ラ
イン毎に光量電気変換の時間差が原因で、一般的に走査
線方向に短冊状のズレ変形が生じ、これが空間勾配に影
響を与え、推定速度に誤差をもたらす。本実施の形態に
よる方向性優先フィルタは上記の問題を解決するもので
ある。

【００５０】この方向性優先フィルタは、移動物体の推
定速度を決定する段階で、速度場ラベリング処理で決定
した移動物体の外接領域内に存在する速度ベクトルの角
度データを集計し、その分散計算から物体の移動方向主
成分をまず決定し、その主成分の所定角度範囲内で選別
した速度ベクトルを有効とし、さらに、その速度ベクト
ルの絶対値である速度データを集計してその分散を求
め、中心値を物体の推定速度として決定するものであ
る。

【００５１】前記の問題解決の段階で移動物体の形状の
サイズによっては速度ベクトルの発生数が少なく、方向
性優先フィルタ処理が困難になる。本実施の形態におけ
る動きベクトル処理装置５に汎用コンピュータ（パソコ
ン等）を用いる場合は、汎用コンピュータによるリアル
タイム処理を実現するため、オプティカルフロー算出の
計算コストを削減する目的で、演算画素数を間引きする
場合がある。方向性優先フィルタ処理が困難な状態で
は、オプティカルフロー算出のための演算画素数の間隔
数及び位置（奇偶数）を制御し、前記速度場ラベリング
処理で決定した移動物体の外接領域内のみより速度ベク
トルを再抽出する。移動物体周辺には速度ベクトルの母
集団を大きく確保させる制御を行う。監視画像空間全体
のピラミッド処理でなく、小領域に関する再計算のため
リアルタイム性を維持することができる。

【００５２】図５は上述した速度場ラベリング処理を動
きベクトル処理装置５が実行するためのフローチャート
を示す。まず、前記探査小領域の平均速度ベクトルの絶
対値である速度スカラ値が所定の最低速度値以下ならラ
ベリング対象の探査小領域から除外する（Ｓ９１）。次
に、ステップＳ９１で除外されなかった探査小領域のう
ちＮ個目（初期値はＮ＝１）の探査小領域に実在する速
度ベクトルの集計数ｎからＮ＜Ｋｎ（Ｋｎ：孤立点ノイ
ズと判定する割合）により有効な速度ベクトルの有無を
判定する（Ｓ９２）。有効な速度ベクトルが有れば探査
小領域における平均速度ベクトルの角度θｉ（ｉは整
数）で分類される１次ラベリングテーブルに登録する
（Ｓ９３）。その場合、各θｉに対して上限値θａ、下
限値θｂの限定角度を設定し、各探査小領域の平均速度
ベクトルがこの範囲内であれば同一のラベリングとす
る。上記登録後又は有効な速度ベクトルがＮ番目の探査
小領域に存在し無い場合は、Ｓ９１で除外されなかった
すべての探査小領域の掃引が終了したかを判定し、終了
していなければ次の探査小領域の１次ラベリングのため
にＳ９２に戻る（Ｓ９４）。

【００５３】掃引が終了していれば、２次ラベリングを
行う（Ｓ９５）。即ち、１次ラベリングテーブルでθ値
が等しいかを接近する探査小領域間の空間接合を調べ、
接合すれば、同一ラベリング番号を付与し、空間接合が
なければ、連番のラベル番号を付与する。次に、各ラベ
ル番号の左右端部における速度ベクトルの発生点をチェ
ーン符号化し、発生配列状況を判定し、発生点が走査線
毎に短冊状であると判定されたら、領域の右端部を補正
する（Ｓ９６）。次に、ラベル番号が重複しているなら
各平均速度ベクトルをさらに平均し、該当ラベル番号の
推定速度とする（Ｓ９７）。そして、ラベル番号毎に外
接面積を求め、移動物体の推定形状及び実態を認識する
（Ｓ９８）。

【００５４】以上説明した第１の実施の形態は落石を検
出する場合であるが、次に、第２の実施の形態として走
行車両を検出する場合の処理について図６のフローチャ
ートを参照して説明する。図６においては、Ｓ９までの
処理は図４と共通である。Ｓ９の速度場ラベリング処理
の結果に基き、前述した落石の有無を検出する場合と同
様にして移動物体（走行車両）の有無を検出する（Ｓ１
３）。移動物体が無ければＳ１に戻り、移動物体が有れ
ば各ラベリング領域について移動方向毎に分類する（Ｓ
１４）。次に、分類結果から同一方向のラベルの外接四
辺形から走行車両の外形寸法を推定する（Ｓ１５）。

【００５５】外形寸法を推定された車両の推定速度、推
定方向を分類し（Ｓ１６）、推定速度が設定値Ａ以下の
場合は、渋滞が検出されたものとする（Ｓ１７）。推定
速度が設定値Ｂ以下の場合は通行車両を計測する（Ｓ１
８）。また、推定移動方向が設定角度幅外であれば、進
入禁止車両が検出されたものとする（Ｓ１９）。

【００５６】次に、本発明の実施の形態によるコンピュ
ータ読み取り可能な記録媒体について説明する。図１の
動きベクトル処理装置５のコンピュータシステムにおけ
るＣＰＵが実行するためのプログラムを格納する記録媒
体は、コンピュータ読み取り可能な記録媒体を構成す
る。この記録媒体には、各フローチャートで説明した処
理をＣＰＵが実行するためのプログラムが格納される。

【００５７】この記録媒体としては、光磁気ディスク、
光ディスク、半導体メモリ、磁気記録媒体等を用いるこ
とができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フ
ロッピー（登録商標）ディスク、メモリカード等に構成
して用いてよい。

【００５８】またこの記録媒体は、インターネット等の
ネットワークや電話回線等の通信回線を介してプログラ
ムが送信された場合のサーバやクライアントとなるコン
ピュータシステム内部のＲＡＭ等の揮発性メモリのよう
に、一定時間プログラムを保持するものも含まれる。

【００５９】また上記プログラムは、このプログラムを
記憶装置等に格納したコンピュータシステムから伝送媒
体を介して、あるいは伝送媒体中の伝送波により他のコ
ンピュータシステムに伝送されるものであってもよい。
上記伝送媒体とは、インターネット等のネットワーク
（通信網）や電話回線等の通信回線（通信線）のように
情報を伝送する機能を有する媒体をいうものとする。

【００６０】また、上記プログラムは、前述した機能の
一部を実現するためであってもよい。さらに、前述した
機能をコンピュータシステムに既に記録されているプロ
グラムとの組み合わせで実現できるもの、いわゆる差分
ファイル（差分プログラム）であってもよい。

【００６１】従って、この記録媒体を図１の装置又はシ
ステムとは異なるシステム又は装置において用い、その
装置又はシステムのコンピュータがこの記録媒体に格納
されたプログラムを実行することによっても、各実施の
形態で説明した機能及び効果と同等の機能及び効果を得
ることができ、本発明の目的を達成することができる。

【００６２】以上、本発明の実施の形態を説明したが、
これは本発明を説明するための例示に過ぎない。従っ
て、本発明は上記実施の形態以外の様々な実施の態様に
も適用することができる。例えば、本発明は屋外の落石
や走行車両の検出だけでなく、不審者の侵入検出や、屋
内の物体監視など様々な監視目的に適用することができ
る。その場合、監視目的や監視対象に応じて、速度場ラ
ベリングにおける各種設定、正則化パラメータや移動方
向範囲の設定の仕方、調節の仕方を異ならせてもよい。
また、本発明の実施の形態では、図４のステップＳ７に
より画像上の各画素の動きベクトルを監視エリアとなる
実平面上での動きを示す速度ベクトルに写像している。
これにより、監視対象となる物体の実際の形状等を推定
できるようになるとともに、監視対象となる物体の設定
を実際の大きさを基準にできるため監視対象となる物体
の設定が容易になるが、これに限定されるものではな
い。たとえば、画面上の画素を大きさの基準とした物体
の監視を行うならば図４のステップＳ７は省略可能であ
る。なお、この場合、動きベクトルと速度ベクトルは同
義となる。

【００６３】

【発明の効果】以上説明したように本発明によれば、速
度場ラベリングを行うことにより、移動物体が単一色で
あったり、反射光量が変化したりしても監視対象物体を
精度良く検出することができると共に、ノイズに強い検
出を行うことができる。また、画像内の各画素の動きを
示す動きベクトルを計算し、この動きベクトルを監視エ
リアである実平面に写像することにより得られた速度ベ
クトルより速度場ベクトルを得ている。これにより監視
対象となる物体の実際の形状等を推定できるようにな
り、監視対象となる物体の設定も容易におこなうことが
できる。また、方向性優先フィルタを用いることによ
り、動画像における特に高速な移動物体のインターレー
ス走査によるズレ変形を除去することができる。さら
に、正則化パラメータ等の動きベクトルの空間的な滑ら
かさを示すパラメータを導入することにより、監視環境
の条件等に応じてより精度の高い検出を実現することが
できる。

【図面の簡単な説明】

【図１】 本発明の第１、第２の実施の形態による監視
システムの構成を示すブロック図である。

【図２】 落石を検出する場合における速度場ラベリン
グ処理を概略的に説明するための構成図である。

【図３】 ビデオカメラから見た監視エリアの光景の一
例を示す構成図である。

【図４】 落石を検出する場合における動きベクトル処
理装置が行う処理を示すフローチャートである。

【図５】 速度場ラベリング処理を示すフローチャート
である。

【図６】 本発明の第２の実施の形態による走行車両を
検出する場合における動きベクトル処理装置が行う速度
場ラベリング処理以降の処理を示すフローチャートであ
る。

【符号の説明】

１ ビデオカメラ ２ 風向風速計 ３ 雨量計 ４ ディスプレイ装置 ５ 動きベクトル処理装置 ６ 警報発信装置 ７ 監視ログファイルＤＢ ８ 監視静止画ＤＢ １００ 監視エリア

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 憲市郎 東京都千代田区神田神保町三丁目13番８号 株式会社シー・イー・デー・システム内 Ｆターム(参考） 5C054 AA01 EA07 FC13 FF06 GB02 GB06 GD04 HA18 5L096 BA02 CA04 FA33 FA34 FA67 GA34 GA55 HA04

Claims (7)

【特許請求の範囲】
1. 【請求項１】 監視エリアの動画像を分析することによ
   り監視エリア内で目的の動きをする物体の有無を判断す
   る監視システムにおいて、 前記動画像に含まれる時間的に異なる２つの画像から、
   画像内の各画素に対応した速度ベクトルを計算し、該速
   度ベクトルを座標配列した速度場ベクトルを求めるベク
   トル計算手段と、 前記速度場ベクトルの各ベクトルの方向性に応じて領域
   分割する速度場ラベリング処理を行うラベリング手段
   と、 前記速度場ラベリング処理結果に基づいて前記目的の動
   きをする物体の有無を検出する検出手段とを備えたこと
   を特徴とする動画像による監視システム。
2. 【請求項２】 前記ベクトル計算手段は、 画像内の各画素の動きを示す動きベクトルを計算し、該
   動きベクトルを監視エリアである実平面に写像すること
   により前記速度ベクトルを計算することを特徴とする請
   求項１に記載の動画像による監視システム。
3. 【請求項３】 前記監視システムは、 前記速度場ラベリング処理で決定した前記物体の外接領
   域内に存在する速度ベクトルの角度データを集計し、該
   分散計算から物体の移動方向主成分を決定し、該主成分
   の所定角度範囲内で選別した速度ベクトルを有効とし、
   該選択された速度ベクトルを集計して分散を求め、分散
   における中心値を物体の推定速度とする方向性優先フィ
   ルタ手段をさらに備えることを特徴とする請求項１また
   は請求項２に記載の監視システム。
4. 【請求項４】 前記動きベクトル計算手段は、 動きベクトルの平面的な滑らかさの度合いを示すパラメ
   ータを用いて動きベクトルを計算することを特徴とする
   請求項２記載の動画像による監視システム。
5. 【請求項５】 前記監視システムは、 前記監視エリアの環境要素に応じて前記パラメータを設
   定するパラメータ設定手段をさらに備えることを特徴と
   する請求項４記載の動画像による監視システム。
6. 【請求項６】 監視エリアの動画像を分析することによ
   り監視エリア内で目的の動きをする物体の有無を判断す
   る監視方法において、 前記動画像に含まれる時間的に異なる２つの画像から、
   画像内の各画素に対応した速度ベクトルを計算し、該速
   度ベクトルを座標配列した速度場ベクトルを求めるベク
   トル計算手順と、 前記速度場ベクトルの各ベクトルの方向に応じて領域分
   割する速度場ラベリング処理を行うラベリング手順と、 前記速度場ラベリング処理結果に基づいて前記目的の動
   きをする物体の有無を検出する検出手順とを含むことを
   特徴とする動画像による監視方法。
7. 【請求項７】 監視エリアの動画像を分析することによ
   り監視エリア内で目的の動きをする物体の有無を判断す
   るプログラムを記録した記録媒体であって、 監視エリアの動画像に含まれる時間的に異なる２つの画
   像から、画像内の各画素に対応した速度ベクトルを計算
   する計算処理と、 前記速度ベクトルを座標配列した速度場ベクトルを求め
   る計算処理と、 前記速度場ベクトルの各ベクトルの方向に応じて領域分
   割する速度場ラベリング処理と、 前記速度場ラベリング処理結果に基づいて前記監視エリ
   ア内で前記目的の動きをする物体の有無を検出する検出
   処理とをコンピュータに実行させるプログラムを記録し
   たコンピュータ読み取り可能な記録媒体。