JP2003006659A

JP2003006659A - コンピュータによる画像処理方法と画像処理装置

Info

Publication number: JP2003006659A
Application number: JP2001188416A
Authority: JP
Inventors: Vagvolgyi Balazs; バラージュ・バーグボルジ; Shinya Yamauchi; 信也山内; Czuni Laszlo; ラースロー・ツニ; Greguss Tamas; タマーシュ・グレグシュ; Sziranyi Tamas; タマーシュ・シラニイ
Original assignee: Tateyama Kagaku Kogyo Co Ltd
Current assignee: Tateyama Kagaku Kogyo Co Ltd
Priority date: 2001-06-21
Filing date: 2001-06-21
Publication date: 2003-01-10
Anticipated expiration: 2021-06-21
Also published as: JP3616355B2

Abstract

(57)【要約】【課題】変化する環境に対して正確に適応し、動体と
背景とを低コストで正確に且つ高速に識別し得るコンピ
ュータによる画像処理方法の提供。【解決手段】光学的に取得された動画データ上で動体
と背景とを識別する為の画像処理方法において、前記動
画のフレームを構成する画素それぞれのピクセル値につ
いて最新フレームと直前フレーム間の前後差を求め、最
新フレームを構成する各画素に対し当該前後差の絶対値
に反比例した重み付けを施して得た評価値より導出した
動体成分値から、所定の閾値に基づいて動体構成画素を
認定する動体検出処理２を演算手段１により実行するコ
ンピュータによる画像処理方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光学的に取得され
た動画データ上で動体と背景とを識別する為の画像処理
方法と画像処理装置に関する。

【０００２】

【従来の技術】ビデオ連続画像は、ビデオフレーム（以
下、フレームと記す。）と呼ばれる連続した静止画像か
ら成り立っている。時間軸で前後するフレームは、互い
によく似通っているものの僅かな相違点（前後差）が存
在し、当該相違点の連続によって被写体の動きが表現さ
れる。

【０００３】画像処理装置の一態様である監視システム
の主目的は、監視中の空間に侵入する動体を全て検知す
ることにあり、監視システムの根幹たる動体捕捉では、
この様なビデオ連続画像のリアルタイムでの動作分析が
基本となる。例えば、パノラマ画像ブロック（以下、Ｐ
ＡＬと記す。）を用いて取得した環状画像による全方向
監視システムなど固定カメラを用いた監視システムで
は、原則として背景自体が連続画像上で動作せず、動体
として検知する対象は、風や光による外乱或いは動きを
伴う機械・器具等を除けば、外部からの侵入物だけであ
る。この様に、固定カメラ式の監視システムは、リアル
タイムの動作分析におけるコスト面や設備面で有利であ
ることに着眼し、固定カメラ式の監視システムに適した
動体検出処理の開発を図ることとした。

【０００４】従来から用いられている第一の動体検出処
理として、単純にビデオ画像の連続する二つのフレーム
の引き算をするものが挙げられる。この方法は、視野内
に存在する動体を検出するには良い方法であるが、検出
対象たる動体はもとより照明ノイズ、自然光の変化、電
気的ノイズなど不必要な変化をも全て捉えてしまう。ま
た、照度の違いは検出できても色彩的に背景に埋もれた
動体は検出できず、たとえ色彩的に背景に埋もれる事が
無いとしても色彩的な変化を多く含む周辺部以外が検出
できない。

【０００５】その結果、例えば、図１０（イ）の如く、
単一の色調の服を着た人物が画像中を左から右へ移動す
る場合、上記動体検出処理では、図１０（ロ）の如く、
当該人物の右側だけを検出し、左側の背景の一部は検出
できても残りは前のフレーム内の人物の左側で隠されて
しまいフレーム毎の背景認識ができない。当該移動体検
出処理は、上記不正確さにより商用の物体追跡用途には
応用できないが、比較的遅いコンピュータでもフレーム
レートで処理できることから、単純に動きだけを検出す
る用途には理想的と言える。

【０００６】フレーム毎の背景認識を可能とする第２の
動体検出処理として、ある画面の背景だけを基準背景画
像として何らかの方法で記録し、その後各フレームから
当該基準背景画像を差し引く方法が挙げられる。この方
法を用いれば一様な動体をみつけたり小さなノイズを除
去するのも容易となる。ところが、差し引かれる対象の
背景自体は、明るさや色彩が刻々と変化する動画である
ために、時間の経過に従って新たに取得した最新画像の
背景と予め取得した基本背景画像の背景との差が増大
し、次第にノイズが増加するという欠点もある。

【０００７】この問題を解消すべく、時間の経過と共に
背景画像を動的に更新する方法、具体的には、連続する
ビデオ画像中で、各画素につき最新フレームから過去に
向かう幾つかのフレームのピクセル値の平均をとって背
景を造る平均背景抽出法を採用し、アナログのＶＬＳＩ
ハードウエアを併用する事によって実用的なフレームレ
ートで高速に且つ簡単に行える方法を試みた。

【０００８】

【発明が解決しようとする課題】しかしながら、上記の
如く動体検出処理に用いる基本背景画像としていくつか
のフレームの平均値をとるとすると、平均値の性格上、
各フレームは当該平均の結果として得られる基本背景画
像が背景と動体との合成画像（図１２（イ））となって
ゴースト効果（図１２（ロ）の当該合成画像と最新フレ
ーム画像との閾値差による画像参照）が生じるという問
題が残る。

【０００９】本発明は、この様な実情に鑑みてなされた
もので、変化する環境に対して正確に適応し、動体と背
景とを低コストで正確に且つ高速に識別し得るコンピュ
ータによる画像処理方法と画像処理装置の提供を目的と
する。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に成された本発明によるコンピュータによる画像処理方
法は、光学的に取得された動画データ上で動体と背景と
を識別する為の画像処理方法において、前記動画のフレ
ームを構成する画素それぞれのピクセル値について最新
フレームと直前フレーム間の前後差を求め、最新フレー
ムを構成する各画素に対し当該前後差の絶対値に反比例
した重み付けを施して得た評価値より導出した動体成分
値から、所定の閾値に基づいて動体構成画素を認定する
動体検出処理を演算手段により実行することを特徴とす
る。

【００１１】尚、動画のフレームとは、ＣＣＤ等の撮像
素子から入力した時点のフレームでも良いし、受像器の
ディスプレイに表示される時点のフレームでも良い。ピ
クセル値とは、１出力画素の値で、輝度や色彩等の情報
を数値化したものである。また、重み付けとは、例え
ば、前記前後差の絶対値に反比例させると言う様な計算
式等の一定の規則に照らしてウエイトの大小を前記評価
値に反映させることを意味する。閾値に基づいて動体構
成画素を認定するとは、例えば、前記ピクセル値から評
価値を差し引いた動体成分値について、閾値より高い値
の画素については動体の一部を構成する動体構成画素と
認定し、閾値より低い値の部分については背景成分画素
として判断することを意味する。

【００１２】光の外乱による不具合を回避すべく、フレ
ームを構成する画素毎に前記評価値の累積平均値及び制
限時間内の最大変化量Ｄを最新フレームを取得する毎に
導出し、最新フレームにおける各画素の評価値と前記累
積平均値との差の絶対値たる累積平均格差が、前記最大
変化量Ｄに基づく基準値を上回る画素を、前記動体構成
画素として擬制する環境的フィルタリング処理を演算手
段により実行する場合もある。尚、前記最大変化量Ｄに
基づく基準値とは、当該最大変化量に対して一定の割合
を増減させた値のことである。

【００１３】前記環境的フィルタリング処理については
前記最新フレームにおける各画素のピクセル値と前記累
積平均値との差の絶対値が、前記最大変化量Ｄに基づく
基準値を下回る場合には、例えば、基準値を下回った量
に相当する分だけ最大変化量Ｄを減少させる形で更新
し、逆に前記最新フレームにおける各画素のピクセル値
と前記累積平均値との差の絶対値が、前記最大変化量Ｄ
を上回る場合には、例えば、基準値を上回った量に相当
する分だけ最大変化量Ｄを増加させる形で更新する学習
処理を含む場合もある。

【００１４】又、前記動画のフレーム上において捕捉し
た相分離する動体間の距離が所定の近接距離未満の場合
にそれら動体を相連結した一個の動体として認定すると
共に、当該相連結した動体の大きさを算出し、所定の閾
値を下回る大きさの動体を検出対象から除外する処理を
含んだ物体的フィルタリング処理を演算手段により実行
する場合もある。

【００１５】更に、前記動画のフレーム上において捕捉
した動体に形状及び大きさが最も近似した動体を、その
直前のフレーム上で検索し、当該動体の移動方向が当該
画像処理の目的とは無関係な方向である動体を前記特定
フレームにおける検出対象から除外する処理を含む物体
的フィルタリング処理を演算手段により実行する場合も
ある。また更に、前記動画のフレーム上において捕捉し
た動体に形状及び大きさが最も近似した動体を、その直
前のフレーム上で検索し、当該動体の移動速度が当該画
像処理の目的とは無関係な移動速度である動体を前記特
定フレームにおける検出対象から除外する処理を含む物
体的フィルタリング処理を演算手段により実行する場合
もある。

【００１６】上記課題を解決するために成された本発明
によるコンピュータによる画像処理装置は、ＰＡＬ光学
系により撮像位置周辺３６０°に亘る三次元空間を環状
画像として結像させる固定カメラと、当該固定カメラか
ら取得したビデオ画像中から、上記いずれかのコンピュ
ータによる画像処理方法によって動体を検出する為の演
算手段を含む固定画像制御装置と、当該固定画像制御装
置により認識した精査すべき動体の存在方向を向く単一
指向性のズーム光学系スキャンカメラと、当該スキャン
カメラで取得したビデオ画像の保存を行うコンピュータ
システムを含む捕捉画像制御装置を具備したことを特徴
とする。

【００１７】

【発明の実施の形態】以下、本発明によるコンピュータ
による画像処理方法（以下、画像処理方法と記す。）の
実施の形態を画像処理装置たる監視システムの一例を示
しつつ図１のブロック図に基づき説明する。

【００１８】当該例では、図８に示すＰＡＬ光学系４に
より撮像位置周辺３６０°に亘る三次元空間を環状画像
５として結像させる固定カメラ（以下、プレスキャンカ
メラと６記す。）と、当該プレスキャンカメラ６で取得
したビデオ画像を表示する固定画像受像器８（図７参
照）、及び当該プレスキャンカメラ６から取得したビデ
オ画像中から動体を検出する為のコンピュータシステム
による演算手段１を含む固定画像制御装置１３と、当該
固定画像制御装置１３により認識した精査すべき動体の
存在方向を向く単一指向性ではあるが画像分解能が高い
ズーム光学系で当該動体を自動的に拡大撮影するＰＺＴ
スキャンカメラ（以下、スキャンカメラ７と記す。）
と、当該スキャンカメラ７で取得したビデオ画像を表示
する受像器（図示省略）、及び当該ビデオ画像の保存及
び処理を行うコンピュータシステムを含む捕捉画像制御
装置１４を具備して構成される（図２及び図９参照）。
当該構成によってＣＣＤカメラによる分解能の制約とい
うＰＡＬシステムの問題点が解消される。

【００１９】ＰＡＬ光学系４は、垂直方向の視野角が約
５０度から７０度程度に限定されるものの、水平視野が
大きいため広範囲を撮影するに際して複数のカメラを設
置したり、カメラを機械的に動かす必要がなく、例え小
さなサイズのＰＡＬであっても鮮明な広角画像が得られ
るという利点がある。この様なＰＡＬの特性から侵入者
の検知を目的とした監視システムに広く用いられている
ところである。尚、パノラマ画像ブロック９とは、前面
中央の前遮光面ａと、前面周縁部の前透光面ｂと、後面
周縁部の後遮光面ｃと、後面中央部の後透光面ｄを具備
した光透過性素材より成る回転体であって、前記後遮光
面ｃは、前透光面ｂからの入射光を当該回転体を通過し
て前遮光面ａへ集め得る反射鏡とされ、前遮光面ａは、
後遮光面ｃからの反射光を当該回転体内を通過して後透
光面ｄへ集め得る反射鏡とされたものである（図８参
照）。

【００２０】ＰＡＬで三次元空間を二次元平面に投影す
ると、距離情報はすべて失われるため、ＰＡＬ光学系４
によるプレスキャンカメラ６の視野だけから物体の正確
な位置を特定することはできないが、環状画像５を結ん
だ受光素子１０のピクセルの位置から、その平面的な入
射角度だけは特定できる。即ち、前記プレスキャンカメ
ラ６のＰＡＬ光学系４の採光部とスキャンカメラ７を出
来る限り近づけて設置する事でＰＡＬ光学系４により検
知した動体の方向へ正確にスキャンカメラ７を向ける事
が出来る。

【００２１】経験上、動体がスキャンカメラ７や、プレ
スキャンカメラ６のＰＡＬ光学系４の採光部から４ｍ以
上離れている場合には、図４の如く前記スキャンカメラ
７と、プレスキャンカメラ６のＰＡＬ光学系４とが４０
ｃｍ程度離れていても実用上問題は無いが、動体の捕捉
精度は、相互の距離が近ければ近いほどが高まるので、
理想的には、図５の如くスキャンカメラ７の上に、当該
スキャンカメラ７の旋回軸をＰＡＬ光学系４の光軸ｅと
して配置することでスキャンカメラ７はＰＡＬ光学系４
によるプレスキャンカメラ６の視野に入らず、又、環状
画像５上の方位をそのままスキャンカメラ７の方位とし
て用いることができ、前記動体検出処理２の効率を悪化
させることもない。

【００２２】上記の如く適正な配設を行った上でシステ
ムの初期設定を行う。初期設定としては、スキャンカメ
ラ７の原点角度とＰＡＬの０度位相との角度差（図６参
照。理想的には０度）を測定して固定画像制御装置１３
及び捕捉画像制御装置１４に登録する。尚、ＰＡＬ光学
系に換えて通常レンズによる光学系を使用した場合にあ
っても（図３参照）、狭い視野角による動体の検出とい
う点及び直角座標系の水平軸を角度換算する点が異なる
だけでほぼ同様のシステム構成が可能となる。この様な
構成を採った場合には、マスキング処理を行ったと同様
に処理効率の向上が望めることとなる。

【００２３】以下、上記監視システムに採用するものと
して以下に例示する画像処理方法は、ビデオ画像を対象
とした統計的な変化検知をおこなって変化のある部分を
抽出する動体検出処理（見方を変えれば背景検出処理と
して見る事もできる。）２と、当該結果から照明の変化
や各種ノイズによる影響を除去する環境的フィルタリン
グ処理３と、更に、予定しない大きさや動作特性を持っ
た対象を除去する物体的フィルタリング処理１１とで構
成された画像処理方法である（図１参照）。

【００２４】当該画像処理方法における動体検出処理２
は、背景の一部に生じた外乱によるピクセル値の変化は
動体の一部のピクセル値の変化に比べて頻度も大きさも
小さいという経験上の事実に基づき、結果として背景上
で動きの少ない部分に大きな重みを与え、フレーム毎に
変化する動きの激しい部分に小さい重みを与えて動体検
出処理を行うものである。

【００２５】具体的には、先ず、前記プレスキャンカメ
ラ６で撮影した画像の各フレームにおける各画素のピク
セル値Ｐ１を、当該プレスキャンカメラ６の受光素子
（ＣＣＤ等）１０からＡ／Ｄコンバータ等の物理量検出
インターフェース１２（図９参照）を介して採取し、演
算手段１によって当該最新フレームのピクセル値Ｐ１と
直前フレームのピクセル値Ｐ０の前後差の絶対値｜Ｐ１
−Ｐ０｜を画素毎に求め、最新フレームを構成する各画
素について、当該前後差の絶対値｜Ｐ１−Ｐ０｜に、フ
レーム毎の変化の反映度を決める平均ウエイトｒを次式
（α）の如く掛け合わせて動体に対するウエイトｗを得
る。そして、画素毎に、そのウエイトｗを含んだ次式
（β）を演算手段１により実行し、最新フレームのピク
セル値Ｐ１に対して当該前後差の絶対値｜Ｐ１−Ｐ０｜
に反比例した重み付けが施された評価値Ｔ１を得る。

【００２６】ｗ＝ｒ＊｜Ｐ１−Ｐ０｜・・・・・・・・・（α）Ｔ１＝（ｗ＊Ｔ０＋Ｐ１）／（ｗ＋１）・・（β）ここでｒは、前記重み付けを行う際の比例定数（平均重
み）、Ｐ０は、直前フレームの座標（ｘ、ｙ）に存在す
る画素のピクセル値、Ｐ１は、最新フレームの座標
（ｘ、ｙ）に存在する画素のピクセル値、Ｔ０は、直前
フレームにおける座標（ｘ、ｙ）に存在する画素の評価
値、Ｔ１は、最新フレームにおける座標（ｘ、ｙ）に存
在する画素の評価値、ｘは、フレームの横軸、ｙは、フ
レームの縦軸、である。

【００２７】

【表１】

【００２８】新規フレームを取得する毎に直前のフレー
ムにおける重み付けの更新が行われる（表の上段から下
段へ）上記演算を演算手段１を以て実行すれば、重み付
けを受けたことにより、動きの頻繁な部分と動きの希薄
な実質的背景部分との格差が高められた評価値Ｔ１が最
新フレームを取得する毎に各画素について与えられる。
そこで、演算手段１を以て最新フレームのピクセル値Ｐ
１から当該評価値Ｔ１を減じてその絶対値を取ることに
より、背景成分のほとんどが除去された前記最新フレー
ムの動体成分値Ｅ１を画素毎に得ることができる。そし
て、得られた動体成分値Ｅ１を所定の閾値と比較し（表
１、図１４参照）、それより大きい画素を動体構成画素
１６として抽出し、その位置座標に基づいて一個のフレ
ーム上に配置した状態を模擬した仮想フレームを演算手
段１のメモリー１５内に表現し、当該仮想フレームにお
ける動体ブロック（それぞれの位置座標に基づく前記動
体構成画素の集合により構成されたブロック）の座標計
算を演算装置１により行うことによって動体のみの位置
及び大きさを割り出すことができる。

【００２９】この様に動作の頻度に応じた重み付けを行
う上記方法によれば、動体が背景と同化することによっ
て生じるゴーストの影響（図１２（イ）（ロ））を排除
することができるのみならず、従来の動体検出処理では
検出できなかった物体、即ち、暫くの間動かなくなった
物体やゆっくり動く物体であっても、静止時間を予め設
定し当該設定時間に適したフレームサンプリング時間に
設定しておくことで、動作の頻度に応じた重み付けが行
われ、動体を問題なく検出することができることとな
る。

【００３０】上記適正な設定時間による動体検出処理が
行われ、適正な閾値が設定されると、前記動体成分Ｅ１
によって抽出される一塊りの動体ブロックは一単位の物
体として認識され、処理過程においても一単位の物体と
して処理されることとなる。そして、動体検出に係る処
理時間の短縮を阻害する背景成分のほとんどが除去され
た前記動体成分値Ｅ１を用いることによって、処理対象
が整理され処理効率と実用性が大きく高められることと
なる。

【００３１】次に、当該例に用いたフィルタリング処理
のうち、我々の周囲に存在する照度の変化（局地的輝度
変化）に起因したノイズを除去する環境的フィルタリン
グ処理３について説明する。当該処理は、例えば、直前
の複数フレームの背景の平均輝度と最新フレームの背景
の輝度とをフレーム上の画素毎に比較し、それらの輝度
差が所定の閾値を超えるか否かで当該領域で物理的に重
大な変化が生じたか否かを検出するものである。一日の
照度変化の遷移函数はほぼ線形であるので、前記動体検
出処理２等で抽出されるなどして得られた平均的輝度に
基づき顕著な変化に対する閾値を適正に定めることは可
能である。

【００３２】具体的には、ビデオ画像におけるフレーム
取得開始から最新フレーム取得に至るまでの、各フレー
ムを構成する全画素について、評価値Ｔ１に関する累積
値（表２では累積評価値）、平均値（表２では平均評価
値ＴＡ）、前後フレームの変化量（表２では直前変化
量）、及びその間の最大変化量（表２では評価値最大変
化量Ｄ）を演算手段１で導き出し、当該システムの記録
手段１７に保存する。

【００３３】そこで、演算手段１では、最新フレームの
評価値Ｔ１と、当該最新フレームを含む平均評価値ＴＡ
との差の絶対値（表中では平均評価値格差）が、予め設
定された検知感度ｓ％を前記評価値最大変化量Ｄに割増
した割増変化量ＴＳ以内であれば、当該画素は、物理的
に重大な変化を含む動体の一部である蓋然性が高い画素
（擬制画素）には当たらないとして、純然たる背景成分
として動体検出に係る処理対象から省くと共に、もし、
当該平均評価値格差が前記割増変化量ＴＳより大きい場
合には、その時の変化がそれまでのフレーム取得履歴で
得た評価値最大変化量Ｄよりも格段に大きいと判断し
て、動体の一部である蓋然性が高い擬制画素としてマー
クする（表２、図１５参照）。

【００３４】

【表２】

【００３５】擬制画素としてマークされた全ての画素
は、演算手段１のメモリー１５内に設定された仮想フレ
ームに基づく動体ブロックの座標計算の際、同じフレー
ムにおいて前記動体検出処理２により一塊りの動体ブロ
ックとして認識された画素と共に、動体を構成する画素
として取り扱われ、相分離する物体や擬制画素相互の間
隔が所定の距離（設定調整可能）未満の場合に、それら
の検出領域に対しぬりつぶし法や二進形態閉塞法等の連
結・一体化処理を演算手段１で施すことにより、一塊り
の繋がった動体ブロックとして取り扱われることとな
る。

【００３６】上記環境的フィルタリング処理３に際し、
演算手段１は、もし前記評価値Ｔ１についての前記平均
評価値格差（｜Ｔ１−ＴＡ｜）がそれまでの評価値最大
変化量Ｄより大きい場合には、当該最大変化量Ｄを、予
め設定された感度係数（当該例においては“１”）に最
大変化量Ｄの増加分を乗じた値だけ増加させて更新する
という学習処理を行い、もし前記平均評価値格差の絶対
値が前記最大変化量Ｄよりも小さい場合には、当該最大
変化量Ｄを、予め設定された感度係数に最大変化量Ｄの
増加分を乗じた値だけ減少させて更新するという学習処
理（当該例においては、単位時間に一定の割合（或いは
量）だけ減少させるといった定期的な処理として行われ
ている。）を行う。当該最大変化量Ｄを増加或いは減少
させるスピードは、前記感度係数を増減することにより
適正なものに調整することができ、当該最大変化量Ｄを
増加させるか否かの判断を生じさせる感度は、前記検知
感度ｓ％を適宜増減することによって調整することがで
きる（表２及び図１５参照）。

【００３７】上記環境的フィルタリング処理３は、動体
成分値Ｅ１についても行うことが出来る。その場合、演
算手段１は、もし前記動体成分値Ｅ１と平均動体成分値
ＥＡの差たる平均動体成分値格差（｜Ｅ１−ＥＡ｜）が
それまでの動体成分値最大変化量Ｌより大きい場合に
は、当該最大変化量Ｌを、予め設定された感度係数（当
該例においては“１”）に最大変化量Ｌの増加分を乗じ
た値だけ増加させて更新するという学習処理を行い、も
し前記平均動体成分値格差（｜Ｅ１−ＥＡ｜）が前記最
大変化量Ｌよりも小さい場合には、当該最大変化量Ｌ
を、予め設定された感度係数に最大変化量Ｌの減少分を
乗じた値だけ減少させて更新するという学習処理を行
う。この場合も、当該最大変化量Ｌを増加或いは減少さ
せるスピードは、前記感度係数を増減することにより適
正なものに調整することができ、当該最大変化量Ｌを増
加させるか否かの判断を生じさせる感度は、前記検知感
度ｓ％を適宜増減することによって調整することができ
る（表３及び図１６参照）。

【００３８】

【表３】

【００３９】この様な環境フィルタリング処理３をフレ
ームを構成する全画素に対して行い、擬制画素としてマ
ークされなかった画素から成る領域の照度変化等をノイ
ズであると判断して動体ブロックを構成する画素として
の認識対象から除外することによって、処理内容の合理
化を図ることが出来る。また、上記学習処理によってＤ
又はＬが自動的に実際の状況に即した値に設定され、常
に適正な基準値が与えられて正確なノイズ除去が可能と
なる。

【００４０】この実施の形態では、当該物体の持つ空間
的、或いは時間的特性により、更に幾つかの物体的フィ
ルタリング処理が演算手段１によって行われる。

【００４１】前記演算手段１のメモリー１５内に設定し
た仮想フレームで、動体ブロックの拾い出し１８を行
い、動体ブロックの座標計算による連結・一体化処理２
０を施した後、当該座標計算によって一つの物体の大き
さを算出し、更に、基準以下の小さな物体は動体ブロッ
クを構成する画素としての認識対象から除外する大きさ
フィルタ１９を含んだ物体的フィルタリング処理１１を
当該演算手段１によって行う。当該物体的フィルタリン
グ処理１１によって、小さな動物や遠方の物体がフレー
ムを横切るという場合であっても、検出対象たる物体よ
り極端に小さい物体を動体検出処理２の対象から除くこ
とができる。

【００４２】上記演算手段１による座標計算によって一
旦動体ブロックを認識すると、その進行方向を導き運動
の軌跡を予測することができるが、同動体ブロックにつ
いては進行方向の導出に間に合うようにその存在を検出
して追跡しなければならない。そこで、当該例において
は、直前のフレームで得られた動体成分値Ｅ０を所定の
閾値と比較して（図１４参考）それより大きい画素を抽
出し、一個のフレームとして配置した仮想フレームを演
算手段１のメモリー１５内に設定し、ブロックマッチン
グ（二値相関、パターン・マッチング或いはテンプレー
トマッチングと呼ばれる場合もある。）を行って進行方
向導出の対象となる動体ブロックに最も近似した動体ブ
ロックを、最新のフレーム上で探し出し、前後の位置座
標の変化に基づく同演算手段１による座標計算を以て動
体ブロックの移動ベクトルを算出し、当該画像処理の目
的（監視システム等）とは無関係（無効）な方向（例え
ば、右が有効な方向であれば左が無効な方向）へ進む物
体を検出対象から除く方向フィルタ２２を含んだ処理が
当該演算手段１によって行われる。

【００４３】上記の如く動体の移動方向が判明すると、
当該動体ブロックの相対速度を導出することができる。
よって、当該速度に基づき検出対象の速度として予測さ
れる速度から大きく外れる動作対象を除去する速度フィ
ルタ２３を含んだ物体的フィルタリング処理１１を演算
手段１により行うことが可能となる。尚、表１、表２、
表３は、フレーム取得開始から５０フレーム分の値を関
係処理毎に分けて示したものである。

【００４４】当該画像処理においては、前記演算手段１
により、上記フィルタリング処理に加えてカメラの視野
に係るフレーム全体のうちの特定領域だけを検出の関心
領域（ＲＯＩ）とするマスキング処理を行うことによっ
てより効率の良い画像処理が可能となる。

【００４５】

【発明の効果】上記の如く構成されたコンピュータによ
る画像処理方法と画像処理装置によれば、最新フレーム
を構成する各画素に対し当該前後差の絶対値に反比例し
た重み付けを施して得た評価値より導出した動体成分値
から、所定の閾値に基づいて動体構成画素を認定する処
理を演算手段を以て行うことにより、背景自体の明るさ
や色彩が刻々と変化する野外であっても、時間の経過に
従って背景成分が評価値として更新されるので、経時的
ノイズが増加するという欠点が解消されると共に、動体
検出処理に用いる基本背景画像としていくつかのフレー
ムの平均値をとるという手法で問題となっていたゴース
ト効果も解消される。

【００４６】また、フレームを構成する画素毎に前記評
価値の累積平均値及び制限時間内の最大変化量Ｄを最新
フレームを取得する毎に導出し、最新フレームにおける
各画素の評価値と前記累積平均値との差の絶対値たる累
積平均格差が、前記最大変化量Ｄに基づく基準値を上回
る画素を、前記動体構成画素として擬制する環境的フィ
ルタリング処理を演算手段を以て実行することで、影や
雲の動きなどの影響で光が徐々に変化する状態、或いは
屋外においては揺れた木を、屋内においてはモニタ画面
のちらつきやカーテンの揺れなどを侵入者と明確に区別
でき、その結果として動体と背景とを正確に識別し誤報
を回避することができる低コストなシステムを提供する
ことができる（図１３参照）。

【００４７】又、前記自動的に閾値を学習する環境的フ
ィルタリング処理を実行することによって、常に現場で
のパラメータを実際の状況に合わせた環境的フィルタリ
ングが可能となり、更に、前記種々の物体的フィルタリ
ング処理を実行することによってより実状に即した効果
的な画像処理が可能となる。そして、これらの具体的な
効果を以て、変化する環境に対して正確に適応し、動体
と背景とを低コストで正確に且つ高速に識別し得るコン
ピュータによる画像処理方法の提供が可能となる。

【図面の簡単な説明】

【図１】本発明によるコンピュータによる画像処理方法
の処理手続きの一例を示すブロック図である。

【図２】本発明によるコンピュータによる画像処理方法
を採用した監視システムの一例を示す概略説明図であ
る。

【図３】本発明によるコンピュータによる画像処理方法
を採用した監視システムの一例を示す概略説明図であ
る。

【図４】本発明によるコンピュータによる画像処理方法
を採用した監視システムのスキャンカメラとプレスキャ
ンカメラの配設例を示す説明図である。

【図５】本発明によるコンピュータによる画像処理方法
を採用した監視システムのスキャンカメラとプレスキャ
ンカメラの配設例を示す説明図である。

【図６】本発明によるコンピュータによる画像処理方法
を採用した監視システムのスキャンカメラとプレスキャ
ンカメラの初期設定の一例を示す説明図である。

【図７】本発明によるコンピュータによる画像処理方法
を採用した監視システムのプレスキャンカメラから取得
した画像を映す受像器の一例を示す説明図である。

【図８】パノラマ画像ブロック光学系により撮像位置周
辺の三次元空間を環状画像として結像させる一例を示し
た説明図である。

【図９】本発明によるコンピュータによる画像処理方法
を実現するハードウェア構成の一例を示すブロック図で
ある。

【図１０】（イ）（ロ）従来のコンピュータによる画像
処理方法の問題点の一例を示す最新原画像及び直前原画
像との閾値差を表現した画像である。

【図１１】（イ）（ロ）従来のコンピュータによる画像
処理方法である背景減算法による最新原画像及び直前原
画像との閾値差を表現した画像である。

【図１２】（イ）（ロ）従来のコンピュータによる画像
処理方法である背景減算法による直前の複数フレームを
平均して得たゴースト効果を含む背景画像、及び当該背
景画像と図１１（イ）の最新原画像との閾値差を表現し
た画像である。

【図１３】（イ）（ロ）（ハ）本発明によるコンピュー
タによる画像処理方法で採用された環境的フィルタリン
グ処理の効果を示す最新原画像、動体の全てを検出した
フィルタリング前の画像及びフィルタリング後の画像の
一例を示したものである。

【図１４】本発明によるコンピュータによる画像処理方
法の動体検出処理の一例を説明するグラフである。

【図１５】本発明によるコンピュータによる画像処理方
法の学習処理の一例を説明するグラフである。

【図１６】本発明によるコンピュータによる画像処理方
法の学習処理の一例を説明するグラフである。

【符号の説明】

１演算手段，２動体検出処理，３環境的フィルタ
リング処理，４パノラマ画像ブロック光学系，５環
状画像，６プレスキャンカメラ，７スキャンカメ
ラ，８受像器，９パノラマ画像ブロック，１０受
光素子，１１物体的フィルタリング処理，１２物理
量検出インターフェース，１３固定画像制御装置，１
４捕捉画像制御装置，１５メモリー，１６動体構
成画素，１７記録手段，１８動体ブロックの拾い出
し，１９連結・一体化処理，２０大きさフィルタ，
２１動きの方向と速度の演算，２２方向フィルタ，
２３速度フィルタ，

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 ＥＫ (72)発明者山内信也富山県富山市桜橋通り３番１号富山電気ビル２階株式会社立山アールアンドディ内 (72)発明者ラースロー・ツニ富山県富山市桜橋通り３番１号富山電気ビル２階株式会社立山アールアンドディ内 (72)発明者タマーシュ・グレグシュ富山県富山市桜橋通り３番１号富山電気ビル２階株式会社立山アールアンドディ内 (72)発明者タマーシュ・シラニイ富山県富山市桜橋通り３番１号富山電気ビル２階株式会社立山アールアンドディ内Ｆターム(参考） 5B057 BA02 BA13 CA08 CA13 CA16 CB06 CB12 CB16 CE06 CE09 CE12 CH09 DA08 DB02 DB09 DC16 DC32 5C022 AA01 AB62 AB65 5C054 CF05 FC01 FC12 FC13 HA18 5L096 AA06 BA02 CA04 FA32 GA08 GA55 HA03

Claims

【特許請求の範囲】

【請求項１】光学的に取得された動画データ上で動体
と背景とを識別する為の画像処理方法において、前記動画のフレームを構成する画素それぞれのピクセル
値について最新フレームと直前フレーム間の前後差を求
め、最新フレームを構成する各画素に対し当該前後差の
絶対値に反比例した重み付けを施して得た評価値より導
出した動体成分値から、所定の閾値に基づいて動体構成
画素を認定する動体検出処理（２）を演算手段（１）に
より実行するコンピュータによる画像処理方法。
【請求項２】フレームを構成する画素毎に前記評価値
の累積平均値及び制限時間内の最大変化量Ｄを最新フレ
ームを取得する毎に導出し、最新フレームにおける各画
素の評価値と前記累積平均値との差の絶対値たる累積平
均格差が、前記最大変化量Ｄに基づく基準値を上回る画
素を、前記動体構成画素として擬制する環境的フィルタ
リング処理（３）を演算手段（１）により実行する前記
請求項１に記載のコンピュータによる画像処理方法。
【請求項３】前記最大変化量Ｄに基づく基準値を下回
る場合には、最大変化量Ｄを減少させる形で更新し、逆
に前記累積平均格差が、前記最大変化量Ｄに基づく基準
値を上回る場合には、最大変化量Ｄを増加させる形で更
新する学習処理を含んだ環境的フィルタリング処理
（３）を演算手段（１）により実行する前記請求項２に
記載のコンピュータによる画像処理方法。
【請求項４】ＰＡＬ光学系（４）により撮像位置周辺
３６０°に亘る三次元空間を環状画像（５）として結像
させる固定カメラと、当該固定カメラから取得したビデ
オ画像中から、前記請求項１乃至請求項３のいずれかの
コンピュータによる画像処理方法によって動体を検出す
る為の演算手段（１）を含む固定画像制御装置（１３）
と、当該固定画像制御装置（１３）により認識した精査
すべき動体の存在方向を向く単一指向性のズーム光学系
スキャンカメラ（７）と、当該スキャンカメラ（７）で
取得したビデオ画像の保存を行うコンピュータシステム
を含む捕捉画像制御装置（１４）を具備した画像処理装
置。