JP2000020722A - 動画像中の物体抽出装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】照明条件の変化の大きい環境で撮像された動画
像中から、物体領域内部の検出もれや背景中の誤検出の
少ない、より自然で正確な物体領域を、負荷の小さい方
法で抽出する装置の提供。 【解決手段】撮影手段１の複数カメラにより得た画像か
ら、フレーム間差分処理手段２１により検出された変化
領域について背景差分処理手段２２によりその点と背景
ステレオ対応点のそれぞれの背景差分をもとに背景領域
及び隠蔽領域を抽出する。対応点での背景差分が共に大
きい場合にはステレオ法処理手段２３により背景ステレ
オ対応点との輝度値差分を求め物体領域を抽出する。ス
テレオ差分が小さい場合には物体内部の検出もれ、また
は背景中の抜けのいずれであるかを前フレームの抽出結
果をもとに判断して修正し、抽出物体表示手段４により
動物体領域を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像中の物体抽出
技術に関し、特にステレオ動画像中の物体抽出方法及び
装置に関する。

【０００２】

【従来の技術】従来より、画像中の物体、特に動画像中
の移動物体を検出または抽出する技術が開発されてい
る。これらの技術の代表的なものとして、事前に撮影し
ておいた物体の存在しない背景画像と動画像の各フレー
ムとの差分から物体を検出する背景差分法、あるいは、
複数カメラで対象を撮像した画像から動物体を抽出する
ステレオ法などが知られている。

【０００３】前者の例として例えば特開平９―２６５５
８５号公報には、背景差分画像とフレーム間差分画像を
利用して、監視領域内の侵入物体を抽出する技術が開示
されている。後者の例としては、特開平１０―７９９３
４号公報には、ステレオ法により監視区域内の移動物体
を検知して警報を発する技術が開示されている。また他
の応用として、特開平１０―１１５８５号公報には、車
載の複数台のカメラにより他の車両や白線を検出し、自
動運転を行う技術が開示されている。さらに特開平９―
２７１０１４号公報には、事前にステレオ画像間の背景
対応を記憶しておき、物体によって生じる対応の崩れを
用いて動物体を抽出する技術が開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記し
た背景差分画像による技術では、照明条件の変化により
背景中の輝度変動を物体と誤検出してしまうため、正確
な物体検出が難しいという問題がある。特に屋外での監
視用途に用いる場合は、気象条件などによる照明条件の
変動により誤報が増大してしまい望ましくない。

【０００５】またステレオ法による技術においても、複
数の画像間での物体領域あるいは特徴点の対応を探索す
る負荷が大きいという問題点がある。また、テクスチャ
が少なく輝度の類似した物体領域や、一部の画像のみに
撮像された隠蔽領域などでは正しい対応が探索できない
ため、検出もれあるいは誤検出が生じる、という問題も
ある。

【０００６】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、照明条件の変化
の大きい環境で撮像された動画像中から、物体領域内部
の検出もれや背景中の誤検出の少ない、より自然で正確
な物体領域を、負荷の増大を抑止して抽出する物体抽出
装置及び方法を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に本発明は、複数カメラにより対象物体を含む動画像を
撮像する撮影手段と、得られた画像中の変化領域を識別
するフレーム間差分処理手段と、前記のフレーム間差分
処理手段で選択された変化領域に対し蓄積した背景画像
との差分を用いて動物体領域を抽出する背景差分処理手
段と、前記背景差分処理手段の信頼度が低い状況におい
て画像間の背景対応の崩れを用いて動物体を抽出するス
テレオ法処理手段と、前記フレーム間処理手段、背景差
分処理手段、及びステレオ法処理手段により抽出された
動物体領域を画像中に表示する抽出動物体表示手段と、
を有する。

【０００８】

【発明の実施の形態】本発明の実施の形態について説明
する。本発明は、背景差分技術、ステレオ法技術を組み
合わせることで、物体中のテクスチャが少ない領域にお
いても背景差分により検出されるため抜けが減少し、同
時に照明変化による背景中の誤検出を減少させることが
可能としたものである。

【０００９】より詳細には、本発明は、その好ましい実
施の形態において、図１を参照すると、撮影手段（１）
の複数カメラにより得た画像から、フレーム間差分処理
手段（２１）により検出された変化領域について、背景
差分処理手段（２２）により、その点と背景ステレオ対
応点のそれぞれの背景差分を基に、背景領域及び隠蔽領
域を抽出する。ステレオ対応点での背景差分が予め定め
られたしきい値よりも共に大きい場合には、ステレオ法
処理手段（２３）により、背景ステレオ対応点との輝度
値差分（「ステレオ差分」という）を求め、物体領域を
抽出する。このステレオ差分が予め定められたしきい値
よりも小さい場合には、物体内部の検出もれ、または背
景中の抜けのいずれであるかを、前フレームの抽出結果
をもとに判断して修正し、抽出動物体表示手段（４）に
て動物体領域を表示する。

【００１０】

【実施例】本発明の実施例について図面を参照して以下
に詳細に説明する。図１は、本発明の一実施例の全体の
構成を示す図である。

【００１１】図１を参照すると、本発明の一実施例は、
撮影手段１と、データ処理装置２と、記憶装置３と、抽
出動物体表示手段４と、を備えて構成されている。撮影
手段１は、不図示の２台のＴＶカメラが一定間隔をおい
て配置されており、データ処理装置２に対象物体を含む
画像を供給する。

【００１２】記憶装置３は、前フレーム画像記憶部３１
と、背景画像記憶部３２と、背景ステレオ対応記憶部３
３と、前フレーム抽出結果記憶部３４と、を備えてい
る。前フレーム画像記憶部３１は、各カメラの前フレー
ムにおいて得られた画像を順次記憶する。背景画像記憶
部３２は、各カメラにおける物体の無い背景画像を予め
記憶している。背景ステレオ対応記憶部３３は、事前に
求めた複数の背景画像間の画素のステレオ対応を予め記
憶している。前フレーム抽出結果記憶部３４は、前フレ
ームにおける抽出結果を順次記憶する。

【００１３】データ処理装置２は、フレーム間差分処理
手段２１と、背景差分処理手段２２と、ステレオ法処理
手段２３と、を備えている。

【００１４】フレーム間差分処理手段２１は、撮影手段
１で得られた複数の画像それぞれについて、前フレーム
画像記憶部３１に記憶される前フレーム画像との画素値
差分を算出し、差分があるしきい値を超える画素を変化
領域として背景差分処理手段２２に出力する。一方、差
分がしきい値を超えない画素については、変化のないも
のとして、前フレーム抽出結果記憶部３４に記憶されて
いる前フレームの判定結果により、状態を決定し、抽出
動物体表示手段４に出力する。

【００１５】背景差分処理手段２２は、フレーム間差分
処理手段２１から得られた変化領域の各画素、及び、事
前に背景ステレオ対応記憶部３３に記憶されている、背
景画像における当該画素のステレオ対応点のそれぞれに
ついて、事前に背景画像記憶部３２に記憶されている動
物体の存在しない背景画像の画素値と比較を行う。

【００１６】そして、これら画素の差分値（左右の画像
のステレオ対応点での背景差分値）が共にあるしきい値
を超えない場合には背景とし、片方のみがしきい値を超
える場合には、超える方を物体領域、超えない方を背景
領域として、抽出動物体表示手段４に出力する。さらに
共にしきい値を超える場合には、状態を決定せず、ステ
レオ法処理手段２３に出力する。

【００１７】ステレオ法処理手段２３は、背景差分処理
手段２２から出力された画素について、事前に背景ステ
レオ対応記憶部３３に記憶されている背景ステレオ対応
点との差分があるしきい値を超える場合には、その画素
を物体領域とし、しきい値を超えない場合には、前フレ
ーム抽出結果記憶部３４の前フレームの判定結果によ
り、状態を決定し、抽出動物体表示手段４に出力する。

【００１８】抽出動物体表示手段４は、フレーム間差分
処理手段２１、背景差分処理手段２２およびステレオ法
処理手段２３から得られた結果に従い、背景領域の画素
と動物体領域の画素を区別して着色し画像表示を行う。

【００１９】次に本発明の一実施例の動作について説明
する。

【００２０】まず事前の処理として、前フレーム画像記
憶部３１と背景画像記憶部３２とに各カメラにおける物
体が撮像されていない背景画像を、背景ステレオ対応記
憶部３３に各カメラの背景画像間での各画素の対応関係
を、前フレーム抽出結果記憶部３４に全画素が背景であ
ったという情報をそれぞれ記憶しておく。

【００２１】撮影手段１の複数カメラからそれぞれ入力
された対象物体を含む複数の動画像は、データ処理装置
２のフレーム間差分処理手段２１に供給される。

【００２２】図２は、本発明の一実施例におけるデータ
処理装置２の処理フローを示すフローチャートである。

【００２３】まず、フレーム間差分処理手段２１におい
て得られた画像の各画素の画素値と、前フレーム画像記
憶部３１に記憶された前フレームの同位置の画素の画素
値との差分を算出し(ステップＡ１)、その差分値と、予
め定められたしきい値との比較結果により分岐する(ス
テップＡ２) 。

【００２４】差分値がしきい値を超えない場合には（ス
テップＡ２のＮＯ）、前フレームから状況が変化してい
ないと考えられるため、前フレーム抽出結果記憶部３４
に記憶された前フレームの同位置の画素の抽出結果をそ
のまま用いて抽出結果を決定し、抽出動物体表示手段４
に出力する(ステップＡ９及びＡ１１)。

【００２５】一方、差分値がしきい値を超える画素につ
いては、変化領域として背景差分処理手段２２に出力す
る（ステップＡ２のＹＥＳ）。

【００２６】背景差分処理手段２２では、フレーム間差
分処理手段２１から得られた変化領域の各画素と、その
画素の背景ステレオ対応記憶部３３に記憶された他の画
像における背景対応点のそれぞれにおける背景差分を、
背景画像記憶部３２に記憶された各カメラにおける背景
画像との比較により求め(ステップＡ３)、それぞれの差
分値が、予め定められたあるしきい値を超えるかどうか
で分岐する(ステップＡ４)。

【００２７】対象画素の背景差分と他カメラ画像の対応
点での背景差分が共にしきい値を超えない場合には、背
景として確定し(ステップＡ５)、抽出動物体表示手段４
に出力する(ステップＡ１１)。

【００２８】背景差分の片方のみがしきい値を超えた場
合には、隠蔽領域とみなし、超えた方の画素を物体、超
えない方の画素を背景として確定し(ステップＡ７)、結
果を抽出動物体表示手段４に出力する(ステップＡ１
１)。

【００２９】背景差分が共にしきい値を超えた場合に
は、物体内部あるいは照明変化による背景中の輝度変化
領域であると考えられるため、ステレオ法処理手段２３
において背景ステレオ対応記憶部３３に記憶された背景
ステレオ対応点との輝度値差分(これを「ステレオ差
分」という)を算出し(ステップＡ６)、あるしきい値を
超えるかどうかで分岐する(ステップＡ８)。

【００３０】背景中の照明変化領域では、ステレオ差分
は小さいと考えられるため、ステレオ差分がしきい値を
超えた場合には、物体として確定し(ステップＡ１０)、
抽出動物体表示手段４に出力する(ステップＡ１１)。

【００３１】一方、ステレオ差分がしきい値を超えない
場合には、背景中の照明変化領域またはテクスチャの少
ない物体領域のいずれかと考えられ、現フレームの情報
のみでは確定できないものとして、前フレーム抽出結果
記憶部３４に記憶された前フレームの同位置の画素の抽
出結果をそのまま用いて抽出結果を決定し(ステップＡ
９)、抽出動物体表示手段４に出力する(ステップＡ１
１)。

【００３２】物体の移動速度が撮像間隔に対して十分小
さいという条件であれば、隠蔽領域によって分離されて
いる物体領域と背景領域が隠蔽領域を経ずにフレーム間
で入れ替わる画素は少ないと考えられることから、前フ
レームの抽出結果を用いることで物体中の検出もれ領域
と背景中の抜けを識別できる。

【００３３】抽出動物体表示手段４では、データ処理装
置２から得られた結果を基に、各フレーム毎に物体領域
とされた画素と背景領域とされた画素とに異なる着色な
どの効果を施した画像を生成して表示する。

【００３４】上記した実施例では、２台のカメラを用い
る場合について示したが、カメラの数は２台以上であれ
ば、本発明は実施可能であり、その数に制限はない。

【００３５】

【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。

【００３６】本発明の第１の効果は、ステレオ法により
生じる物体中のテクスチャの少ない領域における認識も
れが減少する、ということである。

【００３７】本発明の第２の効果は、背景差分法によっ
て生じる照明変化による背景中の誤検出が減少する、と
いうことである。

【００３８】本発明が上記第１、第２の効果を奏する理
由は、以下のとおりである。すなわち物体と背景の輝度
が異なれば、これらの２種の誤認領域は共にステレオ差
分は小さく、背景差分は大きくなること、及び、物体の
移動速度が撮像間隔に対して十分小さいという条件であ
れば、隠蔽領域によって分離されている物体領域と背景
領域が隠蔽領域を経ずにフレーム間で入れ替わる画素は
少ない、と考えられることから、対象画素の背景差分と
他カメラ画像の対応点での背景差分としきい値の比較、
及び、ステレオ差分としきい値との比較による判断分岐
を経て、参照する前フレームの結果を基にして物体領域
内の検出もれ及び背景中の照明変化による誤検出を分類
して修正することができる、ためである。

【００３９】本発明の第３の効果は、背景対応の崩れを
用いるステレオ法において物体として誤検出されてしま
う隠蔽領域での誤認識が減少する、ということである。

【００４０】その理由は、次の通りとする。すなわち、
背景と物体の輝度が異なるならばステレオ対応する２点
での背景差分は背景側で小さく、物体側で大きくなると
考えられる。本発明においては、対象画素の背景差分と
他カメラ画像の対応点での背景差分としきい値との比較
において、しきい値を片方のみが上回り、差分値がしき
い値を超える方を物体、超えない方を背景として確定す
ることで、それぞれの画像で正しい結果が得られるため
である。

【００４１】本発明の第４の効果は、フレーム間差分を
用いて検出した変化領域のみを処理しているため、全画
素について処理を行う場合に比べ計算処理量が少なく負
荷が小さいことである。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明の一実施例におけるデータ処理装置の動
作を示すフローチャートである。

【符号の説明】

１ 撮影手段 ２ データ処理装置 ２１ フレーム間差分処理手段 ２２ 背景差分処理手段 ２３ ステレオ法処理手段 ３ 記憶装置 ３１ 前フレーム画像記憶部 ３２ 背景画像記憶部 ３３ 背景ステレオ対応記憶部 ３４ 前フレーム抽出結果記憶部 ４ 抽出動物体表示手段

フロントページの続き Ｆターム(参考） 5B057 AA19 BA02 BA11 CA08 CA13 CA16 CB08 CB13 CB16 CC01 CE09 CH11 DA08 DA12 DB03 DB09 DC22 DC32 5C054 AA01 FC01 FC05 FC11 GB01 HA18 5L096 AA06 AA09 BA02 BA18 CA05 CA07 FA14 GA08 GA51 HA03 JA11 LA05

Claims (6)

【特許請求の範囲】
1. 【請求項１】撮影手段の複数カメラにより得た画像か
   ら、前フレームとのフレーム間差分値より変化領域を検
   出するフレーム間差分処理手段と、 変化領域の画素と背景ステレオ対応点のそれぞれの背景
   差分を基に、背景領域及び隠蔽領域を抽出する背景差分
   処理手段と、 前記ステレオ対応点での背景差分が予め定められたしき
   い値よりも共に大きい場合には、背景ステレオ対応点と
   の輝度値差分（「ステレオ差分」という）を求め、物体
   領域を抽出し、このステレオ差分が予め定められたしき
   い値よりも小さい場合には、物体内部の検出もれ、また
   は背景中の抜けのいずれであるかを、前フレームの抽出
   結果を基に判断して修正するステレオ法処理手段と、 抽出された動物体領域を表示する手段と、 を備えたことを特徴とする、動画像中の物体抽出装置。
2. 【請求項２】複数のカメラにより撮影した画像を供給す
   る撮影手段と、 前記撮影手段から得られた画像中の変化領域を識別する
   フレーム間差分処理手段と、 前記フレーム間差分処理手段により識別された変化領域
   について背景差分を用いて動物体領域を抽出する背景差
   分処理手段と、 前記背景差分処理手段の信頼度が低い状況において画像
   間の背景対応の崩れを用いて動物体を抽出するステレオ
   法処理手段と、 前記フレーム間処理手段、前記背景差分処理手段、及び
   前記ステレオ法処理手段により抽出された動物体領域を
   画像中に表示する抽出動物体表示手段と、 前フレームの画像を記憶し、前記フレーム間差分処理手
   段で参照される前フレーム画像記憶部と、 前記各カメラにおける物体の無い背景画像を予め記憶
   し、前記背景差分処理手段で参照される背景画像記憶部
   と、 事前に求めた複数の背景画像間の画素のステレオ対応を
   記憶し、前記背景差分処理手段及び前記ステレオ法処理
   手段で参照される背景ステレオ対応記憶部と、 前フレームの抽出結果を記憶し、前記フレーム間差分処
   理手段及び前記ステレオ法処理手段で参照される前フレ
   ーム抽出結果記憶部と、 を備えたことを特徴とする動画像中の物体抽出装置。
3. 【請求項３】複数のカメラにより撮影した画像を供給す
   る撮影手段と、 前記撮像手段の各カメラの前フレームにおいて得られた
   画像を順次記憶する前フレーム画像記憶部と、 前記各カメラにおける物体の無い背景画像を予め記憶し
   た背景画像記憶部と、 事前に求めた複数の背景画像間の画素のステレオ対応を
   記憶した背景ステレオ対応記憶部と、 前フレームの抽出結果を順次記憶する前フレーム抽出結
   果記憶部と、 前記撮影手段から得られた複数の画像のそれぞれについ
   て、前フレーム画像記憶部の前フレームとのフレーム間
   差分をとり該差分値が予め定めたしきい値を超える画素
   を変化領域として識別するフレーム間差分処理手段と、 前記フレーム間差分処理手段により識別された変化領域
   の各画素、及び、事前に前記背景ステレオ対応記憶部に
   記憶されている、該画素の他の画像における背景ステレ
   オ対応点のそれぞれについて、事前に前記背景画像記憶
   部に記憶した動物体の存在しない背景画像の画素値と比
   較を行い、これら画素の差分値が、共にあるしきい値を
   超えない場合には背景とし、一方のみがしきい値を超え
   る場合には、超える方を物体領域、超えない方を背景領
   域として抽出移動物体表示手段に出力し、さらに、これ
   らの画素の差分値が共にしきい値を超える場合には、状
   態を決定せず、ステレオ法処理手段に出力する背景差分
   処理手段と、 前記ステレオ法処理手段と、前記抽出移動物体表示手段
   と、を備え、 前記ステレオ法処理手段は、前記背景差分処理手段から
   出力された画素について、事前に背景ステレオ対応記憶
   部に記憶されている背景ステレオ対応点との差分がある
   しきい値を超える場合には、その画素を物体領域とし、
   前記しきい値を超えない場合には、前フレーム抽出結果
   記憶部に記憶される前フレームの判定結果により、状態
   を決定し、前記抽出動物体表示手段に出力し、 前記抽出動物体表示手段は、前記フレーム間差分処理手
   段、前記背景差分処理手段、及び前記ステレオ法処理手
   段から得られた結果に従い、背景領域の画素と動物体領
   域の画素を区別して画像表示を行う、 ことを特徴とする動画像中の物体抽出装置。
4. 【請求項４】複数カメラを有する撮影手段からの入力画
   像について前フレームの画像とのフレーム間差分から前
   記入力画像中の変化領域を識別する手段と、 検出された変化領域について、画素点と背景ステレオ対
   応点のそれぞれの背景差分を基に、背景領域及び隠蔽領
   域を抽出する手段と、 前記背景ステレオ対応点での背景差分が予め定められた
   しきい値よりも共に大きい場合には、背景ステレオ対応
   点との輝度値差分（「ステレオ差分」という）を求め物
   体領域を抽出し、前記ステレオ差分が予め定められたし
   きい値よりも小さい場合には、前フレームの抽出結果を
   もとに判断して修正し、抽出物体表示手段により動物体
   領域を表示する手段と、を含むことを特徴とする動画像
   中の物体抽出装置。
5. 【請求項５】（ａ）複数カメラを有する撮影手段からの
   複数の入力画像について前フレームの画像とのフレーム
   間差分から前記入力画像中の変化領域を識別するステッ
   プ、 （ｂ）検出された変化領域について、画素点と背景ステ
   レオ対応点のそれぞれの背景差分を基に、背景領域及び
   隠蔽領域を抽出するステップ、 （ｃ）前記背景ステレオ対応点での背景差分が予め定め
   られたしきい値よりも共に大きい場合には、背景ステレ
   オ対応点との輝度値差分（「ステレオ差分」という）を
   求め物体領域を抽出するステップ、及び、 （ｄ）前記ステレオ差分が予め定められたしきい値より
   も小さい場合には、前フレームの抽出結果をもとに判断
   して修正し、抽出物体表示手段により動物体領域を表示
   するステップ、 を含むことを特徴とする物体抽出方法。
6. 【請求項６】（ａ）複数のカメラで得られた画像の各画
   素の画素値と、前フレームの同位置の画素の画素値との
   フレーム間差分を算出するステップ、 （ｂ）前記差分値と、予め定められたしきい値との比較
   し、前記差分値が前記しきい値を超えない場合には、前
   フレームの同位置の画素の抽出結果をそのまま用いて抽
   出結果を決定し、抽出動物体表示手段に出力するステッ
   プ、 （ｃ）前記差分値がしきい値を超える画素については、
   前記（ａ）ステップのフレーム間差分処理で得られた変
   化領域の各画素と、該画素の、予め記憶された他の画像
   における背景対応点のそれぞれにおける背景差分を、予
   め記憶された各カメラにおける背景画像との比較により
   求め、 （ｄ）対象画素の背景差分と他カメラ画像の対応点での
   背景差分が共にしきい値を超えない場合には、背景とし
   て確定し、前記抽出動物体表示手段に出力するステッ
   プ、 （ｅ）前記背景差分の一方のみがしきい値を超えた場合
   には、超えた方の画素を物体、超えない方の画素を背景
   として確定し、前記抽出動物体表示手段に出力するステ
   ップ、 （ｆ）前記背景差分が共にしきい値を超えた場合は、背
   景ステレオ対応記憶部に記憶された背景ステレオ対応点
   との輝度値差分（「ステレオ差分」という）を算出し、
   該ステレオ差分を予め定められたしきい値と比較し、該
   ステレオ差分がしきい値を超えた場合には、物体として
   確定し、前記抽出動物体表示手段に出力するステップ、
   及び、 （ｇ）前記ステレオ差分がしきい値を超えない場合に
   は、前フレームの同位置の画素の抽出結果をそのまま用
   いて抽出結果を決定し、前記抽出動物体表示手段に出力
   するステップ、 を含むことを特徴とする物体抽出方法。