JP2004213572A - 物体抽出装置、物体抽出方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】照明条件や撮影装置の位置が変化する状況下でも、撮影画像中から物体を安定に抽出する。
【解決手段】撮影装置により、様々な照明環境下において撮影された多数の背景画像を蓄積する背景画像蓄積処理手段３２、撮影装置により撮影された各時刻における画像（入力画像）を取り込む画像取込手段３３、上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成する背景画像合成手段３４、各時刻における入力画像と上記合成された背景画像との差分を計算することで、入力画像から背景以外の物体を検出する物体検出手段３５を備える。さらに、撮影装置の入出力特性を計測する撮影装置特性計測手段３１を備え、規格化された背景画像、入力画像を得る。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、照明条件や撮影装置の位置が変化する状況において、静止画像、もしくは連続して入力される動画像から背景以外の物体を検出する物体抽出装置及び方法、そのプログラム並びに記録媒体に関する。
【０００２】
【従来の技術】
あらかじめ背景以外の物体が写っていない背景画像を装置内に記憶しておき、各時刻における入力画像との差分をとることで、背景以外の物体を検出することができる。ところで、照明変化や撮影装置の移動により画像中の背景が変化する状況においては、あらゆる状況の背景画像をあらかじめ取得し蓄積しておき、蓄積された画像を用いて、各時刻における最適な背景画像を選択、もしくは合成することで、人物やそれ以外の物体等を検出する必要がある。しかし大量の蓄積画像の中からの画像の探索、および画像の合成においては、一般に計算量が膨大となり、実時間処理を要する用途には向かないという問題がある。
【０００３】
一方、照明条件が変化した場合の背景画像を合成する手法の一つとして、例えば、照明光源の位置を変化させて撮影した４枚以上の背景画像から基底画像を求め、次に寄与率の高い上位３〜４枚の基底画像のみを用いて任意の位置に光源がある場合の背景画像を合成する手法が提案されている（非特許文献１参照）。しかし、照明光の色が異なる複数の光源により背景が照明されている場合には、正しい背景画像が合成できず、人物、物体の検出精度が低下するという課題を有す。また、背景に鏡面反射、映り込み（２次反射や相互反射ともいう）、影を伴う物体が含まれる場合には正しい背景画像を生成することができず、人物、物体の検出精度が低下するという問題がある。
【０００４】
【非特許文献１】
松山隆司、外３名、「照明変化に頑健な背景差分」、電子情報通信学会論文誌、Ｄ−ＩＩ，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２２０１〜２２１１（２００１年１０月）
【０００５】
【発明が解決しようとする課題】
本発明は、上記従来技術の問題点を解決すべくなされたもので、大量に蓄積された様々な照明条件下での背景画像を用いて、各時刻での背景画像を合成し、照明条件や撮影装置の位置等が変化する状況下でも背景以外の物体検出を安定して行うことができる物体抽出装置及び方法、そのプログラム並びに記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、撮影装置により、あらかじめ撮影された、照明条件が異なる多数の背景画像を記録、蓄積する手段と、撮影装置により撮影される各時刻における画像（入力画像）を取り込む手段と、蓄積された背景画像の重み付き線形和により各時刻の背景画像を合成する手段と、合成された背景画像と各時刻における入力画像との差分を基に背景以外の物体の検出を、照明変化に対して頑健に行う手段を備える。なお、背景画像と、各時刻おける画像の取り込みでは、同一もしくは機種が同じ撮影装置を用いる。機種が同じで、複数の撮影装置を用いる場合には、それぞれについて装置の特性を計測しておく。
【０００７】
まず、背景画像の記録、蓄積について詳細に説明する。一般に、撮影装置に入力した光の強度と、撮影装置から出力される信号値は、比例関係に無い。そこであらかじめ、撮影装置の特性を計測しておき、その結果を参照して信号値の変換を行い、明るさで規格化された画像を得る。また、光沢や鏡面反射が明るすぎて、一定の露光時間では撮影装置のダイナミックレンジを超えてしまい、画像情報が欠損する場合には、露光時間を変えて取得した複数の画像からダイナミックレンジの広い１枚の画像を合成する。以上の処理を、照明条件、および撮影装置の位置を変えながら繰り返し、多数の背景画像を記憶装置内に蓄積する。これにより、さまざまな照明環境下で観測される、物体表面での鏡面反射や写し込みの様子、また陰影の様子を示す多数の背景画像が蓄積できる。入力画像についても、同様に撮影装置の特性計測した結果を参照して信号の変換を行い、明るさで規格化された画像を得る。一般に非線形型な撮影装置の入出力特性を補正することで、次の複数の背景画像の線形和による合成の際に、背景画像取得時とは異なる照明条件下の背景画像の合成が実現できる。
【０００８】
次に、背景画像の合成について詳細に説明する。各時刻における背景画像は、あらかじめ蓄積された照明条件が異なる多数の背景画像の重み付き線形和により合成することで求める。各背景画像の重みを適切に求めることで、背景を構成する物体が、陰影を伴う場合や、拡散反射に加えて鏡面反射や映り込み（２次反射、相互反射ともいう）を伴う場合などでも、背景画像を正しく合成することが可能となる。また、照明光源の形状、個数、配置、照明光の色、明るさ等が変化した場合でも、各時刻の背景画像を正しく合成することが可能となる。
【０００９】
いま、蓄積された背景画像の枚数をＬ枚とし、それぞれには番号がラベル付け（ｋ＝１，２，・・・，Ｌ）されているとする。時刻ｔにおける背景画像の推定結果（候補）Ｈ_ｔを、ｋ番目の画像Ｈ^ｋとその重み係数γ^ｋ _ｔを用いて次式のように表わす。
【数１】

【００１０】
後述するように、重み係数γ^ｋ _ｔを変化させて、（１）式の計算をＮ回繰り返し、時刻ｔにおけるＮ枚の背景画像の候補Ｈ_ｔを得る。
【００１１】
次に、時刻ｔにおける入力画像Ｉ_ｔと各Ｈ_ｔの差を計算し、その差を用いた尤度Ψ_ｔを得る。尤度Ψ_ｔは次式のように表わす。
【数２】

ここで、ｆ（｜Ｉ_ｔ−Ｈ_ｔ｜）は、｜Ｉ_ｔ−Ｈ_ｔ｜に関する単調減少関数（図１０の例１）、もしくは単調減少の後に一定値となる連続関数（図１０の例２）であり、Ｉ_ｔ＝Ｈ_ｔのときに尤度Ψ_ｔが最大値となる。ｋ_ｂは正規化定数である。なお、尤度Ψ_ｔの総和は１である。
【００１２】
尤度Ψ_ｔが最大となる重み係数γ^ｋ _ｔの組み合わせを求め、式（１）に代入し、得られた背景画像を時刻ｔにおける背景画像とする。
【００１３】
ここで、時刻ｔ＝０においては、以上の処理を、重み係数γ^ｋ _ｔの値を公知の方法によりランダムに変えながらＮ回繰り返して、Ｎ通りの｛γ^ｌ _ｔ…，γ^Ｌ _ｔ｝の組み合せを得、尤度Ψ_ｔが最大となる重み係数γ^ｋ _ｔの組み合わせγ_ｔ＝｛γ^ｌ _ｔ…，γ^Ｌ _ｔ｝を求める。繰り返し回数Ｎは、処理時間など処理に求められる性能により、事前に決定される。
【００１４】
時刻ｔ＞０では、次のようにして、照明環境の変化に関する統計的な予測に基づき、時刻ｔ＋１におけるＮ通りの重み係数γ^ｋ _ｔ＋１の組み合わせを求める。初めに、時刻ｔにおけるＮ通りの重み係数γ^ｋ _ｔ（ｋ＝１，２，…，Ｌ）の組み合わせＮ×｛γ^ｌ _ｔ…，γ^Ｌ _ｔ｝個から、それぞれ同じ組み合せのものをΨ_ｔ・Ｎ回ずつ選択し、Ｎ個の組み合わせを得る。これにより、尤度Ψ_ｔが小さい候補は除外される、次に、得られたＮ個の組み合わせ全てについて、あらかじめ設定した推移確率に基づきγ^ｋ _ｔをＮ通りに変化させ、Ｎ通りの｛γ^ｌ _ｔ＋１…，γ^Ｌ _ｔ＋１｝の組み合わせを生成する。そして、それぞれ式（１）、（２）を適用して、尤度Ψ_Ａ＋１が最大となるＨ_ｔ＋１を時刻ｔ＋１における背景画像とする。また、生成したＮとおりの重み係数γ^ｋ _ｔ＋１の組み合せは次の時刻ｔ＋２のために保存される。
【００１５】
このように、照明環境の統計的な変化予測を行うことで、蓄積された背景画像が大量の場合でも、各画像の重みを効率的に推定することができる。また、背景画像の生成に失敗した場合でも、各背景の重みを自動的に修正し、物体検出処理の再開が実現できる。また、組み合わせの候補数Ｎの数を調整することにより、トレードオフの関係にある処理速度および物体の検出精度を制御することができる。
【００１６】
物体の検出では、各時刻の入力画像と上記合成された背景画像との差分を画像の画素毎に計算し、さらに差分に対し２値化処理を行い、背景差分画像を得る。そして、差があると判定された領域には背景以外の物体が写っている領域とし、その領域に移っているものを物体として検出する。撮影装置により取り込まれる画像は、光沢および鏡面反射成分に関する明るさおよび色の情報が記録されることにより、背景差分による物体抽出の際の、鏡面反射等による誤検出の抑制が実現できる。
【００１７】
【発明の実施の形態】
以下、本発明の一実施の形態について図面により説明する。
図１は、本発明の一実施の形態に係る物体抽出システムの概略構成図を示す。デジタルＣＣＤカメラ１には双曲面ミラー２が取り付けられており、３６０度全方位の情報を全方位画像として記録することができる（図８）。物体抽出装置３は制御用バソコンを構成し、デジタルＣＣＤカメラ１の露光時間および画像取り込みの処理を制御する。また取り込まれた画像は、物体抽出装置３の内部に記録、蓄積される。物体の検出結果は結果表示用モニタ４に表示される。照明光源群５は、照明光制御盤６によりそれぞれの明るさを独立に制御できる。
【００１８】
本発明における物体抽出装置３は、図２に示すように、撮影装置特性計測部３１、背景画像蓄積処理部３２、画像取込部３３、背景画像合成部３４、物体検出部３５などから構成される。
【００１９】
図３に物体抽出装置３の全体的処理フロー図を示す。撮影装置特性計測部３１では、あらかじめ撮影装置であるデジタルＣＣＤカメラ１の入力、出力の特性を計測しておく（Ｓ１００１）。複数の撮影装置を用いる場合には、それぞれについて装置の特性を計測しておく。計測結果の撮影装置特性データは背景画像蓄積処理部３２及び画像取込部３３に送られる。
【００２０】
背景画像蓄積処理部３２では、デジタルＣＣＤカメラ１において、照明条件及び撮影装置の位置を変えながら繰り返し撮影された多数の背景画像を取り込み、撮影装置特性データを参照して信号値の変換を行い（γ補正処理）、規格化された多数の背景画像を蓄積する（Ｓ１００２）。画像取込部３３では、デジタルＣＣＤカメラ１において撮影された各時刻における検出対象の画像を取り込み、同様に撮影装置特性データを参照して信号値の変換を行い、規格化された入力画像を出力する（Ｓ１００３）。ここで、デジタルＣＣＤカメラ１により取り込まれる背景画像や入力画像には、光沢および鏡面反射の成分に関する明るさおよび色の情報が記録されているとする。
【００２１】
背景画像合成部３４では、画像取込部３３の各時刻における入力画像に対し、背景画像蓄積処理部３２において蓄積された多数の背景画像の重み付き線形和により、各時刻での背景画像を合成する（Ｓ１００４）。具体的には、背景画像合成部３４では、照明環境の変化に関する統計的な予測に基づき、背景画像蓄積処理部３２に蓄積された各背景画像の重みを求める。そして、画像取込部３３からの入力画像と背景画像蓄積処理部３２において蓄積された多数の背景画像を用いて、背景画像の記録時とは異なる照明条件における背景画像を合成する。また、画像中の背景を構成する物体の拡散反射、鏡面反射、写り込み、陰影等を再現する。
【００２２】
物体検出部３５では、各時刻における画像取込部３３からの入力画像と、背景画像合成部３４において合成された背景画像（合成背景画像）との差分を計算することで、入力画像中の背景以外の人物やその他の物体を検出する（Ｓ１００５）。
【００２３】
次に、図２に示した物体抽出装置３の各部の構成、動作について説明する。
撮影装置特性計測部３１では、例えば、図９に示す方法により、あらかじめデジタルＣＣＤカメラ１の入力、出力の特性を計測する。なお、対象のデジタルＣＣＤカメラ１のホワイトバランス、ゲイン（γ値）等の自動補正機能はＯＦＦにしておく。まず、ＣＲＴ等の表示装置に明るさが既知である白色を表示し、それをデジタルＣＣＤカメラ１で撮影する。次に、表示した白色の明るさを変化させ、再び画像を撮影する。この作業を数回繰り返し、撮影装置（デジタルＣＣＤカメラ）への入力光の明るさと、出力信号値との関係を計測する。そして、この計測結果を基に、撮影装置からの出力信号値から入力光の明るさを推定する変換式（多項式近似あるいは変換テーブル）を求める。
【００２４】
背景画像蓄積処理部３２は、図４に示すように、照明制御部３２１、規格化画像生成部３２２、背景画像蓄積部３２３から構成される。照明制御部３２１では、照明光源群５の明るさをそれぞれ独立に制御する。背景画像撮影部としてのデジタルＣＣＤカメラ１では、照明光源群５のうちどれか一つのみ或いは複数を点灯した状態での背景画像が撮影される。規格化画像生成部３２２は、デジタルＣＣＤカメラ１で撮影された背景画像を取り込み、先の撮影装置特性計測部３１で得られた変換式（撮影装置特性データ）を用いて、該取り込まれた背景画像の規格化を行い、該規格化された背景画像を背景画像蓄積部３２３に蓄積する。この処理を、照明条件（照明光源の位置、形状、個数、明るさ、照明光色など）、および撮影装置の位置を変えながら繰り返し、多数の背景画像（規格化背景画像）を背景画像蓄積部３２３に蓄積する。
【００２５】
画像取込部３３は、図５に示すように、規格化画像生成部３３１で構成される。画像撮影部としてのデジタルＣＣＤカメラ１では、各時刻における物体抽出対象の画像が撮影される。規格化画像生成部３３１は、デジタルＣＤＤカメラ１で撮影された画像を一定間隔で取り込み、先の撮影装置特性計測部３１で得られた変換式（撮影装置特性データ）に基づいた信号変換を行い、各時刻における規格化された画像（規格化入力画像）を出力する。
【００２６】
背景画像合成部３４は、図６に示すように、重み係数更新部３４１、背景画像生成部３４２から構成される。重み係数更新部３２４では、先に述べたように、式（１）に示した重み係数γ^ｋ _ｔを組み合わせ、時刻ｔ＝０においては、初期値としてランダムに求め、時刻ｔ＞０では、時刻ｔおける重み係数の組み合せをそれぞれΨ_ｔＮ回ずつ選択して、式（３）に示した尤度Ψ_ｔと式（４）に示す推移確率Ｐ（γ^ｋ _ｔ＋１｜ｌγ^ｋ _ｔ）に基づき更新する。
【００２７】
【数３】

【数４】

ｋ_ｂは正規化定数、Ｎ（γ^ｋ _ｔ−１，σγ）は平均γ^ｋ _ｔ、標準偏差σγで与えられる正規分布である。なお、式（３）は、先の式（２）として単調減少関数を利用した例（図１０の例１）であるが、単調減少の後に一定値となる連続関数（図１０の例２）を利用してもよい。
【００２８】
背景画像生成部３４２では、画像取込み部３３から出力される規格化入力画像を取り込むとともに、背景画像蓄積部３２３から各規格化背景画像を繰り返し取り込み、重み係数更新部３４２で生成された重み係数γ^ｋ _ｔの組み合わせの中から、式（３）の尤度Ψ_ｔが最大となるものを用いて、式（１）に基づき規格化背景画像を合成し、各時刻における背景画像（合成背景画像）を出力する。
【００２９】
物体検出部３５は、図７に示すように、背景差分画像生成部３５１と２値化処理部３５２から構成される。背景差分画像生成部３５１では、画像取込部３３で出力された画像（規格化入力画像）と、背景画像生成部３４で出力された背景画像（合成背景画像）の差分を計算し、背景差分画像を出力する。２値化処理部３５２では、背景差分画像生成部３５１で出力された背景差分画像の２値化を行い、背景以外の物体を検出する。表示モニタ４には、この２値化された背景差分画像が表示される。
【００３０】
以上、本発明の一実施形態を説明したが、図２で示した物体抽出装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤやＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００３１】
【発明の効果】
本発明によれば、入力画像と背景画像との差分による物体の検出を行う際に、照明変化や、それに伴う鏡面反射、写り込み、影による誤検出を抑制することができることから、照明条件が大きく変わる、大きな窓がある部屋や、屋外での物体の検出、追跡が容易になる。このことから本発明の物体抽出は、ロボットや擬人化エージェントによる人物の探索、防犯監視システム等に応用が可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る物体抽出システムの概略構成図である。
【図２】本発明における物体抽出装置の全体構成例を示す図である。
【図３】図２の全体的処理フローを示す図である。
【図４】背景画像蓄積処理部の詳細構成例を示す図である。
【図５】画像取込部の詳細構成例を示す図である。
【図６】背景画像合成部の詳細構成例を示す図である。
【図７】物体検出部の詳細構成例を示す図である。
【図８】全方位カメラの構成例を示す図である。
【図９】撮影装置の入出力特性の計測を説明する図である。
【図１０】背景画像の推定結果の尤度をあらわす関数例を示す図である。
【符号の説明】
１ デジタルＣＣＤカメラ
２ 双曲面ミラー
３ 物体抽出装置
４ モニタ
５ 照明光源群
６ 照明光制御盤
３１ 撮影装置特性計測部
３２ 背景画像値蓄積処理部
３３ 画像取込部
３４ 背景画像合成部
３５ 物体検出部

Claims (12)

1. 撮影装置により、複数の撮影条件下において撮影された複数の背景画像を蓄積する背景画像蓄積手段と、
   撮影装置により撮影された各時刻における画像（入力画像）を取り込む画像取込手段と、
   上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成する背景画像合成手段と、
   各時刻における入力画像と上記合成された背景画像との差分を計算することで、入力画像から背景以外の物体を検出する物体検出手段と、
   を備えてなる物体抽出装置。
2. 請求項１記載の物体抽出装置において、上記撮影条件とは、照明条件（照明光源の位置、形状、個数、明るさ、照明光色等）であるとし、背景画像の蓄積時とは異なる照明環境下において、背景差分による物体検出をおこなうことを特徴とする物体抽出装置。
3. 請求項１記載の物体抽出装置において、撮影装置により取り込まれる画像は、光沢および鏡面反射成分に関する明るさおよび色の情報が記録されていることを特徴とする物体抽出装置。
4. 請求項１記載の物体抽出装置において、あらかじめ撮影装置の入力、出力の特性を計測する撮影装置特性計測手段を更に備え、上記背景画像蓄積手段および上記画像取込手段では、計測結果の撮影装置の入出力特性を基に規格化された画像を得ることを特徴とする物体抽出装置。
5. 請求項１記載の物体抽出装置において、上記画像合成手段は、照明環境の変化に関する統計的な予測に基づき、上記蓄積された各背景画像の重みを求めることを特徴とする物体抽出装置。
6. 請求項１記載の物体抽出装置において、上記背景画像合成手段は、上記蓄積された複数の背景画像を用いて、背景画像の蓄積時とは異なる撮影条件における背景画像を合成することを特徴とする物体抽出装置。
7. 請求項１記載の物体抽出装置において、上記背景画像合成手段は、上記蓄積された複数の背景画像を用いて、画像中の背景を構成する物体の拡散反射、鏡面反射、写り込み、陰影を再現することを特徴とする物体抽出装置。
8. 撮影画像中から物体を抽出する方法であって、
   撮影装置により複数の撮影条件下において撮影された複数の背景画像を蓄積するステップと、
   撮影装置により撮影された各時刻における画像（入力画像）を取り込むステップと、
   上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成するステップと、
   各時刻における入力画像と上記合成されたた背景画像との差分を計算することで、上記入力画像から背景以外の物体を検出するステップと、
   を有することを特徴とする物体抽出方法。
9. 請求項８記載の物体抽出方法において、
   あらかじめ、撮影装置の入力、出力の特性を計測するステップを更に有し、その計測結果に基づいて規格化された背景画像および入力画像を得ることを特徴とする物体抽出方法。
10. 請求項８記載の物体抽出方法において、
    上記各時刻での背景画像を合成するステップでは、照明環境の変化に関する統計的な予測に基づき、上記蓄積された各背景画像の重みを求めることを特徴する物体抽出方法。
11. 請求項８乃至１０のいずれか１項に記載の物体抽出方法をコンピュータで実行するためのプログラム。
12. 請求項８乃至１０のいずれか１項に記載の物体抽出方法をコンピュータで実行するためのプログラムを記録した記録媒体。

Images