JP2014164446A - 背景モデル構築装置、背景モデル構築方法、およびプログラム - Google Patents

Abstract

【課題】照明変動や前景の変形が発生し得る環境において撮影された画像に、テクスチャの少ない領域が存在している場合であっても、前景領域を適切に抽出できる動的な背景モデルを構築できること。
【解決手段】背景モデル構築装置１は、領域分割部１４および背景モデル更新部１６を備える。領域分割部１４は、画素値に基づいて、画像を複数の分割領域に分割する。背景モデル更新部１６は、領域分割部１４により分割された各分割領域の画素情報に基づいて、背景モデルを更新する。
【選択図】図１

Description

本発明は、動的な背景モデルを構築する背景モデル構築装置、背景モデル構築方法、およびプログラムに関する。

従来、予め定められた位置に固定された固定カメラにより撮影された映像から、人物や移動する物体などの、動的な前景領域を抽出する技術が提案されている。

例えば非特許文献１には、固定カメラ環境において動的な前景領域を抽出するために、混合ガウス分布で表現した背景モデルを構築する技術が、示されている。また、この非特許文献１には、混合ガウス分布の分布数をシーンに合わせて動的に変更することで、照明変動などの一時的な背景の見かけの変化に対して頑健な動的な背景モデルを構築する技術も、示されている。

また、非特許文献２には、動的な背景モデルを構築する技術は示されていないが、複数のカメラを利用したステレオ視で得られる視差に基づいて、前景領域を抽出する技術が、示されている。

島田，有田，谷口，"適応的な分布数の増減法を利用した混合ガウス分布による高速な動的背景モデル構築，"電子情報通信学会論文誌Vol.J90-D, No.9, pp.2606-2614,2007. Yuri Ivanov, Aaron Bobick, John Liu "Fast Lighting Independnt Background Subtracion" International Journal of Computer Vision (IJCV) 37(2), pp.199-207, 2000 Chris Stauffer and W.E.L Grimson. Adaptive background mixture models for real-time tracking. Computer Vision and Pattern Recognition, Vol.2, pp.246-252, 1999. OpenCV 2.4.3、［online］、［平成25年1月28日検索］、インターネット<URL:http://opencv.org/> Hirschmuller, H. Stereo Processing by Semiglobal Matching and Mutual Information, PAMI(30), No.2, February 2008, pp.328-341. Zhang, Z. , A flexible new technique for camera calibration, IEEE JOURNALS & MAGAZINES, Volume:22, Issue:11, Page(s):1330-1334, 2000.

非特許文献１に示されている上述の技術では、前景が移動している場合には、この前景を背景と混同することなく逐次動的な背景モデルを構築できる。しかし、前景が移動を一時的に停止するなどによって前景が静止に近い状態にある場合には、前景と背景とを本質的に区別することが難しく、時間が経過するに従って、前景領域が背景領域とみなされていき、前景領域が背景領域に溶け込んでいく現象が発生してしまっていた。

そこで、非特許文献１には、前景領域が背景領域に溶け込んでいく現象を解決するために、背景モデルの構築とは別に、テンプレートマッチングといった手法により前景領域を追跡する技術も示されている。しかし、この前景領域を追跡する技術は、照明変動や前景の変形に対して頑健ではない。このため、照明変動や前景の変形などにより、テンプレートマッチングにより生成した初期のテンプレートとは前景領域が異なる場合には、上述のように前景が静止に近い状態になってしまうと、前景領域を適切に抽出できる動的な背景モデルを構築することはできなかった。

非特許文献１による上述の問題は、一般的な背景でかつ照明の変動が存在する環境において、途中で一時的に静止するような動作を行う人物の領域を前景領域として抽出する場合に、特に顕著化する。途中で一時的に静止するような動作を行う人物の領域とは、例えば、直立しており、下半身の動きは少ないが、頭や手などの上半身は動いている人物の領域のことである。

一方、非特許文献２に示されているステレオ視で得られる視差は、照明変動による影響を受けにくい。しかし、模様の少ない領域や、のっぺりした領域といった、テクスチャの少ない領域では、視差の推定が困難である。このため、非特許文献２で示されている技術では、テクスチャの少ない領域が存在している場合に、前景領域を適切には抽出できなかった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、照明変動や前景の変形が発生し得る環境において撮影された画像に、テクスチャの少ない領域が存在している場合であっても、前景領域を適切に抽出できる動的な背景モデルを構築できることを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、動的な背景モデルを構築する背景モデル構築装置（例えば、図１の背景モデル構築装置１に相当）であって、画素値に基づいて、前景領域を含まない空舞台の画像を複数の領域に分割する領域分割手段（例えば、図１の領域分割部１４に相当）と、前景領域を含み得る画像を前記複数の領域に分割して得られる各領域の画素情報に基づいて、背景モデルを更新する背景モデル更新手段（例えば、図１の背景モデル更新部１６に相当）と、を備えることを特徴とする背景モデル構築装置を提案している。

ここで、動的な背景モデルを構築する対象となる画像のことを、対象画像と呼ぶこととする。すると、前景領域を含まない空舞台の画像とは、前景が映っていない対象画像のことであり、前景領域を含み得る画像とは、対象画像のことである。

そこで、この発明によれば、画素値に基づいて、前景が映っていない対象画像を複数の領域に分割し、対象画像をこれら複数の領域に分割して得られる各領域の画素情報に基づいて、背景モデルを更新することとした。このため、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように対象画像を分割し、分割した各領域内の各画素の画素情報を参照することで、各画素について前景であるか否かを判断することができる。したがって、前景が静止に近い状態であっても、この前景領域の画素値を背景モデルの更新に用いないようにすることができる。したがって、前景領域が背景領域に溶け込んでいってしまうのを抑制可能である動的な背景モデルを構築できる。

（２） 本発明は、（１）の背景モデル構築装置について、前記領域分割手段は、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように、前記空舞台の画像を前記複数の領域に分割することを特徴とする背景モデル構築装置を提案している。

ここで、空舞台の画像について、画素値に基づいて複数の領域に分割して、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割したものとする。すると、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における対象画像においても、前景領域でなければ類似しているものと想定できる。

そこで、この発明によれば、（１）の背景モデル構築装置において、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように、空舞台の画像を複数の領域に分割することした。このため、同一の領域に含まれる対象画像の各画素の画素値が類似しているか否かを判断することによって、画素が前景であるか否かを判断することができる。

（３） 本発明は、（１）または（２）の背景モデル構築装置について、前記背景モデル更新手段は、処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

ここで、上述のように、空舞台の画像について、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割したものとすると、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における対象画像においても、前景領域でなければ類似しているものと想定できる。このため、対象画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値とみなすことが可能である。

そこで、この発明によれば、（１）または（２）の背景モデル構築装置において、対象画素を含む領域の画素値の中央値と、対象画素の画素値と、の差分に基づいて、対象画素が前景であるか否かを判断し、背景モデルを更新することとした。このため、上述の差分が大きい場合には、対象画素が前景であると判断し、上述の差分が小さい場合には、対象画素が背景であると判断することで、前景領域を的確に求めることができ、動的な背景モデルを的確に構築できる。

（４） 本発明は、（３）の背景モデル構築装置について、前記背景モデル更新手段は、前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、前記差分に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

この発明によれば、（３）の背景モデル構築装置において、上述の差分に基づいて対象画素が前景であると判断した場合には、対象画素を含む領域の画素値の中央値を用いて背景モデルを更新することとした。このため、対象画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、動的な背景モデルを的確に構築できる。

また、この発明によれば、（３）の背景モデル構築装置において、上述の差分に基づいて対象画素が前景ではないと判断した場合には、対象画素の現在の画素値を用いて背景モデルを更新することとした。このため、背景領域については、画素値をそのまま用いて背景モデルを更新することができるので、動的な背景モデルを的確に構築できる。

（５） 本発明は、（１）から（４）のいずれかの背景モデル構築装置について、ステレオ画像の視差情報を求めるステレオ対応点探索手段（例えば、図５のステレオ対応点探索部２１に相当）を備え、前記背景モデル更新手段は、前記領域分割手段により分割された各領域の画素情報と、前記ステレオ対応点探索手段により求められた視差情報と、に基づいて、背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

この発明によれば、（１）から（４）のいずれかの背景モデル構築装置において、背景モデルの更新を、画像を分割した各領域の画素情報と、ステレオ画像の視差情報と、に基づいて行うこととした。このため、テクスチャが複雑な領域については、ステレオ画像の視差情報に基づいて背景モデルを更新することで、照明変動や前景の変形などが発生した場合であっても、動的な背景モデルを的確に構築できる。一方、テクスチャが少ない領域については、画像を分割した各領域の画素情報に基づいて背景モデルを更新することで、テクスチャが少ない領域が存在している場合であっても、動的な背景モデルを的確に構築できる。

（６） 本発明は、（５）の背景モデル構築装置について、前記ステレオ対応点探索手段により求められた視差情報から奥行情報を求める奥行情報算出手段（例えば、図５の奥行情報算出部２２に相当）と、前記奥行情報算出手段により求められた奥行情報の信頼度を求める奥行信頼値マップ生成手段（例えば、図５の奥行信頼値マップ生成部２３に相当）を備え、前記背景モデル更新手段は、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度に基づいて、前記領域分割手段により分割された各領域の画素情報に基づいて背景モデルを生成するのか、前記ステレオ対応点探索手段により求められた視差情報に基づいて背景モデルを生成するのかを、画素ごとに決定することを特徴とする背景モデル構築装置を提案している。

ここで、一般的に、視差情報から奥行情報を求めることができ、テクスチャが複雑な領域では、奥行情報の信頼度が高くなり、テクスチャが少ない領域では、奥行情報の信頼度が低くなる。

そこで、この発明によれば、（５）の背景モデル構築装置において、視差情報から求めた奥行情報の信頼度に基づいて、背景モデルの更新を、画像を分割した各領域の画素情報に基づいて行うのか、ステレオ画像の視差情報に基づいて行うのかを、画素ごとに決定することとした。このため、奥行情報の信頼度に基づいて、テクスチャが複雑な領域であるのか、テクスチャが少ない領域であるのかを判断することができる。したがって、テクスチャに応じて適した方法で、背景モデルを更新することができる。

（７） 本発明は、（６）の背景モデル構築装置について、前記背景モデル更新手段は、前景を含まないステレオ画像から前記奥行情報算出手段により求められた対象画素の初期奥行情報と、当該対象画素の現在の奥行情報と、の差異に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

ここで、前景領域の画素の奥行情報と、空舞台を撮影した映像におけるこの画素の奥行情報とは、大きく異なることになる。

そこで、この発明によれば、（６）の背景モデル構築装置において、対象画素の初期奥行情報と現在の奥行情報との差異に基づいて、対象画素が前景であるか否かを判断し、背景モデルを更新することとした。このため、上述の差異が大きい場合には、対象画素が前景であると判断し、上述の差異が小さい場合には、対象画素が背景であると判断することで、前景領域を的確に求めることができ、動的な背景モデルをより的確に構築できる。

（８） 本発明は、（７）の背景モデル構築装置について、前記背景モデル更新手段は、処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値より大きく、かつ、前記差異に基づいて対象画素が前景であると判断した場合には、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新し、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値以下で、かつ、前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、前記差分または前記差異に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

この発明によれば、（７）の背景モデル構築装置において、奥行情報の信頼度が高く、かつ、上述の差異に基づいて対象画素が前景であると判断した場合には、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新することとした。このため、テクスチャが複雑な前景領域については、動的な背景モデルの更新に対する影響を大幅に抑えることができ、動的な背景モデルをより的確に構築できる。

また、この発明によれば、（７）の背景モデル構築装置において、奥行情報の信頼度が高く、かつ、上述の差分に基づいて対象画素が前景であると判断した場合には、対象画素を含む領域の画素値の中央値を用いて背景モデルを更新することとした。このため、対象画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、動的な背景モデルを的確に構築できる。

また、この発明によれば、（７）の背景モデル構築装置において、上述の差分または差異に基づいて対象画素が前景ではないと判断した場合には、対象画素の現在の画素値を用いて背景モデルを更新することとした。このため、背景領域については、画素値をそのまま用いて背景モデルを更新することができるので、動的な背景モデルを的確に構築できる。

（９） 本発明は、領域分割手段（例えば、図１の領域分割部１４に相当）および背景モデル更新手段（例えば、図１の背景モデル更新部１６に相当）を備え、動的な背景モデルを構築する背景モデル構築装置（例えば、図１の背景モデル構築装置１に相当）における背景モデル構築方法であって、前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第１のステップ（例えば、図３のステップＳ１３の処理に相当）と、前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第２のステップ（例えば、図４のステップＳ２４、Ｓ２５の処理に相当）と、を備えることを特徴とする背景モデル構築方法を提案している。

この発明によれば、画素値に基づいて画像を複数の領域に分割し、分割した各領域の画素情報に基づいて背景モデルを更新することとした。このため、上述した効果と同様の効果を奏することができる。

（１０） 本発明は、領域分割手段（例えば、図１の領域分割部１４に相当）および背景モデル更新手段（例えば、図１の背景モデル更新部１６に相当）を備え、動的な背景モデルを構築する背景モデル構築装置（例えば、図１の背景モデル構築装置１に相当）における背景モデル構築方法を、コンピュータに実行させるためのプログラムであって、前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第１のステップ（例えば、図３のステップＳ１３の処理に相当）と、前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第２のステップ（例えば、図４のステップＳ２４、Ｓ２５の処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、画素値に基づいて画像を複数の領域に分割し、分割した各領域の画素情報に基づいて背景モデルを更新することとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、照明変動や前景の変形が発生し得る環境において撮影された画像に、テクスチャの少ない領域が存在している場合であっても、前景領域を適切に抽出できる動的な背景モデルを構築できる。

本発明の第１実施形態に係る背景モデル構築装置のブロック図である。 前記実施形態に係る背景モデル構築装置が行う背景モデル構築処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う初期背景モデル生成処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う背景モデル更新処理のフローチャートである。 本発明の第２実施形態に係る背景モデル構築装置のブロック図である。 前記実施形態に係る背景モデル構築装置が行うステレオ対応関係の探索について説明するための図である。 前記実施形態に係る背景モデル構築装置が行う背景モデル構築処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う初期背景モデル生成処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う背景モデル更新処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う背景モデル更新処理のフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［背景モデル構築装置１の構成および動作］
図１は、本発明の第１実施形態に係る背景モデル構築装置１のブロック図である。背景モデル構築装置１は、制御部１１、初期背景モデル生成部１２、フレーム平滑化部１３、領域分割部１４、前景候補領域抽出部１５、および背景モデル更新部１６を備える。

制御部１１は、１台のカメラで撮影された映像や画像の入力を受け付けたり、種々の処理（例えば、後述のステップＳ５の処理など）を行ったりする。制御部１１が入力を受け付ける映像としては、前景を含まないシーン（空舞台）の映像がある。空舞台の映像は、動的な背景モデルを構築する対象となる映像であって前景が映っていないもののことであり、例えば、動的な背景モデルの構築を開始する際に、制御部１１に入力される。また、制御部１１が入力を受け付ける画像としては、現在のフレームの画像がある。現在のフレームの画像は、前景を含み得るシーンの画像、言い換えると動的な背景モデルを構築する対象となる映像を構成する各画像のことであり、例えば、背景モデルを更新する期間においてフレームが更新されるたびに、制御部１１に入力される。

初期背景モデル生成部１２は、画素値に基づく初期背景モデルの生成を行う。具体的には、制御部１１により入力が受け付けられた空舞台の映像を用いて、非特許文献３に示されている技術により、以下のようにして画素ごとに初期背景モデルの構築を行う。

ここで、上述の空舞台の映像を構成する複数のカメラ画像のうちの１つのカメラ画像Ｉ（ｘ、ｙ）に着目し、時刻ｔにおける画素｛ｘ、ｙ｝の画素値をＸ_ｔと表すこととする。すると、時刻ｔまでに得られた画素値｛Ｘ_１、Ｘ_２、・・・Ｘ_ｔ｝は、Ｋ個のガウス分布を用いてモデル化することができ、現在の画素Ｘ_ｔが持つ確率は、以下の数式（１）で表すことができる。

数式（１）において、ｗ_ｋ，ｔは、時刻ｔにおけるｋ番目のガウス分布が持つ重みを示し、μ_ｋ、ｔは、時刻ｔにおけるｋ番目のガウス分布の平均値を示し、Σ_ｋ、ｔは、時刻ｔにおけるｋ番目のガウス分布の分散共分散行列を示す。また、Ｋは、ガウス分布の数を示し、利用可能なメモリ領域に応じて予め設定され、通常３〜５程度が適当である。また、ηは、以下の数式（２）で表されるガウス分布の密度関数である。

すると、初期背景モデル生成部１２は、まず、時刻ｔ＋１において新たに観測された画素値Ｘ_ｔ＋１がマッチする分布をＫ個の分布の中から探す。具体的には、画素値Ｘ_ｔ＋１が分布の平均値から標準偏差２．５以内であれば、その分布にマッチしているものとする。

次に、マッチする分布を見つけた場合には、Ｋ個のガウス分布の重みと、マッチする分布の平均値および分散値と、を更新する。一方、マッチする分布を見つけることができなかった場合には、分散が大きく重みが小さい分布を削除して、新たに現在の画素値を平均値とし、削除した分散値および重みを用いて分布を作成する。

次に、以下の数式（３）を満たすＢ個の分布を、新たな背景モデルとする。数式（３）において、Ｔは、予め定められた閾値を示す。この数式（３）は、ガウス分布の重みを照合度の高い順に足し合わせていき、その重みの合計が閾値Ｔを初めて越えるときの分布までを、背景モデルとして利用することを、意味している。

フレーム平滑化部１３は、制御部１１により入力が受け付けられた空舞台の映像から、この映像の全ての画素値を平均した平滑化画像を生成する。

領域分割部１４は、フレーム平滑化部１３により生成された平滑化画像に対して領域分割処理を行う。この領域分割処理によれば、互いに隣接しており画素値が類似する画素同士は、同一の分割領域に分類され、平滑化画像が複数の分割領域に分割されることになる。なお、領域分割処理には、例えば、非特許文献４に示されているOpenCVにて画像ピラミッドを利用する手法（PyrSegmentation()）や、Mean-Shift法による手法（PyrMeanShiftFiltering()）のプログラムを用いることができる。

前景候補領域抽出部１５は、制御部１１により入力が受け付けられた現在のフレームの画像から、前景候補領域を抽出する。具体的には、非特許文献３に示されている技術により、画素値Ｘ_ｔがマッチする分布を探すことにより、制御部１１により入力が受け付けられた現在のフレームの画像から前景候補領域を抽出する。画素値Ｘ_ｔがマッチするか否かは、例えば、現在の画素値が分布の平均値から標準偏差２．５以内であれば、その分布にマッチしているものとし、その分布が背景モデルである場合にはその画素を背景とし、その分布が背景モデルではない場合にはその画素を前景候補とする。

背景モデル更新部１６は、現在のフレームの画像に基づいて背景モデルを更新する。具体的には、画素ごとに、真に前景であるか否かを判断する。そして、真に前景であると判断した画素については、その画素の現在の画素値を破棄し、その画素を含む分割領域の中央値を用いて、背景モデルを更新する。一方、背景であると判断された画素については、その画素の現在の画素値を用いて、背景モデルを更新する。

以上の構成を備える背景モデル構築装置１は、図２を用いて後述する背景モデル構築処理を行って、画素ごとに、初期の背景モデルである初期背景モデルの生成と、背景モデルの更新と、を行う。

図２は、背景モデル構築装置１が行う背景モデル構築処理のフローチャートである。

ステップＳ１において、背景モデル構築装置１は、制御部１１により、空舞台の映像の入力を受け付ける。そして、空舞台の映像が入力されると、ステップＳ２に処理を移す。

ステップＳ２において、背景モデル構築装置１は、初期背景モデル生成処理を行って初期背景モデルを生成し、ステップＳ３に処理を移す。背景モデル構築装置１が行う初期背景モデル生成処理の詳細については、図３を用いて後述する。

ステップＳ３において、背景モデル構築装置１は、制御部１１により、現在のフレームの画像の入力を受け付ける。そして、現在のフレームの画像が入力されると、ステップＳ４に処理を移す。

ステップＳ４において、背景モデル構築装置１は、背景モデル更新処理を行って、現在のフレームの画像に基づいて背景モデルの更新を行い、ステップＳ５に処理を移す。背景モデル構築装置１が行う背景モデル更新処理の詳細については、図４を用いて後述する。

ステップＳ５において、背景モデル構築装置１は、制御部１１により、最終フレームまで背景モデルの更新を行ったか否かを判別する。そして、行ったと判別した場合には、図２に示した背景モデル構築処理を終了し、行っていないと判別した場合には、ステップＳ６に処理を移す。

ステップＳ６において、背景モデル構築装置１は、制御部１１により、ステップＳ３〜Ｓ５の各処理を行うフレームである処理対象フレームを更新し、ステップＳ３に処理を戻す。

図３は、背景モデル構築装置１が行う初期背景モデル生成処理のフローチャートである。

ステップＳ１１において、背景モデル構築装置１は、初期背景モデル生成部１２により、ステップＳ１において入力を受け付けた空舞台の映像を用いて、画素値に基づく初期背景モデルの生成を行って、ステップＳ１２に処理を移す。

ステップＳ１２において、背景モデル構築装置１は、フレーム平滑化部１３により、ステップＳ１において入力を受け付けた空舞台の映像から、この映像の全ての画素値を平均した平滑化画像を生成し、ステップＳ１３に処理を移す。

ステップＳ１３において、背景モデル構築装置１は、領域分割部１４により、ステップＳ１２において生成した平滑化画像に対して領域分割処理を行って、図３に示した初期背景モデル生成処理を終了する。

図４は、背景モデル構築装置１が行う背景モデル更新処理のフローチャートである。

ステップＳ２１において、背景モデル構築装置１は、前景候補領域抽出部１５により、ステップＳ３において入力を受け付けた現在のフレームの画像から前景候補領域を抽出し、ステップＳ２２に処理を移す。

ステップＳ２２において、背景モデル構築装置１は、背景モデル更新部１６により、ステップＳ２１において前景候補領域を抽出した結果に基づいて、画素ごとに、前景候補であるか否かを判別する。そして、前景候補であると判別した場合には、ステップＳ２３に処理を移し、前景候補ではないと判別した場合には、ステップＳ２５に処理を移す。

ステップＳ２３において、背景モデル構築装置１は、背景モデル更新部１６により、現在のフレームの画像をステップＳ１３における複数の分割領域に分割して得られる各領域の画素情報に基づいて、ステップＳ２２において前景候補であると判別した画素ごとに、真に前景であるか否かを判断する。具体的には、まず、現在のフレームの画像を、ステップＳ１３において分割した複数の分割領域に分割する。次に、ステップＳ２２において前景候補であると判別した画素ごとに、現在のフレーム画像の各分割領域のうちその画素（以降、対象画素と呼ぶ）が含まれる分割領域の画素値の中央値と、対象画素の画素値と、の差分を求める。次に、求めた差分が予め定められた閾値より大きい場合には、対象画素が真に前景であると判断し、ステップＳ２４に処理を移す。一方、求めた差分が予め定められた閾値以下である場合には、対象画素が背景であると判断し、ステップＳ２５に処理を移す。

ステップＳ２４において、背景モデル構築装置１は、背景モデル更新部１６により、対象画素の現在の画素値を破棄し、対象画素を含む分割領域の画素値の中央値を用いて、背景モデルを更新し、図４に示した背景モデル更新処理を終了する。

ステップＳ２５において、背景モデル構築装置１は、背景モデル更新部１６により、対象画素の現在の画素値を用いて、背景モデルを更新し、図４に示した背景モデル更新処理を終了する。

以上の背景モデル構築装置１によれば、以下の効果を奏することができる。

背景モデル構築装置１は、空舞台の画像について、画素値に基づいて複数の領域に分割して、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割する。このため、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における現在のフレームの画像においても、前景領域でなければ類似しているものと想定できる。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値とみなすことが可能である。

そこで、背景モデル構築装置１は、対象画素を含む分割領域の画素値の中央値と、対象画素の画素値と、の差分に基づいて、対象画素が前景であるか否かを判断する。このため、前景領域を的確に求めることができ、動的な背景モデルを的確に構築できる。

また、背景モデル構築装置１は、前景であると判断した画素については、この画素を含む分割領域の画素値の中央値を用いて背景モデルを更新する。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、前景領域が背景領域に溶け込んでいってしまうのを抑制可能である動的な背景モデルを構築できる。

また、背景モデル構築装置１は、背景であると判断した画素については、この画素の現在の画素値を用いて背景モデルを更新する。このため、背景領域については、画素値をそのまま用いて背景モデルを更新することができるので、動的な背景モデルを的確に構築できる。

＜第２実施形態＞
［背景モデル構築装置１Ａの構成および動作］
図１は、本発明の第２実施形態に係る背景モデル構築装置１Ａのブロック図である。背景モデル構築装置１Ａは、図１に示した本発明の第１実施形態に係る背景モデル構築装置１とは、制御部１１の代わりに制御部１１Ａを備える点と、初期背景モデル生成部１２の代わりに初期背景モデル生成部１２Ａを備える点と、フレーム平滑化部１３の代わりにフレーム平滑化部１３Ａを備える点と、背景モデル更新部１６の代わりに背景モデル更新部１６Ａを備える点と、ステレオ対応点探索部２１、奥行情報算出部２２、および奥行信頼値マップ生成部２３を備える点と、が異なる。なお、背景モデル構築装置１Ａにおいて、背景モデル構築装置１と同一構成要件については、同一符号を付し、その説明を省略する。

制御部１１Ａは、２台のカメラのそれぞれで撮影された映像や画像の入力を受け付けたり、種々の処理（例えば、後述のステップＳ５５の処理など）を行ったりする。制御部１１Ａが入力を受け付ける映像としては、２台のカメラのうち左側に配置されたもので撮影された空舞台の映像（以降、空舞台のＬ映像と呼ぶ）と、２台のカメラのうち右側に配置されたもので撮影された空舞台の映像（以降、空舞台のＲ映像と呼ぶ）と、がある。空舞台のＬ映像およびＲ映像は、例えば、動的な背景モデルの構築を開始する際に、制御部１１Ａに入力される。また、制御部１１Ａが入力を受け付ける画像としては、２台のカメラのうち左側に配置されたもので撮影された現在のフレームの画像（以降、現在のフレームのＬ画像と呼ぶ）と、２台のカメラのうち右側に配置されたもので撮影された現在のフレームの画像（以降、現在のフレームのＲ画像と呼ぶ）と、がある。現在のフレームのＬ画像およびＲ画像は、前景を含み得るシーンの画像であり、例えば、背景モデルを更新する期間においてフレームが更新されるたびに、制御部１１Ａに入力される。

初期背景モデル生成部１２Ａは、初期背景モデル生成部１２と同様に、画素値に基づく初期背景モデルの生成を行う。ただし、初期背景モデル生成部１２が、１台のカメラで撮影された空舞台の映像を用いて初期背景モデルを生成するのに対して、初期背景モデル生成部１２Ａは、２台のカメラで撮影された空舞台の映像（空舞台のＬ映像およびＲ映像）を用いて初期背景モデルを生成する。

フレーム平滑化部１３Ａは、フレーム平滑化部１３と同様に、平滑化画像を生成する。ただし、フレーム平滑化部１３が、１台のカメラで撮影された空舞台の映像から平滑化画像を生成するのに対して、フレーム平滑化部１３Ａは、２台のカメラで撮影された空舞台の映像（空舞台のＬ映像およびＲ映像）のそれぞれから平滑化画像を生成する。このため、フレーム平滑化部１３Ａでは、２種類の平滑化画像が生成されることになる。

ステレオ対応点探索部２１は、ステレオ対応関係の探索を行う。ステレオ対応関係の探索には、空舞台のＬ映像の平滑化画像の各画素と、空舞台のＲ映像の平滑化画像の各画素と、に対して行う場合（図６参照）と、現在のフレームのＬ画像の各画素と、現在のフレームのＲ画像の各画素と、に対して行う場合と、がある。ステレオ対応関係の探索では、ステレオ対応点探索部２１は、非特許文献５に示されている広域領域での整合性を考慮したブロックマッチング手法を用いる。

なお、ステレオ対応関係の探索では、ステレオ対応点探索部２１は、輝度ベースの対応点探索を行う。この際には、非特許文献４に示されているOpenCVのStereoSGBM()を用いることができる。

また、ステレオ対応関係の探索を行うために、ステレオ対応点探索部２１は、予め、チェスボードといった既知の平面物体を利用して、非特許文献６に示されている技術に基づいて、２台のカメラのそれぞれの内部パラメータおよび外部パラメータを取得し、左側のカメラに対応する左側の平行ステレオ画像と、右側のカメラに対応する右側の平行ステレオ画像と、を作成する。具体的には、非特許文献４に示されているオープンソースライブラリOpenCVのstereoRectify()およびremap()を用いることで実現できる。

奥行情報算出部２２は、ステレオ対応点探索部２１により作成された左側の平行ステレオ画像および右側の平行ステレオ画像を用いて、これら左右の平行ステレオ画像の各画素により指し示される各点の奥行情報を求める。

ここで、左側の平行ステレオ画像をＩ_ｌ（ｘ、ｙ）と表し、右側の平行ステレオ画像をＩ_ｒ（ｘ、ｙ）と表すこととする。すると、左側の平行ステレオ画像Ｉ_ｌ中の任意の点Ｉ_ｌ（ｘ_ｌ、ｙ_ｌ）に対応する点は、右側の平行ステレオ画像Ｉ_ｒ中ではＩ_ｒ（ｘ_ｒ、ｙ_ｒ）上に存在することになる。なお、ｙ_ｌ＝ｙ_ｒである。そこで、左側の平行ステレオ画像の点Ｉ_ｌ（ｘ_ｌ、ｙ）に対応する右側の平行ステレオ画像の点が、点Ｉ_ｒ（ｘ_ｒ、ｙ）であるものとすると、これら平行ステレオ画像から、以下の数式（４）に示す奥行情報Ｚを求めることができる。

数式（４）において、ｃは、基線長を示し、ｆは、焦点距離を示し、ｄは、ｘ_ｌ−ｘ_ｒで求まる視差を示す。

奥行信頼値マップ生成部２３は、ステレオ対応点探索部２１によるステレオ対応点探索におけるコスト関数（例えば、非特許文献６に示されている技術により定義される）を用いてブロックマッチングの信頼度を画素ごとに推定して、奥行情報算出部２２により求められた奥行情報の信頼度を画素ごとに推定する。ブロックマッチングの信頼度は、上述のコスト関数の最小値と、上述のコスト関数の２番目に小さい値と、の差分により推定することができる。

背景モデル更新部１６Ａは、現在のフレームの画像に基づいて背景モデルを更新する。具体的には、画素ごとに、真に前景であるか否かを判断する。そして、奥行信頼値マップ生成部２３により推定された奥行情報の信頼度が高く、前景であると判断した画素については、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新する。一方、奥行信頼値マップ生成部２３により推定された奥行情報の信頼度が低く、前景であると判断した画素については、その画素の現在の画素値を破棄し、その画素を含む分割領域の中央値を用いて、背景モデルを更新する。また、他の場合については、その画素の現在の画素値を用いて、背景モデルを更新する。

以上の構成を備える背景モデル構築装置１Ａは、図７を用いて後述する背景モデル構築処理を行って、画素ごとに、初期の背景モデルである初期背景モデルの生成と、背景モデルの更新と、を行う。

図７は、背景モデル構築装置１Ａが行う背景モデル構築処理のフローチャートである。

ステップＳ５１において、背景モデル構築装置１Ａは、制御部１１Ａにより、空舞台のＬ映像およびＲ映像の入力を受け付ける。そして、空舞台のＬ映像およびＲ映像が入力されると、ステップＳ５２に処理を移す。

ステップＳ５２において、背景モデル構築装置１Ａは、初期背景モデル生成処理を行って初期背景モデルを生成し、ステップＳ５３に処理を移す。背景モデル構築装置１Ａが行う初期背景モデル生成処理の詳細については、図８を用いて後述する。

ステップＳ５３において、背景モデル構築装置１Ａは、制御部１１Ａにより、現在のフレームのＬ画像およびＲ画像の入力を受け付ける。そして、現在のフレームのＬ画像およびＲ画像が入力されると、ステップＳ５４に処理を移す。

ステップＳ５４において、背景モデル構築装置１Ａは、背景モデル更新処理を行って、現在のフレームの画像に基づいて背景モデルの更新を行い、ステップＳ５５に処理を移す。背景モデル構築装置１Ａが行う背景モデル更新処理の詳細については、図９、１０を用いて後述する。

ステップＳ５５において、背景モデル構築装置１Ａは、制御部１１Ａにより、最終フレームまで背景モデルの更新を行ったか否かを判別する。そして、行ったと判別した場合には、図７に示した背景モデル構築処理を終了し、行っていないと判別した場合には、ステップＳ５６に処理を移す。

ステップＳ５６において、背景モデル構築装置１Ａは、制御部１１Ａにより、ステップＳ５３〜Ｓ５５の各処理を行うフレームである処理対象フレームを更新し、ステップＳ５３に処理を戻す。

図８は、背景モデル構築装置１Ａが行う初期背景モデル生成処理のフローチャートである。

ステップＳ６１において、背景モデル構築装置１Ａは、初期背景モデル生成部１２Ａにより、ステップＳ５１において入力を受け付けた空舞台のＬ映像およびＲ映像を用いて、画素値に基づく初期背景モデルの生成を行って、ステップＳ６２に処理を移す。

ステップＳ６２において、背景モデル構築装置１Ａは、フレーム平滑化部１３Ａにより、ステップＳ５１において入力を受け付けた空舞台のＬ映像およびＲ映像から、空舞台のＬ映像の全ての画素値を平均した平滑化画像と、空舞台のＲ映像の全ての画素値を平均した平滑化画像と、を生成し、ステップＳ６３に処理を移す。

ステップＳ６３において、背景モデル構築装置１Ａは、ステレオ対応点探索部２１により、空舞台のＬ映像およびＲ映像に対してステレオ対応関係の探索を行って、ステップＳ６４に処理を移す。

ステップＳ６４において、背景モデル構築装置１Ａは、奥行情報算出部２２により、初期奥行情報を求め、ステップＳ６５に処理を移す。具体的には、ステップＳ６３において生成した左側の平行ステレオ画像および右側の平行ステレオ画像を用いて、これら左右の平行ステレオ画像の各画素により指し示される各点の奥行値を求め、初期奥行情報とする。

ステップＳ６５において、背景モデル構築装置１Ａは、奥行信頼値マップ生成部２３により、ステップＳ６４において求めた初期奥行情報の信頼度を画素ごとに求め、ステップＳ６６に処理を移す。

ステップＳ６６において、背景モデル構築装置１Ａは、領域分割部１４により、ステップＳ６２において生成した平滑化画像に対して領域分割処理を行って、図８に示した初期背景モデル生成処理を終了する。

図９、１０は、背景モデル構築装置１Ａが行う背景モデル更新処理のフローチャートである。

ステップＳ７１において、背景モデル構築装置１Ａは、ステレオ対応点探索部２１により、ステップＳ５３において入力を受け付けた現在のフレームのＬ画像およびＲ画像に対してステレオ対応関係の探索を行って、ステップＳ７２に処理を移す。

ステップＳ７２において、背景モデル構築装置１Ａは、奥行情報算出部２２により、ステップＳ５３において入力を受け付けた現在のフレームのＬ画像およびＲ画像から奥行情報を求め、ステップＳ７３に処理を移す。

ステップＳ７３において、背景モデル構築装置１Ａは、前景候補領域抽出部１５により、ステップＳ５３において入力を受け付けた現在のフレームのＬ画像およびＲ画像から前景候補領域を抽出し、ステップＳ７４に処理を移す。

ステップＳ７４において、背景モデル構築装置１Ａは、背景モデル更新部１６Ａにより、ステップＳ７３において前景候補領域を抽出した結果に基づいて、画素ごとに、前景候補であるか否かを判別する。そして、前景候補であると判別した場合には、ステップＳ７６に処理を移し、前景候補ではないと判別した場合には、ステップＳ７５に処理を移す。

ステップＳ７５において、背景モデル構築装置１Ａは、背景モデル更新部１６Ａにより、対象画素の現在の画素値を用いて、背景モデルを更新し、図９、１０に示した背景モデル更新処理を終了する。

ステップＳ７６において、背景モデル構築装置１Ａは、背景モデル更新部１６Ａにより、ステップＳ７４において前景候補であると判別した画素ごとに、ステップＳ６５において求めた初期奥行信頼値が予め定められた閾値より大きいか否かを判別する。そして、大きい場合には、ステップＳ７９に処理を移し、大きくない場合には、ステップＳ７７に処理を移す。

ステップＳ７７において、背景モデル構築装置１Ａは、背景モデル更新部１６Ａにより、ステップＳ７４において前景候補であると判別した画素ごとに、対象画素を含む分割領域の画素値の中央値と、対象画素の画素値と、の差分を求める。そして、求めた差分が予め定められた閾値より大きい場合には、対象画素が真に前景であると判断し、ステップＳ７８に処理を移す。一方、求めた差分が予め定められた閾値以下である場合には、対象画素が背景であると判断し、ステップＳ７５に処理を移す。

ステップＳ７８において、背景モデル構築装置１Ａは、背景モデル更新部１６Ａにより、対象画素の現在の画素値を破棄し、対象画素を含む分割領域の画素値の中央値を用いて、背景モデルを更新し、図９、１０に示した背景モデル更新処理を終了する。

ステップＳ７９において、背景モデル構築装置１Ａは、背景モデル更新部１６Ａにより、ステップＳ７４において前景候補であると判別した画素ごとに、ステップＳ６４において求めた初期奥行情報から現在の奥行値を減算した値が予め定められた閾値より大きいか否かを判別する。そして、大きい場合には、対象画素が真に前景であると判断し、ステップＳ８０に処理を移す。一方、大きくない場合には、対象画素が背景であると判断し、ステップＳ７５に処理を移す。

ステップＳ８０において、背景モデル構築装置１Ａは、背景モデル更新部１６Ａにより、対象画素の現在の画素値を破棄し、直前のフレームで背景モデルを更新するのに用いた値を用いて、背景モデルを更新し、図９、１０に示した背景モデル更新処理を終了する。なお、現在のフレームが最初のフレームである場合には、空舞台の撮影時の平均画素値を用いて、背景モデルを更新する。

以上の背景モデル構築装置１Ａによれば、以下の効果を奏することができる。

背景モデル構築装置１Ａは、テクスチャが複雑な領域については、左右の平行ステレオ画像の視差情報を用いて奥行情報を求め、この奥行情報に基づいて背景モデルを更新する。このため、照明変動や前景の変形などが発生した場合であっても、動的な背景モデルを的確に構築できる。

また、背景モデル構築装置１Ａは、テクスチャが少ない領域については、画像を分割した各分割領域の画素情報に基づいて背景モデルを更新する。このため、テクスチャが少ない領域が存在している場合であっても、動的な背景モデルを的確に構築できる。

また、背景モデル構築装置１Ａは、奥行情報の信頼度を求め、この奥行情報の信頼度に基づいて、テクスチャが複雑な領域であるのか、テクスチャが少ない領域であるのかを判断する。このため、テクスチャに応じて適した方法で、背景モデルを更新することができる。

また、背景モデル構築装置１Ａは、対象画素の初期奥行情報と現在の奥行情報との差異に基づいて、対象画素が前景であるか否かを判断する。このため、前景領域を的確に求めることができ、動的な背景モデルをより的確に構築できる。

また、背景モデル構築装置１Ａは、奥行情報の信頼度が高く、かつ、上述の差異に基づいて対象画素が前景であると判断した画素については、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新する。このため、テクスチャが複雑な前景領域については、動的な背景モデルの更新に対する影響を大幅に抑えることができ、動的な背景モデルをより的確に構築できる。

また、背景モデル構築装置１Ａは、背景モデル構築装置１と同様に、空舞台の画像について、画素値に基づいて複数の領域に分割して、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割する。このため、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における現在のフレームの画像においても、前景領域でなければ類似しているものと想定できる。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値とみなすことが可能である。

そこで、背景モデル構築装置１Ａは、奥行情報の信頼度が高く、かつ、上述の差分に基づいて対象画素が前景であると判断した画素については、対象画素を含む領域の画素値の中央値を用いて背景モデルを更新する。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、動的な背景モデルを的確に構築できる。

なお、本発明の背景モデル構築装置１や背景モデル構築装置１Ａの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを背景モデル構築装置１や背景モデル構築装置１Ａに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、背景モデル構築装置１や背景モデル構築装置１Ａに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した背景モデル構築装置１や背景モデル構築装置１Ａから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を背景モデル構築装置１や背景モデル構築装置１Ａにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第２実施形態において、図８のステップＳ６６の処理は、ステップＳ６５の処理の後に行うものとしたが、これに限らず、ステップＳ６２の処理が完了した後であればいつ行ってもよい。

１、１Ａ・・・背景モデル構築装置
１１、１１Ａ・・・制御部
１２、１２Ａ・・・初期背景モデル生成部
１３、１３Ａ・・・フレーム平滑化部
１４・・・領域分割部
１５・・・前景候補領域抽出部
１６、１６Ａ・・・背景モデル更新部
２１・・・ステレオ対応点探索部
２２・・・奥行情報算出部
２３・・・奥行信頼値マップ生成部

Claims (10)

1. 動的な背景モデルを構築する背景モデル構築装置であって、
   画素値に基づいて、前景領域を含まない空舞台の画像を複数の領域に分割する領域分割手段と、
   前景領域を含み得る画像を前記複数の領域に分割して得られる各領域の画素情報に基づいて、背景モデルを更新する背景モデル更新手段と、を備えることを特徴とする背景モデル構築装置。
2. 前記領域分割手段は、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように、前記空舞台の画像を前記複数の領域に分割することを特徴とする請求項１に記載の背景モデル構築装置。
3. 前記背景モデル更新手段は、処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする請求項１または２に記載の背景モデル構築装置。
4. 前記背景モデル更新手段は、
   前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、
   前記差分に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする請求項３に記載の背景モデル構築装置。
5. ステレオ画像の視差情報を求めるステレオ対応点探索手段を備え、
   前記背景モデル更新手段は、前記領域分割手段により分割された各領域の画素情報と、前記ステレオ対応点探索手段により求められた視差情報と、に基づいて、背景モデルを更新することを特徴とする請求項１から４のいずれかに記載の背景モデル構築装置。
6. 前記ステレオ対応点探索手段により求められた視差情報から奥行情報を求める奥行情報算出手段と、
   前記奥行情報算出手段により求められた奥行情報の信頼度を求める奥行信頼値マップ生成手段を備え、
   前記背景モデル更新手段は、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度に基づいて、前記領域分割手段により分割された各領域の画素情報に基づいて背景モデルを生成するのか、前記ステレオ対応点探索手段により求められた視差情報に基づいて背景モデルを生成するのかを、画素ごとに決定することを特徴とする請求項５に記載の背景モデル構築装置。
7. 前記背景モデル更新手段は、前景を含まないステレオ画像から前記奥行情報算出手段により求められた対象画素の初期奥行情報と、当該対象画素の現在の奥行情報と、の差異に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする請求項６に記載の背景モデル構築装置。
8. 前記背景モデル更新手段は、
   処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、
   前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値より大きく、かつ、前記差異に基づいて対象画素が前景であると判断した場合には、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新し、
   前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値以下で、かつ、前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、
   前記差分または前記差異に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする請求項７に記載の背景モデル構築装置。
9. 領域分割手段および背景モデル更新手段を備え、動的な背景モデルを構築する背景モデル構築装置における背景モデル構築方法であって、
   前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第１のステップと、
   前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第２のステップと、を備えることを特徴とする背景モデル構築方法。
10. 領域分割手段および背景モデル更新手段を備え、動的な背景モデルを構築する背景モデル構築装置における背景モデル構築方法を、コンピュータに実行させるためのプログラムであって、
    前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第１のステップと、
    前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第２のステップと、をコンピュータに実行させるためのプログラム。

Images