JP2014164446A - 背景モデル構築装置、背景モデル構築方法、およびプログラム - Google Patents

背景モデル構築装置、背景モデル構築方法、およびプログラム Download PDF

Info

Publication number
JP2014164446A
JP2014164446A JP2013033791A JP2013033791A JP2014164446A JP 2014164446 A JP2014164446 A JP 2014164446A JP 2013033791 A JP2013033791 A JP 2013033791A JP 2013033791 A JP2013033791 A JP 2013033791A JP 2014164446 A JP2014164446 A JP 2014164446A
Authority
JP
Japan
Prior art keywords
background model
pixel
foreground
image
based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013033791A
Other languages
English (en)
Other versions
JP6054771B2 (ja
Inventor
Kentaro Yamada
健太郎 山田
Tomohito Ueno
智史 上野
Hitoshi Naito
整 内藤
Original Assignee
Kddi Corp
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi Corp, Kddi株式会社 filed Critical Kddi Corp
Priority to JP2013033791A priority Critical patent/JP6054771B2/ja
Publication of JP2014164446A publication Critical patent/JP2014164446A/ja
Application granted granted Critical
Publication of JP6054771B2 publication Critical patent/JP6054771B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】照明変動や前景の変形が発生し得る環境において撮影された画像に、テクスチャの少ない領域が存在している場合であっても、前景領域を適切に抽出できる動的な背景モデルを構築できること。
【解決手段】背景モデル構築装置1は、領域分割部14および背景モデル更新部16を備える。領域分割部14は、画素値に基づいて、画像を複数の分割領域に分割する。背景モデル更新部16は、領域分割部14により分割された各分割領域の画素情報に基づいて、背景モデルを更新する。
【選択図】図1

Description

本発明は、動的な背景モデルを構築する背景モデル構築装置、背景モデル構築方法、およびプログラムに関する。

従来、予め定められた位置に固定された固定カメラにより撮影された映像から、人物や移動する物体などの、動的な前景領域を抽出する技術が提案されている。

例えば非特許文献1には、固定カメラ環境において動的な前景領域を抽出するために、混合ガウス分布で表現した背景モデルを構築する技術が、示されている。また、この非特許文献1には、混合ガウス分布の分布数をシーンに合わせて動的に変更することで、照明変動などの一時的な背景の見かけの変化に対して頑健な動的な背景モデルを構築する技術も、示されている。

また、非特許文献2には、動的な背景モデルを構築する技術は示されていないが、複数のカメラを利用したステレオ視で得られる視差に基づいて、前景領域を抽出する技術が、示されている。

島田,有田,谷口,"適応的な分布数の増減法を利用した混合ガウス分布による高速な動的背景モデル構築,"電子情報通信学会論文誌Vol.J90-D, No.9, pp.2606-2614,2007. Yuri Ivanov, Aaron Bobick, John Liu "Fast Lighting Independnt Background Subtracion" International Journal of Computer Vision (IJCV) 37(2), pp.199-207, 2000 Chris Stauffer and W.E.L Grimson. Adaptive background mixture models for real-time tracking. Computer Vision and Pattern Recognition, Vol.2, pp.246-252, 1999. OpenCV 2.4.3、[online]、[平成25年1月28日検索]、インターネット<URL:http://opencv.org/> Hirschmuller, H. Stereo Processing by Semiglobal Matching and Mutual Information, PAMI(30), No.2, February 2008, pp.328-341. Zhang, Z. , A flexible new technique for camera calibration, IEEE JOURNALS & MAGAZINES, Volume:22, Issue:11, Page(s):1330-1334, 2000.

非特許文献1に示されている上述の技術では、前景が移動している場合には、この前景を背景と混同することなく逐次動的な背景モデルを構築できる。しかし、前景が移動を一時的に停止するなどによって前景が静止に近い状態にある場合には、前景と背景とを本質的に区別することが難しく、時間が経過するに従って、前景領域が背景領域とみなされていき、前景領域が背景領域に溶け込んでいく現象が発生してしまっていた。

そこで、非特許文献1には、前景領域が背景領域に溶け込んでいく現象を解決するために、背景モデルの構築とは別に、テンプレートマッチングといった手法により前景領域を追跡する技術も示されている。しかし、この前景領域を追跡する技術は、照明変動や前景の変形に対して頑健ではない。このため、照明変動や前景の変形などにより、テンプレートマッチングにより生成した初期のテンプレートとは前景領域が異なる場合には、上述のように前景が静止に近い状態になってしまうと、前景領域を適切に抽出できる動的な背景モデルを構築することはできなかった。

非特許文献1による上述の問題は、一般的な背景でかつ照明の変動が存在する環境において、途中で一時的に静止するような動作を行う人物の領域を前景領域として抽出する場合に、特に顕著化する。途中で一時的に静止するような動作を行う人物の領域とは、例えば、直立しており、下半身の動きは少ないが、頭や手などの上半身は動いている人物の領域のことである。

一方、非特許文献2に示されているステレオ視で得られる視差は、照明変動による影響を受けにくい。しかし、模様の少ない領域や、のっぺりした領域といった、テクスチャの少ない領域では、視差の推定が困難である。このため、非特許文献2で示されている技術では、テクスチャの少ない領域が存在している場合に、前景領域を適切には抽出できなかった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、照明変動や前景の変形が発生し得る環境において撮影された画像に、テクスチャの少ない領域が存在している場合であっても、前景領域を適切に抽出できる動的な背景モデルを構築できることを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、動的な背景モデルを構築する背景モデル構築装置(例えば、図1の背景モデル構築装置1に相当)であって、画素値に基づいて、前景領域を含まない空舞台の画像を複数の領域に分割する領域分割手段(例えば、図1の領域分割部14に相当)と、前景領域を含み得る画像を前記複数の領域に分割して得られる各領域の画素情報に基づいて、背景モデルを更新する背景モデル更新手段(例えば、図1の背景モデル更新部16に相当)と、を備えることを特徴とする背景モデル構築装置を提案している。

ここで、動的な背景モデルを構築する対象となる画像のことを、対象画像と呼ぶこととする。すると、前景領域を含まない空舞台の画像とは、前景が映っていない対象画像のことであり、前景領域を含み得る画像とは、対象画像のことである。

そこで、この発明によれば、画素値に基づいて、前景が映っていない対象画像を複数の領域に分割し、対象画像をこれら複数の領域に分割して得られる各領域の画素情報に基づいて、背景モデルを更新することとした。このため、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように対象画像を分割し、分割した各領域内の各画素の画素情報を参照することで、各画素について前景であるか否かを判断することができる。したがって、前景が静止に近い状態であっても、この前景領域の画素値を背景モデルの更新に用いないようにすることができる。したがって、前景領域が背景領域に溶け込んでいってしまうのを抑制可能である動的な背景モデルを構築できる。

(2) 本発明は、(1)の背景モデル構築装置について、前記領域分割手段は、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように、前記空舞台の画像を前記複数の領域に分割することを特徴とする背景モデル構築装置を提案している。

ここで、空舞台の画像について、画素値に基づいて複数の領域に分割して、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割したものとする。すると、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における対象画像においても、前景領域でなければ類似しているものと想定できる。

そこで、この発明によれば、(1)の背景モデル構築装置において、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように、空舞台の画像を複数の領域に分割することした。このため、同一の領域に含まれる対象画像の各画素の画素値が類似しているか否かを判断することによって、画素が前景であるか否かを判断することができる。

(3) 本発明は、(1)または(2)の背景モデル構築装置について、前記背景モデル更新手段は、処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

ここで、上述のように、空舞台の画像について、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割したものとすると、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における対象画像においても、前景領域でなければ類似しているものと想定できる。このため、対象画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値とみなすことが可能である。

そこで、この発明によれば、(1)または(2)の背景モデル構築装置において、対象画素を含む領域の画素値の中央値と、対象画素の画素値と、の差分に基づいて、対象画素が前景であるか否かを判断し、背景モデルを更新することとした。このため、上述の差分が大きい場合には、対象画素が前景であると判断し、上述の差分が小さい場合には、対象画素が背景であると判断することで、前景領域を的確に求めることができ、動的な背景モデルを的確に構築できる。

(4) 本発明は、(3)の背景モデル構築装置について、前記背景モデル更新手段は、前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、前記差分に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

この発明によれば、(3)の背景モデル構築装置において、上述の差分に基づいて対象画素が前景であると判断した場合には、対象画素を含む領域の画素値の中央値を用いて背景モデルを更新することとした。このため、対象画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、動的な背景モデルを的確に構築できる。

また、この発明によれば、(3)の背景モデル構築装置において、上述の差分に基づいて対象画素が前景ではないと判断した場合には、対象画素の現在の画素値を用いて背景モデルを更新することとした。このため、背景領域については、画素値をそのまま用いて背景モデルを更新することができるので、動的な背景モデルを的確に構築できる。

(5) 本発明は、(1)から(4)のいずれかの背景モデル構築装置について、ステレオ画像の視差情報を求めるステレオ対応点探索手段(例えば、図5のステレオ対応点探索部21に相当)を備え、前記背景モデル更新手段は、前記領域分割手段により分割された各領域の画素情報と、前記ステレオ対応点探索手段により求められた視差情報と、に基づいて、背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

この発明によれば、(1)から(4)のいずれかの背景モデル構築装置において、背景モデルの更新を、画像を分割した各領域の画素情報と、ステレオ画像の視差情報と、に基づいて行うこととした。このため、テクスチャが複雑な領域については、ステレオ画像の視差情報に基づいて背景モデルを更新することで、照明変動や前景の変形などが発生した場合であっても、動的な背景モデルを的確に構築できる。一方、テクスチャが少ない領域については、画像を分割した各領域の画素情報に基づいて背景モデルを更新することで、テクスチャが少ない領域が存在している場合であっても、動的な背景モデルを的確に構築できる。

(6) 本発明は、(5)の背景モデル構築装置について、前記ステレオ対応点探索手段により求められた視差情報から奥行情報を求める奥行情報算出手段(例えば、図5の奥行情報算出部22に相当)と、前記奥行情報算出手段により求められた奥行情報の信頼度を求める奥行信頼値マップ生成手段(例えば、図5の奥行信頼値マップ生成部23に相当)を備え、前記背景モデル更新手段は、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度に基づいて、前記領域分割手段により分割された各領域の画素情報に基づいて背景モデルを生成するのか、前記ステレオ対応点探索手段により求められた視差情報に基づいて背景モデルを生成するのかを、画素ごとに決定することを特徴とする背景モデル構築装置を提案している。

ここで、一般的に、視差情報から奥行情報を求めることができ、テクスチャが複雑な領域では、奥行情報の信頼度が高くなり、テクスチャが少ない領域では、奥行情報の信頼度が低くなる。

そこで、この発明によれば、(5)の背景モデル構築装置において、視差情報から求めた奥行情報の信頼度に基づいて、背景モデルの更新を、画像を分割した各領域の画素情報に基づいて行うのか、ステレオ画像の視差情報に基づいて行うのかを、画素ごとに決定することとした。このため、奥行情報の信頼度に基づいて、テクスチャが複雑な領域であるのか、テクスチャが少ない領域であるのかを判断することができる。したがって、テクスチャに応じて適した方法で、背景モデルを更新することができる。

(7) 本発明は、(6)の背景モデル構築装置について、前記背景モデル更新手段は、前景を含まないステレオ画像から前記奥行情報算出手段により求められた対象画素の初期奥行情報と、当該対象画素の現在の奥行情報と、の差異に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

ここで、前景領域の画素の奥行情報と、空舞台を撮影した映像におけるこの画素の奥行情報とは、大きく異なることになる。

そこで、この発明によれば、(6)の背景モデル構築装置において、対象画素の初期奥行情報と現在の奥行情報との差異に基づいて、対象画素が前景であるか否かを判断し、背景モデルを更新することとした。このため、上述の差異が大きい場合には、対象画素が前景であると判断し、上述の差異が小さい場合には、対象画素が背景であると判断することで、前景領域を的確に求めることができ、動的な背景モデルをより的確に構築できる。

(8) 本発明は、(7)の背景モデル構築装置について、前記背景モデル更新手段は、処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値より大きく、かつ、前記差異に基づいて対象画素が前景であると判断した場合には、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新し、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値以下で、かつ、前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、前記差分または前記差異に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする背景モデル構築装置を提案している。

この発明によれば、(7)の背景モデル構築装置において、奥行情報の信頼度が高く、かつ、上述の差異に基づいて対象画素が前景であると判断した場合には、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新することとした。このため、テクスチャが複雑な前景領域については、動的な背景モデルの更新に対する影響を大幅に抑えることができ、動的な背景モデルをより的確に構築できる。

また、この発明によれば、(7)の背景モデル構築装置において、奥行情報の信頼度が高く、かつ、上述の差分に基づいて対象画素が前景であると判断した場合には、対象画素を含む領域の画素値の中央値を用いて背景モデルを更新することとした。このため、対象画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、動的な背景モデルを的確に構築できる。

また、この発明によれば、(7)の背景モデル構築装置において、上述の差分または差異に基づいて対象画素が前景ではないと判断した場合には、対象画素の現在の画素値を用いて背景モデルを更新することとした。このため、背景領域については、画素値をそのまま用いて背景モデルを更新することができるので、動的な背景モデルを的確に構築できる。

(9) 本発明は、領域分割手段(例えば、図1の領域分割部14に相当)および背景モデル更新手段(例えば、図1の背景モデル更新部16に相当)を備え、動的な背景モデルを構築する背景モデル構築装置(例えば、図1の背景モデル構築装置1に相当)における背景モデル構築方法であって、前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第1のステップ(例えば、図3のステップS13の処理に相当)と、前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第2のステップ(例えば、図4のステップS24、S25の処理に相当)と、を備えることを特徴とする背景モデル構築方法を提案している。

この発明によれば、画素値に基づいて画像を複数の領域に分割し、分割した各領域の画素情報に基づいて背景モデルを更新することとした。このため、上述した効果と同様の効果を奏することができる。

(10) 本発明は、領域分割手段(例えば、図1の領域分割部14に相当)および背景モデル更新手段(例えば、図1の背景モデル更新部16に相当)を備え、動的な背景モデルを構築する背景モデル構築装置(例えば、図1の背景モデル構築装置1に相当)における背景モデル構築方法を、コンピュータに実行させるためのプログラムであって、前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第1のステップ(例えば、図3のステップS13の処理に相当)と、前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第2のステップ(例えば、図4のステップS24、S25の処理に相当)と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、画素値に基づいて画像を複数の領域に分割し、分割した各領域の画素情報に基づいて背景モデルを更新することとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、照明変動や前景の変形が発生し得る環境において撮影された画像に、テクスチャの少ない領域が存在している場合であっても、前景領域を適切に抽出できる動的な背景モデルを構築できる。

本発明の第1実施形態に係る背景モデル構築装置のブロック図である。 前記実施形態に係る背景モデル構築装置が行う背景モデル構築処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う初期背景モデル生成処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う背景モデル更新処理のフローチャートである。 本発明の第2実施形態に係る背景モデル構築装置のブロック図である。 前記実施形態に係る背景モデル構築装置が行うステレオ対応関係の探索について説明するための図である。 前記実施形態に係る背景モデル構築装置が行う背景モデル構築処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う初期背景モデル生成処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う背景モデル更新処理のフローチャートである。 前記実施形態に係る背景モデル構築装置が行う背景モデル更新処理のフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

<第1実施形態>
[背景モデル構築装置1の構成および動作]
図1は、本発明の第1実施形態に係る背景モデル構築装置1のブロック図である。背景モデル構築装置1は、制御部11、初期背景モデル生成部12、フレーム平滑化部13、領域分割部14、前景候補領域抽出部15、および背景モデル更新部16を備える。

制御部11は、1台のカメラで撮影された映像や画像の入力を受け付けたり、種々の処理(例えば、後述のステップS5の処理など)を行ったりする。制御部11が入力を受け付ける映像としては、前景を含まないシーン(空舞台)の映像がある。空舞台の映像は、動的な背景モデルを構築する対象となる映像であって前景が映っていないもののことであり、例えば、動的な背景モデルの構築を開始する際に、制御部11に入力される。また、制御部11が入力を受け付ける画像としては、現在のフレームの画像がある。現在のフレームの画像は、前景を含み得るシーンの画像、言い換えると動的な背景モデルを構築する対象となる映像を構成する各画像のことであり、例えば、背景モデルを更新する期間においてフレームが更新されるたびに、制御部11に入力される。

初期背景モデル生成部12は、画素値に基づく初期背景モデルの生成を行う。具体的には、制御部11により入力が受け付けられた空舞台の映像を用いて、非特許文献3に示されている技術により、以下のようにして画素ごとに初期背景モデルの構築を行う。

ここで、上述の空舞台の映像を構成する複数のカメラ画像のうちの1つのカメラ画像I(x、y)に着目し、時刻tにおける画素{x、y}の画素値をXと表すこととする。すると、時刻tまでに得られた画素値{X、X、・・・X}は、K個のガウス分布を用いてモデル化することができ、現在の画素Xが持つ確率は、以下の数式(1)で表すことができる。

数式(1)において、wk,tは、時刻tにおけるk番目のガウス分布が持つ重みを示し、μk、tは、時刻tにおけるk番目のガウス分布の平均値を示し、Σk、tは、時刻tにおけるk番目のガウス分布の分散共分散行列を示す。また、Kは、ガウス分布の数を示し、利用可能なメモリ領域に応じて予め設定され、通常3〜5程度が適当である。また、ηは、以下の数式(2)で表されるガウス分布の密度関数である。

すると、初期背景モデル生成部12は、まず、時刻t+1において新たに観測された画素値Xt+1がマッチする分布をK個の分布の中から探す。具体的には、画素値Xt+1が分布の平均値から標準偏差2.5以内であれば、その分布にマッチしているものとする。

次に、マッチする分布を見つけた場合には、K個のガウス分布の重みと、マッチする分布の平均値および分散値と、を更新する。一方、マッチする分布を見つけることができなかった場合には、分散が大きく重みが小さい分布を削除して、新たに現在の画素値を平均値とし、削除した分散値および重みを用いて分布を作成する。

次に、以下の数式(3)を満たすB個の分布を、新たな背景モデルとする。数式(3)において、Tは、予め定められた閾値を示す。この数式(3)は、ガウス分布の重みを照合度の高い順に足し合わせていき、その重みの合計が閾値Tを初めて越えるときの分布までを、背景モデルとして利用することを、意味している。

フレーム平滑化部13は、制御部11により入力が受け付けられた空舞台の映像から、この映像の全ての画素値を平均した平滑化画像を生成する。

領域分割部14は、フレーム平滑化部13により生成された平滑化画像に対して領域分割処理を行う。この領域分割処理によれば、互いに隣接しており画素値が類似する画素同士は、同一の分割領域に分類され、平滑化画像が複数の分割領域に分割されることになる。なお、領域分割処理には、例えば、非特許文献4に示されているOpenCVにて画像ピラミッドを利用する手法(PyrSegmentation())や、Mean-Shift法による手法(PyrMeanShiftFiltering())のプログラムを用いることができる。

前景候補領域抽出部15は、制御部11により入力が受け付けられた現在のフレームの画像から、前景候補領域を抽出する。具体的には、非特許文献3に示されている技術により、画素値Xがマッチする分布を探すことにより、制御部11により入力が受け付けられた現在のフレームの画像から前景候補領域を抽出する。画素値Xがマッチするか否かは、例えば、現在の画素値が分布の平均値から標準偏差2.5以内であれば、その分布にマッチしているものとし、その分布が背景モデルである場合にはその画素を背景とし、その分布が背景モデルではない場合にはその画素を前景候補とする。

背景モデル更新部16は、現在のフレームの画像に基づいて背景モデルを更新する。具体的には、画素ごとに、真に前景であるか否かを判断する。そして、真に前景であると判断した画素については、その画素の現在の画素値を破棄し、その画素を含む分割領域の中央値を用いて、背景モデルを更新する。一方、背景であると判断された画素については、その画素の現在の画素値を用いて、背景モデルを更新する。

以上の構成を備える背景モデル構築装置1は、図2を用いて後述する背景モデル構築処理を行って、画素ごとに、初期の背景モデルである初期背景モデルの生成と、背景モデルの更新と、を行う。

図2は、背景モデル構築装置1が行う背景モデル構築処理のフローチャートである。

ステップS1において、背景モデル構築装置1は、制御部11により、空舞台の映像の入力を受け付ける。そして、空舞台の映像が入力されると、ステップS2に処理を移す。

ステップS2において、背景モデル構築装置1は、初期背景モデル生成処理を行って初期背景モデルを生成し、ステップS3に処理を移す。背景モデル構築装置1が行う初期背景モデル生成処理の詳細については、図3を用いて後述する。

ステップS3において、背景モデル構築装置1は、制御部11により、現在のフレームの画像の入力を受け付ける。そして、現在のフレームの画像が入力されると、ステップS4に処理を移す。

ステップS4において、背景モデル構築装置1は、背景モデル更新処理を行って、現在のフレームの画像に基づいて背景モデルの更新を行い、ステップS5に処理を移す。背景モデル構築装置1が行う背景モデル更新処理の詳細については、図4を用いて後述する。

ステップS5において、背景モデル構築装置1は、制御部11により、最終フレームまで背景モデルの更新を行ったか否かを判別する。そして、行ったと判別した場合には、図2に示した背景モデル構築処理を終了し、行っていないと判別した場合には、ステップS6に処理を移す。

ステップS6において、背景モデル構築装置1は、制御部11により、ステップS3〜S5の各処理を行うフレームである処理対象フレームを更新し、ステップS3に処理を戻す。

図3は、背景モデル構築装置1が行う初期背景モデル生成処理のフローチャートである。

ステップS11において、背景モデル構築装置1は、初期背景モデル生成部12により、ステップS1において入力を受け付けた空舞台の映像を用いて、画素値に基づく初期背景モデルの生成を行って、ステップS12に処理を移す。

ステップS12において、背景モデル構築装置1は、フレーム平滑化部13により、ステップS1において入力を受け付けた空舞台の映像から、この映像の全ての画素値を平均した平滑化画像を生成し、ステップS13に処理を移す。

ステップS13において、背景モデル構築装置1は、領域分割部14により、ステップS12において生成した平滑化画像に対して領域分割処理を行って、図3に示した初期背景モデル生成処理を終了する。

図4は、背景モデル構築装置1が行う背景モデル更新処理のフローチャートである。

ステップS21において、背景モデル構築装置1は、前景候補領域抽出部15により、ステップS3において入力を受け付けた現在のフレームの画像から前景候補領域を抽出し、ステップS22に処理を移す。

ステップS22において、背景モデル構築装置1は、背景モデル更新部16により、ステップS21において前景候補領域を抽出した結果に基づいて、画素ごとに、前景候補であるか否かを判別する。そして、前景候補であると判別した場合には、ステップS23に処理を移し、前景候補ではないと判別した場合には、ステップS25に処理を移す。

ステップS23において、背景モデル構築装置1は、背景モデル更新部16により、現在のフレームの画像をステップS13における複数の分割領域に分割して得られる各領域の画素情報に基づいて、ステップS22において前景候補であると判別した画素ごとに、真に前景であるか否かを判断する。具体的には、まず、現在のフレームの画像を、ステップS13において分割した複数の分割領域に分割する。次に、ステップS22において前景候補であると判別した画素ごとに、現在のフレーム画像の各分割領域のうちその画素(以降、対象画素と呼ぶ)が含まれる分割領域の画素値の中央値と、対象画素の画素値と、の差分を求める。次に、求めた差分が予め定められた閾値より大きい場合には、対象画素が真に前景であると判断し、ステップS24に処理を移す。一方、求めた差分が予め定められた閾値以下である場合には、対象画素が背景であると判断し、ステップS25に処理を移す。

ステップS24において、背景モデル構築装置1は、背景モデル更新部16により、対象画素の現在の画素値を破棄し、対象画素を含む分割領域の画素値の中央値を用いて、背景モデルを更新し、図4に示した背景モデル更新処理を終了する。

ステップS25において、背景モデル構築装置1は、背景モデル更新部16により、対象画素の現在の画素値を用いて、背景モデルを更新し、図4に示した背景モデル更新処理を終了する。

以上の背景モデル構築装置1によれば、以下の効果を奏することができる。

背景モデル構築装置1は、空舞台の画像について、画素値に基づいて複数の領域に分割して、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割する。このため、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における現在のフレームの画像においても、前景領域でなければ類似しているものと想定できる。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値とみなすことが可能である。

そこで、背景モデル構築装置1は、対象画素を含む分割領域の画素値の中央値と、対象画素の画素値と、の差分に基づいて、対象画素が前景であるか否かを判断する。このため、前景領域を的確に求めることができ、動的な背景モデルを的確に構築できる。

また、背景モデル構築装置1は、前景であると判断した画素については、この画素を含む分割領域の画素値の中央値を用いて背景モデルを更新する。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、前景領域が背景領域に溶け込んでいってしまうのを抑制可能である動的な背景モデルを構築できる。

また、背景モデル構築装置1は、背景であると判断した画素については、この画素の現在の画素値を用いて背景モデルを更新する。このため、背景領域については、画素値をそのまま用いて背景モデルを更新することができるので、動的な背景モデルを的確に構築できる。

<第2実施形態>
[背景モデル構築装置1Aの構成および動作]
図1は、本発明の第2実施形態に係る背景モデル構築装置1Aのブロック図である。背景モデル構築装置1Aは、図1に示した本発明の第1実施形態に係る背景モデル構築装置1とは、制御部11の代わりに制御部11Aを備える点と、初期背景モデル生成部12の代わりに初期背景モデル生成部12Aを備える点と、フレーム平滑化部13の代わりにフレーム平滑化部13Aを備える点と、背景モデル更新部16の代わりに背景モデル更新部16Aを備える点と、ステレオ対応点探索部21、奥行情報算出部22、および奥行信頼値マップ生成部23を備える点と、が異なる。なお、背景モデル構築装置1Aにおいて、背景モデル構築装置1と同一構成要件については、同一符号を付し、その説明を省略する。

制御部11Aは、2台のカメラのそれぞれで撮影された映像や画像の入力を受け付けたり、種々の処理(例えば、後述のステップS55の処理など)を行ったりする。制御部11Aが入力を受け付ける映像としては、2台のカメラのうち左側に配置されたもので撮影された空舞台の映像(以降、空舞台のL映像と呼ぶ)と、2台のカメラのうち右側に配置されたもので撮影された空舞台の映像(以降、空舞台のR映像と呼ぶ)と、がある。空舞台のL映像およびR映像は、例えば、動的な背景モデルの構築を開始する際に、制御部11Aに入力される。また、制御部11Aが入力を受け付ける画像としては、2台のカメラのうち左側に配置されたもので撮影された現在のフレームの画像(以降、現在のフレームのL画像と呼ぶ)と、2台のカメラのうち右側に配置されたもので撮影された現在のフレームの画像(以降、現在のフレームのR画像と呼ぶ)と、がある。現在のフレームのL画像およびR画像は、前景を含み得るシーンの画像であり、例えば、背景モデルを更新する期間においてフレームが更新されるたびに、制御部11Aに入力される。

初期背景モデル生成部12Aは、初期背景モデル生成部12と同様に、画素値に基づく初期背景モデルの生成を行う。ただし、初期背景モデル生成部12が、1台のカメラで撮影された空舞台の映像を用いて初期背景モデルを生成するのに対して、初期背景モデル生成部12Aは、2台のカメラで撮影された空舞台の映像(空舞台のL映像およびR映像)を用いて初期背景モデルを生成する。

フレーム平滑化部13Aは、フレーム平滑化部13と同様に、平滑化画像を生成する。ただし、フレーム平滑化部13が、1台のカメラで撮影された空舞台の映像から平滑化画像を生成するのに対して、フレーム平滑化部13Aは、2台のカメラで撮影された空舞台の映像(空舞台のL映像およびR映像)のそれぞれから平滑化画像を生成する。このため、フレーム平滑化部13Aでは、2種類の平滑化画像が生成されることになる。

ステレオ対応点探索部21は、ステレオ対応関係の探索を行う。ステレオ対応関係の探索には、空舞台のL映像の平滑化画像の各画素と、空舞台のR映像の平滑化画像の各画素と、に対して行う場合(図6参照)と、現在のフレームのL画像の各画素と、現在のフレームのR画像の各画素と、に対して行う場合と、がある。ステレオ対応関係の探索では、ステレオ対応点探索部21は、非特許文献5に示されている広域領域での整合性を考慮したブロックマッチング手法を用いる。

なお、ステレオ対応関係の探索では、ステレオ対応点探索部21は、輝度ベースの対応点探索を行う。この際には、非特許文献4に示されているOpenCVのStereoSGBM()を用いることができる。

また、ステレオ対応関係の探索を行うために、ステレオ対応点探索部21は、予め、チェスボードといった既知の平面物体を利用して、非特許文献6に示されている技術に基づいて、2台のカメラのそれぞれの内部パラメータおよび外部パラメータを取得し、左側のカメラに対応する左側の平行ステレオ画像と、右側のカメラに対応する右側の平行ステレオ画像と、を作成する。具体的には、非特許文献4に示されているオープンソースライブラリOpenCVのstereoRectify()およびremap()を用いることで実現できる。

奥行情報算出部22は、ステレオ対応点探索部21により作成された左側の平行ステレオ画像および右側の平行ステレオ画像を用いて、これら左右の平行ステレオ画像の各画素により指し示される各点の奥行情報を求める。

ここで、左側の平行ステレオ画像をI(x、y)と表し、右側の平行ステレオ画像をI(x、y)と表すこととする。すると、左側の平行ステレオ画像I中の任意の点I(x、y)に対応する点は、右側の平行ステレオ画像I中ではI(x、y)上に存在することになる。なお、y=yである。そこで、左側の平行ステレオ画像の点I(x、y)に対応する右側の平行ステレオ画像の点が、点I(x、y)であるものとすると、これら平行ステレオ画像から、以下の数式(4)に示す奥行情報Zを求めることができる。

数式(4)において、cは、基線長を示し、fは、焦点距離を示し、dは、x−xで求まる視差を示す。

奥行信頼値マップ生成部23は、ステレオ対応点探索部21によるステレオ対応点探索におけるコスト関数(例えば、非特許文献6に示されている技術により定義される)を用いてブロックマッチングの信頼度を画素ごとに推定して、奥行情報算出部22により求められた奥行情報の信頼度を画素ごとに推定する。ブロックマッチングの信頼度は、上述のコスト関数の最小値と、上述のコスト関数の2番目に小さい値と、の差分により推定することができる。

背景モデル更新部16Aは、現在のフレームの画像に基づいて背景モデルを更新する。具体的には、画素ごとに、真に前景であるか否かを判断する。そして、奥行信頼値マップ生成部23により推定された奥行情報の信頼度が高く、前景であると判断した画素については、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新する。一方、奥行信頼値マップ生成部23により推定された奥行情報の信頼度が低く、前景であると判断した画素については、その画素の現在の画素値を破棄し、その画素を含む分割領域の中央値を用いて、背景モデルを更新する。また、他の場合については、その画素の現在の画素値を用いて、背景モデルを更新する。

以上の構成を備える背景モデル構築装置1Aは、図7を用いて後述する背景モデル構築処理を行って、画素ごとに、初期の背景モデルである初期背景モデルの生成と、背景モデルの更新と、を行う。

図7は、背景モデル構築装置1Aが行う背景モデル構築処理のフローチャートである。

ステップS51において、背景モデル構築装置1Aは、制御部11Aにより、空舞台のL映像およびR映像の入力を受け付ける。そして、空舞台のL映像およびR映像が入力されると、ステップS52に処理を移す。

ステップS52において、背景モデル構築装置1Aは、初期背景モデル生成処理を行って初期背景モデルを生成し、ステップS53に処理を移す。背景モデル構築装置1Aが行う初期背景モデル生成処理の詳細については、図8を用いて後述する。

ステップS53において、背景モデル構築装置1Aは、制御部11Aにより、現在のフレームのL画像およびR画像の入力を受け付ける。そして、現在のフレームのL画像およびR画像が入力されると、ステップS54に処理を移す。

ステップS54において、背景モデル構築装置1Aは、背景モデル更新処理を行って、現在のフレームの画像に基づいて背景モデルの更新を行い、ステップS55に処理を移す。背景モデル構築装置1Aが行う背景モデル更新処理の詳細については、図9、10を用いて後述する。

ステップS55において、背景モデル構築装置1Aは、制御部11Aにより、最終フレームまで背景モデルの更新を行ったか否かを判別する。そして、行ったと判別した場合には、図7に示した背景モデル構築処理を終了し、行っていないと判別した場合には、ステップS56に処理を移す。

ステップS56において、背景モデル構築装置1Aは、制御部11Aにより、ステップS53〜S55の各処理を行うフレームである処理対象フレームを更新し、ステップS53に処理を戻す。

図8は、背景モデル構築装置1Aが行う初期背景モデル生成処理のフローチャートである。

ステップS61において、背景モデル構築装置1Aは、初期背景モデル生成部12Aにより、ステップS51において入力を受け付けた空舞台のL映像およびR映像を用いて、画素値に基づく初期背景モデルの生成を行って、ステップS62に処理を移す。

ステップS62において、背景モデル構築装置1Aは、フレーム平滑化部13Aにより、ステップS51において入力を受け付けた空舞台のL映像およびR映像から、空舞台のL映像の全ての画素値を平均した平滑化画像と、空舞台のR映像の全ての画素値を平均した平滑化画像と、を生成し、ステップS63に処理を移す。

ステップS63において、背景モデル構築装置1Aは、ステレオ対応点探索部21により、空舞台のL映像およびR映像に対してステレオ対応関係の探索を行って、ステップS64に処理を移す。

ステップS64において、背景モデル構築装置1Aは、奥行情報算出部22により、初期奥行情報を求め、ステップS65に処理を移す。具体的には、ステップS63において生成した左側の平行ステレオ画像および右側の平行ステレオ画像を用いて、これら左右の平行ステレオ画像の各画素により指し示される各点の奥行値を求め、初期奥行情報とする。

ステップS65において、背景モデル構築装置1Aは、奥行信頼値マップ生成部23により、ステップS64において求めた初期奥行情報の信頼度を画素ごとに求め、ステップS66に処理を移す。

ステップS66において、背景モデル構築装置1Aは、領域分割部14により、ステップS62において生成した平滑化画像に対して領域分割処理を行って、図8に示した初期背景モデル生成処理を終了する。

図9、10は、背景モデル構築装置1Aが行う背景モデル更新処理のフローチャートである。

ステップS71において、背景モデル構築装置1Aは、ステレオ対応点探索部21により、ステップS53において入力を受け付けた現在のフレームのL画像およびR画像に対してステレオ対応関係の探索を行って、ステップS72に処理を移す。

ステップS72において、背景モデル構築装置1Aは、奥行情報算出部22により、ステップS53において入力を受け付けた現在のフレームのL画像およびR画像から奥行情報を求め、ステップS73に処理を移す。

ステップS73において、背景モデル構築装置1Aは、前景候補領域抽出部15により、ステップS53において入力を受け付けた現在のフレームのL画像およびR画像から前景候補領域を抽出し、ステップS74に処理を移す。

ステップS74において、背景モデル構築装置1Aは、背景モデル更新部16Aにより、ステップS73において前景候補領域を抽出した結果に基づいて、画素ごとに、前景候補であるか否かを判別する。そして、前景候補であると判別した場合には、ステップS76に処理を移し、前景候補ではないと判別した場合には、ステップS75に処理を移す。

ステップS75において、背景モデル構築装置1Aは、背景モデル更新部16Aにより、対象画素の現在の画素値を用いて、背景モデルを更新し、図9、10に示した背景モデル更新処理を終了する。

ステップS76において、背景モデル構築装置1Aは、背景モデル更新部16Aにより、ステップS74において前景候補であると判別した画素ごとに、ステップS65において求めた初期奥行信頼値が予め定められた閾値より大きいか否かを判別する。そして、大きい場合には、ステップS79に処理を移し、大きくない場合には、ステップS77に処理を移す。

ステップS77において、背景モデル構築装置1Aは、背景モデル更新部16Aにより、ステップS74において前景候補であると判別した画素ごとに、対象画素を含む分割領域の画素値の中央値と、対象画素の画素値と、の差分を求める。そして、求めた差分が予め定められた閾値より大きい場合には、対象画素が真に前景であると判断し、ステップS78に処理を移す。一方、求めた差分が予め定められた閾値以下である場合には、対象画素が背景であると判断し、ステップS75に処理を移す。

ステップS78において、背景モデル構築装置1Aは、背景モデル更新部16Aにより、対象画素の現在の画素値を破棄し、対象画素を含む分割領域の画素値の中央値を用いて、背景モデルを更新し、図9、10に示した背景モデル更新処理を終了する。

ステップS79において、背景モデル構築装置1Aは、背景モデル更新部16Aにより、ステップS74において前景候補であると判別した画素ごとに、ステップS64において求めた初期奥行情報から現在の奥行値を減算した値が予め定められた閾値より大きいか否かを判別する。そして、大きい場合には、対象画素が真に前景であると判断し、ステップS80に処理を移す。一方、大きくない場合には、対象画素が背景であると判断し、ステップS75に処理を移す。

ステップS80において、背景モデル構築装置1Aは、背景モデル更新部16Aにより、対象画素の現在の画素値を破棄し、直前のフレームで背景モデルを更新するのに用いた値を用いて、背景モデルを更新し、図9、10に示した背景モデル更新処理を終了する。なお、現在のフレームが最初のフレームである場合には、空舞台の撮影時の平均画素値を用いて、背景モデルを更新する。

以上の背景モデル構築装置1Aによれば、以下の効果を奏することができる。

背景モデル構築装置1Aは、テクスチャが複雑な領域については、左右の平行ステレオ画像の視差情報を用いて奥行情報を求め、この奥行情報に基づいて背景モデルを更新する。このため、照明変動や前景の変形などが発生した場合であっても、動的な背景モデルを的確に構築できる。

また、背景モデル構築装置1Aは、テクスチャが少ない領域については、画像を分割した各分割領域の画素情報に基づいて背景モデルを更新する。このため、テクスチャが少ない領域が存在している場合であっても、動的な背景モデルを的確に構築できる。

また、背景モデル構築装置1Aは、奥行情報の信頼度を求め、この奥行情報の信頼度に基づいて、テクスチャが複雑な領域であるのか、テクスチャが少ない領域であるのかを判断する。このため、テクスチャに応じて適した方法で、背景モデルを更新することができる。

また、背景モデル構築装置1Aは、対象画素の初期奥行情報と現在の奥行情報との差異に基づいて、対象画素が前景であるか否かを判断する。このため、前景領域を的確に求めることができ、動的な背景モデルをより的確に構築できる。

また、背景モデル構築装置1Aは、奥行情報の信頼度が高く、かつ、上述の差異に基づいて対象画素が前景であると判断した画素については、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新する。このため、テクスチャが複雑な前景領域については、動的な背景モデルの更新に対する影響を大幅に抑えることができ、動的な背景モデルをより的確に構築できる。

また、背景モデル構築装置1Aは、背景モデル構築装置1と同様に、空舞台の画像について、画素値に基づいて複数の領域に分割して、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように分割する。このため、空舞台の画像において同一の領域に含まれていた画素同士の画素値は、照明変動が発生し得る状況における現在のフレームの画像においても、前景領域でなければ類似しているものと想定できる。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値とみなすことが可能である。

そこで、背景モデル構築装置1Aは、奥行情報の信頼度が高く、かつ、上述の差分に基づいて対象画素が前景であると判断した画素については、対象画素を含む領域の画素値の中央値を用いて背景モデルを更新する。このため、現在のフレームの画像における対象画素を含む領域の画素値の中央値を、前景領域に隠蔽された背景領域の画素値として用いて、背景モデルを更新することができる。したがって、背景モデルの更新に対する前景の画素値の影響を抑えることができるので、動的な背景モデルを的確に構築できる。

なお、本発明の背景モデル構築装置1や背景モデル構築装置1Aの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを背景モデル構築装置1や背景モデル構築装置1Aに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、背景モデル構築装置1や背景モデル構築装置1Aに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した背景モデル構築装置1や背景モデル構築装置1Aから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を背景モデル構築装置1や背景モデル構築装置1Aにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第2実施形態において、図8のステップS66の処理は、ステップS65の処理の後に行うものとしたが、これに限らず、ステップS62の処理が完了した後であればいつ行ってもよい。

1、1A・・・背景モデル構築装置
11、11A・・・制御部
12、12A・・・初期背景モデル生成部
13、13A・・・フレーム平滑化部
14・・・領域分割部
15・・・前景候補領域抽出部
16、16A・・・背景モデル更新部
21・・・ステレオ対応点探索部
22・・・奥行情報算出部
23・・・奥行信頼値マップ生成部

Claims (10)

  1. 動的な背景モデルを構築する背景モデル構築装置であって、
    画素値に基づいて、前景領域を含まない空舞台の画像を複数の領域に分割する領域分割手段と、
    前景領域を含み得る画像を前記複数の領域に分割して得られる各領域の画素情報に基づいて、背景モデルを更新する背景モデル更新手段と、を備えることを特徴とする背景モデル構築装置。
  2. 前記領域分割手段は、互いに隣接しており画素値が類似する画素同士が同一の領域に含まれるように、前記空舞台の画像を前記複数の領域に分割することを特徴とする請求項1に記載の背景モデル構築装置。
  3. 前記背景モデル更新手段は、処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする請求項1または2に記載の背景モデル構築装置。
  4. 前記背景モデル更新手段は、
    前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、
    前記差分に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする請求項3に記載の背景モデル構築装置。
  5. ステレオ画像の視差情報を求めるステレオ対応点探索手段を備え、
    前記背景モデル更新手段は、前記領域分割手段により分割された各領域の画素情報と、前記ステレオ対応点探索手段により求められた視差情報と、に基づいて、背景モデルを更新することを特徴とする請求項1から4のいずれかに記載の背景モデル構築装置。
  6. 前記ステレオ対応点探索手段により求められた視差情報から奥行情報を求める奥行情報算出手段と、
    前記奥行情報算出手段により求められた奥行情報の信頼度を求める奥行信頼値マップ生成手段を備え、
    前記背景モデル更新手段は、前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度に基づいて、前記領域分割手段により分割された各領域の画素情報に基づいて背景モデルを生成するのか、前記ステレオ対応点探索手段により求められた視差情報に基づいて背景モデルを生成するのかを、画素ごとに決定することを特徴とする請求項5に記載の背景モデル構築装置。
  7. 前記背景モデル更新手段は、前景を含まないステレオ画像から前記奥行情報算出手段により求められた対象画素の初期奥行情報と、当該対象画素の現在の奥行情報と、の差異に基づいて、当該対象画素が前景であるか否かを判断し、背景モデルを更新することを特徴とする請求項6に記載の背景モデル構築装置。
  8. 前記背景モデル更新手段は、
    処理する対象画素を含む領域の画素値の中央値と、当該対象画素の画素値と、の差分に基づいて、当該対象画素が前景であるか否かを判断し、
    前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値より大きく、かつ、前記差異に基づいて対象画素が前景であると判断した場合には、直前のフレームで背景モデルの更新に用いた値を用いて背景モデルを更新し、
    前記奥行信頼値マップ生成手段により求められた奥行情報の信頼度が予め定められた閾値以下で、かつ、前記差分に基づいて対象画素が前景であると判断した場合には、当該対象画素を含む領域の画素値の中央値を用いて背景モデルを更新し、
    前記差分または前記差異に基づいて対象画素が前景ではないと判断した場合には、当該対象画素の現在の画素値を用いて背景モデルを更新することを特徴とする請求項7に記載の背景モデル構築装置。
  9. 領域分割手段および背景モデル更新手段を備え、動的な背景モデルを構築する背景モデル構築装置における背景モデル構築方法であって、
    前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第1のステップと、
    前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第2のステップと、を備えることを特徴とする背景モデル構築方法。
  10. 領域分割手段および背景モデル更新手段を備え、動的な背景モデルを構築する背景モデル構築装置における背景モデル構築方法を、コンピュータに実行させるためのプログラムであって、
    前記領域分割手段が、画素値に基づいて、画像を複数の領域に分割する第1のステップと、
    前記背景モデル更新手段が、前記領域分割手段により分割された各領域の画素情報に基づいて、背景モデルを更新する第2のステップと、をコンピュータに実行させるためのプログラム。
JP2013033791A 2013-02-22 2013-02-22 背景モデル構築装置、背景モデル構築方法、およびプログラム Active JP6054771B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013033791A JP6054771B2 (ja) 2013-02-22 2013-02-22 背景モデル構築装置、背景モデル構築方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013033791A JP6054771B2 (ja) 2013-02-22 2013-02-22 背景モデル構築装置、背景モデル構築方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014164446A true JP2014164446A (ja) 2014-09-08
JP6054771B2 JP6054771B2 (ja) 2016-12-27

Family

ID=51615010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013033791A Active JP6054771B2 (ja) 2013-02-22 2013-02-22 背景モデル構築装置、背景モデル構築方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6054771B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537668A (zh) * 2014-12-29 2015-04-22 浙江宇视科技有限公司 一种快速视差图像计算方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178243A (ja) * 2002-11-27 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 移動物体抽出装置、移動物体抽出方法、移動物体抽出プログラム及びそのプログラムを記録した記録媒体
JP2008236642A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd 物体追跡装置
JP2009031939A (ja) * 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
JP2010092224A (ja) * 2008-10-07 2010-04-22 Canon Inc 画像処理装置及び画像処理方法
JP2010124028A (ja) * 2008-11-17 2010-06-03 Hitachi Kokusai Electric Inc 監視装置
JP2010277296A (ja) * 2009-05-28 2010-12-09 Secom Co Ltd 対象物検知装置
JP2012060268A (ja) * 2010-09-06 2012-03-22 Toshiba Teli Corp 流水監視システムおよび流水監視プログラム
JP2012103742A (ja) * 2010-11-05 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178243A (ja) * 2002-11-27 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 移動物体抽出装置、移動物体抽出方法、移動物体抽出プログラム及びそのプログラムを記録した記録媒体
JP2008236642A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd 物体追跡装置
JP2009031939A (ja) * 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
JP2010092224A (ja) * 2008-10-07 2010-04-22 Canon Inc 画像処理装置及び画像処理方法
JP2010124028A (ja) * 2008-11-17 2010-06-03 Hitachi Kokusai Electric Inc 監視装置
JP2010277296A (ja) * 2009-05-28 2010-12-09 Secom Co Ltd 対象物検知装置
JP2012060268A (ja) * 2010-09-06 2012-03-22 Toshiba Teli Corp 流水監視システムおよび流水監視プログラム
JP2012103742A (ja) * 2010-11-05 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016028771; 鷲見 和彦、外2名: '"物体検出 -背景と検出対象のモデリング-"' 情報処理学会研究報告 Vol.2005, No.88, 20050906, pp.79-98, 社団法人情報処理学会 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537668A (zh) * 2014-12-29 2015-04-22 浙江宇视科技有限公司 一种快速视差图像计算方法及装置
CN104537668B (zh) * 2014-12-29 2017-08-15 浙江宇视科技有限公司 一种快速视差图像计算方法及装置

Also Published As

Publication number Publication date
JP6054771B2 (ja) 2016-12-27

Similar Documents

Publication Publication Date Title
Gallo et al. Artifact-free high dynamic range imaging
JP4756660B2 (ja) 画像処理装置および画像処理方法
Kalantari et al. Learning-based view synthesis for light field cameras
CN101305401B (zh) 用于处理游戏的立体视频的方法
JP2009522591A (ja) 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
KR20100119559A (ko) 2d 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
JP6511247B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20130001215A (ko) 일반 플랫폼 비디오 이미지 안정화
US8781161B2 (en) Image processing method and apparatus for generating a 3D model of a target object
KR101333871B1 (ko) 멀티-카메라 교정을 위한 방법 및 장치
JP5213486B2 (ja) 対象物追跡装置および対象物追跡方法
Camplani et al. Depth-color fusion strategy for 3-D scene modeling with Kinect
WO2015089436A1 (en) Efficient facial landmark tracking using online shape regression method
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
KR101532864B1 (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
KR20170018042A (ko) 규칙 기반 비디오 중요도 분석
CN103053154A (zh) 立体相机的自动对焦
JP5449119B2 (ja) ステレオ映像内の視差探索範囲を求めるための方法及びシステム
JP2007310707A (ja) 姿勢推定装置及びその方法
JP5178875B2 (ja) 対応点探索のための画像処理方法
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
JP2011134114A (ja) パターン認識方法およびパターン認識装置
JP5487298B2 (ja) 3次元画像生成
Yue et al. Image denoising by exploring external and internal correlations
Feng et al. Local background enclosure for RGB-D salient object detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161201

R150 Certificate of patent or registration of utility model

Ref document number: 6054771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150