JP2009074836A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】実環境で撮影された動画像を用いて、対象物の３次元モデルを忠実に再現することができる画像処理装置を提供する。
【解決手段】背景差分部１４は、前景を含まず、処理対象画像から背景画像を差分して差分画像を作成し、領域区分部１５〜前景領域抽出部２０は、差分画像を基に、処理対象画像を、背景である信頼性が高い第１の領域と、背景である信頼性が低い第２の領域と、前景である信頼性が低い第３の領域と、前景である信頼性が高い第４の領域とに区分し、３次元モデル作成部２１は、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が第４の領域に属する場合、一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点を用いて視体積交差法により対象物の３次元モデルを作成する。
【選択図】図１

Description

本発明は、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して前記対象物の３次元モデルを作成する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

動画像から所望する対象物を抽出することは、監視カメラ、遠隔会議、画像編集、人とコンピュータとのインタフェース等の応用を含む画像処理分野の一つの重要な課題である。従来の対象物抽出アルゴリズムは、主要な区分基準に基づいて、以下の二つのアプローチに大別することができる。

第１のアプローチは、基準として、空間的均一性を用いるものであり、形態的フィルタが画像を単純化するために使用され、Ｗａｔｅｒｓｈｅｄアルゴリズムが領域境界決定に適用される。このアルゴリズムによる抽出結果は、Ｗａｔｅｒｓｈｅｄアルゴリズムを用いているため、対象物の境界を他の方法より正確に追跡することができる。

第２のアプローチは、動画像における変化の検出を利用するものである。このアプローチに基づくいくつかのアルゴリズムでは、フレーム差分が使用され、ある期間の複数の画像から先行して取得された静的な背景画像を現在の画像から減算する背景差分が、最も一般的に使用される。このアルゴリズムは非常に高速に動作し、静的な背景から意味のある対象物の領域を抽出することができるので、多くの視覚システムに使用されている。

例えば、非特許文献１には、オリジナルな背景の領域、影のある背景及び影の領域、ハイライトされた背景の領域、前景の動いている対象物の領域の４つの領域に画像を区分して対象物を抽出する頑強な背景差分及び影抽出方法が開示されている。

また、上記のようにして動画像から所望する対象物を抽出し、例えば、視体積交差法（shape-from-silhouette method）を用いて、対象物のシルエットから対象物の３次元モデルを作成することが行われている（例えば、非特許文献２参照）。
ティ ホープラサート（Ｔ Ｈｏｒｐｒａｓｅｒｔ）他２名、「頑強な背景差分及び影抽出」（Ａ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ ａｎｄ Ｓｈａｄｏｗ Ｄｅｔｅｃｔｉｏｎ）、Ｐｒｏｃ．ＡＣＣＶ、２０００年 マツヤマ ティ（Ｍａｔｓｕｙａｍａ Ｔ．）他３名、「リアルタイムな動的３次元対象物の再構築及び３次元映像の忠実なテクスチャマッピング」（Ｒｅａｌ-Ｔｉｍｅ Ｄｙｎａｍｉｃ ３−Ｄ Ｏｂｊｅｃｔ Ｓｈａｐｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｈｉｇｈ-Ｆｉｄｅｌｉｔｙ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ ｆｏｒ ３−Ｄ Ｖｉｄｅｏ）、ＩＥＥＥ Ｔｒａｎｓ. ＣＳＶＴ、１４、３、３５７−３６９、２００４年

しかしながら、上記のような従来の視体積交差法を用いて、対象物のシルエットから対象物の３次元モデルを作成するときに、対象物のシルエットの抽出の際に謝って前景を背景とする区分エラーが発生したり、対象物の前に遮蔽物が存在する場合に、遮蔽物により謝って前景を背景とする遮蔽エラーが発生したりすることにより、対象物のシルエットの一部が欠損して対象物の３次元モデルの一部が欠落し、対象物の３次元モデルを正確に復元することができなかった。

例えば、図２１の（ａ）〜（ｅ）に示すように、対象物のシルエットが抽出された場合に、図２１の（ｆ）に示す区分エラーや図２１の（ｇ）に示す遮蔽エラーが発生してシルエットの一部が欠損し、図２１の（ｈ）に示すように、復元した対象物の３次元モデルの一部（頭部や脚部の一部）が欠落し、対象物の３次元モデルを正確に復元することができない。

このような３次元モデルの一部の欠落は、実環境で撮影された動画像を用いて対象物の３次元モデルを復元する場合に顕著に現れ、従来の視体積交差法をそのまま用いたのでは、実環境で撮影された動画像を用いて、対象物の３次元モデルを忠実に再現することは困難である。

本発明の目的は、実環境で撮影された動画像を用いて、対象物の３次元モデルを忠実に再現することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することである。

本発明に係る画像処理装置は、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して前記対象物の３次元モデルを作成する画像処理装置であって、互いに異なる複数のカメラ視点から撮影された動画像を処理対象画像として取得する取得手段と、前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像からなる背景画像を差分して差分画像を作成する背景差分手段と、前記差分画像を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各カメラ視点で撮影された処理対象画像上に投影した各投影点が前記第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、前記対象物の３次元モデルを作成する作成手段とを備え、前記作成手段は、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点を用いて、前記対象物の３次元モデルを作成するものである。

本発明に係る画像処理装置において、処理対象画像となる動画像が取得され、取得された処理対象画像から背景画像が差分されて差分画像が作成され、この差分画像を基に、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分され、視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各カメラ視点で撮影された処理対象画像上に投影した各投影点が前記第１乃至第４の領域のいずれに属するかが判断され、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、対象物の３次元モデルが作成される。

このとき、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が、前景でなく背景である信頼性が高い第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が、背景でなく前景である信頼性が高い第４の領域に属する場合、一のカメラ視点で撮影された処理対象画像上に投影された投影点が判断対象から除外されるので、区分エラー及び遮蔽エラーによって誤って背景であると判断された投影点が除外され、正確に背景又は前景と判断された残りの投影点を用いて、背景に属するボクセルを削り取ることができる。この結果、実環境で撮影された動画像を用いて、対象物の３次元モデルを忠実に再現することができる。

前記作成手段は、一のボクセルを第１のカメラ視点で撮影された処理対象画像上に投影した第１の投影点が前記第１の領域に属し、当該ボクセルを、当該ボクセルを中心として前記第１のカメラ視点に対して所定角度内に位置する第２のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記第１のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することが好ましい。

この場合、第１のカメラ視点に対して所定角度内に位置する第２のカメラ視点で撮影された処理対象画像上に投影された投影点を用いて、第１のカメラ視点で撮影された処理対象画像上に投影した第１の投影点が判断対象から除外されるので、遮蔽エラーによって誤って背景であると判断された投影点を確実に除外して、対象物の３次元モデルを忠実に再現することができる。

前記複数のカメラ視点の中から互いに異なる２以上のカメラ視点を含む複数のカメラ視点群を予め記憶する記憶手段をさらに備え、前記作成手段は、一のボクセルを第１のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを、前記記憶手段に記憶されている前記第１のカメラ視点が属するカメラ視点群に含まれる他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記第１のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することが好ましい。

この場合、予め記憶されている前記第１のカメラ視点が属するカメラ視点群に含まれる他のカメラ視点で撮影された処理対象画像上に投影された投影点を用いて、第１のカメラ視点で撮影された処理対象画像上に投影した第１の投影点が判断対象から除外されるので、撮影手段の種々の撮影条件を考慮して互いに補完可能なカメラ視点群を予め設定することにより、遮蔽エラーによって誤って背景であると判断された投影点を確実に除外して、対象物の３次元モデルを忠実に再現することができる。

前記作成手段は、一のボクセルを第１のカメラ視点で撮影された処理対象画像上に投影した第１の投影点が前記第１の領域に属し、当該ボクセルを、前記第１のカメラ視点に隣接するカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記第１のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することが好ましい。

この場合、第１のカメラ視点に隣接するカメラ視点で撮影された処理対象画像上に投影された投影点を用いて、第１のカメラ視点で撮影された処理対象画像上に投影した第１の投影点が判断対象から除外されるので、遮蔽エラーによって誤って背景であると判断された投影点を確実に除外して、対象物の３次元モデルを忠実に再現することができる。

前記作成手段は、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第２の領域に属し、当該ボクセルを、他の２以上のカメラ視点で撮影された処理対象画像上に投影した投影点が少なくとも前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することが好ましい。

この場合、一のカメラ視点で撮影された処理対象画像上に投影した投影点が前景でなく背景である信頼性が低い第２の領域に属し、他の２以上のカメラ視点で撮影された処理対象画像上に投影した投影点が背景でなく前景である信頼性が高い第４の領域に属するときに、一のカメラ視点で撮影された処理対象画像上に投影された投影点が判断対象から除外されるので、区分エラーによって誤って背景であると判断された投影点を確実に除外して、対象物の３次元モデルを忠実に再現することができる。

本発明に係る画像処理方法は、処理対象画像を取得する取得手段と、前記処理対象画像から差分画像を作成する背景差分手段と、前記処理対象画像を複数の領域に区分する領域区分手段と、視体積交差法を用いて３次元モデルを作成する作成手段とを備える画像処理装置を用いて、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して前記対象物の３次元モデルを作成する画像処理方法であって、前記取得手段が、互いに異なる複数のカメラ視点から撮影された動画像を処理対象画像として取得する第１のステップと、前記背景差分手段が、前記第１のステップにおいて取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像からなる背景画像を差分して差分画像を作成する第２のステップと、前記領域区分手段が、前記差分画像を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する第３のステップと、前記作成手段が、視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各カメラ視点で撮影された処理対象画像上に投影した各投影点が前記第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、前記対象物の３次元モデルを作成する第４のステップとを含み、前記第４のステップは、前記作成手段が、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点を用いて、前記対象物の３次元モデルを作成する第５のステップを含むものである。

本発明に係る画像処理プログラムは、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して前記対象物の３次元モデルを作成する画像処理プログラムであって、互いに異なる複数のカメラ視点から撮影された動画像を処理対象画像として取得する取得手段と、前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像からなる背景画像を差分して差分画像を作成する背景差分手段と、前記差分画像を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各カメラ視点で撮影された処理対象画像上に投影した各投影点が前記第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、前記対象物の３次元モデルを作成する作成手段としてコンピュータを機能させ、前記作成手段は、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点を用いて、前記対象物の３次元モデルを作成するものである。

本発明によれば、区分エラー及び遮蔽エラーによって誤って背景であると判断された投影点が除外され、正確に背景又は前景と判断された残りの投影点を用いて、背景に属するボクセルを削り取ることができるので、実環境で撮影された動画像を用いて、対象物の３次元モデルを忠実に再現することができる。

以下、本発明の一実施の形態による画像処理装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による画像処理装置の構成を示すブロック図である。

図１に示す画像処理装置は、複数のビデオカメラ１１〜１ｎ、背景モデル記憶部１２、画像取得部１３、背景差分部１４、領域区分部１５、影除去部１６、ラベリング部１７、輪郭抽出部１８、領域成長部１９、前景領域抽出部２０、３次元モデル作成部２１及び領域記憶部２２を備える。

ｎ台（ｎは２以上の整数）のビデオカメラ１１〜１ｎは、撮影空間の所定箇所に固定され、前景となる対象物、例えば、人物をその背後に位置する背景、例えば、室内の壁、調度品等を含めた実環境で撮影し、撮影したカラー動画像を処理対象画像として画像取得部１３へ出力する。ビデオカメラ１１〜１ｎの配置としては、円周上に所定間隔で配置したり、半球面上に所定間隔で配置したり、壁に格子状に配置する等の種々の配置が可能である。

背景モデル記憶部１２、画像取得部１３、背景差分部１４、領域区分部１５、影除去部１６、ラベリング部１７、輪郭抽出部１８、領域成長部１９、前景領域抽出部２０、３次元モデル作成部２１及び領域記憶部２２は、入力装置、表示装置、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像Ｉ／Ｆ（インターフェース）部及び外部記憶装置等を備えるコンピュータを用いて、ＲＯＭ又は外部記憶装置に予め記憶されている、後述する各処理を行うための画像処理プログラムをＣＰＵ等で実行することにより実現される。なお、背景モデル記憶部１２、画像取得部１３、背景差分部１４、領域区分部１５、影除去部１６、ラベリング部１７、輪郭抽出部１８、領域成長部１９、前景領域抽出部２０、３次元モデル作成部２１及び領域記憶部２２の構成例は、本例に特に限定されず、各ブロックを専用のハードウエアから構成したり、一部のブロック又はブロック内の一部の処理のみを専用のハードウエアで構成したりする等の種々の変更が可能である。

背景モデル記憶部１２は、前景を含まず、背景を含む背景モデル画像の、輝度成分からなる輝度背景画像データ及び色成分からなる色背景画像データと、領域区分及び陰除去の基準となる複数の閾値とを予め記憶している。すなわち、背景モデル画像は、２つの識別可能な部分、輝度モデル画像と色モデル画像とにモデル化され、輝度背景画像データが輝度モデル画像となり、色背景画像データが色モデル画像となる。

ビデオカメラ１１〜１ｎから入力されるビデオストリームは、ＲＧＢ成分の３チャンネルを有しているが、それらはノイズ及び照明条件に対して敏感であるため、本実施の形態では、初期的な対象物すなわち前景の区分にカラー画像の輝度成分を使用している。背景モデル画像の輝度すなわち輝度背景画像データは、下記式で計算される。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …（１）

しかしながら、輝度成分は、背景領域の影及び前景領域の照明の反射により急激に変化する。本実施の形態では、間違った前景の区分を防止するために、画像の色成分を用いた色背景画像データを用いる。背景モデル画像の色成分Ｈすなわち色背景画像データは、下記のようにしてＨＳＩモデルを基に算出される。なお、本発明に使用可能なモデルは、この例に特に限定されず、ＨＳＶモデル等を用いても差し支えない。

ここで、ノイズ、背景の素材の特性及び照明条件の変化等により、静的なシーンにおいてさえ、フレーム間の変化が発生する。図２は、連続した１５０フレームから計算された各画素の平均からの偏差の分布（ノイズ分布）を示す図であり、（ａ）は輝度成分を示し、（ｂ）は色成分を示している。

ビデオカメラ１１〜１ｎが所定期間同一シーンを観測し続けている場合、ノイズは、キャンセル又は抑圧され、零平均ラプラシアン分布として表現することができる。したがって、本実施の形態では、ビデオカメラ１１〜１ｎにより連続的に、例えば、１５０フレーム間撮影された背景モデル画像の平均及び標準偏差を算出し、算出した各画素のＲＧＢ成分の平均値から、式（１）及び式（２）を用いて、輝度背景画像データ及び色背景画像データを予め計算し、これらの輝度背景画像データ及び色背景画像データと、輝度背景画像データの標準偏差に所定の重み係数を乗算した３つの閾値及び色背景画像データの標準偏差に所定の重み係数を乗算した１つの閾値とが背景モデル記憶部１２に予め記憶されている。

画像取得部１３は、ビデオカメラ１１〜１ｎすなわち互いに異なる複数のカメラ視点から撮影された処理対象画像となる動画像を取得して背景差分部１４へ出力する。背景差分部１４は、背景モデル記憶部１２から輝度背景画像データを読み出し、処理対象画像データから輝度背景画像データを差分して差分画像データを作成して領域区分部１５へ出力する。

領域区分部１５は、輝度背景画像データの標準偏差に所定の重み係数を乗算した３つの閾値を背景モデル記憶部１２から読み出し、差分画像データの輝度成分と３つの閾値とを比較する。領域区分部１５は、比較結果に応じて、処理対象画像を、画素毎に、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が第３の領域より高い第４の領域とに区分し、影除去部１６へ出力する。

また、領域区分部１５は、上記の領域区分において、各画素が第１乃至第４の領域のいずれに区分されたかを特定するための領域情報を画素毎に作成して各画素に割り当てる。領域情報としては、例えば、２ビットのデータが用いられ、第１ビットは画素が属するグループ（前景又は背景）を示し、第２ビットは画素が属する領域の信頼性（信頼性が高い又は低い）を示し、前景でなく背景である信頼性が高い第１の領域の画素には（０，１）が、前景でなく背景である信頼性が第１の領域より低い第２の領域の画素には（０，０）が、背景でなく前景である信頼性が低い第３の領域の画素には（１，０）が、背景でなく前景である信頼性が第３の領域より高い第４の領域の画素には（１，１）が、それぞれ領域情報として割り当てられる。

影除去部１６は、背景モデル記憶部１２から色背景画像データ及び色背景画像データの標準偏差に所定の重み係数を乗算した１つの閾値を読み出し、第３領域の色成分と背景モデル画像の色成分すなわち色背景画像データとの差分と閾値とを比較する。影除去部１６は、比較結果に応じて、第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を第２の領域に変更することにより、影の領域を除去してラベリング部１７へ出力する。また、影除去部１６は、上記のように領域を変更した画素の領域情報を更新する。

ラベリング部１７は、影除去部１６により第２の領域に変更されていない第３の領域と、第４の領域とに対して、各領域により表される対象物を特定するためのラベリングを行い、輪郭抽出部１８へ出力する。

輪郭抽出部１８は、ラベリングされた各領域の輪郭を抽出して領域成長部１９へ出力する。領域成長部１９は、輪郭が抽出された領域において、第１の領域、第２の領域、第３の領域、第４の領域の順に領域成長法を適用して各領域を成長させ、対象物の輪郭の内側に実際に存在するホールを復元し、前景領域抽出部２０へ出力する。また、輪郭抽出部１８及び領域成長部１９は、上記の処理により領域を変更した画素の領域情報を更新する。

前景領域抽出部２０は、実際に存在するホールが復元された第３及び第４の領域を前景領域として抽出し、その他の領域をマスクする前景マスクを生成して動画像をマスクすることにより、動画像から前景領域すなわち対象物を抽出する。また、前景領域抽出部２０は、上記の処理により最終的に確定された領域情報を各処理対象画像の各画素に対応付けて領域記憶部２２に記憶させる。

３次元モデル作成部２１は、視体積交差法（shape-from-silhouette method）を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各ビデオカメラ１１〜１ｎで撮影された処理対象画像上に投影し、領域記憶部２２を参照して、各投影点が第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、対象物の３次元モデルを作成する。

図３は、図１に示す３次元モデル作成部２１の視体積交差法による３次元復元処理を説明するための模式図である。３次元空間に設定された複数のビデオカメラとボクセルとの位置関係は、図３に示すようになり、３次元空間が複数のボクセルに分割され、各ボクセルは、その中心座標により特定されてＶ（Ｘ，Ｙ，Ｚ）で表され、各ビデオカメラ（カメラ視点）は、Ｃｎ（ｎ＝１，…，Ｎ）で表され、各ビデオカメラの射影行列は、Ｐｎで表され、各ビデオカメラで撮影された処理対象画像（シルエット）は、Ｉｎで表される。なお、ボクセルは、３次元コンピュータ・グラフィックスにおいて、立体を格子状に分解したときの要素であり、格子状に分解された箱形の形状を有し、例えば、８つの角のｘ座標、ｙ座標、ｚ座標で定義されてもよい。

本実施の形態では、予めカメラ校正によってビデオカメラ１１〜１ｎの射影行列Ｐｎを求め、この射影行列Ｐｎを３次元モデル作成部２１に予め記憶させている。３次元モデル作成部２１は、記憶している各射影行列Ｐｎを用いて、各ボクセルの中心位置Ｖ（Ｘ，Ｙ，Ｚ）を処理対象画像（シルエット）Ｉｎ上に投影し、各投影点が第１乃至第４の領域のいずれに属するかを基に不要なボクセルを除去して３次元空間を掘り込む。このようして、視体積交差法を用いて再構築されたビジュアル・ハル（visual hull）すなわち対象物の３次元モデルは、対象物の形状の表面の境界を提供する。

ここで、例えば、Ｉｐを領域区分された処理対象画像Ｉｎの部分集合すなわち、あるビデオカメラで撮影された一の処理対象画像とし、ｖｐをＰｐによるＩｐ上のボクセルＶの投影点とし、ボクセルＶの３次元位置が３次元対象物の内部にあるならば、ボクセルＶは、全ての画像Ｉｐの前景領域に投影されなければならない。したがって、少なくとも一の投影点が処理対象画像Ｉｐの背景領域すなわち第１又は第２の領域に位置するならば、ボクセルＶは、３次元形状モデルから削られる。このように、ボクセルＶ（Ｘ，Ｙ，Ｚ）のすべての可能な位置を検査することにより、３次元モデル作成部２１は、３次元対象物の全体的な形状すなわち対象物の３次元モデルを作成することができる。なお、３次元空間のすべての点を検査することは、時間を非常に消費し、多大なデータを作成することになるため、オクトリ（octree）データ構造を採用してもよく、この場合、掘り込み速度及びデータ量を劇的に減少させることができる。

また、本実施の形態では、上記の複数閾値を用いた前景抽出処理とともに、区分エラー及び遮蔽エラーを考慮した領域区分結果の信頼性に基づく視体積交差法による３次元復元処理を実行し、シルエット内部の信頼性だけでなく、シルエット間の信頼性をも用いて３次元モデルを復元する。

図４は、シルエット内部の信頼性だけでなく、シルエット間の信頼性をも用いて３次元モデルを復元する処理を説明するための模式図である。図４に示すように、処理対象画像は、複数閾値を用いた前景抽出処理によりシルエット内部の信頼性に基づく第１乃至第４の領域に区分され、本実施の形態では、後述するようにシルエット間の信頼性に基づいて区分エラー及び遮蔽エラーにより観測された不要な投影点を排除した後に、視体積交差法を用いて対象物の３次元モデルが作成される。この結果、従来の視体積交差法を改良した簡略なシステムを実現し、従来の視体積交差法に比べて計算の複雑さをあまり増加させることなく、実環境において撮影された動画像から３次元モデルを再構築することができ、日常生活に使用可能な実用的な３次元画像処理装置を提供することができる。

すなわち、３次元モデル作成部２１は、一のボクセルを一のビデオカメラで撮影された処理対象画像上に投影した投影点が第１の領域に属し、当該ボクセルを他のビデオカメラで撮影された処理対象画像上に投影した投影点が第４の領域に属する場合、一のカメラ視点で撮影された処理対象画像上に投影された投影点を視体積交差法の判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が第１又は第２の領域に属するボクセルを削り取ることにより、対象物の３次元モデルを作成する。

まず、第１のシルエット間の信頼性に基づく処理として、３次元モデル作成部２１は、遮蔽エラーによって誤って背景であると判断された投影点を除外するため、ｋ−最近傍法（k-Nearest Neighors）のようにｋ個（ｋ＞０）の近傍に位置する他のビデオカメラの投影点を使用し、一のボクセルを一のビデオカメラで撮影された処理対象画像上に投影した第１の投影点が第１の領域に属し、当該ボクセルを、当該ボクセルを中心として一のビデオカメラに対して所定角度内に位置する他のビデオカメラで撮影された処理対象画像上に投影した投影点が第４の領域に属する場合、一のビデオカメラで撮影された処理対象画像上に投影された投影点を視体積交差法の判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が第１又は第２の領域に属するボクセルを削り取ることにより、対象物の３次元モデルを作成する。ここで、所定角度としては、１８０度以下であることが好ましく、６０度以下であることがより好ましい。

具体的には、ｋ−最近傍法のｋを２に設定し、３次元モデル作成部２１は、遮蔽エラーによって誤って背景であると判断された投影点を除外するため、一のボクセルを一のビデオカメラで撮影された処理対象画像上に投影した第１の投影点が第１の領域に属し、当該ボクセルを一のビデオカメラに隣接する両側のビデオカメラで撮影された処理対象画像上に投影した投影点が第４の領域に属する場合、第１のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が第１又は第２の領域に属するボクセルを削り取ることにより、対象物の３次元モデルを作成する。

なお、ビデオカメラ１１〜１ｎの配置等の種々の撮影条件を考慮し、遮蔽エラーを互いに補完可能な２以上のビデオカメラ（カメラ視点）を含む１又は２以上のビデオカメラ群（カメラ視点群）を予め決定し、決定したビデオカメラ群を領域記憶部２２に予め記憶するようにしてもよい。この場合、３次元モデル作成部２１は、遮蔽エラーによって誤って背景であると判断された投影点を除外するため、一のボクセルを一のビデオカメラで撮影された処理対象画像上に投影した投影点が第１の領域に属し、当該ボクセルを、領域記憶部２２に記憶されている一のビデオカメラが属するビデオカメラ群に含まれる他のビデオカメラで撮影された処理対象画像上に投影した投影点が第４の領域に属する場合、一のビデオカメラで撮影された処理対象画像上に投影された投影点を視体積交差法の判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が第１又は第２の領域に属するボクセルを削り取ることにより、対象物の３次元モデルを作成するようにしてもよい。

例えば、ビデオカメラ群に含まれるビデオカメラの台数（基数）を３に設定し、４台のビデオカメラ１〜４が円周上にこの順で配置されている場合、｛ビデオカメラ１、ビデオカメラ２、ビデオカメラ３｝、｛ビデオカメラ２、ビデオカメラ３、ビデオカメラ４｝、、｛ビデオカメラ３、ビデオカメラ４、ビデオカメラ１｝、｛ビデオカメラ４、ビデオカメラ１、ビデオカメラ２｝の各セットを領域記憶部２２に予め記憶させ、各セットの真中のビデオカメラの投影点が第１の領域に属し、各セットの前後の２台のビデオカメラで撮影された処理対象画像上に投影した投影点が第４の領域に属する場合、真中のビデオカメラで撮影された処理対象画像上に投影された投影点を視体積交差法の判断対象から除外することができる。

また、第２のシルエット間の信頼性に基づく処理として、３次元モデル作成部２１は、区分エラーによって誤って背景であると判断された投影点を除外するため、一のボクセルを一のビデオカメラで撮影された処理対象画像上に投影した投影点が第２の領域に属し、当該ボクセルを他の２以上のビデオカメラで撮影された処理対象画像上に投影した投影点が第３又は第４の領域に属する場合、一のビデオカメラで撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が第１又は第２の領域に属するボクセルを削り取ることにより、対象物の３次元モデルを作成する。このとき、他のビデオカメラとしては、２台以上あれば、多数決により不要な投影点を排除することができ、また、より確実な判断を行うため、一のビデオカメラ以外の残りの全てのビデオカメラの投影点を用いたり、第４の領域に属する場合にのみ不要な投影点を排除したりしてもよく、種々の変更が可能である。

上記の構成により、本実施の形態では、複数閾値を用いた背景差分により、処理対象画像がそれらの信頼性に基づいて４つの領域に区分され、対象物の影の領域が色成分を用いて除去される。また、各対象物が自身の識別番号でラベリングされ、シルエット抽出技術により前景領域の境界がスムージング処理されて前景領域内の不要なホールが除去され、、領域成長技術により前景領域内に実際に存在するホールが復元される。このように、不要なホール及び影が除去されるとともに、実際に存在するホールが復元された前景領域を用いて前景マスクが生成され、動画像から対象物が確実に且つ正確に、さらに高速に抽出される。

このようにして、各処理対象画像が領域区分の信頼性に基づいて第１乃至第４の領域に区分され、一のボクセルを一のビデオカメラで撮影された処理対象画像上に投影した投影点が背景である信頼性が高い第１の領域に属し、当該ボクセルを他のビデオカメラで撮影された処理対象画像上に投影した投影点が前景である信頼性が高い第４の領域に属する場合、一のカメラ視点で撮影された処理対象画像上に投影された投影点が判断対象から除外されるので、区分エラー及び遮蔽エラーによって誤って背景であると判断された投影点が除外され、正確に背景又は前景と判断された残りの投影点を用いて、視体積交差法により、少なくとも一つの投影点が第１又は第２の領域すなわち背景領域に属するボクセルを削り取ることができ、実環境で撮影された動画像を用いて、対象物の３次元モデルを忠実に再現することができる。

本実施の形態では、画像取得部１３が取得手段の一例に相当し、背景差分部１４が背景差分手段の一例に相当し、領域区分部１５、影除去部１６、ラベリング部１７、輪郭抽出部１８、領域成長部１９及び前景領域抽出部２０が領域区分手段の一例に相当し、３次元モデル作成部２１が作成手段の一例に相当し、領域記憶部２２が記憶手段の一例に相当する。

次に、上記のように構成された画像処理装置により、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して対象物の３次元モデルを作成する画像処理である３次元モデル作成処理について説明する。図５は、図１に示す画像処理装置による３次元モデル作成処理を説明するためのフローチャートである。

まず、ステップＳ１１において、ビデオカメラ１１〜１ｎは、前景となる人物をその背後に位置する背景を含めて撮影し、画像取得部１３は、撮影された動画像を処理対象画像として取得する。

次に、ステップＳ１２において、背景差分部１４は、背景モデル記憶部１２から輝度背景画像データを読み出し、画像取得部１３から出力される処理対象画像データから輝度背景画像データを差分して差分画像データを作成して領域区分部１５へ出力する。

次に、ステップＳ１３において、下記の式（３）に従い、領域区分部１５は、輝度背景画像データの標準偏差に所定の重み係数を乗算した３つの閾値を背景モデル記憶部１２から読み出し、差分画像データの輝度成分と３つの閾値とを比較して、処理対象画像を、（ａ）当該領域が前景でなく背景である信頼性が高い第１の領域（信頼できる背景）と、（ｂ）当該領域が前景でなく背景である信頼性が第１の領域より低い第２の領域（疑わしい背景）と、（ｃ）当該領域が背景でなく前景である信頼性が低い第３の領域（疑わしい前景）と、（ｄ）当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域（信頼できる前景）とに区分し、影除去部１６へ出力する。なお、下式において、Ｌ_Ｉ及びＬ_Ｂは、現在のフレーム及び背景モデル画像の輝度成分を示し、σは、背景モデル画像の輝度成分の標準偏差を示し、Ｋ_１〜Ｋ_３は、重み係数を示す。

上記の式（３）に用いる重み係数Ｋ_１〜Ｋ_３は、下記の式（４）の条件を用いて訓練データによって決定される。また、前景抽出において、通常、間違った肯定的なエラーが間違った否定的なエラーより重大であるため、経験的にβを３に設定している。

ここで、上記の背景差分処理及び領域区分処理について詳細に説明する。図６は、ビデオカメラにより撮影された画像から生成した背景モデル画像の輝度成分の一例を示す図であり、図７は、図６に示す背景モデル画像の色成分の一例を示す図であり、図８は、本実施の形態に使用した処理対象画像の一例を示す図であり、図９は、図８に示す処理対象画像の差分後の輝度成分を示す図である。なお、図７において、０〜３６０°範囲で記述される色成分は、０〜２５５のグレースケール値にマッピングされている。

上記の各画像を用いて、現在のフレームの輝度成分から背景モデル画像を減算することにより、初期の背景差分が実行される。このとき、背景と同様の明るさを有する影及び前景領域のような多くの曖昧な領域を、固定されたシンプルな閾値を用いて区分するために、上記の式（３）に示すように、それらの信頼性に基づく複数の閾値を用いて、処理対象領域が４つのカテゴリーに分類され、画素毎に領域情報が付加される。

背景差分の分布がガウス分布であると仮定すると、所望の検出比を達成するように、背景差分の標準偏差によって閾値を決定することができるが、図２に示したように、背景差分の分布は、ガウス分布ではなく、ゼロで非常にシャープなピークを有する零平均ラプラシアン分布である。このため、本実施の形態では、背景モデル画像の標準偏差を用いて閾値を決定する。画像の各画素の偏差は、背景を構成する素材の特性及び照明条件に基づいて異なるため、背景を長時間撮影することにより、各画素の標準偏差を閾値として使用することができる。

図１０は、図８及び図９に示す画像を用いた分類結果を示す図である。図１０に示す例では、式（３）に用いられる重み係数Ｋ_１〜Ｋ_３として、５、１２、６０を用いている。図１０に示す黒、濃い灰色、薄い灰色、白の各領域が、第１の領域（信頼できる背景）、第２の領域（疑わしい背景）、第３の領域（疑わしい前景）、第４の領域（信頼できる前景）を示している。

次に、ステップＳ１４において、下記の式（５）に従い、影除去部１６は、背景モデル記憶部１２から色背景画像データ及び色背景画像データの標準偏差に所定の重み係数を乗算した１つの閾値を読み出し、第３領域の色成分と色背景画像データとの差分と閾値とを比較して第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を第２の領域に変更することにより、影の領域を除去してラベリング部１７へ出力する。なお、下式において、Ｈ_Ｉ及びＨ_Ｂは、現在のフレーム及び背景モデル画像の色成分を示し、σ_Ｈは、背景モデル画像の色成分の標準偏差を示す。

ここで、上記の影除去処理について詳細に説明する。図１０に示す結果から、対象物の影が背景の明るさを変化させ、フロア上の背景の多くの部分が、第３の領域（疑わしい前景）に組み込まれていることがわかる。このため、本実施の形態では、影が背景の色特性を変化させることなく、輝度のみを変化させることに着目し、式（５）に示すように、色成分を用いて、第３の領域（疑わしい前景）の影を第２の領域（疑わしい背景）にマージし、第３の領域から影を除去する。図１１は、影除去処理後の結果の一例を示す図である。

次に、ステップＳ１５において、ラベリング部１７は、影除去部１６による影除去処理後の第３の領域と、第４の領域とに対して、各領域により表される対象物を特定するためのラベリングを行い、輪郭抽出部１８へ出力する。

ここで、上記のラベリング処理について詳細に説明する。このラベリング処理においては、式（３）におけるすべての前景領域である第３の領域と第４の領域が、自身の識別番号でラベリングされる。このとき、４近傍規則を用いて連結されたすべての前景画素が、領域成長技術を用いて同じラベルを割り付けられる。しかしながら、初期対象物領域である第３の領域と第４の領域には、小さなノイズ領域が存在する場合がある。

このため、従来のノイズ領域除去方法では、形態的操作を用いて小さいノイズ領域をフィルタリングしていたが、本実施の形態では、閉鎖及び開口処理による初期マスクを改良している。すなわち、ラベリング部１７は、各領域の大きさに基づく降順ですべてのラベリングされた領域をソート及び再ラベリングし、再ラベリング処理において、所定の閾値ＴＨ_ＲＧより小さい領域を除去している。図１２は、ラベリング処理の結果の一例を示す図である。図１２に示すように、右側の画像では、二人の人間がシーン内に存在しているが、手を繋いでいるので、一つの対象物としてラベリングされている。

次に、ステップＳ１６において、輪郭抽出部１８は、ラベリングされた各前景領域の輪郭を抽出して領域成長部１９へ出力する。ここで、図１２に示す状態では、背景として間違って区分されたり、対象物の内部に間違ってラベリングされた多くの間違った領域が存在する。このため、本実施の形態では、前景領域の境界をスムージングし、領域内のホールを除去するために、カーマープロファイル抽出技術を改良したシルエット抽出技術を用いて、各領域の輪郭を抽出している。

図１３は、初期対象物に適用される輪郭抽出処理を説明するための模式図である。図１３の（ａ）〜（ｄ）に示すように、輪郭抽出部１８は、重み付けされた一画素の厚いドレープＤ１〜Ｄ４を初期対象物ＲＡに対して順次一方側から反対側へ移動させ、４つのドレープＤ１〜Ｄ４によって包まれた領域ＳＩが最終的に前景領域を示すこととなる。なお、ドレープＤ１〜Ｄ４の隣接画素は、その幅が所定の閾値Ｍより小さい浸潤ギャップのない対象物を覆う弾性バネによって連結されている。

次に、ステップＳ１７において、領域成長部１９は、輪郭が抽出された領域において、第１の領域、第２の領域、第３の領域、第４の領域の順に領域成長法を適用して、各領域を成長させ、対象物の輪郭の内側に実際に存在するホールを復元して前景領域抽出部２０へ出力する。

ここで、上記のシルエット抽出技術では、複数の対象物が撮影シーン中に存在するときに、対象物の内部に実際に存在するホールをも覆う可能性があり、対象物間の領域に重大なエラーを引き起こすという欠点を有している。このため、本実施の形態では、第１の問題を避けるために、各ラベリングされた領域に対してシルエット抽出技術を独立に適用し、第２の問題に対して、閾値ＴＨ_ＲＧより大きい領域に対して、シルエット内の信頼性が高い背景領域から領域成長技術を順次実行している。

図１４は、輪郭抽出処理の結果の一例を示す図であり、図１５は、内部ホール復元処理の結果の一例を示す図である。図１４の（ａ）及び図１５の（ａ）に示すように、一人の人間が前景に位置する場合、輪郭抽出処理の結果と内部ホール復元処理の結果とで大きな差はないが、図１４の（ｂ）及び図１５の（ｂ）に示すように、二人の人間が手を繋いだ状態で前景に位置する場合、図１４の（ｂ）において喪失していた、二人の人間によって作られたホールが、図１５の（ｂ）では、領域成長処理によって第４の領域（信頼できる前景）から復元されていることがわかる。

次に、ステップＳ１８において、前景領域抽出部２０は、実際に存在するホールが復元された第３及び第４の領域を前景領域として抽出し、その他の領域をマスクする前景マスクを生成して動画像をマスクすることにより、動画像から対象物を抽出する。

図１６は、上記の前景抽出処理により抽出された対象物のシルエットの一例を表す図である。図１６の（ａ）は、処理対象画像を表し、（ｂ）は、ステップＳ１３までの処理により第１乃至第４の領域に区分された画像を表し、（ｃ）は、ステップＳ１４までの処理により影が除去された画像を表し、（ｄ）は、ステップＳ１８までの処理により対象物（人物）が抽出された画像を表している。また、（ｂ）及び（ｃ）において、黒、濃い灰色、薄い灰色、白の各領域が、第１の領域（信頼できる背景）、第２の領域（疑わしい背景）、第３の領域（疑わしい前景）、第４の領域（信頼できる前景）を示しており、影が除去され、各領域が正確に区分された画像から最終的に（ｄ）に示す対象物が正確に抽出されている。

次に、ステップＳ１９において、３次元モデル作成部２１は、視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各ビデオカメラ１１〜１ｎで撮影された処理対象画像上に投影し、領域記憶部２２を参照して、各投影点が第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、対象物の３次元モデルを作成する。

図１７は、図５の示すステップＳ１９の３次元モデル作成処理を詳述するためのフローチャートである。まず、ステップＳ２０において、３次元モデル作成部２１は、一のボクセルを各ビデオカメラ１１〜１ｎで撮影された処理対象画像上に投影し、領域記憶部２２を参照して、当該ボクセルの投影点が各処理対象画像上の第１乃至第４の領域のいずれの領域に位置するかを判別する。

次に、ステップＳ２１において、３次元モデル作成部２１は、区分エラーが発生しているか否かを判断し、区分エラーが発生している場合、すなわち、すべての投影点のうち一の投影点が疑わしい背景領域すなわち背景である信頼性が低い第２の領域にあり、他の全てのＮ−１個の投影点が各処理対象画像の前景領域すなわち前景である信頼性が低い第３の領域又は前景である信頼性が高い第４の領域にある場合、ステップＳ２２において、一の投影点を区分エラーによる異常点であると判断し、視体積交差法に用いる投影点から排除する。一方、区分エラーが発生していない場合、３次元モデル作成部２１は、処理をステップＳ２３へ移行する。

次に、ステップＳ２３において、３次元モデル作成部２１は、部分的な遮蔽物によるエラーである遮蔽エラーが発生しているか否かを判断し、遮蔽エラーが発生している場合、すなわち、すべての投影点のうち一の投影点が信頼できる背景領域すなわち背景である信頼性が高い第２の領域にあり、当該一の投影点に隣接する２つの投影点が処理対象画像の信頼できる前景領域すなわち前景である信頼性が高い第４の領域にある場合、ステップＳ２４において、一の投影点を遮蔽エラーによる異常点であると判断し、視体積交差法に用いる投影点から排除する。一方、遮蔽エラーが発生していない場合、３次元モデル作成部２１は、処理をステップＳ２５へ移行する。

次に、ステップＳ２５において、３次元モデル作成部２１は、上記のようにして、区分エラー及び遮蔽エラーによる投影点を判断対象から排除して、残りの正確な投影点のうち少なくとも一の投影点が背景領域すなわち背景である信頼性が高い第１の領域又は背景である信頼性が低い第２の領域にあるか否かを判断し、少なくとも一の投影点が背景領域にある場合、当該ボクセルを３次元形状モデルから削り取り、その他の場合、３次元モデルを構成するボクセルとして当該ボクセルを残す。

次に、ステップＳ２６において、３次元モデル作成部２１は、上記の処理（ステップＳ２０〜Ｓ２５）が全てのボクセルに対して終了したか否かを判断し、全てのボクセルに対して処理が終了していない場合は、次のボクセルを処理対象ボクセルに設定してステップＳ２０以降の処理を繰り返し、全てのボクセルに対して処理が終了している場合は、図５のステップＳ１１に戻って、次の処理対象画像に対して上記の処理（ステップＳ１１〜Ｓ１９）が繰り返される。

次に、上記の３次元モデル作成処理を実際に実行した結果について詳細に説明する。ここで、ビデオカメラ１１〜１ｎとして、８台の校正済のＩＥＥＥ−１３９４カメラを撮影空間の天井又は壁の所定箇所に固定し、３次元空間を１ｃｍ×１ｃｍ×１ｃｍのボクセルを用いて分割して５５０×５５０×２５０の分解能でモデル化し、下記の評価を行った。

図１８は、図１に示す画像処理装置によりビジュアル・ハルを再構築した結果の一例を示す図であり、（ａ）は手作業で領域を正確に区分したマスク画像から作成したビジュアル・ハルであり、（ｂ）は従来の視体積交差法において使用するパラメータを最適化して作成したビジュアル・ハルであり、（ｃ）は従来の視体積交差法において使用するパラメータを緩和して作成したビジュアル・ハルであり、（ｄ）は図１に示す画像処理装置により作成したビジュアル・ハルである。図１８に示すように、（ｂ）では、あるカメラ視点において区分エラーが発生してビジュアル・ハルが損傷して腕の一部が欠落し、（ｃ）では、不要な部分がビジュアル・ハルとして再構築され、足の部分を正確に復元できなかったが、本実施の形態による（ｄ）では、（ａ）と同様に、ビジュアル・ハルを正確に再構築することができ、対象物を正確に復元することができた。

図１９は、遮蔽エラーがある場合のビジュアル・ハルを再構築した結果の一例を示す図であり、（ａ）はビジュアル・ハルの再構築に使用した処理対象画像の例を示し、（ｂ）は従来の視体積交差法において使用するパラメータを最適化して作成したビジュアル・ハルであり、（ｃ）は図１に示す画像処理装置により作成したビジュアル・ハルである。図１９の（ａ）に示すように、遮蔽物としてテーブル、ラック及びホワイトボード等がある場合、（ｂ）では、遮蔽エラーによりビジュアル・ハルが損傷して脚部の一部が大きく欠落したが、本実施の形態による（ｃ）では、脚部を含めてほぼ全体的にビジュアル・ハルを正確に再構築することができ、対象物をほぼ正確に復元することができた。

図２０は、図１に示す画像処理装置により再構築されたビジュアル・ハルに他の背景をレンダリングした結果の一例を示す図である。図２０から、図１に示す画像処理装置により正確に再構築されたビジュアル・ハルを用いて、任意の視点から見た対象物にテクスチャマッピングを施して種々の背景に正確にレンダリングできたことがわかる。

なお、上記の説明では、抽出される対象物として、人間を例に説明したが、他の動物、他の物体等にも同様に適用することができ、同様の効果を得ることができる。

本発明の一実施の形態による画像処理装置の構成を示すブロック図である。 連続した１５０フレームから計算された各画素の平均からの偏差の分布を示す図である。 図１に示す３次元モデル作成部の視体積交差法による３次元復元処理を説明するための模式図である。 シルエット内部の信頼性だけでなく、シルエット間の信頼性をも用いて３次元モデルを復元する処理を説明するための模式図である。 図１に示す画像処理装置による３次元モデル作成処理を説明するためのフローチャートである。 ビデオカメラにより撮影された画像から生成した背景モデル画像の輝度成分の一例を示す図である。 図６に示す背景モデル画像の色成分の一例を示す図である。 本実施の形態に使用した処理対象画像の一例を示す図である。 図８に示す処理対象画像の差分後の輝度成分を示す図である。 図８及び図９に示す画像を用いた分類結果を示す図である。 影除去処理後の結果の一例を示す図である。 ラベリング処理の結果の一例を示す図である。 初期対象物に適用される輪郭抽出処理を説明するための模式図である。 輪郭抽出処理の結果の一例を示す図である。 内部ホール復元処理の結果の一例を示す図である。 前景抽出処理により抽出された対象物のシルエットの一例を表す図である。 図５の示す３次元モデル作成処理を詳述するためのフローチャートである。 図１に示す画像処理装置によりビジュアル・ハルを再構築した結果の一例を示す図である。 遮蔽エラーがある場合のビジュアル・ハルを再構築した結果の一例を示す図である。 図１に示す画像処理装置により再構築されたビジュアル・ハルに他の背景をレンダリングした結果の一例を示す図である。 従来の視体積交差法により復元された３次元モデルを説明するための図である。

符号の説明

１１〜１ｎ ビデオカメラ
１２ 背景モデル記憶部
１３ 画像取得部
１４ 背景差分部
１５ 領域区分部
１６ 影除去部
１７ ラベリング部
１８ 輪郭抽出部
１９ 領域成長部
２０ 前景領域抽出部
２１ ３次元モデル作成部
２２ 領域記憶部

Claims (7)

1. 背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して前記対象物の３次元モデルを作成する画像処理装置であって、
   互いに異なる複数のカメラ視点から撮影された動画像を処理対象画像として取得する取得手段と、
   前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像からなる背景画像を差分して差分画像を作成する背景差分手段と、
   前記差分画像を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、
   視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各カメラ視点で撮影された処理対象画像上に投影した各投影点が前記第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、前記対象物の３次元モデルを作成する作成手段とを備え、
   前記作成手段は、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点を用いて、前記対象物の３次元モデルを作成することを特徴とする画像処理装置。
2. 前記作成手段は、一のボクセルを第１のカメラ視点で撮影された処理対象画像上に投影した第１の投影点が前記第１の領域に属し、当該ボクセルを、当該ボクセルを中心として前記第１のカメラ視点に対して所定角度内に位置する第２のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記第１のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することを特徴とする請求項１記載の画像処理装置。
3. 前記複数のカメラ視点の中から互いに異なる２以上のカメラ視点を含む複数のカメラ視点群を予め記憶する記憶手段をさらに備え、
   前記作成手段は、一のボクセルを第１のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを、前記記憶手段に記憶されている前記第１のカメラ視点が属するカメラ視点群に含まれる他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記第１のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することを特徴とする請求項１記載の画像処理装置。
4. 前記作成手段は、一のボクセルを第１のカメラ視点で撮影された処理対象画像上に投影した第１の投影点が前記第１の領域に属し、当該ボクセルを、前記第１のカメラ視点に隣接するカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記第１のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記作成手段は、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第２の領域に属し、当該ボクセルを、他の２以上のカメラ視点で撮影された処理対象画像上に投影した投影点が少なくとも前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点のうち少なくとも一つの投影点が前記第１又は第２の領域に属するボクセルを削り取ることにより、前記対象物の３次元モデルを作成することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 処理対象画像を取得する取得手段と、前記処理対象画像から差分画像を作成する背景差分手段と、前記処理対象画像を複数の領域に区分する領域区分手段と、視体積交差法を用いて３次元モデルを作成する作成手段とを備える画像処理装置を用いて、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して前記対象物の３次元モデルを作成する画像処理方法であって、
   前記取得手段が、互いに異なる複数のカメラ視点から撮影された動画像を処理対象画像として取得する第１のステップと、
   前記背景差分手段が、前記第１のステップにおいて取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像からなる背景画像を差分して差分画像を作成する第２のステップと、
   前記領域区分手段が、前記差分画像を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する第３のステップと、
   前記作成手段が、視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各カメラ視点で撮影された処理対象画像上に投影した各投影点が前記第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、前記対象物の３次元モデルを作成する第４のステップとを含み、
   前記第４のステップは、前記作成手段が、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点を用いて、前記対象物の３次元モデルを作成する第５のステップを含むことを特徴とする画像処理方法。
7. 背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出して前記対象物の３次元モデルを作成する画像処理プログラムであって、
   互いに異なる複数のカメラ視点から撮影された動画像を処理対象画像として取得する取得手段と、
   前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像からなる背景画像を差分して差分画像を作成する背景差分手段と、
   前記差分画像を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、
   視体積交差法を用いて、３次元空間を複数のボクセルに分割し、各ボクセルを各カメラ視点で撮影された処理対象画像上に投影した各投影点が前記第１乃至第４の領域のいずれに属するかを判断し、この判断結果に基づいて、対象物を構成するボクセル以外のボクセルを削り取ることにより、前記対象物の３次元モデルを作成する作成手段としてコンピュータを機能させ、
   前記作成手段は、一のボクセルを一のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第１の領域に属し、当該ボクセルを他のカメラ視点で撮影された処理対象画像上に投影した投影点が前記第４の領域に属する場合、前記一のカメラ視点で撮影された処理対象画像上に投影された投影点を判断対象から除外し、残りの投影点を用いて、前記対象物の３次元モデルを作成することを特徴とする画像処理プログラム。