JP2011113177A - 被写体３次元モデルを構築する方法およびプログラム - Google Patents

Abstract

【課題】高精度な被写体シルエット画像を必要とすることなく、多視点映像をもとに高精度な被写体の３次元モデルを構築する方法を提供する。
【解決手段】本発明の方法は、複数の背景画像の画素値と複数の被写体画像の画素値とから、複数の被写体画像の画素の背景尤度を表す連続値を画素毎に算出し、ボクセル空間中の各ボクセルを被写体画像の各撮影視点に投影し、撮影視点毎の画素を算出し、撮影視点毎の画素での連続値をもとに、ボクセルが被写体領域に属するか否かを判定し、被写体領域を決定する。
【選択図】図１

Description

本発明は、被写体を撮影した画像と背景のみを撮影した画像から、被写体３次元モデルを構築する方法およびプログラムに関する。

多視点映像をもとに被写体の３次元モデル（３次元ボクセルデータ）を構築する代表的な手法として視体積交差法がある（非特許文献１）。この方法には、被写体の３次元モデルの精度が、各撮影視点で抽出される被写体シルエット画像の精度に大きく影響されるという問題がある。このため、高精度な３次元ボクセルデータを構築するためには、まず高精度な被写体シルエット画像を抽出しなければならず、ブルーバックなどの特別な環境が必要であった。特許文献１及び非特許文献２では、背景差分に工夫をこらし、３次元ボクセルデータの色情報を用いて被写体シルエット画像の欠損を埋める被写体シルエット画像精度向上の方法を開示している。

特開２００７−１７３６４号公報

豊浦正広、飯山将晃、舩冨卓哉、角所考、美濃導彦、「欠損および過抽出を含む時系列シルエットからの三次元形状獲得」、電子情報通信学会技術研究報告，PRMU2007-168，Vol.107，No.427，pp.69-74，2008-1 豊浦正広他、「ランダムパターン背景を用いた視体積交差法のためのシルエット修復手法」 ２００５年 電子情報通信学会総合大会 Ｄ−１２−１３３

従来の方法では、精度の高いボクセルデータを構築するためには、初めに十分精度の高い被写体シルエット画像が必要であった。そのため、手作業や、ブルーバックなどの特別な撮影環境を用いて、複雑な計算処理を行い、精度の高い被写体シルエット画像を抽出しなければならないという課題があった。

このように、従来の視体積交差法は、各撮影視点における被写体シルエット画像の精度に大きく影響されるという問題があり、特に被写体シルエット画像において本来被写体領域である領域が誤って背景として分類される「欠損」と呼ばれる問題は視体積交差法の精度において致命的であった。

したがって、本発明は、高精度な被写体シルエット画像を必要とすることなく、多視点映像をもとに高精度な被写体の３次元モデルを構築する方法およびプログラムを提供することを目的とする。

上記目的を実現するため本発明による被写体３次元モデルを構築する方法は、被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体３次元モデルを構築する方法であって、前記複数の背景画像の画素値と前記複数の被写体画像の画素値とから、前記複数の被写体画像の画素の背景尤度を表す連続値を画素毎に算出する第１の算出ステップと、ボクセル空間中の各ボクセルを前記被写体画像の各撮影視点に投影し、撮影視点毎の画素を算出する第２の算出ステップと、前記撮影視点毎の画素での連続値をもとに、前記ボクセルが被写体領域に属するか否かを判定し、被写体領域を決定するステップとを有する。

また、前記第１の算出ステップは、前記複数の背景画像毎の画素の平均および分散を算出し、前記複数の被写体画像の背景尤度を正規分布と仮定することにより、前記平均および前記分散から、前記複数の被写体画像の画素毎の背景尤度を表す連続値を算出するステップであることも好ましい。

また、前記決定ステップは、前記撮影視点毎の画素の連続値の平均を算出し、平均が閾値より小さいとき、該画素は被写体領域に属し、閾値以上のとき、該画素は被写体領域に属さないと判定し、被写体領域を決定するステップであることも好ましい。

また、前記被写体画像の画素値および前記背景画像の画素値は、ＨＳＶ空間の３次元ベクトルとして表現されることも好ましい。

上記目的を実現するため本発明による被写体領域を決定するプログラムは、被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体３次元モデルを構築するためのコンピュータを、前記複数の背景画像の画素値と前記複数の被写体画像の画素値とから、前記複数の被写体画像の画素の背景尤度を表す連続値を画素毎に算出する第１の算出手段と、ボクセル空間中の各ボクセルを前記被写体画像の各撮影視点に投影し、撮影視点毎の画素を算出する第２の算出手段と、前記撮影視点毎の画素での連続値をもとに、前記ボクセルが被写体領域に属するか否かを判定し、被写体領域を決定する手段として機能させる。

本発明の、各ボクセルを背景尤度に基づく連続値で表現するという方法によれば、従来の前景か背景の２値のみで表現した方式に比べ、様々な数学的枠組みを活用することができ、より精度の高い被写体３次元モデルを構築することができる。

本発明による被写体３次元モデルを構築する方法を示すフローチャートである。 ある閾値で被写体領域と背景領域を決定したシルエット画像を示す。 横方向から見た背景尤度により求められた被写体３次元モデルを示す。 鉛直方向から見た背景尤度により求められた被写体３次元モデルを示す。 正面方向から見た背景尤度により求められた被写体３次元モデルを示す。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による被写体３次元モデルを構築する方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。

従来の視体積交差法では、各撮影視点における被写体シルエット画像の各画素を前景か背景の２値で扱うため、誤分類した場合に３次元モデルの精度が低下する。そのため、本発明では、被写体シルエット画像を背景尤度に基づく連続値で表現し、各ボクセルについて各視点での投影画素の平均値を計算することで、連続値で表現する。最終的に各ボクセルの背景らしさをもとに被写体領域を決定し、被写体３次元モデルを構築する。

ステップ１：円周配置の複数枚の被写体画像と背景画像を取得する。キャリブレーション済みのカメラを複数台円周上に配置して、該複数台のカメラで被写体と背景を含む被写体画像と背景のみを含む背景画像とを撮影し、複数の異なった方向から撮影した被写体画像と背景画像を取得する。それぞれ、ｎ枚（ｉ＝１〜ｎ）撮影されたとする。例えば、カメラが３０台配置された場合、被写体画像画像及び背景画像はそれぞれ３０枚取得される。

ステップ２：ｎ枚撮影された背景画像の各画素をＨＳＶ空間の３次元ベクトルで表現する。ＨＳＶ空間は色情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の３成分で表した空間のことである。背景画像の画素がｍ個（ｊ＝１〜ｍ）あったとする。例えば、背景画像の大きさが１２８０×７２０であった場合、ｍ＝１２８０×７２０になる。このようにして、ｎ枚撮影された背景画像の各画素は、ｎ×ｍ個の３次元ベクトル

で表現される。

ステップ３：複数枚の背景画像毎に、画素の平均および分散を取ることにより、画素値の平均ベクトルｕ_ｊおよび画素値の共分散行列Ｓ_ｊを算出する。それぞれ、画素数分（ｊ＝１〜ｍ）だけ算出される。

画素値の平均ベクトルｕ_ｊは、

より算出される。また、画素値の共分散行列Ｓ_ｊは、

より算出される。なお、行列の１行２列の成分は、

のように表される。他の成分についても同様に表される。

ステップ４：被写体画像の各画素の背景尤度（背景らしさ）を算出する。ｎ枚撮影された被写体画像の各画素は、背景画像と同様にｎ×ｍ個の３次元ベクトル

で表される。各画素における背景尤度を表す連続値は、その形がガウス分布（正規分布）
であると仮定して、

のように表現する。この連続値は、０＜ｆ（ｘ’）≦１の範囲内にあり、画素が背景である確率を表す。この連続値が１に近づくほど背景である確率が大きくなる。なお、ここで、｜Ｓ_ｊ｜は行列Ｓ_ｊの行列式を表し、Ｓ_ｊ ^−１は、行列Ｓ_ｊの逆行列を表し、^Ｔは、ベクトルの転置を表している。

ステップ５：ボクセル空間中の各ボクセル（３次元空間の点）を各撮影視点に投影する。これにより、ボクセルに対応する被写体画像の画素ｘ’_i,ｊ(i)（ｉ＝１〜ｎ）が、撮影枚数分ｎ個求まる。ｊ（ｉ）は、ｉ番目の被写体画像中の画素を特定する数値で、ｉにより定まる１〜ｍの間の数である。

ステップ６：各ボクセルで背景尤度の連続値の平均Ｕを算出する。平均Ｕは、

より求められる。

ステップ７：ある閾値Ｍに基づいて、被写体領域を決定する。ある閾値Ｍを定め、
Ｕ≧Ｍ：ボクセルは背景領域に属する。
Ｕ＜Ｍ：ボクセルは被写体領域に属する。
と規定することより、ボクセルが被写体領域に属するかどうかを決定する。これにより、３次元空間の全ての点が、背景であるか被写体であるか決定され、被写体３次元モデルが構築される。

このように、本発明では、背景らしさを連続値で表して、被写体領域を決定する。従来の視体積交差法では背景らしさは０、１の離散値で表し、全ての画像で０の時のみ被写体領域としていた。そのため、本来被写体領域である領域が誤って背景として分類される「欠損」と呼ばれる問題があった。本発明では、背景らしさを連続値で表現するため、被写体領域を誤って背景とする問題が解消される。

次に、本発明の処理結果を実際の画像により示す。図２は、ある閾値で被写体領域と背景領域を決定したシルエット画像を示す。（ａ）と（ｂ）は、別々の角度から撮影された被写体画像の各画素について、数式５に基づいて背景尤度を算出し、この背景尤度より、被写体領域と背景領域を表したものである。本図では、背景尤度が閾値より小さい被写体領域を黒で表し、背景尤度が閾値以上である背景領域を白で表している。

図３は、横方向から見た背景尤度により求められた被写体３次元モデルを示す。図４は、鉛直方向から見た背景尤度により求められた被写体３次元モデルを示す。図５は、正面方向から見た背景尤度により求められた被写体３次元モデルを示す。それぞれの図において、右側に記された数値は閾値である。これらの図では、白い箇所は背景尤度が閾値より小さい被写体領域であり、黒い箇所は背景尤度が閾値以上である背景領域である。閾値を小さくすればするほど、被写体領域に属するボクセルが少なくなる。このため、閾値を小さくすればするほど、被写体領域がはっきり見えてくる。

図２の被写体シルエット画像には、本来被写体領域である領域が誤って背景として分類される「欠損」が存在している（例えば、図２ａの右から２番目の被写体）。従来の視体積交差法では、この欠損は構築される被写体３次元モデルに大きな影響を及ぼす。しかしながら、本発明で構築される被写体３次元モデル（図３から図５）では、影響が及んでいない。このように、本発明では、背景らしさを連続値で表現するため、被写体領域を誤って背景とする問題が解消される。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

Claims (6)

1. 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体３次元モデルを構築する方法であって、
   前記複数の背景画像の画素値と前記複数の被写体画像の画素値とから、前記複数の被写体画像の画素の背景尤度を表す連続値を画素毎に算出する第１の算出ステップと、
   ボクセル空間中の各ボクセルを前記被写体画像の各撮影視点に投影し、撮影視点毎の画素を算出する第２の算出ステップと、
   前記撮影視点毎の画素での連続値をもとに、前記ボクセルが被写体領域に属するか否かを判定し、被写体領域を決定するステップと、
   を有することを特徴とする被写体３次元モデルを構築する方法。
2. 前記第１の算出ステップは、
   前記複数の背景画像毎の画素の平均および分散を算出し、
   前記複数の被写体画像の背景尤度を正規分布と仮定することにより、前記平均および前記分散から、前記複数の被写体画像の画素毎の背景尤度を表す連続値を算出するステップであることを特徴とする請求項１に記載の被写体３次元モデルを構築する方法。
3. 前記決定ステップは、前記撮影視点毎の画素の連続値の平均をもとにボクセルの連続値を算出し、各ボクセルの連続値または該連続値のボクセル間の相関をもとに、該ボクセルが被写体領域に属すか否かを判定し、被写体領域を決定するステップであることを特徴とする請求項１または２に記載の被写体３次元モデルを構築する方法。
4. 前記ボクセルが被写体領域に属するか否かは、ボクセルの連続値が一定の閾値以下であるとき、該ボクセルは被写体領域に属さなく、該一定の閾値より大きいとき、該ボクセルは被写体領域に属すると判定する請求項３に記載の被写体３次元モデルを構築する方法。
5. 前記被写体画像の画素値および前記背景画像の画素値は、ＨＳＶ空間の３次元ベクトルとして表現されることを特徴とする請求項１から４のいずれか１項に記載の被写体３次元モデルを構築する方法。
6. 被写体と背景を撮影した複数の被写体画像と背景のみを撮影した複数の背景画像とから、被写体３次元モデルを構築するためのコンピュータを、
   前記複数の背景画像の画素値と前記複数の被写体画像の画素値とから、前記複数の被写体画像の画素の背景尤度を表す連続値を画素毎に算出する第１の算出手段と、
   ボクセル空間中の各ボクセルを前記被写体画像の各撮影視点に投影し、撮影視点毎の画素を算出する第２の算出手段と、
   前記撮影視点毎の画素での連続値をもとに、前記ボクセルが被写体領域に属するか否かを判定し、被写体領域を決定する手段と、
   して機能させ、被写体領域を決定することを特徴とするプログラム。

Images