JP2016071645A - オブジェクト３次元モデル復元方法、装置およびプログラム - Google Patents

Abstract

【課題】RGB-Dカメラ1セットで取得される情報から、オブジェクトの正面領域だけでなく、側面領域も含めた広範囲の３次元モデルを復元する。【解決手段】オブジェクト領域抽出部１０１は、深度マップの奥行データに基づいてオブジェクト領域を抽出する。３次元表面モデル生成部１０５は、オブジェクトの３次元表面モデルをその奥行データに基づいて生成する。拡張範囲設定部１０６は、３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する。３次元表面モデル拡張部１０７は、３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かを判定する。ポリゴンモデル生成部１０８は、拡張範囲内のボクセルに基づいてオブジェクトの３次元ポリゴンモデルを生成する。レンダリング部１０９は、３次元ポリゴンモデルを仮想視点でレンダリングして自由視点映像を出力する。【選択図】図１

Description

本発明は、オブジェクトの３次元モデルを復元する方法、装置およびプログラムに係り、特に、自由視点映像の合成に好適なオブジェクトの３次元モデル復元方法、装置およびプログラムに関する。

サッカーや野球等のチームスポーツ競技を対象とした自由視点（仮想視点）映像の生成では、人物に代表される各オブジェクトの厳密な３次元形状よりも、複数人物間の位置関係や、移動に伴う軌跡の提示が重要である。そのため、各オブジェクトの次元世界座標系における立ち位置を大まかに推定し、撮影カメラ映像から抽出されるテクスチャをマッピングするという、ビルボード方式に基づく合成が有効であった。

一方、ゴルフやダンスのような個人スポーツ競技においては、チームスポーツ競技に比べて、姿勢やフォームに関する情報がより重要であり、自由視点映像を生成する際にも、カメラが存在しない視点・アングルからの見え方の変化を細かく再現することが求められる。したがって、ビルボード方式では再現できない、視点・アングルの移動に伴う姿勢やフォームの細かな変化を滑らか再現することが重要であり、厳密な３次元形状のモデリングが必要となる。

人物等のオブジェクトの３次元モデルを復元する手法として、特許文献１には、複数カメラ映像を用いたステレオマッチングや視体積交差法が提案されている。また、近年ではMicrosoft Kinectのように安価な距離画像センサが急速に普及しており、特許文献２および非特許文献１には、映像・奥行データを活用した３次元モデル生成手法が提案されている。

特開2010-152771号公報 特開2014-067372号公報

Shahram Izadi et al., "KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*", UIST'11, pp 559-568, Oct. 2011.

特許文献１には、複数のカメラ映像を用いることで、比較的安定して高精度な３次元モデルが復元可能であることが示されている。しかしながら、複数カメラを全周囲に配置する必要があるため、撮影コストやモデル復元の手間が大きいという課題があった。

非特許文献１では、奥行データを用いた３次元モデル復元手法が提案されているが、対象オブジェクトが静止している状態で、奥行センサを持ち運んで対象オブジェクトを取り囲むように撮影する必要があるため、人物のような動的に変化する対象オブジェクトの３次元モデルの復元には適さないという課題があった。

特許文献２には、１セットの固定された距離画像センサから取得される映像・奥行データを用いて、リアルタイムに自由視点映像を合成する手法が提案されている。しかしながら、撮影視点から一定範囲を超えて仮想視点を設定した場合、対象オブジェクトの側面情報が欠落してしまうため、個人スポーツ競技における姿勢やフォームを確認するという目的には適さないという課題があった。

本発明の目的は、上記の技術課題を解決し、映像および奥行データを同時に取得可能なRGB-Dカメラ1セットで取得される情報から、オブジェクトの正面領域だけでなく、側面領域も含めた広範囲の３次元モデルを復元できるオブジェクトの３次元モデル復元方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、オブジェクトを撮影したカメラ画像およびその深度マップに基づいて３次元モデルを復元するオブジェクト３次元モデル復元装置において、以下の構成を具備した点に特徴がある。

(1) 深度マップの奥行データに基づいてオブジェクト領域を抽出する手段と、オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手段と、３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手段と、３次元表面モデルを内包するボクセル空間内の各ボクセルが拡張範囲内であるか否かを判定する手段と、拡張範囲内のボクセルに基づいてオブジェクトの３次元ポリゴンモデルを生成する手段とを具備した。

(2) ３次元表面モデルを生成する手段は、オブジェクト領域をカメラ画像にマッピングしてオブジェクト画像を抽出する手段と、オブジェクト画像のエッジ領域をカメラ画像の色情報に基づくエッジ抽出により補間する手段と、補間後のオブジェクト画像に基づいて奥行データを補間する手段とを具備し、補完後の奥行データに基づいて３次元表面モデルを生成するようにした。

(3) ３次元ポリゴンモデルを仮想視点でレンダリングして自由視点映像を出力する手段をさらに具備し、３次元ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すようにした。

本発明によれば、以下のような効果が達成される。
(1) オブジェクトを撮影したカメラ画像およびその深度マップを出力するRGB-Dカメラ1セットのみを用いて、従来技術では捉えきれなかった側面等の領域の３次元形状が復元可能となる。

(2) オブジェクト画像のエッジ領域をカメラ画像に基づいて補間し、補間後のオブジェクト画像に基づいて奥行データを補間し、補間後の奥行データに基づいてオブジェクト領域の三次元モデルが生成されるので、画像レンダリングに十分な奥行推定精度を確保し、画像合成によるアーティファクトを低減できるようになる。

(3) ゴルフ等の個人スポーツ競技における自由視点映像の合成を行う際に、従来のビルボード方式では再現することができなかった、細かな視点・アングルの移動に応じた見え方の変化を滑らかに再現可能となる。

(4) ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すようにすれば、側面等の奥行部分を陰影により強調表示できるようになる。

オブジェクト３次元モデル復元装置の機能ブロック図である。 距離画像カメラから出力されるカメラ画像[同図(a)]および当該カメラ画像に対応する深度マップ[同図(b)]の一例を示した図である。 エッジ補間前後の各オブジェクト画像の一例を示した図である。 奥行データがデプス補間された深度マップを示した図である。 奥行データとその３次元ポリゴンモデルの例を示した図である。 ポリゴンモデルの作成方法を示した図である。 拡張範囲の設定例を示した図である。 ３次元表面モデルの拡張方法を説明するための図である。 オブジェクトのRGBカラー画像およびその深度マップから生成されたポリゴンモデル（その１）を示した図である。 オブジェクトのRGBカラー画像およびその深度マップから生成されたポリゴンモデル（その２）を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクトの３次元モデル復元装置の主要部の構成を示した図であり、３次元モデル復元部１および距離画像（RGB-D）カメラ２により構成される。

距離画像カメラ２において、撮像部２０１は、CCDまたはCMOSなどの画像センサ２０３からオブジェクトのカメラ画像（RGBカラー画像）を取得する。深度マップ作成部２０２は、光源２０４から照射されたLED光またはレーザ光の反射光を画像センサ２０３で検知し、到達時間を画素ごとに計測することにより、各画素と奥行データとを対応付ける深度マップを作成する。図２は、距離画像カメラ２から出力されるカメラ画像[同図(a)]およびその深度マップ[同図(b)]の一例を示している。

３次元モデル復元部１において、オブジェクト領域抽出部１０１は、前記深度マップに基づいてオブジェクト領域を抽出する。本実施形態では、深度マップの奥行データに閾値を設定し、奥行データが閾値以下の画素領域がオブジェクト領域（ここでは、人物領域）と判定され、それ以外の画素領域は背景領域と判定される。

オブジェクト画像抽出部１０２は、カメラ画像から前記オブジェクト領域に対応するオブジェクト画像（ここでは、人物画像）を抽出する。図３(a)は、カメラ画像[図２(a)]から前記オブジェクト領域に基づいて抽出されたオブジェクト画像を示している。

オブジェクト画像補間部１０３は、オブジェクト画像の輪郭部分をカメラ画像に基づいて補間する。本実施形態では、オブジェクト画像の輪郭近傍を一定の画素数だけ膨らませる形で探索し、色情報に基づくエッジ検出を行って、検出されたエッジの輪郭を正確なオブジェクト画像として再現する。

図３(b)は、エッジ補間後のオブジェクト画像を示した図であり、図３(a)の補間前と比較すれば、オブジェクト画像のエッジ部分、特に右手部分や胴体左側部分の画素が補間されて、より正確なオブジェクト画像が再現されていることが判る。

奥行データ補間部１０４は、エッジ補間後のオブジェクト画像に基づいて奥行データを補間する。本実施形態では、補間後のオブジェクト画像に対応する深度マップの領域を特定し、当該領域内でオブジェクト領域に対応する値を示さない奥行データを、その近傍でオブジェクト領域に対応する値を示す奥行データに基づいて補間（デプス補間）する。

図４は、デプス補間処理後の奥行データによる深度マップを示した図であり、オブジェクト領域の、特に破線で囲った腕や胴体のエッジ部分、頭頂部分および右手部分において奥行データが補間され、より正確な奥行データが再現されていることが判る。

３次元表面モデル生成部１０５は、補間後の奥行データに基づいてオブジェクト領域の３次元ポリゴンモデルを生成する。本実施形態では、図５に示したように、オブジェクト領域に対応する補間済み奥行データ[同図(a)]を対象に各画素の隣接関係に基づいて３次元ポリゴンモデル化を行うことで３次元ポリゴンモデル[同図(b)]が作成される。

例えば、図６に示したように、カメラ画像の各２×２＝４の画素ブロックから選択される３つの画素の組み合わせごとに、各画素の３次元座標をカメラ画像上での二次元座標および奥行データから算出し、各３次元座標を頂点座標とする三角形のポリゴンを生成する。そして、補完後の深度マップから生成された全てのポリゴンを連結してポリゴンモデルを生成する。このとき、頂点座標間の距離が閾値以上のパターンはノイズと見なされて排除される。

このように、本実施形態では、オブジェクト画像のエッジ領域をカメラ画像に基づいて補間し、補間後のオブジェクト画像に基づいて奥行データを補間し、補間後の奥行データに基づいてオブジェクト領域の三次元モデルが生成されるので、画像レンダリングに十分な奥行推定精度を確保し、画像合成によるアーティファクトを低減できる。

拡張範囲設定部１０６は、前記オブジェクトの３次元表面モデルを、当該オブジェクトの厚み相当だけ奥行方向に拡張する範囲を設定する。図７は、拡張範囲の設定例を示した図であり、ここでは、オブジェクトとして人物を想定し、その胴体部分の断面図を参照して説明する。

本実施形態では、３次元表面モデルの正面から深さ方向に所定の厚み相当の範囲が拡張範囲に設定される。オブジェクトが人物であれば、体の厚みが３０cm相当と仮定し、表面から深さ方向に３０cm以内が拡張範囲とされる。なお、輪郭部に近付くにつれて厚みが漸減するように拡張範囲を設定すれば、より自然な厚みを再現できているようになる。また、オブジェクトが人物であって、その頭部、胴体部、腕部、脚部等を識別できるならば、それらの部位ごと異なる厚み相当の拡張範囲を設定するようにしても良い。

３次元表面モデル拡張部１０７は、図８に示したように、前記３次元表面モデルを内包するボクセル空間を構築し、当該ボクセル空間内の各ボクセルを、前記拡張された３次元表面モデルの奥行データに投影することにより、各ボクセルが拡張範囲であるか否かを判断する。

本実施形態では、ボクセル空間の各ボクセル(X，Y，Z，1)と、当該ボクセルが中心射影行列に基づいて投影された深度マップの各画素(S，T)とが予め対応付けられており、次式(1)の対応関係が与えられ、拡張範囲内とされた全てのボクセルが前記拡張範囲であるか否かが判定される。

ポリゴンモデル生成部１０８は、拡張範囲内とされた各ボクセルデータの等値面を、例えばMarching cubes (マーチングキューブ法)によりポリゴンデータに変換してポリゴンモデルを生成する。

レンダリング部１０９は、前記ポリゴンモデルを別途に与えられる仮想視点でレンダリングして自由視点映像を出力する。この際、各ポリゴンの法線ベクトルと仮想視点の方向との角度差を求め、角度差の大きなポリゴン面に対して陰影処理を施すようにしても良い

このようなオブジェクト３次元モデル復元部１は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。

図９，１０はいずれも、オブジェクトのRGBカラー画像[同図(a)]およびその深度マップ[同図(b)]から生成されたポリゴンモデルを比較した図であり、いずれも同図(c)は、３次元表面モデルを奥行方向に拡張しない場合のポリゴンモデルであり、カメラと異なる自由視点（仮想視点）では側部のポリゴンが欠落している。

これに対して、同図(d)は、３次元表面モデルを奥行方向へ拡張した場合のポリゴンモデルの表示結果であり、カメラと異なる自由視点でも側部にポリゴンが存在し、オブジェクトの厚みを正確に表現できていることが判る。また、各ポリゴンの法線ベクトルと仮想視点の方向との角度差に応じた陰影処理を施したことにより、奥行が陰影により強調されていることが判る。

本実施形態によれば、オブジェクトを撮影したカメラ画像およびその深度マップを出力するRGB-Dカメラ1セットのみを用いて、従来技術では捉えきれなかった側面等の領域の３次元形状が復元可能となる。

また、本実施形態によれば、ゴルフ等の個人スポーツ競技における自由視点映像の合成を行う際に、従来のビルボード方式では再現することができなかった、細かな視点・アングルの移動に応じた見え方の変化を滑らかに再現可能となる。

さらに、本実施形態によれば、ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すようにしたので、側面等の奥行部分を陰影により強調表示できるようになる。

１…３次元モデル復元部，２…距離画像カメラ，１０１…オブジェクト領域抽出部，１０２…オブジェクト画像抽出部，１０３…オブジェクト画像補間部，１０４…奥行データ補間部，１０５…３次元表面モデル生成部，１０６…拡張範囲設定部，１０７…３次元表面モデル拡張部，１０８…ポリゴンモデル生成部，レンダリング部１０９

Claims (7)

1. オブジェクトを撮影したカメラ画像およびその深度マップに基づいて３次元モデルを復元するオブジェクト３次元モデル復元装置において、
   深度マップの奥行データに基づいてオブジェクトの領域を抽出する手段と、
   前記オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手段と、
   前記３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手段と、
   前記３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かを判定する手段と、
   前記拡張範囲内のボクセルに基づいてオブジェクトの３次元ポリゴンモデルを生成する手段とを具備したことを特徴とするオブジェクト３次元モデル復元装置。
2. 前記３次元表面モデルを生成する手段は、
   前記オブジェクトの領域をカメラ画像にマッピングしてオブジェクト画像を抽出する手段と、
   前記オブジェクト画像のエッジ領域をカメラ画像の色情報に基づくエッジ抽出により補間する手段と、
   補間後のオブジェクト画像に基づいて奥行データを補間する手段とを具備し、
   前記補完後の奥行データに基づいて３次元表面モデルを生成することを特徴とする請求項１に記載のオブジェクト３次元モデル復元装置。
3. 前記奥行データを補間する手段は、補間後のオブジェクト画像に対応する値を示さない奥行データを、その近傍の奥行データにより補間することを特徴とする請求項２に記載のオブジェクト３次元モデル復元装置。
4. 前記３次元ポリゴンモデルを仮想視点でレンダリングして自由視点映像を出力する手段をさらに具備したことを特徴とする請求項１ないし３のいずれかに記載のオブジェクト３次元モデル復元装置。
5. 前記自由視点映像を出力する手段は、前記３次元ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すことを特徴とする請求項４に記載のオブジェクト３次元モデル復元装置。
6. オブジェクトを撮影したカメラ画像およびその深度マップに基づいてコンピュータが３次元モデルを復元するオブジェクト３次元モデル復元方法において、
   深度マップの奥行データに基づいてオブジェクトの領域を抽出する手順と、
   前記オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手順と、
   前記３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手順と、
   前記３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かに基づいてオブジェクトの３次元ポリゴンモデルを生成する手順とを含むことを特徴とするオブジェクト３次元モデル復元方法。
7. オブジェクトを撮影したカメラ画像およびその深度マップに基づいて３次元モデルを復元するオブジェクト３次元モデル復元プログラムにおいて、
   深度マップの奥行データに基づいてオブジェクトの領域を抽出する手順と、
   前記オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手順と、
   前記３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手順と、
   前記３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かに基づいてオブジェクトの３次元ポリゴンモデルを生成する手順とを、コンピュータに実行させるオブジェクト３次元モデル復元プログラム。