JP2021071749A

JP2021071749A - ３ｄモデル生成装置および方法

Info

Publication number: JP2021071749A
Application number: JP2019195844A
Authority: JP
Inventors: 良亮渡邊; Ryosuke Watanabe
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2021-05-06
Anticipated expiration: 2039-10-29
Also published as: JP7290546B2

Abstract

【課題】複数台のカメラの映像から被写体の3Dモデルを高速かつ高品質に生成する装置及び方法を提供する。【解決手段】シルエット画像取得部１０１は、多視点映像から視点ごとにシルエット画像を取得する。低解像モデル生成部１０２は、複数のシルエット画像から視体積交差法によりボクセルサイズが第１サイズの低解像ボクセルモデルを生成する。単位ボクセルサイズ決定部１０４は、低解像ボクセルモデルをその特徴に基づいて分類する分類部１０４ａを具備し、低解像ボクセルモデルごとに、その分類結果に基づいて第１サイズよりも小さい第２サイズを決定する。高解像モデル生成部１０５は、低解像ボクセルモデルの3Dバウンディングボックスごとにボクセルサイズが第２サイズの高解像ボクセルモデルを生成する。3Dモデル出力部１０６は、高解像ボクセルモデルに基づいて被写体の3DCGモデルを出力する。【選択図】図１

Description

本発明は、複数台のカメラの映像から被写体の3Dモデルを高速かつ高品質に生成する装置及び方法に関する。

複数のカメラ映像から被写体の3Dモデルを生成するアプローチとして、非特許文献1に開示された視体積交差法が広く知られている。視体積交差法は、各カメラ映像から被写体の部分だけを抽出した2値のシルエット画像を3D空間に投影し、その積集合となる部分のみを残すことによって3Dモデルを生成する手法である。

視体積交差法に基づいて生成される3Dモデルを構成する最小単位はボクセルと呼ばれる。ボクセルは、一定の値を持つ小さな体積の立方体であり、立体データを離散的に表現する際の正規格子単位である。以下の説明では、M×M×M（Mは定数）の大きさのボクセルを「単位ボクセルサイズがMのボクセル」と表現することとしている。

一般に、単位ボクセルを大きく設定するほど3D空間は離散的に扱われるため、視体積交差法の処理時間は短くなるが、モデルが離散化されるため実際の形状よりも粗い3Dモデルが生成される。一方、この単位ボクセルサイズが小さくなるほど実際の形状に近い形を復元することが可能となるが、計算単位の増加により処理時間が爆発的に増加する。

非特許文献２には、視体積交差法を自由視点映像技術等の中で用いる技術が開示されている。自由視点映像技術は複数台のカメラ映像から3D空間を再構成し、カメラがないアングルからでも視聴することを可能とする技術であるが、スポーツ映像などを対象とする場合にはリアルタイム性が重要である。しかしながら、スタジアムなどの広大な領域の中で、通常のボクセルベースの視体積交差法で3Dモデルの生成を行う場合には、計算時間が膨大となるという欠点があった。

このような技術課題を解決するために、非特許文献３には視体積交差法を高速化する技術が開示されている。非特許文献３では、視体積交差法で3Dボクセルモデルを生成する際に、初めに単位ボクセルサイズMaでモデルの生成を行い、ボクセルの塊を一つのオブジェクトとして3Dのバウンディングボックスを得る。その後、各3Dバウンディングボックス内を、細かい単位ボクセルサイズMb（＜Ma）で視体積交差法を用いてモデル化することで処理時間を大幅に削減することに成功している。

非特許文献４には、コーンビームCTを用いた3次元再構成を目的に、対象を粗いボクセルと細かいボクセルとで表現することで、PWLSを用いた逐次近似法を用いて反復的に再構成の質を高めていく際の収束の速度を速める技術が開示されている。

非特許文献４では、粗いボクセルと細かいボクセルから得られるそれぞれのROI(Region of interest)の境界付近で、粗いボクセルからの補間結果を細かいボクセルに、細かいボクセルからの補間結果を粗いボクセルに反映させながら、細かいボクセルから得られるROI領域と、粗いグリッドから得られるROI領域のそれぞれのペナルティ強度を制御することで、効率的に誤差関数を収束させながら、対象の3次元再構成を行うことが可能であることが示されている。

非特許文献５には、3Dモデルをボクセルで表現する際に、3Dモデルの輪郭付近の部分などの判定が曖昧になる領域だけを八分木に沿って細かく分割することを繰り返すことで、Coarse-to-Fineにボクセルを分割していき、高精度かつ効率的にモデル形状を表現する技術が開示されている。

特許文献１には、CADのアセンブリモデルをボクセルに分割する際に、事前に記録されたアセンブリモデルの体積誤差を基にボクセルサイズを変更することで、ボクセルの分割数を動的に変更し、マシン資源消費量を節約する技術が開示されている。

特許第4597347号

Laurentini, A. "The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162 (1994). J. Kilner, J. Starck, A. Hilton and O. Grau, "Dual-Mode Deformable Models for Free-Viewpoint Video of Sports Events," Sixth International Conference on 3-D Digital Imaging and Modeling (3DIM 2007), Montreal, QC, 2007, pp. 177-184. J. Chen, R. Watanabe, K. Nonaka, T. Konno, H. Sankoh, S. Naito, "A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019), WeAT17.2. Cao Q, Zbijewski W, Sisniega A, Yorkston J, Siewerdsen JH, Stayman JW. "Multiresolution iterative reconstruction in high-resolution extremity cone-beam CT." Phys Med Biol. 2016; 61(20):7263‐7281. Richard Szeliski. "Rapid octree construction from image sequences." CVGIP: Image Underst. 58, 1, pp.23-32, 1993. C. Stauffer and W. E. L. Grimson, "Adaptive background mixture models for real-time tracking," 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 246-252 Vol. 2 (1999). Chen, J., Nonaka, K., Sankoh, H., Watanabe, R., Sabirin, H., & Naito, S. Efficient Parallel Connected Component Labeling with a Coarse-to-Fine Strategy. IEEE Access, 2008, 6, 55731-55740. Zhirong Wu et al., "3D ShapeNets: A deep representation for volumetric shapes," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, pp. 1912-1920. J. Redmon and A. Farhadi,"YOLO9000: Better, Faster, Stronger," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 6517-6525 (2017). S. Gerke, K. Muller and R. Schafer, "Soccer Jersey Number Recognition Using Convolutional Neural Networks," 2015 IEEE International Conference on Computer Vision Workshop (ICCVW), Santiago, 2015, pp. 734-741.doi: 10.1109/ICCVW.2015.100

非特許文献３のように、ボクセルサイズMaの粗いボクセルを作った後に、限定された領域を細かいボクセルサイズMbでモデル化する方式は、非特許文献１の方式と比較して処理時間を大幅に減らすことができる。しかしながら、非特許文献１と同様に最終的な処理時間はボクセルサイズやボクセル数に依存して変化する。

一方、スポーツシーンで自由視点映像を制作する場合などに適用することを鑑みると、視聴者の注目が集まりやすい競技用のボールなどは正しくモデル生成されることが重要である。スポーツによってはボールが非常に小さいケースもあるが、このようなケースでも正しくモデル生成がされないと視聴時に違和感を生むことから、単位ボクセルサイズは1cmなどのかなり小さいサイズを設定せざるを得ないケースが多かった。

結果的に、非特許文献３の技術を利用しても、品質を保つためにはボクセルサイズを小さく設定せざるを得ず、広域空間を対象にした3Dモデル生成などではリアルタイム制作が達成できないケースが存在していた。

非特許文献４に示されるような反復的に再構築を行う手法は、CTのような高い精度が求められる場面では有効であるものの、依然として多くの生成時間を要求されるため、リアルタイム性の求められるアプリケーションに適用することは困難であった。

収束が早まったとされる非特許文献４の手法の中でも50回程度の繰り返しに基づく誤差関数の最適化が必要であり、1回の反復に2分程度の時間が掛かることが示されている。また、細かいボクセルのサイズを動的に変更するような機構は開示されておらず、一様なサイズでの生成が成される。

非特許文献５に示されるような八分木を用いる手法は、段階的な細分化を繰り返してボクセルを細かくしていくため、繰り返しの回数が多い場合には処理時間が増大する懸念がある。加えて、非特許文献５の中では、全ての3Dオブジェクトの表面部分が細分化され、細かい単位ボクセルサイズでの生成が成される。よって、大きいオブジェクトサイズを持つものに関しては表面部分も広くなるため、細かい単位ボクセルサイズで生成される箇所が多くなり、処理時間の増大に繋がるという懸念が存在していた。

特許文献１のように単位ボクセルサイズを動的に変更する機構は、事前に記録されるCADのアセンブリモデルとの体積誤差を基にボクセルサイズが決定されるため、自由視点映像制作のように、事前に誤差を比較するための正解3Dモデルを用意できないようなケースには適応できない。

本発明の目的は、上記の技術課題を解決し、被写体のボクセルモデルを初めに低解像で生成して被写体の位置を推定した後、被写体の推定位置のみを対象にボクセルモデルを高解像で生成して3Dモデル化する際に、3Dモデルを高速かつ高品質に生成できる装置及び方法を提供することにある。

上記の目的を達成するために、本発明は、多視点映像から被写体の3DCGモデルを生成する3Dモデル生成装置において、以下の構成を具備した点に特徴がある。

(1) 多視点映像から視点ごとにシルエット画像を取得する手段と、シルエット画像から視体積交差法によりボクセルサイズが第１サイズの低解像ボクセルモデルを被写体ごとに生成する低解像モデル生成手段と、低解像ボクセルモデルごとに、その特徴に基づいて第１サイズよりも小さい第２サイズを決定するボクセルサイズ決定手段と、低解像ボクセルモデルごとにボクセルサイズが第２サイズの高解像ボクセルモデルを生成する高解像モデル生成手段と、高解像ボクセルモデルに基づいて被写体の3DCGモデルを出力する手段とを具備した。

(2) ボクセルサイズ決定手段は、各低解像ボクセルモデルをその特徴に基づいて分類し、この分類の結果に基づいて第２セルサイズを決定するようにした。

(3) 各低解像ボクセルモデルがそのサイズおよび／または位置に基づいて分類されるようにした。

(4) 各低解像ボクセルモデルがその形状に基づいて分類されるようにした。

(5) 各低解像ボクセルモデルがその逆投影マスクと重なる2D画像上の領域に対する被写体の認識結果に基づいて分類されるようにした。

(6) 低解像ボクセルモデルごとにその逆投影マスクと重なる2D画像上の領域が人物領域であるか否を識別し、人物領域であると、その所定部位の画像特徴に基づいて各低解像ボクセルモデルが分類されるようにした。

(7) 低解像ボクセルモデルごとにその3Dバウンディングボックスを生成し、3Dバウンディングボックス内を第２サイズで視体積交差法によりモデル化することで高解像ボクセルモデルを生成するようにした。

(8) 低解像ボクセルモデルごとにその高解像ボクセルモデルのボクセル数を推定し、全高解像ボクセルモデルのボクセル総数および許容される処理時間に基づいて第２サイズが決定されるようにした。

(9) 各低解像ボクセルモデルの特徴に基づいて、その高解像ボクセルモデルを生成しない低解像ボクセルモデルを判別し、当該判別された低解像ボクセルモデルの高解像ボクセルモデルを生成しないようにした。

(10) 低解像ボクセルモデルごとに優先度を設定し、許容される処理時間に基づいて、優先度の高い順に第２サイズで高解像ボクセルモデルを生成するようにした。

(11) 3Dバウンディングボックス内で第２サイズを異ならせるようにした。

(1) ボクセルサイズが第１サイズの低解像ボクセルモデルを生成して被写体の位置を推定した後、ボクセルサイズが第１サイズよりも小さい第２サイズの高解像ボクセルモデルを生成して3DCGモデルを出力する際に、第２サイズを低解像ボクセルモデルの特徴に基づいて可変としたので、高解像処理の削減による処理時間の短縮によりリアルタイム性の要求に応えられるようになる。

(2) 各低解像ボクセルモデルをその特徴に基づいて分類し、この分類の結果に基づいて第２セルサイズを決定するので、低解像ボクセルモデルを一貫した指標で分類することができ、第２サイズを低解像ボクセルモデルごとに適正に決定できるようになる。

(3) 各低解像ボクセルモデルをそのサイズおよび／または位置に基づいて分類するので、低い処理負荷での分類が可能になる。

(4) 各低解像ボクセルモデルをその形状に基づいて分類するので、3DCGモデルに要求される解像度が被写体の形状に依存する場合には第２サイズを適正に決定できるようになる。

(5) 各低解像ボクセルモデルをその逆投影マスクと重なる2D画像上の領域に対する被写体の認識結果に基づいて分類するので、被写体の識別結果に基づいて第２サイズを決定できるようになる。

(6) 低解像ボクセルモデルごとにその逆投影マスクと重なる2D画像上の領域が人物領域であるか否を識別し、人物領域であると、その所定部位の画像特徴に基づいて各低解像ボクセルモデルを分類するので、高解像化範囲の更なる絞り込みが可能となり、高解像処理の削減による処理時間の短縮によりリアルタイム性の要求に応えられるようになる。

(7) 低解像ボクセルモデルごとにその3Dバウンディングボックスを生成し、3Dバウンディングボックス内のボクセル領域を対象に高解像ボクセルモデルを生成するので、高解像化する領域を限定することができ、高解像処理の削減による処理時間の短縮によりリアルタイム性の要求に応えられるようになる。

(8) 低解像ボクセルモデルごとに高解像化した際のボクセル数を推定し、全ての高解像ボクセルモデルのボクセル総数および許容される処理時間に基づいて第２サイズを決定するので、処理時間内でより多くの領域を高解像化できるようになる。

(9) 各低解像ボクセルモデルの特徴に基づいて、その高解像ボクセルモデルを生成しない低解像ボクセルモデルを判別し、当該判別された低解像ボクセルモデルの高解像ボクセルモデルは生成しないので、無駄な高解像化処理を削減できるようになる。

(10) 低解像ボクセルモデルごとに優先度を設定し、許容される処理時間に基づいて優先度の高い順に第２サイズで高解像ボクセルモデルを生成するので、処理時間内でより多くの領域を効率的に高解像化できるようになる。

(11) 3Dバウンディングボックス内で第２サイズを異ならせるようにしたので、高解像化範囲の更なる絞り込みが可能となり、高解像処理の削減による処理時間の短縮によりリアルタイム性の要求に応えられるようになる。

本発明の一実施形態に係る3Dモデル生成装置の機能ブロック図である。シルエット画像の例を示した図である。 3Dバウンディングボックスの例を示した図である。第４指標による分類方法を模式的に示した図である。分類結果の一例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る3Dモデル生成装置１の主要部の構成を示したブロック図であり、ここでは、野球中継における被写体の3Dモデルの生成を例にして説明する。

このような3Dモデル生成装置１は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

シルエット画像取得部１０１は、複数の被写体を異なる視点で撮影した複数のカメラ映像（多視点映像）から、視体積交差法に用いるシルエット画像をフレーム単位で取得する。視体積交差法で3Dモデルを形成するためには、３台以上のカメラ２からシルエット画像を取得することが望ましい。

シルエット画像は、図２に一例を示すように、3Dモデルを生成する被写体を白、それ以外の部分を黒で表した２値のマスク画像形式で取得される。なお、このようなシルエット画像は、非特許文献６に開示された背景差分法を利用して取得できる。

低解像モデル生成部１０２は、多視点映像から取得したシルエット画像に基づいて、単位ボクセルサイズ（本実施形態では、単位ボクセルの一辺の長さ）が第１サイズM₁の3次元空間内に視体積交差法を用いて視体積を形成する。低解像モデル生成部１０２は更に、この視体積に対して各ボクセルの隣接関係を基に連結成分を計算し、連結している領域を一つの各被写体のモデルとみなすことで、単位ボクセルサイズが第１サイズM₁の粗い低解像ボクセルモデルMD_Loを生成する。

本実施形態では、第１サイズM₁が5cmに設定され、3Dモデル生成の対象範囲（本実施形態では、野球グランド全体）に単位ボクセルサイズが5cmのボクセルグリッドを配置し、ボクセルグリッドごとに3Dモデルを形成するか否かを視体積交差法に基づき判定する。視体積交差法は、N枚のシルエット画像を3次元ワールド座標に投影した際の視錐体の共通部分を視体積（Visual Hull）VH(I)として獲得するものであり、以下の式で示される。

上式(1)において、集合Iはシルエット画像の集合であり、Viはi番目のカメラから得られるシルエット画像から計算される視錐体である。また、通常はN枚全てのシルエット画像の共通部分がモデル化されるが、N-1枚が共通する場合にモデル化するなど、モデル化に用いるシルエット画像の数は変更してもよい。なお、モデル化に用いるシルエット画像数を減じると、一部のシルエット画像で被写体が欠けた場合にも3Dモデルの復元が可能になる一方、ノイズが多くなるなどの副作用が現れる可能性がある。

3Dバウンディングボックス生成部１０３は、図３に示したように、各低解像ボクセルモデルMD_Loに外接する3DバウンディングボックスBBをそれぞれ生成する。単位ボクセルサイズ決定部１０４はバウンディングボックス分類部１０４ａを含む。バウンディングボックス分類部１０４ａは、後に詳述するように、複数の分類指標を用いて各低解像ボクセルモデルMD_Loを分類する。

前記単位ボクセルサイズ決定部１０４は、後段の高解像モデル生成部１０５が3DバウンディングボックスBBごとに高解像ボクセルモデルMD_Hiを生成する際の単位ボクセルの第２サイズM₂を、各3DバウンディングボックスBBが収容する低解像ボクセルモデルMD_Loの分類結果に基づいて決定する。

前記分類部１０４ａは、各低解像ボクセルモデルMD_Loを、その特徴に基づいて分類する。本実施形態では、分類指標として以下の５つの指標のいずれか、または複数を組み合わせて各低解像ボクセルモデルMD_Loを分類する。

(1) 第１指標：低解像ボクセルモデルMD_Loのサイズ
各低解像ボクセルモデルMD_Loが、そのサイズ（全体の大きさ、、縦、横、高さ）に基づいて分類される。本実施形態では、低解像ボクセルモデルMD_Loのサイズを、その3DバウンディングボックスBBのサイズで代表する場合を例にして説明する。

被写体としてボール、人物（選手または審判）およびボール以外の野球用具が想定される場合、ボールのサイズがボール以外のサイズと較べて十分に小さい。更に、ボールのサイズは厳密に規定されていることから、第１の指標により3DバウンディングボックスBBをボールとボール以外とに分類できる。

前記単位ボクセルサイズ決定部１０４は、ボールに分類された3DバウンディングボックスBBに適用する第２サイズM₂を1cm、ボール以外に分類された3DバウンディングボックスBBに適用する第２サイズM₂を2cmというように、分類結果に応じて第２サイズM₂を設定する。なお、第２サイズM₂は上記のような固定値に限定されず、3DバウンディングボックスBBのサイズ（例えば、体積）に応じて動的に設定しても良い。

(2) 第２指標：3Dバウンディングボックスの位置
各低解像ボクセルモデルMD_Loが、その位置に基づいて分類される。本実施形態では、低解像ボクセルモデル MD_Loの位置を、その3DバウンディングボックスBBの位置で代表する場合を例にして説明する。

被写体の位置は被写体毎に特徴的であり、野球競技であれば、例えば高さが10mの位置に形成される3DバウンディングボックスBBはボールである可能性が高く、人物や用具である可能性は限りなく低い。

そこで、このような先見情報を第２指標として被写体を分類し、高い位置の3DバウンディングボックスBBはボールとみなして第２サイズM₂を1cmとし、それ以外はボール以外とみなして第２サイズM₂を2cmとすることができる。

上記の第１および第２指標は、3DバウンディングボックスBBを推定できれば簡単に得られので、分類に要する処理時間が極小であり、リアルタイム性が強く求められるシステムに適している。

(3) 第３指標：低解像ボクセルモデルMD_Loの形状
低解像ボクセルモデルMD_Loが、その形状に基づいて分類される。低解像ボクセルモデルMD_Loの形状は被写体ごとに特徴的であることを利用して、予め低解像ボクセルモデルMD_Loの形状と被写体との関係を深層学習等により学習して予測モデルを構築し、各低解像ボクセルモデルMD_Loを前記予測モデルに適用することで、各低解像ボクセルモデルMD_Loがボール、人物または野球用具に分類される。

(4) 第４指標：低解像ボクセルモデルMD_Loの2D画像
シルエット画像の基となるカメラ画像（2D画像）に対して、非特許文献９に開示されるような、画像中からの物体識別を行うアルゴリズムを適用し、その識別結果に基づいて各低解像ボクセルモデルMD_Loが分類される。

図４は、2D画像に基づく分類方法を模式的に示した図であり、低解像ボクセルモデルMD_Loを各カメラのスクリーン位置に逆投影し、このときに得られる逆投影マスクと各カメラの2D画像を対象とした画素単位の認識結果とを重ね合わせ、逆投影マスクと重なった2D画像領域の認識結果に基づいて当該低解像ボクセルモデルが識別される。

例えば、逆投影マスクと重なった2D画像領域の各画素に対する認識結果を参照し、「人物」と認識された画素の割合が十分に多ければ、当該低解像ボクセルモデルMD_Loは「人物」に分類される。

なお、第４指標を採用した分類では、シルエット画像のみならず2Dの原画が必要となることから、前記シルエット画像取得部１０１は、シルエット画像に加えて各カメラの原画を取得する機能を有するものとする。

逆投影は全てのカメラに対して実施する必要はなく、処理時間の観点から一部のカメラのみに限定しても良い。また、2D画像上の同一の画素に２つの3Dバウンディングボックスが重複して現れる場合には、単位ボクセルサイズが小さい方の物体の結果が優先的に逆投影マスクに反映されるようにしてもよい。

上記第３または第４指標による分類では、事前に学習が必要になることに加え、処理時間が比較的大きくなりがちという欠点はある。しかしながら、事前に学習した情報に基づいてボール等のバウンディングボックスを分類するため、高精度の分類が可能である。

例えば、特定のシーンのリプレイ動画を自由視点映像に基づいて制作し、スタジアムの大型ビジョンで放映するような用途では、10秒のリプレイの制作に数十秒程度の制作時間が許されるケースもある。このように、リアルタイムまでは要求されないものの高速な制作が求められる場面にて高い品質を得るためには、上記第３または第４指標を採用した分類により、品質と制作速度のトレードオフに優れた制作が可能である。

(5) 第５指標：被写体に固有の情報
低解像ボクセルモデルMD_Loを各カメラのスクリーン位置へ逆投影して得られる逆投影マスクと各カメラの2D画像との重なった2D画像領域に対する固有情報の認識結果を指標として各低解像ボクセルモデルが分類される。

例えば、低解像ボクセルモデルMD_Loに対応する2D画像領域が人物に分類されると、更に顔認識や背番号認識を実行し、高解像対象として予め登録された選手であるか否かを判定する。登録された選手以外であれば、第２サイズM₂として第１サイズM₁より小さい第１の第２サイズM₂₁を設定する一方、登録された選手であれば、更に小さい第２の第２サイズM₂₂（＜M₂₁）を設定する。

前記第３指標や第４指標に基づく分類では、一般的に人物、ボール、バットなどには分類できても、人物の名前や背番号といった各被写体に固有の情報までは識別できない。一方、非特許文献１０などでは選手の背番号に基づいて被写体をさらに細かく分類できる。第５指標により各3Dバウンディングボックスを分類すれば、注目選手やユーザのお気に入りの選手のみを高解像で表示させることが可能になる。

なお、複数の指標を組み合わせて分類するのであれば、各分類結果の論理和や論理積に基づいて最終的な分類結果を決定するようにしても良い。あるいは、第１または第２指標を採用してボールの3Dバウンディングボックスを分類したのち、残りの3Dバウンディングボックスのみを対象に認識ベースの第３ないし第５指標を採用するようにしても良い。

このようにすれば、分類に要する処理時間の長い認識ベースの第３ないし第５指標を採用する3Dバウンディングボックス数を減じることができるので処理時間を短縮できるようになる。

図５は、分類結果の一例を示した図であり、各3DバウンディングボックスBBにはIDが付され、3DバウンディングボックスBBごとに分類結果および第２サイズM₂が登録されている。なお、非特許文献７には、効率的に各ボクセルの連結成分を計算してIDを付するラベリング手法が開示されている。

高解像ボクセル生成部１０５は、前記3Dバウンディングボックス生成部１０３が生成した3DバウンディングボックスBBの内部の狭い領域のみに対して、前記単位ボクセルサイズ決定部１０４が決定した第２サイズM₂に基づいてボクセルグリッドを配置して視体積交差法を適用し、高解像ボクセルモデルMD_Hiを生成する。これにより、品質面と速度面のトレードオフに優れた3Dモデル生成を行うことができる。

3Dモデル出力部１０６は、高解像モデル生成部１０５で得られた3Dモデルを出力する機能を有する。高解像ボクセルモデルMD_Hiは多数のボクセルで形成されるボリュームデータであるが、一般的に3Dモデルデータはポリゴンモデルとして扱う方が都合の良いケースも多い。このとき、例えばマーチンキューブ法などのボクセルモデルをポリゴンモデルに変換する手法を用いてボクセルモデルをポリゴンモデルに変換する機能を具備し、ポリゴンモデルとして3Dモデルを出力する機能を有していてもよい。

なお、上記の実施形態では3DバウンディングボックスBB（または低解像ボクセルモデルMD_Lo）の分類結果のみに基づいて、高解像ボクセルモデルMD_Hiを生成する際の単位ボクセルの第２サイズM₂が決定されるものとして説明したが、本発明はこれのみに限定されるものではなく、リアルタイム性の観点から、高解像ボクセルモデルMD_Hiの生成に要する処理時間をも考慮して第２サイズM₂が決定されるようにしても良い。

例えば、本実施形態では3DバウンディングボックスBBのサイズおよび個数が3Dバウンディングボックス生成部１０３にとって既知であり、そのボクセル領域の合計が計算範囲となる。一般的に、視体積交差法の処理時間はボクセル数に比例するところ、ボクセル領域内のボクセル数は単位ボクセルサイズに依存するので、単位ボクセルサイズ（第２サイズ）ごとに全体の処理時間を高い精度で見積もることができる。

したがって、ボールに適用する第２サイズM₂は1cmに固定する一方、ボール以外に適用する第２サイズM₂は、残りの処理時間を残りの総ボクセル数で除した値に基づいて動的に決定するようにしても良い。

あるいは、ボールに適用する第２サイズM₂は1cmに固定する一方、ボール以外の分類結果には予め優先度を付しておき、優先度のより高い分類結果により小さな第２サイズM₂が割り当てられるように、残りの処理時間および優先度に基づいて、ボール以外に適用する第２サイズM₂を動的に決定するようにしても良い。

さらに、上記の実施形態では全ての3DバウンディングボックスBBがいずれかの被写体に分類されるものとして説明したが、本発明はこれのみに限定されるものではなく、例えば第１指標を採用する際に、サイズが所定の基準サイズよりも小さい3DバウンディングボックスBBはノイズとみなして排除しても良い。

また、第２指標を採用するのであれば、被写体が存在し得ない位置の3DバウンディングボックスBBはノイズとみなして排除しても良い。さらに、第３指標ないし第５指標のように認識ベースの指標を採用するのであれば、認識尤度が所定の閾値を下回る3DバウンディングボックスBBはノイズとみなして排除しても良い。

さらに、上記の実施形態では、3Dバウンディングボックス毎にその内側は同一の第２サイズM₂が適用されるものとして説明したが、本発明はこれのみに限定されるものではなく、被写体の部位ごとに第２サイズM₂を異ならせても良い。

例えば、前記第５指標を採用することで3Dバウンディングボックスが人物に分類されており、かつその顔領域や背番号領域を識別できていれば、当該顔領域や背番号領域の第２サイズM_2aを他の領域の第２サイズM_2bよりもさらに小さく（M_2a＜M_2b）しても良い。

さらに、上記の実施形態では3Dバウンディングボックス内の全てのボクセル領域に視体積交差法を適用して単位ボクセルが第２サイズM₂の高解像ボクセルモデルMD_Hiを生成するものとして説明したが、本発明はこれのみに限定されるものではなく、低解像ボクセルモデルMD_Loのボクセル領域のみを対象にしても良い。

１０１...シルエット画像取得部，１０２...低解像モデル生成部，１０３...3Dバウンディングボックス生成部，１０４...単位ボクセルサイズ決定部，１０４ａ...分類部，１０５...高解像モデル生成部，１０６...3Dモデル出力部

Claims

多視点映像から被写体の3DCGモデルを生成する3Dモデル生成装置において、
多視点映像から視点ごとにシルエット画像を取得する手段と、
シルエット画像から視体積交差法によりボクセルサイズが第１サイズの低解像ボクセルモデルを被写体ごとに生成する低解像モデル生成手段と、
低解像ボクセルモデルごとに、その特徴に基づいて前記第１サイズよりも小さい第２サイズを決定するボクセルサイズ決定手段と、
低解像ボクセルモデルごとにボクセルサイズが前記決定した第２サイズの高解像ボクセルモデルを生成する高解像モデル生成手段と、
前記高解像ボクセルモデルに基づいて被写体の3DCGモデルを出力する手段とを具備したことを特徴とする3Dモデル生成装置。
前記ボクセルサイズ決定手段は、各低解像ボクセルモデルをその特徴に基づいて分類する手段を具備し、
前記分類の結果に基づいて第２セルサイズを決定することを特徴とする請求項１に記載の3Dモデル生成装置。
前記分類する手段は、各低解像ボクセルモデルをそのサイズに基づいて分類することを特徴とする請求項２に記載の3Dモデル生成装置。
前記分類する手段は、各低解像ボクセルモデルをその位置に基づいて分類することを特徴とする請求項２または３に記載の3Dモデル生成装置。
前記分類する手段は、各低解像ボクセルモデルをその形状に基づいて分類することを特徴とする請求項２ないし４のいずれかに記載の3Dモデル生成装置。
前記分類する手段は、各低解像ボクセルモデルをその逆投影マスクが重なる2D画像上の領域に対する被写体の認識結果に基づいて分類することを特徴とする請求項２ないし５のいずれかに記載の3Dモデル生成装置。
前記分類する手段は、低解像ボクセルモデルごとにその逆投影マスクと重なる2D画像上の領域が人物領域であるか否を識別し、人物領域であると、その所定部位の画像特徴に基づいて各低解像ボクセルモデルを分類することを特徴とする請求項２ないし６のいずれかに記載の3Dモデル生成装置。
低解像ボクセルモデルごとにその3Dバウンディングボックスを生成する手段を更に具備し、
前記高解像モデル生成手段は、3Dバウンディングボックス内を第２サイズで視体積交差法によりモデル化することで高解像ボクセルモデルを生成することを特徴とする請求項１ないし７のいずれかに記載の3Dモデル生成装置。
前記ボクセルサイズ決定手段は、低解像ボクセルモデルごとその高解像ボクセルモデルのボクセル数を推定し、全高解像ボクセルモデルのボクセル総数および許容される処理時間に基づいて第２サイズを決定することを特徴とする請求項１ないし７のいずれかに記載の3Dモデル生成装置。
前記ボクセルサイズ決定手段は、各低解像ボクセルモデルの特徴に基づいて、その高解像ボクセルモデルを生成しない低解像ボクセルモデルを判別し、当該判別された低解像ボクセルモデルの高解像ボクセルモデルを生成しないことを特徴とする請求項１ないし７のいずれかに記載の3Dモデル生成装置。
前記ボクセルサイズ決定手段は、低解像ボクセルモデルごとに優先度を設定し、許容される処理時間に基づいて、優先度の高い順に前記第２サイズで高解像ボクセルモデルを生成することを特徴とする請求項１ないし６のいずれかに記載の3Dモデル生成装置。
前記ボクセルサイズ決定手段は、3Dバウンディングボックス内で第２サイズを異ならせることを特徴とする請求項８に記載の3Dモデル生成装置。
コンピュータが多視点映像から被写体の3DCGモデルを生成する3Dモデル生成方法において、
多視点映像から視点ごとにシルエット画像を取得する手順と、
シルエット画像から視体積交差法によりボクセルサイズが第１サイズの低解像ボクセルモデルを被写体ごとに生成する手順と、
低解像ボクセルモデルごとに前記第１サイズよりも小さい第２サイズを決定する手順と、
低解像ボクセルモデルの3Dバウンディングボックスごとにボクセルサイズが前記第２サイズの高解像ボクセルモデルを生成する手順と、
前記高解像ボクセルモデルに基づいて被写体の3DCGモデルを出力する手順とを含むことを特徴とする3Dモデル生成方法。
各低解像ボクセルモデルをその特徴に基づいて分類する手順を含み、
前記分類の結果に基づいて第２セルサイズを決定することを特徴とする請求項１３に記載の3Dモデル生成方法。