JP2020035216A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】多視点画像より効率的に撮影されている対象についての表面モデルを得ることのできる画像処理装置を提供する。【解決手段】対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出部3と、前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部4と、前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部5と、前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部6と、を備えて画像処理装置10を提供する。【選択図】図１

Description

本発明は、多視点画像より効率的に撮影されている対象についての表面モデルを得ることのできる画像処理装置、方法及びプログラムに関する。

ビジュアル・ハルは視体積交差法による３次元再構成で得られる幾何的対象である。すなわち、カメラ視点パラメータを用いて、各カメラの画像内のシルエットより３次元空間内の対象物を内包する錐体（cone）を得る。全カメラに渡って当該錐体の交差箇所を得たものがビジュアル・ハルであり、３次元空間内の対象物を内包するものとなる。ここで、ビジュアル・ハルによる対象物の形状のモデル化に関しては、ポリゴンメッシュを用いた近似的形状として得ることが一般的である。

ポリゴンメッシュを抽出する手法の違いにより、ビジュアル・ハル生成の技術は体積ベースの手法と表面ベースの手法との２つに分けることができる。例えば非特許文献１に開示されるように、体積ベースの手法ではビジュアル・ハルを点群の形で求めたうえで、ポリゴンメッシュを抽出する。また、例えば非特許文献２に開示されるように、表面ベースの手法では各画像のシルエット境界の幾何的な関係を直接に解析することによってポリゴンメッシュを抽出する。

Laurentini A. The visual hull concept for silhouette-based image understanding[J]. IEEE Transactions on pattern analysis and machine intelligence, 1994, 16(2): 150-162. Franco J S, Boyer E. Efficient polyhedral modeling from silhouettes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 414-427. Lorensen, William E., and Harvey E. Cline. "Marching cubes: A high resolution 3D surface construction algorithm." ACM siggraph computer graphics. Vol. 21. No. 4. ACM, 1987.

しかしながら、以上のような従来技術は、効率的に３次元再構成を行うことに関して、課題を有するものであった。例えば非特許文献１のような体積ベースの手法では、高精度な形状を得るために高精度な３次元モデルとしてのビジュアル・ハルを生成せざるを得ず、これによって計算量が顕著に増加するため効率が低下せざるを得なかった。また、非特許文献２のような表面ベースの手法では、得られる３次元モデルが必ずしも高品質とはならず、ポリゴンメッシュが歪（いびつ）なものとなってしまう（例えば、針のように細い三角形メッシュが多数となる）ことがあった。

当該従来技術の課題に鑑み、本発明は、多視点画像より効率的に撮影されている対象についての表面モデルを得ることのできる画像処理装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、画像処理装置であって、対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出部と、前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備えることを特徴とする。また、当該装置に対応する方法及びプログラムであることを特徴とする。

本発明によれば、多視点画像から得られる対象のボクセル点群に対してマーチングキューブ法を適用することにより、効率的に対象の表面モデルを得ることができる。

一実施形態に係る画像処理装置の機能ブロック図である。 輪郭抽出部及び離散化部において処理されるデータの模式例を示す図である。 点群算出部での処理を模式的に示すための例を示す図である。 点群算出部での処理を模式的に示すための例を示す図である。 点群算出部での第二手順の一実施形態の模式例を示す図である。 境界抽出部で境界として抽出される隣接ペア点の例を示す図である。 割合算出部で算出する重複割合の説明例を示す図である。 マーチングキューブ法におけるポリゴン生成パターンを列挙した図である。 面形成部による交差位置の決定の具体例を、図８の[1]のポリゴン生成パターンの場合を例として説明する図である。 面形成部により得られる表面モデルの例を示す図である。

図１は、一実施形態に係る画像処理装置の機能ブロック図である。画像処理装置10は、輪郭抽出部1、離散化部2、点群算出部3、境界抽出部4、等値算出部5、等値面形成部6を備える。画像処理装置10は、その全体的な動作として、多視点画像を入力として読み込み、当該多視点画像に撮影されている対象の表面モデルを出力する。この際、多視点画像における各画像のカメラパラメータは予め既知の情報として用意しておく。また、多視点画像の撮影されている空間に関して、所定のボクセル設定を予め与えておく。画像処理装置10では多視点映像における各時刻のフレームとしての多視点画像を入力として読み込み、各時刻において撮影されている対象の表面モデルを出力するようにしてもよい。画像処理装置10の各部1〜6の処理内容の詳細は以下の通りである。

＜輪郭抽出部1＞
輪郭抽出部1では、図１に示す通り画像処理装置10への入力としての多視点画像Pi(i=1,2, …, N；Nは多視点画像のカメラ視点数)を受け取り、各画像Piに関して撮影されている対象の領域に相当する前景を背景から区別して抽出することにより、当該抽出した前景の境界として、撮影されている対象の輪郭を得て、離散化部2へと出力する。なお、入力される多視点画像は各カメラが共通のシーンを異なる配置から撮影することにより、各画像Piが共通の対象（何らかの立体対象）を含むようにしておく。

輪郭抽出部1では、任意の既存手法によって各画像Piにおいて前景を抽出してよく、その境界として撮影されている対象の輪郭を得ることができる。例えば、各画像Piに関する背景を予め既知のものとして与えておくことにより、背景差分法で前景を抽出してよい。この際、多視点画像が映像の各時刻のフレームとして読み込まれる場合には、既存手法である混合正規分布（MoG）モデルを適用することにより背景の揺れや変化に追従しながら前景を抽出するようにしてもよい。

＜離散化部2＞
離散化部2では、各画像Piに関して輪郭抽出部1で得た輪郭から、当該輪郭を表現する離散的な複数の点を得て、点群算出部3へと出力する。ここで、当該離散的な複数の点のうち隣接するものの距離が予め設定しておく閾値以下となるように、当該離散的な複数の点を得るようにする。

離散化部2では輪郭抽出部1で得た輪郭上から点を一定間隔ごとに抽出して離散的な複数の点を求めてもよいし、輪郭抽出部1で得た輪郭に任意の既存手法による多角形フィッティングを適用し、当該多角形の各頂点として離散的な複数の点を求めるようにしてもよい。当該離散的な複数の点は、各画像Piにおいてサブピクセル単位で求めるようにしてもよい。

図２は、輪郭抽出部1及び離散化部2において処理されるデータの模式例を、多視点画像のうちある１つのカメラ視点に対応する画像に関して示すものである。図２の[1],[2]は輪郭抽出部1による処理例であり、[1]ではある画像に関して前景領域及び背景領域がそれぞれ白色及び黒色で示すような領域として求まり、これによって[2]に示すようなその境界が得られている。[3]はさらに離散化部2による処理例であり、[2]の輪郭から白丸（〇）で示すような複数の離散的な点が得られている。[3]の離散的な複数の点は[2]の輪郭を多角形化した際の頂点に相当するものとなっている。

＜点群算出部3＞
点群算出部3は、画像処理装置10へ入力される多視点画像が撮影されている３次元空間内において予め設定しておくボクセル格子点のうち、多視点画像の全画像Pi(i=1,2, …, N)において撮影されている対象に相当する前景へと逆投影されるものを、対象のボクセル点群として算出して、当該ボクセル点群を境界抽出部4及び面形成部6へと出力する。

図３及び図４は、点群算出部3での処理を模式的に示すものである。図３に示すように、多視点画像が撮影されている３次元空間内には予め所定のボクセルグリッドVGを設定しておき、その各格子点としてボクセル格子点を定義しておく。１つのボクセル格子点g1は、多視点画像のうちの１つのカメラC1（図３ではそのカメラ中心の位置C1として示されている）における画像P1へと逆投影した位置がp1であり、前景上に逆投影されている。一方、別の１つのボクセル格子点g2は、同画像P1へと逆投影した位置がp2であり、前景上ではなく背景上へと逆投影されている。

このように、図３に示されるような逆投影の処理をボクセルグリッドVGで定義される全てのボクセル格子点に関して、多視点画像の全画像Pi(i=1,2, …, N)について実施し、全画像において前景に逆投影される（すなわち、対象内の領域にあることによって全カメラから可視となる位置にある）と判定されたものを、多視点画像に前景として撮影されている対象に該当するボクセル点群として得ることができる。図４では、ボクセルグリッドVGの全点のうち、黒丸（●）で示すような可視(visible)となるボクセル点群VG_visとして判定されたものと、白丸（○）で示すようなそれ以外の不可視（invisible）点群VG_invとして判定されたものと、の模式例が示されている。

点群算出部3では具体的に、以下の第一手順及び第二手順によって、ボクセル点群を算出することができる。

（第一手順）
逆投影を行う。すなわち、予め設定しておくボクセルグリッド内の各格子点（x,y,z）に関して、多視点画像の各カメラCi(i=1,2, …, N)の画像Pi上に逆投影した際の位置(u,v)を求める。具体的には、コンピュータグラフィックス分野の数学的関係として周知のように、カメラCiの透視投影行列Tⁱ ₃₄（3行4列の行列）を用いて、以下の式により逆投影した位置を得ることができる。

上記の式において、[x y z 1]及び[ru rv r]（両者共に転置により列ベクトル）はそれぞれ、逆投影される対象としてのボクセル格子点の位置(x, y, z)と、その画像平面上への逆投影結果としての画素位置(u, v)と、の同次座標表現である。なお、事前に与えておくカメラパラメータの情報と共に、各カメラCiの透視投影行列Tⁱ ₃₄の情報も与えておくことができる。

（第二手順）
逆投影した位置(u,v)が画像Piにおいて撮影されている対象に該当する前景内にあるか否かを判定し、全画像Piにおいて前景内にあると判定された場合、対応する位置(x,y,z)のボクセル格子点が対象のボクセル点群に属するものとして判定する。

ここで、逆投影された位置(u,v)が画像Piの前景内にあるか否かの判定は、一実施形態では、離散化部2で画像Piに関して対象の輪郭として求めた離散的な複数の点の配置に基づいて判定することができる。

ここで、各画像Piにおいて、当該離散的な複数の点を頂点として形成される対象の輪郭を表現した多角形（M角形）のM個の各辺をe_k(k=1,2, …, M)とする。そして、具体的には以下の式で表現されるように、画像Pi上の逆投影された位置(u,v)の点pについて、画像Pi上において全ての有向辺e_k（当該輪郭上を一定方向に回る際の有向辺）に関してその右側又は左側にあるかを計算して判定し、全ての辺e_kに関しての判定結果（右側又は左側のいずれか）が同一である場合に、点pは当該多角形の内部にある、すなわち、画像Piにおいて前景内にあると判定することができる。

上記の式では後述する図５の模式例のように、輪郭上を回る際に右側が対象の内側（前景）となる場合を想定している。上記の式の通り、点pが画像Pi上において辺eの右側（又は回る向きによっては左側）に位置する場合に、関数f(p,e)はそれぞれ論理値1（真）,0（偽）を出力することで、M個の全ての有向辺e_kに関する当該関数値f(p,e_k)の論理積F_in(p)を得ることができる。こうして、得られる論理積F_in(p)の値が1（真）であれば点pは前景内にあるものと判定し、0（偽）であれば点pは前景内にはない（背景である）と判定することができる。

図５は、点群算出部3における第二手順の一実施形態としての上記の式による前景内外の判定の模式例を示す図である。ここでは、ある１つのカメラ視点に対応する画像において、対象の境界が有効辺e1,e2,e3,e4,e5（上記の式の各辺e_kの具体例(M=5)に相当し、図面の便宜上kは下付き表示していない）によって、この順番で輪郭上を囲んでいる５角形として得られた場合に、５角形内部すなわち前景内に位置する点p10と、５角形外部すなわち背景に位置する点p20と、を区別して判定する例が示されている。図５では、各有向辺ek(k=1,2, …, 5)に関して、当該有効辺の向きから見た際の右側の領域を右側領域Rk、左側の領域を左側領域Lkとして示している。また、各有向辺ekの向きを矢印の先（アローヘッド）によって示している。

図５において、点p10は全ての有向辺ek(k=1,2, …, 5)から見て右側領域Rk内にあるため、論理積F_in(p10)=1となり、点p10は前景内にあると判定することができる。一方、点p20は少なくとも１つの有効辺e1に関して左側領域L1内にあるため、論理積F_in(p20)=0となり、点p20は前景内にはない（背景にある）と判定することができる。なお、図５の向きとは逆向きに輪郭上を回るように有効辺を定義する場合は、上記とは逆に、当該有効辺から見て左側領域にある場合に前景であるものと判定すればよい。

以上のように、離散化部2で得た離散的な点で定義される輪郭多角形の各有効辺e_kに対して、論理積F_in(p)による判定、すなわち、点pが各有効辺e_kの右側にあるか左側にあるかという簡素な幾何的な判定により、点pが前景にあるか否かを高速に判定し、従って、対応するボクセル格子点(x,y,z)がボクセル点群に属するか否かを高速に判定することができる。なお、離散化部2で得る離散的な点の数の多寡を、予め設定しておく隣接点の距離の閾値を調整することで設定することにより、点群算出部3での前景判定すなわちボクセル点群の判定に要する負荷（計算量）を調整することも可能である。

＜境界抽出部4＞
境界抽出部4では、点群算出部3で得た多視点画像に撮影されている対象に相当するボクセル点群PGより、その境界∂PG（すなわち、対象の表面）に位置するとみなせる一連のペア点を抽出し、当該抽出したペア点を割合算出部5へと出力する。

境界抽出部4では具体例に、ボクセル点群PG（図４での可視となるグリッド格子点の点群VG_visがボクセル点群PGであり、以下、PGとして称する。）に属する各点g_inに注目し、そのボクセル格子点としての6つの隣接点（±x方向、±y方向、±z方向の6つの隣接点）のうち、ボクセル点群PGに属さない点g_outが１つ以上ある場合、当該１つ以上のペア点g_in, g_outを境界∂PGに該当するものとして抽出する。

図６は、境界抽出部4で境界として抽出される隣接ペア点の例を示す図である。ここでは、ボクセル点群PGに属する点を黒丸（●）で、属さない点を白丸（○）で表記することにより、ボクセル格子点で形成される１つの単位立方体V0（格子点の定義により、単位直方体V0でもよい。以下同様とする。）が示されている。立方体V0には図示する通りに位置する8つの頂点v1〜v8があり、それぞれがボクセル格子点の位置にある。図示する通り、黒丸で表示される４つの頂点v2,v3,v6,v7はボクセル点群に属するが、白丸で表示される残りの4つの頂点v1,v4,v5,v8はボクセル点群には属さない。

このような図６の例においては、境界抽出部4ではボクセル格子点として隣接するペア点のうち、一方がボクセル点群PGに属する点g_inであり、もう一方がボクセル点群PGには属さない点g_outとなっているものとして、４つのペア点(v2,v1), (v3, v4), (v6, v5), (v7,v8)を境界∂PGに該当するものとして抽出することとなる。その他のペア点は境界∂PGには該当しないものとみなされ、抽出されない。例えば両端共にボクセル点群PGに属する点g_inとなっているペア点(v2,v3)や、逆に両端共にボクセル点群PGに属さない点g_outとなっているペア点(v1,v4)は、境界∂PGには該当しないものとして、抽出されない。

＜割合算出部5＞
割合算出部5では、境界抽出部4で境界∂PGに該当するものとして抽出した隣接ペア点(g_in, g_out)のそれぞれについて、当該ペア点を両端とする線分を多視点画像の各画像Piに逆投影した線分の、画像Piにおける前景への重複割合ratio(g_in, g_out)を算出し、当該算出した重複割合を面形成部6へと出力する。

ここで、点群算出部3において逆投影でボクセル点群PG（∋g_in）を得たことから明らかなように、各画像Piに逆投影した場合、点g_inは必ず前景上の点p_inへと逆投影され、点g_outは全画像のうち少なくとも１つの画像に関して必ず背景上の点p_outへと逆投影されることに注意されたい。従って、点g_outが点p_outへ逆投影されるような画像Piを考えると、隣接ペア点g_in, g_outを両端とする線分g_in-g_outを各画像Piに逆投影した線分p_in-p_outは、点p_inの側が前景上にあり、点p_outの側が背景上にあることで、画像Pi上の撮影されている対象の境界を交差するものとなる。当該交差する点を点p_crossとすると、線分p_in-p_outの全体のうち、線分p_in-p_corssの部分が前景への重複箇所となるので、割合算出部5は各画像Piのうち点g_outが点p_outへ逆投影されるような画像Piの全てに関して、以下のようにその重複割合ratio(g_in, g_out)を算出する。

図７は、割合算出部5で算出する重複割合ratio(g_in, g_out)の説明例を示す図である。図７にて、ボクセル点群PGに属する又は属さない点v1〜v8を有する、ボクセル格子点で形成される１つの単位立方体V0に関しては、図６で説明したのと同一である。

図７にて例えば、境界に該当する隣接ペア点(v6,v5)に関して、カメラC1（カメラ中心C1として示す）の画像P1に逆投影した際の位置はペア点(p16,p15)であり、前景RG1の境界と交差する点が点p165である。従って、画像P1に関して境界の隣接ペア点(v6,v5)の重複割合ratio(v6,v5)を以下のように算出することができる。
画像P1のratio(v6,v5)=(線分p16-p165の長さ)÷(線分p16-p15の長さ)

同様に図７にて例えば、境界に該当する隣接ペア点(v6,v5)に関して、カメラC2（カメラ中心C2として示す）の画像P2に逆投影した際の位置はペア点(p26,p25)であり、前景RG2の境界と交差する点が点p265である。従って、画像P2に関して境界の隣接ペア点(v6,v5)の重複割合ratio(v6,v5)を以下のように算出することができる。
画像P2のratio(v6,v5)=( 線分p26-p265の長さ)÷(線分p26-p25の長さ)

なお、図７ではさらにボクセル点群に属する点v7に関して画像P2上へと投影した点p27が示されている。隣接点v6,v7は共にボクセル点群に属するものであるため、これらを例えば画像P2に逆投影した場合の点p26,p27は前景RG2内にあり、その境界には交差していないことを見て取ることができる。

以上のように、割合算出部5では境界のペア点(g_in, g_out)に関して、各画像Pi(i=1,2, … ,N)のうち点g_outが点p_outへ逆投影され当該境界のペア点(g_in, g_out)が得られるような画像Piの全てにおける前景への重複割合ratio(g_in, g_out)（=α_i(g_in, g_out)とする）を算出するが、割合算出部5ではさらに、当該算出した各画像Piの重複割合α_i(g_in, g_out)のうち最小値となるものα_min(g_in, g_out)を、以下の数４のように、面形成部6へと出力する。なお、以下の数４は全画像Piにおいて重複割合α_i(g_in, g_out)が算出対象となった場合のものとなっているが、算出対象とならないものがあった場合、右辺の括弧内から省略すればよい。

＜面形成部6＞
面形成部6では、ボクセル点群PGの境界∂PGにある各ペア点(g_in, g_out)につき割合算出部5で算出した重複割合の最小値α_min(g_in, g_out)を用いて、点群抽出部3で得たボクセル点群PGに関する表面モデルを出力する。具体的には、既存手法として前掲の非特許文献３等に開示されているマーチングキューブ法を利用するが、本発明においては特に、マーチングキューブ法で定義されているポリゴン生成パターンにおけるポリゴンのボクセル格子点からの距離を、重複割合の最小値α_min(g_in, g_out)に基づくものとして決定することにより、当該ポリゴンの集合として表面モデルを出力することができる。

ここで、マーチングキューブ法を簡単に説明する。マーチングキューブ法は、ボクセル格子点(x,y,z)においてその値が与えられている任意のスカラー場T(x,y,z)（例えば、温度の3次元分布T(x,y,z)）に関して、T(x,y,z)=Const（一定値）となるような等値面Surf(Const)をポリゴンモデルとして得る手法である。まず、当該一定値Constを閾値とすることで、ボクセル格子点(x,y,z)の各々を当該等値面Surf(Const)の内部にあるか外部にあるかを以下のように分類することができる。
・T(x,y,z)≦Constならば、点(x,y,z)は等値面Surf(Const)の内部にある。
・T(x,y,z)＞Constならば、点(x,y,z)は等値面Surf(Const)の外部にある。

そして、マーチングキューブ法では、等値面Surf(Const)の内部と外部との境界に位置している点(x,y,z)に注目し、図８に示すような当該境界に位置しており（[0]を除く）互いに隣接した8つのボクセル格子点で得られる単位立方体（直方体でもよい。以下同様とする。）において、8つの点が等値面の内部であるか外部であるかに応じた等値面（等値面のうち当該立方体に交差している部分の形状）を表現する所定のポリゴン生成パターンを用いることで、等値面の全体のポリゴンモデルを得ることができる。

なお、立方体の8つの頂点が等値面の内部にあるか外部にあるかの組み合わせの総数は2⁸=256通りであるが、マーチングキューブ法では対称性（回転対称性や、内部と外部との逆転の対称性）を考慮することにより、図８の[0]〜[14]の15通りに限定された所定のポリゴン生成パターンを利用する。（例えば、[0]は全ての8頂点が外部の場合であるが、逆転させることで全ての8頂点が内部の場合をもカバーしている。）すなわち、ボクセル格子点で得られる単位立方体を8頂点が内部又は外部のいずれであるかによって8ビットで表現し、当該8ビット表現が[0]〜[14]のいずれであるかをサーチし、一致したパターンのポリゴン生成パターンを当該単位立方体の箇所に割り当てることで、等値面の全体のポリゴンモデルを得ることができる。

なお、図８の例では、これまでの図４，６，７での例と同様に、対象の内部（すなわち、等値面の内部）であるボクセル格子点を黒丸（●）で、逆に外部であるボクセル格子点を白丸（○）で、それぞれ示している。

以上、図８のように定義されているマーチングキューブ法での所定のポリゴン生成パターンに対して、本発明においては特に、ポリゴン面とボクセル格子点との具体的な距離を、重複割合の最小値α_min(g_in, g_out)によって与えることで、対象の表面モデルを得ることができる。具体的には、隣接するボクセル格子点のうち内部点g_inと外部点g_outに対して、これらを両端とする線分g_in-g_out上にポリゴン面が交差する点を点g_crossとすると、その位置が以下の等式の関係を成立させるような位置となるように、交差する点g_crossを決定することができる。

すなわち、線分g_in-g_out上での対象の領域の重複割合が、割合算出部5で求めた最小値の重複割合α_min(g_in, g_out)となるように、線分g_in-g_out上での交差位置g_crossを決定すればよい。なお、割合算出部5で点g_outが点p_outへ逆投影されるような各画像Piに関して求まる重複割合のうち最小値を採用する理由は、各画像Piに対応する各カメラCiの様々な位置から見た際に、最小値となる場合が当該ポリゴン面で与えられる表面の箇所に関して当該線分g_in-g_outを通る面で切り取った断面に最も近い場合と考えられ、従って、実際の立体としての対象の長さを最も正確に画像上に反映していると考えられるためである。

図９は、面形成部6による交差位置g_crossの決定の具体例を、図８の[1]のポリゴン生成パターンの場合を例として説明する図である。ボクセル立方体V1は頂点v1〜v8を有する。（なお、図６及び図７の頂点v1〜v8と同じ符号を付しているが、頂点同士の相対的な位置関係を表現するための符号として図８でも頂点v1〜v8を用いており、立方体V1は図６や図７の立方体V0とは別のものである。）

図９にて例えば、交差位置v12は、以下の等式を満たす位置として線分v1-v2上に決定される。
α_min(v1, v2)=（線分v1-v12の長さ）÷（線分v1-v2の長さ）
全く同様にして、交差位置v14及びv15は、以下の等式を満たす位置として線分v1-v4及び線分v1-v5上にそれぞれ決定される。
α_min(v1, v4)=（線分v1-v14の長さ）÷（線分v1-v4の長さ）
α_min(v1, v5)=（線分v1-v15の長さ）÷（線分v1-v5の長さ）

このようにして、図９のパターン（図８の[1]のポリゴン生成パターン）により、ボクセル立方体V1内に、位置v12,v14,v15を頂点とする3角形として、対象の表面モデルの交差箇所を得ることができる。なお、マーチングキューブ法において周知のように、当該例示される位置v12,v14,v15を頂点とする3角形等のポリゴンモデルにおいては、その表・裏の区別も設けておいたうえで、対象の表面モデルを得ることができる。図９０の場合であれば、頂点v7に面した側が表面となる。

図１０は、面形成部6により（従って、画像処理装置10により）得られる表面モデルの例を示す図である。ここでは、複雑な凹凸を有する対象の表面モデル（その一部分のみを示す）が三角形ポリゴンの集合として得られていることを見て取ることができる。

以上、本発明によれば、効率的に多視点画像に撮影されている対象の表面モデルを得ることができる。本発明の各実施形態に応じたメリットとして、以下の[1]~[5]の全て又は任意の一部を挙げることができる。
[1] 離散化部2においてサブピクセル単位で離散的な複数の点を取得することで、点群算出部3で近似的なビジュアル・ハルとして得る点群の精度を充分なものとすることができる。
[2] 点群算出部3に対して予め設定しておくボクセルグリッドの密度による影響が少ない。
[3] 点群算出部3の第二手順において図５のような手法を用いることで、画像上の幾何的な位置関係のみから対象の点群を得ることができる。
[4] 離散化部2で取得する離散的な点の密度を調整することで、画像処理装置10全体での計算時間を調整することができる。
[5] 表面モデルを得るために実質的に処理等が必要となるのは境界抽出部4で得るペア点(g_in, g_out)のみであり、その数は立体としての対象の全体（ボクセル点群PG）と比べると少ないものであるため、高速に表面モデルを得ることができる。
[6] 既存手法であるマーチングキューブ法を利用するが、一般的なスカラー場を対象としたマーチングキューブ法の場合のように閾値を設定したり交差位置を内挿で求めたりする必要はなく、正確な表面の位置を得ることができる。

以下、本発明における追加実施形態や変形実施形態などに関して補足説明を行う。

（１）画像処理装置10へ入力される多視点画像に予め輪郭情報を与えておくことで、すなわち、前景・背景の区別を予め付与しておくことで、画像処理装置10から輪郭抽出部1を省略する実施形態も可能である。さらに、画像処理装置10から離散化部2をも省略する実施形態も可能である。この場合、画像処理装置10へと入力される前景・背景の区別が付与された多視点画像の各画像に関して、点群算出部3においては、前述の第二手順を、任意の既存手法による前景上への逆投影の判定によって実施すればよい。例えば、画像上に逆投影された点に関して、前景上の各ピクセルとの距離のうちの最小値が閾値以下となるか否かにより、前景内にあるかを判定してもよい。

（２）以上の説明では多視点画像Pi(i=1,2, …, N)に撮影されている対象（その表面モデルを得ることとなる対象）は１つである前提であったが、２つ以上ある場合は、任意の既存手法（例えば、画像内からの対象領域検出及び認識技術）によって各画像Piにおいて個別の対象の区別を与えたうえで、当該区別された対象ごとに、以上の１つの対象を前提とした手法を適用すればよい。

（３）本発明は、コンピュータを画像処理装置10として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが画像処理装置10の各部の機能に対応する命令を実行することとなる。また、当該コンピュータはさらに、CPUよりも並列処理を高速実施可能なGPU（グラフィック処理装置）を備え、CPUに代えて画像処理装置10の全部又は任意の一部分の機能を当該GPUにおいてプログラムを読み込んで実行するようにしてもよい。

10…画像処理装置、1…輪郭抽出部、2…離散化部、3…点群算出部、4…境界抽出部、5…割合算出部、6…面形成部

Claims (9)

1. 対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出部と、
   前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、
   前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、
   前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備えることを特徴とする画像処理装置。
2. 前記多視点画像の各画像より前景と背景との境界を離散的な点として求める離散化部をさらに備え、
   前記点群算出部では、各画像における前記離散的な点の配置に基づき、前記ボクセル点群を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記点群算出部では、各画像における前記離散的な点を頂点として形成される多角形の向き付けされた各辺から見て、３次元空間内のボクセル格子点を当該画像に逆投影した位置が右または左のいずれであるかが全ての辺に関して共通である場合に、当該ボクセル格子点を前記ボクセル点群に属するものとして決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記境界抽出部は、ボクセル格子点として互いに隣接し、前記ボクセル点群の内外にある点として前記対象の境界に交差するペア点を求めることを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記面形成部では、各ペア点に関して、前記算出された多視点画像の各画像における重複割合のうち最小値を用いて前記対象の表面モデルを得ることを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
6. 前記面形成部では、前記重複割合に基づいて、マーチングキューブ法におけるポリゴン生成パターンのポリゴン面のボクセル格子点からの距離を決定することで、前記表面モデルを得ることを特徴とする請求項１ないし５のいずれかに記載の画像処理装置。
7. 前記割合算出部では、多視点画像の各画像のうち、前記境界に交差するペア点の一方が当該画像の前景に逆投影されもう一方が背景に逆投影されるような画像に関して、前記重複割合を求めることを特徴とする請求項１ないし６のいずれかに記載の画像処理装置。
8. 対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出段階と、
   前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出段階と、
   前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出段階と、
   前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成段階と、を備えることを特徴とする画像処理方法。
9. 対象が前景として撮影されている多視点画像の全画像において前景に逆投影される３次元空間内のボクセル点群を算出する点群算出部と、
   前記ボクセル点群より前記対象の境界に交差するペア点を求める境界抽出部と、
   前記境界に交差するペア点の各々につき、当該ペア点を両端とする線分を多視点画像の各画像に逆投影した際の前景上への重複割合を求める割合算出部と、
   前記ペア点に対して算出された重複割合を用いて前記ボクセル点群にマーチングキューブ法を適用することで前記対象の表面モデルを得る面形成部と、を備える画像処理装置としてコンピュータを機能させることを特徴とする画像処理プログラム。