JP2013025762A - 画像処理装置および画像処理方法、プログラム - Google Patents

Abstract

【課題】 形状推定を行った後に、推定した形状情報を用いて質感推定を行うと、形状推定の誤差が大きい場所で質感推定が不正確となる。
【解決手段】 多視点画像データから被写体の形状を推定し、推定された形状の確からしさを示す信頼度を算出し、推定された形状と信頼度と多視点画像データとから、少なくとも二つの方向から観察した際の被写体の反射率を示す質感情報を推定する画像処理装置。
【選択図】 図２

Description

本発明は、多視点画像データの画像処理に関する。

撮影画像データに対して撮影者の意図に沿った効果を与えるために、画像加工ソフトウェアなどによる加工処理を行う場合がある。例えば、撮影画像データから、光源の種類や方向を変えた新たな加工画像データを作成するなどの加工処理である。このような加工処理によって不自然さの無い加工画像データを作成するためには、熟練者が時間をかけて加工処理を行う必要がある。しかし、被写体の形状や質感が分かっている場合は加工処理を自動化することが可能である。例えば、被写体の形状と質感の定義データが与えられた場合に、様々な光源環境における撮影画像データを合成する技術が知られている（非特許文献１）。

複数の視点位置で撮影された撮影画像データ（以下、多視点画像データ）から被写体の形状を推定する技術として特許文献１や特許文献２が提案されている。特許文献１記載の技術では、多視点画像データの画素値と最も整合性が合うように、被写体を形成するパッチを生成することで被写体の形状を推定する。特許文献２記載の技術では、形状推定の際に形状の信頼度を算出して形状データと共に記録することで、形状データの信頼度をユーザが把握できるようにしている。また、多視点画像データから被写体の質感を推定する技術として非特許文献２が提案されている。非特許文献２に記載の技術では、被写体の質感をモデル化し、多視点画像データの画素値と最も整合性が合うように質感モデルのパラメータを決定することで被写体の質感を推定する。

ＵＳ２００９／００５２７９６Ａ１ 特開平７−２６０４４６

"Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｉｒｒａｄｉａｎｃｅ Ｅｎｖｉｒｏｎｍｅｎｔ Ｍａｐｓ"， Ｒａｖｉ Ｒａｍａｍｏｏｒｔｈｉ ｅｔ ａｌ．， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ ， ｐｐ．４９７−５００ （２００１） "Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ"， Ｉｋｅｕｃｈｉ Ｋ， ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．１３， １１， ｐ．１１３９−１１５３ （１９９１）

形状推定を行った後に、推定した形状情報を用いて質感推定を行うと、形状推定の誤差が大きい場所で質感推定が不正確となる。そこで本発明では、形状推定の際に生じる誤差に対してロバストな質感推定を行うことを目的とする。

上記の目的を達成するために本発明の画像処理装置は、多視点画像データから被写体の形状を推定する形状推定手段と、前記形状推定手段で推定された形状の確からしさを示す信頼度を算出する形状信頼度算出手段と、前記形状推定手段により推定された形状と前記信頼度と前記多視点画像データとから、少なくとも二つの方向から観察した際の被写体の反射率を示す質感情報を推定する質感情報推定手段と、を有することを特徴とする。

本発明によれば、形状推定の際に生じる誤差に対してロバストな質感推定を行う効果を奏する。

画像処理装置のブロック図 画像処理装置の動作を示すフローチャート 多視点画像取得手段の形態の例を模式的に示す図 ワールド座標系を模式的に示す図 形状推定手段１００の動作を示すフローチャート 形状推定手段１００において用いるパッチを模式的に示す図 形状推定手段１００におけるパッチ最適化の様子を模式的に示す図 形状推定手段１００における特徴点組み合わせの選び方の例を模式的に示す図 法線方向と形状信頼度の勾配の関係を模式的に示す図 ポリゴン座標系を模式的に示す図 実施例１における質感情報推定手段１０３の動作を示すフローチャート Ｐｈｏｎｇ角度について模式的に示す図 ＢＲＤＦ推定対象画素と被写体の位置関係を模式的に示す図 画素に写っているポリゴンと被写体表面点の位置関係を模式的に示す図 実施例２における質感情報推定手段１０３の動作を示すフローチャート 対応点の三次元位置について模式的に示す図 実施例１における質感情報推定手段１０３の処理部を示すブロック図 質感情報補正処理の流れを示すフローチャート 実施例２における質感情報推定手段１０３の処理部を示すブロック図

［実施例１］
＜実施例１のフローチャート＞
図１は、本実施例における画像処理装置である。図１に示す画像処理装置の動作を示すフローチャートを図２に示す。以降では、図２のフローチャートに従って画像処理装置の動作を説明する。

ステップＳ２０１で、形状推定手段１００が多視点画像データに写っている被写体の形状を推定する。ここで、多視点画像データは本画像処理装置が取得してもよいし、外部の取得手段によって取得したものを本画像処理装置に入力してもよい。多視点画像データの取得手段として例えば、図３（ａ）のような多眼カメラや、図３（ｂ）のような複数台カメラ、あるいは図３（ｃ）のような撮影位置を変えながら撮影ができるビデオカメラがある。図３（ｃ）の場合は、ビデオカメラで撮影した動画の複数フレームを抽出した画像データが多視点画像データとなる。なお、本実施例では被写体にフォーカスが合っているものとするため、被写体にフォーカスを合わせた撮影やパンフォーカス撮影が望ましい。形状推定手段１００の動作の詳細は後述する。

ステップＳ２０２で、形状信頼度算出手段１０１が形状推定手段１００で推定された形状が実際の形状であるとの確からしさを示す（形状の）信頼度を算出する。形状信頼度算出手段１０１の動作の詳細は後述する。

ステップＳ２０３で、質感情報推定手段１０３が被写体の質感を推定し、その後、形状信頼度に応じて質感推定結果を補正する。ここで、質感とはＢＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）を指す。このＢＲＤＦは少なくとも二つの方向から観察した際の被写体の反射率を示す質感情報を示している。なお、質感として他に、透過まで考慮したＢＳＳＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｓｃａｔｔｅｒｉｎｇ Ｓｕｒｆａｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）などもある。質感情報推定手段１０２の動作の詳細は後述する。

＜形状推定手段１００の詳細＞
形状推定手段１００は、多視点画像データから被写体表面の三次元点群を特定し、その被写体表面点群をポリゴン化することで被写体の形状を推定する。以降では、形状推定手段１００の動作を示すフローチャートである図５に従って形状推定手段１００の動作の詳細を説明する。

ステップＳ５０１で、多視点（複数の視点位置）から撮影された各撮影画像データから特徴点を抽出する。特徴点とは、画像上の際立って検出できる点のことである。特徴点の抽出には任意の方法を用いてよい。

ステップＳ５０２で、１つ目の画像組み合わせを参照する。画像組み合わせとは、ある視点から撮影した画像データと別の視点から撮影した画像データとの組み合わせのことである。なお、１つ目の画像組み合わせとして、どの画像組み合わせを選ぶかは任意である。例えば、各多視点画像データを番号付けして、１枚目の画像データと２枚目の画像データとの組み合わせを１つ目の画像組み合わせとして選べばよい。

ステップＳ５０３で、１つ目の特徴点組み合わせを参照する。特徴点組み合わせとは、現在参照している画像組み合わせにおける片方の画像データが示す画像内の１つの特徴点ともう片方の画像データが示す画像内の１つの特徴点の組み合わせのことである。なお、１つ目の特徴点組み合わせとして、どの特徴点組み合わせを選ぶかは任意である。例えば、それぞれの画像データの最も左上の特徴点の組み合わせを１つ目の特徴点組み合わせとして選べばよい。

ステップＳ５０４で、参照している特徴点組み合わせが被写体表面の同じ点を撮影したものだと仮定して、その点の三次元位置を算出する。三次元位置の算出には三角測量の原理を用いればよい。

ステップＳ５０５で、ステップＳ５０４において算出した三次元位置にパッチを生成し、そのパッチを初期化する。パッチとは、参照している画像組み合わせのうち片方の画像データ（以下、基準画像データとする）から、参照している特徴点を中心とするｍ×ｎｐｉｘｅｌの領域をトリミングしたものである。パッチは、上記トリミングにより得られるｍ×ｎｐｉｘｅｌの画素値Ｖ（Ｉ（ｘ＝１、ｙ＝１），……，Ｉ（ｘ＝ｍ、ｙ＝ｎ ）の画素値を持つ）と中心位置Ｃ、法線方向Ｎの三要素により構成される（図６参照）。ここで、中心位置ＣはステップＳ５０４で算出した三次元位置である。また、法線方向ＮはステップＳ５０６で最適化するため、ここでは最適化を行う前処理として初期化を行う。初期化方法は任意であるが、例えば、基準画像データを撮影した視点方向を法線方向Ｎの初期値としてもよい。なお、以下では基準画像データを撮影する際の視点を基準視点とする。

ステップＳ５０６で、ステップＳ５０５において生成したパッチを多視点画像データとの相違（差分値）が最も小さくなるように最適化する。ここで、パッチと多視点画像データとの相違は、パッチの画素値Ｖと基準視点以外の視点からパッチを撮影した時の画素値から算出される（以下、パッチと多視点画像データとの相違のことを「画素値相違」と記す）。画素値相違を表す指標として任意の指標を用いることができるが、例えば、式１で表される指標Ｇを用いればよい。

ここで、ｈ_ｉはパッチの画素値Ｖと基準視点以外のある１つの視点ｉからパッチを撮影した時の画素値との平均二乗誤差であり、Ｅ［ｈ_ｉ］はｈ_ｉの全視点ｉに関する平均値を表している。なお、基準視点以外の視点からパッチを撮影した時の画素値は、カメラパラメータとパッチの画素値Ｖ、中心位置Ｃ、法線方向Ｎから射影幾何の原理を用いて算出することができる。カメラパラメータとは、カメラの光学中心位置、カメラの光軸方向を表すベクトル、カメラの上方向を表すベクトル、レンズの焦点距離、センササイズ、センサ画素数などである。カメラパラメータは事前にキャリブレーションを行うことで算出してもよいし、多視点画像データから射影幾何の原理などを用いて推定してもよい。

ステップＳ５０６では、上記の指標Ｇを最小化する法線方向Ｎを探索することで最適化を行う。探索方法は任意であるが、例えば、法線方向Ｎを変えながら画素値相違の指標Ｇを算出していくことで、指標Ｇを最小化する法線方向Ｎを探索すればよい。また、共役勾配法などを用いて最適化を行ってもよい。最適化の結果、例えば、ワールド座標系（図４参照）における法線方向Ｎの仰角θ、方位角φとその法線方向Ｎにおける画素値相違の指標Ｇが図７のようになり、法線方向がＮ＿ｏｐｔに最適化される。

ステップＳ５０７で、現在参照している特徴点組み合わせが被写体表面の同じ点を撮影したものかを判定する。この判定には、最適化された法線方向Ｎ＿ｏｐｔにおける画素値相違の指標Ｇ＿ｏｐｔを用いる。もし、現在参照している特徴点組み合わせが被写体表面の同じ点を撮影したものであれば、指標Ｇ＿ｏｐｔは小さな値になるはずである。そこで、指標Ｇ＿ｏｐｔがあらかじめ与えたしきい値を下回った場合は、現在参照している特徴点組み合わせが被写体表面の同じ点を撮影したものであると判定する。ここで、同じ点を撮影したものであると判定した場合、その点を被写体表面点として特定し、以降の処理に利用する。

ステップＳ５０８で、全特徴点組み合わせを参照したかを判定し、していなければ、ステップＳ５０９で次の特徴点組み合わせを参照し、ステップＳ５０４〜Ｓ５０９の処理を全特徴点組み合わせを参照するまで繰り返す。ここで、次の特徴点組み合わせとして、どの特徴点組み合わせを選ぶかは任意である。例えば、図８に示すように、『片方の画像のみラスター順で次の特徴点を選んでいき、その画像の全特徴点を参照し終えたら、もう片方の画像からラスター順で次の特徴点を選ぶ』という選び方をすればよい。

ステップＳ５１０で、全画像組み合わせを参照したか判定し、していなければ、ステップＳ５１１で次の画像組み合わせを参照し、ステップＳ５０３〜Ｓ５１１の処理を全画像組み合わせを参照するまで繰り返す。ここで、次の画像組み合わせとして、どの画像組み合わせを選ぶかは任意である。例えば、ステップＳ５０９と同様の考え方で、『片方の画像のみステップＳ５０２で番号付けした順番で選んでいき、全画像を参照し終えたら、もう片方の画像を番号付けした順番で選ぶ』という選び方をすればよい。

ステップＳ５１２で、ステップＳ５０７において特定した被写体表面点群をポリゴン化する。ポリゴン化には任意の方法を用いてよい。なお、ステップＳ５０７で特定した被写体表面点の数がポリゴン化するのに不十分である場合、被写体表面点を増やしてもよい。

以上の処理により形状を推定する。なお、上記の方法では、全特徴点組み合わせを参照して被写体表面点を特定したが、事前知識などを用いて参照する特徴点組み合わせを減らしても構わない。例えば、エピポーラ幾何の原理を用いて参照する特徴点組み合わせを減らしてもよい。

＜形状信頼度算出手段１０１の詳細＞
形状信頼度算出手段１０１は、形状推定手段１００で算出した画素値相違の指標Ｇを用いて、推定した形状の信頼度を算出する。ここで、形状信頼度は各被写体表面点について算出するものとする。

画素値相違の指標Ｇと形状信頼度の関係について、様々な見方をすることができる。まず、最適化された法線方向Ｎ＿ｏｐｔにおける画素値相違の指標Ｇ＿ｏｐｔが小さい値であるほど、形状信頼度は高いと見ることができる。これは、指標Ｇ＿ｏｐｔが小さい値であるほど、最適化したパッチと多視点画像データの整合性が取れていることを意味するからである。そのため、形状信頼度の指標Ｒとして、例えば、式２を利用することができる。

しかし、式２で表される形状信頼度の指標Ｒは、被写体シーン中に平坦な領域が存在する場合には意味をなさない。それは、平坦な領域では、多視点画像データやパッチの画素値が平坦となり、パッチの法線方向Ｎに関わらず指標Ｇ＿ｏｐｔが小さな値になってしまうからである。そのような場合、最適な法線方向Ｎ＿ｏｐｔが一意に定まらないため、指標Ｇ＿ｏｐｔが小さい値だとしても、形状信頼度が高いとは限らない。そこで、最適化された法線方向Ｎ＿ｏｐｔ付近における指標Ｇの変化の仕方が急峻であれば、Ｎ＿ｏｐｔが一意に定まることを利用することにする。具体的には、指標Ｇ＿の勾配

があらかじめ決められたしきい値よりも小さくなるような仰角θと方位角φの範囲が小さいほど、形状信頼度が高いとする。ここで、そのような範囲の面積を求めることは一般的に困難であるため、例えば、図９に示すように、仰角θの範囲が最も広くなるようなΔθと方位角φの範囲が最も広くなるようなΔφから、式３を用いて範囲の大きさＳを求めればよい。

算出した範囲の大きさＳを用いて、式４から形状信頼度の指標Ｒを算出できる。

また、同様の考え方で、最適化された法線方向Ｎ＿ｏｐｔ付近における指標Ｇの値があらかじめ決められたしきい値よりも小さくなるような仰角θと方位角φが作る範囲Ｓ’が小さいほど、形状信頼度が高いとすることもできる。その場合は、式５から形状信頼度の指標Ｒを算出できる。

上記形状信頼度の指標Ｒのいずれかを算出し、後述するＢＲＤＦ補正処理に利用する。なお、式２、４、５は形状信頼度の指標Ｒ算出方法の一例であり、上記の考え方で算出される任意の形状信頼度の指標Ｒを用いてよい。

＜ＢＲＤＦ＞
ＢＲＤＦとは光の各入射角度、反射角度に対する反射率であり、式６で表される。

ここで、θ’_ｉは光の入射仰角、φ’_ｉは光の入射方位角、θ’_ｒは光の反射仰角、φ’_ｒは光の反射方位角、Ｌ_ｉは入射光の放射輝度（以下、入射輝度とする）、Ｌ_ｒは反射光の放射輝度（以下、反射輝度とする）である。なお、θ’_ｉ、φ’_ｉ、θ’_ｒ、φ’_ｒは、形状推定手段１００によって生成したポリゴンの法線を基準としたポリゴン座標系における角度である（ポリゴン座標系については図１０を参照）。

なお、反射輝度Ｌ_ｒは多視点画像データの画素値ｖから、式７を用いて算出できるものとする。

ここで、Ｔは画素値から輝度への変換を表しており、事前に画素値と輝度の関係をキャリブレーションすることによって求めておく。

＜質感情報推定手段１０２の動作＞
図１７は実施例１における質感情報推定手段１０２の各処理部を示すブロック図である。また、図１１は実施例１における質感情報推定手段１０２の動作を示すフローチャートである。以降では、図１１のフローチャートに従って質感情報推定手段１０２の動作を説明する。

ステップＳ１１０１で、ＢＲＤＦパラメータ推定手段１７０１がＢＲＤＦ推定時に用いる被写体のＢＲＤＦモデルを選択する。ＢＲＤＦモデルとは、ＢＲＤＦをパラメータを含む関数で表現したものである。ＢＲＤＦモデルの例として、式８で表されるＰｈｏｎｇモデルが挙げられる。

ここで、Ｋｄは拡散反射係数、Ｋｓは鏡面反射係数、ｓは光沢性であり、この３つの変数がＰｈｏｎｇモデルにおけるパラメータである。また、αは光の正反射方向と反射方向との間の角度（以下、Ｐｈｏｎｇ角度とする）である（図１２参照）。このようなＢＲＤＦモデルを用いれば、ＢＲＤＦを少ないパラメータで表現することが可能となる。このことにより、少ない視点からの撮影画像データからでもＢＲＤＦを推定することが可能となる。なお、以下では、ＢＲＤＦモデルとしてＰｈｏｎｇモデルを選択した場合を例に説明を行うが、本実施例はＰｈｏｎｇモデルに限定されず、任意のＢＲＤＦモデルを選択して構わない。

ステップＳ１１０２で、ＢＲＤＦパラメータ推定手段１７０１が多視点画像データから１つ目の画素を参照する。１つ目の画素としてどの画素を参照するかは任意であるが、例えば、各多視点画像データを番号付けして、１枚目の画像の最も左上の画素を１つ目の画素として参照すればよい。

ステップＳ１１０３で、ＢＲＤＦパラメータ推定手段１７０１がＢＲＤＦモデルのパラメータに初期値を設定する。パラメータの初期値は任意の値でよい。例えば、Ｋｄ＝０．５、Ｋｓ＝０．５、ｓ＝１．０という初期値を設定すればよい。

ステップＳ１１０４〜Ｓ１１０８で、ＢＲＤＦパラメータ推定手段１７０１が現在参照している画素のＢＲＤＦパラメータを最適化する。まず、ステップＳ１１０４で、ＢＲＤＦ推定対象画素に入射する光の反射方向を算出する。反射方向は、ＢＲＤＦ推定対象画素に写っている（対応する）被写体上の点の位置ｐから光学中心の位置ｃへのベクトルとして表現することができる（図１３参照）。ここで、被写体上の点の位置ｐは、推定された形状とカメラパラメータから、射影幾何の原理を用いて算出できる（形状推定誤差は無視する）。また、光学中心の位置ｃも、カメラパラメータに含まれるため既知である。

ステップＳ１１０５で、ステップＳ１１０４において算出した反射方向への反射輝度の期待値を算出する。これは、実際の反射輝度（ＢＲＤＦ推定対象画素の画素値から式７を用いて求められる輝度）ではなく、現在設定されているＢＲＤＦパラメータから算出される反射輝度の期待値である。反射輝度の期待値Ｌ’_ｒは式９で表される。

ここで、Ｌ_ｉは光源分布である。光源分布Ｌ_ｉは、本画像処理装置が取得してもよいし、外部の取得手段によって取得したものを本画像処理装置に入力してもよい。光源分布として例えば、魚眼レンズによる撮影画像データの画素値を光源分布として用いる方法がある。また、式９中のＢＲＤＦはステップＳ１１０１で選択したＢＲＤＦモデルに、現在設定されているパラメータを代入して算出される値である。

ステップＳ１１０６で、反射輝度の期待値Ｌ’_ｒとＢＲＤＦ推定対象画素の画素値から算出される反射輝度Ｌ_ｒとの誤差を算出する。ここで、誤差の種類は任意であるが、例えば、平均二乗誤差を算出すればよい。

ステップＳ１１０７で、パラメータ最適化終了かを判定し、終了でなければ、ステップＳ１１０８でパラメータを更新し、ステップＳ１１０４〜Ｓ１１０８の処理を最適化が終了するまで繰り返す。パラメータ最適化終了時点でのパラメータが、現在参照している画素の推定パラメータとなる。ここで、最適化終了判定とパラメータ更新の方法は任意であるが、例えば、共役勾配法に則って、最適化終了判定とパラメータ更新を行えばよい。

ステップＳ１１０９で、ＢＲＤＦパラメータ推定手段１７０１が、全画素を参照し終えたかを判定し、参照し終えてなければ、ステップＳ１１１０で次の画素を参照し、ステップＳ１１０３〜Ｓ１１１０の処理を全画素を参照し終えるまで繰り返す。ここで、次の画素としてどの画素を参照するかは任意であるが、例えば、ラスタ順で次の画素を参照していき、画像データ中の全ての画素を参照し終えたら次の画像データの画素をラスタ順で参照していけばよい。

ステップＳ１１１０で、質感情報補正手段１７０２が推定したＢＲＤＦパラメータの補正を行う。質感情報補正手段１７０２の詳細は後述する。

以上の処理を行うことで、多視点画像データの全画素についてＢＲＤＦパラメータを推定することができる。なお、上記の処理では、ステップＳ１１０２で設定するパラメータの初期値によっては局所解に落ちる可能性がある。そのため、初期値を変えながら上記の処理を複数回行い、ステップＳ１１０６の最適化終了条件に最もよく合致した時のパラメータを最適なＢＲＤＦモデルパラメータとして算出してもよい。また、上記の処理では、全ての画素についてＢＲＤＦ推定を行ったが、鏡面反射成分が強く観察されるなどのＢＲＤＦ推定がしやすい画素のＢＲＤＦのみを推定し、他の画素のＢＲＤＦはそれらの画素のＢＲＤＦから補間処理によって算出してもよい。

＜質感情報補正手段１７０２の動作＞
図１８は、実施例１における質感情報補正手段１７０２の動作を示すフローチャートである。以降では、図１８のフローチャートに従って質感情報補正手段１７０２の動作を説明する。

ステップＳ１８０１で、画素形状信頼度算出手段１７０３が多視点画像データの各画素に写っている（対応する）被写体上の点における形状信頼度を算出する。ここで、形状信頼度算出手段１０１で算出したのは被写体表面点の形状信頼度であり、この信頼度をそのまま画素の形状信頼度として用いることはできない。そこで、画素の形状信頼度を、画素に写っているポリゴンの周りにある被写体表面点の形状信頼度から算出する（図１４のポリゴンＡとその周りの被写体表面点Ａ、Ｂ、Ｃを参照）。画素の形状信頼度の算出方法は任意であるが、例えば、画素に写っているポリゴン上の点から最も近い被写体表面点の形状信頼度を画素の形状信頼度とすればよい。図１４の例では、画素に写っているポリゴン上の点から最も近いのは被写体表面点Ｃであるため、被写体表面点Ｃの形状信頼度を画素の形状信頼度として利用する。

ステップＳ１８０２で、補正必要性判定手段１７０４が形状信頼度の低い画素の中から１つ目の画素を参照する。形状信頼度の高低を判定する基準は任意であるが、例えば、あらかじめ決められたしきい値よりも形状信頼度の低い画素を参照すればよい。

ステップＳ１８０３で、補正必要性判定手段１７０４が注目画素の周りの画素（特に隣接画素）から、形状信頼度の高い画素を選択する。選択基準は任意であるが、例えば、形状信頼度が高い画素のうち、注目画素との距離が近い４画素を選択すればよい。

ステップＳ１８０４で、補正必要性判定手段１７０４が注目画素と周りの画素とのＢＲＤＦパラメータの差を算出する。Ｐｈｏｎｇモデルを例にすると、Ｋｓの差ΔＫｓ、Ｋｄの差ΔＫｄ、ｓの差ΔｓをステップＳ１８０３で選択した全画素について算出し、その平均値を算出（導出）する。

ステップＳ１８０５で、補正必要性判定手段１７０４がパラメータの差があらかじめ決められたしきい値以上であるかを判定する。しきい値は任意であるが、例えばΔＫｓのしきい値を０．１、ΔＫｄのしきい値を０．１、ｓのしきい値を１０などとすればよい。

ステップＳ１８０６でしきい値以上と判定された場合、ステップＳ１８０７で、ＢＲＤＦパラメータ再算出手段１７０５が周りの画素のＢＲＤＦパラメータから注目画素のＢＲＤＦパラメータを再算出する。再算出方法は任意であるが、例えば、周りの画素のＢＲＤＦパラメータの平均値をその画素のＢＲＤＦパラメータとして算出すればよい。また、バイリニア法やバイキュービック法による補間処理を用いてもよい。

ステップＳ１８０８で、補正必要性判定手段１７０４が形状信頼度の低い画素を全て参照し終えたかを判定し、参照し終えていなければ、ステップＳ１８０９で次の画素を参照し、全ての画素を参照し終えるまでステップＳ１８０３〜Ｓ１８０９の処理を繰り返す。

以上の処理により、ＢＲＤＦパラメータを補正する。ここで、以上述べたように、周りの画素と比べてＢＲＤＦ推定結果が大きく異なる場合に補正が必要だと判定するのは、近くの画素の質感は似ていることが多いという経験的な理由による。ただし、実際には、周りの画素と比較してＢＲＤＦパラメータが大きく異なるからといって必ずしも、ＢＲＤＦ推定に失敗しているとは言えない。なぜなら、細かいテクスチャがある場合には近くの画素でも質感が大きく変化するからである。そこで本実施例では、ＢＲＤＦパラメータが周りと大きく異なる画素について、その画素の形状信頼度が高い場合は細かいテクスチャがあると判断し補正は行わず、その画素の形状信頼度が低い場合にのみ質感推定に失敗していると判断して補正を行う。

なお、本実施例の構成要素は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用しても良い。本実施例の目的は、前述の実施形態の機能を実現するプログラムをシステムのコンピュータ（またはＣＰＵまたはＭＰＵ）が実行しても達成される。この場合、プログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本実施例を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のデータ保存部、ＲＯＭなどを用いることが出来る。また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、プログラムの指示内容をシステムの機能拡張ボードに備わるＣＰＵなどが実行し、その処理で前述した実施例の機能が実現される場合も含まれることは言うまでもない。

以上説明したように、本実施例によれば、形状信頼度を算出し、その形状信頼度をＢＲＤＦ補正に用いることで、形状推定誤差に対してロバストなＢＲＤＦ推定処理を行うことができる。

［実施例２］
実施例１では、全画素でＢＲＤＦ推定をした後に、形状信頼度が低く、かつ、ＢＲＤＦ推定結果が周りの画素と大きく異なる画素のＢＲＤＦ推定結果を補正した。実施例２では、形状信頼度の低い画素ではＢＲＤＦ推定を行わずに、形状信頼度の高い画素のＢＲＤＦ推定結果から補間処理によって形状信頼度の低い画素のＢＲＤＦを算出する。

実施例２は、実施例１と比べて、質感情報推定手段１０２の動作のみが異なるため、質感情報推定手段１０２のみ説明を行う。

図１９は実施例２における質感情報推定手段１０２の処理部を表すブロック図である。また、図１５は実施例２における質感情報推定手段１０２の動作を示すフローチャートである。以降では、図１５のフローチャートに従って質感情報推定手段１０２の動作を説明する。なお、ステップＳ１５０２、Ｓ１５１０、Ｓ１５１１以外の動作は実施例１と同様であるため、説明を省略する。

ステップＳ１５０２で、ＢＲＤＦパラメータ推定手段１７０１が形状信頼度の低い画素から１つ目の画素を参照する。実施例２では、全画素を参照対象にするのではなく、形状信頼度の高い画素のみを参照対象とする。

ステップＳ１５１０で、ＢＲＤＦパラメータ推定手段１７０１が次の画素を参照する。これもステップＳ１５０２同様、形状信頼度の高い画素のみを参照対象とする。

ステップＳ１５１１で、ＢＲＤＦパラメータ補間手段１９０２が形状信頼度の高い画素のＢＲＤＦパラメータから形状信頼度の低い画素のＢＲＤＦパラメータを補間処理により算出する。算出方法は実施例１におけるＢＲＤＦパラメータの補正方法と同様であるため説明を省略する。

以上説明したように、実施例２では、形状信頼度の低い画素ではＢＲＤＦ推定を行わずに、形状信頼度の高い画素のＢＲＤＦ推定結果から補間処理によって形状信頼度の低い画素のＢＲＤＦを算出する。このことにより、ＢＲＤＦ推定に失敗しやすい画素ではＢＲＤＦを推定しないため、実施例１と比べて高速にロバストなＢＲＤＦ推定を行うことができる。

［実施例３］
実施例１と実施例２では、被写体表面にパッチを生成することによって被写体の形状を推定した場合について説明した。実施例３では、多視点画像データ間の対応点の三次元位置を算出することによって被写体の形状を推定する場合にロバストなＢＲＤＦ推定を行う。

実施例１、２と比べて、形状推定手段１００と形状信頼度算出手段１０１の動作のみが異なるため、これらについてのみ説明を行う。

図１５は、形状推定手段１００における対応点の三次元位置の算出方法を模式的に示す図である。図１５では、実施例１と同様に多視点画像データ間の対応点探索を行い、その対応点の三次元位置を三角測量の原理で算出する。ここで、対応点が誤差なく算出されている場合、図１６（ａ）のように、対応点の三次元位置は多視点画像データ中のどの二枚から算出しても同じ位置となる。しかし、対応点の算出結果に誤差が含まれる場合、図１６（ｂ）のように、多視点画像データ中のどの二枚から三次元位置を算出したかによって、対応点の三次元位置がずれてしまう。実施例２の形状信頼度算出手段１０１では、この対応点の三次元位置のバラツキ具合を形状信頼度を表す指標として算出する。バラツキ具合としてどのような値を算出するかは任意であるが、例えば図１６（ｃ）のように、算出される対応点群の重心を求め、重心からのからの距離の平均値を形状信頼度として算出すればよい。

以上説明したように、実施例３では、多視点画像データから算出される対応点の三次元位置のバラツキ具合を形状信頼度として算出する。このことにより、対応点の三次元位置を算出することで推定した形状に誤差が含まれる場合でもロバストな質感推定が可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 多視点画像データから被写体の形状を推定する形状推定手段と、
   前記形状推定手段で推定された形状の確からしさを示す信頼度を算出する形状信頼度算出手段と、
   前記形状推定手段により推定された形状と前記信頼度と前記多視点画像データとから、少なくとも二つの方向から観察した際の被写体の反射率を示す質感情報を推定する質感情報推定手段と、
   を有することを特徴とする画像処理装置。
2. 前記質感情報推定手段は、注目画素の信頼度が低く、かつ、該注目画素の隣接画素の信頼度が高い場合、該注目画素の質感情報を該注目画素の隣接画素の質感情報を用いて補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記質感情報推定手段は、注目画素の信頼度が低く、かつ、該注目画素の隣接画素の信頼度が高い場合、該注目画素の質感情報を該隣接画素の質感情報を用いて、補間処理により補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記質感情報推定手段は、前記信頼度が高い画素の質感情報を推定し、前記信頼度が低い画素の質感情報は信頼度が高い画素の質感情報を利用して算出することを特徴とする請求項１に記載の画像処理装置。
5. 前記形状推定手段は、多視点画像データとの相違が小さくなるように被写体表面を構成するパッチを生成することによって被写体の形状を推定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記信頼度は、前記形状推定手段が生成したパッチと多視点画像データとの相違を示す値であることを特徴とする請求項５に記載の画像処理装置。
7. 前記信頼度は、前記形状推定手段が生成したパッチと多視点画像データとの相違の勾配がしきい値よりも小さくなるパッチの法線の範囲を示す値であることを特徴とする請求項５に記載の画像処理装置。
8. 前記形状信頼度は、前記形状推定手段が生成したパッチと多視点画像データとの相違がしきい値よりも小さくなるパッチの法線の範囲を示す値であることを特徴とする請求項５に記載の画像処理装置。
9. 前記形状推定手段は、前記多視点画像データの間の対応点の三次元位置を算出することによって被写体の形状を推定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
10. 前記形状信頼度は、前記形状推定手段が算出した対応点の三次元位置のばらつき具合を示す値であることを特徴とする請求項９に記載の画像処理装置。
11. 多視点画像データから被写体の形状を推定する形状推定工程と、
    前記形状推定工程で推定された形状の確からしさを示す信頼度を算出する形状信頼度算出工程と、
    前記形状推定工程で推定された形状と前記信頼度と前記多視点画像データとから、少なくとも二つの方向から観察した際の被写体の反射率を示す質感情報を推定する質感情報推定工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを請求項１乃至１０に記載されている手段として機能させるためのプログラム。

Images