JP2018180687A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】３次元点群の範囲をユーザが精度よく指定できるようにする。【解決手段】本発明の一実施形態に係る画像処理装置は、同一の対象物を異なる視点から表す複数の画像データのうち表示された画像データ上で選択された選択範囲を取得する選択範囲取得手段と、選択範囲に含まれる２次元点群と対応する第１の範囲内３次元点群を、対応情報に基づいて抽出する第１の３次元点群抽出手段と、表示した画像データ以外のその他の画像データのそれぞれにおいて、第１の範囲内３次元点群と対応する２次元点群が含まれる領域内の第１の範囲内２次元点群を取得する第１の２次元点群取得手段と、その他の画像データのそれぞれで取得された第１の範囲内２次元点群に基づいて、選択範囲に対応する第２の範囲内３次元点群を推定する第２の３次元点群推定手段とを備える。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年、被写体の３次元形状データを取得する技術が発展してきている。被写体の３次元形状データは、例えば、レーザーによる３次元スキャナを用いた方法や、同一の被写体を異なる視点から撮影した複数の画像から推定する方法によって取得できる。取得した３次元形状データを編集する場合、ユーザは編集範囲を指定する必要がある。

特許文献１には、２次元テクスチャ上でユーザが指定した点の対応点を３次元空間内で求めて、対象の３次元形状のポリゴン（メッシュ）を特定する技術が開示されている。

特開２００３−０６７７７８号公報

しかしながら、特許文献１に記載の技術ではポリゴン（メッシュ）を使用しているため、特定した３次元形状の精度が落ちてしまう。また、複数の画像から２次元テクスチャを生成する場合は、つなぎ目で不整合が生じてしまい、１つの画像から２次元テクスチャを生成する場合は、２次元テクスチャ上で認識できない部分（いわゆる、オクルージョン部分）を特定することができない。すなわち、従来技術では、ユーザは、３次元点群の範囲を精度よく指定することができない。

本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、３次元点群の範囲をユーザが精度よく指定することが可能な画像処理装置、画像処理方法、及びプログラムを提供することにある。

本発明の一実施形態に係る画像処理装置は、同一の対象物を異なる視点から表す複数の画像データを取得する画像データ取得手段と、前記複数の画像データのそれぞれの２次元点群と、前記対象物の３次元点群と、前記２次元点群と前記３次元点群との対応情報とを取得する点群情報取得手段と、前記複数の画像データのうち表示された画像データ上で選択された選択範囲を取得する選択範囲取得手段と、前記選択範囲に含まれる２次元点群と対応する第１の範囲内３次元点群を、前記対応情報に基づいて抽出する第１の３次元点群抽出手段と、前記表示した画像データ以外のその他の画像データのそれぞれにおいて、前記第１の範囲内３次元点群と対応する２次元点群が含まれる領域内の第１の範囲内２次元点群を取得する第１の２次元点群取得手段と、前記その他の画像データのそれぞれで取得された前記第１の範囲内２次元点群に基づいて、前記選択範囲に対応する第２の範囲内３次元点群を推定する第２の３次元点群推定手段とを備えることを特徴とする。

本発明によれば、３次元点群の範囲をユーザが精度よく指定することが可能な画像処理装置、画像処理方法、及びプログラムを提供することができる。

実施形態１に係る画像処理装置の構成を示すブロック図である。 実施形態１に係る画像処理装置の機能ブロック図である。 実施形態１に係る画像処理方法の処理フロー図である。 実施形態１に係るグラフカット手法を説明する模式図である。 実施形態１に係る画像処理を説明する模式図である 実施形態２に係る画像処理装置の機能ブロック図である。 実施形態２に係る画像処理方法の処理フロー図である。 実施形態２に係る画像処理を説明する模式図である。 実施形態３に係る画像処理装置の機能ブロック図である。 実施形態３に係る画像処理方法の処理フロー図である。 実施形態３に係る画像処理を説明する模式図である。 実施形態４に係る画像処理装置の機能ブロック図である。 実施形態４に係る画像処理方法の処理フロー図である。 実施形態４に係る画像処理を説明する模式図である。

以下、本発明の実施形態について、添付の図面を参照して詳細に説明する。

＜実施形態１＞
本実施形態では、被写体（すなわち、対象物）の３次元点群と対応する複数の画像データと、その画像特徴点（以降、２次元点群とする）とを用いて、２次元画像における範囲選択と同様に直観的で簡易な方法で３次元点群の範囲選択を行う。また、本実施形態における３次元点群は、複数の画像の２次元点群からＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などの手法によって推定されたものである。なお、３次元点群はこれに限定されるものではなく、画像と３次元点群との対応が取れていれば、デプスセンサの値と画像とが対応付けられたものでも良い。

以下では、被写体を互いに異なる視点から撮影した４つの画像データを使う場合について説明するが、本実施形態は、４つの画像データに限定されるものではなく、２つ以上の画像データに対して適用することが可能である。また、本実施形態の画像データは、被写体を撮影したものに限定されない。すなわち、本実施形態は、同一の対象物を異なる視点から表す複数の画像データに対して適用することができる。

図１は、本実施形態に係る画像処理装置１００の構成を示す。画像処理装置１００は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、記憶部１０４と、入力インターフェース１０５と、出力インターフェース１０６と、システムバス１０７とを含んで構成される。入力インターフェース１０５には、外部メモリ１０８が接続されており、出力インターフェース１０６には表示装置１０９が接続されている。

ＣＰＵ１０１は、画像処理装置１００の各構成要素を統括的に制御するプロセッサである。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ及びワークエリアとして機能するメモリである。ＲＯＭ１０３は、画像処理装置１００内の処理に用いられるプログラム等を格納するメモリである。ＣＰＵ１０１は、ＲＡＭ１０２をワークエリアとして使用し、ＲＯＭ１０３に格納されたプログラムを実行することで、後述する様々な処理を実行する。

記憶部１０４は、画像処理装置１００での処理に用いる画像データや、処理のためのパラメータ（すなわち、設定値）などを記憶する記憶デバイスである。記憶部１０４としては、ＨＤＤや光ディスクドライブ、フラッシュメモリなどを用いることができる。

入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインターフェースである。画像処理装置１００は、入力インターフェース１０５を介して、外部メモリ１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）から処理対象の画像データ等を取得することができる。出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力端子である。画像処理装置１００は、出力インターフェース１０６を介して、表示装置１０９（液晶ディスプレイなどの画像表示デバイス）に、画像処理装置１００で処理した画像データを出力することができる。なお、画像処理装置１００は、構成要素として上記以外のものも含み得るが、ここでの説明は省略する。

以下、図２及び図３を参照して、画像処理装置１００における画像処理を説明する。図２は、本実施形態に係る画像処理装置１００の機能ブロック図である。図３は、本実施形態に係る画像処理方法の処理フロー図である。本実施形態では、ＣＰＵ１０１が、ＲＯＭ１０３に格納されたプログラムを実行することにより、図２に記載の各ブロックとして機能し、図３の処理フローを実行する。尚、ＣＰＵ１０１が必ずしも全ての機能を実行しなくてもよく、画像処理装置１００内に各機能に対応する処理回路を設けてもよい。

ステップＳ３０１では、画像データ取得部２０１が、入力インターフェース１０５を介して外部メモリ１０８から複数の画像データを取得し、各画像データを識別する画像ＩＤ（画像識別子）と共にＲＡＭ１０２に格納する。複数の画像データはそれぞれ、同一の被写体を互いに異なる視点から撮影した画像データ、すなわち、同一の対象物を異なる視点から表す画像データである。

ステップＳ３０２では、点群情報取得部２０２が、入力インターフェース１０５を介して外部メモリ１０８から、複数の画像データのそれぞれに含まれる２次元点群座標、対象物の３次元点群座標、及び２次元点群と３次元点群との対応情報を取得する。取得した２次元点群、３次元点群、及び対応情報は、ＲＡＭ１０２に格納される。

ステップＳ３０３では、選択画像表示部２０３が、複数の画像データの中からユーザによって選択された１つの画像データの画像ＩＤを取得して、画像ＩＤに対応する画像データをＲＡＭ１０２から取得する。すなわち、選択画像表示部２０３は、複数の画像データのうちユーザにより選択された画像データを表示すべき画像データとして決定する決定手段として機能する。選択画像表示部２０３は、取得した画像データを、出力インターフェース１０６を介して表示装置１０９に表示する。

ステップＳ３０４では、選択範囲取得部２０４が、表示装置１０９に表示された画像上でユーザが選択した選択範囲の２次元点群を取得し、ＲＡＭ１０２に格納する。具体的な選択範囲の取得方法には、簡単な手法として、指定領域内の画素と隣接する画素のうち、指定領域内の画素との間の画素値の差分が閾値以下になる領域を選択範囲とする方法がある。また、近年、高精度な範囲選択の手法として、グラフカットと呼ばれる領域分割手法が提案されている。

図４は、グラフカット手法を説明する模式図である。グラフカット手法では、まず、図４（ａ）に示すように、画像に対応したグラフを生成し、範囲内のｓｅｅｄ画素４０１と範囲外のｓｅｅｄ画素４０２を与える。次いで、図４（ｂ）に示すように、画素間の類似度を算出し、類似度が高い画素間を大きい重みのエッジ４０３で繋ぎ、類似度が低い画素間を小さい重みのエッジ４０４で繋ぐ。また、範囲内のｓｅｅｄ画素４０１に類似する画素は、範囲内ノードＳ４０５に強い重みで繋ぎ、範囲外のｓｅｅｄ画素４０２に類似する画素は、範囲外ノードＴ４０６に強い重みで繋ぐ。なお、類似しない画素間の重みの繋がりの図示はここでは省略する。最後に、図４（ｃ）に示すように、カットするノードの和が最小になるようにグラフをカットし、範囲内ノードＳ４０５側を範囲内領域、範囲外ノードＴ４０６側を範囲外領域とする。具体的には、ユーザがマウスなどで指定した範囲の画素が、範囲内ｓｅｅｄ画素や範囲外ｓｅｅｄ画素になる。なお、画素間の類似性の指標には、画素間の色の類似度や、画像の特徴量の差の大きさから出したエッジの強度、近傍領域の色の分布、画素間の距離などがある。

ステップＳ３０５では、第１の３次元点群範囲推定部２０５が、ステップＳ３０４でＲＡＭ１０２に格納された選択範囲内にある２次元点群と対応する３次元点群を、ステップＳ３０２で取得した３次元点群から対応情報を基に抽出する。第１の３次元点群範囲推定部２０５は、抽出した３次元点群を第１の範囲内３次元点群としてＲＡＭ１０２に格納する。すなわち、第１の３次元点群範囲推定部２０５は、第１の３次元点群抽出手段として機能する。具体的には、ＲＡＭ１０２に格納されている３次元点群に「範囲内」という属性を付加するようにしても良い。さらに、第１の３次元点群範囲推定部２０５は、ステップＳ３０４で選択範囲外とされた２次元点群と対応する３次元点群を対応情報に基づいて抽出して第１の範囲外３次元点群とし、ＲＡＭ１０２に格納してもよい。また、それ以外の（表示画像では見えていない）３次元点群を対応情報に基づいて抽出して未分類３次元点群としてＲＡＭ１０２に格納してもよい。具体的には、第１の範囲外３次元点群に「範囲外」という属性を付加し、未分類３次元点群に「未分類」という属性を付加するようにしても良い。

次いで、ステップＳ３０６〜ステップＳ３０７では、ステップＳ３０１で取得した複数の画像データのうち、ステップＳ３０３で表示した画像データ以外のその他の画像データごとに、処理が行われる。

ステップＳ３０６では、画像範囲推定部２０６が、表示画像データ以外の１つの画像データについて、ステップＳ３０５で抽出した第１の範囲内３次元点群と対応する２次元点群を対応情報に基づいて抽出する。画像範囲推定部２０６は抽出した２次元点群を、第１の範囲内２次元点群としてＲＡＭ１０２に格納する。具体的には、ＲＡＭ１０２に格納されている２次元点群に「範囲内」という属性を付加するようにしても良い。さらに、画像範囲推定部２０６は、ステップＳ３０５で抽出した第１の範囲外３次元点群及び未分類３次元点群に対応する２次元点群を対応情報に基づいて抽出し、第１の範囲外２次元点群及び第１の不明２次元点群としてＲＡＭ１０２に格納しても良い。

ステップＳ３０７では、画像範囲推定部２０６が、ステップＳ３０６で格納した第１の範囲内２次元点群を基に画像の領域分割を行い、第１の範囲内２次元点群以外の点群が第１の範囲内２次元点群と同じ領域に入るかどうかを判定する。画像範囲推定部２０６は、同じ領域に入る第１の範囲内２次元点群以外の点群を、第１の範囲内２次元点群として更新する（すなわち、第１の範囲内２次元点群に追加する）。さらに、第１の範囲外２次元点群と第１の不明２次元点群を用いる場合は、第１の不明２次元点群が第１の範囲内２次元点群と第１の範囲外２次元点群のどちらにより近いかを判定すれば良い。その場合は、第１の不明２次元点群のうち第１の範囲内２次元点群と近いと判定された点群を、第１の範囲内２次元点群に加えれば良い。この時、画像の範囲推定方法にはステップＳ３０４で説明した方法を用いれば良い。例えば、グラフカット手法を用いる場合には、範囲内ｓｅｅｄ４０１に更新前の第１の範囲内２次元点群を使えばよい。さらに範囲外点群がある場合には、範囲外ｓｅｅｄ４０２に更新前の第１の範囲外２次元点群を使えば良い。このように、ステップＳ３０６及びＳ３０７において、画像範囲推定部２０６は、第１の範囲内３次元点群と対応する２次元点群が含まれる同じ領域内にある第１の範囲内２次元点群を取得する第１の２次元点群取得手段として機能する。

ステップＳ３０８では、画像範囲推定部２０６が、処理対象となる全ての画像データについて処理が終わったかを判定し、未処理の画像データが残っている場合はステップＳ３０６に戻り、処理を繰り返す。一方、全ての画像データの処理が終わっていればステップＳ３０９に進む。ここで、処理対象の画像データは、第１の範囲内３次元点群が見えている全ての画像データ（すなわち、第１の範囲内３次元点群と対応する２次元点群が表示されている全ての画像データ）にすれば良い。

ステップＳ３０９では、第２の３次元点群範囲推定部２０７が、ステップＳ３０２で取得した３次元点群のうち、各画像データにおいて第１の範囲内２次元点群である割合が所定の閾値以上となった３次元点群を抽出する。第２の３次元点群範囲推定部２０７は、抽出した３次元点群を第２の範囲内３次元点群としてＲＡＭ１０２に格納する。ここで、所定の閾値である範囲内判定閾値は、入力インターフェース１０５を介して外部から取得される。具体的な閾値判定方法として、例えば、第１の範囲内３次元点群が見えている全ての画像データ数のうち、第１の範囲内２次元点群として判定された点群を含む画像データ数の割合で判定すれば良い。また、３次元点群の各点を、３次元座標が近く、類似性の高いものでエッジを繋ぎ、図４を参照して説明したグラフカット手法を用いて最小カットを求めることで第２の範囲内３次元点群を抽出しても良い。すなわち、第２の３次元点群範囲推定部２０７は、ユーザが２次元画像上で選択した選択範囲に対応する第２の範囲内３次元点群を推定する第２の３次元点群推定手段として機能する。

図５は、本実施形態に係る画像処理を説明する模式図である。以下、当該模式図を参照して、本実施形態に係る画像処理を説明する。

図５において、被写体（対象物）の３次元形状を表す３次元点群５００は、９つの点１〜９を含む点群であり、被写体を異なる視点から撮影した４つの画像データ５０１、５０２、５０３、５０４が示されている。また、ステップＳ３０３では画像データ５０１が表示され、画像データ５０１の点線で囲まれた範囲を、ステップＳ３０４で取得した選択範囲とする。選択範囲には４つの点１〜４（２次元点群）が含まれ、ステップＳ３０５では３次元点群５００のうち、４つの点１〜４が第１の範囲内３次元点群として抽出される。

別視点１の画像データ５０２では、画像の類似性で領域分割すると、２次元点群の点１〜４、７、８が１つの領域に含まれる。また、点１〜４は、第１の範囲内３次元点群に対応する第１の範囲内２次元点群なので、点１〜４と同じ領域に含まれる点７、８も画像データ５０２の第１の範囲内２次元点群となる（ステップＳ３０６、Ｓ３０７）。

別視点２の画像データ５０３では、画像の類似性で領域分割すると、２次元点群の点１、２、７、８と点９と点６とが３つの領域に分かれる。点１、２は第１の範囲内３次元点群に対応する第１の範囲内２次元点群なので、点１、２と同じ領域に含まれる点７、８も画像データ５０３の第１の範囲内２次元点群となる（ステップＳ３０６、Ｓ３０７）。

別視点３の画像データ５０４では、画像の類似性で領域分割すると、２次元点群の点１、４と点５、６と点９と点８とが４つの領域に分かれる。点１、４が第１の範囲内３次元点群に対応する第１の範囲内２次元点群であり、同じ領域に他の点群は含まれないので、点１、４が画像データ５０４の第１の範囲内２次元点群となる（ステップＳ３０６、Ｓ３０７）。

以上の結果を、表５０５にまとめる。各画像データの２次元点群のうち、第１の範囲内２次元点群である点を○で示し、第１の範囲内２次元点群ではない点を×で示す。なお、表５０５における空欄は、被写体の３次元点群のうち、各画像データに対応する２次元点群が含まれていない点群（オクルージョン）を示す。

表５０５より、第１の範囲内２次元点群の割合は、点１〜４、７では１００％、点８では６６．７％、点５、６、９では０％である。第２の範囲内３次元点群として判定するための閾値（範囲内判定閾値）を５０％とすると、点１〜４、７、８が第２の範囲内３次元点群として抽出される（ステップＳ３０９）。

本実施例では、第１の範囲内２次元点群である点群の割合を判定したが、画像の類似性と、第１の範囲内２次元点群及び第１の範囲外２次元点群との画素間の距離を重みづけして評価値を算出し、平均値を割り出して閾値処理しても良い。また、第１の範囲内３次元点群のうち、選択画像で選択範囲内と選択範囲外の境界近くに有った点は境界点として、複数の画像の領域分割の際の重み（信頼度）を下げるように設定しても良い。

本実施形態ではこのようにして、１つの２次元画像上の選択範囲から、当該範囲と隣接した類似する範囲まで自動的に３次元点群の範囲選択を行うことができる。

以上説明したように、本実施形態によると、２次元画像上でユーザが選択した範囲に対応する３次元点群の範囲を精度よく推定することができる。

＜実施形態２＞
実施形態２では、上述した実施形態１で出力された第２の範囲内３次元点群を用いて、同一の対象物を異なる視点から表す複数の画像データにおける範囲選択を行う。

上述した実施形態１では、各画像データにおいて３次元点群に対応する２次元点群が正しく設定されていることが前提になっているが、３次元点群に対応する２次元点群が正しく設定されていない場合もある。例えば、被写体に光沢異方性があって３次元的に同じ領域が画像上では同じように見えなかったり、ダイナミックレンジの違いによりある画像では見えている階調が別の画像では見えていなかったりする場合がある。そのような場合、３次元点群と２次元点群との対応が正しく設定されない。そこで、本実施形態では、３次元点群に対応する２次元点群が正しく設定されていない場合でも、第２の範囲内３次元点群を用いた複数の画像データにおける範囲選択を精度よく行うことを可能にする。

以下、図６及び図７を参照して、本実施形態に係る画像処理装置１００における画像処理を説明する。図６は、本実施形態に係る画像処理装置１００の機能ブロック図である。図７は、本実施形態に係る画像処理方法の処理フロー図である。

図６の機能ブロック図は、図２の機能ブロック図と比較して、オクルージョン判定部６０８と第２の画像範囲推定部６０９とをさらに備える。本実施形態では、主に、オクルージョン判定部６０８及び第２の画像範囲推定部６０９によって、実施形態１で出力された第２の範囲内３次元点群を用いた複数の画像データにおける範囲選択処理が実施される。

図６のブロック６０１〜６０７は、図２のブロック２０１〜２０７と同様であり、本実施形態における点群情報取得部６０２は、複数の画像データのそれぞれを撮影したカメラのカメラ位置姿勢情報（以下、カメラ位置姿勢とも記載する。）をさらに取得する。カメラ位置姿勢情報には、カメラの位置情報及びカメラの向きが含まれる。なお、カメラ位置姿勢は、各画像データで表された対象物に対する視点の位置情報及び向きを含む視点位置姿勢であればよい。具体的には、点群情報取得部６０２は、図２の点群情報取得部２０２と比較して、入力インターフェース１０５を介して外部メモリ１０８から、複数の画像データのそれぞれに対応するカメラ位置姿勢情報をさらに取得し、ＲＡＭ１０２に格納する。

また、本実施形態においても、ＣＰＵ１０１が、ＲＯＭ１０３に格納されたプログラムを実行することにより、図６に記載の各ブロックとして機能し、図７の処理フローを実行する。また、ＣＰＵ１０１が必ずしも全ての機能を実行しなくてもよく、画像処理装置１００内に各機能に対応する処理回路を設けてもよい。

ステップＳ７０１では、オクルージョン判定部６０８が、ＲＡＭ１０２に格納された３次元点群座標と、２次元点群座標と、それらの対応情報と、複数の画像データのそれぞれに対応するカメラ位置姿勢（視点位置姿勢）とを取得する。

ステップＳ７０２では、オクルージョン判定部６０８が、ＲＡＭ１０２に格納された第２の範囲内３次元点群を取得する。このときさらに、ＲＡＭ１０２に格納された３次元点群のうち、第２の範囲内３次元点群以外の範囲外３次元点群を取得しても良い。

以降、ステップＳ７０３〜Ｓ７０７における処理は、複数の画像データのそれぞれに対して行われる。また、処理対象の画像データを識別する画像ＩＤを、処理画像ＩＤとして記述する。

ステップＳ７０３では、オクルージョン判定部６０８が、処理画像ＩＤの画像データの２次元点群のうち、第２の範囲内３次元点群との対応がある点群を、処理画像ＩＤの画像データの第２の範囲内２次元点群として抽出する。すなわち、オクルージョン判定部６０８は、第２の２次元点群抽出手段として機能する。オクルージョン判定部６０８は、抽出した第２の範囲内２次元点群をＲＡＭ１０２に格納する。このときさらに、処理画像ＩＤの画像データの２次元点群のうち、範囲外３次元点群との対応がある点群を、処理画像ＩＤの画像データにおける第２の範囲外２次元点群として抽出し、ＲＡＭ１０２に格納しても良い。

ステップＳ７０４では、オクルージョン判定部６０８が、第２の範囲内３次元点群のうち、処理画像ＩＤの画像データの２次元点群との対応がない点群を、未対応範囲内３次元点群として抽出する。すなわち、オクルージョン判定部６０８は、未対応の３次元点群抽出手段として機能する。オクルージョン判定部６０８は、抽出した未対応範囲内３次元点群をＲＡＭ１０２に格納する。未対応範囲内３次元点群には、例えば、処理画像ＩＤの画像データにおいて光沢異方性などの理由により２次元点群と対応するように正しく設定されていなかった点群が含まれる。

ステップＳ７０５では、オクルージョン判定部６０８と第２の画像範囲推定部６０９が、ＲＡＭ１０２に格納された処理画像ＩＤの画像データを取得する。

ステップＳ７０６では、オクルージョン判定部６０８が、未対応範囲内３次元点群を、処理画像ＩＤの画像データに対応するカメラ位置姿勢で２次元画像に射影し、射影した点群がオクルージョンかどうか判定する。オクルージョン判定部６０８は、オクルージョンでない点群を第２の範囲内２次元点群に追加する。すなわち、オクルージョン判定部６０８は、第２の２次元点群追加手段として機能する。具体的には、例えば、未対応範囲内３次元点群に対応する他の画像データにおける２次元点群近傍の色と、射影した点群近傍の色が類似している場合はオクルージョンでないと判定し、異なる場合はオクルージョンであると判定すれば良い。

このように、オクルージョン判定部６０８は、第２の範囲内３次元点群に対応する２次元点群を含む第２の範囲内２次元点群を取得する第２の２次元点群取得手段として機能する。

ステップＳ７０７では、第２の画像範囲推定部６０９が、第２の範囲内２次元点群と画像の類似性を基に、第２の範囲内２次元点群に対応する画像範囲を推定し、出力する。この時、画像範囲の推定方法にはステップＳ３０４で説明した方法を用いれば良い。例えば、グラフカット手法を用いる場合には、範囲内ｓｅｅｄ４０１に第２の範囲内２次元点群を使えば良い。さらに第２の範囲外２次元点群がある場合には、範囲外ｓｅｅｄ４０２に第２の範囲外２次元点群を使えば良い。このように、第２の画像範囲推定部６０９は、第２の範囲内２次元点群に対応する画像範囲を推定する画像範囲推定手段として機能する。

ステップＳ７０８では、第２の画像範囲推定部６０９が、全ての画像データについて処理が終了したかどうかを判定し、終了していなければステップＳ７０３に戻り、処理を繰り返す。一方、全ての画像データの処理が終了していれば処理フローを終了する。

以上説明したように、本実施形態では、実施形態１で出力された第２の範囲内３次元点群を用いて、同一の対象物を異なる視点から表す複数の画像データにおける画像範囲を推定し、出力する。

図８は、本実施形態に係る画像処理を説明する模式図である。以下、図８を参照して、本実施形態に係る画像処理を説明する。

図８（Ａ）において、被写体の３次元形状を表す３次元点群８００は、９つの点１〜９を含む点群であり、被写体を異なる視点から撮影した５つの画像データ８Ａ０１、８Ａ０２、８Ａ０３、８Ａ０４、８Ａ０５が示されている。また、ステップＳ３０３では画像データ８Ａ０１が表示され、画像データ８Ａ０１の点線で囲まれた範囲を、ステップＳ３０４で選択された範囲とする。選択範囲には３つの点１、３、４（２次元点群）が含まれ、ステップＳ３０５では３次元点群８００のうち、３つの点１、３、４が第１の範囲内３次元点群として抽出される。

また、図８（Ａ）では、別視点２の画像データ８Ａ０３において、光沢異方性やダイナミックレンジの違いのために点３が認識できていないものとする。すなわち、点３は、オクルージョンではないのに認識されていない点（すなわち、正しく設定されていない点）である。

別視点１の画像データ８Ａ０２では、画像の類似性で領域分割すると、２次元点群の点１、３、４と点２、７、８とが２つの領域に分かれる。点１、３、４が第１の範囲内３次元点群に対応する第１の範囲内２次元点群であり、同じ領域にその他の点群は含まれないので、点１、３、４が画像データ８Ａ０２の第１の範囲内２次元点群となる。

別視点２の画像データ８Ａ０３では、画像の類似性で領域分割すると、２次元点群の点１、４と点２、７、８が２つの領域に分かれる。点１、４が第１の範囲内３次元点群に対応する第１の範囲内２次元点群であり、同じ領域にその他の点群は含まれないので、点１、４が画像データ８Ａ０３の第１の範囲内２次元点群となる。

別視点３の画像データ８Ａ０４では、画像の類似性で領域分割すると、２次元点群の点１と点２、７〜９と点６とが３つの領域に分かれる。点１が第１の範囲内３次元点群に対応する第１の範囲内２次元点群であり、同じ領域にその他の点群は含まれないので、点１が画像データ８Ａ０４の第１の範囲内２次元点群となる。

別視点４の画像データ８Ａ０５では、画像の類似性で領域分割すると、２次元点群の点１、４と点５、６と点８、９とが４つの領域に分かれる。点１、４が第１の範囲内３次元点群に対応する第１の範囲内２次元点群であり、同じ領域にその他の点群は含まれないので、点１、４が画像データ８Ａ０５の第１の範囲内２次元点群となる。

以上の結果を、表８Ａ０６にまとめる。各画像データの２次元点群のうち、第１の範囲内２次元点群である点を○で示し、第１の範囲内２次元点群でない点を×で示す。なお、表８Ａ０６における空欄は、被写体の３次元点群のうち、各画像データに対応する２次元点群が含まれていない点群（オクルージョン）を示す。

表８Ａ０６より、第１の範囲内２次元点群となった割合は、点１、３、４では１００％、点２、５〜９では０％である。第２の３次元点群として判定するための閾値（範囲内判定閾値）を５０％とすると、点１、３、４が第２の範囲内３次元点群として抽出される。表８Ａ０６において、オクルージョンではないのに対応が正しく取れていない別視点２の点３は、斜線を付したセルで表してある。

ここで、図８（Ａ）において各画像データの点線で囲まれた部分を、第１の画像範囲とする。

次に、オクルージョン判定部６０８が、各画像データにおいて、２次元点群との対応がない未対応の範囲内３次元点群のオクルージョン判定を行う。その結果、別視点２の画像データ８Ａ０３において、点３がオクルージョンではないと判定される（ステップＳ７０６）。

次に、オクルージョンでないと判定された点群がある画像、この例では別視点２の画像データ８Ａ０３に対して、第２の画像範囲推定部６０９が、再び画像の類似性と範囲内３次元点群の情報を基に領域分割を行う（ステップＳ７０７）。その結果、図８（Ｂ）に示すように、別視点２の画像データ８Ａ０３の点線で図示した点１、３、４の近傍領域が、新たな第２の画像範囲となる。

この例では存在しないが、第２の範囲内３次元点群と第１の範囲内２次元点群の整合性が取れていない点があれば第１の画像範囲を更新して第２の画像範囲とすることが望ましい。具体的には、第２の範囲内３次元点群には対応しないが第１の範囲内２次元点群である点、逆に第２の範囲内３次元点群に対応するが第１の範囲内２次元点群でない点があれば、第２の範囲内２次元点群の情報を更新して第２の画像範囲を求めれば良い。

このようにして、３次元点群に対応する２次元点群が正しく設定できていない場合でも、１枚の選択画像における選択範囲から、選択範囲と隣接した類似する範囲まで自動的に複数の画像データの範囲選択ができる。

以上説明したように、本実施形態によると、上述した実施形態１で出力された第２の範囲内３次元点群を用いて、同一の対象物を異なる視点から表す複数の画像データにおける範囲選択を行うことができる。また、３次元点群に対応する２次元点群が正しく設定されていない場合でも、複数の画像データにおいて精度よく範囲選択を行うことができる。

＜実施形態３＞
実施形態３では、上述した実施形態１のステップＳ３０３で表示する画像をユーザが選択する際の処理について説明する。ステップＳ３０３では、複数の画像データの中から範囲選択に用いる画像データをユーザが選択するが、画像データの数が多い場合には所望の３次元点群の範囲を含む画像データを選択することは困難である。そこで、本実施形態では、所望の３次元点群の範囲が見やすい仮想視点を設定し、仮想視点に対する近傍設定に応じて仮想視点に近い視点の１または複数の画像データを自動的に選択して、ユーザに提示する。

以下、図９及び図１０を参照して、本実施形態に係る画像処理装置１００における画像処理を説明する。図９は、本実施形態に係る画像処理装置１００の機能ブロック図である。図１０は、本実施形態に係る画像処理方法の処理フロー図である。

図９の機能ブロック図は、図２の機能ブロック図と比較して、点群表示部９０３と表示視点近傍画像選択部９０４とをさらに備える。図９のブロック９０１、９０２、９０５〜９０８は図２のブロック２０１、２０２、２０４〜２０７と同様であり、本実施形態における点群情報取得部９０２は、複数の画像データのそれぞれを撮影したカメラのカメラ位置姿勢（視点位置姿勢）をさらに取得する。具体的には、点群情報取得部９０２は、図２の点群情報取得部２０２と比較して、入力インターフェース１０５を介して外部メモリ１０８から、複数の画像データのそれぞれに対応するカメラ位置姿勢をさらに取得し、ＲＡＭ１０２に格納する。

また、本実施形態においても、ＣＰＵ１０１が、ＲＯＭ１０３に格納されたプログラムを実行することにより、図９に記載の各ブロックとして機能し、図１０の処理フローを実行する。また、ＣＰＵ１０１が必ずしも全ての機能を実行しなくてもよく、画像処理装置１００内に各機能に対応する処理回路を設けてもよい。

ステップＳ１００１では、点群情報取得部９０２が、入力インターフェース１０５を介して外部メモリ１０８から複数の画像データのそれぞれに対応するカメラ位置姿勢（視点位置姿勢）を取得し、ＲＡＭ１０２に格納する。

ステップＳ１００２では、点群表示部９０３が、入力インターフェース１０５を介して外部メモリ１０８から仮想視点位置姿勢情報及び近傍設定情報を取得し、ＲＡＭ１０２に格納する。仮想視点位置姿勢情報には、仮想視点の位置情報及び向きが含まれる。近傍設定情報は、カメラ位置姿勢と仮想視点位置姿勢との内積の値についての閾値情報である。さらに、点群表示部９０３は、ステップＳ３０２で取得した３次元点群を仮想視点位置姿勢に対して射影して表示画像を生成し、出力インターフェース１０６を介して表示装置１０９に表示する。

以降、ステップＳ１００３〜Ｓ１００５における処理は、複数の画像データのそれぞれに対して行われる。

ステップＳ１００３では、表示視点近傍画像選択部９０４が、処理対処の画像データについて、ステップＳ１００１で取得したカメラ位置姿勢と、ステップＳ１００２で取得した仮想視点位置姿勢との内積を計算し、内積の値を算出する。

ステップＳ１００４では、表示視点近傍画像選択部９０４が、ステップＳ１００３で算出した内積の値が、ステップＳ１００２で取得した近傍設定の値以上であるかどうかを判定する。内積の値が近傍設定の値以上である場合は、ステップＳ１００５に進み、内積の値が近傍設定の値より小さい場合は、ステップＳ１００５における処理を行なわずに、ステップＳ１００６に進む。

ステップＳ１００５では、表示視点近傍画像選択部９０４が、内積の値と、処理対象の画像データの画像ＩＤとを対応付けて、近傍画像リストとしてＲＡＭ１０２に格納する。

ステップＳ１００６では、表示視点近傍画像選択部９０４が、全ての画像データのカメラ位置姿勢で内積の値を算出したかどうかを判定する。全ての画像データのカメラ位置姿勢で内積の値が算出されている場合は、ステップＳ１００７に進み、そうでない場合はステップＳ１００３に戻り、処理を繰り返す。

ステップＳ１００７では、表示視点近傍画像選択部９０４が、近傍画像リストを内積の値が大きい順にソートし、その順番で画像ＩＤに対応する画像データを、出力インターフェース１０６を介して表示装置１０９に表示する。このように、表示視点近傍画像選択部９０４は、仮想視点の近傍の視点に対応する１または複数の画像データを選択して表示する画像表示手段として機能する。

図１１は、本実施形態に係る画像処理を説明する模式図である。以下、図１１を参照して、本実施形態に係る画像処理を説明する。

図１１において、被写体の３次元形状を表す３次元点群１１００は、９つの点１〜９を含む点群であり、被写体を異なる視点から撮影した４つの画像データ１１０６、１１０７、１１０８、１１０９が示されている。

ここでは、点群表示部９０３が取得した仮想視点位置姿勢１１０１と、各カメラ位置姿勢との内積の値に対する近傍設定の値を０とする。この場合、仮想視点位置姿勢との内積が近傍設定の値以上（すなわち、なす角度が９０度以下）のカメラ位置姿勢は、カメラ位置姿勢１１０２（なす角度１１０４）と、カメラ位置姿勢１１０３（なす角度１１０５）となる。したがって、近傍画像リストには、カメラ位置姿勢１１０２の近傍画像１１０６の画像ＩＤと、カメラ位置姿勢１１０３の近傍画像１１０７の画像ＩＤと、それらの内積の値とが、対応付けられて含まれることとなる。

この結果、表示視点近傍画像選択部９０４が近傍画像１１０６と近傍画像１１０７を表示することで、ユーザは仮想視点位置姿勢に遠い画像まで確認することなく、仮想視点位置姿勢の近傍の画像の中から所望の画像を選択することができる。

以上説明したように、本実施形態によると、ユーザは、画像データの数が多い場合でも、所望の３次元点群の範囲を含む画像データを容易に選択することができる。

＜実施形態４＞
実施形態４では、上述した実施形態１のステップＳ３０３で表示する画像を画像処理装置１００が生成する処理について説明する。上述した実施形態３では、複数の画像データのうち仮想視点位置姿勢の近傍にある画像をユーザに提示したが、本実施形態では、画像処理装置１００が仮想視点位置姿勢と同じ視点の画像を生成してユーザに提示する。

以下、図１２及び図１３を参照して、本実施形態に係る画像処理装置１００における画像処理を説明する。図１２は、本実施形態に係る画像処理装置１００の機能ブロック図である。図１３は、本実施形態に係る画像処理装置方法の処理フロー図である。

図１２の機能ブロック図は、図２の機能ブロック図と比較して、点群表示部１２０３と表示視点画像生成・表示部１２０４とをさらに備える。図１２のブロック１２０１、１２０２、１２０５〜１２０８は、図２のブロック２０１、２０２、２０４〜２０７と同様である。なお、本実施形態における点群情報取得部１２０２は、複数の画像データのそれぞれに対応するカメラ位置姿勢（視点位置姿勢）をさらに取得する。具体的には、点群情報取得部１２０２は、図２の点群情報取得部２０２と比較して、入力インターフェース１０５を介して外部メモリ１０８から、複数の画像データのそれぞれに対応するカメラ位置姿勢をさらに取得し、ＲＡＭ１０２に格納する。

また、図１３の処理フローにおいて、上述した実施形態３における図１０の処理ステップと同様の処理ステップの説明は省略する。

また、本実施形態においても、ＣＰＵ１０１が、ＲＯＭ１０３に格納されたプログラムを実行することにより、図１２に記載の各ブロックとして機能し、図１３の処理フローを実行する。また、ＣＰＵ１０１が必ずしも全ての機能を実行しなくてもよく、画像処理装置１００内に各機能に対応する処理回路を設けてもよい。

ステップＳ１３０１及びステップＳ１３０２は、図１０のステップＳ１００１及びステップＳ１００２と同様であるため、説明は省略する。

ステップＳ１３０３では、表示視点画像生成・表示部１２０４が、入力インターフェース１０５を介して外部メモリ１０８から、表示設定を取得し、ＲＡＭ１０２に格納する。表示設定とは、対象の点が見えているカメラ位置姿勢（すなわち、視点）の所定の数を表す。詳細は後述する。

ステップＳ１３０４では、表示視点画像生成・表示部１２０４が、ＲＡＭ１０２に格納されている３次元点群と２次元点群との対応情報を取得する。

以降、ステップＳ１３０５〜Ｓ１３０８において、図１０のステップＳ１００３〜Ｓ１００６と同様の処理を行い、近傍画像リストを生成する。ステップＳ１３０５〜Ｓ１３０８の処理は、図１０のステップＳ１００３〜Ｓ１００６と同様であるため、説明は省略する。

ステップＳ１３０９では、表示視点画像生成・表示部１２０４が、近傍画像リストの画像ＩＤに対応する画像データの中から表示設定値以上の画像データに含まれる２次元点群を取得し、取得した２次元点群に対応する３次元点群を対応情報に基づいて抽出する。表示視点画像生成・表示部１２０４は、抽出した３次元点群を表示３次元点群に設定する。例えば、表示設定値が２視点以上の画像データから見えている点という設定である場合、所定の数以上の画像データとして２視点以上の画像データから見えている３次元点群が、表示３次元点群に設定される。

ステップＳ１３１０では、表示視点画像生成・表示部１２０４が、３次元点群を仮想視点位置姿勢に対して射影した画像（表示視点画像）を生成し、表示３次元点群を識別可能なように表示する。表示視点画像では、表示３次元点群とそれ以外の３次元点群とが表示方法を変えて表示される。例えば、表示３次元点群を濃い色、それ以外の３次元点群を薄い色で表示したり、表示３次元点群だけを表示するようにしたりすれば良い。このように、表示視点画像生成・表示部１２０４は、表示視点画像の画像生成表示手段として機能する。

図１４は、本実施形態に係る画像処理方法を説明する模式図である。以下、図１４を参照して、本実施形態に係る画像処理方法を説明する。

図１４において、被写体の３次元形状を表す３次元点群１４００は、９つの点１〜９を含む点群であり、被写体を異なる視点から撮影した４つの画像データ１４０６、１４０７、１４０８、１４０９が示されている。

ここでは、点群表示部１２０３が取得した仮想視点位置姿勢１４０１と、各カメラ位置姿勢との内積の値に対する近傍設定の値を０とする。この場合、仮想視点位置姿勢との内積が近傍設定の値以上（すなわち、なす角度が９０度以下）のカメラ位置姿勢は、カメラ位置姿勢１４０２（なす角度１４０４）と、カメラ位置姿勢１４０３（なす角度１４０５）となる。したがって、近傍画像リストには、カメラ位置姿勢１４０２の近傍画像１４０６の画像ＩＤと、カメラ位置姿勢１４０３の近傍画像１４０７の画像ＩＤと、それらの内積の値とが、対応付けられて含まれることとなる。

ここで、表示設定の値を、３次元点群のうち、２視点以上のカメラ位置姿勢から見えている点（２つ以上の画像データ上で表示されている点）とすると、表示３次元点群は点１、４、５、６を含む点群になる。

この結果、表示視点画像生成・表示部１２０４が表示３次元点群だけを表示する場合、点１、４、５、６を含む表示視点画像１４１０が表示される。したがって、仮想視点位置姿勢１４０１から被写体を見た時には見えないはずの点２、３、７、８、９が表示されないため、ユーザによって点群の選択が簡単になる。

以上説明したように、本実施形態によると、仮想視点位置姿勢と同じ視点から見た画像を生成して表示することで、ユーザは、仮想視点位置姿勢と同じ視点での範囲選択を容易に行うことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出して実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 画像データ取得部
２０２ 点群情報取得部
２０３ 選択画像表示部
２０４ 選択範囲取得部
２０５ 第１の３次元点群範囲推定部
２０６ 画像範囲推定部
２０７ 第２の３次元点群範囲推定部

Claims (12)

1. 同一の対象物を異なる視点から表す複数の画像データを取得する画像データ取得手段と、
   前記複数の画像データのそれぞれの２次元点群と、前記対象物の３次元点群と、前記２次元点群と前記３次元点群との対応情報とを取得する点群情報取得手段と、
   前記複数の画像データのうち表示された画像データ上で選択された選択範囲を取得する選択範囲取得手段と、
   前記選択範囲に含まれる２次元点群と対応する第１の範囲内３次元点群を、前記対応情報に基づいて抽出する第１の３次元点群抽出手段と、
   前記表示した画像データ以外のその他の画像データのそれぞれにおいて、前記第１の範囲内３次元点群と対応する２次元点群が含まれる領域内の第１の範囲内２次元点群を取得する第１の２次元点群取得手段と、
   前記その他の画像データのそれぞれで取得された前記第１の範囲内２次元点群に基づいて、前記選択範囲に対応する第２の範囲内３次元点群を推定する第２の３次元点群推定手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の３次元点群抽出手段は、前記選択範囲の外にある２次元点群と対応する第１の範囲外３次元点群を前記対応情報に基づいて抽出し、
   前記第１の２次元点群取得手段は、前記第１の範囲内３次元点群及び前記第１の範囲外３次元点群ではない未分類の３次元点群に対応する第１の不明２次元点群のうち、前記第１の範囲外３次元点群に対応する第１の範囲外２次元点群より前記第１の範囲内２次元点群に近い２次元点群を、前記第１の範囲内２次元点群に加える、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の３次元点群推定手段は、前記対象物の３次元点群のうち、各画像データにおいて前記第１の範囲内２次元点群である割合が所定の閾値以上となった３次元点群を、前記第２の範囲内３次元点群として推定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の２次元点群取得手段は、前記２次元点群が含まれる領域を、画素間の色の類似度及び画素間の距離の少なくとも１つに基づく類似性によって判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１の２次元点群取得手段は、前記２次元点群が含まれる領域を、グラフカット手法を用いて判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記複数の画像データのそれぞれにおいて、前記第２の範囲内３次元点群に対応する２次元点群を含む第２の範囲内２次元点群を取得する第２の２次元点群取得手段と、
   前記複数の画像データのそれぞれにおいて、前記第２の範囲内２次元点群に対応する画像範囲を推定する画像範囲推定手段と
   を備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の２次元点群取得手段は、
   前記複数の画像データのそれぞれにおいて、前記第２の範囲内３次元点群に対応する前記第２の範囲内２次元点群を、前記対応情報に基づいて抽出する第２の２次元点群抽出手段と、
   前記複数の画像データのそれぞれにおいて、前記第２の範囲内３次元点群のうち、前記第２の範囲内２次元点群に対応しない未対応の３次元点群を抽出する未対応の３次元点群抽出手段と、
   前記未対応の３次元点群を、前記複数の画像データのそれぞれにおける視点位置姿勢に基づいて２次元画像に射影し、前記射影された２次元画像における２次元点群のうち、オクルージョンでない２次元点群を前記第２の範囲内２次元点群に追加する第２の２次元点群追加手段と
   を有することを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の画像データのそれぞれにおける視点位置姿勢と仮想視点の位置姿勢との内積の値を算出し、所定の値以上の内積の値が算出された前記視点位置姿勢に対応する画像データを表示する画像表示手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の画像データのそれぞれにおける視点位置姿勢と仮想視点の位置姿勢との内積の値を算出し、所定の値以上の内積の値が算出された前記視点位置姿勢に対応する画像データの中から、所定の数以上の画像データに含まれる２次元点群を取得し、前記取得した２次元点群に対応する表示３次元点群を前記対応情報に基づいて抽出し、前記対象物の３次元点群を前記仮想視点の位置姿勢に対して射影した画像を生成して、前記表示３次元点群を識別可能なように表示する画像生成表示手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記複数の画像データのうちユーザにより選択された画像データを表示すべき画像データとして決定する決定手段を備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 画像処理装置によって実行される画像処理方法であって、
    同一の対象物を異なる視点から表す複数の画像データを取得する画像データ取得工程と、
    前記複数の画像データのそれぞれの２次元点群と、前記対象物の３次元点群と、前記２次元点群と前記３次元点群との対応情報とを取得する点群情報取得工程と、
    前記複数の画像データのうち表示された画像データ上で選択された選択範囲を取得する選択範囲取得工程と、
    前記選択範囲に含まれる２次元点群と対応する第１の範囲内３次元点群を、前記対応情報に基づいて抽出する第１の３次元点群抽出工程と、
    前記表示した画像データ以外のその他の画像データのそれぞれにおいて、前記第１の範囲内３次元点群と対応する２次元点群が含まれる領域内の第１の範囲内２次元点群を取得する第１の２次元点群取得工程と、
    前記その他の画像データのそれぞれで取得された前記第１の範囲内２次元点群に基づいて、前記選択範囲に対応する第２の範囲内３次元点群を推定する第２の３次元点群推定工程と
    を含むことを特徴とする画像処理方法。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images