JP2018055390A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 従来と比べて少ない計算量で被写体の形状を求めることを目的とする。
【解決手段】 本発明に係る画像処理装置は、複数の異なる視点から見た被写体のシルエット画像データを取得する取得手段と、前記シルエット画像データから前記シルエット画像データより低解像度な画像を表す低解像度データを生成する生成手段と、前記被写体を含む空間中の線分を前記低解像度データ上に射影して前記被写体との第一の交差を算出した後に、前記線分を前記シルエット画像データ上に射影して前記被写体との第二の交差を算出することを前記空間中における複数の線分に対して行うことで前記被写体と交差する区間を算出して前記被写体の形状を推定する推定手段とを有することを特徴とする。
【選択図】 図５

Description

本発明は、多視点画像から被写体の形状を求める技術に関する。

複数台のカメラによって取得した複数視点の画像を用いて被写体の３次元形状を復元する方法として、視体積交差法が知られている。視体積交差法では、複数視点の撮影画像上における被写体のシルエットを空間に投影して得られる領域の共通部分を、被写体形状として算出する。視体積交差法を元に高速に形状を復元する方法として、空間をボクセルで分割し、階層的に詳細化する方法が特許文献１で提案されている。また、被写体シルエットの輪郭線を用いて、必要な光線に限定して被写体形状との交差を算出する方法が非特許文献１で開示されている。

特開２００１−３０７０７３号公報

"Ｉｍａｇｅ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ｈｕｌｌｓ"， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＳＩＧＧＲＡＰＨ ２０００，Ｗｏｉｃｉｅｃｈ Ｍａｔｓｉｋ ｅｔ ａｌ．

しかしながら、特許文献１の方法では、対象となる空間全体で形状推定を行うため、対象の空間が大きい場合、計算量が多くなってしまう。また、非特許文献１の方法では、シルエットの輪郭線の抽出を行うため、入力画像の解像度が高い場合、計算量が多くなってしまう。そこで本発明は、従来と比べて少ない計算量で被写体の形状を求めることを目的とする。

本発明に係る画像処理装置は、複数の異なる視点から見た被写体のシルエット画像データを取得する取得手段と、前記シルエット画像データから前記シルエット画像データより低解像度な画像を表す低解像度データを生成する生成手段と、前記被写体を含む空間中の線分を前記低解像度データ上に射影して前記被写体との第一の交差を算出した後に、前記線分を前記シルエット画像データ上に射影して前記被写体との第二の交差を算出することを前記空間中における複数の線分に対して行うことで前記被写体と交差する区間を算出して前記被写体の形状を推定する推定手段とを有することを特徴とする。

本発明によれば、従来と比べて少ない計算量で被写体の形状を求めることができる。

本実施例における、画像処理装置を含む撮像システムの一例を表す模式図。 視体積交差法の原理を表す図。 本実施例の形状推定方法の概要を表す図。 本実施例の形状推定方法の流れを表す図。 実施形態１の撮像装置の構成例を表すブロック図。 実施形態１の撮像装置の処理の流れを表す図。 実施形態１の低解像度シルエット生成の概要を表す図。 実施形態２の撮像装置の処理の流れを表す図。 実施形態２の低解像度シルエット生成の概要を表す図。 実施形態１と実施形態２を比較した図。

［実施形態１］
＜撮像システムの全体構成＞
図１は、本発明を適用し得る画像処理装置を含む撮像システムの一例を示した模式図である。撮像システムは、複数の撮像装置１０１と画像処理装置１０２、表示装置１０３、入力装置１０４を有する。撮像装置１０１は、被写体１０５を囲むような複数の視点から、被写体１０５を撮像する。画像処理装置１０２は、撮像装置１０１が撮像した画像データを用いて、視体積交差法に基づく被写体形状の推定を行う。詳細は後述する。また、画像処理装置１０２には表示装置１０３及び入力装置１０４が接続されており、プロセッサ（ＣＰＵやＭＰＵなど）がＲＯＭに格納された各種プログラムを読み出し、ＲＡＭなどの一時メモリを用いて各種演算を行う。ユーザは表示装置１０３と入力装置１０４を介して操作することで、撮像条件の設定や、撮像により取得した画像データを処理した結果の確認を行う。

＜形状推定の原理＞
図２により視体積交差法に基づく形状推定の原理を説明する。図２（ａ）は被写体と撮像装置の配置と被写体のシルエットとの関係を表す図である。ここでは一例として、３つの撮像装置２０１、２０２、２０３が、被写体２０７を撮像し、シルエットデータ（以降、シルエット画像データとも呼ぶ）２０４、２０５、２０６を取得するものとする。ここで、被写体２０７は円柱状の物体であり、図２（ａ）はこれを上から俯瞰した様子を表している。図２（ｂ）は推定された形状を表す図で、被写体２０７のシルエット（以降、シルエット画像とも呼ぶ）２０８、２０９、２１０の空間上での共通領域をとることで、推定形状２１１が得られることを表している。このように被写体のシルエットを空間に投影して得られる領域の共通部分として被写体形状を推定する方法が、視体積交差法である。

図３は本実施形態における形状推定方法の概要を表している。本実施形態における形状推定は視体積交差法に基づく。本実施形態における形状推定では、出力視点３０２上の各画素３０３に対して、画素を通る光線３０４と被写体３０１とが交差する区間を算出する。本実施形態では、この交差区間を出力視点３０２上の全画素について算出したものを推定形状とする。

本実施形態では光線３０４を各視点のシルエットデータ３０５、３０８、３１１上に射影して、射影された光線３０７、３１０、３１３を算出し、被写体シルエット３０６、３０９、３１２との交差を探索することで、交差区間を求めていく。

図３（ｂ）は、形状推定処理の流れの概略である。ここでは、被写体３１４と光線３１５の交差区間を求める。まず、光線３１５は１番目の視点のシルエットデータ上３１６に射影される。射影された光線３１９に沿ってシルエットデータ上で探索を行い、黒塗りであらわされた被写体シルエット３１７、３１８との交差区間３２０、３２１を求める。ここで光線３１５は、出力視点上の着目画素位置を（ｕ，ｖ）とし、出力視点の内部パラメータ行列をＡ、外部パラメータ行列を［Ｒ Ｔ］とすると光線は式１のように算出できる。

ｋは距離に相当する値であり、Ｘ，Ｙ，Ｚは光線が距離ｋを通る時の３次元座標である。交差区間は被写体領域に入る距離ｋと、被写体領域から出る距離ｋ’の組（ｋ，ｋ’）で表すものとする。処理の開始時は交差区間（ｋ，ｋ’）を被写体が存在する距離の範囲になるよう設定しておく。光線、交差区間のｍ番目の視点のシルエットデータ上への射影は、式２のように行う。

Ａ_ｍはｍ番目の視点の内部パラメータ行列、［Ｒ_ｍ Ｔ_ｍ］はｍ番目の視点の外部パラメータ行列である。また、（ｕ_ｍ，ｖ_ｍ）はｍ番目の視点に射影された座標である。式１と式２に基づき、距離ｋにおける光線のシルエットデータ上での座標（ｕ_ｍ，ｖ_ｍ）と距離ｋ’における座標（ｕ’_ｍ，ｖ’_ｍ）を射影された交差区間として算出する。（ｕ_ｍ，ｖ_ｍ）と（ｕ’_ｍ，ｖ’_ｍ）のなす線分と被写体シルエットの交差を探索する。射影された線分３２５が被写体シルエット３２６に入る位置は、画素境界である３２８としてもよいし、傾きが小さくなるよう水平または垂直方向に画素毎の走査を行い、画素中央において被写体シルエット内に入った点３２７としてもよい。本実施形態では３２７を用いる。また、周辺画素を参照してシルエットを滑らかにするような処理をしてもかまわない。被写体シルエットから出る位置についても同様である。このようにして、射影された交差区間と被写体シルエットとの共通部分となる線分を求めて、射影された交差区間を更新する。なお、射影された交差区間の傾きと線分は、射影された交差区（ｕ_ｍ，ｖ_ｍ），（ｕ’_ｍ，ｖ’_ｍ）に基づいて算出してもよいし、エピポーラ線に基づいて算出してもよい。

次に射影された交差区間を三次元復元にって空間中に投影し、交差区間３２２、３２３を算出する。すなわち、更新された（ｋ，ｋ’）を算出する。この例では新たに分割された交差区間３２２と３２３それぞれに対して処理を行う。ｍ番目のシルエットデータ上の座標（ｕ’_ｍ，ｖ’_ｍ）の三次元復元は式３または式４に基づいて行う。水平方向の探索の場合、式３を用い垂直方向の探索の場合、式４を用いる。

ここで、Ｐ、Ｑは式１、式２から求めた、式５、式６のようなベクトルである。

次に、算出した交差区間を２番目の視点のシルエットデータ３２４上に再度射影する。シルエットデータ３０９と同様に被写体シルエットとの交差の探索と三次元復元を行い、以下同様に繰り返す。このようにして、各視点のシルエットデータを用いて交差区間を限定していくことで、被写体形状を推定する。

図４は本実施形態における形状推定処理の流れを表す図である。ステップＳ４０１では、新たに交差区間を算出する画素を設定する。ステップＳ４０２では、ステップＳ４０１で設定した画素に対応する光線を算出する。ステップＳ４０３では、ステップＳ４０２で算出した光線に対して、推定対象の空間を通る範囲を交差区間として算出する。ステップＳ４０４では、新たに被写体シルエットとの交差を探索する視点を設定する。ステップＳ４０５では、ステップＳ４０３またはステップＳ４０７で設定した交差区間を、ステップＳ４０４で設定した探索視点のシルエットデータ上に射影する。ステップＳ４０６では、ステップＳ４０５でシルエットデータ上に交差区間を射影して得た線分が、被写体シルエット上を通る範囲を探索する。ステップＳ４０７では、ステップＳ４０６で探索した被写体シルエット上を通る範囲を、三次元復元する。三次元復元された空間中の線分は光線と被写体の交差区間として更新される。ステップＳ４０８では全視点を処理したか判定する。処理していなければステップＳ４０４に戻って処理を繰り返す。処理していればステップＳ４０９に進む。ステップＳ４０９では全出力画素を処理したか判定する。処理していなければステップＳ４０１に戻って処理を繰り返す。処理していれば終了する。

＜画像処理装置の構成と処理の流れ＞
図５は、本実施形態の実施形態１に係る画像処理装置の構成の一例を示すブロック図である。

カメラパラメータ取得部５０１は、複数の撮像装置１０１の位置・姿勢を表す外部パラメータ、焦点距離・光学中心を表す内部パラメータなどのカメラパラメータを取得する。このカメラパラメータは空間中の３次元点を各撮像装置で撮像される画像上に射影するため計算を可能とする情報ならばどのような形態でも構わない。カメラパラメータはあらかじめ計測値や設計値などをメモリ上に記憶しておくものとする。なお、撮像装置１０１と画像処理装置１０２との通信によって取得する構成としても構わない。

シルエット取得部５０２は、複数の撮像装置１０１が撮像した被写体のシルエットデータを取得する。シルエットデータは、あらかじめ撮影した背景画像を用いた背景差分で取得するものとする。なお、シルエットデータの取得はどのような方法でもよく、動画から背景を推定する方法などを用いても構わない。また、外部の別の装置で生成したシルエットデータを取得する構成としても構わない。

低解像度シルエット生成部５０３（以降、生成部５０３とも呼ぶ）は、シルエット取得部５０２が取得したシルエットデータから低解像度変換を行いシルエットデータである低解像度データを生成する。

低解像度交差算出部５０４は、カメラパラメータ取得部５０１が取得したカメラパラメータに基づき、出力視点（仮想視点）の各画素に対応する光線と低解像度シルエット生成部５０３が生成した低解像度シルエットの交差区間を算出する。

交差算出部５０５は、カメラパラメータ取得部５０１が取得したカメラパラメータに基づき、生成部５０３が生成した低解像度シルエットの交差区間とシルエット取得部５０２との交差を算出し、交差区間をさらに限定する。

形状出力部５０８は、交差算出部５０５が算出した交差区間から、形状データを生成し出力する。ここでは、最も前面の交差区間の開始距離を抽出しデプスデータとして形状データを生成するデプス生成手段とする。

図６は、本実施形態を適用し得る画像処理装置における処理の流れの一例を表す図である。

ステップＳ６０１では、カメラパラメータ取得部５０１がカメラパラメータを取得する。

ステップＳ６０２では、新たな視点のシルエット取得部５０２が被写体のシルエットデータを取得する。

ステップＳ６０３では、生成部５０３が、ステップＳ６０２で取得したシルエットから低解像度シルエットデータを生成する。図７は低解像度シルエットデータの算出方法を表す図である。本実施形態では、取得した高解像度のシルエットデータの複数の画素と、１つの画素が対応するような低解像度のシルエットデータを生成する。図７は縦横２×２の画素を１つの画素にまとめるような低解像度シルエットデータを生成する例である。低解像度シルエットデータの画素と対応する高解像度シルエットデータの画素のうち、１画素でも被写体シルエットに含まれていれば、低解像度シルエットデータの画素も被写体シルエットとする。被写体シルエットとの射影された光線との交差を、３２８のような厳密な画素への入射、射出位置とするなら、生成した低解像度シルエットデータをそのまま用いてもよい。本実施形態では、３２７のように走査軸の画素中央で判定した入射、射出位置を用いるので、低解像度シルエットの交差区間に高解像度シルエットの交差区間が確実に含まれるよう、走査軸と垂直方向に１画素の膨張処理を行う。このようにして生成した、垂直走査用低解像度シルエットと水平走査用低解像度シルエットを、走査方向に応じて切り替えて用いる。

ステップＳ６０４では、全視点を処理したか判定し、処理していなければＳ６０２に戻って処理を繰り返し、処理していればステップＳ６０５に進む。

ステップＳ６０５では、低解像度交差算出部５０４が、ステップＳ６０１で取得したカメラパラメータに基づき、新たな視点のステップＳ６０３で生成した低解像度シルエットと新たな着目画素に対応する光線との交差を算出する。このとき、シルエットデータの視点の内部パラメータは、シルエットを低解像度化した分だけ補正を行う。補正前の内部パラメータ行列をＡとすると、補正後の内部パラメータ行列Ａ’は式７のようになる。

ここで、ｂは低解像度シルエットデータ生成時のブロックサイズである。

ステップＳ６０６では、全視点を処理したか判定し、処理していなければＳ６０５に戻って処理を繰り返し、処理していればステップＳ６０７に進む。

ステップＳ６０７では、交差算出部５０４が、ステップＳ６０１で取得したカメラパラメータに基づき、新たな視点のステップＳ６０２で取得したシルエットによりステップＳ６０５で算出した交差区間を限定する。ステップＳ６０５で低解像度シルエットデータを用いた、少ない計算量の交差区間算出が行われているため、計算量の多い高解像度シルエットデータを用いた交差区間算出の処理が削減される。そのため、本実施形態では少ない計算量で被写体の形状を算出することができる。

ステップＳ６０８では、全視点を処理したか判定し、処理していなければＳ６０６に戻って処理を繰り返し、処理していればステップＳ６０９に進む。

ステップＳ６０８では、全画素を処理したか判定し、処理していなければＳ６０５に戻って処理を繰り返し、処理していれば処理を終了する。

なお、本実施形態では各視点に対して低解像度シルエットデータを１つずつ生成したが、低解像度シルエットデータを生成しない視点が存在してもよい。すなわち、低解像度シルエットデータを算出した視点についてのみ用いて、ステップＳ６０５〜ステップＳ６０６の処理を行ってもよい。また、低解像度シルエットデータを１つの視点に対して複数生成してもかまわない。すなわち、解像度の異なる複数の低解像度シルエットデータを生成し、ステップＳ６０５〜ステップＳ６０６の処理を解像度が低いシルエットデータから順に適用してもかまわない。また、本実施形態では取得したシルエットデータから低解像度シルエットデータを生成する構成としたが、あらかじめ算出された低解像度シルエットデータを取得して用いる構成としてもかまわない。

以上、本実施形態によれば、少ない計算量で被写体の形状を算出することが可能となる。

［実施形態２］
実施形態１では初めに全視点の低解像度シルエットを用いて交差区間を算出した後に、元のシルエットを用いて交差区間を限定することで少ない計算量で形状推定を行う例を示した。実施形態２では視点ごとの交差区間の探索において低解像度シルエットを用いて少ない計算量で探索を行う例を示す。

図８は、本実施形態の実施形態２の画像処理装置における処理の流れの一例を表す図である。実施形態１の処理に対して、ステップＳ８０１、ステップＳ８０２、ステップＳ８０３、ステップＳ８０４の処理が異なる。ここでは、変更された構成要素に関する点について説明する。

ステップＳ８０１では、生成部５０３が、ステップＳ６０２で取得したシルエットから低解像度シルエットデータを生成する。図９は低解像度シルエットデータの算出方法を表す図である。本実施形態では実施形態１と異なり、低解像度シルエットデータに対応する高解像度シルエットデータの画素が、全て被写体シルエットに属する場合は被写体シルエット領域とする。そして、全て非被写体シルエットに属する場合は背景領域に、混在している場合は混合領域とする。実施形態１と同様に、画素走査軸の画素中央で入射・射出位置判定を行うならば、被写体シルエット領域と混合領域の隣接画素に対して、走査軸に応じた混合領域の膨張処理を行う。

ステップＳ８０２では、低解像度交差算出部５０４が、ステップＳ６０１で取得したカメラパラメータに基づき、新たな視点（着目視点）について、ステップＳ８０１で生成した低解像度シルエットと新たな着目画素に対応する光線との交差を算出する。低解像度シルエットデータで被写体シルエット領域または背景領域に属する画素を通過する範囲は、このステップで交差区間を確定する。

ステップＳ８０３では、交差算出部５０５が、ステップＳ６０１で取得したカメラパラメータに基づき、新たな視点のステップＳ６０２で取得したシルエットによりステップＳ８０２で算出した交差区間を限定する。このステップでは、低解像度シルエットデータで混合領域に含まれていた範囲について、交差区間を算出する。これにより、計算量の多い高解像度シルエットを用いた探索を削減できるため、本実施形態では少ない計算コストで交差区間の算出が可能となる。なお、実施形態１の混合領域を持たない低解像度シルエットデータを用いて、交差区間をステップＳ８０２とステップＳ８０３で限定していく処理としてもかまわない。

ステップＳ８０４では、全視点を処理したか判定し、処理していなければＳ８０２に戻って処理を繰り返し、処理していればステップＳ６０９に進む。

なお、低解像度シルエットデータを１つの視点に対して複数生成してもかまわない。すなわち、解像度の異なる複数の低解像度シルエットデータを生成し、ステップＳ８０２テップＳ８３処理を解像度が低いシルエットデータから順に適用してもかまわない。また、本実施形態では取得したシルエットデータから低解像度シルエットデータを生成する構成としたが、あらかじめ算出された低解像度シルエットデータを取得して用いる構成としてもかまわない。

図１０は実施形態１と実施形態２の処理の概要を比較したものである。実施形態１では、図１０（ａ）のように全ての視点の低解像度シルエットデータを用いて交差区間を算出した後に高解像度シルエットデータを用いた交差区間の限定を行う。一方、実施形態２では、図１０（ｂ）のように視点毎に低解像度シルエットデータを用いた交差区間の限定と、高解像度シルエットデータを用いた交差区間の限定を順次行う。なお、実施形態１と実施形態２は図１０（ｃ）のように組み合わせてもよい。すなわち、全ての視点の低解像度シルエットデータを用いて交差区間を算出した後に、視点毎に低解像度シルエットデータを用いた交差区間の限定と、高解像度シルエットデータを用いた交差区間の限定を順次行ってもよい。このとき、２つの低解像度シルエットデータは異なる解像度としてもよい。このように組み合わせることで、さらなる計算量の削減を行うことができる。

以上、本実施形態によれば、少ない計算量で被写体の形状を算出することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０２ シルエット取得部
５０３ 低解像度シルエット生成部
５０４ 低解像度交差算出部
５０５ 交差算出部

Claims (10)

1. 複数の異なる視点から見た被写体のシルエット画像データを取得する取得手段と、
   前記シルエット画像データから前記シルエット画像データより低解像度な画像を表す低解像度データを生成する生成手段と、
   前記被写体を含む空間中の線分を前記低解像度データ上に射影して前記被写体との第一の交差を算出した後に、前記線分を前記シルエット画像データ上に射影して前記被写体との第二の交差を算出することを前記空間中における複数の線分に対して行うことで前記被写体と交差する区間を算出して前記被写体の形状を推定する推定手段と
   を有することを特徴とする画像処理装置。
2. 前記推定手段は、前記第一の交差算出手段を前記複数の異なる視点の低解像度データに適用した後に、前記第二の交差算出手段を前記複数の異なる視点のシルエット画像データに適用することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記低解像度データの画素に対応する前記シルエット画像データの画素に前記被写体の領域が含まれる場合に前記低解像度データの画素が前記領域となるように第一の低解像度データを生成し、前期第一の低解像度データに膨張処理を行い、前記低解像度データを生成することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記推定手段は、前記複数の異なる視点から選択した着目視点の低解像度データから前記第一の交差を求めた後に、前記着目視点のシルエット画像データから前記第二の交差を求めることを特徴とする請求項１に記載の処理装置。
5. 前記生成手段は、
   前記低解像度データの画素に対応する前記シルエット画像データの画素が全て前記被写体の領域である場合に前記低解像度データの画素が前記領域となるように、
   前記低解像度データの画素に対応する前記シルエット画像データの画素が全て背景の領域である場合に前記低解像度データの画素が背景領域となるように、
   前記低解像度データの画素に対応する前記シルエット画像データの画素に前記被写体の領域と前記背景領域とが含まれる場合に前記低解像度データの画素が混合した領域となるように、
   第一の低解像度データを生成し、前記第一の低解像度データに膨張処理を行い前記低解像度データを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記推定手段は、前記シルエット画像データ上の交差を前記空間中に三次元復元する三次元復元手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 仮想視点に対するデプスデータを生成するデプス生成手段をさらに有し、
   前記空間中の線分が前記仮想視点のデプスデータの画素であり、
   前記デプス生成手段は前記交差に基づきデプスデータを生成することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 被写体を複数の視点から撮像する複数の撮像手段と、
   前記撮像手段により撮像して得られた複数の画像データより前記シルエット画像データを抽出する抽出手段をさらに有し、
   前記取得手段は、前記抽出手段により抽出されたシルエット画像データを取得することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. コンピュータを請求項１乃至請求項８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
10. 複数の異なる視点から見た被写体のシルエット画像データを取得する取得工程と、
    前記シルエット画像データから前記シルエット画像データより低解像度な画像を表す低解像度データを生成する生成工程と、
    前記被写体を含む空間中の線分を前記低解像度データ上に射影して前記被写体との第一の交差を算出した後に、前記線分を前記シルエット画像データ上に射影して前記被写体との第二の交差を算出することを前記空間中における複数の線分に対して行うことで前記被写体と交差する区間を算出して前記被写体の形状を推定する推定工程と
    を有することを特徴とする画像処理方法。

Images