JP2010244220A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】指定された視点における素早い画像生成を可能にする画像データをあらかじめ作成する画像処理装置であって、あらかじめ用意しておく画像データのデータ量を削減することができる画像処理装置を提供する。
【解決手段】画像処理装置は、複数の線上に設けた複数の視点での画像と、該複数の画像の各画素の奥行きの値を示す奥行き情報を使用して任意の視点での画像を生成する装置のための画像データを作成するものであり、所定の画像を参照画像とし、参照画像の奥行き情報を、参照画像以外の画像である対象画像の奥行き情報に変換する手段と、該対象画像の奥行き情報と、前記参照画像の奥行き情報から変換して求めた該対象画像の奥行き情報との差分である差情報を求める手段と、参照画像の奥行き情報と、対象画像の差情報を保存する手段とを備えている。
【選択図】図１

Description

本発明は、自由視点画像生成技術に関する。

複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術について様々な提案がなされている。（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。

上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数カメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。

特開２００８−１５７５６号公報

Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、"Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ"、ＶＳＭＭ９７、ｐｐ．５９−６２、１９９７年９月 Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、"Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ"、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年

例えば、パーソナル・コンピュータといった利用者端末にて、視点、すなわち、位置及び方向が指定されると、その視点から見た動画像を生成して利用者端末に表示する自由視点画像システムを構築するためには、これら補間処理による動画像生成に必要な時間をできるだけ短くすることが必要である。ほぼ総ての視点位置から見た画像を、あらかじめ補間処理により画像生成装置に蓄積しておくことで、動画像生成に必要な時間は短縮できるが、膨大な量の記憶装置が必要となるため現実的ではない。

本発明は、指定された視点における素早い画像生成を可能にする画像データをあらかじめ作成する画像処理装置であって、あらかじめ用意しておく画像データのデータ量を削減することができる画像処理装置を提供することを目的とする。さらに、画像処理装置としてコンピュータを機能させるプログラムを提供することも目的とする。

本発明の画像処理装置は、
所定の複数の線上に設けた複数の視点それぞれでの画像、及び、画像の各画素の奥行きの値を示す、各画像についての奥行き情報を使用して任意の視点での画像を生成する装置のための画像データを作成する画像処理装置であって、所定の画像を参照画像とし、参照画像の奥行き情報を、参照画像以外の画像である対象画像の奥行き情報に変換する手段と、該対象画像の奥行き情報と、前記参照画像の奥行き情報から変換して求めた該対象画像の奥行き情報との差分である差情報を求める手段と、参照画像の奥行き情報と、対象画像の差情報を保存する手段とを備えていることを特徴とする。

本発明の画像処理装置の他の実施形態によると、
差情報をフィルタ処理して前記保存する手段に保存することも好ましい。また、参照画像の奥行き情報から変換して求めた対象画像の奥行き情報と、該対象画像の差情報を加算して、該対象画像の奥行き情報を復元する手段を、さらに、備えていることも好ましく、その際、対象画像の差情報のエッジ領域を検出し、復元された対象画像の奥行き情報のうち、検出されたエッジ領域に対応する領域をフィルタ処理することも好ましい。

また、本発明のプログラムによると、
上記画像処理装置としてコンピュータを機能させることを特徴とする。

参照画像から求めた奥行き情報には、一部、奥行きの定まらない画素が存在するが、それ以外の部分において差分は少なく、よって、保存手段に保存するデータ量を削減することが可能になる。

本発明による画像処理装置の機能ブロック図である。 奥行き情報圧縮部の機能ブロック図である。 奥行き情報復元部の機能ブロック図である。 分割された視点を含む領域を示す図である。 参照画像の奥行き情報を示す図である。 参照画像の奥行き情報から求めた対象画像の奥行き情報を示す図である。 奥行き情報生成部が生成した対象画像の奥行き情報である。 他の実施形態の説明図である。 事前画像の視点位置を示す図である。 事前画像の視点位置の他の形態を示す図である。 補間画像生成の説明図である。 補間画像生成の他の説明図である。 指定された視点での画像生成の説明図である。 視点された視点での画像生成の説明図である。

本発明を実施するための形態について、以下では図面を用いて詳細に説明する。なお、以下の説明において“視点”とは、位置及び方向できまる値であり、“視点の画像”又は“視点における画像”とは、視点が示す位置において、視点が示す方向を中心とした所定範囲（視野）内の画像を意味するものとする。また、カメラにおけるカメラパラメータは、視点及び視野と等価であるため、カメラが撮影した画像であっても視点の画像との表現を用いる。

図１は、本発明による画像処理装置の機能ブロック図である。図１によると、画像処理装置は、保存部１と、補間画像生成部２と、奥行き情報生成部３と、奥行き情報圧縮部４と、画像生成部５と、奥行き情報復元部６とを備えている。

補間画像生成部２は、複数のカメラが撮影した動画像を構成する各画像（以後、撮影画像と呼ぶ。）と、これらカメラのカメラパラメータに基づき、所定の視点における画像（以後、補間画像と呼ぶ。）を生成し、補間画像及び撮影画像を保存部１に保存する。なお、以後の説明において撮影画像及び補間画像を区別しない場合には、まとめて事前画像と呼ぶ。

図９及び図１０は、撮影画像及び補間画像の視点位置の形態を示す図である。図９及び図１０において符号１０は被写体を、実線の矢印は撮影画像の視点を、点線の矢印は補間画像の視点を表している。なお、矢印の方向が視点の方向である。図９は、複数のカメラを、被写体を取り囲む様に配置して撮影画像は取得するものであり、この場合、補間画像生成部２は、例えば、カメラを配置している円周上のカメラ間の位置と、カメラを配置している円と同心で、カメラを配置している円より小さい複数の円周上の任意の位置において、それぞれ、円の中心を向く視点の補間画像を生成する。また、図１０は、複数のカメラを、直線上で同一方向に配置して撮影画像を取得するものであり、この場合、補間画像生成部２は、カメラ間の位置と、カメラを配置している直線から被写体側に設定する複数の直線上の任意の位置において、それぞれ、カメラと同一方向を向く視点の補間画像を生成する。なお、生成する補間画像の数及び位置は、保存可能なデータ量との関係で決めれば良く任意である。

この様に、本発明においては空間内に複数の直線又は曲線を設定し、この直線又は曲線上の所定の位置を視点位置とする複数の事前画像をあらかじめ生成する。以後、この複数の直線又は曲線のそれぞれを層と呼ぶ。

なお、カメラと同一線上にある補間画像については、例えば、その視点に近い位置にある撮影画像、例えば、両隣にある撮影画像から、その距離に応じた重み付けを用いて生成する。また、カメラと異なる線上にある補間画像については、例えば、生成する補間画像の画素と同一光線上にある画素を、他の線上にある事前画像から見つけることにより行う。具体的には、例えば、図１１の視点２３での画像内にある、被写体１０の点１４に対応する画素の画素値は、点１４から視点２３に向かう光線３７により決まるが、層５４又は層５５と光線３７との交点位置での事前画像２６又は２９は光線３７に対応する画素を有しており、事前画像２６又は２９から光線３７に対応する画素を見つけることにより視点２３での事前画像の点１４に対応する画素の画素値を決定する。なお、事前画像２６又は２９が存在しない場合には、例えば、両側を視点位置とする事前画像２４及び２５や、事前画像２７及び２８から光線３７により決まる画素の画素値を決定する。

ただし、図１２の視点２０での補間画像の生成のためには、被写体１１の点１３の画素値を決定する必要があるが、他の被写体１２により、点１３から視点２０に向かう光線は遮断されており、たとえ、点１３から視点２０に向かう光線と層との交点に事前画像があったとしても、この事前画像は当該光線による画素を有していない。さらに、点１３から視点２０に向かう光線と層との交点を含む所定範囲の事前画像は、点１３に対応する画素も有していない。よって、視点２０での画像内の点１３に対応する画素の画素値について、補間画像生成部２は、点１３の色等の情報を有している事前画像を判定して決定を行う。このため、補間画像生成部２は、奥行き情報生成部３が生成した事前画像２１及び２２の奥行き情報に基づき、点１３の色等の情報を保持している事前画像２２を判定し、対応する画素から画素値を決定することにより視点１２での補間画像を生成する。

奥行き情報生成部３は、上記の通り、各事前画像について、事前画像の各画素が表している実空間位置の、視点位置からの距離を示す奥行き情報を生成する。奥行き情報の生成には、ステレオマッチング法等、公知の種々の方法を使用することができる。

奥行き情報圧縮部４は、奥行き情報生成部３が生成した各奥行き情報を圧縮して保存部１に保存し、奥行き情報復元部６は、圧縮された奥行き情報を復元するものであるが、奥行き情報圧縮部４及び奥行き情報復元部６の機能を説明する前に、画像生成部５による、事前画像及び奥行き情報からの、任意の視点位置での画像生成について説明する。

図１３は、自由視点画像生成の基本的処理を説明する図である。図１３（ａ）において、符号３０は指定された視点での画像であり、符号３１及び符号３２は、画像３０の視点位置に最も近い層上にある事前画像であり、符号３３は、事前画像３１及び３２と同じ層上にあり、事前画像３１及び３２の間を視点とする画像である。なお、図１３（ｂ）に示す様に、符号３０から３３における画像の表現において、面９０が画像の画面を、点９１が視点の位置を、点９１から面９０に引いた法線の方向が視点の方向を表すものとする。この場合、例えば、面９０にある画素９２の画素値は、画素９２を通過し、視点９１に到達する光線９３により決定されることになる。

例えば、図１３（ａ）において指定された視点の画像３０を生成するためには、光線３４から光線３５の間にある光線により生じる画素の画素値を決定すればよいことになる。画像生成部５は、例えば、光線３６により生じる画素を決定するために、事前画像３１の奥行き情報を、画像３３の視点位置に射影することで画像３３の奥行き情報を生成する。より具体的には、画像３３の奥行き情報を、事前画像３１の視点、視野及び奥行き情報、並びに、画像３３の視点及び視野に基づき生成する。

続いて、画像３１、３２及び３３の奥行き情報に基づき、光線３６により生じる画像３３の光線３６による画素に対応する画像３１及び画像３２の画素、つまり、同じ位置にある画素を求めて、これら対応する画素から光線３６により生じる画素の画素値を決定する。なお、画素値の決定には、画像３１と画像３３の距離及び画像３２と画像３３の距離を考慮する。具体的には、画像３１の対応画素の画素値をＸ、画像３２の対応画素の画素値をＹ、画像３１と画像３２の距離に対する画像３１と画像３３の距離をａとすると、
光線３６により生じる画素の画素値＝ａ×Ｘ＋（１−ａ）×Ｙ
により求める。

なお、画像３１の奥行き情報から求めた画像３３の奥行き情報と、画像３１の奥行き情報及び画素値のみを使用する形態であっても、画像３２の奥行き情報から求めた画像３３の奥行き情報と、画像３２の奥行き情報及び画素値のみを使用する形態であっても、

この様に、画像３０の各画素の画素値を決定するために、一番近い層の事前画像及び奥行き情報を使用する。しかしながら、画像３３においては遮蔽されていないが、画像３１や画像３２の位置においては遮蔽されている実空間上の位置が存在する。この様な場合において、画像３１の奥行き情報から画像３３の奥行き情報を求めたとしても、画像３３の画素の総ての奥行き情報を得ることができず、奥行きの値が不定となる画素が生じる。例えば、画像３１の奥行き情報から求めた、光線３６により画像３３に生じる画素の奥行き情報が不定である場合、画像３１には対応する画素が存在しないことになり、光線３６による画素値を決定することはできない。

より具体的に述べると、画素値の決定に画像３１及び画像３２の両方を使用する場合、光線３６による画像３３の画素の奥行き情報を、画像３１及び画像３２の両方の奥行き情報からそれぞれ求めることができなければならない。また、画素値の決定に画像３１及び画像３２の一方のみを使用する場合、光線３６による画像３３の画素の奥行き情報を、画素値の決定に使用する画像３１又は画像３２の奥行き情報から求めることができなければならない。本発明においては、一番近い層上の事前画像及び奥行き情報から画素値を決定することができない画素が存在する場合、他の層の事前画像を使用して残りの画素値の決定を行う。なお、画素値の決定に画像３１及び画像３２の一方のみを使用する場合において、使用している画像では決定できない場合、他方の画像を使用して決定し、両方の画像により決定できない場合にのみ他の層を使用する形態であっても良い。

図１４は、最も近い層の事前画像により画素値を決定できない場合の処理を説明する図である。図１４に示す様に、画像生成部５は、２番目に近い層の事前画像を使用して残りの画素値の決定を行う。例えば、図１４に示す様に、画像生成部５は画像８０の画像を生成するために、事前画像８１及び／又は８２に基づき上述した方法にて画素値を決定し、層５２の事前画像により決定できない画素値については、２番目に近い層５１の事前画像８３及び／又は８４を使用して決定する。さらに、層５１の事前画像により決定できない画素値については、３番目に近い層５３の事前画像８５から８７を使用し、以後、総ての画素値が決定できるまで、事前に設定した層上の事前画像を用いて繰り返し処理を行う。総ての層を使用しても画素値を決定することができない画素が存在する場合、周囲の画素の画素値から補間処理により画素値を決定する。

また、他の実施形態として、画像生成部５は、各事前画像の奥行き情報を使用して、指定された視点位置での画像を複数生成して、これらを平均化する形態であってもよい。具体的には、図１４の事前画像８１から８７それぞれの画素値及び奥行き情報を用いて生成した、７つの画像の同一位置の画素の画素値の平均値を、生成する画像８０の画素値とする。このとき、各奥行き情報では決定できない画素の画素値は平均処理に含めない。なお、層５３において、事前画像８５により決定する画素は、事前画像８６から事前画像８５側にある光線による画素のみであり、事前画像８７により決定する画素は、事前画像８６から事前画像８７側にある光線による画素のみであり、それ以外の画素についても平均処理には含めない。

自由視点画像を実現するために、まず、空間を被写体が存在する第２の空間と、被写体が存在しない第１の空間に分割し、第１の空間内において、被写体の方を向けて複数のカメラを設置して撮影を行うことになるが、使用できるカメラの数には、通常、制限があるため、カメラが設置されていない位置を視点とする画像については、補間処理により作成することになる。しかしながら、補間処理により、要求される視点位置の解像度に対応する総ての画像をあらかじめ作成し、保存部１に保存しておくこと、つまり、光線空間における総ての光線をあらかじめ作成して保存しておくことは、その記憶容量や処理負荷の点で現実的ではない。このため、各事前画像に対して奥行き情報を生成しておき、あらかじめ用意していない光線に対応する画素については、これら奥行き情報に基づき対応する画素を判定して生成を行う。これにより、あらかじめ用意しておく画像数を削減することができる。

ただし、第１の空間に設定した線上に配置したカメラで撮影した撮影画像と、これら撮影画像から生成した、カメラと同じ線上を視点位置とする補間画像からは、対象物により遮蔽された位置の画素値を素早く計算することはできない。例えば、図１２で説明した様に、点１３に対応する画素の画素値を決定するためには、点１３の画素値の情報を有する画像を探索して生成することが必要となる。これら処理には時間がかかるため、本発明においては、あらかじめ、第２の空間内にも複数の直線又は曲線を設定して、これら線上の位置においても事前画像及び奥行き情報を生成しておく。この様に、複数の異なる層の事前画像と、その位置における奥行き情報をあらかじめ用意しておくことで、保存部１に保存しておくデータ量を抑えつつ、任意の位置の画像を素早く生成することが可能になる。

続いて、図１に戻り、奥行き情報圧縮部４及び奥行き情報復元部６の機能について説明する。図２は、奥行き情報圧縮部４のブロック図であり、奥行き情報圧縮部４は、空間分割部４１と、参照画像選択部４２と、射影変換部４３と、差情報生成部４４と、フィルタ部４５とを備えている。

空間分割部４１は、事前画像の視点を含む領域を、複数の領域に分割する。図９に示す様に円状に視点を設定した場合、例えば、図４に示す様に扇形の領域に分割する。以後、各領域での処理は、それぞれ独立して行われる。なお、この分割は、後述する参照画像と、対象画像との距離が大きくなりすぎることを避けるためのものであり、分割後の領域の大きさは設計事項である。参照画像選択部４２は、各領域それぞれから参照画像として使用する事前画像を１つ選択する。例えば、図４に示す領域においては、一番外側の層の中心にある事前画像を参照画像とするがこれに限定されない。以後、各領域の参照画像以外の事前画像を対象画像と呼ぶ。

射影変換部４３は、参照画像の奥行き情報を射影変換して、各対象画像の位置での奥行き情報を求める。図５は、参照画像の奥行き情報であり、図６は、参照画像の奥行き情報から求めた対象画像の位置における奥行き情報である。なお、変換は、参照画像の視点及び視野と、対象画像の視点及び視野から公知の方法にて変換できる。なお、図５から７においては、距離が短くなるほど輝度を低くしている。また、図６において輝度が０の画素は、奥行き情報が不定であること、つまり、参照画像の位置においては遮蔽されており、参照画像の奥行き情報からは値が定まらない画素を示している。

図７は、奥行き情報生成部３が生成した、図６と同じ対象画像の奥行き情報であり、差情報生成部４４は、図７の対象画像の奥行き情報と、図６に示す、参照画像の奥行き情報から生成したこの対象画像の奥行き情報との差である差情報を求める。なお、射影変換によりノイズやクラックが発生するためフィルタ部４５を設けてノイズやクラックを除去し、その後、各対象画像の差情報と参照画像の奥行き情報を保存部１に保存する。参照画像から求めた奥行き情報には、一部、奥行きの定まらない画素が存在するが、それ以外の部分において差分は少なく、よって、保存部１に保存する画像データ量をさらに削減することが可能になる。

図３は、奥行き情報復元部６のブロック図であり、奥行き情報復元部６は、射影変換部６１と、復元部６２と、エッジ領域フィルタ部６３とを備えている。射影変換部６１は、参照画像の奥行き情報を射影変換して、対象画像の位置における奥行き情報を求め、復元部６２は、参照画像の奥行き情報から求めた、対象画像の奥行き情報と、該対象画像の差情報を加算して、該対象画像の奥行き情報を復元する。最後に、エッジ領域フィルタ部６３は、差情報のエッジ領域を判定し、復元した奥行き情報のうち、差情報におけるエッジ領域に対応する位置のフィルタリングを行い、画素値の変化を滑らかにする。これにより、差情報を分離したことによる影響を抑える。

なお、上述した実施形態は、１つの参照画像から同じ領域内にある対象画像の奥行き情報を直接求めるものであるが、図８に示す様に、例えば、参照画像６４から対象画像６５及び６６の位置での奥行き情報を求め、層４７にある対象画像６５以外の対象画像については、この求めた奥行き情報をさらに変換して奥行き情報を求め、層４８にある対象画像６６以外の対象画像については、この求めた奥行き情報をさらに変換して奥行き情報を求める形態であっても良い。さらに、参照画像６４から対象画像６５の位置での奥行き情報を求め、層４７にある対象画像６５以外の対象画像と対象画像６６については、この求めた奥行き情報をさらに変換して奥行き情報を求め、さらに、層４８にある対象画像６６以外の対象画像については、この２回の変換により求めた奥行き情報をさらに変換して奥行き情報を求める形態であっても良い。

さらに、画像データそのものを上記と同じ処理により差情報に変換して保存することもできる。つまり、参照画像の画像データを射影変換して対象画像における画像データを求め、この画像データと、該対象画像のデータとの差を差情報として保存し、これとは逆の処理により復元する形態であっても良い。

本発明による画像処理装置は、コンピュータを上述した画像処理装置として機能させるプログラムにより実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の各機能ブロックのうち一部のみをハードウェアで実現し、他の部分をコンピュータプログラムにより実現する、つまり、ハードウェア及びソフトウェアの組合せによっても実現可能である。

１ 保存部
２ 補間画像生成部
３ 奥行き情報生成部
４ 奥行き情報圧縮部
５ 画像生成部
６ 奥行き情報復元部
１０、１１、１２ 被写体
１３、１４ 被写体上の一点
２０、２３ 視点
３０、８０ 指定された視点での画像
２１、２２、２４、２５、２７、２８、３１、３２、８１〜８７ 事前画像
３３ 事前画像間の画像
３４、３５、３６、３７、４３、７０、７１ 光線
４１ 空間分割部
４２ 参照画像選択部
４３、６１ 射影変換部
４４ 差情報生成部
４５ フィルタ部
６２ 復元部
６３ エッジ領域フィルタ部
６４ 参照画像
６５、６６ 対象画像
５１、５２、５３、５４、５５ 層
９０ 画面
９１ 視点
９２ 画素

Claims (5)

1. 所定の複数の線上に設けた複数の視点それぞれでの画像、及び、画像の各画素の奥行きの値を示す、各画像についての奥行き情報を使用して任意の視点での画像を生成する装置のための画像データを作成する画像処理装置であって、
   所定の画像を参照画像とし、参照画像の奥行き情報を、参照画像以外の画像である対象画像の奥行き情報に変換する手段と、
   該対象画像の奥行き情報と、前記参照画像の奥行き情報から変換して求めた該対象画像の奥行き情報との差分である差情報を求める手段と、
   参照画像の奥行き情報と、対象画像の差情報を保存する手段と、
   を備えている画像処理装置。
2. 差情報をフィルタ処理して前記保存する手段に保存する、
   請求項１に記載の画像処理装置。
3. 参照画像の奥行き情報から変換して求めた対象画像の奥行き情報と、該対象画像の差情報を加算して、該対象画像の奥行き情報を復元する手段を、さらに、備えている、
   請求項２に記載の画像処理装置。
4. 対象画像の差情報のエッジ領域を検出し、復元された対象画像の奥行き情報のうち、検出されたエッジ領域に対応する領域をフィルタ処理する、
   請求項３に記載の画像生成装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置としてコンピュータを機能させるプログラム。

Images