JP2011028428A

JP2011028428A - 光線情報を高速に内挿補間する方法及び装置

Info

Publication number: JP2011028428A
Application number: JP2009172021A
Authority: JP
Inventors: Akio Ishikawa; 彰夫石川; Shigeyuki Sakasawa; 茂之酒澤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2009-07-23
Filing date: 2009-07-23
Publication date: 2011-02-10

Abstract

【課題】自由視点映像を高速に生成するため、内挿補間を高速に行う方法を提供する。
【解決手段】第１の画像の画素及び第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求め、第１の座標から第１の奥行き値、及び第２の座標から第２の奥行き値を算出し、第１の画像の画素値及び第１の奥行き値を、第１の画像の位置及び第３の画像の位置に基づく角度だけ回転変換し、第３の画像の第１の画素値及び第１の奥行き値を算出し、第２の画像の画素値及び第２の奥行き値を、第２の画像の位置及び第３の画像の位置に基づく角度だけ回転変換し、第３の画像の第２の画素値及び第２の奥行き値を算出し、第３の画像の第１の画素値及び第３の画像の第２の画素値から、第３の画像の画素値を求める。
【選択図】図３

Description

本発明は、光線空間における光線情報を高速に内挿補間する方法及び装置に関する。より詳細には、Image-based Rendering（以下、ＩＢＲ）を用いて自由視点映像を生成する手法における内挿補間を高速に行う方法及び装置に関する。

光線空間法やLight Field Rendering等のＩＢＲによる自由視点映像生成においては、仮想的な視点からの画像を生成するために、カメラ等で撮影して取得した光線情報を内挿補間する必要がある。

光線空間法は３次元空間の記録方法の１つである。カメラの画像はカメラの位置（Ｘ、Ｙ、Ｚ）の１点を通過する様々な方向（θ、φ）の光線を記録した情報と考えられる。光線情報（輝度や色）Ｆは、
Ｆ（Ｘ、Ｙ、Ｚ、θ、φ）
と５つのパラメータを有する関数として定義される。

光線情報Ｆは、５次元のパラメータ空間を必要としているため、内挿補間等の処理を行うには適切ではない。そのため、より効率的な記述方法が考えられた。非特許文献１及び２では３次元円筒記録光線空間が開示されている。これは、日常的な範囲（数メートル）内では、光は減衰しない。つまり、明るさ及び色は変化しない。このことを利用して、光が進んでいく方向は記録する必要がないことを利用して、光線情報Ｆを４つのパラメータで記述したものである。

苗村健他、「光線情報の正投影表現に基づく３次元空間の記述」、テレビジョン学会誌Vol. 51, No. 12, pp. 2082〜2090 (1997) Takeshi Naemura and Hiroshi Harashima、"Ray-based approach to Integrated 3D Visual Communication"

従来のＩＢＲを用いた自由視点映像生成では、内挿補間する処理に多大な時間を必要とし、高速な自由視点映像の生成が困難であるという課題があったため、内挿補間処理の高速化が強く求められていた。近年、ＧＰＧＰＵやＰＣクラスタ等の並列性に優れた計算機が以前に比べて安価かつ容易に利用できるようになってきているが、効果的かつ同程度の精度で並列化を考慮した内挿補間処理方式が存在しなかった。

従って、本発明は自由視点映像を高速に生成するため、内挿補間を高速に行う方法及び装置を提供することを目的とする。

上記目的を実現するため本発明による内挿補間方法は、第１の画像及び第２の画像から、第３の画像を求める内挿補間方法であって、前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求めるステップと、前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出するステップと、前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出するステップと、前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出するステップと、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求めるステップとを含んでいる。

また、前記第３の画像の画素値を求めるステップの前に、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値が、光線空間中の同一座標に格納された場合、該座標には奥行き値が最も大きい画素値を格納するステップを、さらに含むことも好ましい。

また、前記第３の画像の画素値を求めるステップは、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値の重み付け平均を取ることにより前記第３の画像の画素値を求めるステップであることも好ましい。

上記目的を実現するため本発明による内挿補間装置は、第１の画像及び第２の画像から、第３の画像を求める内挿補間装置であって、前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求める手段と、前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出する手段と、前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出する手段と、前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出する手段と、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求める手段とを備えている。

本発明の並列計算に適した計算方法をＧＰＵやＰＣクラスタ等の並列性に優れた計算機に実装した装置により、光線情報の内挿補間に要する時間が大幅に短縮され、自由視点映像生成の高速化が実現される。

本発明による光線情報を高速に内挿補間する装置を備えた自由視点映像生成装置の概略を示す。３次元円筒記録光線空間の定義を示す。自由視点映像生成装置での回転変換による内挿補間処理手順を示すフローチャートである。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は本発明による光線情報を高速に内挿補間する装置を備えた自由視点映像生成装置の概略を示す。

自由視点映像生成装置１は、光線情報取得部１１と、奥行き推定部１２と、光線情報格納部１３と、光線情報内挿補間部１４と、自由視点画像生成部１５とを備えている。ここで、奥行き推定部１２と光線情報内挿補間部１４が本発明による光線空間を高速に内挿補間する装置に該当する。

光線情報取得部１１は、複数のカメラによる撮影などにより、光線情報を取得する。奥行き推定部１２では、光線情報取得部１１で取得した光線情報の各々に対して、仮想視点から被写体までの奥行き値を算出する。光線情報格納部１３では、光線空間に対し、光線情報を格納する。それとともに、奥行き推定部１２で求めた奥行き値も記録する。光線情報内挿補間部１４では、記録された奥行き値に基づき前記パラメータ空間における実空間中の同一点の軌跡を求め、その軌跡上の光線情報を、既に光線情報取得部１１で取得した光線情報の内挿補間により求める。ただし、この内挿補間処理では回転変換を行うことにより補間すべき点を求める。また、奥行き値に基づく深度バッファリング（Ｚバッファリング）も行う。自由視点画像生成部１５では、光線情報内挿補間部１４で補間されたパラメータ空間から必要な光線情報を読み込み、自由視点画像を生成する。

また、光線情報内挿補間部１４の主な処理は回転変換、Ｚバッファリングであるため、ＧＰＵやＰＣクラスタ等の並列性に優れた計算システムに実装することにより高速に処理することができる。

以下、自由視点映像生成装置１の実施形態の一例を詳細に説明する。ここでは、カメラｎの画像とカメラｎ＋１の画像から、内挿補間を行うことにより視点ｉの位置から見た画像を生成する。

まず、最初に３次元円筒記録光線空間について説明する。３次元円筒記録光線空間とは、図２のようにＸ、Ｙ、Ｚ軸をＹ軸周りにθ回転させた後、Ｚ軸をＸ軸の周りにφ回転させ、回転されたＸ軸をＰ軸、Ｙ軸をＱ軸、回転されたＺ軸をＲ軸と定義する。３次元円筒記録光線空間ではＰＱ平面上の位置とＰＱ平面の傾き（θ、φ）の４つのパラメータによって記述される。カメラの画像はカメラの中心を通る光線の情報を集めたものであり、カメラで撮影することは（Ｐ、Ｑ、θ、φ）空間での１つの曲面上の光線情報を得ることに相当する。ただし、一般のカメラによる撮影の場合、カメラは水平面上にあるため仰角φはほぼ一定である。そのため、ＰＱ平面上の位置とＰＱ平面の傾き（方位角）θの３つのパラメータによって記述され、カメラの画像は（Ｐ、Ｑ、θ）空間での１つの曲面上の光線情報になる。この曲面上以外の点は、撮影していない場所であり、光線情報がないため内挿補間して求める。

実空間中の点（Ｘ、Ｙ、Ｚ）を通過して方位角θの向きに伝搬する光線は、３次元円筒記録光線空間では、
Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ
Ｑ＝Ｙ
で求められる点（Ｐ、Ｑ、θ）に対応する。また、このときＰＱ平面に直交するＲ軸の値は奥行き値に相当し、
Ｒ＝Ｘｓｉｎθ＋Ｚｃｏｓθ
で求められる。

図３は、自由視点映像生成装置１での回転変換による内挿補間処理手順を示すフローチャートである。以下、このフローチャートに基づき説明する。

Ｓ１．３次元円筒記録光線空間での座標及び奥行き値を求める。本実施形態では、本処理は光線情報取得部１１及び奥行き推定部１２において行われる。まず、カメラｎの画像に着目する。画像は実空間中の１点を通過する光線の集合と見なせるので、画像の各画素は実空間中の点（Ｘ_０，Ｙ_０、Ｚ_０）から放射されカメラｎに入射する１本の光線に対応する。３次元円筒記録光線空間中で、この光線の情報が格納される座標を（Ｐ_ｎ，Ｑ_ｎ、θ_ｎ）、奥行き値をＲ_ｎとおく。この時、実空間の座標と３次元円筒記録光線空間の座標、奥行きとの関係は、式

が成り立つ。同様にカメラｎ＋１の画像に対しても、３次元円筒記録光線空間中の座標（Ｐ_ｎ＋１，Ｑ_ｎ＋１、θ_ｎ＋１）、奥行き値Ｒ_ｎ＋１に対して、式

が成り立つ。光線情報取得部１１は上記で求めた座標での光線情報Ｆ（Ｐ、Ｑ、θ）を光線情報格納部１３に格納し、奥行き推定部１２は上記で求めた奥行き値を光線情報格納部１３に格納する。

Ｓ２．カメラｎ及びカメラｎ＋１の画像中の各画素（光線）を回転変換し、視点ｉの位置の画像の画素値（光線情報）と奥行き値を求める。本実施形態では、本処理以降は光線情報内挿補間部１４において行われる。

回転変換は以下のように定式化される。３次元円筒記録光線空間中で、実空間中の点（Ｘ_０，Ｙ_０、Ｚ_０）から放射される光線の軌跡は、

で表わされる。

式（１）及び式（３）より、

が成立する。即ち、式（４）中の行列により、画素（Ｐ_ｎ，Ｑ_ｎ、Ｒ_ｎ）を回転変換することができ、補完する光線の軌跡を求めることができる。

カメラｎの実空間中の位置を（Ｘ_ｎ，Ｙ_ｎ、Ｚ_ｎ）、カメラｎ＋１の実空間中の位置を（Ｘ_ｎ＋１，Ｙ_ｎ＋１、Ｚ_ｎ＋１）とおくと、視点ｉの画像とカメラｎの画像とカメラの画像ｎ＋１はそれぞれ３次元円筒記録光線空間中の

で表される曲面に格納される。

故に、式（５）の曲面（視点ｉの画像の画素値と奥行き値が格納される曲面）上の点（Ｐ_ｉ，Ｑ_ｉ、θ_ｉ）に格納すべき画素値と奥行き値を求めるには、

で表される角度だけ、式（６）の曲面（カメラｎの画像の画素値と奥行き値が格納される曲面）を式（４）に基づいて回転変換すればよい。

同様にして、

で表される角度だけ、式（７）の曲面（カメラｎ＋１の画像の画素値と奥行き値が格納される曲面）を式（４）に基づいて回転変換すればよい。

Ｓ３．回転変換後の画素を内挿補間する。元の画像（カメラｎの画像）中では隣接していた画素のペアであっても、回転変換後は光線空間中の対応する点のペアでは間隔が開いて間に画素値と奥行き値が得られない点が生じることがある。そこで、それらの点の画素値と奥行き値は、元の画像（カメラｎの画像）中の対応する画素のペア（前述の隣接していた画素のペア）の画素値と奥行き値から内挿補間して（線形補間または３次補間）求める。

ただし、あらかじめ閾値ΔＲを設定しておき、元の画像（カメラｎの画像）中の隣接する画素であっても、その奥行き値の差がΔＲより大きければ、この２画素は不連続であるとみなす。従って、この画素のペアの間は内挿補間を行わない。カメラｎ＋１の画像についても同様な内挿補間を行う。

Ｓ４．深度バッファリングを行う。前述の回転変換と内挿補間に伴い、光線空間中の同一座標に複数組の画素値と奥行き値が格納される場合がある。その場合は、深度バッファリング（Ｚバッファリング）を行う。即ち、奥行き値が最も大きい（視点に最も近い）点の画素値と奥行き値を格納する。

Ｓ５．２画像の合成を行う。一般に、光線空間中の各点において、カメラｎの画像から求めた奥行き値とカメラｎ＋１の画像から求めた奥行き値は一致するが、自己オクルージョンにより一致しない場合がある。そのような場合は、奥行き値が小さい（視点から遠い）方の画素値と奥行き値を使用する。

次に光線空間中の各点（Ｐ、Ｑ、θ）において、カメラｎの画像から求めた画素値とカメラｎ＋１の画像から求めた画素値とを、｜θ−θ_ｎ｜および｜θ−θ_ｎ＋１｜に基づき、

で重み付け平均することにより、（Ｐ、Ｑ、θ）に格納される光線情報Ｆ（Ｐ、Ｑ、θ）を求めることができる。ここでＦ（Ｐ_ｎ、Ｑ_ｎ、θ_ｎ）は式（６）の曲面を式（４）に基づいて、式（８）の角度だけ回転変換した結果の曲面上に格納される光線情報であり、Ｆ（Ｐ_ｎ＋１、Ｑ_ｎ＋１、θ_ｎ＋１）は式（７）の曲面を式（４）に基づいて、式（９）の角度だけ回転変換した結果の曲面上に格納される光線情報である。なお、重み付け平均に用いる画素は以下のように決定される。被写体の１点から出た光は、方向に関係なく同じ色、同じ明るさをしている。そのため、カメラ画像に対応している（Ｐ、Ｑ、θ）空間での２枚の曲面上の同じ色、同じ明るさの部分は被写体の同じ１点を指している。従って、２枚の曲面上のそれぞれ同じ色、同じ明るさの画素を内挿補間に用いる。

ここで、カメラｎの位置を（Ｘ_ｎ，Ｙ_ｎ、Ｚ_ｎ）、カメラｎ＋１の位置を（Ｘ_ｎ＋１，Ｙ_ｎ＋１、Ｚ_ｎ＋１）とおくと、式

が成り立つ。従って、例えばθ_ｎ＜θ＜θ_ｎ＋１の場合は、式（１０）および式（１１）から、

が導かれる。

以上のようにして、カメラｎの画像とカメラｎ＋１の画像から、内挿補間を行うことにより視点ｉの位置から見た画像が生成される。自由視点画像生成部１５では、光線情報内挿補間部１４で生成された光線情報を読み込み、自由視点画像を生成する。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

１自由視点映像生成装置
１１光線情報取得部
１２奥行き推定部
１３光線情報格納部
１４光線情報内挿補間部
１５自由視点画像生成部

Claims

第１の画像及び第２の画像から、第３の画像を求める内挿補間方法であって、
前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求めるステップと、
前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出するステップと、
前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出するステップと、
前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出するステップと、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求めるステップと、
を含んでいることを特徴とする内挿補間方法。
前記第３の画像の画素値を求めるステップの前に、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値が、光線空間中の同一座標に格納された場合、該座標には奥行き値が最も大きい画素値を格納するステップを、さらに含むことを特徴とする請求項１に記載の内挿補間方法。
前記第３の画像の画素値を求めるステップは、前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値の重み付け平均を取ることにより前記第３の画像の画素値を求めるステップであることを特徴とする請求項１または２に記載の内挿補間方法。
第１の画像及び第２の画像から、第３の画像を求める内挿補間装置であって、
前記第１の画像の画素及び前記第２の画像の画素に対して、それぞれ光線空間中の第１の座標及び第２の座標を求める手段と、
前記第１の座標から第１の奥行き値、及び前記第２の座標から第２の奥行き値を算出する手段と、
前記第１の画像の画素値及び前記第１の奥行き値を、前記第１の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第１の画素値及び前記第３の画像の第１の奥行き値を算出する手段と、
前記第２の画像の画素値及び前記第２の奥行き値を、前記第２の画像の位置及び前記第３の画像の位置に基づく角度だけ回転変換し、前記第３の画像の第２の画素値及び前記第３の画像の第２の奥行き値を算出する手段と、
前記第３の画像の第１の画素値及び前記第３の画像の第２の画素値から、前記第３の画像の画素値を求める手段と、
を備えていることを特徴とする内挿補間装置。