JP2010152770A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】従来技術より、あらかじめ作成して保存しておく光線空間データ量を減少させることができ、かつ、画像生成時における処理を簡略化できる画像処理装置を提供する。
【解決手段】本発明による画像処理装置は、複数のカメラが撮影した画像に基づき各被写体の３次元モデル情報を生成するモデル情報生成手段と、３次元モデル情報に基づき各被写体が存在する位置に対応する局所領域を設定し、設定した局所領域の光線空間データを、前記複数のカメラが撮影した画像に基づき生成する光線空間データ生成手段とを備えている。
【選択図】図１

Description

本発明は、自由視点画像生成技術に関し、より詳しくは、局所的な光線空間を複数構築して自由視点画像を生成する技術に関する。

複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術について様々な提案がなされている（例えば、特許文献１及び非特許文献１、参照。）。

上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数のカメラで撮影した画像から光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。ここで、光線空間を構築するとは、ある面を通過する光線を適当な座標軸を使用して表し、この座標空間の座標として表現される光線と、この光線の光線情報を対応付けることを言う。ここで、光線情報とは、対応する光線の、例えば、輝度及び／又は色を示す情報であり、対応する光線により生じる画像の画素の画素値を決定するために使用する情報である。なお、座標空間の総ての座標に対して光線情報をあらかじめ用意しておくことは現実的ではなく、通常は、アプリケーション等に応じて決定される適当な数の座標についてのみ光線情報を用意しておく。

特開２００８−１５７５６号公報 Ｔ．Ｆｕｊｉｉ、ｅｔ ａｌ．、"Ａ ｎｅｗ ｆｅｌｘｉｂｌｅ ａｃｑｕｉｓｉｔｉｏｎ ｓｙｓｔｅｍ ｏｆ ｒａｙ−ｓｐａｃｅ ｄａｔａ ｆｏｒ ａｒｂｉｔｒａｒｙ ｏｂｊｅｃｔｓ"、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ Ｏｎ Ｃｉｒｃｕｉｔ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、Ｖｏｌ．１０、Ｎｏ．２、ｐｐ．２１８−２２４、２００４年

例えば、非特許文献１の様に、単一の光線空間を構築して自由視点画像を生成する場合を考える。ここで、単一の光線空間とは、例えば、スポーツの試合の様に、システムの対象とする被写体の周囲を取り囲む様にカメラを配置して撮影する場合には、この被写体を取り囲む１つの曲面を想定し、この想定した曲面を内側から外側に貫く光線による光線空間を意味する。また、例えば、舞台での演劇や音楽コンサートの様に、システムの対象とする被写体と対面する位置に、例えば、直線状にカメラを配置して撮影する場合には、被写体の前に１つの面を想定し、この想定した面を被写体側からカメラ側に貫く光線による光線空間を意味する。

単一の光線空間による自由視点画像生成システムの場合、撮影した画像上で複数の被写体が重なり合うことにより、被写体からの光線のうち、設定した面を貫かないものが存在することになり、被写体の間を視点とする画像を素早く生成することが難しくなる。このため、特許文献１には、局所的な光線空間を複数構築して自由視点画像を生成する技術が記載されている。特許文献１によると、例えば、図７に点線で示す円上にカメラを配置して点線の円内にある被写体を撮影し、この点線の円内に実線の円で示す複数の円柱状の曲面を設定して、点線の円で囲まれた領域を、実線の円で囲まれた複数の局所領域に分割し、撮影した画像に基づき、局所領域毎の光線空間データを作成している。ここで、光線空間データとは、設定した面を通過する光線を特定する情報と、その光線の光線情報を含むデータである。

特許文献１によると、生成する画像の視点位置が指定された場合、まず、この位置から見て一番奥に位置する局所領域の光線空間データに基づき画像を生成し、その後、一つ手前にある局所領域の光線空間データに基づき画像を上書きすることを繰り返すことで、自由視点画像を生成している。

特許文献１に記載の方法は、ある領域を機械的に局所領域に分割し、各局所領域の境界面に対する局所的な光線空間データをあらかじめ作成するものであり、保存しておく光線空間データ量が比較的大きくなってしまう。また、指定された視点から見て一番奥に位置する局所領域の光線空間データを、順次、その手前にある局所領域の光線空間データに基づき画像を上書きするものであり冗長な処理を含んでいる。

したがって、本発明は、従来技術より、あらかじめ作成して保存しておく光線空間データ量を減少させることができ、かつ、画像生成時における処理を簡略化できる画像処理装置、方法及びプログラムを提供することを目的とする。

本発明の画像処理装置は、
複数のカメラが撮影した画像に基づき、各被写体の３次元モデル情報を生成するモデル情報生成手段と、３次元モデル情報に基づき各被写体が存在する位置に対応する局所領域を設定し、設定した局所領域の光線空間データを、前記複数のカメラが撮影した画像に基づき生成する光線空間データ生成手段とを備えていることを特徴とする。

本発明の画像処理方法は、
複数のカメラが撮影した画像に基づき各被写体の３次元モデル情報を生成するステップと、３次元モデル情報に基づき各被写体が存在する位置に対応する局所領域を設定し、設定した局所領域の光線空間データを、前記複数のカメラが撮影した画像に基づき生成するステップとを備えていることを特徴とする。

本発明の他の形態によれば、
１つの被写体に対して１つ以上の曲面又は平面を設定し、設定した曲面又は平面を貫く該被写体からの光線と該光線の光線情報との対応関係を、該被写体が存在する位置に対応する局所領域の光線空間データとすることも好ましい。例えば、各被写体に対して１つの被写体のみを包含する閉曲面を設定して局所的な光線空間データを生成することも、各被写体に対して、被写体のカメラ側に１つの平面を設定して光線空間データを生成することも、１つの被写体に対して複数の曲面又は平面を設定して光線空間データを生成することも可能である。なお、１つの被写体に対して１つの曲面又は平面を設定する場合、設定する１つの曲面又は平面の位置及び大きさは、対応する１つの被写体の位置及び大きさに応じて決定することが好ましい。

また、本発明の他の形態によれば、
背景のための曲面又は平面を１つ設定し、設定した背景のための曲面又は平面を貫く光線と該光線により生じる画素の画素値との対応関係である、背景のための光線空間データを生成することも好ましい。ここで、背景のための曲面又は平面は、各カメラから見て総ての被写体よりも奥に設定した曲面又は平面を、全カメラに渡り繋いだ曲面又は平面であり、例えば、全被写体を包含する閉曲面とすることができる。

本発明による自由視点画像生成処理を行う画像処理装置は、
各被写体について、被写体が存在する位置に対応する局所領域の光線空間データを保存する保存手段と、指定された視点から見た視野に含まれる局所領域を判定する判定手段と、前記判定した局所領域の光線空間データに基づき、前記指定された視点から見た画像を生成する画像生成手段とを備えていることを特徴とする。

さらに、本発明のプログラムによれば、上記画像処理装置としてコンピュータを機能させることを特徴とする。

被写体が存在する位置に対応する局所領域を設定又は決定し、この局所領域の光線空間データのみを作成することで、あらかじめ作成しておくデータ量を削減することができ、かつ、画像生成時の処理負荷を低減することができる。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による画像処理装置の簡略化した機能ブロック図である。図１によると、画像処理装置は、保存部１と、前処理部２と、モデル情報生成部３と、光線空間データ生成部４とを備えている。

保存部１は、例えば、図２の点線上に配置した各カメラ１００が撮影した動画像を構成する各画像と、各カメラ１００のカメラパラメータを保存しており、前処理部２は、各画像と各カメラパラメータに基づき公知の方法にてカメラパラメータのキャリブレーションを行う。

モデル情報生成部３は、さらに、各画像と、キャリブレーション後のカメラパラメータに基づき、各画像の画素が前景、つまり、何らかの被写体に対応するのか、背景に属するのかを判定し、各画像の同一被写体とその空間上の位置をカメラパラメータに基づき判定して３次元モデル情報、つまり、各被写体表面の空間位置を判定する。その後、モデル情報生成部３は、各カメラ１００がほぼ同一時刻に撮影した画像の組と、その時刻における各被写体の３次元モデル情報を、それぞれ、光線空間データ生成部４に出力する。なお、３次元モデル情報は、おおよその位置が確定できれば良く、例えば、視体積交差法等、公知の種々の方法により生成可能である。

光線空間データ生成部４は、まず、ある時刻における３次元モデル情報に基づき、その時刻における被写体の位置を判定し、判定した被写体の位置に対応する局所領域を設定し、設定した局所領域の光線空間データを生成する。つまり、局所的な光線空間データを、各被写体に対応させて生成する。例えば、図２に示す様に、ある時刻における３次元モデル情報が３つの被写体２０、２１及び２２を示していたとすると、光線空間データ生成部４は、被写体２０、２１及び２２それぞれの位置に対応する局所領域として、図３に示す様に、被写体２０のみを包含する円柱状の曲面３０で区切られた局所領域と、被写体２１のみを包含する円柱状の曲面３１で区切られた局所領域と、被写体２２のみを包含する円柱状の曲面３２で区切られた局所領域を設定する。そして、この時刻における各画像から、例えば、特許文献１に記載の方法により、曲面３０、３１及び３２に対する光線空間データ、つまり、各局所領域内にある被写体から生じて対応する曲面を貫く光線と、この光線による画素値の対応関係を求める。

なお、設定する局所領域は、包含する被写体の大きさに応じた大きさとし、好ましくは、被写体を包含する最小の大きさとする。被写体の中には、人や動物の様に、時間と共に移動し、その形が変化するものもあるが、本発明はそれぞれの時間ごとに、つまり、各動画像を構成するほぼ同時刻に撮影された画像ごとに処理を行うため、設定する局所領域の位置及び大きさは、時間と共に変化することになる。

また、光線空間データ生成部４は、後述する様に、背景処理のため、全被写体を包含する曲面を設定し、この背景のための曲面に対する光線空間データを、この時刻における各画像から生成する。具体的には、例えば、カメラ１００を設置している図３の点線の円の位置に背景のための円柱状の曲面を設定する。なお、曲面３０、３１及び３２に対する光線空間データと異なり、背景用の曲面に対する光線空間データは、円柱の中から外に貫く光線ではなく、円柱の外から中に貫く光線に対する画素値のデータとする。

図４は、本発明による画像処理装置が生成した光線空間データに基づき、指定された視点での画像を生成する方法の説明図である。図示しない本発明による画像生成を行う画像処理装置は、保存部と、判定部と、画像生成部とを備えており、保存部は、各被写体について、被写体が存在する位置に対応する局所領域の光線空間データと、背景のための光線空間データを保存している。つまり、図４の例においては、曲面３０、３１及び３２に対応する局所領域の光線空間データと、背景のための光線空間データを保存している。判定部は、指定された視点から見た視野に含まれる局所領域を判定する。例えば、図４に示す様に視点４０が指定された場合、判定部は、視点４０の位置において、矢印で示す視点４０の方向を中心とした所定の範囲、図４においては、線４１で挟まれた範囲に含まれている局所領域、つまり曲面３０及び３１で囲まれた局所領域を判定する。

最後に、画像生成部は、視野内には曲面３０及び３１に対応する局所領域のみが含まれていることから、曲面３０及び３１からの光線と画素の対応関係に基づき各画素の画素値を決定する。なお、視野に含まれる曲面が重なっている場合には、視点での画像のある画素に対応する光線が複数存在することになるが、視点からみて一番手前にある曲面からの光線により画素の画素値を決定する。また、曲面３０及び３１から到達するいずれの光線にも対応しない画素については、背景のための曲面に基づき画素値を決定する。

以上、本発明においては、局所的な光線空間を被写体の位置に対応させて生成する。この構成によりあらかじめ生成しておく光線空間データ量を削減することができる。また、画像を生成する場合、被写体に対応する曲面の光線空間データに基づき画素値を決定し、残りの画素については、背景のための曲面の光線空間データから決定すれば処理が完了し、画像生成処理も簡易になる。

なお、上述した実施形態においては、円柱状の曲面を１つの被写体全体を包含する様に設定していたが本発明はこれに限定されず、図５に示す様に１つの被写体２３の表面位置を複数の曲面で網羅する構成であっても良い。つまり、被写体と光線空間の関係は、１：１のみならず、１：多であっても良い。

また、被写体を取り囲む様にカメラ１００を配置する形態にて説明したが、例えば、図６の線４２にて示す様に、カメラ１００を直線状に、被写体２４及び２５の方向に向けて配置する形態であって良い。この場合、被写体の位置に対応する局所領域は、被写体を包含する直方体状の面で区切られた領域（図示せず）となり、この直方体状の面の、カメラ側にある面を貫く光線と画素値の対応関係をこの局所領域の光線空間データとする。つまり、被写体２４に対応する局所領域の光線空間データは、面４４を被写体側からカメラ側に貫く光線についてのものとなり、被写体２５に対応する局所領域の光線空間データは、面４５を被写体側からカメラ側に貫く光線についてのものとなる。なお、各局所領域の幅及び奥行き、つまり、面４４及び４５の線４２方向の長さと、その対応する被写体からの距離は、対応する被写体の位置及び大きさと、自由視点画像生成システムにおいて指定できる視点位置と視野の範囲に基づき決定される。また、背景のための局所領域は、一番奥の被写体のカメラ１００とは反対側の面として設定することになる。

より一般的には、被写体に対して設定する光線空間のための平面又は曲面は、使用する座標軸に基づき決定されるものであり、平面や円柱状の曲面以外にも、被写体を取り囲む、例えば、球状の曲面であっても良い。なお、各被写体を包含する円柱状若しくは球状の曲面又は直方体状の面で区切られた領域は、被写体を包含する最小のものとすることが好ましい。また、背景のための平面又は曲面は、画像を撮影する複数カメラの配置から決定され、具体的には、各カメラから見て一番奥にある被写体のさらに奥になる位置を、全カメラに渡り繋いだ曲面又は平面とすれば良い。

なお、本発明による画像処理装置は、コンピュータを上記画像処理装置として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。

本発明による画像処理装置のブロック図である。 ３次元モデル情報に基づく被写体を示す図である。 図２の３次元モデル情報が示された場合に生成する局所領域を示す図である。 本発明による画像処理装置が生成した光線空間データによる画像生成を説明する図である。 局所的な光線空間生成の他の実施形態を示す図である。 局所的な光線空間生成の更に他の実施形態を示す図である。 従来技術における局所領域を示す図である。

符号の説明

１ 保存部
２ 前処理部
３ モデル情報生成部
４ 光線空間データ生成部
２０、２１、２２、２３、２４、２５ 被写体
３０、３１、３２、４４、４５ 光線空間のための面
４０ 視点
４１ 視野
１００ カメラ

Claims (14)

1. 複数のカメラが撮影した画像に基づき各被写体の３次元モデル情報を生成するモデル情報生成手段と、
   ３次元モデル情報に基づき各被写体が存在する位置に対応する局所領域を設定し、設定した局所領域の光線空間データを、前記複数のカメラが撮影した画像に基づき生成する光線空間データ生成手段と、
   を備えている画像処理装置。
2. 光線空間データ生成手段は、１つの被写体に対して１つ以上の曲面又は平面を設定し、
   設定した曲面又は平面を貫く該被写体からの光線と該光線の光線情報との対応関係を、該被写体が存在する位置に対応する局所領域の光線空間データとする、
   請求項１に記載の画像処理装置。
3. 光線空間データ生成手段は、１つの被写体に対して１つの曲面又は平面を設定し、設定する１つの曲面又は平面の位置及び大きさは、対応する前記１つの被写体の位置及び大きさに応じて決定する、
   請求項２に記載の画像処理装置。
4. 光線空間データ生成手段は、各被写体に対して１つの被写体のみを包含する曲面を設定して光線空間データを生成する、
   請求項２又は３に記載の画像処理装置。
5. 光線空間データ生成手段は、各被写体に対して、被写体の前記カメラ側に１つの平面を設定して光線空間データを生成する、
   請求項２又は３に記載の画像処理装置。
6. 光線空間データ生成手段は、１つの被写体に対して複数の曲面又は平面を設定して光線空間データを生成する、
   請求項２に記載の画像処理装置。
7. 光線空間データ生成手段は、背景のための曲面又は平面を１つ設定し、設定した背景のための曲面又は平面を貫く光線と該光線の光線情報との対応関係である、背景のための光線空間データを生成する、
   請求項１から６のいずれか１項に記載の画像処理装置。
8. 背景のための曲面又は平面は、各カメラから見て総ての被写体よりも奥に設定した曲面又は平面を全カメラに渡り繋いだ曲面又は平面である、
   請求項７に記載の画像処理装置。
9. 背景のための曲面又は平面は、全被写体を包含する曲面である、
   請求項７に記載の画像処理装置。
10. 光線の光線情報は、該光線による画素の画素値を決定する情報を含む、
    請求項１から９のいずれか１項に記載の画像処理装置。
11. 光線の光線情報は、該光線の色及び輝度を特定する情報を含む、
    請求項１から１０のいずれか１項に記載の画像処理装置。
12. 各被写体について、被写体が存在する位置に対応する局所領域の光線空間データを保存する保存手段と、
    指定された視点から見た視野に含まれる局所領域を判定する判定手段と、
    前記判定した局所領域の光線空間データに基づき、前記指定された視点から見た画像を生成する画像生成手段と、
    を備えている画像処理装置。
13. 請求項１から１２のいずれか１項に記載の画像処理装置としてコンピュータを機能させるプログラム。
14. 複数のカメラが撮影した画像に基づき各被写体の３次元モデル情報を生成するステップと、
    ３次元モデル情報に基づき各被写体が存在する位置に対応する局所領域を設定し、設定した局所領域の光線空間データを、前記複数のカメラが撮影した画像に基づき生成するステップと、
    を備えている画像処理方法。

Images