JP2006302011A - 自由視点映像生成システム - Google Patents

Abstract

【課題】 奥行データを圧縮しても自由視点映像を高精度に生成でき、また再構成した自由視点映像の精度を損なうことなく必要なデータ伝送量を低減できる自由視点映像生成システムを提供することにある。
【解決手段】 ２次元画像（参照画像）を予め各フレーム毎に作成しておいた背景マスクと照らし合わせて背景領域を抽出することにより、自由視点映像を高精度化することができる。また、背景マスクに簡易な動き補償を行った上でＪＢＩＧにより圧縮して、奥行データに加えて伝送することにより、自由視点映像の精度を損なわずに必要なデータ伝送量を低減することができる。
【選択図】 図１

Description

本発明は自由視点映像生成システムに関し、特に２次元映像とその奥行データのみから任意の視点から見た画像を生成する自由視点映像生成システムに関する。

２次元映像とそれに対応する奥行データとから、任意の仮想視点から見た画像を生成する従来の自由視点映像生成装置として、動的に更新される背景バッファを用いる下記の非特許文献１，２，３に開示されているものがある。

これらの文献１，２，３に開示されている方法は、２次元映像と対応するフレーム毎の奥行データからフレーム毎に、奥行値をあらかじめ求められていた閾値と比較することで背景を区別・切り出しし、その背景を背景バッファに蓄えていく、つまり映像であることを利用し、当該フレームだけでなく過去のフレームにある情報を全て使って背景の画像を動的に更新していくものである。

これにより、当該フレームでは新視点から見て前景の陰に隠れている背景部（隠蔽領域）であっても、その背景バッファから画像を持ってくることによって、隠蔽領域のより少ない任意視点画像（映像）が生成できることになる。

また、現在のPDAや携帯電話で使用することを想定して、PDAや携帯電話など比較的低ビットレートの通信手段でも２次元映像や奥行データを充分な速度で伝送できるようにするため、効率的なデータ圧縮を行う試みがなされている。例えば、２次元映像と奥行データの各々をＭＰＥＧ−４で圧縮して伝送する。
松村篤志，内藤整，川田亮一，小池淳，松本修一"任意視点映像の高圧縮伝送を目的とした隠蔽領域補完方式の提案"電子情報通信学会技術報告 Vol. OIS2003-41, IE2003-66 Sep.2003. pp.63-68 石川彰夫，川田亮一，小池淳"背景バッファによる自由視点VoDシステムの高画質化" PCSJ2004/IMPS2004, IMPS-2.17, Nov.2004. 石川彰夫，川田亮一，小池淳"自由視点VoDシステムにおける背景バッファの高精度化"映像情報メディア学会冬季大会, 13-9, Dec.2004.

しかしながら、前記の従来技術では、２次元映像と奥行データの圧縮率を高めると、再構成した自由視点映像の品質が低下するという課題があった。特に、２次元映像の中で、背景バッファに格納する背景の部分と背景バッファに格納しない前景との境界部分に大きな誤差が生じた（後述する図７参照）。

本発明者の研究により、その理由は、奥行データを圧縮した結果、奥行データ内のエッジ部分（前景と背景の境界など）に誤差が多く生じ、それが再構成映像に大きな悪影響を及ぼしていることが分かった。すなわち、従来技術は、奥行値をあらかじめ求められていた閾値と比較することで前景と背景を区別しているが、前景と背景の境界に誤差が多く生じたため、本来は前景である筈の領域を背景と誤判断したり、本来は背景である筈の領域を前景と誤判断する場合が生じる。その状態で視点を移動すると、境界部分が破綻するなど不自然な部分が生じてしまう。

本発明の目的は、前記した従来技術の課題を解消し、奥行データを圧縮しても、自由視点映像を高精度に生成できる自由視点映像生成システムを提供することにある。

また、他の目的は、再構成した自由視点映像の精度を損なうことなく必要なデータ伝送量を低減し、ネットワークの負荷を軽減する自由視点映像生成システムを提供することにある。

前記の目的を達成するために、本発明は、あらかじめ各フレーム毎に作成しておいた背景マスクと照らし合わせて背景領域を抽出する点に第１の特徴がある。

また、本発明は、２次元映像と該２次元映像の各画素の奥行値を格納した奥行データとを送信するサーバ装置と、該２次元映像と該奥行データを用いて任意の視点から見た映像を生成する自由視点映像生成装置とからなるシステムにおいて、該２次元映像および該奥行データの各画素が属している背景の識別番号を記録した背景マスクを具備し、該背景マスクを用いて前記２次元映像の背景領域を抽出するようにした点に第２の特徴がある。

また、前記背景マスクを圧縮するようにした点、該背景マスクをグレイスケール映像とみなし、ＪＢＩＧ、動き補償、またはＪＢＩＧと動き補償の両方を用いて圧縮するようにした点に第３の特徴がある。

本発明によれば、背景マスクを用いて過不足の無い正確な背景領域を抽出するので、奥行データを圧縮しても、自由視点映像を高精度に生成できるようになる。

また、背景マスクを簡易な動き補償とＪＢＩＧにより圧縮するので、再構成した自由視点映像の精度を損なうことなく必要なデータ伝送量を低減し、ネットワークの負荷を軽減できるようになる。

以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の原理を説明する。
本発明では、背景マスクを用いて過不足の無い正確な背景領域を抽出することにより、２次元映像と奥行データを圧縮しても、自由視点映像を高精度に生成できるようにするものである。また、背景マスクを簡易な動き補償とＪＢＩＧで圧縮することにより、再構成した自由視点映像の精度を損なうことなく必要なデータ伝送量を低減し、ネットワークの負荷を軽減できるようにするものである。

背景マスクは、グレイスケール映像であり、２次元映像および奥行データの各画素が前景領域と背景領域とのどちらに属しているかという情報を示している。図２に背景マスクの例を示す。２次元映像および奥行データを背景マスクと照らし合わせて、背景マスク上の画素値が「背景」を示す領域を抽出すれば、それが背景領域となる。従って、閾値と奥行値を比較することで背景領域を抽出する従来技術とは異なり、過不足の無い正確な背景領域を抽出することが可能となる。そのため、ユーザが視点を移動した場合も、図７にあるような不自然な領域が、再構成された映像中に生じることが避けられる。

また、背景マスクのデータ圧縮によりデータ伝送量の増加を最小限に留める一方で、背景マスクのデータ圧縮手法にＪＢＩＧという可逆的な圧縮手法を用いることにより、前景と背景の境界に破綻を生じる可能性を無くし、奥行データを圧縮して必要なデータ伝送量を低減しても、再構成した自由視点映像の精度を損なわない。

次に、本発明の第１の実施形態を図１を参照して説明する。図１は、本発明の実施形態に係る自由視点画像の隠蔽領域補完方式における処理手順を示すフロー図である。この処理手順の各ステップはハードウエアあるいはソフトウエアで実現できる。

図１に示すように、本発明では、まず、１視点のみからの映像である２次元映像（参照画像）と、該２次元映像の各点の奥行き情報である奥行データ（奥行きマップ）とを圧縮し、また背景マスク映像を簡易な動き補償とＪＢＩＧにより圧縮する（Ｓ１Ａ〜Ｓ１Ｃ）。次に、前記２次元映像の圧縮データと奥行データの圧縮データとから、各画素の３次元的な位置情報を把握する（Ｓ２）。続いて、ユーザが選んだ任意の視点位置情報（Ｘ）を基に、前記２次元映像と奥行データから各フレームの仮の自由視点画像を生成する（Ｓ３）。

同時に、前記背景マスクを参照して２次元映像と奥行データから背景領域を抽出する（Ｓ４）。この背景領域の抽出では、背景バッファに保存する背景画像とその奥行値とを背景領域として抽出する。

ここで、図３は前記２次元映像の一例、図４は該２次元映像の背景画像の奥行の概念図を示す。該奥行の概念図では、白黒の濃淡で奥行値の大きさを示し、濃度が濃いほど奥行値が大きいことを示している。

次に、抽出された背景画像とその奥行値とを、背景バッファに保存する。ここに保存される背景画像とその奥行値は、後続のフレームごとに抽出した最新の背景画像とその奥行値で更新される。すなわち、背景画像とその奥行値は背景バッファに動的に生成・更新される（Ｓ５）。

ここで、図５は背景バッファの概念図を示す。奥行のある背景画像が示されている。

このように動的に生成・更新された背景画像とその奥行値を用いることにより、２次元映像における前景領域で隠蔽されていた背景領域に対する画素をより完全に補完できる。なお、１フレーム分前の画像から抽出される背景画像とその奥行値あるいは数フレーム前以降の画像から抽出される背景画像とその奥行値により生成、更新される背景画像とその奥行値を用いてもある程度の画素補完は可能である。

ここで、サーバ上で背景マスクを生成する方法の一例を説明する。サーバには、未圧縮の２次元映像と奥行きデータがある。まず、式（０）を用いて２次元画像Ｉの奥行分布の統計をとる。式（０）の右辺は、２次元画像Ｉにおける奥行値がｎＳ以上、（ｎ＋１）Ｓ未満である画素の個数を意味し、Ｓは統計をとる際のステップ幅を表す。また、ｎは整数である。

次に、式（０）で求められたＶ（ｎ）をガウスフィルタで平滑化し、Ｖ’（ｎ）を算出する。ここで、Ｖ’（ｎ）が極小値をとる際の奥行きを分割指標（Ｓの整数倍数とする）として定義し、値が小さい順に分割指標min１，min２，・・・，minＭを生成する。最後に、minｍ≦ＤＩ（ｕ，ｖ）≦min（ｍ＋１）を満たす場合は、背景マスクＧ上の（ｕ，ｖ）の点にｍを代入する。すなわち、Ｇ（ｕ，ｖ）＝０とする。なお、min０＝−∞、min（Ｍ＋１）＝∞とする。

再度、図１に戻ると、次に、前記Ｓ３で生成された仮の自由視点画像を、前記Ｓ５の背景バッファに保存した背景画像とその奥行値で補完する（Ｓ６）。以上の手順により背景バッファを用いた広範囲かつ高精度の補完を行い、出力画像を得ることができる（Ｓ７）。

以下に、上記処理手順の各ステップについて詳細に説明する。

１．背景マスクに対する簡易な動き補償とＪＢＩＧによる圧縮（Ｓ１）
まず、背景マスク映像に対して「簡易な動き補償」を行う。即ち、背景マスク映像の１フレーム全体を１つのブロックとみなし、次フレームとの差分が最小となる１組の動きベクトルを算出して、ビットストリーム中にその値を記載しておく。また、最初のフレームを除く各フレームについて、前フレームに対する差分を求める。

次に、ＪＢＩＧヘッダによるオーバーヘッドを防ぐため、最初のフレームおよび全差分フレームを縦に連結し、ストライプを映像の高さに設定して符号化する。

２．仮の自由視点画像の生成（Ｓ３）
まず、２次元映像Ｉを撮影した視点から自由視点への回転、および平行移動を３×３の行列Ｒ′、および１×３のベクトルｔ′として定義すると、２次元映像Ｉにおける画素の位置（ｕ，ｖ，１）と自由視点画像Ａにおけるその画素に対応する画素（以下、対応点と称す。）の位置（ｕ″，ｖ″、１）との関係は、式（１）によって表される。ここで、Ｄ_{Ｉ（ｕ，ｖ）}は２次元映像Ｉにおける画素の位置（ｕ，ｖ）の奥行値を表し、（ｕ，ｖ，１）や（ｕ″，ｖ″、１）は３次元上での画素の位置を表す。なお、奥行値の単位は奥行データの定義に従うものとする。
（Ｄ_{Ｉ（ｕ，ｖ）}（ｕ，ｖ，１）^Ｔ−ｔ′）×Ｒ′（ｕ″，ｖ″，１）^Ｔ＝０ ・・・（１）

式（１）を（ｕ″，ｖ″，１）^Ｔについて解くことにより、２次元映像Ｉと自由視点画像Ａとの間の対応点を求めることができる。この対応関係で式（２）により描画を行い、仮の自由視点画像Ａを生成する。なお、式（２）において、Ａ（ｕ″，ｖ″）は自由視点画像Ａの位置（ｕ″，ｖ″）の画素値を表し、Ｉ（ｕ，ｖ）は２次元映像Ｉの位置（ｕ，ｖ）の画素値を表す。
Ａ（ｕ″，ｖ″）＝Ｉ（ｕ，ｖ）・・・（２）

３．背景領域の抽出（Ｓ４）
背景領域の抽出は、背景バッファに保存する背景画像を抽出する処理であり、背景画像の生成・更新の前処理として行われる。ここでは、まず、２次元映像および奥行データを背景マスクＧと照らし合わせ、式（３）に従って背景マスク上の値Ｇ（ｕ，ｖ）がｍである領域を抽出し、画像Ｉ_ｍを格納する。なお、ｍは背景バッファの識別番号である。また、式（３）において、nullは画素が存在しないことを表す。
Ｉ_ｍ（ｕ，ｖ）＝Ｉ（ｕ，ｖ） if Ｇ（ｕ，ｖ）＝ｍ ・・・（３）
＝null otherwise

このようにして、２次元映像Ｉを複数の画像Ｉ_ｍ（ｍ＝０，１，・・・，Ｍ）に分割する。この複数のＩ_ｍ（ｍ＝１，・・・，Ｍ）は、後述する背景バッファ内の背景画像の生成・更新のために使用される。

３．背景バッファの生成・更新（Ｓ５）
ここでは、背景領域の抽出（Ｓ４）で抽出された画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ）を背景バッファに保存し、それをフレームごとに更新する。画像Ｉ_ｍ（ｍ＝１，・・・，Ｍ）のそれぞれに背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ）が対応するとする。なお、画像Ｉ_０は前景画像であるため、それに対応する背景バッファＵ_０は存在しない。

先頭フレームでは、画像Ｉ_ｍを背景バッファＵ_ｍにそのまま保存する。続く他のフレームでは、画像Ｉ_ｍと背景バッファＵ_ｍに保存された画像の合成を以下の手順で行う。

まず、画像Ｉ_ｍと背景バッファＵ_ｍに保存された背景画像から８点以上の対応点を探索し、それらの対応点を用いて式（４）を満たす射影変換行列Ｂ_ｍを算出する。ただし、画像Ｉ_ｍ内の座標（ｕ_Ｉｍ ，ｖ_Ｉｍ）と背景バッファＵ_ｍに保存されている画像内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）は対応点であるとする。
（ｕ_Ｉｍ ，ｖ_Ｉｍ ，１）^Ｔ×Ｂ_ｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）^Ｔ＝０ ・・・（４）

その後、式（４）によって求められる（ｕ_Ｉｍ ，ｖ_Ｉｍ）と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式（５）に代入することにより、背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ）に保存した背景画像を更新する。

また、画像Ｉ_ｍ内の座標（ｕ_Ｉｍ ，ｖ_Ｉｍ）における奥行値をＤ_Ｉｍ（ｕ_Ｉｍ ，ｖ_Ｉｍ）、背景バッファＵ_ｍ内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）における奥行値をＤ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）とおき、式（４）によって求められる（ｕ_Ｉｍ ，ｖ_Ｉｍ）と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を求め、式（６）を使って奥行値Ｄ_ＩＭ（ｕ_Ｉｍ ，ｖ_Ｉｍ）を算出する。
Ｄ_ＩＭ（ｕ_Ｉｍ ，ｖ_Ｉｍ）（ｕ_Ｉｍ ，ｖ_Ｉｍ ，１）^Ｔ
＝Ｂ_ｍＤ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）・・・（６）

このＤ_ＩＭ（ｕ_Ｉｍ ，ｖ_Ｉｍ）を式（７）に代入することにより、背景バッファＵ_ｍにおける奥行値ＤＵ_ｍ（ｍ＝１，・・・，Ｍ）の値を更新する。
Ｄ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）←Ｄ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ） if Ｄ_Ｉｍ（ｕ_Ｉｍ ， ｖ_Ｉｍ）＝null

Ｄ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）←Ｄ_Ｉｍ（ｕ_Ｉｍ ，ｖ_Ｉｍ） otherwise ・・・（７）

カメラ位置を急激に移動すると、実際の奥行値（背景バッファの奥行値）と奥行映像の奥行値とが一致しなくなるのを補正して、一致するようにするものである。すなわち、実際の奥行値が奥行基準面に対する奥行値と等しくなるように、該実際の奥行値を奥行値を奥行データに射影変換して補正する。

４．出力画像の生成（Ｓ６，Ｓ７）
仮の自由視点画像Ａを背景バッファＵ_ｍ（ｍ＝１，・・・，Ｍ）に保存された背景画像およびその奥行値を用いて補完することにより出力画像を生成する。補完は、対応点が存在しない画素に対して行う。

まず、背景バッファを用いた補完を行うために、ｍ＝１，・・・，Ｍとして、背景画像Ｕ_ｍ内の座標（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の点に対応する仮の自由視点画像Ａの座標（ｕ″，ｖ″）の点を式（８）により算出する。
（Ｄ_Ｕｍ（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）（ｕ′_Ｕｍ ，ｖ′_Ｕｍ ，１）^Ｔ−ｔ）×Ｒ（ｕ ″，ｖ″，１）^Ｔ＝０ ・・・（８）
ただし、行列Ｒは視点の回転移動を定義し、ベクトルｔは視点の平行移動を定義する。

次に、式（８）によって求められる（ｕ″，ｖ″）と（ｕ′_Ｕｍ ，ｖ′_Ｕｍ）の対応を式（９）に代入することにより、自由視点画像Ａに対する補完を行う。

以上によって得られる画像を出力画像として出力する。

図６に、背景マスクを用いた場合（本発明）の任意視点画像（映像）の具体例を示す。また、図７に、該背景マスクを用いない従来の任意視点画像（映像）の具体例を示す。

図７では前景と背景の境界に誤差が生じ、品質の劣化した自由視点映像であったが、図６では背景画像が正しく抽出されて、前景と背景の境界に誤差が生じず、整合していることが分かる。すなわち、本発明によれば、再構成した自由視点映像の精度を損なうことなく必要なデータ伝送量を低減することができる。

以上、実施形態を説明したが、本発明は種々の形態で実施できる。例えば、送信側から２次元映像と奥行データを送信し、送信された２次元映像と奥行データを用いて受信側で自由視点画像を生成することができ、本発明は、放送受信機、映像受信機としての携帯端末などに適用できる。

本発明の一実施形態の自由視点映像生成システムの処理手順を示すフローチャート図である。 背景マスクの一具体例を示す図である。 ２次元映像の一具体例を示す図である。 図３に対応する奥行データの概念図である。 本発明手法による背景バッファの一具体例を示す図である。 背景マスクを用いた自由視点映像の一具体例を示す図である。 従来システムによる自由視点映像の一具体例を示す図である。

符号の説明

Ｓ１・・・圧縮、Ｓ３・・・仮の自由視点画像の生成、Ｓ４・・・背景領域の抽出、Ｓ５・・・背景バッファの生成と更新、Ｓ６・・・仮の自由視点画像の補完、Ｓ７・・・出力画像。

Claims (5)

1. ２次元映像と該２次元映像の各画素の奥行値を格納した奥行データとを送信するサーバ装置と、該２次元映像と該奥行データを用いて任意の視点から見た映像を生成する自由視点映像生成装置とからなるシステムにおいて、
   該２次元映像および該奥行データの各画素が属している背景の識別番号を記録した背景マスクを具備し、
   該背景マスクを用いて前記２次元映像の背景領域を抽出するようにしたことを特徴とする自由視点映像生成システム。
2. 請求項１に記載の自由視点映像生成システムにおいて、
   前記背景マスクを圧縮することを特徴とする自由視点映像生成システム。
3. 請求項１または２に記載の自由視点映像生成システムにおいて、
   前記背景マスクをグレイスケール映像とみなし、ＪＢＩＧを用いて圧縮することを特徴とする自由視点映像生成システム。
4. 請求項１または２に記載の自由視点映像生成システムにおいて、
   前記背景マスクをグレイスケール映像とみなし、動き補償を用いて圧縮することを特徴とする自由視点映像生成システム。
5. 請求項１または２に記載の自由視点映像生成システムにおいて、
   前記背景マスクをグレイスケール映像とみなし、動き補償とＪＢＩＧを用いて圧縮することを特徴とする自由視点映像生成システム。