JP2006041811A

JP2006041811A - 自由視点画像ストリーミング方式

Info

Publication number: JP2006041811A
Application number: JP2004217418A
Authority: JP
Inventors: Atsushi Matsumura; 篤志松村; Akio Ishikawa; 彰夫石川; Hitoshi Naito; 整内藤; Ryoichi Kawada; 亮一川田; Atsushi Koike; 淳小池; Shuichi Matsumoto; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-07-26
Filing date: 2004-07-26
Publication date: 2006-02-09

Abstract

【課題】滑らかな視点移動での自由視点画像を実時間で高精度に生成することができる自由視点画像ストリーミング方式を提供すること。
【解決手段】映像配信サーバ１は、一視点からの画像（参照画像）Ｖと参照画像Ｖに対する奥行きマップＭと参照画像Ｖに対する射影変換行列Ｂを圧縮し、これらを１つのグループとして管理し、これらの情報を同時にストリーミング配信する。クライアント２側では、ストリーミング配信された参照画像Ｖと奥行きマップＭと射影変換行列Ｂを受信し、自由視点画像を生成すると共に、前景画像による隠蔽領域を補完する。クライアント２では、左目画像と右目画像を生成して立体視画像を再生させることもできる。
【選択図】図１

Description

本発明は、自由視点画像ストリーミング方式に関し、特にサーバ・クライアント型のデータ伝送において、任意視点からの自由視点画像を実時間で生成することができる自由視点画像ストリーミング方式に関する。

次世代におけるインタラクティブな映像アプリケーションに対する１つの素材として自由視点画像が注目されている。自由視点画像とは、対象物に対する視点をユーザが任意に選択して得られる画像のことである。ユーザにより選択される視点は無数に存在するため、それらに対応した映像を全て用意することは非現実的である。

そこで、従来では、対象物を３次元情報で記述した素材を用いて任意視点からの画像を描画する手法が一般に用いられている。例えば、非特許文献１には３次元の位置情報を素材として用いる手法が提案され、非特許文献２には多数の方位から撮影した対象物の画像を画像素材として用いる手法が提案されている。

また、参照画像と該参照画像における各画素の奥行き情報（奥行きマップ）を基に３次元情報を推定する手法もある。
Saied Moezzi, Li-Cheng Tai, and Philippe Gerard "Virtual View Generation for 3D Digital Video", IEEE Multimedia, Vol.4, No.1, pp.18-26, 1997 橋本奈穂，斎藤英雄"サッカーシーンにおける多視点映像からの中間映像生成"電子情報通信学会技術報告，PRMU2001-151, Nov.2001. pp.87-94

しかしながら、対象物を３次元情報で記述した素材を用いて任意視点からの画像を描画する手法は、正確な３次元情報の取得に特殊な機器を必要とするという課題があり、多数の方位から撮影した対象物の画像を画像素材として用いる手法は、対象物を各方位から撮影する多数のカメラを固定する必要があるため撮影環境が限られてくる、また、視点の位置を切り替える方式であるため、カメラの存在する位置からの画像のみが生成可能であり、滑らかな視点移動での自由視点画像を生成することができないという課題がある。

また、参照画像と該参照画像における各画素の奥行き情報（奥行きマップ）を基に３次元情報を推定する手法を採用した場合、クライアント側において自由視点画像の生成を実時間処理で高精度に行うことが望まれる。

また、遠隔地間で画像情報を送受信して立体視画像を再生する方式には、送信側より２種類（左目と右目）もしくは数種類の画像を伝送し、受信側でそれらを用いて立体視画像を再生する方式があるが、このような方式においても、滑らかな視点移動での自由視点の立体視画像を実時間で高精度に再生できることが望まれる。

本発明の目的は、上記課題を解決し、滑らかな視点移動での自由視点画像を実時間で高精度に生成することができる自由視点画像ストリーミング方式を提供することにある。

上記課題を解決するために、本発明は、サーバ側に設けられ、一視点からの画像と該画像に対する奥行き情報と該画像に対する射影変換行列を圧縮し、これらを１つのグループとして管理する管理手段と、前記画像と奥行き情報と射影変換行列を同時にストリーミング配信する配信手段と、クライアント側に設けられ、前記配信手段によりストリーミング配信された前記画像と奥行き情報と射影変換行列を受信し、自由視点画像を生成すると共に、自由視点画像における前景画像で隠蔽されていた箇所に対する背景画像を補完する自由視点画像生成手段とを具備したことを特徴としている。

また、本発明は、前記自由視点画像生成装置が、左目出力画像と右目出力画像を生成して立体視画像の再生を可能にするものであることを特徴としている。

さらに、本発明は、前記自由視点画像生成装置が、前記画像、前記奥行きマップおよび前記射影変換行列を用いて自由視点画像と背景画像を生成すると共に、、各フレームごとに順次更新した背景画像を用いて自由視点画像における前景画像で隠蔽されていた箇所に対する背景画像を補完することを特徴としている。

本発明によれば、任意視点からの画像を生成するために、一視点からの画像と該画像に対する奥行き情報と該画像に対する射影変換行列を圧縮して１つのグループとして管理し、これらを同時にストリーミング配信するので、クライアント側では、ストリーミング配信される画像と奥行き情報と射影変換行列を用いて滑らかな視点移動での高精度の自由視点画像を実時間で生成することができる。

また、左目画像と右目画像を生成することにより、視点移動による自由視点からの、滑らか且つ高精度の立体視画像を再生できる。

以下、図面を参照して本発明を詳細に説明する。図１は、本発明の概略構成示すブロック図である。映像配信サーバ１とクライアント２とはネットワーク３を介して接続される。

映像配信サーバ１は、対象物をある視点から撮影することにより得られた画像（以下、参照画像）Ｖと、該参照画像Ｖと他の視点から撮影した画像から生成された画像（又は画素）の奥行きマップＭと、該参照画像Ｖに対する射影変換行列Ｂとを圧縮し、これらを１つのグループとして管理している。

画像の奥行きマップＭは周知の方法で生成できる。また、射影変換行列Ｂは以下のようにして算出できる。まず、画像の奥行きマップＭを用いて、参照画像Ｖを、奥行きの値がある閾値Ｔｈ以上の背景画像と閾値Ｔｈより小さい前景画像に分離する。

これにより抽出された背景画像を背景バッファに書き込む。背景バッファに画像が存在しない第１フレームでは、抽出された背景画像をそのまま背景バッファに書き込んで記憶するが、第２フレーム以降のフレームでは、背景バッファに記憶されている画像に順次各フレームで抽出された背景画像を合成、すなわち上書きする。この際の合成を行うために、現在の背景バッファに記憶されている画像と抽出された背景画像との間の射影変換行列Ｂを算出する。この射影変換行列Ｂは、式(1)により定義される。

（ｕ，ｖ，１）^Ｔ×Ｂ（ｕ′，ｖ′，１）^Ｔ＝０・・・(1)

ここに、（ｕ，ｖ，１）は現在の背景バッファに記憶されている画像の画素の位置、（ｕ′，ｖ′，１）は抽出された背景画像における前記位置（ｕ，ｖ，１）の画素に対応する画素の位置である。

射影変換行列Ｂは３×３の行列であるが、スケールを任意に決めることができるため、自由度は８である。すなわち、（ｕ，ｖ，１）と（ｕ′，ｖ′，１）の対応が少なくとも８点求まれば、射影変換行列Ｂを算出することができる。

映像配信サーバ１は、ストリーミング配信装置を備え、自己が管理している参照画像Ｖと該参照画像Ｖに対する奥行きマップＭと該参照画像Ｖに対する射影変換行列Ｂを同時にクライアント２にストリーミング配信する。

図２は、フレームにおける参照画像Ｖ、該参照画像Ｖに対する奥行きマップＭ、該参照画像Ｖに対する射影変換行列Ｂの具体例を示す図である。参照画像Ｖは、対象物をある視点から撮影することにより得られた画像であり、奥行きマップＭは、該参照画像Ｖにおける各画素の奥行きを輝度によって表現したデータであり、射影変換行列Ｂは３×３の行列である。

図３は、配信サーバ１からクライアント２へストリーミング配信されるデータの一例を示す。参照画像Ｖの各１フレーム分のフレームデータ（Frame Data）にフレームヘッダ（Frame Header）が付加される。フレームヘッダは、フレームデータの画像に対する奥行きマップ（Depth Map）Ｍと射影変換行列（Projection Matrix）Ｂを含む。フレームヘッダが付加された複数のフレームデータからファイルが構成され、ファイルには、宛先アドレスや送信元アドレス、画像名などを含むファイルヘッダ（File Header）が付加される。

図４は、クライアント２における処理の例を示すフロー図である。クライアント２では、まず、映像配信サーバ１から配信されてきた参照画像Ｖと画像の奥行きマップＭを用いて、仮の自由視点画像を生成する（Ｓ４１）。画像の奥行きマップＭでは、参照画像Ｖの各画素における奥行きＺ_ｕｖが記述されているため、各画素の座標と奥行きにより各画素の３次元上での位置が取得できる。これを用いることにより、仮の自由視点画像を生成できる。

すなわち、カメラの回転を３×３の行列Ｒ′、カメラの平行移動を１×３のベクトルｔ′として定義し、参照画像Ｖにおける画素の位置を（ｕ，ｖ）と表した場合、自由視点における対応点（ｕ″，ｖ″）と、（ｕ，ｖ）の関係は下記の式(2)によって表される。
（ｕ″，ｖ″，１）^Ｔ×（Ｚ_ｕｖＲ′（ｕ，ｖ，１）^Ｔ＋ｔ′）＝０・・・(2)

式(2)を（ｕ″，ｖ″，１）^Ｔについて解くことにより、自由視点における各点の座標を求めることができる。これによって求められた（ｕ″，ｖ″）に対して、参照画像Ｖにおける（ｕ，ｖ）の輝度を与えることにより、仮の自由視点画像が生成される。

また、映像配信サーバ１から配信されてきた参照画像Ｖと画像の奥行きマップＭとから該参照画像Ｖの背景画像を抽出し、抽出された背景画像を、射影変換行列Ｂを用いて背景バッファに記憶されている画像に合成することにより背景バッファを更新する（Ｓ４２）。なお、最初のフレームでは、抽出された背景画像がそのまま背景バッファに記憶される。

背景バッファの更新の際、参照画像Ｖから抽出された背景画像の画素と同一点の画素が背景バッファに既に記憶されていた場合、参照画像Ｖから抽出された背景画像の画素を優先させることとする。これにより、より新しい情報を優先させて合成させることが可能になり、各フレームにおける背景部の動きに対応させることができるようになる。また、動画像のフレーム数が増えるにつれて背景バッファに蓄積される動画像の背景画像のデータ量が多くなり、動画像の隠蔽領域（前景により隠蔽されていた部分）が小さくなる。なお、配信サーバ１からクライアント１に配信される射影変換行列のデータ量は小さい。

次に、仮の自由視点画像と背景バッファに記憶されている背景画像とを合成することにより、出力画像を生成する（Ｓ４３）。この出力画像は、前景画像による隠蔽領域が補完された自由視点画像である。

仮の自由視点画像と背景バッファに記憶されている背景画像とを合成して隠蔽領域を補完する方法を以下に説明する。まず、仮の自由視点画像と背景バッファに記憶されている画像との間の射影変換行列Ｂ′を算出する。射影変換行列Ｂ′の算出には、画像間の対応点が必要とされるが、前記式(1)で算出した射影変換行列Ｂと伝送された奥行きマップＭから求められた対応点の関係を用いることにより、マッチングを取ることなく対応点を算出できる。この算出は少ない処理量で行うことができるから、クライアント１における計算量の負荷は軽い。

その後、算出された射影変換行列Ｂ′を用いて、対応点がないとして判断された画像に対する補完を行う。点（ｕ″，ｖ″）の補完を行う際には、下記の式(3)を満たす点（ｕ′，ｖ′，１）を算出し、参照画像の画素（ｕ′，ｖ′）における輝度を点（ｕ″，ｖ″）の輝度として定義する。

（ｕ′，ｖ′，１）^Ｔ×Ｂ′（ｕ″，ｖ″，１）^Ｔ＝０・・・(3)

ただし、ｕ′およびｖ′が整数でない場合には、線形補完により輝度値の修正を行う。以上の処理により、隠蔽領域および誤対応などにより対応点なしと判断された箇所に対する高精度な補完が可能になる。

図５は、クライアント２における処理の他の例を示すフロー図である。本例は、クライアント２において、左目および右目に対応する２視点からのデータ（左目出力画像と右目出力画像）を生成して立体視画像を再生可能にした例である。

クライアント２では、まず、映像配信サーバ１から配信されてきた参照画像Ｖと画像の奥行きマップＭを用いて、仮の左目画像と仮の右目画像を生成する（Ｓ５１，Ｓ５２）。また、映像配信サーバ１から配信されてきた参照画像Ｖと画像の奥行きマップＭとから該参照画像Ｖの背景画像を抽出し、さらに射影変換行列Ｂを用い、背景画像を背景バッファに記憶されている画像に合成して背景バッファを更新する（Ｓ５３）。

次に、仮の左目画像および仮の右目画像と背景バッファに記憶されている背景画像とを合成して左目出力画像および右目出力画像を生成する（Ｓ５４，Ｓ５５）。これにより、隠蔽領域が補完された左目出力画像および右目出力画像を生成することができ、これらの画像を同時に表示させることによって高精度の立体視画像を再生できる。また、自由視点からの画像あるいは立体視画像を任意に選択して再生するようにすることも可能である。

本発明は、高精度の画像を各ユーザのニーズに応じてストリーミング配信するものであり、パーソナルコンピュータやワークステーションなどの通信、放送、携帯電話やＰＤＡ（Personal Digital Assistants）に代表される無線通信などによる映像配信システム全般に応用可能である。

本発明の概略構成示すブロック図である。参照画像、奥行きマップおよび射影変換行列の具体例を示す図である。ストリーミング配信されるデータの一例を示す図である。クライアントにおける処理の例を示すフロー図である。クライアントにおける処理の他の例を示すフロー図である。

符号の説明

１・・・映像配信サーバ、２・・・クライアント、３・・・ネットワーク

Claims

サーバ側に設けられ、一視点からの画像と該画像に対する奥行き情報と該画像に対する射影変換行列を圧縮し、これらを１つのグループとして管理する管理手段と、
前記画像と奥行き情報と射影変換行列を同時にストリーミング配信する配信手段と、
クライアント側に設けられ、前記配信手段によりストリーミング配信された前記画像と奥行き情報と射影変換行列を受信し、自由視点画像を生成すると共に、自由視点画像における前景画像で隠蔽されていた箇所に対する背景画像を補完する自由視点画像生成手段とを具備したことを特徴とする自由視点画像ストリーミング方式。
前記自由視点画像生成装置は、左目出力画像と右目出力画像を生成して立体視画像の再生を可能にするものであることを特徴とする請求項１に記載の自由視点画像ストリーミング方式。
前記自由視点画像生成装置は、前記画像、前記奥行きマップおよび前記射影変換行列を用いて自由視点画像と背景画像を生成すると共に、各フレームごとに順次更新した背景画像を用いて自由視点画像における前景画像で隠蔽されていた箇所に対する背景画像を補完することを特徴とする請求項１または２に記載の自由視点画像ストリーミング方式。