JP2019041341A - 多視点画像符号化装置、多視点画像復号装置及びそれらのプログラム - Google Patents

Abstract

【課題】立体像の品質が高く、符号化効率が優れた多視点画像符号化装置を提供する。【解決手段】多視点画像符号化装置２は、多視点画像群が入力される多視点画像群入力手段２０と、デプス群が入力されるデプス群入力手段２１と、多視点画像群から評価指標を算出する相関係数算出手段２２と、中心の視点に近い視点の多視点画像から順番に評価指標の閾値判定を行って符号化間隔を決定する符号化間隔決定手段２３と、決定した符号化間隔で多視点画像及びデプスを符号化する符号化手段２４と、符号化した多視点画像及びデプスと、符号化間隔情報とを送信する送信手段２５とを備える。【選択図】図２

Description

本発明は、多視点画像符号化装置、多視点画像復号装置及びそれらのプログラムに関する。

従来より、任意視点から視認することができる立体テレビ用の撮像・表示方式として、平面上又は球面上に配列されたレンズ群を用いて、撮像・表示するインテグラル方式が知られている。インテグラル方式の立体映像は、複数の要素画像から構成される要素画像群を用いて表現される。

要素画像群の伝送に際しては、情報量が膨大であることから、何らかの映像符号化手法を用いて、情報量を削減する必要がある（非特許文献１）。しかし、要素画像群に既存の映像符号化手法を適用した場合、既存の映像符号化手法における変換・量子化のブロック単位と、要素画像群を構成する要素画像の画素数・形状とが異なることから符号化効率が劣化する。この劣化を解決する手法として、要素画像を多視点画像群に変換してから既存の映像符号化手法を用いることが提案されている(特許文献１)。

多視点画像群の符号化手法として、大きく２つの手法が知られている。その一つは、全ての多視点画像を符号化する手法である。もう一つは、多視点画像から奥行情報画像(以下、「デプス」と表記)を生成し、一部の多視点画像及びデプスのみを符号化し、復号時に視点内挿する手法である。

後者の手法では、理想的なデプスが生成可能であれば、符号化対象とする多視点画像の数及びデプスの数が最小となるように、例えば、多視点画像群の中心及び４隅に位置する多視点画像及びデプスのみを符号化し、それ以外の多視点画像及びデプスを符号化する必要がない。そして、後者の手法では、符号化した多視点画像及びデプスを復号し、符号化しなかった多視点画像及びデプスについては、視点内挿技術を用いて補完することで立体像を復号する。

特に実写では、理想的なデプスを生成することが難しく、後者の手法を適用した場合、十分な品質で立体像を復号することができない。そこで、多視点画像群を符号化する際、符号化対象とする多視点画像の数及びデプスの数を最小とはせず、視点内挿技術で対応できる範囲にすることが考えられる。この場合、符号化対象とする多視点画像及びデプスを一定間隔、例えば、多視点画像群及びデプスを数視点おきに符号化し、符号化しなかった多視点画像及びデプスを視点内挿して補完すればよい。

特許６０３１２６０号公報

Ｈ.２６５／ＨＥＶＣ、ＩＳＯ／ＩＥＣ ２３００８−２

前記した従来技術では、多視点画像群を符号化するにあたって、符号化する多視点画像及びデプスを固定間隔で符号化する。このため、従来技術では、被写体の模様や形状が変化した場合でも固定間隔で符号化するので、その模様や形状によっては符号化対象とする多視点画像の数及びデプスの数に過不足が生じる。ここで、符号化対象とする多視点画像の数及びデプスの数が少なすぎる場合、復号した際に満足な品質の立体像を得ることができない。一方、符号化対象とする多視点画像の数及びデプスの数が多すぎる場合、必要以上に多視点画像及びデプスを符号化することとなり、符号化効率が劣化するという問題がある。

そこで、本発明は、立体像の品質が高く、符号化効率が優れた多視点画像符号化装置、多視点画像復号装置及びそれらのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明にかかる多視点画像符号化装置は、２次元方向の各視点に対応する多視点画像で構成された多視点画像群と、各多視点画像の奥行を表す奥行情報画像で構成された奥行情報画像群とを符号化する多視点画像符号化装置であって、水平評価指標算出手段と、垂直評価指標算出手段と、水平符号化間隔決定手段と、垂直符号化間隔決定手段と、符号化手段と、出力手段と、を備える構成とした。

かかる多視点画像符号化装置によれば、水平評価指標算出手段は、多視点画像群又は奥行情報画像群の少なくとも一方において、予め定めた基準視点の基準画像と、基準視点から水平方向に移動した視点の水平参照画像との相関を表す評価指標を算出する。
また、垂直評価指標算出手段は、基準画像と、基準視点から垂直方向に移動した視点の垂直参照画像との相関を表す評価指標を算出する。
ここで、評価指標とは、基準画像と参照画像との空間的な相関を評価する指標であり、例えば、２次元相関係数、平均２乗誤差、ピーク信号対雑音比をあげることができる。

また、水平符号化間隔決定手段は、基準視点に近い視点の水平参照画像から順番に、水平参照画像と基準画像との評価指標の閾値を判定し、水平方向の符号化間隔を決定する。
また、垂直符号化間隔決定手段は、基準視点に近い視点の垂直参照画像から順番に、垂直参照画像と前記基準画像との評価指標の閾値を判定し、垂直方向の符号化間隔を決定する。

また、符号化手段は、水平符号化間隔決定手段及び垂直符号化間隔決定手段が決定した符号化間隔で多視点画像及び奥行情報画像を符号化する。
そして、出力手段は、符号化手段が符号化した多視点画像及び奥行情報画像と、水平方向及び垂直方向の符号化間隔を表す符号化間隔情報とを出力する。
このように、多視点画像符号化装置は、水平方向及び垂直方向のそれぞれで、基準画像と参照画像との空間的な相関を考慮して符号化間隔を決定する。

また、前記した課題に鑑みて、本発明にかかる多視点画像復号装置は、本発明にかかる多視点画像符号化装置が出力する、水平方向及び垂直方向の符号化間隔を表す符号化間隔情報を用いて、符号化間隔で符号化された多視点画像及び奥行情報画像を復号する多視点画像復号装置であって、多視点画像補間手段と、奥行情報画像補間手段と、を備える構成とした。

かかる多視点画像復号装置によれば、多視点画像補間手段は、符号化間隔で復号された多視点画像に補間処理を施し、２次元方向の各視点に対応する多視点画像で構成された多視点画像群を生成する。
また、奥行情報画像補間手段は、符号化間隔で復号された奥行情報画像に補間処理を施し、各多視点画像の奥行を表す奥行情報画像で構成された奥行情報画像群を生成する。
このように、多視点画像復号装置は、符号化されなかった視点の多視点画像及び奥行情報画像を補間処理により生成する。

本発明によれば、以下のような優れた効果を奏する。
本発明によれば、基準画像と参照画像との空間的な相関を考慮して符号化間隔を決定し、決定した符号化間隔で多視点画像及び奥行情報画像を符号化し、符号化しなかった視点の多視点画像及び奥行情報画像を補間処理により生成する。これにより、本発明によれば、被写体の模様や形状に応じた符号化が可能となるので、必要以上に多視点画像及び奥行情報画像を符号化することがなく、符号化効率が優れ、高品質な立体像を得ることができる。

本発明の第１実施形態にかかる立体映像表示システムの概略図である。 図１の多視点画像符号化装置及び多視点画像復号装置の構成を示すブロック図である。 第１実施形態において、多視点画像群及びデプス群を説明する説明図である。 第１実施形態において、多視点画像群及びデプス群の符号化間隔を説明する説明図である。 図２の多視点画像符号化装置の動作を示すフローチャートである。 図２の多視点画像復号装置の動作を示すフローチャートである。 本発明の第２実施形態にかかる多視点画像符号化装置及び多視点画像復号装置の構成を示すブロック図である。

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。

（第１実施形態）
[立体映像表示システムの概略]
図１を参照し、本発明の第１実施形態にかかる立体画像表示システム１００の概略について説明する。

立体画像表示システム１００は、立体画像を表示するものであり、図１に示すように、立体画像生成装置１と、多視点画像符号化装置２と、多視点画像復号装置３と、立体画像表示装置４とを備える。例えば、立体画像生成装置１及び多視点画像符号化装置２が放送局に配置され、多視点画像復号装置３及び立体画像表示装置４がユーザＵの自宅に配置されていることとする。

立体画像生成装置１は、インテグラル方式（ＩＰ方式）で立体画像を生成するものである。ここで、立体画像生成装置１は、既知の手法により、要素画像群を多視点画像群に変換すると共に、各多視点画像のデプス（奥行情報画像）を生成する。例えば、立体画像生成装置１は、各要素画像から同一座標の画素を取得し、取得した画素をその要素画像の位置に応じて配置することで、多視点画像を生成する。また、例えば、立体画像生成装置１は、ステレオ画像や距離センサを用いて、デプスを生成する。このデプスは、多視点画像の画素毎の奥行値を表した情報である。
その後、立体画像生成装置１は、多視点画像群及びデプス群を多視点画像符号化装置２に出力する。

多視点画像符号化装置２は、立体画像生成装置１から入力された多視点画像群及びデプス群を符号化し、符号化した多視点画像群及びデプス群と、後記する符号化間隔情報とを多視点画像復号装置３に送信するものである。
多視点画像復号装置３は、多視点画像符号化装置２から符号化間隔情報と、符号化された多視点画像群及びデプス群とを受信し、受信した多視点画像群及びデプス群を復号するものである。そして、多視点画像復号装置３は、復号した多視点画像群及びデプス群を立体画像表示装置４に出力する。
なお、多視点画像符号化装置２及び多視点画像復号装置３の詳細は後記する。

立体画像表示装置４は、ＩＰ方式で立体画像を表示するものである。このとき、立体画像表示装置４は、既知の手法により、多視点画像群及びデプス群から要素画像群を生成する。例えば、立体画像表示装置４は、多視点画像及びデプスから被写体の３次元モデルを生成し、この３次元モデルから要素画像群を生成する
その後、立体画像表示装置４は、生成した要素画像群（立体画像）をユーザＵに表示する。

［多視点画像符号化装置の構成］
図２を参照し、多視点画像符号化装置２の構成について説明する。
図２に示すように、多視点画像符号化装置２は、多視点画像群入力手段２０と、デプス群入力手段２１と、相関係数算出手段２２と、符号化間隔決定手段２３と、符号化手段２４と、送信手段（出力手段）２５とを備える。

多視点画像群入力手段２０は、立体画像生成装置１等の外部から、２次元方向の各視点に対応する多視点画像で構成された多視点画像群が入力されるものである。そして、多視点画像群入力手段２０は、この多視点画像群を相関係数算出手段２２及び符号化手段２４に出力する。

デプス群入力手段２１は、立体画像生成装置１等の外部から、各多視点画像のデプスで構成されたデプス群が入力されるものである。そして、デプス群入力手段２１は、このデプス群を符号化手段２４に出力する。

相関係数算出手段２２は、後記する評価指標を算出するものであり、水平相関係数算出手段（水平評価指標算出手段）２２Ｈと、垂直相関係数算出手段（垂直評価指標算出手段）２２Ｖとを備える。
水平相関係数算出手段２２Ｈは、多視点画像群入力手段２０から入力された多視点画像群において、予め定めた基準視点の基準画像と、基準視点から水平方向に移動した視点の水平参照画像との相関を表す評価指標（２次元相関係数）を算出するものである。
垂直相関係数算出手段２２Ｖは、多視点画像群入力手段２０から入力された多視点画像群において、基準画像と、基準視点から垂直方向に移動した視点の垂直参照画像との相関を表す評価指標（２次元相関係数）を算出するものである。

＜評価指標の算出＞
図３を参照し、相関係数算出手段２２による評価指標の算出について具体的に説明する（適宜図２参照）。
図３では、各視点に対応するように多視点画像ｖ及びデプスｄを２次元方向に配列して図示した。

図３に示すように、多視点画像群Ｖは、２次元方向の各視点に対応する多視点画像ｖで構成されている。本実施形態では、多視点画像群Ｖは、水平方向（Ｘ軸方向）に１３視点分、垂直方向（Ｙ軸方向）に９視点分の多視点画像ｖで構成されている。従って、デプス群Ｄは、デプスｄ及び多視点画像ｖがペアとなるように、多視点画像ｖと同数のデプスｄで構成されている。

第１実施形態では、多視点画像群Ｖ及びデプス群Ｄのうち、多視点画像群Ｖから評価指標を算出する。従って、多視点画像ｖが、基準画像及び参照画像として扱われる。以後、基準画像となる多視点画像を「基準多視点画像」、参照画像となる多視点画像を「参照多視点画像」とする。

また、本実施形態では、基準視点を中心の視点に設定することとする。図３に示すように、基準多視点画像ｖ_Ｃは、多視点画像群で中心視点に対応する多視点画像ｖ、つまり、左から７番目、上から５番目の視点の多視点画像ｖとなる。
また、基準視点より左側に位置する視点の多視点画像ｖを基準視点から近い順に、水平参照多視点画像ｖ_Ｌ１，ｖ_Ｌ２，…，ｖ_Ｌｊとする。添え字ｊは、基準視点からの水平方向の最大視点数を表す（図３の例では、ｊ＝６）。
また、基準視点より上側に位置する視点の多視点画像ｖを基準視点から近い順に、垂直参照多視点画像ｖ_Ｕ１，ｖ_Ｕ２，…，ｖ_Ｕｋとする。添え字ｋは、基準視点からの垂直方向の最大視点数を表す（図３の例では、ｋ＝４）。

評価指標とは、２つの画像の空間的な相関を表す指標であり、例えば、以下の式（１）で定義される２次元相関係数ｒのことである。式（１）では、２次元相関係数ｒの算出対象となる２つの画像をそれぞれ画像Ａ、画像Ｂとする。この画像Ａ及び画像Ｂは、横ｍ画素、縦ｎ画素である。また、式（１）では、Ａ￣が画像Ａの各画素の平均値を表し、Ｂ￣が画像Ｂの各画素の平均値を表し、Ａ_ｍｎが画像Ａで座標（ｍ，ｎ）の画素の画素値を表し、Ｂ_ｍｎが画像Ｂで座標（ｍ，ｎ）の画素の画素値を表す。

すなわち、水平相関係数算出手段２２Ｈは、式（１）を用いて、基準多視点画像ｖ_Ｃと水平参照多視点画像ｖ_Ｌｔとの２次元相関係数ｒ_Ｌｔを算出する。このとき、式（１）において、基準多視点画像ｖ_Ｃ又は水平参照多視点画像ｖ_Ｌｔの何れか一方を画像Ａをとし、他方を画像Ｂとする。なお、添え字ｔは、視点のカウンタを表す（図５）。
ここで、多視点画像群ＶがＲＧＢ形式の場合、Ｇ信号を用いて２次元相関係数ｒ_Ｌｔを算出し、多視点画像群ＶがＹＣｂＣｒ形式の場合、Ｙ信号を用いて２次元相関係数ｒ_Ｌｔを算出する。

さらに、垂直相関係数算出手段２２Ｖは、式（１）を用いて、基準多視点画像ｖ_Ｃと垂直参照多視点画像ｖ_Ｕｔとの２次元相関係数ｒ_Ｕｔを算出する。このとき、式（１）において、基準多視点画像ｖ_Ｃ又は垂直参照多視点画像ｖ_Ｕｔの何れか一方を画像Ａをとし、他方を画像Ｂとする。

その後、相関係数算出手段２２は、水平相関係数算出手段２２Ｈ及び垂直相関係数算出手段２２Ｖで算出した評価指標を符号化間隔決定手段２３に出力する。

図２に戻り、多視点画像符号化装置２の構成について、説明を続ける。
符号化間隔決定手段２３は、相関係数算出手段２２から入力された評価指標の閾値判定により符号化間隔を決定するものであり、水平符号化間隔決定手段２３Ｈと、垂直符号化間隔決定手段２３Ｖとを備える。
水平符号化間隔決定手段２３Ｈは、基準視点に近い視点の水平参照多視点画像ｖ_Ｌｔから順番に、当該水平参照多視点画像ｖ_Ｌｔと基準多視点画像ｖ_Ｃとの評価指標（２次元相関係数ｒ_Ｌｔ）の閾値判定を行って、水平方向の符号化間隔を決定するものである。
垂直符号化間隔決定手段２３Ｖは、基準視点に近い視点の垂直参照多視点画像ｖ_Ｕｔから順番に、当該垂直参照多視点画像ｖ_Ｕｔと基準多視点画像ｖ_Ｃとの評価指標（２次元相関係数ｒ_Ｕｔ）の閾値判定を行って、垂直方向の符号化間隔を決定するものである。

＜符号化間隔の決定＞
図３を参照し、符号化間隔決定手段２３による符号化間隔の決定について具体的に説明する（適宜図２参照）。

水平符号化間隔決定手段２３Ｈは、２次元相関係数ｒ_Ｌｔが閾値ｔｈ未満であるか否かの閾値判定を、２次元相関係数ｒ_Ｌｔが閾値ｔｈ未満になるまで、水平参照多視点画像ｖ_Ｌｔの視点を基準視点から１視点ずつ水平方向に離間させながら繰り返す。そして、水平符号化間隔決定手段２３Ｈは、２次元相関係数ｒ_Ｌｔが閾値ｔｈ未満になった場合、水平参照多視点画像ｖ_Ｌｔの視点と基準視点との間隔を、水平方向の符号化間隔として決定する。
なお、閾値ｔｈは、任意の値で予め設定しておく。

最初に、水平符号化間隔決定手段２３Ｈは、基準視点から水平方向に１視点離れた水平参照多視点画像ｖ_Ｌ１と基準多視点画像ｖ_Ｃとの２次元相関係数ｒ_Ｌ１が閾値ｔｈ未満であるか否かを判定する。
２次元相関係数ｒ_Ｌ１が閾値ｔｈ未満の場合、水平符号化間隔決定手段２３Ｈは、水平参照多視点画像ｖ_Ｌ１の視点と基準視点との間隔である１視点を、水平方向の符号化間隔として決定し、判定を終了する。
２次元相関係数ｒ_Ｌ１が閾値ｔｈ未満でない場合、水平符号化間隔決定手段２３Ｈは、以下のように、水平参照多視点画像ｖ_Ｌ２に対する処理を行う。

次に、水平符号化間隔決定手段２３Ｈは、基準視点から水平方向に２視点離れた水平参照多視点画像ｖ_Ｌ２と基準多視点画像ｖ_Ｃとの２次元相関係数ｒ_Ｌ２が閾値ｔｈ未満であるか否かを判定する。
２次元相関係数ｒ_Ｌ２が閾値ｔｈ未満の場合、水平符号化間隔決定手段２３Ｈは、水平参照多視点画像ｖ_Ｌ２の視点と基準視点との間隔である２視点を、水平方向の符号化間隔として決定し、判定を終了する。
２次元相関係数ｒ_Ｌ２が閾値ｔｈ未満でない場合、水平符号化間隔決定手段２３Ｈは、２次元相関係数ｒ_Ｌ３，…，ｒ_Ｌ５が閾値ｔｈ未満になるまで、水平参照多視点画像ｖ_Ｌ３，…，ｖ_Ｌ５の順に離間させながら閾値判定を繰り返す。

ここで、閾値判定を繰り返し、多視点画像群Ｖにおいて、水平方向で最も遠い視点の水平参照多視点画像ｖ_Ｌ６に到った場合を考える。この場合、水平方向の符号化間隔が、基準視点と水平参照多視点画像ｖ_Ｌ６の視点との間隔を超えることがない。このため、水平符号化間隔決定手段２３Ｈは、水平参照多視点画像ｖ_Ｌ６の視点と基準視点との間隔である６視点を、水平方向の符号化間隔として決定し、判定を終了する。

垂直符号化間隔決定手段２３Ｖは、水平符号化間隔決定手段２３Ｈと同様の処理を垂直方向で行う。すなわち、垂直符号化間隔決定手段２３Ｖは、２次元相関係数ｒ_Ｕｔが閾値ｔｈ未満であるか否かの閾値判定を、２次元相関係数ｒ_Ｕｔが閾値ｔｈ未満になるまで、垂直参照多視点画像ｖ_Ｕｔの視点を基準視点から１視点ずつ垂直方向に離間させながら繰り返す。そして、垂直符号化間隔決定手段２３Ｖは、２次元相関係数ｒ_Ｕｔが閾値ｔｈ未満になった場合、垂直参照多視点画像ｖ_Ｕｔの視点と基準視点との間隔を、垂直方向の符号化間隔として決定する。

最初に、垂直符号化間隔決定手段２３Ｖは、基準視点から垂直方向に１視点離れた垂直参照多視点画像ｖ_Ｕ１と基準多視点画像ｖ_Ｃとの２次元相関係数ｒ_Ｕ１が閾値ｔｈ未満であるか否かを判定する。
２次元相関係数ｒ_Ｕ１が閾値ｔｈ未満の場合、垂直符号化間隔決定手段２３Ｖは、垂直参照多視点画像ｖ_Ｕ１の視点と基準視点との間隔である１視点を、垂直方向の符号化間隔として決定し、判定を終了する。
２次元相関係数ｒ_Ｕ１が閾値ｔｈ未満の場合、垂直符号化間隔決定手段２３Ｖは、２次元相関係数ｒ_Ｕ２，ｒ_Ｕ３が閾値ｔｈ未満になるまで、垂直参照多視点画像ｖ_Ｕ２，ｖ_Ｕ３の順に離間させながら閾値判定を繰り返す。

ここで、閾値判定を繰り返し、多視点画像群Ｖにおいて、垂直方向で最も遠い視点の垂直参照多視点画像ｖ_Ｕ４に到った場合を考える。この場合、垂直方向の符号化間隔が、基準視点と垂直参照多視点画像ｖ_Ｕ４の視点との間隔を超えることがない。このため、垂直符号化間隔決定手段２３Ｖは、垂直参照多視点画像ｖ_Ｕ４の視点と基準視点との間隔である４視点を、垂直方向の符号化間隔として決定し、判定を終了する。

その後、符号化間隔決定手段２３は、水平符号化間隔決定手段２３Ｈ及び垂直符号化間隔決定手段２３Ｖで決定した符号化間隔を符号化手段２４に出力する。
このように、多視点画像群Ｖのみを用いて符号化間隔を決定したが、この符号化間隔は、多視点画像群Ｖだけでなくデプス群Ｄにも適用される。

図２に戻り、多視点画像符号化装置２の構成について、説明を続ける。
符号化手段２４は、符号化間隔決定手段２３から入力された符号化間隔で多視点画像群Ｖ及びデプス群Ｄを符号化するものである。ここで、符号化手段２４は、任意の手法（例えば、Ｈ．２６５／ＨＥＶＣ）で符号化を行うことができる。

例えば、水平方向の符号化間隔が３視点、垂直方向の符号化間隔が２視点の場合を考える。この場合、符号化手段２４は、図４に示すように、基準視点の多視点画像ｖ及びデプスｄを符号化する。さらに、符号化手段２４は、多視点画像ｖ及びデプスｄのそれぞれを、基準視点から数えて、水平方向で３視点間隔、垂直方向で２視点間隔で符号化する。このように、多視点画像群Ｖ及びデプス群Ｄを全て符号化する場合と比較して、符号化する多視点画像ｖ及びデプスｄが１／６になる。

そして、符号化手段２４は、水平方向及び垂直方向の符号化間隔を表す符号化間隔情報を生成する。その後、符号化手段２４は、符号化した多視点画像ｖ及びデプスｄと、生成した符号化間隔情報とを送信手段２５に出力する。

なお、図４では、符号化する多視点画像ｖ及びデプスｄを太線で図示し、符号化しない多視点画像ｖ及びデプスｄを破線で図示した。また、符号化間隔が、図４に示すように、水平方向で３視点間隔、垂直方向で２視点間隔に限定されないことは言うまでもない。

送信手段２５は、符号化手段２４から入力された多視点画像ｖ、デプスｄ及び符号化間隔情報を多視点画像復号装置３に送信するものである。ここで、送信手段２５は、デジタル放送を用いて送信を行うこととする。

［多視点画像復号装置の構成］
続いて、多視点画像復号装置３の構成について説明する。
図２に示すように、多視点画像復号装置３は、受信手段３０と、多視点画像復号手段３１と、デプス復号手段（奥行情報画像復号手段）３２と、多視点画像補間手段３３と、デプス補間手段（奥行情報画像補間手段）３４とを備える。

受信手段３０は、多視点画像符号化装置２から多視点画像ｖ、デプスｄ及び符号化間隔情報を受信するものである。そして、受信手段３０は、受信した多視点画像ｖ及び符号化間隔情報を多視点画像復号手段３１に出力する。さらに、受信手段３０は、受信したデプスｄ及び符号化間隔情報をデプス復号手段３２に出力する。

多視点画像復号手段３１は、受信手段３０から入力された符号化間隔情報を参照し、この符号化間隔情報が示す符号化間隔で多視点画像ｖを復号するものである。ここで、多視点画像復号手段３１は、符号化手段２４と同一の手法（例えば、Ｈ．２６５／ＨＥＶＣ）で復号を行うことができる。例えば、水平方向の符号化間隔が３視点、垂直方向の符号化間隔が２視点の場合を考える。この場合、多視点画像復号手段３１は、図４に示すように、基準視点の多視点画像ｖを復号する。さらに、多視点画像復号手段３１は、基準視点から数えて、水平方向で３視点間隔、垂直方向で２視点間隔で多視点画像ｖを復号する。
その後、多視点画像復号手段３１は、復号した多視点画像ｖを多視点画像補間手段３３に出力する。

デプス復号手段３２は、受信手段３０から入力された符号化間隔情報を参照し、この符号化間隔情報が示す符号化間隔でデプスｄを復号するものである。ここで、デプス復号手段３２は、符号化手段２４と同一の手法（例えば、Ｈ．２６５／ＨＥＶＣ）で復号を行うことができる。例えば、水平方向の符号化間隔が３視点、垂直方向の符号化間隔が２視点の場合を考える。この場合、デプス復号手段３２は、図４に示すように、基準視点のデプスｄを復号する。さらに、デプス復号手段３２は、基準視点から数えて、水平方向で３視点間隔、垂直方向で２視点間隔でデプスｄを復号する。
その後、デプス復号手段３２は、復号したデプスｄをデプス補間手段３４に出力する。

多視点画像補間手段３３は、多視点画像復号手段３１から入力された多視点画像ｖに補間処理を施し、多視点画像群Ｖを生成するものである。ここで、多視点画像補間手段３３は、視点内挿により、符号化されていない視点の多視点画像ｖを補完する。そして、多視点画像補間手段３３は、生成した多視点画像群Ｖを立体画像表示装置４に出力する。

デプス補間手段３４は、多視点画像復号手段３１から入力されたデプスｄに補間処理を施し、デプス群Ｄを生成するものである。ここで、デプス補間手段３４は、視点内挿により、符号化されていない視点の多視点画像ｖに対応したデプスを補完する。そして、デプス補間手段３４は、生成したデプス群Ｄを立体画像表示装置４に出力する。

［多視点画像符号化装置の動作］
図５を参照し、多視点画像符号化装置２の動作について説明する（適宜図２参照）。
図５に示すように、多視点画像符号化装置２は、カウンタｔを‘１’に初期化する（ステップＳ１）。

水平相関係数算出手段２２Ｈは、基準多視点画像ｖ_Ｃと水平参照多視点画像ｖ_Ｌｔとの２次元相関係数ｒ_Ｌｔを算出する（ステップＳ２）。
水平符号化間隔決定手段２３Ｈは、２次元相関係数ｒ_Ｌｔが閾値ｔｈ未満であるか、又は、カウンタｔが最大視点数ｊ以上であるかを判定する（ステップＳ３）。

ステップＳ３でＮｏの場合、水平符号化間隔決定手段２３Ｈは、カウンタｔをインクリメントし（ステップＳ４）、ステップＳ２の処理に戻る。
ステップＳ３でＹｅｓの場合、水平符号化間隔決定手段２３Ｈは、カウンタｔを、水平方向の符号化間隔として決定する（ステップＳ５）。

多視点画像符号化装置２は、カウンタｔを‘１’に初期化する（ステップＳ６）。
垂直相関係数算出手段２２Ｖは、基準多視点画像ｖ_Ｃと垂直参照多視点画像ｖ_Ｕｔとの２次元相関係数ｒ_Ｕｔを算出する（ステップＳ７）。
垂直符号化間隔決定手段２３Ｖは、２次元相関係数ｒ_Ｕｔが閾値ｔｈ未満であるか、又は、カウンタｔが最大視点数ｋ以上であるかを判定する（ステップＳ８）。

ステップＳ８でＮｏの場合、垂直符号化間隔決定手段２３Ｖは、カウンタｔをインクリメントし（ステップＳ９）、ステップＳ７の処理に戻る。
ステップＳ８でＹｅｓの場合、垂直符号化間隔決定手段２３Ｖは、カウンタｔを、垂直方向の符号化間隔として決定する（ステップＳ１０）。

符号化手段２４は、ステップＳ５で決定した水平方向の符号化間隔、ステップＳ１０で決定した垂直方向の符号化間隔で多視点画像ｖ及びデプスｄを符号化する。そして、符号化手段２４は、水平方向及び垂直方向の符号化間隔を表す符号化間隔情報を生成する（ステップＳ１１）。
送信手段２５は、ステップＳ１０で符号化した多視点画像ｖ及びデプスｄと、生成した符号化間隔情報を多視点画像復号装置３に送信する（ステップＳ１２）。

［多視点画像復号装置の動作］
図６を参照し、多視点画像復号装置３の動作について説明する（適宜図２参照）。
図６に示すように、受信手段３０は、多視点画像符号化装置２から多視点画像ｖ、デプスｄ及び符号化間隔情報を受信する（ステップＳ２０）。

多視点画像復号手段３１は、ステップＳ２０で受信した符号化間隔情報を参照し、この符号化間隔情報が示す符号化間隔で多視点画像ｖを復号する。
また、デプス復号手段３２は、ステップＳ２０で受信した符号化間隔情報を参照し、この符号化間隔情報が示す符号化間隔でデプスｄを復号する（ステップＳ２１）。

多視点画像補間手段３３は、ステップＳ２１で復号した多視点画像ｖに視点内挿処理を施す。
また、デプス補間手段３４は、ステップＳ２１で復号したデプスｄに視点内挿処理を施す（ステップＳ２２）。

［作用・効果］
以上のように、本発明の第１実施形態に係る立体画像表示システム１００は、多視点画像ｖの空間的な相関を考慮して符号化間隔を決定し、決定した符号化間隔で多視点画像ｖ及びデプスｄを符号化し、符号化しなかった視点の多視点画像ｖ及びデプスｄを視点内挿により生成する。これにより、立体画像表示システム１００では、被写体の模様や形状に応じた符号化が可能となるので、必要以上の多視点画像ｖ及びデプスｄを符号化することがなく、符号化効率が優れ、高品質な立体像を得ることができる。

（第２実施形態）
図１を参照し、本発明の第２実施形態にかかる立体画像表示システム１００Ｂについて、第１実施形態と異なる点を説明する。
第１実施形態では、多視点画像群から２次元相関係数を求めることとして説明した。これに対し、第２実施形態では、デプス群から２次元相関係数を求める点が、第１実施形態と異なる。

図１に示すように、立体画像表示システム１００Ｂは、立体画像生成装置１と、多視点画像符号化装置２Ｂと、多視点画像復号装置３と、立体画像表示装置４とを備える。
なお、多視点画像符号化装置２Ｂ以外の各装置は、第１実施形態と同様のため、説明を省略する。

［多視点画像符号化装置の構成］
図７を参照し、多視点画像符号化装置２Ｂの構成について説明する。
図７に示すように、多視点画像符号化装置２Ｂは、多視点画像群入力手段２０Ｂと、デプス群入力手段２１Ｂと、相関係数算出手段２２Ｂと、符号化間隔決定手段２３と、符号化手段２４と、送信手段２５とを備える。
なお、符号化間隔決定手段２３、符号化手段２４及び送信手段２５は、第１実施形態と同様のため、説明を省略する。

多視点画像群入力手段２０Ｂは、立体画像生成装置１等の外部から多視点画像群が入力されるものである。そして、多視点画像群入力手段２０Ｂは、この多視点画像群を符号化手段２４に出力する。

デプス群入力手段２１Ｂは、立体画像生成装置１等の外部からデプス群が入力されるものである。そして、デプス群入力手段２１Ｂは、このデプス群を相関係数算出手段２２Ｂ及び符号化手段２４に出力する。

相関係数算出手段２２Ｂは、デプス群から評価指標をするものであり、水平相関係数算出手段（水平評価指標算出手段）２２ＢＨと、垂直相関係数算出手段（垂直評価指標算出手段）２２ＢＶとを備える。
水平相関係数算出手段２２ＢＨは、デプス群入力手段２１Ｂから入力されたデプス群において、予め定めた基準視点の基準画像と、基準視点から水平方向に移動した視点の水平参照画像との相関を示す評価指標（２次元相関係数）を算出するものである。
垂直相関係数算出手段２２ＢＶは、デプス群入力手段２１Ｂから入力されたデプス群において、基準画像と、基準視点から垂直方向に移動した視点の垂直参照画像との相関を示す評価指標（２次元相関係数）を算出するものである。

すなわち、第２実施形態では、多視点画像群及びデプス群のうち、デプス群Ｄから評価指標を算出する。従って、デプスが、基準画像及び参照画像として扱われる。
なお、水平相関係数算出手段２２ＢＨ及び垂直相関係数算出手段２２ＢＶは、評価指標の算出方法などが第１実施形態と同様のため、これ以上の説明を省略する。

［作用・効果］
以上のように、本発明の第２実施形態に係る立体画像表示システム１００Ｂは、デプスの空間的な相関を考慮して符号化間隔を決定する。これにより、立体画像表示システム１００Ｂは、第１実施形態と同様、符号化効率が優れ、高品質な立体像を得ることができる。

（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

前記した各実施形態では、評価指標の算出及び閾値判定の際、水平方向で左側、垂直方向で上側に視点を離間させることとして説明したが、本発明では、視点を左右上下の何れの方向に離間させてもよい。
例えば、水平方向で右側、垂直方向で下側に視点を離間させてもよい。
また、基準視点に対して、水平方向で左右両側、垂直方向で上下両側の参照画像を用いてもよい。この場合、水平方向及び垂直方向のそれぞれにおいて、基準視点からの同一間隔となる２視点分の参照画像から評価指標を求め、２つの評価指標の平均値で閾値判定を行ってもよい。

前記した各実施形態では、評価指標として、２次元相関係数を算出することとして説明したが、本発明は、これに限定されない。例えば、評価指標として、平均２乗誤差（ＭＳＥ：Mean Squared Error）、又は、ピーク信号対雑音比（ＰＳＮＲ：Peak Signal-to-noise Ratio)を算出してもよい。この場合、評価指標の種類に応じて、閾値を適切な値に予め設定することが好ましい。

前記した各実施形態では、ＲＧＢ形式であればＧ信号、ＹＣｂＣｒ形式であればＹ信号を用いて、評価指標を算出することとして説明したが、本発明は、これに限定されない。
例えば、ＲＧＢ形式の場合、Ｒ信号のみ、又は、Ｂ信号のみを用いて、評価指標を算出してもよい。さらに、Ｒ信号、Ｇ信号、Ｂ信号のうち、何れか２種類以上を用いて各信号の評価指標を算出し、その平均値から符号化間隔を決定してもよい。
例えば、ＹＣｂＣｒ形式の場合、Ｃｂ信号のみ、又は、Ｃｒ信号のみを用いて、評価指標を算出してもよい。さらに、Ｙ信号、Ｃｂ信号、Ｃｒ信号のうち、何れか２種類以上を用いて各信号の評価指標を算出し、その平均値から符号化間隔を決定してもよい。

前記した各実施形態では、多視点画像群又はデプス群の一方から評価指標を算出することとして説明したが、本発明は、これに限定されない。すなわち、本発明は、多視点画像群又はデプス群の両方から評価指標を算出し、多視点画像群から算出した評価指数により多視点画像群の符号化間隔を決定し、デプス群から算出した評価指数によりデプス群の符号化間隔を決定してもよい。

前記した各実施形態では、同一時刻の多視点画像群又はデプス群で構成された静止画であることとして説明したが、時間方向に連続した多視点画像群又はデプス群からなる動画像であってもよい。

前記した各実施形態では、出力手段が、デジタル放送を用いる送信手段であることとして説明したが、本発明は、これに限定されない。例えば、出力手段は、ネットワークを介して、多視点画像、デプス及び符号化間隔情報を多視点画像復号装置に出力（送信）できる。さらに、出力手段がストレージ装置に多視点画像、デプス及び符号化間隔情報を出力（蓄積）し、多視点画像復号装置がストレージ装置からこれら情報を読み出してもよい。

前記した実施形態では、多視点画像符号化装置及び多視点画像復号装置のそれぞれを独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した多視点画像符号化装置及び多視点画像復号装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 立体画像生成装置
２，２Ｂ 多視点画像符号化装置
２０，２０Ｂ 多視点画像群入力手段
２１，２１Ｂ デプス群入力手段
２２，２２Ｂ 相関係数算出手段
２２Ｈ，２２ＢＨ 水平相関係数算出手段（水平評価指標算出手段）
２２Ｖ，２２ＢＶ 垂直相関係数算出手段（垂直評価指標算出手段）
２３ 符号化間隔決定手段
２３Ｈ 水平符号化間隔決定手段
２３Ｖ 垂直符号化間隔決定手段
２４ 符号化手段
２５ 送信手段（出力手段）
３ 多視点画像復号装置
３０ 受信手段
３１ 多視点画像復号手段
３２ デプス復号手段（奥行情報画像復号手段）
３３ 多視点画像補間手段
３４ デプス補間手段（奥行情報画像補間手段）
４ 立体画像表示装置
１００，１００Ｂ 立体画像表示システム

Claims (7)

1. ２次元方向の各視点に対応する多視点画像で構成された多視点画像群と、各多視点画像の奥行を表す奥行情報画像で構成された奥行情報画像群とを符号化する多視点画像符号化装置であって、
   前記多視点画像群又は前記奥行情報画像群の少なくとも一方において、予め定めた基準視点の基準画像と、前記基準視点から水平方向に移動した視点の水平参照画像との相関を表す評価指標を算出する水平評価指標算出手段と、
   前記基準画像と、前記基準視点から垂直方向に移動した視点の垂直参照画像との相関を表す評価指標を算出する垂直評価指標算出手段と、
   前記基準視点に近い視点の水平参照画像から順番に、当該水平参照画像と前記基準画像との評価指標の閾値を判定し、水平方向の符号化間隔を決定する水平符号化間隔決定手段と、
   前記基準視点に近い視点の垂直参照画像から順番に、当該垂直参照画像と前記基準画像との評価指標の閾値を判定し、垂直方向の符号化間隔を決定する垂直符号化間隔決定手段と、
   前記水平符号化間隔決定手段及び前記垂直符号化間隔決定手段が決定した符号化間隔で前記多視点画像及び前記奥行情報画像を符号化する符号化手段と、
   前記符号化手段が符号化した多視点画像及び奥行情報画像と、前記水平方向及び前記垂直方向の符号化間隔を表す符号化間隔情報とを出力する出力手段と、
   を備えることを特徴とする多視点画像符号化装置。
2. 前記水平符号化間隔決定手段は、
   前記水平参照画像と前記基準画像との評価指標が予め設定した閾値未満であるか否かの閾値判定を、当該評価指標が前記閾値未満になるまで、前記水平参照画像の視点を前記基準視点から１視点ずつ水平方向に離間させながら繰り返し、
   当該評価指標が前記閾値未満になった場合、前記水平参照画像の視点と前記基準視点との間隔を、前記水平方向の符号化間隔として決定し、
   前記垂直符号化間隔決定手段は、
   前記垂直参照画像と前記基準画像との評価指標が前記閾値未満であるか否かの閾値判定を、当該評価指標が前記閾値未満になるまで、前記垂直参照画像の視点を前記基準視点から１視点ずつ垂直方向に離間させながら繰り返し、
   当該評価指標が前記閾値未満になった場合、前記垂直参照画像の視点と前記基準視点との間隔を、前記垂直方向の符号化間隔として決定することを特徴とする請求項１に記載の多視点画像符号化装置。
3. 前記水平評価指標算出手段及び前記垂直評価指標算出手段は、前記評価指標として、２次元相関係数、平均２乗誤差、ピーク信号対雑音比の何れかを算出することを特徴とする請求項１又は請求項２に記載の多視点画像符号化装置。
4. 請求項１に記載の多視点画像符号化装置が出力する、前記水平方向及び前記垂直方向の符号化間隔を表す符号化間隔情報を用いて、前記符号化間隔で符号化された多視点画像及び奥行情報画像を復号する多視点画像復号装置であって、
   前記符号化間隔で復号された多視点画像に補間処理を施し、２次元方向の各視点に対応する多視点画像で構成された多視点画像群を生成する多視点画像補間手段と、
   前記符号化間隔で復号された奥行情報画像に補間処理を施し、各多視点画像の奥行を表す奥行情報画像で構成された奥行情報画像群を生成する奥行情報画像補間手段と、
   を備えることを特徴とする多視点画像復号装置。
5. 前記多視点画像符号化装置から、前記符号化間隔情報と、符号化された前記多視点画像及び前記奥行情報画像を受信する受信手段と、
   前記受信手段が受信した符号化間隔情報を参照し、前記符号化間隔で前記多視点画像を復号する多視点画像復号手段と、
   前記受信手段が受信した符号化間隔情報を参照し、前記符号化間隔で前記奥行情報画像を復号する奥行情報画像復号手段と、をさらに備え、
   前記多視点画像補間手段は、前記多視点画像復号手段が復号した多視点画像に補間処理を施し、
   前記奥行情報画像補間手段は、前記奥行情報画像復号手段が復号した奥行情報画像に補間処理を施すことを特徴とする請求項４に記載の多視点画像復号装置。
6. コンピュータを、請求項１から請求項３の何れか一項に記載の多視点画像符号化装置として機能させるための多視点画像符号化プログラム。
7. コンピュータを、請求項４又は請求項５に記載の多視点画像復号装置として機能させるための多視点画像復号プログラム。

Images