JP2011244025A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】高画質な視点合成画像を生成する。
【解決手段】多視点映像復号装置１０５は、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２とを用いて生成された視点合成画像と、その視点合成画像の視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１との差分である残差情報、Ｎ視点の２Ｄ画像１１、および奥行き画像１２を符号化した結果得られる符号化ストリームを受け取り、復号する。視点合成装置１５は、多視点映像復号装置１０５により復号されたＮ視点の２Ｄ画像１１と奥行き画像１２とを用いて、視点合成画像を生成する。残差情報補償装置１０６は、残差情報を、生成された視点合成画像に足し込む。本発明は、例えば、視点合成を行うシステムに適用することができる。
【選択図】図５

Description

本発明は、画像処理装置および画像処理方法に関し、特に、高画質な視点合成画像を生成することができるようにした画像処理装置および画像処理方法に関する。

任意視点の画像を生成する視点合成技術がある。この視点合成技術は、Ｎ視点の２Ｄ画像と奥行き画像（奥行き情報）からＭ（＞Ｎ）視点の２Ｄ画像を生成する技術である。

図１を参照して、視点合成技術の概要について説明する。

図１に示すように、視点合成技術では、２Ｄ画像と奥行き画像からなる入力画像１が入力される。そして、その入力画像１を用いて視点合成が行われ、入力画像１のカメラ位置の内側および外側の視点の２Ｄ画像である視点合成画像２が生成される。

図１の例では、２視点の入力画像１から６視点の視点合成画像２が生成され、２視点の入力画像１と６視点の視点合成画像２の計８視点の画像が得られている。

実際の用途では，視点合成技術は圧縮技術と組み合わせて使用される。視点合成技術と圧縮技術を組み合わせたシステムの構成例を図２に示す。

図２のシステムでは、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２が多視点映像符号化装置１３に入力される。

多視点映像符号化装置１３は、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２をAVC（Advanced Video Coding）方式やMVC（Multiview Video Coding）方式で符号化し、多視点映像復号装置１４に供給する。

多視点映像復号装置１４は、多視点映像符号化装置１３から供給される、符号化されたＮ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を、AVC方式やMVC方式に対応する方式で復号し、視点合成装置１５に供給する。

視点合成装置１５は、多視点映像復号装置１４による復号の結果得られるＮ視点の２Ｄ画像１１と奥行き画像１２を用いて、（Ｍ−Ｎ）視点の視点合成画像を生成する。視点合成装置１５は、Ｎ視点の２Ｄ画像１１と（Ｍ−Ｎ）視点の視点合成画像からなるＭ視点の２Ｄ画像を、Ｍ視点の再構成２Ｄ画像１６として出力する。

ところで、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。

特開2008-182669号公報

図２のシステムでは，少数の視点の画像から多数の視点の画像を生成するため、視点合成画像には多数の欠落情報が発生する。特に、入力画像のカメラ位置の外側の視点の画像が生成される場合、オクルージョン領域の情報は完全に欠落してしまう。従来技術では、このようなオクルージョン領域を周辺の画面内情報を用いて補間している。しかしながら、画面内補間の性能には限界があり、視点合成画像の画質は十分ではない。

本発明は、このような状況に鑑みてなされたものであり、高画質な視点合成画像を生成することができるようにするものである。

本発明の第１の側面の画像処理装置は、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報を受け取る受け取り手段と、前記基準２Ｄ画像を符号化して符号化ストリームを生成する符号化手段と、前記受け取り手段により受け取られた前記残差情報、前記奥行き情報、および前記符号化手段により生成された前記符号化ストリームを伝送する伝送手段とを備える画像処理装置である。

本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。

本発明の第１の側面においては、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報が受け取られ、前記基準２Ｄ画像が符号化されて符号化ストリームが生成され、前記残差情報、前記奥行き情報、および前記符号化ストリームが伝送される。

本発明の第２の側面の画像処理装置は、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とを受け取る受け取り手段と、前記基準２Ｄ画像を符号化した結果得られる符号化ストリームを復号する復号手段と、前記復号手段により復号された前記基準２Ｄ画像と前記受け取り手段により受け取られた前記奥行き情報とを用いて、前記視点合成画像を生成する生成手段と、前記受け取り手段により受け取られた前記残差情報を、前記生成手段により生成された前記視点合成画像に足し込む残差情報補償手段とを備える画像処理装置である。

本発明の第２の側面の画像処理方法は、本発明の第２の側面の画像処理方法に対応する。

本発明の第２の側面においては、基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とが受け取られ、前記基準２Ｄ画像を符号化した結果得られる符号化ストリームが復号され、復号された前記基準２Ｄ画像と受け取られた前記奥行き情報とを用いて、前記視点合成画像が生成され、受け取られた残差情報が、生成された視点合成画像に足し込まれる。

本発明の第１の側面によれば、高画質な視点合成画像を生成するための情報を伝送することができる。

本発明の第２の側面によれば、高画質な視点合成画像を生成することができる。

視点合成技術の概要について説明する図である。 従来のシステムの構成例を示すブロック図である。 本発明の概要を説明する図である。 本発明の概要を説明する図である。 本発明を適用したシステムの一実施の形態の構成例を示すブロック図である。 図５のシステムの処理を説明するフローチャートである。

[本発明の概要]
図３および図４は、本発明の概要を説明する図である。

なお、図３および図４は、２視点の画像から８視点の画像が生成される場合について説明する図である。

図３に示すように、本発明では、入力画像１だけでなく、視点合成画像２の視点合成位置でカメラにより取得された２Ｄ画像３１と視点合成画像２の差分情報である残差情報が符号化される。この残差情報は、合成画像の欠落情報を含んでおり、有用な情報である。

そして、視点合成を行う際、図４に示すように、入力画像１を用いて視点合成画像２を生成し、その視点合成画像２を残差情報で補償して、最終的な視点合成画像４１を生成する。

このように、本発明では、視点合成画像２へ残差情報を足しこむので、欠落情報が補償され、高画質な視点合成画像４１を生成することができる。

[システムの一実施の形態の構成例]
図５は、本発明を適用したシステムの一実施の形態の構成例を示すブロック図である。

なお、図５において、図２と同一のものには、同一の符号を付してあり、説明は繰り返しになるので適宜省略する。

図５のシステムには、Ｎ視点の２Ｄ画像１１（基準２Ｄ画像）、Ｎ視点の奥行き画像１２、および視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１が入力される。この（Ｍ−Ｎ）視点の２Ｄ画像１０１は、視点合成位置のカメラにより撮像され、残差情報を取得するために用いられる。

視点合成装置１０２は、残差情報取得装置１０３で残差情報を取得するために、図１の視点合成装置１５と同様に、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を用いて（Ｍ−Ｎ）視点の視点合成画像を生成し、残差情報取得装置１０３に供給する。

残差情報取得装置１０３は、視点合成装置１０２から供給される（Ｍ−Ｎ）視点の視点合成画像と、視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１の差分を計算し、残差情報とする。残差情報取得部１０３は、その残差情報を多視点映像符号化装置１０４に供給する。

多視点映像符号化装置１０４は、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報取得装置１０３から供給される残差情報を、AVC方式やMVC方式で符号化する。そして、多視点映像符号化装置１０４は、符号化の結果得られる符号化ストリームを多視点映像復号装置１０５に供給する。

多視点映像復号装置１０５は、多視点映像符号化装置１０４から供給される符号化ストリームを、AVC方式やMVC方式に対応する方式で復号し、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報を得る。多視点映像復号装置１０５は、そのＮ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を視点合成装置１５に供給し、残差情報を残差情報補償装置１０６に供給する。

残差情報補償装置１０６は、視点合成装置１５により生成された（Ｍ−Ｎ）視点の視点合成画像に、多視点映像復号装置１０５から供給される残差情報を足しこみ、（Ｍ−Ｎ）視点の視点合成画像の欠落情報を補償する。残差情報補償装置１０６は、補償後の（Ｍ−Ｎ）視点の視点合成画像と、視点合成装置１５から供給されるＮ視点の２Ｄ画像１１を、Ｍ視点の再構成２Ｄ画像１０７として出力する。このＭ視点再構成２Ｄ画像１０７は、例えば、立体画像の表示に用いられ、ユーザは、この立体画像を、眼鏡を用いずに見ることができる。

[システムの処理の説明]
図６は、図５のシステムの処理を説明するフローチャートである。

図６のステップＳ１１において、視点合成装置１０２は、Ｎ視点の２Ｄ画像１１とＮ視点の奥行き画像１２を用いて、（Ｍ−Ｎ）視点の視点合成を行い、（Ｍ−Ｎ）視点の視点合成画像を生成する。そして、視点合成装置１０２は、その（Ｍ−Ｎ）視点の視点合成画像を残差情報取得装置１０３に供給する。

ステップＳ１２において、残差情報取得装置１０３は、視点合成装置１０２から供給される（Ｍ−Ｎ）視点の視点合成画像と、視点合成位置の（Ｍ−Ｎ）視点の２Ｄ画像１０１の残差情報を計算する。残差情報取得部１０３は、その残差情報を多視点映像符号化装置１０４に供給する。

ステップＳ１３において、多視点映像符号化装置１０４は、Ｎ視点の２Ｄ画像１１およびＮ視点の奥行き画像１２、並びに残差情報取得装置１０３から供給される残差情報を、AVC方式やMVC方式で符号化する。そして、多視点映像符号化装置１０４は、その結果得られる符号化ストリームを多視点映像復号装置１０５に供給する。

ステップＳ１４において、多視点映像復号装置１０５は、多視点映像符号化装置１０４から供給される符号化されたＮ視点の２Ｄ画像１１およびＮ視点の奥行き画像１２、並びに残差情報である符号化ストリームを、AVC方式やMVC方式に対応する方式で復号する。そして、多視点映像復号装置１０５は、その結果得られるＮ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報を視点合成装置１５に供給し、残差情報を残差情報補償装置１０６に供給する。

ステップＳ１５において、視点合成装置１５は、多視点映像復号装置１０５から供給されるＮ視点の２Ｄ画像１１とＮ視点の奥行き画像を用いて、（Ｍ−Ｎ）視点の視点合成を行い、（Ｍ−Ｎ）視点の視点合成画像を生成する。そして、視点合成装置１０２は、その（Ｍ−Ｎ）視点の視点合成画像とＮ視点の２Ｄ画像１１を残差情報取得装置１０３に供給する。

ステップＳ１６において、残差情報補償装置１０６は、視点合成装置１５により生成された（Ｍ−Ｎ）視点の視点合成画像へ、多視点映像復号装置１０５から供給される残差情報を足しこみ、（Ｍ−Ｎ）視点の視点合成画像の欠落情報を補償する。

ステップＳ１６において、残差情報補償装置１０６は、補償後の（Ｍ−Ｎ）視点の視点合成画像と、視点合成装置１０５から供給されるＮ視点の２Ｄ画像１１を、Ｍ視点の再構成２Ｄ画像１０７として出力する。そして、処理は終了する。

なお、上述した説明では、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報が全て符号化されたが、Ｎ視点の２Ｄ画像１１以外は符号化されなくてもよい。

また、多視点映像符号化装置１０４は、Ｎ視点の２Ｄ画像１１、Ｎ視点の奥行き画像１２、および残差情報とともに、各視点合成画像に対する残差情報が存在するか否かを示す残差存在情報も含めて、多視点映像復号装置１０５に伝送するようにしてもよい。

さらに、Ｎ視点の２Ｄ画像１１およびＮ視点の奥行き画像１２とともに多視点映像復号装置１０５に伝送される残差情報は、Ｎ視点の２Ｄ画像１１の視点より外側の視点合成位置の視点合成画像（図３の例では、左側の視点の入力画像１より左側の２視点の視点合成画像２と、右側の視点の入力画像１より右側の２視点の視点合成画像２）に対する残差情報のみであってもよい。同様に、伝送される残差情報は、Ｎ視点の２Ｄ画像１１の視点より内側の視点合成位置の視点合成画像（図３の例では、２視点の入力画像１の各視点の間の２視点の視点合成画像２）に対する残差情報のみであってもよい。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１５ 視点合成装置， １０４ 多視点映像符号化装置， １０５ 多視点映像復号装置， １０６ 残差情報補償装置

Claims (13)

1. 基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報を受け取る受け取り手段と、
   前記基準２Ｄ画像を符号化して符号化ストリームを生成する符号化手段と、
   前記受け取り手段により受け取られた前記残差情報、前記奥行き情報、および前記符号化手段により生成された前記符号化ストリームを伝送する伝送手段と
   を備える画像処理装置。
2. 前記符号化手段は、前記受け取り手段により受け取られた前記残差情報を符号化して残差ストリームを生成し、
   前記伝送手段は、前記符号化手段により生成された前記残差ストリーム、前記奥行き情報、および前記符号化ストリームを伝送する
   請求項１に記載の画像処理装置。
3. 前記符号化手段は、前記奥行き情報を符号化して奥行きストリームを生成し、
   前記伝送手段は、前記残差情報、前記符号化手段により生成された奥行きストリーム、および前記符号化ストリームを伝送する
   請求項１に記載の画像処理装置。
4. 前記視点合成画像と前記視点合成画像の視点合成位置における２Ｄ画像との差分を計算して、前記残差情報を算出する算出手段
   をさらに備える
   請求項１に記載の画像処理装置。
5. 前記基準２Ｄ画像の視点数はＮであり、
   前記視点合成画像の視点数は、Ｎより大きいＭからＮを減算した値である
   請求項１に記載の画像処理装置。
6. 前記基準２Ｄ画像の視点数は２であり、
   前記視点合成画像の視点数は６である
   請求項５に記載の画像処理装置。
7. 前記受け取り手段は、前記視点合成画像に対する残差情報が存在するか否かを示す残差存在情報も受け取り、
   前記伝送手段は、前記受け取り手段により受け取られた残差存在情報も伝送する
   請求項１に記載の画像処理装置。
8. 前記残差情報は、前記基準２Ｄ画像の視点より外側の視点合成位置の視点合成画像である外側視点合成画像と、前記外側視点画像の視点合成位置における２Ｄ画像との差分である
   請求項１に記載の画像処理装置。
9. 前記受け取り手段は、前記外側視点合成画像と前記外側視点画像の視点合成位置における２Ｄ画像との差分が存在するか否かを示す外側残差存在情報を受け取り、
   前記伝送手段は、前記受け取り手段により受け取られた前記外側残差存在情報も伝送する
   請求項８に記載の画像処理装置。
10. 前記残差情報は、前記基準２Ｄ画像の視点より内側の視点合成位置の視点合成画像である内側視点合成画像と、前記内側視点画像の視点合成位置における２Ｄ画像との差分である
    請求項１に記載の画像処理装置。
11. 画像処理装置が、
    基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報を受け取る受け取りステップと、
    前記基準２Ｄ画像を符号化して符号化ストリームを生成する符号化ステップと、
    前記受け取りステップの処理により受け取られた前記残差情報、前記奥行き情報、および前記符号化ステップの処理により生成された前記符号化ストリームを伝送する伝送ステップと
    を含む画像処理方法。
12. 基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とを受け取る受け取り手段と、
    前記基準２Ｄ画像を符号化した結果得られる符号化ストリームを復号する復号手段と、
    前記復号手段により復号された前記基準２Ｄ画像と前記受け取り手段により受け取られた前記奥行き情報とを用いて、前記視点合成画像を生成する生成手段と、
    前記受け取り手段により受け取られた前記残差情報を、前記生成手段により生成された前記視点合成画像に足し込む残差情報補償手段と
    を備える画像処理装置。
13. 画像処理装置が、
    基準２Ｄ画像と奥行き情報とを用いて生成された視点合成画像と、前記視点合成画像の視点合成位置における２Ｄ画像との差分である残差情報と、前記奥行き情報とを受け取る受け取りステップと、
    前記基準２Ｄ画像を符号化した結果得られる符号化ストリームを復号する復号ステップと、
    前記復号ステップの処理により復号された前記基準２Ｄ画像と前記受け取りステップの処理により受け取られた前記奥行き情報とを用いて、前記視点合成画像を生成する生成ステップと、
    前記受け取りステップの処理により受け取られた前記残差情報を、前記生成ステップの処理により生成された前記視点合成画像に足し込む残差情報補償ステップと
    を含む画像処理方法。

Images