JP2011250334A - 多視点画像補正装置 - Google Patents

Abstract

【課題】主画像と副画像で構成される多視点画像において、主画像または副画像に、ネットワーク伝送エラーなどにより、特定視点における画像にのみ破損画像が発生する。
【解決手段】本発明は、主画像と副画像の特徴情報を抽出し、特徴情報のパタン比較により、主画像と副画像の視差ベクトルを生成し、上記視差ベクトルと主画像を用いて、副画像内に発生した破損画像を補正することの出来る多視点画像補正装置に関するものである。
【選択図】 図６

Description

本発明は、多視点画像補正装置に関する。例えば、主画像と副画像で構成される多視点画像において、主画像または副画像に、ネットワーク伝送エラーなどに起因する破損画像が含まれる場合、時間的前後の画像を含む副画像または主画像を用いて、破損画像を補正することの出来る多視点画像補正装置に関するものである。

本技術分野の背景技術として、多視点映像符号化において、符号化効率を向上させる技術として、「時間方向の予測だけではなく、カメラ間の予測を取り入れる」方式（下記、非特許文献１ 図５参照）がある。

また、別の技術として、「視差方向予測と時間方向予測とを同時に使うことによって多視点動画像を効率的に符号化する」方式（下記、特許文献１ 図１４参照）がある。

また、別の技術として、「圧縮符号化された動画像信号のビットストリーム中のエラーが含まれているマクロブロックを検出し、そのエラーを含む補完すべきマクロブロックに隣接するすでに復号されている領域を検出し、その検出した復号されている領域に対応する前フレームの領域を所定の動き探索にて検出し、その検出した前フレームの領域に隣接する補完すべきマクロブロックに対応する位置の補償領域の画像データをエラーマクロブロックの復号画像として補完する」方式（下記、特許文献２ 図１参照）がある。

特開２００７-０３６８００号公報（図６） 特開２００１-３０９３８８号公報（図１）

木全 英明，"多視点映像符号化ＭＶＣの国際標準化動向"， 小特集"映像の符号化最前線"，映像情報メディア学会誌，Vol.61， No.4，2007，pp426〜430.

前述の非特許文献１及び特許文献１の技術に記載の方法では、ネットワーク伝送エラーなどに起因して、符号化データの一部にエラーが発生した場合、多視点画像のうち、一部または全ての視点画像に、時間的にも、視差的にも関連性のない、または関連性の薄い、不正な画像が表示される。この結果、多視点画像を視聴する人の右目と左目に、それぞれ、時間的にも、視差的にも関連性のない、または関連性の薄い、画像が入力されるため、正常な３Ｄ画像として認識することが出来ないという課題がある。

また、前述の特許文献２の技術に記載の方法では、異なる時間の画像を用いるため、動きの早い動画像に対して、本来の画像と差異の大きな画像が表示されるという課題がある。

解決しようとする課題は、例えばネットワーク伝送エラーなどに起因して発生する破損画像の補正である。

上記課題は特許請求の範囲に記載の発明により解決される。例えば、時間的前後の画像を含む副画像または主画像を用いて、破損画像を補正する。

本発明によれば、例えばネットワーク伝送エラーなどに起因して発生する破損画像の補正ができる。例えば、本発明の多視点画像補正装置は、主画像と副画像で構成される多視点画像において、主画像または副画像に、ネットワーク伝送エラーなどに起因する破損画像が含まれる場合、副画像と主画像の視差ベクトルを生成し、視差ベクトルを用いて、主画像から副画像を補正する、または副画像から主画像を補正することで、よりきれいな補正画像を生成することが出来るという利点がある。

多視点復号化装置の一般的な構成を示した説明図である。 図１に示す多視点復号化装置における一般的な参照関係を示したものである。 副画像における破損画像の補正方法の一例を示す説明図である。 図３で示す説明図における、主画像及び副画像の特徴情報と視差ベクトルの一例を示す説明図である。 多視点復号化装置の構成の一例を示す説明図である。 多視点復号化装置の構成の別の一例を示す説明図である。 多視点復号化装置の構成の別の一例を示す説明図である。 図７に示す多視点復号化装置における破損画像の補正方法の一例を示す説明図である。 図７に示す多視点復号化装置における破損画像の補正方法の別の一例を示す説明図である。

図１に一般的な多視点画像補正装置の構成を示す。視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。主画像復号化部１０は、主画像符号化データ１００の復号化処理を行い、主画像１０３を生成するブロックである。副画像符号化データ１０１には、主画像と副画像の相関情報が含まれており、この相関情報を元に、副画像復号化部１１は、主画像復号化部１０から、必要な主画像１０２を参照して復号化処理を行い、副画像１０４を生成する。

相関情報の一例として、副画像の動きベクトル、主画像の動きベクトル、主画像と副画像の視差ベクトル、視点から画像までの距離情報などがある。

図２は、図１に示す多視点画像補正装置における、主画像１０３と副画像１０４の参照関係の一般的な例を示す図である。縦軸は時間方向を示し、下方向に向かって進む。横軸は視点方向を示す。副画像１０００、副画像１００２、副画像１００４、副画像１００６、主画像１００１、主画像１００３、主画像１００５、主画像１００７の画像ごとに、符号化の際に参照する画像を矢印で示している。例えば、矢印１０１０は、副画像１００２が、副画像１０００を参照して符号化されていることを示す。

主画像は、過去の時刻の主画像を参照して、符号化を行う。例えば、画像１００３は、画像１００１を参照する。なお、本図は、一例であり、現在または未来の時刻の主画像を参照してもよい。

副画像は、過去の副画像および、現行の主画像を参照して、符号化を行う。例えば、副画像１００２は、副画像１０００及び主画像１００３を参照する。

なお、本図は、一例であり、現在の時刻または未来の時刻の副画像や、現在の時刻または未来の時刻の主画像を参照してもよい。

副画像を復号化する際には、主画像と副画像の相関情報が使用される。相関情報の一例として、副画像の動きベクトル、主画像の動きベクトル、主画像と副画像の視差ベクトル、視点から画像までの距離情報などがある。

図３は、本実施例による多視点画像補正装置における、副画像内の破損画像を補正する方法の典型的な一例である。以下、図３を用いて説明する。

副画像３０００と主画像３００１は、視差が異なる一対の副画像と主画像である。図中の横軸は、画像の水平方向の座標（Ｘ座標）を示す。また、縦軸は、画像の垂直方向の座標（Ｙ座標）を示す。

副画像３０００内に、伝送路上で発生したエラーなどに起因する破損画像３００が含まれ、対応する主画像３００１に破損画像がない場合を例にとる。

破損画像３００周辺の画像を、破損画像周辺画像３０１とする。主画像内の探索領域３２０において、破損画像周辺画像３０１の特徴情報のパタンと、主画像内の画像の特徴情報のパタンとの、パタン一致検出を行う。本例では、探索領域３２０が、破損画像３００を水平移動した領域としており、破損画像周辺画像３０１と画像３０２とが、最も特徴情報のパタンが近い場合を例にとる。破損画像周辺画像３０１のＸ座標と、主画像内の画像３０２のＸ座標の差分を、破損画像周辺画像３０１と主画像内の画像３０２との視差ベクトル３１０のＸ成分とする。探索領域３２０が、破損画像３００を水平移動した領域としているため、視差ベクトル３１０のＹ座標は０となる。

探索領域３２０は、本例では、破損画像３００と同一のＹ座標領域で、かつ破損画像３００のＸ座標よりも小さい領域としているが、破損画像３００と同一のＹ座標領域で、かつ破損画像３００のＸ座標よりも大きな領域を含んでもよい。

また、探索領域３２０は、垂直方向に範囲を広げてもよい。この場合、破損画像周辺画像３０１のＹ座標と、主画像内の画像３０２のＹ座標の差分を、破損画像周辺画像３０１と主画像内の画像３０２との視差ベクトル３１０のＹ成分とする。

画像３０３は、副画像３０００内の破損画像３００と同一のＸ座標に位置する主画像内の画像である。画像３０４は、画像３０３から、視差ベクトル３１０分だけ移動した位置にある主画像内の画像である。画像３０５は、副画像３０００内の破損画像３００に対する補正画像であり、画像３０４で置き換えた画像である。

図５は、本実施例による多視点画像補正装置の典型的な一例である。以下、図５を用いて説明する。

視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。主画像復号化部１０は、主画像符号化データ１００の復号化処理を行い、主画像１０３を生成するブロックである。また、副画像復号化部１１に対して、主画像１０２を供給するブロックである。

副画像符号化データ１０１には、主画像と副画像の相関情報１０７が含まれている。副画像復号化部１１は、副画像符号化データ１０１を入力とし、上記相関情報１０７を元に、主画像復号化部１０から、必要な主画像１０２を参照して復号化処理を行い、副画像１０４を生成する。相関情報１０７の一例として、副画像の動きベクトル、主画像の動きベクトル、主画像と副画像の視差ベクトル、視点から画像までの距離情報などがある。副画像復号化部１１は、相関情報１０７を視差ベクトル部１２に供給する。

視差ベクトル生成部１２は、主画像１０３と、相関情報１０７を入力とし、副画像内の破損画像周辺画像に対する主画像との視差ベクトル１０８を算出するブロックである。

補正画像生成部１３は、視差ベクトル１０８と、主画像１０３を入力とし、副画像内の破損画像に対する補正画像１０９を生成するブロックである。

副画像補正部１４は、補正画像１０９を用いて、副画像内の破損画像を補正し、補正後の副画像１０５を生成するブロックである。

破損画像、補正画像および副画像内の破損画像を補正した画像の一例として、図３に示す画像３００、画像３０４および画像３０５がある。

図６は、本実施例による多視点画像補正装置の典型的な別の一例である。以下、図６を用いて説明する。

視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。

特徴抽出部２０は、主画像１０３と、副画像１０４から、画像の特徴である特徴情報２００を生成するブロックである。特徴情報の一例として、視点との距離情報、画像の輝度情報、画像の色差情報、画像のエッジ情報などがある。

視差ベクトル生成部２１は、特徴情報２００を用いて、副画像の破損画像周辺画像に対する、主画像の視差ベクトル２０１を生成するブロックである。生成方法の一つの例として、主画像の特徴情報と、副画像の特徴情報のパタン一致を検出する方法がある。

補正画像生成部１３は、視差ベクトル２０１と、主画像１０３を入力とし、副画像内の破損画像に対する補正画像２０２を生成するブロックである。

副画像補正部１４は、補正画像２０２を用いて、副画像内の破損画像を補正し、補正後の副画像１０５を生成するブロックである。

破損画像、補正画像および副画像内の破損画像を補正した画像の一例として、図３に示す画像３００、画像３０４および画像３０５がある。

図４は、図６における特徴情報２００を用いた視差ベクトル２０１の生成方法の一例を示す。以下、図４を用いて説明する。

副画像４０００と主画像４００１は、視差が異なる一対の副画像と主画像である。図中の横軸は、画像の水平方向の座標（Ｘ座標）を示す。また、縦軸は、画像の垂直方向の座標（Ｙ座標）を示す。副画像３０００内に、伝送路上で発生したエラーなどに起因する破損画像３００が含まれ、対応する主画像３００１に破損画像がない場合を例にとる。領域３２０及び領域３２１は、特徴情報２００を抽出する特徴抽出領域を示す。

グラフ４１００は、副画像４０００における特徴情報２００をグラフ化したものである。実線４１１は、特徴抽出領域３２０における画像の特徴情報２００を示す。

グラフ４１０１は、主画像４００１における特徴情報２００をグラフ化したものである。実線４１３は、特徴抽出領域３２１における画像の特徴情報２００を示す。また、点線４１２は、実線４１１をグラフ４１０１上に記載したものである。点線４１２と実線４１３から、視差ベクトル２０１を生成する。

主画像の特徴情報２００と副画像の特徴情報２００のパタンの比較は、実線４１１全体のパタンに対して行ってもよいし、一部パタンに対してのみ行ってもよい。例えば、副画像の特徴情報２００の値が大きく変化した箇所または、その周辺に対してのみ一致検出する方法がある。例えば、特徴情報として、エッジを検出し、エッジ部分に対して、副画像と主画像のずれを算出し、視差ベクトルとする方法がある。

図７は、図６に示す実施例に、主画像補正部１５を追加した多視点画像補正装置の典型的な別の一例である。以下、図７を用いて説明する。

視点数は２つであり、主画像と副画像とで３Ｄ画像を実現する装置である。

主画像補正部１５は、伝送路エラー等が原因で、主画像内に破損画像が発生した場合、主画像の破損画像周辺画像、または過去の主画像、または未来の主画像を用いて補正画像を生成し、破損画像と置き換えを行うブロックである。

従来技術では、主画像内に破損画像が発生した場合、主画像内の破損画像を参照する副画像内の画像も破損してしまうが、本実施例を適用することで、上記主画像内の破損画像および、副画像内の破損画像を補正することが出来る。

図８は、図７における主画像内の破損画像及び、副画像内の破損画像を補正する方法の典型的な一例である。以下、図８を用いて説明する。

副画像１８００と主画像１８０１、副画像１８０２と主画像１８０３、副画像１８０４と主画像１８０５は、それぞれ、視差が異なる一対の副画像と主画像である。

画像８００は副画像内の破損画像を示す。画像８０１は主画像内の破損画像を示す。画像８０３は、図７に記載の主画像補正部１５で生成した主画像内の破損画像に対する補正画像である。

視差ベクトル８１０は、図７に記載の視差ベクトル生成部２１で生成した視差ベクトル２００である。本例は、副画像内の破損画像８００に対して、視差ベクトル８１０だけ移動した画像８０３が、主画像内の破損画像８０１の座標と一致する場合を例にとる。

副画像内の破損画像８００を、補正画像８０３で置き換えた画像が、副画像内の破損画像８００と置き換える補正画像８０２となる。

図９は、図７における主画像内の破損画像及び、副画像内の破損画像を補正する方法の典型的な別の一例である。以下、図９を用いて説明する。

副画像１９００と主画像１９０１、副画像１９０２と主画像１９０３、副画像１９０４と主画像１９０５は、それぞれ視差が異なる一対の副画像と主画像である。

主画像１９０３において、斜線で示す領域９５０は、図７に記載の主画像補正部により生成された補正画像２０２である。本例では、元の主画像領域の周辺座標に対する補正画像を生成する。

画像９００は副画像内の破損画像を示す。画像９０３は、図７に記載の主画像補正部１５で生成した主画像内の破損画像に対する補正画像である。

視差ベクトル９１０は、図７に記載の視差ベクトル生成部２１で生成した視差ベクトル２０１である。本例では、副画像内の破損画像９００に対して、視差ベクトル９１０だけ移動した画像９０１が、元の主画像の領域９５０に含まれる場合を例にとる。

副画像内の破損画像９００を、補正画像９０１で置き換えた画像が、画像９０２となる。

１３ 補正画像生成部
１４ 副画像補正部
２０ 特徴抽出部
２１ 視差ベクトル生成部
１０３ 主画像
１０４ 副画像
１０５ 補正後の副画像
２００ 特徴情報
２０１ 視差ベクトル
２０２ 補正画像

Claims (9)

1. 主画像と副画像で構成される3D表示用画像に対して、
   主画像符号化データの復号化を行い、主画像を生成する、主画像復号化部と、
   副画像符号化データの復号化を行う、副画像を生成する、副画像復号化部と、
   副画像内の破損画像周辺の画像と、同一位置にある主画像内の画像との、視差ベクトルを算出する視差ベクトル生成部と、
   前記視差ベクトルと主画像を用いて、前記副画像内の破損画像に対する補正画像を生成する、補正画像生成部と、
   前記補正画像を、副画像内の前記破損画像と置き換える副画像補正部と、
   を備えることを特徴とする、多視点画像補正装置。
2. 請求項１において、
   前記主画像復号化部、または前記副画像復号化部が、主画像と副画像の相関情報を抽出し、
   前記視差ベクトル生成部が、相関情報を用いて前記視差ベクトルを算出する
   ことを特徴とする多視点画像補正装置。
3. 請求項２において、
   前記相関情報が、動きベクトルの情報または視差ベクトルの情報であることを特徴とする多視点画像補正装置。
4. 請求項２において、
   前記相関情報が、距離の情報であることを特徴とする多視点画像補正装置。
5. 主画像と副画像で構成される3D表示用画像に対して、
   副画像及び主画像の特徴情報を抽出する特徴抽出部と、
   前記特徴情報を用いて、副画像内の破損画像周辺の画像と、同一位置にある主画像内の画像との、視差ベクトルを算出する視差ベクトル生成部と、
   前記視差ベクトルと主画像を用いて、前記副画像内の破損画像に対する補正画像を生成する、補正画像生成部と、
   前記補正画像を、副画像内の前記破損画像と置き換える副画像補正部と、
   を備えることを特徴とする多視点画像補正装置。
6. 請求項５において、
   前記特徴情報が、輝度パタンまたは色差パタンまたはエッジパタンである
   ことを特徴とする多視点画像補正装置。
7. 請求項１ないし６のいずれかにおいて、
   主画像補正部をさらに有し、
   主画像補正部が、前の時刻の主画像、または後の時刻の主画像を用いて、主画像の一部または全てを生成する、
   ことを特徴とする多視点画像補正装置
8. 請求項７において、
   前記主画像補正部が、元の主画像よりも大きい画像を生成すること
   を特徴とする多視点画像補正装置。
9. 請求項１または５において、
   前の時刻、または後の時刻の副画像と、現行の副画像との動きベクトルが、所定の範囲以内である場合に、前の時刻、または後の時刻の副画像を用いて、副画像に対する補正画像を生成することを特徴とする多視点画像補正装置。

Images