JP2014150397A - 受信装置、映像装置、及びプログラム - Google Patents

Abstract

【課題】三次元映像サービスにおいて、三次元映像に非対応の装置であっても高品質な映像サービスを享受可能とする。
【解決手段】受信装置１０は、ビットストリームを受信し、三次元映像に関するパラメータを抽出するとともに、三次元映像を復号して復号画像を生成するパラメータ抽出・デコード部１０１と、前記パラメータに基づいて、前記復号画像を左眼用画像及び右眼用画像に分離する画像分離部１０３と、前記左眼用画像及び前記右眼用画像を位置合わせする位置合わせ部１０４と、位置合わせ部１０４による位置合わせ後の左眼用画像及び右眼用画像を超解像処理して超解像二次元映像を生成する超解像処理部１０５と、を備える。
【選択図】図１

Description

本発明は、複数の画像によって構成される三次元映像を二次元映像に変換する受信装置、映像装置、及びプログラムに関する。

ＤＶＤや映画などに用いられている三次元映像サービスでは、一般的に二眼立体方式と呼ばれる方式が用いられる。この方式では、右眼用画像及び左眼用画像を別々に、例えば１フレーム（又はフィールド）ごとに記録する。対応する表示器では、これを例えば１フレーム（又はフィールド）ごとに右眼用画像及び左眼用画像を交互に表示する。視聴者はそれに同期する液晶シャッターを備えた眼鏡を用いて三次元映像を視聴する。この眼鏡は右眼用画像が表示されたときに左眼用のシャッターを閉じ、左眼用画像が表示されたときに右眼用のシャッターを閉じる。視聴者はこの眼鏡を通して映像を見ることで、右眼と左眼で異なる映像を知覚し、両映像に含まれる視差によって立体感を得る。

また、図６に示すように、右眼用画像及び左眼用画像を水平方向に半分の画素に圧縮し、１フレームに右眼用画像及び左眼用画像が並んで表示されるような信号として蓄積・伝送してもよい。この方式はサイドバイサイド方式と呼ばれる。対応する表示器では、この信号を表示する際に、右眼用画像及び左眼用画像を水平方向に拡大（アップサンプリング）し、それぞれを例えば前述した方式で１フレームごとに表示する。

右眼用画像及び左眼用画像の表示の仕方にさまざまな方法があるが、１フレーム（又はフィールド）ごとに交互に蓄積する方式では、右眼用画像又は左眼用画像のみを表示させるために時間方向の解像度が少なくなり、例えば６０ｆｐｓのサービスであればそれぞれを３０ｆｐｓで表示することになる。また、サイドバイサイド方式では、図７に示すように、水平解像度が半分に減じられたサイドバイサイド画像を水平方向に拡大し、鮮鋭感が失われた右眼用画像又は左眼用画像を交互に表示することになる。なお、ＭＰＥＧでは三次元映像の伝送方法として、他にTop/Bottom方式やチェッカーボード方式など複数の方式が規定されている。従来、これらの信号を二次元映像表示器で表示する場合、記録された映像信号に含まれる、右眼用又は左眼用の信号領域を占める制御信号を用いて、どちらかの信号のみを切り出して表示する方法が知られている（例えば、特許文献１参照）。

また、非特許文献１には、ＭＰＥＧ−４ ＡＶＣにおける三次元識別信号、及びＡＲＩＢにおける識別信号運用ガイドラインが記載されている。

特許第５０３８５４３号公報

"ARIB TR−B15"、[online]、一般社団法人 電波産業会、［平成２５年１月１０日検索］、インターネット<URL:www.arib.or.jp/english/html/overview/doc/4-TR-B15v5_3-3p4.pdf>

従来の二次元映像表示装置では、三次元映像を表示できないだけではなく、例えば６０ｆｐｓの放送を３０ｆｐｓで表示したり、あるいは１９２０×１０８０画素のＨＤ（High Definition）放送なのに９６０×１０８０画素の映像を単純に拡張した映像を表示したりすることになり、三次元映像サービスは単なる低品質映像サービスとなってしまう。このような問題から、従来のサービス、例えばＤＶＤなどの映像パッケージでは、三次元映像のサービス用のパッケージと二次元映像のサービス用のパッケージをそれぞれ用意する必要があった。

かかる事情に鑑みてなされた本発明の目的は、三次元映像サービスにおいて、三次元映像に非対応の装置であっても高品質な映像サービスを享受可能とする受信装置、映像装置、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る受信装置は、複数の画像によって構成される三次元映像を二次元映像に変換する受信装置であって、ビットストリームを受信し、映像に関するパラメータを抽出するとともに、映像を復号して復号画像を生成するパラメータ抽出・デコード部と、前記パラメータに基づいて、前記復号画像を左眼用画像及び右眼用画像に分離する画像分離部と、前記左眼用画像及び前記右眼用画像を位置合わせする位置合わせ部と、前記位置合わせ部による位置合わせ後の左眼用画像及び右眼用画像を超解像処理して超解像二次元映像を生成する超解像処理部と、前記パラメータが、入力映像が二次元映像であることを示している場合には、前記復号画像を外部に直接出力し、前記パラメータが、入力映像が三次元映像であることを示している場合には、前記復号画像を前記画像分離部に出力する切替部と、を備えることを特徴とする。

さらに、本発明に係る受信装置において、前記復号画像を立体処理する立体処理部を更に備え、前記切替部には、三次元映像が入力された場合に、三次元映像として処理するか二次元映像として処理するかを示す切替情報が入力され、前記切替部は、前記パラメータが、入力映像が二次元映像であることを示している場合には、前記復号画像を外部に直接出力し、前記パラメータが入力映像が三次元映像であることを示しており、かつ前記切替情報が三次元映像として処理することを示している場合には、前記復号画像を前記立体処理部に出力し、前記パラメータが入力映像が三次元映像であることを示しており、かつ前記切替情報が二次元映像として処理することを示している場合には、前記復号画像を前記画像分離部に出力することを特徴とする。

さらに、本発明に係る受信装置において、外部機器の状態から三次元映像を出力可能であるか否かを判定する外部機器状態検出部と、前記復号画像を立体処理する立体処理部と、更に備え、前記切替部は、前記パラメータが入力映像が二次元映像であることを示している場合には、前記復号画像を外部に直接出力し、前記パラメータが入力映像が三次元映像であることを示しており、かつ前記外部機器状態検出部により三次元映像を出力可能であると判定された場合には、前記復号画像を前記立体処理部に出力し、前記パラメータが入力映像が三次元映像であることを示しており、かつ前記外部機器状態検出部により三次元映像を出力可能でないと判定された場合には、前記復号画像を前記画像分離部に出力することを特徴とする。

また、上記課題を解決するため、本発明に係る映像装置は、上記受信装置と、前記超解像二次元映像を表示する表示部、又は前記超解像二次元映像を記録する記録部と、を備える。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記受信装置として機能させることを特徴とする。

本発明によれば三次元映像サービスにおいて、三次元映像に非対応の装置であっても高品質な映像サービスを享受することができ、三次元映像放送サービスと二次元映像放送サービスを高品質に両立することができるようになる。

本発明の第１の実施形態に係る映像装置の構成を示すブロック図である。 本発明の第２の実施形態に係る映像装置の構成を示すブロック図である。 本発明の第２の実施形態に係る映像装置の切替部における動作を示すフローチャートである。 本発明の第３の実施形態に係る映像装置の構成を示すブロック図である。 本発明の第３の実施形態に係る映像装置の切替部における動作を示すフローチャートである。 サイドバイサイド方式の映像の蓄積方法を説明する図である。 サイドバイサイド方式の映像の表示方法を説明する図である。

従来、三次元映像を二次元映像表示器で表示させる場合、右眼用画像と左眼用画像のいずれか一方のみを切り出して表示しており、もう一方を利用していなかった。三次元立体を表示するための信号は両者の映像に視差と呼ばれる表示される映像の向きの違いがあり、また、場合によってはわずかな（１フレーム表示時間以下の時間）差があり、交互、あるいは同時に提示すると不自然な映像提示となるためである。この差がまた、例えばＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４や現在符号化が検討されているＭＰＥＧ−Ｈ／ＨＥＶＣ方式などで符号化処理されることにより、右眼用画像と左眼用画像に異なる劣化が生じる。従来では右眼用画像又は左眼用画像の一方のみを用いて行っていた二次元表示を、本発明では両画像を用いて超解像処理を行うことにより、高品質な二次元表示とする。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る映像装置の構成を示すブロック図である。図１に示す例では、映像装置１は、受信装置１０と、二次元映像のみを表示可能な表示部２０とを備える。受信装置１０は、パラメータ抽出・デコード部１０１と、切替部１０２と、画像分離部１０３と、位置合わせ部１０４と、超解像処理部１０５と、マーク発生部１０６と、オーバーレイ部１０７とを備える。なお、図１に示す例では受信装置１０からの映像の出力先を表示部２０としているが、映像の出力先は表示部２０に限られるものではなく、映像を記録する記録部（図示せず）であってもよい。

例えば、非特許文献１（ＡＲＩＢ ＴＲ−Ｂ１５）では、以下の表１に示すシンタックスを用いて三次元映像の配置情報を伝送することが規定されている。受信装置１０は、これらのパラメータに基づき、複数の画像によって構成される三次元映像を二次元映像に変換する。ここで、三次元映像とは、複数の画像によって構成され、眼鏡などを用いて立体視することを前提とした映像のことをいう。

frame_packing_arrangement_typeは格納方式（上記では３のサイドバイサイドに固定）を示すパラメータであり、frame0_grid_position_x／yは左眼用画像のポジションを示すパラメータであり、framel_grid_position_x／yは右眼用画像のポジションを示すパラメータである。これらのパラメータを用いて１枚のフレームに例えばサイドバイサイド方式で格納された三次元映像のどの領域が左眼用の画像領域又は右眼用の画像領域であるかを示している。受信装置１０においては、これらのパラメータを用いてサイドバイサイド画像を左眼用画像及び右眼用画像に容易に分離することができる。

パラメータ抽出・デコード部１０１は、符号化された映像及び映像に関するパラメータのビットストリームを受信し、パラメータを抽出するとともに、映像を復号して復号画像を生成する。そして抽出したパラメータ及び復号画像を切替部１０２に出力する。

切替部１０２は、パラメータ抽出・デコード部１０１から入力されるパラメータに基づき、パラメータ抽出・デコード部１０１から入力される復号画像を表示部２０に直接出力するか、画像分離部１０３に出力するかを切替える。つまり、切替部１０２は、パラメータから入力映像が二次元映像であるか三次元映像であるかを判定し、入力映像が二次元映像であると判定した場合には復号画像を表示部２０に直接出力する。一方、パラメータから入力映像が三次元映像であると判定した場合には、復号画像を画像分離部１０３に出力するとともに、パラメータを画像分離部１０３及びマーク発生部１０６に出力する。

画像分離部１０３は、パラメータ抽出・デコード部１０１により抽出されたパラメータに基づいて、復号画像を左眼用画像及び右眼用画像に分離し、位置合わせ部１０４に出力する。分離された左眼用画像と右眼用画像はそれぞれほぼ同時刻に撮影された映像信号であり、視差と呼ばれる映像のずれが生じた映像である。つまり、左眼用画像と右眼用画像は撮影位置がわずかにずれた信号であり、多くの領域で共通の被写体を含む。このようなわずかにずれた映像信号を合成することによって、鮮鋭な映像信号を復元する超解像処理を行うことが可能となる。なお、ステレオ映像の撮影には平行撮影とコンバージェンス撮影（トーイン撮影）がある。それぞれの一般的な特徴については、例えば、www.stereoeye.jp/howtoshoot/basic.htmlを参照されたい。

位置合わせ部１０４は、画像分離部１０３により分離された左眼用画像及び右眼用画像を水平方向に重ね合わせを行いながら信号の相関を測定し、位置ずれ量が小さくなるように位置合わせ（マッチング）を行う。そして、位置合わせ後の左眼用画像及び右眼用画像を超解像処理部１０５に出力する。サブピクセル単位で位置合わせを行う手法としては、パラボラフィッティングなどがある。なお、相関の測定方法は既知であり、詳細については、例えば、www.wakayama-u.ac.jp/~wuhy/CV08.pdf、vision.kuee.kyoto-u.ac.jp/japanese/happyou/pdf/Sumioka_2005_P_195.pdfなどを参照されたい。

超解像処理部１０５は、位置合わせ部１０４により生成された位置合わせ後の左眼用画像及び右眼用画像を用いて超解像処理を行い、超解像処理された二次元映像（超解像二次元映像）を生成し、オーバーレイ部１０７に出力する。サイドバイサイド方式の場合には、位置合わせ後の左眼用画像及び右眼用画像を水平方向に１：２にアップサンプリングした後に、超解像処理を行う。なお、超解像処理は既知であり、視点の異なる複数の画像、又は時間位置の異なる複数のフレームを組み合わせて信号処理することにより、画像の鮮鋭感を向上させる処理である。詳細については、例えば、特願2011−24215号公報、www.toshiba.co.jp/tech/review/2011/09/66_09pdf/r01.pdf、www.toshiba.co.jp/tech/review/2009/06/64_06pdf/a04.pdf、http://www.sony.co.jp/SonyInfo/News/Press/200808/08-0828/index.htmlなどを参照されたい。

マーク発生部１０６は、パラメータ抽出・デコード部１０１により抽出されたパラメータに基づき、受信映像が三次元映像であること、あるいは三次元映像を二次元映像に変換処理していることを示すマーク及び／又は文字（以下、単に「マーク」という）を発生し、オーバーレイ部１０７に出力する。マークは一時的に発生してもよいし、三次元映像を二次元映像に変換処理している間、常時発生してもよい。

オーバーレイ部１０７は、超解像処理部１０５により生成された超解像二次元映像に、マーク発生部１０６により発生されたマークを重畳した重畳画像を生成し、表示部２０に出力する。

表示部２０は、オーバーレイ部１０７により生成された重畳画像を表示する。受信装置１０からの映像の出力先が表示部２０ではなく、記録部（図示せず）である場合には、記録部はオーバーレイ部１０７により生成された重畳画像を記録する。

なお、マーク発生部１０６及びオーバーレイ部１０７は必須の構成要件ではないが、マーク発生部１０６によりマークを発生し、オーバーレイ部１０７により重畳させることにより、三次元映像を二次元映像に変換処理していることを視聴者に明示することができる。なお、マーク発生部１０６及びオーバーレイ部１０７を備えない場合には、表示部２０は超解像処理部１０５により生成された超解像二次元映像を表示し、映像の出力先が記録部である場合には、記録部は超解像処理部１０５により生成された超解像二次元映像を記録する。

上述したように、第１の実施形態に係る受信装置１０は、パラメータ抽出・デコード部１０１にて、ビットストリームを受信し、映像に関するパラメータを抽出するとともに、映像を復号して復号画像を生成し、切替部１０２にて出力先を切替える。受信装置１０は、パラメータが、入力映像が二次元映像であることを示している場合には、復号画像を外部に直接出力し、パラメータが、入力映像が三次元映像であることを示している場合には、復号画像を画像分離部１０３、位置合わせ部１０４、及び超解像処理部１０５により処理した後に外部に出力する。そして、第１の実施形態に係る映像装置１は、受信装置１０により出力される映像を表示又は記録する。

一般的に、複数の画像の超解像処理は、時間の異なるフレームを参照して高解像度を実現するが、動きが速い物体の場合には、動き検出を行えず性能が低下することがある。しかし、本発明おいては立体視するための画像は概ね同じ時刻に取得した視差の異なる画像であるため、相互に関連する領域の検出が容易であるという特徴がある。このため、受信装置１０によれば、三次元映像を高品質な二次元映像信号として出力することができ、映像装置１によれば、受信装置１０から出力される高品質な二次元映像信号を表示又は記録することができる。また、このような構成にすることにより、三次元映像放送サービスと二次元映像放送サービスを高品質に両立することができる。そのため、高品質なサービス時間を増加させたり、あるいは、複数のパッケージによってサービスを行っていたものを統合したりすることができる。例えば、仮に全放送時間において三次元放送を実施したとしても、立体映像を表示可能な映像装置により視聴する視聴者、及び二次元映像しか表示できない映像装置により視聴する視聴者の双方が高品質な放送を常に享受できることになる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図２は、本発明の第２の実施形態に係る映像装置の構成を示すブロック図である。図２に示す例では、映像装置２は、受信装置３０と、二次元映像及び三次元映像を表示可能な表示表示部４０とを備える。受信装置３０は、パラメータ抽出・デコード部１０１と、切替部１０９と、立体処理部１１０と、画像分離部１０３と、位置合わせ部１０４と、超解像処理部１０５と、マーク発生部１０６と、オーバーレイ部１０７とを備える。なお、図２に示す例では受信部３０からの映像の出力先を表示部４０としているが、映像の出力先は表示部４０に限られるものではなく、映像を記録する記録部（図示せず）であってもよい。また、第１の実施形態と同様に、マーク発生部１０６及びオーバーレイ部１０７は必須の構成要件ではない。

第２の実施形態の映像装置２は、第１の実施形態の映像装置１と比較して、受信装置が立体処理部１１０を更に備える点、切替部１０９の制御が異なる点、及び表示部４０又は記録部により、二次元映像のみでなく三次元映像も表示又は記録可能である点が相違する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。

切替部１０９は、パラメータ抽出・デコード部１０１から入力されるパラメータ、及び外部から入力される切替情報に基づき、パラメータ抽出・デコード部１０１から入力される復号画像を表示部４０に直接出力するか、立体処理部１１０に出力するか、画像分離部１０３に出力するかを切替える。切替情報は、三次元映像が入力された場合に、三次元映像として処理するか二次元映像として処理するかを示す情報であり、図示しない操作部を介してユーザにより入力される。

図３は、切替部１０９の動作を示すフローチャートである。まず、切替部１０９は、パラメータ抽出・デコード部１０１からパラメータを取得する（ステップＳ１０１）。

そして、切替部１０９は、ステップＳ１０１にて取得したパラメータから、入力映像が二次元映像であるか三次元映像であるかを判定する（ステップＳ１０２）。パラメータを監視することで、二次元映像と三次元映像の切替わりも直ちに検知できる。ステップＳ１０２にて入力映像が二次元映像であると判定した場合には（ステップＳ１０２−Ｙｅｓ）、パラメータ抽出・デコード部１０１から入力される復号画像を表示部４０に直接出力する。一方、ステップＳ１０２にて入力映像が三次元映像であると判定した場合には（ステップＳ１０２−Ｎｏ）、外部から入力される切替情報を取得する（ステップＳ１０４）。

次に、切替部１０９は、ステップＳ１０４にて取得した切替情報から、三次元映像を出力するか否かを決定する（ステップＳ１０５）。ステップＳ１０５にて三次元映像を出力すると決定した場合には（ステップＳ１０５−Ｙｅｓ）、パラメータ抽出・デコード部１０１から入力される復号画像を立体処理部１１０に出力する（ステップＳ１０６）。この場合、復号画像は立体処理部１１０で立体処理された後、表示部４０に出力される。一方、ステップＳ１０５にて三次元映像を二次元映像として出力すると決定した場合には（ステップＳ１０５−Ｎｏ）、パラメータ抽出・デコード部１０１から入力される復号画像を画像分離部１０３に出力するとともに、パラメータ抽出・デコード部１０１から入力されるパラメータを画像分離部１０３及びマーク発生部１０６に出力する（ステップＳ１０７）。この場合、復号画像は画像分離部１０３、位置合わせ部１０４、超解像処理部１０５、及びオーバーレイ部１０７による処理を経た後、表示部４０に出力される。

切替部１０９によりこのような切替えを行うことにより、ユーザは三次元映像が入力された際に、映像装置２に対して、通常通り三次元映像としての処理をさせるか、三次元映像を高品質な二次元映像に変換処理させるかを選択することができる。

立体処理部１１０は、切替部１０９から入力される三次元映像を既知の手法により立体処理する。サイドバイサイド方式による三次元映像を立体処理する場合には、例えば、水平方向にアップサンプリング処理を行って左眼用画像及び右眼用画像を生成し、フレームごとに交互に左眼用画像及び右眼用画像を出力する。

上述したように、第２の実施形態に係る受信装置３０は、切替情報及びパラメータに基づいて、切替部１０９にて出力先を切替える。受信装置３０は、パラメータが入力映像が二次元映像であることを示している場合には、復号画像を外部に直接出力し、パラメータが入力映像が三次元映像であることを示しており、かつ切替情報が三次元映像として処理することを示している場合には、復号画像を立体処理部１１０により処理した後に外部に出力し、パラメータが入力映像が三次元映像であることを示しており、かつ切替情報が二次元映像として処理することを示している場合には、復号画像を画像分離部１０３、位置合わせ部１０４、及び超解像処理部１０５により処理した後に外部に出力する。そして、第２の実施形態に係る映像装置２は、受信装置３０により出力される映像を表示又は記録する。

このため、受信装置３０によれば、受信装置１０と同様の効果に加えて、切替情報に応じて適切な映像を出力することができ、映像装置２により適切な映像を表示又は記録することができるようになる。また、ＤＶＤなどに映像を記録する際に、二次元映像のみ表示可能な表示器での再生が予想される場合に、三次元映像を二次元映像に変換して記録することが可能になる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図４は、本発明の第３の実施形態に係る映像装置の構成を示すブロック図である。図４に示す例では、映像装置３は、受信装置５０と、表示部４０とを備える。受信装置５０は、パラメータ抽出・デコード部１０１と、外部機器状態検出部１０８と、切替部１１１と、立体処理部１１０と、画像分離部１０３と、位置合わせ部１０４と、超解像処理部１０５と、マーク発生部１０６と、オーバーレイ部１０７とを備える。なお、図４に示す例では受信部３０からの映像の出力先を表示部４０としているが、映像の出力先は表示部４０に限られるものではなく、映像を記録する記録部（図示せず）であってもよい。また、第１，２の実施形態と同様に、マーク発生部１０６及びオーバーレイ部１０７は必須の構成要件ではない。

第３の実施形態の映像装置３は、第２の実施形態の映像装置２と比較して、受信装置５０が外部機器状態検出部１０８を更に備える点、及び切替部１１１の制御が異なる点が相違する。なお、第２の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。

外部機器状態検出部１０８は、外部機器の状態を示す外部機器情報を取得し、三次元映像を処理可能であるか否かを判定し、判定結果を示す判定信号を切替部１１１に出力する。ここで、受信装置５０からの映像の出力先が表示部４０である場合には、外部機器とは三次元表示を視聴するための眼鏡などの機器のことをいい、外部機器の状態とは、三次元映像を視聴するための準備状況のことをいう。また、受信装置５０からの映像の出力先が記録部である場合には、外部機器とは記録部のことをいい、外部機器の状態とは二次元映像として記録するか又は三次元映像として記録するかといった記録モードの設定のことをいう。

外部機器状態検出部１０８は、例えば外部機器が眼鏡である場合には、眼鏡との通信が確立しているか（電源が入っているか、正常に動作しているか）などを検出する。広く普及している液晶シャッターの眼鏡などは、同期信号を赤外線などで眼鏡に送信して眼鏡の液晶シャッターを制御している。このように、眼鏡には赤外線（Bluetooth（登録商標）やWi-Fi（登録商標）のような無線通信であってもよい）により通信を行う機構が備わっているため、通信を拡張することによって外部機器状態検出部１０８は眼鏡の状態検出を行う。簡単には、例えば外部機器状態検出部１０８が眼鏡に対して応答要求を送信し、眼鏡からの応答信号を検出することにより、三次元映像を出力可能であると判定する。また、外部機器が記録部の場合には、記録部の記録モードの情報を取得することにより、三次元映像を出力可能であるか否かを判定する。

切替部１１１は、パラメータ抽出・デコード部１０１から入力されるパラメータ、及び外部機器状態検出部１０８から入力される判定信号に基づき、パラメータ抽出・デコード部１０１から入力される復号画像を表示部２０に直接出力するか、立体処理部１１０に出力するか、画像分離部１０３に出力するかを切替える。

図５は、切替部１１１の動作を示すフローチャートである。まず、切替部１１１は、パラメータ抽出・デコード部１０１からパラメータを取得する（ステップＳ２０１）。

そして、切替部１１１は、ステップＳ２０１にて取得したパラメータから、入力映像が二次元映像であるか三次元映像であるかを判定する（ステップＳ２０２）。パラメータを監視することで、二次元映像と三次元映像の切替わりも直ちに検知できる。ステップＳ２０２にて入力映像が二次元映像であると判定した場合には（ステップＳ２０２−Ｙｅｓ）、パラメータ抽出・デコード部１０１から入力される復号画像を表示部４０に直接出力する。一方、ステップＳ２０２にて入力映像が三次元映像であると判定した場合には（ステップＳ２０２−Ｎｏ）、外部機器状態検出部１０８から入力される判定信号を取得する（ステップＳ２０４）。

次に、切替部１１１は、ステップＳ２０４にて取得した判定信号から、三次元映像を出力可能であるか否かを判定する（ステップＳ２０５）。ステップＳ２０５にて三次元映像を出力可能であると判定した場合には（ステップＳ２０５−Ｙｅｓ）、パラメータ抽出・デコード部１０１から入力される復号画像を立体処理部１１０に出力する（ステップＳ２０６）。この場合、復号画像は立体処理部１１０で立体処理された後、表示部４０に出力される。一方、ステップＳ２０５にて三次元映像を出力可能でないと判定した場合には（ステップＳ２０５−Ｎｏ）、パラメータ抽出・デコード部１０１から入力される復号画像を画像分離部１０３に出力するとともに、パラメータ抽出・デコード部１０１から入力されるパラメータを画像分離部１０３及びマーク発生部１０６に出力する（ステップＳ２０７）。この場合、復号画像は画像分離部１０３、位置合わせ部１０４、超解像処理部１０５、及びオーバーレイ部１０７による処理を経た後、表示部４０に出力される。

切替部１１１によりこのような切替えを行うことにより、外部機器が三次元映像を表示又は記録する準備ができている場合には、通常通り三次元映像としての処理を行うが、外部機器が準備できていない場合には、三次元映像を高品質な二次元映像に変換処理することができる。

上述したように、第３の実施形態に係る受信装置５０は、外部機器状態検出部１０８にて、外部機器の状態から三次元映像を出力可能であるか否かを判定し、該判定結果及びパラメータに基づいて、切替部１１１にて出力先を切替える。受信装置５０は、パラメータが入力映像が二次元映像であることを示している場合には、復号画像を外部に直接出力し、パラメータが入力映像が三次元映像であることを示しており、かつ外部機器状態検出部１０８により三次元映像を出力可能であると判定された場合には、復号画像を立体処理部１１０により処理した後に外部に出力し、パラメータが入力映像が三次元映像であることを示しており、かつ外部機器状態検出部１０８により三次元映像を出力可能でないと判定された場合には、復号画像を画像分離部１０３、位置合わせ部１０４、及び超解像処理部１０５により処理した後に外部に出力する。そして、第２の実施形態に係る映像装置２は、受信装置５０により出力される映像を表示又は記録する。

このため、受信装置５０によれば、受信装置１０と同様の効果に加えて、外部機器の準備状況に応じて自動で適切な映像を出力することができ、映像装置３により適切な映像を表示又は記録することができるようになる。また、このような構成にすることにより、二次元映像のサービスから三次元映像のサービスに切り替わった時に、外部機器の準備ができていないにもかかわらず三次元映像として処理してしまい、例えば突然サイドバイサイド方式による映像が表示されるといったことを回避でき、視聴者の不快感を低減することができる。また、ＤＶＤなどに映像を記録する際に、二次元映像のみ表示可能な表示器での再生が予想される場合に、三次元映像を二次元映像に変換して記録することが可能になる。

ここで、上述した受信装置１０，３０，５０として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、受信装置１０，３０，５０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

例えば、上述した実施形態では、既存のステレオ放送に関するパラメータを例に説明したが、現在ＭＰＥＧとＩＳＯ／ＩＥＣ ＶＣＥＧにて共同で検討されているマルチビュー（複数の画像（画面）によって構成される三次元映像）においても同様に各画面を分離し、位置合わせし、超解像処理を行うことによって高品質な二次元映像を実現することができる。よって、本発明は２つの画像によって構成される三次元映像サービスに限定されるものではない。

このように、本発明によれば、三次元映像を高品質な二次元映像に変換することができるので、三次元映像に非対応の装置に三次元映像を表示や記録させる用途などに有用である。

１，２，３ 映像装置
１０，３０，５０ 受信装置
２０，４０ 表示部
１０１ パラメータ抽出・デコード部
１０２，１０９，１１１ 切替部
１０３ 画像分離部
１０４ 位置合わせ部
１０５ 超解像処理部
１０６ マーク発生部
１０７ オーバーレイ部
１０８ 外部機器状態検出部
１１０ 立体処理部

Claims (5)

1. 複数の画像によって構成される三次元映像を二次元映像に変換する受信装置であって、
   ビットストリームを受信し、映像に関するパラメータを抽出するとともに、映像を復号して復号画像を生成するパラメータ抽出・デコード部と、
   前記パラメータに基づいて、前記復号画像を左眼用画像及び右眼用画像に分離する画像分離部と、
   前記左眼用画像及び前記右眼用画像を位置合わせする位置合わせ部と、
   前記位置合わせ部による位置合わせ後の左眼用画像及び右眼用画像を超解像処理して超解像二次元映像を生成する超解像処理部と、
   前記パラメータが、入力映像が二次元映像であることを示している場合には、前記復号画像を外部に直接出力し、前記パラメータが、入力映像が三次元映像であることを示している場合には、前記復号画像を前記画像分離部に出力する切替部と、
   を備えることを特徴とする受信装置。
2. 前記復号画像を立体処理する立体処理部を更に備え、
   前記切替部には、三次元映像が入力された場合に、三次元映像として処理するか二次元映像として処理するかを示す切替情報が入力され、
   前記切替部は、前記パラメータが入力映像が二次元映像であることを示している場合には、前記復号画像を外部に直接出力し、
   前記パラメータが入力映像が三次元映像であることを示しており、かつ前記切替情報が三次元映像として処理することを示している場合には、前記復号画像を前記立体処理部に出力し、
   前記パラメータが入力映像が三次元映像であることを示しており、かつ前記切替情報が二次元映像として処理することを示している場合には、前記復号画像を前記画像分離部に出力することを特徴とする、請求項１に記載の受信装置。
3. 外部機器の状態から三次元映像を出力可能であるか否かを判定する外部機器状態検出部と、
   前記復号画像を立体処理する立体処理部と、を更に備え、
   前記切替部は、前記パラメータが入力映像が二次元映像であることを示している場合には、前記復号画像を外部に直接出力し、
   前記パラメータが入力映像が三次元映像であることを示しており、かつ前記外部機器状態検出部により三次元映像を出力可能であると判定された場合には、前記復号画像を前記立体処理部に出力し、
   前記パラメータが入力映像が三次元映像であることを示しており、かつ前記外部機器状態検出部により三次元映像を出力可能でないと判定された場合には、前記復号画像を前記画像分離部に出力することを特徴とする、請求項１に記載の受信装置。
4. 請求項１から３のいずれか一項に記載の受信装置と、
   前記超解像二次元映像を表示する表示部、又は前記超解像二次元映像を記録する記録部と、
   を備えることを特徴とする映像装置。
5. コンピュータを、請求項１から３のいずれか一項に記載の受信装置として機能させるためのプログラム。

Images