JP2012034038A - 立体映像処理装置及び立体映像処理方法 - Google Patents

Abstract

【課題】立体映像の解像度の劣化を防止することができる映像フレームレベルの補間技術を提供する。
【解決手段】ラインを間引いて解像度を圧縮された右目用の映像と左目用の映像を入力し適宜これらの映像を出力する映像フレームバッファと、前記映像フレームバッファの出力を入力して前記右目用の映像と左目用の映像を伸張して復元して表示パネルへ出力する映像出力部と、前記右目用の映像と左目用の映像が動画像か静止画かの判定を行い、この判定の結果が静止画の場合は、前記映像出力部を隣接するフレームのデータを補間するよう制御する制御部とを備えた立体映像処理装置。
【選択図】 図６

Description

本発明の実施形態は、映像フレームを補間する立体映像処理装置及び立体映像処理方法に関する。

液晶ＴＶなどにおいて、立体映像が視聴されるようになってきている。立体映像は左目用の映像と右目用の映像が必要であるため、通常の二次元映像と比較するとデータ量が2倍になる。このような映像データを伝送、記録、再生するためには、伝送帯域や記憶容量が2倍必要になり、既存の二次元の映像システムでは対応することが難しい。そこで、既存のシステムを維持しつつ立体映像を扱えるようにするため、立体映像の解像度を圧縮する方式が考えられている。

例えばSide-by-Sideと呼ばれる方式では、二次元映像のフレームを左右に2分割し、その一方に左目用の映像、もう一方に右目用の映像を、それぞれ水平解像度を1/2に圧縮して納める。これにより、既存の二次元映像の帯域で立体映像を扱うことができる。Side-by-Side方式の立体映像は、表示装置で左目用の映像と右目用の映像がそれぞれ水平2倍スケーリングされ、表示装置の立体表示方式に従って表示される。例えばフレームシーケンシャル方式では、左目用の映像と右目用の映像が1フレームずつ交互に表示される。

しかしこの方法では、表示装置に表示される立体映像の水平解像度が悪化してしまうという問題がある。対して特許文献１に記載のものは、3次元映像信号生成装置で、入力された2次元映像信号をフィールド毎に垂直方向に補間しながら垂直方向に1/2に間引いて、フィールドメモリに格納し、左目用と右目用映像信号として出力している。

ここで更に要望されるものは立体映像の解像度の劣化を防止するフレームレベルの補間技術であるが、かかる要望を実現するための手段は知られていない。

特開平１１−８８９１１号公報

本発明は、立体映像の解像度の劣化を防止することができる映像フレームレベルの補間技術を提供することを目的とする。

上記課題を解決するために、実施形態によれば立体映像処理装置は、ラインを間引いて解像度を圧縮された右目用の映像と左目用の映像を入力し適宜これらの映像を出力する映像フレームバッファと、前記映像フレームバッファの出力を入力して前記右目用の映像と左目用の映像を伸張して復元して表示パネルへ出力する映像出力部と、前記右目用の映像と左目用の映像が動画像か静止画かの判定を行い、この判定の結果が静止画の場合は、前記映像出力部を隣接するフレームのデータを補間するよう制御する制御部とを備えた。

立体映像のフレームを示す図。 立体映像の解像度圧縮を示す図。 立体映像の伝送の様子を説明するために示す図。 立体映像の伸張の様子を説明するために示す図。 立体映像の再生の様子を説明するために示す図。 本発明の実施形態の解像度圧縮方法を示す図。 同実施形態に用いられる立体映像の伝送を示す図。 同実施形態に用いられる立体映像の伸張を示す図。 同実施形態に用いられる立体映像の動き検出を示す図。 同実施形態に用いられる動画像である場合の補間画素生成方法を示す図。 同実施形態に用いられる静止画像である場合の補間画素生成方法を示す図。 同実施形態に用いられる静止画像において生成される立体映像を示す図。 同実施形態に用いられる圧縮立体映像の生成方法の例１を示す図。 同実施形態に用いられる圧縮立体映像の生成方法の例２を示す図。 同実施形態に用いられる圧縮立体映像の生成方法の例３を示す図。 この発明の実施の形態を示すもので、立体視映像再生システムを概略的に説明するために示すブロック構成図。 同実施の形態における立体視映像再生システムを構成するデジタルテレビジョン放送受信装置の信号処理系を説明するために示すブロック構成図。 同実施の形態におけるデジタルテレビジョン放送受信装置の映像出力部の一例を説明するために示すブロック構成図。

以下、本発明による実施形態を図１乃至図１８を参照して説明する。
先に図１６は、この実施の形態で説明する立体視映像再生システムの概略を示している。この立体視映像再生システムは、立体視映像再生機器としてのデジタルテレビジョン放送受信装置１１と、このデジタルテレビジョン放送受信装置１１の表示映像から立体視映像を認識するための立体視用眼鏡１２とを備えている。

このうち、デジタルテレビジョン放送受信装置１１は、薄型のキャビネット１３と、このキャビネット１３を支持する支持台１４とから構成されている。そして、上記キャビネット１３には、その正面中央部に映像表示部としての液晶表示パネル１５が配置されている。また、このキャビネット１３には、その両側面にそれぞれスピーカ１６，１６が配置されて、ステレオ音声再生が行なえるようになっている。

さらに、このキャビネット１３には、その正面下部に、主電源スイッチ１７ａを含む操作部１７と、リモートコントローラ１８から送信される操作情報を受信するための受光部１９とが配置されている。なお、上記支持台１４は、キャビネット１３の底面中央部に回動自在に連結されるもので、所定の基台２０の水平面上に載置された状態で、キャビネット１３を起立させて支持するように構成されている。

ここで、上記デジタルテレビジョン放送受信装置１１は、立体視用として放送される映像信号を受信した場合、その受信した映像信号に基づいて右目用映像信号と左目用映像信号とをそれぞれ生成して、液晶表示パネル１５に右目用映像と左目用映像とを交互に映像表示する。

また、このデジタルテレビジョン放送受信装置１１は、右目用映像を映像表示している期間と、左目用映像を映像表示している期間とをそれぞれ示すシャッタ制御信号ＳＣを生成し、上記立体視用眼鏡１２に出力している。

そして、上記立体視用眼鏡１２は、デジタルテレビジョン放送受信装置１１から供給されるシャッタ制御信号ＳＣに基づいて、右目用映像の表示時に左目のシャッタを閉じ、左目用映像の表示時に右目のシャッタを閉じるように制御され、これにより、ユーザに立体視映像を認識させている。

また、上記立体視用眼鏡１２は、ユーザが装着しているか否か、つまり、ユーザが眼鏡を掛けているか外しているかを検出するための着脱検出部２１を備えている。そして、この着脱検出部２１から出力される着脱検出信号ＣＤは、デジタルテレビジョン放送受信装置１１に供給されている。

このデジタルテレビジョン放送受信装置１１は、ユーザが立体視用眼鏡１２を装着している旨を示す着脱検出信号ＣＤが供給されたとき、液晶表示パネル１５に右目用映像と左目用映像とを交互に映像表示して立体視映像表示を実行する。

また、このデジタルテレビジョン放送受信装置１１は、ユーザが立体視用眼鏡１２を装着していない旨を示す着脱検出信号ＣＤが供給されたとき、受信した立体視用の映像信号を通常の２次元表示用の映像信号に変換し、その２次元表示用の映像信号を液晶表示パネル１５に映像表示させるように動作する。

図１７は、上記デジタルテレビジョン放送受信装置１１の信号処理系を概略的に示している。すなわち、アンテナ２２で受信したデジタルテレビジョン放送信号は、入力端子２３を介して選局復調部２４に供給される。この選局復調部２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し、その選局した放送信号に復調処理を施してＴＳ（transport stream）を生成している。

そして、この選局復調部２４から出力されたＴＳは、ＴＳ分離部２５に供給されて映像成分と音声成分とに分離される。このうち、映像成分は、映像デコーダ２６によりデコード処理が施されて元のデジタルの映像信号に復元された後、映像フレームバッファ２７に格納される。この映像フレームバッファ２７に格納された映像信号は、フレーム単位で映像出力部２８に読み出され、後述する所定の信号処理が施された後、上記液晶表示パネル１５に供給されて映像表示に供される。

また、上記ＴＳ分離部２５で分離された音声成分は、音声バッファ２９に一旦格納された後、音声出力部３０に読み出されて所定の信号処理が施される。そして、この音声出力部３０から出力された音声成分は、音声デコーダ３１によりデコード処理が施されて元のデジタルの音声データに復元された後、アナログ化されて上記スピーカ１６により音声再生に供される。

なお、このデジタルテレビジョン放送受信装置１１は、入力端子３２を備えている。この入力端子３２には、例えばＤＶＤ（digital versatile disk）等の光ディスクに対して記録再生を行なう光ディスク記録再生機器や外付けＨＤＤ（hard disk drive）等のような、外部の記録再生機器から出力されるＴＳが供給されるようになっている。この入力端子３２に入力されたＴＳは、上記ＴＳ分離部２５に供給される。そして、ＴＳ分離部２５は、選局復調部２４から供給されるＴＳと入力端子３２から供給されるＴＳとのいずれか一方を選択して、映像成分と音声成分とに分離するように動作する。

ここで、このデジタルテレビジョン放送受信装置１１は、上記した各種の受信動作を含む種々の動作を制御部３３によって統括的に制御されている。この制御部３３は、ＣＰＵ（central processing unit）３３ａを内蔵しており、上記操作部１７からの操作情報、または、上記リモートコントローラ１８から送信され受光部１９で受信された操作情報を受けることによって、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部３３は、メモリ部３３ｂを利用している。このメモリ部３３ｂは、主として、ＣＰＵ３３ａが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵ３３ａに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。

また、上記制御部３３は、内蔵型のＨＤＤ３４に接続されている。この制御部３３は、ユーザによる操作に基づいて、上記映像デコーダ２６や音声デコーダ３１から得られるデジタルの映像信号や音声信号等に、暗号化処理や所定の記録フォーマットへの変換処理を施した後、ＨＤＤ３４に供給してハードディスク３４ａに記録させることができる。

また、この制御部３３は、ユーザによる操作に基づいて、ＨＤＤ３４によりハードディスク３４ａから所望の映像信号や音声信号等を読み出させ、暗号の解読処理を施した後、映像フレームバッファ２７や音声デコーダ３１に供給することにより、映像表示や音声再生に供させることができる。

さらに、上記制御部３３は、ネットワークインターフェース３５及び入出力端子３６を介して、例えばインターネット等のネットワークに接続されている。これにより、制御部３３は、ユーザによる操作に基づいて、ネットワーク上のサーバにアクセスして所望の映像信号や音声信号等を取得し、映像表示や音声再生に供させたり、ＨＤＤ３４によりハードディスク３４ａに記録させたりすることができる。

ここで、上記映像出力部２８は、映像フレームバッファ２７からフレーム単位で供給された映像信号が通常の２次元表示用の映像信号である場合には、その映像信号に対して液晶表示パネル１５で表示可能なフレーム倍速変換処理を施した後、液晶表示パネル１５に供給して映像表示させる。

上記映像出力部２８は、映像フレームバッファ２７からフレーム単位で供給された映像信号が立体視用の映像信号である場合には、その映像信号から右目用映像信号と左目用映像信号とをそれぞれ生成し、それらの映像信号を交互に液晶表示パネル１５に出力して映像表示に供させる。

また、このとき、映像出力部２８は、右目用映像を映像表示している期間と、左目用映像を映像表示している期間とをそれぞれ示すシャッタ制御信号ＳＣを生成し、出力端子３７を介して上記立体視用眼鏡１２に出力している。

このため、上記立体視用眼鏡１２は、デジタルテレビジョン放送受信装置１１から供給されるシャッタ制御信号ＳＣに基づいて、右目用映像の表示時に左目のシャッタを閉じ、左目用映像の表示時に右目のシャッタを閉じるように制御され、これにより、ユーザに立体視映像が認識されることになる。

なお、上記映像フレームバッファ２７からフレーム単位で供給される映像信号が、通常の２次元表示用の映像信号であるか、立体使用の映像信号であるかの判断は、例えば、制御部３３が、映像表示の対象となる映像信号に付された属性情報を検知することにより、容易に行なうことができる。

また、上記立体視用眼鏡１２は、先に述べたように、ユーザが装着しているか否かを検出するための着脱検出部２１を備えている。この着脱検出部２１としては、例えば、圧力の有無によってユーザが装着しているか否かを検出するもの、発光した赤外線が液晶表示パネル１５面で反射されて受光されたか否かによってユーザが装着しているか否かを検出するもの、傾きによってユーザが装着しているか否かを検出するもの等々、種々の手法によるものが考えられる。

そして、この着脱検出部２１は、無線により着脱検出信号ＣＤを送信しており、送信された着脱検出信号ＣＤは映像出力部２８に受信されている。この映像出力部２８は、映像フレームバッファ２７から供給された映像信号が立体視用の映像信号であって、ユーザが立体視用眼鏡１２を装着している旨を示す着脱検出信号ＣＤが供給されているときには、その映像信号から右目用映像信号と左目用映像信号とをそれぞれ生成し、それらの映像信号を交互に液晶表示パネル１５に映像表示させて立体視映像表示を実行する。

また、この映像出力部２８は、ユーザが立体視用眼鏡１２を装着していない旨を示す着脱検出信号ＣＤが供給されたとき、受信した立体視用の映像信号を通常の２次元表示用の映像信号に変換し、その２次元表示用の映像信号に対して液晶表示パネル１５で表示可能なフレーム倍速変換処理を施した後、液晶表示パネル１５に供給して映像表示させる。

図１８は、上記映像出力部２８の一例を示している。すなわち、上記映像フレームバッファ２７から供給された映像信号は、入力端子３８を介して、３次元２次元変換部３９及び左右映像分離部４０にそれぞれ供給されている。

このうち、３次元２次元変換部３９は、通常の２次元表示用の映像信号が入力されたとき、その映像信号をそのまま後段の倍速変換部４１に出力する。また、この３次元２次元変換部３９は、立体視用の映像信号が入力されたとき、その映像信号を２次元表示用の映像信号に変換して倍速変換部４１に出力する。そして、この倍速変換部４１は、入力された２次元表示用の映像信号に対して、例えばフレーム間の動きベクトルを利用した補間フレームを作成する等の手法により、液晶表示パネル１５で表示可能なフレーム倍速変換処理を施し、セレクタ４２の一方の入力端に出力している。

また、上記左右映像分離部４０は、立体視用の映像信号が入力されたとき、その映像信号を右目用映像信号と左目用映像信号とに分離し、それらの映像信号を倍速で交互に左右クロストーク防止部４３に出力する。この左右クロストーク防止部４３は、交互に入力される右目用映像信号と左目用映像信号との間に黒映像信号を挿入して、右目用映像と左目用映像との切り替わり時の干渉（クロストーク）を防止する処理を施した後、セレクタ４２の他方の入力端に出力している。

さて図１に立体映像のフレーム構造を示す。立体映像は左目用の映像と右目用の映像が必要であるため、通常の二次元映像と比較するとデータ量が2倍になる。このような映像データを伝送、記録、再生するためには、伝送帯域や記憶容量が2倍必要になり、既存の二次元の映像システムでは対応することが難しい。そこで、既存のシステムを維持しつつ立体映像を扱えるようにするため、立体映像の解像度を圧縮する方式が考えられている。

例えばSide-by-Sideと呼ばれる方式では、図２に示すように二次元映像のフレームを左右に2分割し、その一方に左目用の映像、もう一方に右目用の映像を、それぞれ水平解像度を1/2に圧縮して納める。これにより、既存の二次元映像の帯域で立体映像を扱うことができる。Side-by-Side方式の立体映像は、表示装置で図４のように左目用の映像と右目用の映像がそれぞれ水平2倍スケーリングされ、表示装置の立体表示方式に従って表示される。例えばフレームシーケンシャル方式では、図５のように左目用の映像と右目用の映像が1フレームずつ交互に表示される。

しかしこの方法では、表示装置に表示される立体映像の水平解像度が悪化してしまうという問題がある。そこで本実施形態では、立体映像の解像度を1/2に圧縮しつつ、表示装置に表示される立体映像の解像度を可能な限り劣化させない処理方法を提案する。

図６に立体映像の解像度圧縮方法の実施形態を示す。本実施形態では、立体映像を垂直1ラインおきにラインを間引くことで水平解像度を1/2に圧縮する。ここで、偶数フレームでは図のように奇数ラインを間引き、奇数フレームでは偶数ラインを間引くことで各フレームの圧縮立体映像を生成する。このようにすることで、図７に示すように、左目用映像、右目用映像ともに1フレーム毎に位相の異なる画素のデータを持った圧縮立体映像を得ることができる。なお、図６では説明を簡明にするためライン数を計２８本に留めているが、実際は千本以上となる構成もある。以下の図でも同様な説明を採る。

図８に本実施形態による方法で圧縮された立体映像から元のサイズの映像を復元する方法を示す。偶数フレームのデータには偶数ラインのデータのみが含まれているので、図のように奇数ラインのデータを補間により生成する。一方奇数フレームには奇数ラインのデータのみが含まれているので、偶数ラインのデータを補間により生成する。

図９、図１０、図１１に本実施形態による補間画素の生成方法を示す。図９は、圧縮立体映像の各フレームを上から見た図で、フレームN-1、フレームN、フレームN+1が時間方向に並んでいる様子を示す。現在フレームNの補間ラインを生成しているとすると、まずはフレームNが動画像であるか静止画像であるかを検出する(動き検出)。

動き検出は、例えばフレームNと隣接するフレームN-1とフレームN+1の各画素の差分を求め、差分値をフレーム内で合計した値があるしきい値より小さければ静止画像と判定し、しきい値より大きければ動画像と判定する。そして、フレームNが動画像と判定された場合は、図１０にようにフレームN内部の画素からフィルタ処理により補間画素を生成する(フレーム内補間)。一方フレームNが静止画像と判定された場合は、図１１のように隣接するフレームN-1の画素を持ってくる(フレーム間補間)ことで、補間画素を生成する。

このように動きを検出して適応的に補間画素を生成することで、静止画像においては図１２に示すように元の解像度の立体映像を復元することができる。
立体映像の水平解像度を1/2に圧縮した映像データは、必ずしも二次元映像の左右に配置される必要はなく、図１３に示すように1ライン毎に交互に配置されてもよい。

立体映像の水平解像度を1/2に圧縮する際に、必ずしも左右とも同じ位相のラインを間引く必要はなく、図１４に示すように偶数フレームで左目用映像の奇数ラインと右目用映像の偶数ラインを間引き、奇数フレームで左目用映像の偶数ラインと右目用映像の奇数ラインを間引いてもよい。

立体映像の解像度を1/2に圧縮するのに、必ずしも水平解像度を圧縮する必要はなく、図１５に示すように垂直解像度を圧縮してもよい。この場合、偶数フレームと奇数フレームで垂直位相が異なるように水平ラインを間引く。

本実施形態では必ずしもフルの解像度を持つ立体映像を解像度圧縮する場合に限らず、立体映像の撮影時に1フレーム毎に位相の異なるラインデータを持つ水平解像度1/2の立体映像を生成してもよい。

本実施形態による解像度圧縮方法を用いる場合は、圧縮立体映像を伝送する際に、映像データにフォーマットを識別する情報を重畳し、本実施形態による方式で圧縮されていることを示すフラグを立てる必要がある。また、フレームごとにどの位相のデータを持ったフレームかを識別するための情報も持つ必要がある。

立体映像の補間画素を生成する際の動き検出は、フレーム単位で行っても画素毎に行ってもよい。画素毎に動き検出を行い、フレーム内補間とフレーム間補間を切り替えれば、フレーム内の静止画素について解像度の劣化を防ぐことができる。

以上説明した実施例によれば、立体映像の解像度を1/2にすることにより、データを圧縮することができる。また、表示の際に静止画像においては元の立体映像の解像度を復元することができる。

本実施形態では、立体映像の解像度を1/2に圧縮しつつ、表示装置に表示される立体映像の解像度を可能な限り劣化させない処理方法を提案した。概要として、立体映像処理装置で、例えば垂直1ラインおきにラインを間引くことで立体映像の水平解像度を1/2に圧縮する。また、立体映像を伸張して復元するには動画像か静止画かを判定して、静止画像の場合は隣接するフレームのデータを補間する。

（１）右目用の映像と左目用の映像の解像度を圧縮してデータ量を削減する立体映像処理方法(装置)で、1フレーム毎に位相の異なる垂直ラインを間引くことで、水平解像度を1/2に圧縮することを特徴とする立体映像処理方法(装置)。

（２）1フレーム毎に位相の異なる垂直ラインが間引かれた立体映像信号から元のサイズの立体映像を復元して表示する立体映像表示方法(装置)で、間引かれたラインを補間により生成する際に、映像が動画像か静止画像かを検出し、静止画像である場合は隣接するフレームのデータを補間に使用することを特徴とする立体映像表示方法(装置)。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１１…デジタルテレビジョン放送受信装置、１２…立体視用眼鏡、１３…キャビネット、１４…支持台、１５…液晶表示パネル、１６…スピーカ、１７…操作部、１７ａ…主電源スイッチ、１８…リモートコントローラ、１９…受光部、２０…基台、２１…着脱検出部、２２…アンテナ、２３…入力端子、２４…選局復調部、２５…ＴＳ分離部、２６…映像デコーダ、２７…映像フレームバッファ、２８…映像出力部、２９…音声バッファ、３０…音声出力部、３１…音声デコーダ、３２…入力端子、３３…制御部、３３ａ…ＣＰＵ、３３ｂ…メモリ部、３４…ＨＤＤ、３４ａ…ハードディスク、３５…ネットワークインターフェース、３６…入出力端子、３７…出力端子、３８…入力端子、３９…３次元２次元変換部、４０…左右映像分離部、４１…倍速変換部、４２…セレクタ、４３…左右クロストーク防止部、４４…選択信号生成部、４５…映像出力処理部、４６…出力端子、４７…出力端子、４８…受信部、４９…解析部。

Claims (6)

1. ラインを間引いて解像度を圧縮された右目用の映像と左目用の映像を入力し適宜これらの映像を出力する映像フレームバッファと、
   前記映像フレームバッファの出力を入力して前記右目用の映像と左目用の映像を伸張して復元して表示パネルへ出力する映像出力部と、
   前記右目用の映像と左目用の映像が動画像か静止画かの判定を行い、この判定の結果が静止画の場合は、前記映像出力部を隣接するフレームのデータを補間するよう制御する制御部とを
   備えた立体映像処理装置。
2. 前記映像フレームバッファに入力される前記右目用の映像と左目用の映像は、解像度を１フレーム毎に位相の異なる垂直ラインを間引いて圧縮されている請求項１に記載の立体映像処理装置。
3. 前記映像フレームバッファに入力される前記右目用の映像と左目用の映像は、解像度を１フレーム毎に位相の異なる水平ラインを間引いて圧縮されている請求項１に記載の立体映像処理装置。
4. 更に前記表示パネルを備えた請求項１に記載の立体映像処理装置。
5. ラインを間引いて解像度を圧縮された右目用の映像と左目用の映像を入力し、
   前記右目用の映像と左目用の映像が動画像か静止画かの判定を行い、この判定の結果が静止画の場合は、前記映像出力部を隣接するフレームのデータを補間し、
   前記右目用の映像と左目用の映像を伸張して復元して表示パネルへ出力する立体映像処理方法。
6. 更に入力される右目用の映像と左目用の映像の解像度を圧縮して前記解像度を圧縮された右目用の映像と左目用の映像を作成する請求項５に記載の立体映像処理方法。

Images