JP2012165181A - 映像再生装置と映像再生方法およびプログラム - Google Patents

Abstract

【課題】多視点の映像を再生する場合、視覚的な悪印象を抑止しつつ符号化映像信号のリアルタイム再生を行うことができるようにする。
【解決手段】デコード部２０は、多視点の符号化映像信号の復号処理を行う。負荷検出部３０は、デコード部２０の処理負荷を検出する。制御部５０は、検出された処理負荷に応じてデコード部２０を制御して、優先度の低い視点から復号処理の負荷軽減を行う。このように、優先度の低い視点に対して復号処理の負荷軽減が行われるので、負荷軽減を行っても視覚的な悪印象を抑止することができる。また、負荷軽減によって復号処理の負荷が軽減されるので、リアルタイム再生を行うことができる。
【選択図】 図１

Description

この技術は、映像再生装置と映像再生方法およびプログラムに関する。詳しくは、多視点の映像を再生する場合、視覚的な悪印象を抑止しつつ、符号化映像信号のリアルタイム再生を行うことができるようにする。

従来、ＭＰＥＧ２方式やＨ．２６４／ＡＶＣ方式などに代表される符号化方式によって符号化処理を行うことで生成された符号化映像信号を再生する場合、映像再生装置の処理能力が低い場合や他の処理の負荷が高い場合、映像信号の再生に遅延が生じてしまう。

このため、特許文献１では、負荷状況に応じてフィルタ処理や動き補償処理の切り替えおよびフレームスキップ等を行うことで、視覚的な悪印象を抑止しつつ、符号化映像信号のリアルタイム再生が可能とされている。

特開２００８−２２４７５号公報

ところで、多視点の符号化映像信号の再生において、負荷状況に応じて復号処理の負荷を軽減させる負荷軽減を行う場合、負荷軽減が行われる視点の違いによって視覚的影響が異なり、悪印象が顕著となってしまうおそれがある。

そこで、本技術では、多視点の映像を再生する場合、視覚的な悪印象を抑止しつつ、符号化映像信号のリアルタイム再生を行うことができるようにした映像再生装置と映像再生方法およびプログラムを供することを目的とする。

この技術の第１の側面は、多視点の符号化映像信号の復号処理を行うデコード部と、前記デコード部の処理負荷を検出する負荷検出部と、前記検出した処理負荷に応じて前記デコード部の制御を行い、優先度の低い視点から前記復号処理の負荷軽減を行う制御部とを備える映像再生装置にある。

この技術においては、多視点の符号化映像信号の復号処理を行うデコード部の処理負荷が検出されて、検出された処理負荷に応じて優先度の低い視点から復号処理の負荷軽減が行われる。例えば、デコード部から出力される映像信号の遅延や、デコード部から出力する映像信号を一時蓄積するバッファの信号量が所定量よりも減少した場合、復号処理の負荷が高いとして、負荷軽減処理が行われる。負荷軽減は、ユーザが見ていない視点の優先度が低くされて、ユーザが見ていない視点の符号化映像信号に対してフレームスキップ等が行われる。また、ユーザが見ていない視点を判別できない場合、視点毎の映像について重要度の違いが判別されて、重要度の低い視点の優先度が低くされる。例えばビットレートが低い映像や、ビュー間予測において参照されない映像が重要度の低い視点とされる。
さらに、ユーザが見ていない視点の判別や視点毎の映像について重要度の違いが判別できない場合、ユーザの利き目側以外の映像が優先度の低く視点とされる。また、ユーザの利き目が判別できない場合、非ベースビューの優先度を低くして、非ベースビューから復号化処理の負荷軽減が行われる。また、映像再生装置では、負荷軽減で復号化処理するフレームをスキップさせる場合、スキップさせたフレームの映像が、他視点の映像や前後のフレームの映像を用いた補間処理によって生成される。

この技術の第２の側面は、多視点の符号化映像信号の復号化処理を行う工程と、前記復号化処理の処理負荷を検出する工程と、前記視点毎に優先度を設定して、前記検出した処理負荷に応じて前記優先度の低い視点から前記復号化処理の負荷軽減を行う工程とを含む映像再生方法にある。

この技術の第３の側面は、多視点映像の符号化データの復号化処理をコンピュータで実行させるプログラムであって、多視点の符号化映像信号の復号化処理を行う手順と、前記復号化処理の処理負荷を検出する手順と、前記視点毎に優先度を設定して、前記検出した処理負荷に応じて前記優先度の低い視点から前記復号化処理の負荷軽減を行う手順とを前記コンピュータで実行させるプログラムにある。

なお、この技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本技術によれば、多視点の符号化映像信号の復号処理における処理負荷が検出されて、検出された処理負荷に応じて、優先度の低い視点から復号処理の負荷軽減が行われる。このため、優先度の低い視点から復号処理の負荷軽減が行われるので、負荷軽減を行っても視覚的な悪印象を抑止することができる。また、負荷軽減によって復号処理の負荷が軽減されるので、リアルタイム再生を行うことができる。

映像再生装置の構成を例示した図である。 デコード部の構成を例示した図である。 映像再生装置の動作の一部を示す図である。 ユーザの見ていない視点の映像の推定方法を説明するための図である。 処理負荷の軽減を説明するための図である。 フレームスキップが行われた状態を例示した図である。 処理負荷の軽減に対応して行われる補間動作を示すフローチャートである。 補間動作の処理を示す図である。 コンピュータ装置の構成を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．映像再生装置の構成
２．映像再生装置の動作
３．ソフトウェア処理の場合

＜１．映像再生装置の構成＞
図１は、本技術の一実施の形態である映像再生装置の構成を例示している。この映像再生装置１０は、前段から入力される符号化映像信号の復号処理を行うデコード部２０、デコード部２０の処理負荷を検出する負荷検出部３０、撮像部４０、デコード部２０の制御を行う制御部５０を有している。

デコード部２０は、制御部５０からの制御にしたがい、入力された符号化映像信号を、その符号化方式に対応する復号方式にしたがって復号処理して、その復号結果として得られる映像信号を、負荷検出部３０を介して出力する。

負荷検出部３０は、例えばデコード部２０から供給される映像信号の遅延時間、すなわち、デコード部２０から出力されたタイミングと本来出力されるべきタイミングとの差から、デコード部２０の処理負荷を検出して、処理負荷検出結果を制御部５０に通知する。例えば遅延時間を生じる場合、負荷検出部３０は、デコード部２０の処理負荷が高いことを制御部５０に通知する。なお、負荷検出部３０は、デコード部２０から供給される映像信号を後段のディスプレイ等に出力する場合、本来出力されるべきタイミングに調整して出力する。また、負荷検出部３０は、出力する映像信号を一時蓄積するバッファの信号量、例えばデコード部２０の後述する画面並べ替えバッファに蓄積されている信号量に基づいて、デコード部２０の処理負荷を検出してもよい。

撮像部４０は、負荷検出部３０を介してデコード部２０から出力される映像信号に基づいて表示される映像を視聴するユーザの位置を判別するために設けられている。撮像部４０は、映像の視聴者側を撮像して得られた映像信号を制御部５０に出力する。

制御部５０は、負荷検出部３０から通知される負荷検出結果に応じてデコード部２０の制御を行い、優先度の低い視点から復号化処理の負荷軽減を行う。また、制御部５０は、撮像部４０から供給された映像信号に基づき、ユーザの位置を判別して、判別結果に基づいて優先度の低い視点の判別を行う。

図２は、デコード部２０の構成を例示している。デコード部２０は、可変長復号部２０１、逆量子化部２０２、逆直交変換部２０３、加算部２０４、デブロッキングフィルタ２０５、補間処理部２０６、画面並べ替えバッファ２０７を備えている。さらに、デコード部２０は、フレームメモリ２１０、イントラ予測部２１１、動き補償部２１２を備えている。

可変長復号部２０１は、符号化映像信号を復号して得られた量子化データを、逆量子化部２０２に出力する。また、可変長復号部２０１は、符号化映像信号を復号して得られた予測モード情報を、イントラ予測部２１１と動き補償部２１２に出力する。

逆量子化部２０２は、可変長復号部２０１から供給された量子化データを、映像信号の符号化処理で行われた量子化方式に対応する方式で逆量子化する。逆量子化部２０２は、逆量子化を行うことにより得られた変換係数を逆直交変換部２０３に出力する。

逆直交変換部２０３は、映像信号の符号化処理で行われた直交変換方式に対応する方式で逆直交変換を行う。逆直交変換部２０３は、逆直交変換を行うことにより得られた誤差映像信号を加算部２０４に出力する。

加算部２０４は、逆直交変換部２０３から供給された誤差映像信号と、イントラ予測部２１１または動き補償部２１２から供給された予測映像信号を加算して、復号映像信号を生成してデブロッキングフィルタ２０５とフレームメモリ２１０に出力する。

デブロッキングフィルタ２０５は、加算部２０４から供給された復号映像信号に対してデブロッキングフィルタ処理を行い、ブロック歪みを除去した映像信号を、補間処理部２０６とフレームメモリ２１０に出力する。

補間処理部２０６は、リアルタイム再生を維持するためにフレームスキップが行われた場合、スキップされたフレームの映像信号を補間処理によって生成する。補間処理部２０６は、補間処理後の映像信号を画面並べ替えバッファ２０７に出力する。

画面並べ替えバッファ２０７は、映像の並べ替えを行う。画面並べ替えバッファ２０７は、符号化において並べ替えられたフレームの順番を、元の表示の順番に並べ替えて出力する。

フレームメモリ２１０は、デブロッキングフィルタ２０５でフィルタ処理が行われる前の復号映像信号と、デブロッキングフィルタ２０５でフィルタ処理が行われた後の復号映像信号を記憶する。

イントラ予測部２１１は、フレームメモリ２１０に記憶されているデブロッキングフィルタ処理前の映像信号を用いて、可変長復号部２０１から供給された予測モード情報に基づきイントラ予測を行い、予測映像信号を生成して加算部２０４に出力する。

動き補償部２１２は、フレームメモリ２１０に記憶されているデブロッキングフィルタ処理後の映像信号を用いて、可変長復号部２０１から供給された予測モード情報に基づき動き補償を行い、予測映像信号を生成して加算部２０４に出力する。

なお、デコード部２０の処理負荷の検出は、上述したように負荷検出部３０においてデコード部２０から供給される映像信号の遅延時間に基づいて行う場合に限られない。例えば、画面並べ替えバッファ２０７に蓄積されている映像信号の信号量から処理負荷を検出することも可能である。すなわち、所定のタイミングで映像信号を画面並べ替えバッファ２０７から出力する場合、デコード部２０の処理負荷が高いと、蓄積されている映像信号の信号量が減少して、所定のタイミングで出力できる映像信号が無くなってしまう。したがって、負荷検出部３０は、画面並べ替えバッファ２０７に蓄積されている映像信号の信号量を監視することで、デコード部２０の処理負荷が高い状態であるか否かを検出できる。

＜２．映像再生装置の動作＞
図３は、映像再生装置の動作の一部を示すフローチャートである。ステップＳＴ１で制御部５０は、ユーザの見ていない視点の映像があるか判別する。図４は、ユーザの見ていない視点の映像の推定方法を説明するための図である。多視点のパララックスバリア方式の場合、ユーザの位置すなわちデコード部２０から出力される映像信号に基づく表示の観視者の位置によって、必要とされる映像が異なる。例えば位置ＰＡでは、視点１，視点２の映像があれば立体視が可能である。また、位置ＰＢでは、視点３，視点４の映像があれば立体視が可能である。したがって、観視者の位置が位置ＰＡである場合、視点３，視点４の映像は不要な視点の映像となる。同様に、観視者の位置が位置ＰＢである場合、視点１，視点２の映像は不要な視点の映像となる。撮像部４０は、デコード部２０から出力される映像信号に基づく表示の観視者の方向を撮像して、制御部５０は、撮像部４０から供給された映像信号に基づいて観視者の位置を判別する。また、制御部５０は、判別した観視者の位置で不要な視点の映像を、ユーザの見ていない視点の映像と判別する。制御部５０は、ユーザの見ていない視点の映像を判別できた場合にステップＳＴ２に進み、ユーザの見ていない視点の映像を判別できない場合にステップＳＴ４に進む。

ステップＳＴ２で制御部５０は、見ていない視点の復号処理をスキップする。制御部５０は、ステップＳＴ１で判別したユーザの見ていない視点の映像は、復号処理の優先度が低いとして復号処理をスキップさせてステップＳＴ３に進む。

ステップＳＴ３で制御部５０は、処理が間に合わないか判別する。制御部５０は、負荷検出部３０からの負荷検出結果に基づき、見ていない視点の復号処理をスキップしてもデコード部２０から出力される映像信号の遅延を回復できないと判別した場合、処理が間に合わないとしてステップＳＴ４に進む。また、制御部５０は、負荷検出部３０からの負荷検出結果に基づき、デコード部２０から出力される映像信号の遅延が回復できたと判別した場合、処理が間に合うとしてステップＳＴ１１に進む。なお、画面並べ替えバッファ２０７に蓄積されている信号量で処理負荷を検出する場合、例えば画面並べ替えバッファ２０７に蓄積されている信号量が所定量以下とならなくなったとき、処理が間に合うと判別する。

ステップＳＴ４で制御部５０は、視点毎の映像について重要度の違いがあるか判別する。制御部５０は、ビットレートの高い映像やビュー間予測で参照される映像（例えばベースビュー）は、重要度が高く、ビットレートの低い映像やビュー間予測で参照されることのない映像（例えば非ベースビュー）は、重要度が低いとする。制御部５０は、視点毎の映像について重要度の違いがあるか判別して、違いを判別できた場合にはステップＳＴ５に進み、違いを判別できない場合にはステップＳＴ７に進む。

ビットレートの違いについては、例えば先頭の１ＧＯＰの解析を行い視点毎の映像についてビットレートを推定して比較すればよい。また、ビュー間予測で参照される映像であるか否かは、多視点映像符号化の規格で定義されているＮＡＬユニットヘッダ拡張（nal_unit_header_mvc_extension()）のシンタックスである「inter_view_flag」を参照することで判別できる。

ステップＳＴ５で制御部５０は、重要度の低い視点の映像から処理負荷の軽減を行ってステップＳＴ６に進む。なお、処理負荷の軽減については後述する。

ステップＳＴ６で制御部５０は、処理が間に合わないか判別する。制御部５０は、ステップＳＴ３と同様に判別を行い、処理が間に合わないと判別した場合にはステップＳＴ７に進み、処理が間に合うと判別した場合にはステップＳＴ１１に進む。

ステップＳＴ７で制御部５０は、利き目が判定されているか判別する。制御部５０は、利き目が判定されている場合、例えば利き目を指定するユーザ操作が行われている場合はステップＳＴ８に進み、利き目が判定されていない場合はステップＳＴ１０に進む。

ステップＳＴ８で制御部５０は、利き目以外の視点の映像から処理負荷の軽減を行ってステップＳＴ９に進む。

ステップＳＴ９で制御部５０は、処理が間に合わないか判別する。制御部５０は、ステップＳＴ３と同様に判別を行い、処理が間に合わないと判別した場合にはステップＳＴ１０に進み、処理が間に合うと判別した場合にはステップＳＴ１１に進む。

ステップＳＴ１０で制御部５０は、処理が間に合わないことから視点に関わらず処理負荷の軽減を行う。また、ステップＳＴ１１で制御部５０は、処理が間に合うことから処理負荷の軽減を継続または終了する。

このように、制御部５０は、デコード部２０を制御して、復号処理の優先度の低い視点から復号処理の負荷軽減を行い、ユーザが見ていない視点の優先度を低くする。また、ユーザが見ていない視点を判別できない場合、視点毎の映像について重要度の違いを判別して、重要度の低い視点の優先度を低くする。さらに、制御部５０は、ユーザが見ていない視点の判別と、視点毎の映像について重要度の違いが判別できない場合、ユーザの利き目以外の視点の優先度を低くする。このようにして、優先度の設定を行い、優先度の低い視点に対して負荷軽減を行う。

なお、負荷軽減を行う視点の選択は、図３に示す順序で選択する場合に限らず、選択順序を変更したり、いくつかの処理を省略してもよい。

次に、処理負荷の軽減について説明する。処理負荷の軽減は、例えば図５に示すような５種類の処理からなる。すなわち、デブロッキングフィルタオフ処理、Ｂピクチャ簡易動き補償(MC)処理、Ｐピクチャ簡易動き補償(MC)処理、フレームスキップ処理、およびＩピクチャのみ再生処理からなる。

制御部５０は、これら５種類の処理を、処理が間に合うようになるまで順に１つずつ追加して実行されることによって処理負荷を徐々に軽減する。

デブロッキングフィルタオフ処理は、デブロッキングフィルタ２０５の動作を省略することにより演算量を削減する。デブロッキングフィルタオフ処理は、ピクチャ単位で実行することができる。

Ｂピクチャ簡易動き補償処理は、動き補償部２１２におけるＢピクチャの前方と後方の双方向予測の際、前方または後方の一方の動き補償を省略することによって演算量を削減する。また、Ｈ．２６４／ＡＶＣ方式の規格で定められている輝度信号の動き補償の演算方法の代わりに、演算量の少ない色差信号の動き補償を利用することにより演算量を削減する。Ｂピクチャ簡易動き補償処理は、ピクチャ単位で実行することができる。

Ｐピクチャ簡易動き補償処理は、動き補償部２１２におけるＰピクチャの予測の際、Ｈ．２６４／ＡＶＣ方式の規格で定められている輝度信号の動き補償の演算方法の代わりに、演算量の少ない色差信号の動き補償を利用することにより演算量を削減する。Ｐピクチャ簡易動き補償処理は、ピクチャ単位で実行することができる。

フレームスキップ処理は、ピクチャの復号処理を必要最小限に制限して、フレームスキップすることによって演算量を削減する。

Ｉピクチャのみ再生処理は、Ｉ，Ｐ，Ｂピクチャのうち、Ｉピクチャだけを復号処理し、Ｐ，Ｂピクチャをフレームスキップすることによって演算量を削減する。

ところで、フレームスキップ処理を行うと視点間で映像の位相ずれが生じて、違和感のある立体映像となってしまう恐れがある。

図６は、フレームスキップが行われた状態を例示している。例えば、ディペンデントビューの映像でフレームスキップが行われて、破線で示すフレームの映像が得られないと、ベースビューの映像よりもフレーム数が少なくなる。このため、例えば直前のフレームの映像を繰り返し用いるとベースビューとディペンデントビューとの間で映像の位相差を生じてしまう。

そこで、制御部５０は、処理負荷の軽減でフレームスキップを行う場合、補間処理部２０６によって復号化済みの映像から、スキップを行ったフレームの映像を生成する。また、スキップを行ったフレームの映像の生成は、復号処理を行う場合よりも処理コストが低い場合に実施する。

図７は、処理負荷の軽減に対応して行われる補間動作を示すフローチャートである。

ステップＳＴ２１で制御部５０は、片側の視点の映像に対してフレームスキップを行うか判別する。制御部５０は、片側の視点の映像に対してフレームスキップを行う場合にステップＳＴ２２に進み、フレームスキップを行わない場合に補間動作を終了する。

ステップＳＴ２２で制御部５０は、処理Ａにかかるコスト（TimeＡ）が、処理Ｃにかかるコスト（TimeＣ）よりも十分小さく、処理Ａにかかるコスト（TimeＡ）が処理Ｂにかかるコスト（TimeＢ）よりも大きいか判別する。

処理Ａは、フレームスキップが行われていない他方の視点の映像の１フレームから２Ｄ−３Ｄ変換を行い、スキップされたフレームと同時刻の映像を生成する処理である。また、処理Ａのコストは、処理Ａに要する時間を示している。例えば、図６に示すように、ディペンデントビューにおいて、破線で示すフレームの映像が得られない場合、図８の（Ａ）に示すように、ベースビューの映像の１フレームから２Ｄ−３Ｄ変換を行い、スキップされたフレームと同時刻の映像を生成する。

処理Ｂは、フレームスキップが行われた視点の映像におけるスキップされたフレームの前後それぞれ１フレームから、スキップされたフレームと同時刻の映像を生成する処理である。また、処理Ｂのコストは、処理Ｂに要する時間を示している。例えば、図６に示すように、ディペンデントビューにおいて破線で示すフレームの映像が得られない場合、図８の（Ｂ）に示すように、ディペンデントビューの映像におけるスキップされたフレームの前後それぞれ１フレームから、スキップされたフレームと同時刻の映像を生成する。

処理Ｃは、任意の１フレームの復号処理であり、処理Ｃのコストは、復号処理に要する時間を示している。

制御部５０は、処理Ａにかかるコスト（TimeＡ）が処理Ｃにかかるコスト（TimeＣ）よりも小さく、処理Ａにかかるコスト（TimeＡ）が処理Ｂにかかるコスト（TimeＢ）よりも大きい場合にステップＳＴ２３に進む。また、制御部５０は、他の場合にステップＳＴ２４に進む。

ステップＳＴ２３で制御部５０は、処理Ａを用いた補間を行う。制御部５０はデコード部２０の補間処理部２０６の動作を制御して、スキップされたフレームの映像を処理Ａによって生成して補間動作を終了する。

ステップＳＴ２４で制御部５０は、処理Ｂにかかるコスト（TimeＢ）が、処理Ｃにかかるコスト（TimeＣ）よりも十分小さく、処理Ｂにかかるコスト（TimeＢ）が処理Ａにかかるコスト（TimeＡ）以上であるか判別する。

制御部５０は、処理Ａにかかるコスト（TimeＢ）が処理Ｃにかかるコスト（TimeＣ）よりも十分に小さく、処理Ｂにかかるコスト（TimeＢ）が処理Ａにかかるコスト（TimeＡ）よりも大きい場合にステップＳＴ２５に進む。また、他の場合には補間処理に要するコストが復号処理に要するコストよりも小さくならないことから補間動作を終了する。

ステップＳＴ２５で制御部５０は、処理Ｂを用いた補間を行う。制御部５０はデコード部２０の補間処理部２０６の動作を制御して、スキップされたフレームの映像を処理Ｂによって生成して補間動作を終了する。

なお、図７では、処理Ａまたは処理Ｂのいずれかコストの小さい処理を選択して行う場合を例示しているが、処理Ａと処理Ｂを行い、最適な映像を選択するようにしてもよい。この場合、処理Ａと処理Ｂを行うコストおよび最適な映像を選択するコストの合計が、処理Ｃにかかるコストよりも十分に小さい場合に行うようにする。

このように、１フレームを復号処理するのに必要なコストよりも補間によって映像を生成するコストが小さい場合、コストの小さい処理を選択して映像の生成を行うことで、処理負荷を軽減できるだけでなく、映像の位相差が生じてしまうことを防止できる。

また、処理負荷の軽減は、図５に示す順序で実行する場合に限らず、実行順序を変更したり、いくつかの処理を省略してもよい。さらに、Ｈ．２６４／ＡＶＣ方式によってエンコードされている符号化映像信号を再生する映像再生装置のみならず、ＭＰＥＧ２方式などその他の符号化方式によってエンコードされている符号化映像信号を再生する映像再生装置に適用することができる。

＜３．ソフトウェア処理の場合＞
上述の一連の処理は、ハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。

図９は、上述した一連の処理をプログラムにより実行するコンピュータ装置の構成を例示した図である。コンピュータ装置８０のＣＰＵ８０１は、ＲＯＭ８０２、または記録部８０８に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。

ＲＡＭ８０３には、ＣＰＵ８０１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４により相互に接続されている。

ＣＰＵ８０１にはまた、バス８０４を介して入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、タッチパネルやキーボード、マウス、マイクロホンなどの入力部８０６、ディスプレイなどよりなる出力部８０７が接続されている。ＣＰＵ８０１は、入力部８０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ８０１は、処理の結果を出力部８０７に出力する。

入出力インタフェース８０５に接続されている記録部８０８は、例えばハードディスクからなり、ＣＰＵ８０１が実行するコンピュータ・プログラムや各種のデータを記録する。通信部８０９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置８０は、通信部８０９を介してコンピュータ・プログラムを取得し、ＲＯＭ８０２や記録部８０８に記録してもよい。

ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８５が装着された場合、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてＲＯＭ８０２やＲＡＭ８０３または記録部８０８に転送される。

ＣＰＵ８０１は、上述した一連の処理を行うコンピュータ・プログラムを読み出して実行して、記録部８０８やリムーバブルメディア８５に記録されている符号化映像信号や、通信部８０９を介して供給された符号化映像信号の復号処理を行う。

なお、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

本技術の映像再生装置と映像再生方法およびプログラムによれば、多視点の符号化映像信号の復号処理における処理負荷が検出されて、検出された処理負荷に応じて、優先度の低い視点から復号処理の負荷軽減が行われる。このため、優先度の低い視点から復号処理の負荷軽減が行われるので、負荷軽減を行っても視覚的な悪印象を抑止することができる。また、負荷軽減によって復号処理の負荷が軽減されるので、リアルタイム再生を行うことができる。したがって、多視点映像の再生処理を行う映像再生装置や映像編集装置等に適している。

１０・・・映像再生装置、２０・・・デコード部、３０・・・負荷検出部、４０・・・撮像部、５０・・・制御部、８０・・・コンピュータ装置、８５・・・リムーバブルメディア、２０１・・・可変長復号部、２０２・・・逆量子化部、２０３・・・逆直交変換部、２０４・・・加算部、２０５・・・デブロッキングフィルタ、２０６・・・補間処理部、２０７・・・画面並べ替えバッファ、２１０・・・フレームメモリ、２１１・・・イントラ予測部、２１２・・・動き補償部

Claims (14)

1. 多視点の符号化映像信号の復号処理を行うデコード部と、
   前記デコード部の処理負荷を検出する負荷検出部と、
   前記検出した処理負荷に応じて前記デコード部の制御を行い、優先度の低い視点から前記復号処理の負荷軽減を行う制御部と
   を備える映像再生装置。
2. 前記制御部は、ユーザが見ていない視点の優先度を低くする請求項１記載の映像再生装置。
3. 前記制御部は、前記視点毎の映像について重要度の違いがある場合に、重要度の低い視点の優先度を低くする請求項１記載の映像再生装置。
4. 前記制御部は、ユーザが見ていない視点を判別できない場合、前記視点毎の映像について重要度の違いを判別する請求項３記載の映像再生装置。
5. 前記制御部は、前記符号化映像信号のビットレートが高い視点を、ビットレートが低い視点よりも重要度が高いとする請求項３記載の映像再生装置。
6. 前記制御部は、ビュー間予測で参照される映像の視点を、参照されない映像の視点よりも重要度が高いとする請求項３記載の映像再生装置。
7. 前記制御部は、ユーザの利き目以外の視点の優先度を低くする請求項１記載の映像再生装置。
8. 前記制御部は、ユーザが見ていない視点の判別と、視点毎の映像について重要度の違いが判別できない場合、ユーザの利き目以外の視点の優先度を低くする請求項７記載の映像再生装置。
9. 前記デコード部は補間処理を行う補間処理部を備え、
   前記制御部は、前記負荷軽減で復号処理するフレームをスキップさせる場合、該スキップさせたフレームの映像を前記補間処理によって生成させる請求項１記載の映像再生装置。
10. 前記補間処理部は、他視点の映像を用いて前記スキップさせたフレームの映像を生成する請求項９記載の映像再生装置。
11. 前記補間処理部は、前後のフレームの映像を用いて前記スキップさせたフレームの映像を生成する請求項９記載の映像再生装置。
12. 前記制御部は、前記スキップさせるフレームの復号処理のコストよりも、前記補間処理のコストが低い場合に、前記補間処理を行わせる請求項１０記載の映像再生装置。
13. 多視点の符号化映像信号の復号処理を行う工程と、
    前記復号処理の処理負荷を検出する工程と、
    前記検出した処理負荷に応じて、優先度の低い視点から前記復号処理の負荷軽減を行う工程とを
    含む映像再生方法。
14. 多視点映像の符号化データの復号処理をコンピュータで実行させるプログラムであって、
    多視点の符号化映像信号の復号処理を行う手順と、
    前記復号処理の処理負荷を検出する手順と、
    前記検出した処理負荷に応じて、優先度の低い視点から前記復号処理の負荷軽減を行う手順と
    を前記コンピュータで実行させるプログラム。

Images