JP2011087194A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができるようにする。
【解決手段】符号化システムは、ランダムアクセスポイントのピクチャが、LRペアのうちのL画像のピクチャとなり、R画像のピクチャが、符号化順でランダムアクセスポイントのピクチャ以降のピクチャとなるように符号化を行う。本発明は、例えば、立体視画像を符号化する装置に適用することができる。
【選択図】図９

Description

本発明は、画像処理装置および画像処理方法に関し、特に、立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができるようにした画像処理装置および画像処理方法に関する。

近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。

例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像（インターレース方式の画像）及び順次走査画像（プログレッシブ方式の画像）の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。

さらに、AVC (MPEG-4 part 10，ISO/IEC 14496-10，ITU-T H.264)符号化方式の標準化も行われている。この標準化は、ITU-TとISO/IECの間で共同で画像符号化方式の標準化を行うためのJVT(Joint Video Team)という団体で進められている。

AVCは、MPEG2やMPEG4と同様に、動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。AVCは、MPEG2やMPEG4といった従来の符号化方式に比べ、符号化および復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

ところで、近年、立体視が可能な立体視画像の撮像技術および表示技術が進歩しているため、上述のような符号化の対象となる画像のコンテンツとして、２次元画像のコンテンツだけでなく、立体視画像のコンテンツも考えられている。多視点の画像の符号化と復号の方法については、例えば、特許文献１に記載されている。

立体視画像のうちの、視点の数が最も少ないのは、視点の数が２視点の3D(Dimensional)画像（ステレオ画像）であり、3D画像の画像データは、左眼で観察される画像である左眼画像（以下、L(Left)画像ともいう）の画像データと、右眼で観察される画像である右眼画像（以下、R(Right)画像ともいう）の画像データとからなる。なお、以下では、説明を簡単にするため、立体視画像を構成する多視点の画像の一例として、視点の数が最も少ない２視点の3D画像を用いて説明する。

図１に示すように、3D画像の符号化データが、3D画像を構成するL画像およびR画像（以下、LRペアという）が時間方向に多重化されて符号化された結果得られるビットストリームである場合、復号装置では、ビットストリーム内のどの画像の符号化データとどの画像の符号化データがLRペアの符号化データであるのかを認識することができない。従って、復号装置は、表示順で先頭から２枚ずつの復号画像をLRペアとして認識する。

この場合、図２Ａに示すように、ビットストリームの復号中にエラーが発生しないと、復号装置は、全てのLRペアを認識することができる。

特開2008-182669号公報

しかしながら、図２Ｂに示すように、ビットストリームの復号中にエラーが発生した場合、復号装置は、それ以降の復号画像においてLRペアを認識することができない。例えば、図２Ｂの例では、表示順で先頭から4番目の画像であるR画像の復号画像がエラーにより欠落すると、そのR画像以降の復号画像においてLRペアを認識することができない。その結果、復号エラーが１度発生すると、立体視画像を表示することができなくなる。

また、復号装置は、ランダムアクセスを行う場合、復号画像においてLRペアを認識することができないため、立体視画像を任意の位置から表示することができない場合がある。

本発明は、このような状況に鑑みてなされたものであり、立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができるようにするものである。

本発明の第１の側面の画像処理装置は、立体視画像を構成する多視点の画像を符号化する符号化手段と、ランダムアクセス単位の先頭のピクチャが、前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で前記先頭のピクチャ以降のピクチャとなるように、前記符号化手段を制御する制御手段とを備える画像処理装置である。

本発明の第１の側面の画像処理方法は、本発明の第１の側面の画像処理装置に対応する。

本発明の第１の側面においては、立体視画像を構成する多視点の画像が符号化される。この符号化は、ランダムアクセス単位の先頭のピクチャが、多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で先頭のピクチャ以降のピクチャとなるように制御される。

本発明の第２の側面の画像処理装置は、立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが、前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で前記先頭のピクチャ以降のピクチャとなるよう符号化されて得られる符号化ストリームを復号する復号手段と、前記復号手段により前記符号化ストリームが途中から復号される場合に、前記ランダムアクセス単位の先頭のピクチャから復号が開始されるように、前記復号手段を制御する制御手段とを備える画像処理装置である。

本発明の第２の側面においては、立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが、多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で先頭のピクチャ以降のピクチャとなるよう符号化されて得られる符号化ストリームが復号される。なお、符号化ストリームが途中から復号される場合には、ランダムアクセス単位の先頭のピクチャから復号が開始されるように、復号が制御される。

なお、第１および第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

本発明の第１の側面によれば、立体視画像を構成する多視点の画像を多重化して符号化する場合に、復号装置において符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができる。

本発明の第２の側面によれば、立体視画像を構成する多視点の画像が多重化されて符号化される場合に、符号化データを途中から復号する場合であっても立体視画像を構成する多視点の画像の組を認識することができる。

3D画像の画像信号の多重化について説明する図である。 復号中にエラーが発生した状態を説明する図である。 本発明を適用した符号化システムの一実施の形態の構成例を示すブロック図である。 図１のビデオ符号化装置の構成例を示すブロック図である。 符号化システムにおける撮像タイミングについて説明する図である。 符号化システムにおける他の撮像タイミングについて説明する図である。 ビデオ合成回路による多重化を説明する図である。 図４の符号化回路の構成例を示すブロック図である。 符号化回路から出力されるビットストリームの例を説明する図である。 ビットストリームのGOP構造の例を示す図である。 ビットストリームのGOP構造の他の例を示す図である。 ビットストリームのGOP構造のさらに他の例を示す図である。 ビットストリームのGOP構造のさらに他の例を示す図である。 符号化回路による符号化処理を説明するフローチャートである。 本発明を適用した符号化システムの一実施の形態の他の構成例を示すブロック図である。 図１５の合成部から出力される多重化信号を説明する図である。 復号システムの構成例を示すブロック図である。 図１７のビデオ復号装置の構成例を示すブロック図である。 図１８の復号回路の構成例を示すブロック図である。 ビデオ復号装置による復号エラー処理を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。

＜一実施の形態＞
［符号化システムの一実施の形態の構成例］
図３は、本発明を適用した符号化システムの一実施の形態の構成例を示すブロック図である。

図３の符号化システム１０は、左眼用撮像装置１１、右眼用撮像装置１２、およびビデオ符号化装置１３により構成される。

左眼用撮像装置１１は、L画像を撮像する撮像装置であり、右眼用撮像装置１２は、R画像を撮像する撮像装置である。左眼用撮像装置１１から右眼用撮像装置１２には同期信号が入力され、左眼用撮像装置１１と右眼用撮像装置１２は、互いに同期する。左眼用撮像装置１１と右眼用撮像装置１２は、所定の撮像タイミングで撮像を行う。

ビデオ符号化装置１３には、左眼用撮像装置１１により撮像されたL画像の画像信号が入力されるとともに、右眼用撮像装置１２により撮像されたR画像の画像信号が入力される。ビデオ符号化装置１３は、LRペアごとにL画像の画像信号とR画像の画像信号を時間方向に多重化し、その結果得られる多重化信号に対してAVC符号化方式に準拠した符号化を行う。ビデオ符号化装置１３は、符号化の結果得られる符号化データをビットストリームとして出力する。

[ビデオ符号化装置の構成例]
図４は、図１のビデオ符号化装置１３の構成例を示すブロック図である。

図４のビデオ符号化装置１３は、ビデオ合成回路２１と符号化回路２２により構成される。

ビデオ合成回路２１は、LRペアごとに、左眼用撮像装置１１により撮像されたL画像の画像信号と、右眼用撮像装置１２により撮像されたR画像の画像信号を、時間方向に多重化し、その結果得られる多重化信号を符号化回路２２に供給する。

符号化回路２２は、ビデオ合成回路２１から入力される多重化信号を、AVC符号化方式に準拠して符号化する。なお、このとき、符号化回路２２は、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセス単位の先頭（以下、ランダムアクセスポイントという）である符号化データのGOP(Group of Pictures)の先頭のピクチャがLRペアのうちの一方のピクチャとなり、他方のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなるように、符号化を行う。符号化回路２２は、符号化の結果得られる符号化データをビットストリームとして出力する。

なお、以下では、符号化回路２２において、ランダムアクセスポイントのピクチャがL画像のピクチャとなるように符号化されるものとして説明する。

[撮像タイミングの説明]
図５および図６は、符号化システム１０における撮像タイミングについて説明する図である。

符号化システム１０において、左眼用撮像装置１１と右眼用撮像装置１２は、図５に示すように、LRペアを同一のタイミングで撮像したり、図６に示すように、LRペアを連続する異なるタイミングで撮像したりする。

[L画像とR画像の多重化の説明]
図７は、ビデオ合成回路２１による多重化を説明する図である。

図５や図６で説明したタイミングで撮像されたL画像の画像信号とR画像の画像信号は、パラレルにビデオ合成回路２１に供給される。ビデオ合成回路２１は、LRペアのL画像の画像信号とR画像の画像信号を時間方向に多重化する。これにより、ビデオ合成回路２１から出力される多重化信号は、図７に示すように、L画像の画像信号とR画像の画像信号が交互に繰り返される画像信号となる。

[符号化回路の構成例]
図８は、図４の符号化回路２２の構成例を示すブロック図である。

符号化回路２２のA／D変換部４１は、ビデオ合成回路２１から供給されるアナログ信号である多重化信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部４１は、その画像データを画像並べ替えバッファ４２に供給する。

画像並べ替えバッファ４２は、A/D変換部４１からの画像データを一時記憶し、必要に応じて読み出す。これにより、画像並べ替えバッファ４２は、符号化回路２２の出力であるビットストリームのGOP構造に応じて、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセスポイントのピクチャがL画像のピクチャとなり、そのL画像とLRペアを構成するR画像のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなるように、画像データのピクチャ（フレーム）（フィールド）を符号化順に並べ替える並べ替えを行う。即ち、画像並べ替えバッファ４２は、符号化するピクチャを選択制御する。

画像並べ替えバッファ４２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部４３に供給される。

演算部４３は、画像並べ替えバッファ４２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を減算し、直交変換部４４に供給する。

直交変換部４４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部４５に供給する。なお、直交変換部４４で行われる離散コサイン変換は、実数の離散コサイン変換を近似した整数変換であってもよい。また、離散コサイン変換の変換方法として、４×４ブロックサイズで整数係数変換を行う方法が用いられてもよい。

量子化部４５は、直交変換部４４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部４６に供給する。

可逆符号化部４６は、量子化部４５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ４７に供給する。

蓄積バッファ４７は、可逆符号化部４６からの符号化データを一時記憶し、所定のレートでビットストリームとして出力する。

レート制御部４８は、蓄積バッファ４７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部４５の量子化ステップ等の、量子化部４５の挙動を制御する。

量子化部４５で得られる量子化値は、可逆符号化部４６に供給される他、逆量子化部４９にも供給される。逆量子化部４９は、量子化部４５からの量子化値を、変換係数に逆量子化し、逆直交変換部５０に供給する。

逆直交変換部５０は、逆量子化部４９からの変換係数を逆直交変換し、演算部５１に供給する。

演算部５１は、逆直交変換部５０から供給されるデータに対して、必要に応じて、イントラ予測部５３から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ５２に供給する。

フレームメモリ５２は、演算部５１から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５３や動き予測／動き補償部５４に供給する。

イントラ予測部５３は、イントラピクチャの中で、演算部４３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５２に記憶されている画素から予測画像を生成し、演算部４３及び５１に供給する。

イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部５３から演算部４３に予測画像が供給される場合、演算部４３では、画像並べ替えバッファ４２から供給されるピクチャから、イントラ予測部５３から供給される予測画像が減算される。

また、演算部５１では、演算部４３で減算された予測画像が、逆直交変換部５０から供給されるデータに加算される。

一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ４２から、演算部４３、及び、動き予測／動き補償部５４に供給される。

動き予測／動き補償部５４は、フレームメモリ５２から、画像並べ替えバッファ４２からのノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５４は、フレームメモリ５２からの参照画像を用いて、画像並べ替えバッファ４２からのノンイントラピクチャについて、動きベクトルを検出する。

そして、動き予測／動き補償部５４は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部４３及び５１に供給する。なお、動き補償の際のブロックサイズは固定であっても可変であってもよい。

演算部４３では、画像並べ替えバッファ４２から供給されるノンイントラピクチャから、イントラ予測部５３から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。

なお、イントラ予測部５３が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部５３から可逆符号化部４６に供給される。また、動き予測／動き補償部５４で得られる動きベクトル、及び、動き予測／動き補償部５４が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部５４から可逆符号化部４６に供給される。

可逆符号化部４６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。

[ビットストリームの説明]
図９は、符号化回路２２から出力されるビットストリームの例を説明する図である。

図９Ａに示すように、符号化回路２２から出力されるビットストリームでは、ランダムアクセスポイントが、L画像の画像データのピクチャとなり、そのL画像とLRペアを構成するR画像のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなる。また、ビットストリームでは、LRペアの表示順が所定の順で連続する。

従って、ビットストリームを復号するビデオ復号装置は、ビットストリームの復号途中でエラーが発生した場合であっても、直後のランダムアクセスポイントから復号を再開することにより、復号画像においてLRペアを認識することができる。

例えば、図９Ｂに示すように、ビットストリームの符号化順で先頭から４番目の画像であるR画像の符号化データがエラーにより脱落した場合、ビデオ復号装置は、そのR画像のピクチャを含むGOPの直後のランダムアクセスポイントのピクチャがL画像のピクチャであることを認識する。また、そのL画像とLRペアを構成するR画像のピクチャは、符号化順で、そのL画像のピクチャ以降に存在するので、ランダムアクセスポイントのピクチャから復号が再開されると、そのR画像のピクチャも復号される。さらに、各LRペアの表示順は所定の順で連続している。

以上により、ビデオ復号装置は、ランダムアクセスポイントのピクチャと、そのピクチャと表示順で所定の順に連続するピクチャをLRペアとして認識することができる。また、ビデオ復号装置は、表示順で、そのLRペア以降の復号画像を２枚ずつ順にLRペアとして認識することができる。その結果、復号エラーが発生したピクチャの直後のGOPから立体視画像の表示を再開することができる。

[ビットストリームのGOP構造の例]
図１０乃至図１３は、ビットストリームのGOP構造の例を示す図である。

なお、図１０乃至図１３において、I,P,B,Brは、それぞれ、Iピクチャ、Pピクチャ、Bピクチャ、Brピクチャを表し、I,P,B,Brの後の数字は、表示順を表している。

図１０のGOP構造は、符号化順と表示順の両方でI0,P1,P2,P3,P4,P5・・・の順に並ぶ構造である。この場合、L画像がI0,P2,P4・・・に割り当てられ、R画像がP1,P3,P5・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。

また、図１１のGOP構造は、符号化順でI0,P1,P4,P5,Br2,B3,P8,P9,Br6,B7・・・の順に並び、表示順でI0,P1, Br2, B3,P4,P5,Br6,B7,P8,P9・・・の順に並ぶ構造である。この場合、L画像がI0,Br2,P4,Br6,P8・・・に割り当てられ、R画像の画像信号がP1,B3,P5,B7,P9・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。

図１２のGOP構造は、符号化順でI0,P1,P6,P7,Br2,B3,Br4,B5・・・の順に並び、表示順でI0,P1,Br2,B3,Br4,B5,P6,P7・・・の順に並ぶ構造である。この場合、L画像がI0,Br2,Br4,P6・・・に割り当てられ、R画像がP1,B3,B5,P7・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。

図１０乃至図１２のGOP構造では、LRペアの符号化順が表示順と同様に、L画像、R画像の順で常に連続する。その結果、復号側で、BピクチャおよびBrピクチャを除いて復号してもLRペアが成立し、これにより高速再生を実現することができる。また、同一のLRペアを構成するL画像とR画像を参照関係にすることができ、圧縮効率が向上する。

図１３のGOP構造は、符号化順でI0,P1,P4,Br2,P5,B3・・・の順に並び、表示順でI0,P1,Br2,B3,P4,P5・・・の順に並ぶ構造である。この場合、L画像がI0,Br2,P4・・・に割り当てられ、R画像がP1,B3,P5・・・に割り当てられる。これにより、LRペアの表示順がL画像、R画像の順で連続する。

図１３のGOP構造では、先頭のLRペアの符号化順は、L画像、R画像の順で連続するが、他のLRペアの符号化順は、L画像、R画像の順で連続しない。しかしながら、図１３のGOP構造を有するビットストリームが復号される場合、DPB（Decoded Picture Buffer）バッファは4ピクチャ分で済む。

[符号化システムの処理の説明]
図１４は、符号化システム１０の符号化回路２２による符号化処理を説明するフローチャートである。

図１４のステップＳ１１において、符号化回路２２のA/D変換部４１（図８）は、ビデオ合成回路２１から供給される多重化信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部４１は、その画像データを画像並べ替えバッファ４２に供給する。

ステップＳ１２において、画像並べ替えバッファ４２は、符号化回路２２の出力であるビットストリームのGOP構造に応じて、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセスポイントのピクチャがL画像のピクチャとなり、そのL画像とLRペアを構成するR画像のピクチャが符号化順でランダムアクセスポイント以降のピクチャとなるように、画像データのピクチャを符号化順に並べ替える。

ステップＳ１３において、演算部４３、直交変換部４４、量子化部４５、可逆符号化部４６、逆量子化部４９、逆直交変換部５０、演算部５１、フレームメモリ５２、イントラ予測部５３、および動き予測／動き補償部５４は、画像並べ替えバッファから供給される画像データのピクチャを符号化する。その結果得られる符号化データは、蓄積バッファ４７に供給される。

ステップＳ１４において、蓄積バッファ４７は、符号化データを一時記憶し、所定のレートでビットストリームとして出力する。そして処理は終了する。

なお、図３の符号化システム１０では、ビデオ合成回路２１がビデオ符号化装置１３に設けられたが、ビデオ符号化装置１３の外部に設けられるようにしてもよい。この場合、左眼用撮像装置１１で撮像されたL画像の画像信号と右眼用撮像装置１２で撮像されたR画像の画像信号がビデオ合成回路２１で多重化され、多重化信号がビデオ符号化装置１３に入力される。

[符号化システムの一実施の形態の他の構成例]
図１５は、本発明を適用した符号化システムの一実施の形態の他の構成例を示すブロック図である。

図１５の符号化システム１０は、撮像装置１０１とビデオ符号化装置１０２により構成される。撮像装置１０１は、撮像部１１１、分岐部１１２、撮像処理部１１３および撮像処理部１１４、並びに合成部１１５により構成される。符号化システム１０では、１つの撮像装置１０１でL画像とR画像が撮像され、L画像の画像信号とR画像の画像信号が多重化されてシリアルにビデオ符号化装置１０２に入力される。

撮像装置１０１は、撮像部１１１、分岐部１１２、並びに、２つの撮像処理部１１３および撮像処理部１１４を備える。撮像部１１１は、撮像処理部１１３の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１３に供給する。また、撮像部１１１は、撮像処理部１１４の制御により撮像を行い、その結果得られる画像信号を、分岐部１１２を介して撮像処理部１１４に供給する。

撮像処理部１１３は、撮像部１１１を制御して、撮像処理部１１４の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１３は、その結果分岐部１１２から供給される画像信号を合成部１１５に供給する。

撮像処理部１１４は、撮像部１１１を制御して、撮像処理部１１３の撮像タイミングと同一の撮像タイミングまたは連続する異なる撮像タイミングで撮像を行わせる。撮像処理部１１４は、その結果分岐部１１２から供給される画像信号をR画像の画像信号として合成部１１５に供給する。

合成部１１５は、撮像処理部１１３から供給されるL画像の画像信号と撮像処理部１１４から供給されるR画像の画像信号を時間方向に多重化してビデオ符号化装置１０２に出力する。

ビデオ符号化装置１０２は、図８の符号化回路２２により構成され、合成部１１５から供給される多重化信号に対して符号化を行う。

図１６は、合成部１１５から出力される多重化信号を説明する図である。

図１６に示すように、合成部１１５では、撮像処理部１１３の制御により撮像されたL画像の画像信号と撮像処理部１１４の制御により撮像されたR画像の画像信号が、時間方向に多重化される。その結果、合成部１１５から出力される多重化信号は、図１６に示すように、L画像の画像信号とR画像の画像信号が交互に繰り返される画像信号となる。

[復号システムの構成例]
図１７は、上述した符号化システム１０から出力されたビットストリームを復号する復号システムの構成例を示すブロック図である。

図１７の復号システム２００は、ビデオ復号装置２０１と３Ｄビデオ表示装置２０２により構成される。

ビデオ復号装置２０１は、符号化システム１０から出力されたビットストリームをAVC符号化方式に対応する方式で復号する。ビデオ復号装置２０１は、その結果得られるアナログ信号である画像信号を、LRペアごとに3Dビデオ表示装置２０２に出力する。

3Dビデオ表示装置２０２は、ビデオ復号装置２０１からLRペアごとに入力されるL画像の画像信号とR画像の画像信号に基づいて、3D画像を表示する。これにより、ユーザは、立体画像を見ることができる。

なお、3Dビデオ表示装置２０２としては、LRペアを同一のタイミングで表示する表示装置を用いることもできるし、LRペアを連続する異なるタイミングで表示する表示装置を用いることもできる。また、LRペアを連続する異なるタイミングで表示する表示装置としては、L画像とR画像をラインごとに交互にインタリーブし、フィールド単位で交互に表示する表示装置、L画像とR画像をフレームレートの高い画像としてフレーム単位で交互に表示する表示装置などがある。

[ビデオ復号装置の構成例]
図１８は、図１７のビデオ復号装置２０１の構成例を示すブロック図である。

図１８に示すように、ビデオ復号装置２０１は、復号回路２１１、フレームメモリ２１２、画像サイズ変換回路２１３、フレームレート変換回路２１４、D/A(Digital/Analog)変換回路２１５、およびコントローラ２１６により構成される。

復号回路２１１は、コントローラ２１６の制御にしたがって、符号化システム１０から出力されたビットストリームをAVC符号化方式に対応する方式で復号する。復号回路２１１は、復号の結果得られるディジタル信号である画像データを、フレームメモリ２１２に供給する。また、復号回路２１１は、復号中にエラーが発生した場合、その旨をコントローラ２１６に通知する。

フレームメモリ２１２は、復号回路２１１から供給される画像データを記憶する。フレームメモリ２１２は、コントローラ２１６の制御にしたがって、記憶しているL画像の画像データとR画像の画像データをLRペアごとに読み出し、画像サイズ変換回路２１３に出力する。

画像サイズ変換回路２１３は、フレームメモリ２１２から供給されるLRペアの画像データの画像サイズを、それぞれ所定のサイズに拡大または縮小し、フレームレート変換回路２１４に供給する。

フレームレート変換回路２１４は、コントローラ２１６の制御にしたがって、L画像およびR画像のフレームレートが所定のレートになるように、画像サイズ変換回路２１３から供給されるLRペアの画像データの出力タイミングを制御しながら、LRペアの画像データを出力する。

D/A変換回路２１５は、フレームレート変換回路２１４から出力されたLRペアの画像データに対してそれぞれD/A変換を行い、その結果得られるアナログ信号である画像信号を3Dビデオ表示装置２０２に出力する。

コントローラ２１６は、復号回路２１１から供給されるエラーの通知に応じて、ランダムアクセスポイントから復号を再開するように復号回路２１１を制御する。また、コントローラ２１６は、ユーザによりビットストリームの所定の位置からの再生が指令されると、その位置の直近のランダムアクセスポイントから復号を開始するように復号回路２１１を制御する。

さらに、コントローラ２１６は、復号の開始位置または再開位置のピクチャがL画像のピクチャであるとして、フレームメモリ２１２を制御し、LRペアごとに画像データを読み出させる。また、コントローラ２１６は、フレームレート変換回路２１４を制御し、画像サイズ変換回路２１３から出力されるL画像およびR画像の画像データのフレームレートを所定のフレームレートに変換して出力させる。

[復号回路の構成例]
図１９は、図１８の復号回路２１１の構成例を示すブロック図である。

符号化システム１０からビットストリームとして出力された符号化データは、蓄積バッファ２７１に供給される。蓄積バッファ２７１は、そこに供給される符号化データを一時記憶する。蓄積バッファ２７１は、コントローラ２１６からの制御にしたがって、符号化データを読み出し、可逆符号復号部２７２に供給する。例えば、蓄積バッファ２７１は、コントローラ２１６からの制御にしたがって、ランダムアクセスポイントの符号化データから読み出しを行い、可逆符号復号部２７２に供給する。

可逆符号復号部２７２は、蓄積バッファ２７１からの符号化データに対して、その符号化データのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。

可逆符号復号部２７２で得られる量子化値は、逆量子化部２７３に供給され、イントラ予測モードは、イントラ予測部２７７に供給される。また、可逆符号復号部２７２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部２７８に供給される。

逆量子化部２７３、逆直交変換部２７４、演算部２７５、フレームメモリ２７６、イントラ予測部２７７、及び、動き予測／動き補償部２７８は、図８の逆量子化部４９、逆直交変換部５０、演算部５１、フレームメモリ５２、イントラ予測部５３、及び、動き予測／動き補償部５４とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。

すなわち、逆量子化部２７３は、可逆符号復号部２７２からの量子化値を、変換係数に逆量子化し、逆直交変換部２７４に供給する。

逆直交変換部２７４は、符号化データのフォーマットに基づき、逆量子化部２７３からの変換係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、演算部２７５に供給する。

演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部２７７から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部２７５は、逆直交変換部２７４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部２７８から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。

演算部２７５で得られた復号画像は、必要に応じて、フレームメモリ２７６に供給されるとともに、画像並べ替えバッファ２７９に供給される。

フレームメモリ２７６は、演算部２７５から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部２７７や動き予測／動き補償部２７８に供給する。

イントラ予測部２７７は、演算部２７５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ２７６からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部２７５に供給する。

すなわち、イントラ予測部２７７は、可逆符号復号部２７２からのイントラ予測モードに従い、演算部２７５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ２７６に記憶されている画素から予測画像を生成し、演算部２７５に供給する。

一方、動き予測／動き補償部２７８は、演算部２７５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部２７５に供給する。

すなわち、動き予測／動き補償部２７８は、可逆符号復号部２７２からのピクチャタイプ等に従い、フレームメモリ２７６から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部２７８は、フレームメモリ２７６からの参照画像に対して、可逆符号復号部２７２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部２７５に供給する。

演算部２７５では、以上のようにして、イントラ予測部２７７、又は、動き予測／動き補償部２７８から供給される予測画像を、逆直交変換部２７４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。

画像並べ替えバッファ２７９は、演算部２７５からのピクチャ（復号画像）を一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、フレームメモリ２１２に供給する。

なお、復号回路２１１において、復号中にエラーが発生した場合には、エラーの発生を検出した部からコントローラ２１６に、エラーが発生した旨が通知される。

[復号システムの処理の説明]
図２０は、復号システム２００のビデオ復号装置２０１による復号エラー処理を説明するフローチャートである。この復号エラー処理は、例えば、復号回路２１１により復号が開始されたとき、開始される。

図２０のステップＳ３１において、コントローラ２１６は、復号中にエラーが発生したかどうか、即ち復号回路２１１からエラーが発生した旨が通知されたかどうかを判定する。ステップＳ３１で復号中にエラーが発生したと判定された場合、コントローラ２１６は、復号の停止を復号回路２１１に指示し、ステップＳ３２において、復号回路２１１は、その指示に応じて復号を停止する。具体的には、復号回路２１１の蓄積バッファ２７１（図１９）が、コントローラ２１６からの指示に応じて、符号化データの読み出しを停止する。

ステップＳ３３において、復号回路２１１の蓄積バッファ２７１は、コントローラ２１６の制御にしたがって、記憶している符号化データから、読み出しが停止されたピクチャの直後のランダムアクセスポイントのピクチャの符号化データを検索する。

ステップＳ３４において、復号回路２１１は、ステップＳ３３で検索されたランダムアクセスポイントのピクチャの符号化データから復号を再開する。具体的には、復号回路２１１の蓄積バッファ２７１が、ステップＳ３３で検索されたランダムアクセスポイントのピクチャの符号化データからの読み出しを開始する。復号回路２１１による復号の結果得られる画像データは、フレームメモリ２１２に供給され、記憶される。

ステップＳ３５において、フレームメモリ２１２は、コントローラ２１６からの制御にしたがって、ランダムアクセスポイントのピクチャを復号した結果得られる画像データをL画像の画像データとして、L画像の画像データとR画像の画像データをLRペアごとに出力する。

具体的には、フレームメモリ２１２は、まず、ランダムアクセスポイントのピクチャの画像データをL画像の画像データとし、その画像データと所定の順に連続して復号回路２１１から供給された画像データをR画像の画像データとし、そのL画像の画像データとR画像の画像データをLRペアの画像データとして出力する。そして、フレームメモリ２１２は、そのLRペアの画像データの後に復号回路２１１から供給される２枚の画像の画像データを順にLRペアの画像データとして出力する。そして処理は終了する。

一方、ステップＳ３１で復号中にエラーが発生していないと判定された場合、処理は終了する。

なお、図示は省略するが、復号システム２００において、ユーザによりビットストリームの所定の位置からの再生が指令された場合には、その位置の直近のランダムアクセスポイントのピクチャの符号化データが検索され、ステップＳ３４およびＳ３５と同様の処理が行われる。

以上のように、符号化システム１０は、LRペアの画像信号が多重化された多重化信号に対して、LRペアの表示順が所定の順で連続し、かつ、ランダムアクセスポイントのピクチャが、LRペアのうちのL画像のピクチャとなり、R画像のピクチャが、符号化順でランダムアクセスポイントのピクチャ以降のピクチャとなるように符号化を行う。

従って、復号システム２００は、エラーの発生やユーザからの指示などにより、ビットストリームを途中から復号する場合であっても、ランダムアクセスポイントから復号することにより、LRペアを認識することができる。その結果、復号システム２００は、3D画像を表示することができる。即ち、復号システム２００は、エラーが発生した場合に3D画像の表示を素早く復帰したり、ユーザの所望の位置から3D画像を表示したりすることができる。

なお、上述した説明では、ランダムアクセスポイントのピクチャが、L画像のピクチャとなるように符号化されるものとして説明したが、ランダムアクセスポイントのピクチャは、R画像のピクチャとなるように符号化されてもよい。

[本発明を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部６０８やROM６０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア６１１に格納（記録）しておくことができる。このようなリムーバブルメディア６１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア６１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア６１１からドライブ６１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部６０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)６０１を内蔵しており、CPU６０１には、バス６０４を介して、入出力インタフェース６０５が接続されている。

CPU６０１は、入出力インタフェース６０５を介して、ユーザによって、入力部６０６が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)６０２に格納されているプログラムを実行する。あるいは、CPU６０１は、記憶部６０８に格納されたプログラムを、RAM(Random Access Memory)６０３にロードして実行する。

これにより、CPU６０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU６０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース６０５を介して、出力部６０７から出力、あるいは、通信部６０９から送信、さらには、記憶部６０８に記録等させる。

なお、入力部６０６は、キーボードや、マウス、マイク等で構成される。また、出力部６０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した符号化システム１０や復号システム２００は、任意の電子機器に適用することができる。以下にその例について説明する。

［テレビジョン受像機の構成例］
図２２は、本発明を適用した復号システムを用いるテレビジョン受像機の主な構成例を示すブロック図である。

図２２のテレビジョン受像機７００は、上述した符号化システム１０で得られるビットストリームを、ディジタル放送の放送信号やコンテンツデータの少なくとも一部として取得し、復号システム２００と同様の処理を行って立体視画像を表示する。

テレビジョン受像機７００の地上波チューナ７１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、画像信号を取得し、それをビデオデコーダ７１５に供給する。ビデオデコーダ７１５は、地上波チューナ７１３から供給された映像信号に対してデコード処理を施し、得られたディジタルのコンポーネント信号を映像信号処理回路７１８に供給する。

映像信号処理回路７１８は、ビデオデコーダ７１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路７１９に供給する。

グラフィック生成回路７１９は、表示パネル７２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路７２０に供給する。また、グラフィック生成回路７１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路７２０に供給するといった処理も適宜行う。

パネル駆動回路７２０は、グラフィック生成回路７１９から供給されたデータに基づいて表示パネル７２１を駆動し、番組の映像や上述した各種の画面を表示パネル７２１に表示させる。

表示パネル７２１は、パネル駆動回路７２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機７００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路７２２、エコーキャンセル／音声合成回路７２３、音声増幅回路７２４、およびスピーカ７２５も有する。

地上波チューナ７１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ７１３は、取得した音声信号を音声A/D変換回路３１４に供給する。

音声A/D変換回路３１４は、地上波チューナ７１３から供給された音声信号に対してA/D変換処理を施し、得られたディジタルの音声信号を音声信号処理回路７２２に供給する。

音声信号処理回路７２２は、音声A/D変換回路７１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路７２３に供給する。

エコーキャンセル／音声合成回路７２３は、音声信号処理回路７２２から供給された音声データを音声増幅回路７２４に供給する。

音声増幅回路７２４は、エコーキャンセル／音声合成回路７２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ７２５から出力させる。

さらに、テレビジョン受像機７００は、デジタルチューナ７１６およびMPEGデコーダ７１７も有する。

デジタルチューナ７１６は、ディジタル放送（地上ディジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）ディジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ７１７に供給する。

MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ７１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路７２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路７１８に供給する。また、MPEGデコーダ７１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU７３２に供給する。

MPEGデコーダ７１７から供給された映像データは、ビデオデコーダ７１５から供給された映像データの場合と同様に、映像信号処理回路７１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路７１９において、生成された映像データ等が適宜重畳され、パネル駆動回路７２０を介して表示パネル７２１に供給され、その画像が表示される。

テレビジョン受像機７００は、このように映像パケットをデコードして表示パネル７２１に画像を表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、映像パケットを途中からデコードする場合であっても、LRペアを認識することができる。

MPEGデコーダ７１７から供給された音声データは、音声A/D変換回路７１４から供給された音声データの場合と同様に、音声信号処理回路７２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路７２３を介して音声増幅回路７２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ７２５から出力される。

また、テレビジョン受像機７００は、マイクロホン７２６、およびA/D変換回路７２７も有する。

A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データをエコーキャンセル／音声合成回路７２３に供給する。

エコーキャンセル／音声合成回路７２３は、テレビジョン受像機７００のユーザ（ユーザＡ）の音声のデータがA/D変換回路７２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路７２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。

さらに、テレビジョン受像機７００は、音声コーデック７２８、内部バス７２９、SDRAM（Synchronous Dynamic Random Access Memory)７３０、フラッシュメモリ７３１、CPU７３２、USB（Universal Serial Bus) I/F７３３、およびネットワークI/F７３４も有する。

A/D変換回路７２７は、音声会話用のものとしてテレビジョン受像機７００に設けられるマイクロホン７２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路７２７は、受信した音声信号に対してA/D変換処理を施し、得られたディジタルの音声データを音声コーデック７２８に供給する。

音声コーデック７２８は、A/D変換回路７２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス７２９を介してネットワークI/F７３４に供給する。

ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F７３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック７２８から供給された音声データを送信する。また、ネットワークI/F７３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子７３５を介して受信し、それを、内部バス７２９を介して音声コーデック７２８に供給する。

音声コーデック７２８は、ネットワークI/F７３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路７２３に供給する。

エコーキャンセル／音声合成回路７２３は、音声コーデック７２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路７２４を介してスピーカ７２５より出力させる。

SDRAM７３０は、CPU７３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ７３１は、CPU７３２により実行されるプログラムを記憶する。フラッシュメモリ７３１に記憶されているプログラムは、テレビジョン受像機７００の起動時などの所定のタイミングでCPU７３２により読み出される。フラッシュメモリ７３１には、ディジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ７３１には、CPU７３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ７３１は、例えばCPU７３２の制御により、そのMPEG-TSを、内部バス７２９を介してMPEGデコーダ７１７に供給する。

MPEGデコーダ７１７は、デジタルチューナ７１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機７００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ７１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機７００は、リモートコントローラ７５１から送信される赤外線信号を受光する受光部７３７も有する。

受光部７３７は、リモートコントローラ７５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU７３２に出力する。

CPU７３２は、フラッシュメモリ７３１に記憶されているプログラムを実行し、受光部７３７から供給される制御コードなどに応じてテレビジョン受像機７００の全体の動作を制御する。CPU７３２とテレビジョン受像機７００の各部は、図示せぬ経路を介して接続されている。

USB I/F７３３は、USB端子７３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機７００の外部の機器との間でデータの送受信を行う。ネットワークI/F７３４は、ネットワーク端子７３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

［携帯電話機の構成例］
図２３は、本発明を適用した符号化システムおよび復号システムを用いる携帯電話機の主な構成例を示すブロック図である。

図２３の携帯電話機８００は、上述した符号化システム１０と同様の処理を行い、立体視画像を表示するためのビットストリームを得る。また、携帯電話機８００は、上述した符号化システム１０で得られるビットストリームを受信して、復号システム２００と同様の処理を行い、立体視画像を表示する。

図２３の携帯電話機８００は、各部を統括的に制御するようになされた主制御部８５０、電源回路部８５１、操作入力制御部８５２、画像エンコーダ８５３、カメラI/F部８５４、LCD制御部８５５、画像デコーダ８５６、多重分離部８５７、記録再生部８６２、変復調回路部８５８、および音声コーデック８５９を有する。これらは、バス８６０を介して互いに接続されている。

また、携帯電話機８００は、操作キー８１９、CCD（Charge Coupled Devices）カメラ８１６、液晶ディスプレイ８１８、記憶部８２３、送受信回路部８６３、アンテナ８１４、マイクロホン（マイク）８２１、およびスピーカ８１７を有する。

電源回路部８５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機８００を動作可能な状態に起動する。

携帯電話機８００は、CPU、ROMおよびRAM等でなる主制御部８５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機８００は、マイクロホン（マイク）８２１で集音した音声信号を、音声コーデック８５９によってディジタル音声データに変換し、これを変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機８００は、アンテナ８１４で受信した受信信号を送受信回路部８６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部８５８でスペクトラム逆拡散処理し、音声コーデック８５９によってアナログ音声信号に変換する。携帯電話機８００は、その変換して得られたアナログ音声信号をスピーカ８１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機８００は、操作キー８１９の操作によって入力された電子メールのテキストデータを、操作入力制御部８５２において受け付ける。携帯電話機８００は、そのテキストデータを主制御部８５０において処理し、LCD制御部８５５を介して、画像として液晶ディスプレイ８１８に表示させる。

また、携帯電話機８００は、主制御部８５０において、操作入力制御部８５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機８００は、その電子メールデータを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機８００は、復元された電子メールデータを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示する。

なお、携帯電話機８００は、受信した電子メールデータを、記録再生部８６２を介して、記憶部８２３に記録する（記憶させる）ことも可能である。

この記憶部８２３は、書き換え可能な任意の記憶媒体である。記憶部８２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機８００は、撮像によりCCDカメラ８１６で画像データを生成する。CCDカメラ８１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部８５４を介して、画像エンコーダ８５３で、例えばMVCやAVC等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機８００は、このように撮像により生成された画像データを圧縮符号化する処理として、上述したビデオ符号化装置１３（１０２）と同様の処理を行う。その結果、符号化画像データを途中から復号する場合であっても、LRペアを認識することができる。

携帯電話機８００は、多重分離部８５７において、画像エンコーダ８５３から供給された符号化画像データと、音声コーデック８５９から供給されたディジタル音声データとを、所定の方式で多重化する。携帯電話機８００は、その結果得られる多重化データを、変復調回路部８５８でスペクトラム拡散処理し、送受信回路部８６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機８００は、その変換処理により得られた送信用信号を、アンテナ８１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機８００は、CCDカメラ８１６で生成した画像データ等を、画像エンコーダ８５３を介さずに、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機８００は、基地局から送信された信号を、アンテナ８１４を介して送受信回路部８６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機８００は、その受信信号を変復調回路部８５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機８００は、多重分離部８５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機８００は、画像デコーダ８５６において、符号化画像データを、MVCやAVC等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部８５５を介して液晶ディスプレイ８１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ８１８に表示される。

携帯電話機８００は、このように符号化画像データをデコードして液晶ディスプレイ８１８に表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、例えば、動画ファイルを途中から復号する場合であっても、LRペアを認識することができる。

なお、電子メールの場合と同様に、携帯電話機８００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部８６２を介して、記憶部８２３に記録する（記憶させる）ことも可能である。

また、携帯電話機８００は、主制御部８５０において、撮像されてCCDカメラ８１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機８００は、赤外線通信部８８１で赤外線により外部の機器と通信することができる。

なお、以上において、携帯電話機８００が、CCDカメラ８１６を用いるように説明したが、このCCDカメラ８１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機８００は、CCDカメラ８１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機８００について説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機８００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機８００の場合と同様に、上述した符号化システムおよび復号システムを適用することができる。

［ハードディスクレコーダの構成例］
図２４は、本発明を適用した復号システムを用いるハードディスクレコーダとモニタの主な構成例を示すブロック図である。

図２４のハードディスクレコーダ（HDDレコーダ）９００は、上述した符号化システム１０で得られるビットストリームを、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）等の一部として取得し、内蔵するハードディスクに保存する。そして、ハードディスクレコーダ９００は、ユーザの指示に応じたタイミングで、保存されているビットストリームを用いて復号システム２００と同様の処理を行い、立体視画像をモニタ９６０に表示させる。

ハードディスクレコーダ９００は、受信部９２１、復調部９２２、デマルチプレクサ９２３、オーディオデコーダ９２４、ビデオデコーダ９２５、およびレコーダ制御部９２６を有する。ハードディスクレコーダ９００は、さらに、EPGデータメモリ９２７、プログラムメモリ９２８、ワークメモリ９２９、ディスプレイコンバータ９３０、OSD（On Screen Display）制御部９３１、ディスプレイ制御部９３２、記録再生部９３３、D/Aコンバータ９３４、および通信部９３５を有する。

また、ディスプレイコンバータ９３０は、ビデオエンコーダ９４１を有する。記録再生部９３３は、エンコーダ９５１およびデコーダ９５２を有する。

受信部９２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部９２６に出力する。レコーダ制御部９２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ９２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部９２６は、このとき、ワークメモリ９２９を必要に応じて使用する。

通信部９３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部９３５は、レコーダ制御部９２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部９２２は、チューナより供給された信号を、復調し、デマルチプレクサ９２３に出力する。デマルチプレクサ９２３は、復調部９２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ９２４、ビデオデコーダ９２５、またはレコーダ制御部９２６に出力する。

オーディオデコーダ９２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部９３３に出力する。ビデオデコーダ９２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ９３０に出力する。レコーダ制御部９２６は、入力されたEPGデータをEPGデータメモリ９２７に供給し、記憶させる。

ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されたビデオデータを、ビデオエンコーダ９４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部９３３に出力する。

ハードディスクレコーダ９００は、このようにビデオデータをエンコードする処理として、上述したビデオ符号化装置１３（１０２）と同様の処理を行う。その結果、エンコードされたビデオデータを途中から復号する場合であっても、LRペアを認識することができる。

また、ディスプレイコンバータ９３０は、ビデオデコーダ９２５またはレコーダ制御部９２６より供給されるビデオデータの画面のサイズを、モニタ９６０のサイズに対応するサイズに変換する。ディスプレイコンバータ９３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ９４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部９３２に出力する。

ディスプレイ制御部９３２は、レコーダ制御部９２６の制御のもと、OSD（On Screen Display）制御部９３１が出力したOSD信号を、ディスプレイコンバータ９３０より入力されたビデオ信号に重畳し、モニタ９６０のディスプレイに出力し、表示させる。

ハードディスクレコーダ９００は、このようにビデオデータをデコードしてモニタ９６０に画像を表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、ビデオデータを途中から復号する場合であっても、LRペアを認識することができる。

モニタ９６０にはまた、オーディオデコーダ９２４が出力したオーディオデータが、D/Aコンバータ９３４によりアナログ信号に変換されて供給されている。モニタ９６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部９３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部９３３は、例えば、オーディオデコーダ９２４より供給されるオーディオデータを、エンコーダ９５１によりMPEG方式でエンコードする。また、記録再生部９３３は、ディスプレイコンバータ９３０のビデオエンコーダ９４１より供給されるビデオデータを、エンコーダ９５１によりMPEG方式でエンコードする。記録再生部９３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部９３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部９３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部９３３は、デコーダ９５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部９３３は、復号したオーディオデータをD/A変換し、モニタ９６０のスピーカに出力する。また、記録再生部９３３は、復号したビデオデータをD/A変換し、モニタ９６０のディスプレイに出力する。

レコーダ制御部９２６は、受信部９２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ９２７から最新のEPGデータを読み出し、それをOSD制御部９３１に供給する。OSD制御部９３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部９３２に出力する。ディスプレイ制御部９３２は、OSD制御部９３１より入力されたビデオデータをモニタ９６０のディスプレイに出力し、表示させる。これにより、モニタ９６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ９００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部９３５は、レコーダ制御部９２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部９２６に供給する。レコーダ制御部９２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部９３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部９２６および記録再生部９３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部９２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ９３０に供給する。ディスプレイコンバータ９３０は、ビデオデコーダ９２５から供給されるビデオデータと同様に、レコーダ制御部９２６から供給されるビデオデータを処理し、ディスプレイ制御部９３２を介してモニタ９６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部９２６が、復号したオーディオデータを、D/Aコンバータ９３４を介してモニタ９６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部９２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ９２７に供給する。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ９００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ９００の場合と同様に、上述した符号化システムおよび復号システムを適用することができる。

［カメラの構成例］
図２５は、本発明を適用した符号化システムおよび復号システムを用いるカメラの主な構成例を示すブロック図である。

図２５のカメラ１０００は、符号化システム１０と同様の処理を行い、ビットストリームを得る。また、カメラ１０００は、復号システム２００と同様の処理を行い、そのビットストリームを用いて立体視画像を表示させる。

カメラ１０００のレンズブロック１０１１は、光（すなわち、被写体の映像）を、CCD/CMOS１０１２に入射させる。CCD/CMOS１０１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１０１３に供給する。

カメラ信号処理部１０１３は、CCD/CMOS１０１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１０１４に供給する。画像信号処理部１０１４は、コントローラ１０２１の制御の下、カメラ信号処理部１０１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１０４１で例えばAVCやMVCといった方式により符号化したりする。

カメラ１０００は、このように撮像により生成された画像信号を符号化する処理として、上述したビデオ符号化装置１３（１０２）と同様の処理を行う。その結果、符号化された画像信号を途中から復号する場合であっても、LRペアを認識することができる。

画像信号処理部１０１４は、画像信号を符号化して生成した符号化データを、デコーダ１０１５に供給する。さらに、画像信号処理部１０１４は、オンスクリーンディスプレイ（OSD）１０２０において生成された表示用データを取得し、それをデコーダ１０１５に供給する。

以上の処理において、カメラ信号処理部１０１３は、バス１０１７を介して接続されるDRAM（Dynamic Random Access Memory）１０１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１０１８に保持させる。

デコーダ１０１５は、画像信号処理部１０１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１０１６に供給する。また、デコーダ１０１５は、画像信号処理部１０１４から供給された表示用データをLCD１０１６に供給する。LCD１０１６は、デコーダ１０１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

カメラ１０００は、このように符号化データを復号してLCD１０１６に表示する処理として、上述したビデオ復号装置２０１と同様の処理を行う。その結果、符号化データを途中から復号する場合であっても、LRペアを認識することができる。

オンスクリーンディスプレイ１０２０は、コントローラ１０２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１０１７を介して画像信号処理部１０１４に出力する。

コントローラ１０２１は、ユーザが操作部１０２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１０１７を介して、画像信号処理部１０１４、DRAM１０１８、外部インタフェース１０１９、オンスクリーンディスプレイ１０２０、およびメディアドライブ１０２３等を制御する。FLASH ROM１０２４には、コントローラ１０２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５に代わって、DRAM１０１８に記憶されている画像データを符号化したり、DRAM１０１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１０２１は、画像信号処理部１０１４やデコーダ１０１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１０１４やデコーダ１０１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１０２２から画像印刷の開始が指示された場合、コントローラ１０２１は、DRAM１０１８から画像データを読み出し、それを、バス１０１７を介して外部インタフェース１０１９に接続されるプリンタ１０３４に供給して印刷させる。

さらに、例えば、操作部１０２２から画像記録が指示された場合、コントローラ１０２１は、DRAM１０１８から符号化データを読み出し、それを、バス１０１７を介してメディアドライブ１０２３に装着される記録メディア１０３３に供給して記憶させる。

記録メディア１０３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１０３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、
非接触ICカード等であっても良い。

また、メディアドライブ１０２３と記録メディア１０３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１０１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１０３４と接続される。また、外部インタフェース１０１９には、必要に応じてドライブ１０３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１０３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１０２４にインストールされる。

さらに、外部インタフェース１０１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１０２１は、例えば、操作部１０２２からの指示に従って、DRAM１０１８から符号化データを読み出し、それを外部インタフェース１０１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１０２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１０１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部１０１４に供給したりすることができる。

なお、カメラ１０００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、上述した符号化システム１０および復号システム２００は、上述した装置以外の装置やシステムにも適用可能である。

１０ 符号化システム， ２２ 符号化回路

Claims (12)

1. 立体視画像を構成する多視点の画像を符号化する符号化手段と、
   ランダムアクセス単位の先頭のピクチャが、前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で前記先頭のピクチャ以降のピクチャとなるように、前記符号化手段を制御する制御手段と
   を備える画像処理装置。
2. 前記制御手段は、さらに、前記先頭のピクチャとなる画像を含む多視点の画像のピクチャが、符号化順で連続するように前記符号化手段を制御する
   請求項１に記載の画像処理装置。
3. 前記制御手段は、さらに、前記多視点の画像のピクチャが符号化順で常に連続するように、前記符号化手段を制御する
   請求項１に記載の画像処理装置。
4. 前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
   前記制御手段は、前記ランダムアクセス単位の先頭のピクチャが、前記左画像のピクチャとなり、その左画像とともにステレオ画像を構成する右画像のピクチャが、符号化順で前記先頭のピクチャ以降となるように、前記符号化手段を制御する
   請求項１に記載の画像処理装置。
5. 前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
   前記制御手段は、前記ランダムアクセス単位の先頭のピクチャが、前記右画像のピクチャとなり、その右画像とともにステレオ画像を構成する左画像のピクチャが、符号化順で前記先頭のピクチャ以降となるように、前記符号化手段を制御する
   請求項１に記載の画像処理装置。
6. 画像処理装置が、
   立体視画像を構成する多視点の画像を符号化する符号化ステップと、
   ランダムアクセス単位の先頭のピクチャが、前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で前記先頭のピクチャ以降のピクチャとなるように、前記符号化を制御する制御ステップと
   を含む画像処理方法。
7. 立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが、前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で前記先頭のピクチャ以降のピクチャとなるよう符号化されて得られる符号化ストリームを復号する復号手段と、
   前記復号手段により前記符号化ストリームが途中から復号される場合に、前記ランダムアクセス単位の先頭のピクチャから復号が開始されるように、前記復号手段を制御する制御手段と
   を備える画像処理装置。
8. 前記制御手段は、前記復号中にエラーが発生した場合に、前記復号手段による復号を停止し、復号が停止されたピクチャの直後の前記ランダムアクセス単位の先頭のピクチャから復号が開始されるように、前記復号手段を制御する
   請求項７に記載の画像処理装置。
9. 前記制御手段は、前記符号化ストリームの所定の位置からの復号が指令された場合に、その位置の直近の前記ランダムアクセス単位の先頭のピクチャから復号が開始されるように、前記復号手段を制御する
   請求項７に記載の画像処理装置。
10. 前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
    前記符号化ストリームは、前記ランダムアクセス単位の先頭のピクチャが、前記左画像のピクチャとなり、その左画像とともにステレオ画像を構成する右画像のピクチャが、符号化順で前記先頭のピクチャ以降となるように符号化されて得られる符号化ストリームであり、
    前記復号手段は、前記ランダムアクセス単位の先頭のピクチャを復号した結果得られる画像データを前記左画像の画像データとして出力する
    請求項７に記載の画像処理装置。
11. 前記多視点の画像は、左眼で観察される左画像と右眼で観察される右画像から構成されるステレオ画像であり、
    前記符号化ストリームは、前記ランダムアクセス単位の先頭のピクチャが、前記右画像のピクチャとなり、その右画像とともにステレオ画像を構成する左画像のピクチャが、符号化順で前記先頭のピクチャ以降となるように符号化されて得られる符号化ストリームであり、
    前記復号手段は、前記ランダムアクセス単位の先頭のピクチャを復号した結果得られる画像データを前記右画像の画像データとして出力する
    請求項７に記載の画像処理装置。
12. 画像処理装置が、
    立体視画像を構成する多視点の画像のランダムアクセス単位の先頭のピクチャが、前記多視点の画像のうちのいずれか１つの画像のピクチャとなり、残りの画像のピクチャが、符号化順で前記先頭のピクチャ以降のピクチャとなるよう符号化されて得られる符号化ストリームを復号する復号ステップと、
    前記復号ステップの処理により前記符号化ストリームが途中から復号される場合に、前記ランダムアクセス単位の先頭のピクチャから復号が開始されるように、前記復号を制御する制御手ステップと
    を含む画像処理方法。

Images