JP2009260983A - 動画像符号化装置および方法、並びに動画像復号化装置および方法 - Google Patents

Abstract

【課題】立体動画像に対する画像処理を効率良く行う。
【解決手段】動画像符号化装置は、符号化対象の動画像を表す入力画像信号に基づき符号化対象の動画像がステレオ動画像か否かの種別を判定する動画像種別判定部と、動画像の種別に応じて予測モードを選択し、フレーム間予測モードを選択した場合、符号化対象の動画像に対する動きベクトルを検出する動き検出部と、動画像の種別、予測モード及び動きベクトルに基づき動き補償を行う動き補償部と、動画像の種別及び予測モードに基づき空間予測を行う空間予測部と、動画像の種別及び予測モードに基づき、動き補償又は空間予測で得られた予測画像信号と入力画像信号との差分（予測残差信号）に対し直交変換を行う直交変換部と、動画像の種別及び予測モードに基づき直交変換後の画像データに対し可変長符号化を含む所定の画像処理を行う可変長符号化部と、を備える。
【選択図】図１４

Description

本発明は、いわゆる右目画像（右眼用画像ともいう）と、いわゆる左目画像（左眼用画像ともいう）を縦１列ごとに交互に並べた動画像（いわゆるステレオ動画像）、および奇数行画像と偶数行画像を横１行ごとに交互に並べた動画像（いわゆるインターレース動画像）を符号化する動画像符号化装置および方法、並びに、上記ステレオ動画像およびインターレース動画像を復号化する動画像復号化装置および方法に関する。

なお、「左フィールド画像」とは、右目画像と左目画像とを縦１列ごとに交互に並べられたステレオ動画像において、左目画像のみを抽出して得られる画像を意味し、「右フィールド画像」とは、上記のステレオ動画像において、右目画像のみを抽出して得られる画像を意味する。

立体動画像表示装置の一つとして、図１に示すような多数の画像配列から成るフィルター１０を具備した液晶ディスプレイ１１の前面に、多数の孔が開設されたスリット板１２を配置した構成のパララックスバリア方式の立体映像表示装置が知られている。この立体映像表示装置は、視聴者の左目１３からはフィルター上の左目画像Ｌのみが見え、視聴者の右目１４からはフィルター上の右目画像Ｒのみが見えるように構成されているため、視聴者は立体動画像を視認することができる。なお、図１のスリット板１２に代えて、レンチキュラー板を配置した構成の立体映像表示装置も知られている。

また、他の立体動画像符号化方式としては、例えば下記の特許文献１に開示された「立体映像伝送方法及び装置」が知られている。この技術では、図２（ａ）に示す縦１列ごとに交互に左目画像と右目画像が配置された立体画像に対し、まず図２（ｂ）に示すように画像の左半分に左目画像を、右半分に右目画像を集めて再配置することで変換画像を作成する。次に、作成された変換画像に対し、動画像符号化、符号化データの送信、符号化データの受信、動画像復号化といった処理が行われる。その後、復号化された変換画像の画素配置を、再度、縦１列ごとに交互に左目画像と右目画像を配置し直して、入力信号である立体画像と同じ画像を再現する。

特開平１１−１８１１１号公報

立体画像では、近くの物体は左目画像と右目画像との視差が大きいが、遠くの物体は左目画像と右目画像との視差はほとんどない。そのため、特に遠くの物体を示すブロックにおいて、左目画像と右目画像との相関性を利用することにより、データ圧縮効率を向上させることができる。

ところが、上記の従来技術では、変換画像において、左半分に左目画像を、右半分に右目画像を配置しているため、動画像符号化を行う場合、左目画像と右目画像との相関性を利用できず、データ圧縮効率を向上させることができない、という課題がある。

また、変換画像において、一度、左半分に左目画像を、右半分に右目画像を配置して符号化するため、前述したパララックスバリア方式の立体動画像表示装置で表示する場合には、復号化処理後の画像の画素配置を変更することで、再度、左目画像と右目画像とを縦１列ごとに交互に配置し直す必要がある。このため、処理の効率化が困難であるという課題がある。

本発明は、上記課題を解決するために成されたものであり、立体動画像に対する画像処理を効率良く行うことができる動画像符号化装置および方法、並びに動画像復号化装置および方法を提供することを目的とする。

上記目的を達成するために、本発明の動画像符号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定部と、前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出部と、前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償部と、前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測部と、前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換部と、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化部と、を備えることを特徴とする。

上記本発明の動画像符号化装置は、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部をさらに備えることが望ましい。

このとき、前記動き検出部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを検出することが望ましい。

またこのとき、前記動き補償部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことが望ましい。

またこのとき、前記空間予測部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことが望ましい。

またこのとき、前記直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記予測残差信号に基づく予測残差画像を左フィールド予測残差画像と右フィールド予測残差画像として左右に分離したフィールドごとに、直交変換を行うことが望ましい。

またこのとき、前記逆直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記直交変換後の画像データを左フィールド画像データと右フィールド画像データとして左右に分離したフィールドごとに、逆直交変換を含む所定の画像処理を行うことが望ましい。

また、上記目的を達成するために、本発明の動画像復号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化部と、前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元部と、前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償部と、前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測部と、前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部と、前記逆直交変換部による画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成部とを備えることを特徴とする。

このとき、前記動きベクトル復元部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを復元することが望ましい。

またこのとき、前記動き補償部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことが望ましい。

またこのとき、前記空間予測部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことが望ましい。

またこのとき、前記逆直交変換部は、復号化する動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、逆直交変換を行うことが望ましい。

上記の動画像符号化装置および動画像復号化装置によれば、少なくとも動画像の種別および選択された予測モードに基づく符号化および復号化を行うことにより、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。

また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。

さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。

以上のような動画像符号化装置および動画像復号化装置に係る発明は、以下のような動画像符号化方法および動画像復号化方法に係る発明として捉えることができ、同様の効果を得ることができる。

即ち、本発明に係る動画像符号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定ステップと、前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出ステップと、前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化ステップと、を有することを特徴とする。

また、本発明に係る動画像復号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化ステップと、前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元ステップと、前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償ステップと、前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測ステップと、前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップと、前記画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成ステップとを有することを特徴とする。

本発明によれば、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。

また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。

さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。

パララックスバリア方式による立体映像表示の原理を説明する図である。 従来の立体動画像符号化方式を示す図である。 第１実施形態における動画像符号化装置を示す図である。 （ａ）はステレオ画像の画素配置を、（ｂ）はインターレース画像の画素配置を示す図である。 （ａ）はステレオ画像の画素配置を、（ｂ）はステレオ画像を右に＋９０°回転したときの画素配置を、（ｃ）はステレオ画像を右に−９０°回転したときの画素配置を示す図である。 外部へ伝送される多重化符号化ビットストリームの例を示した図である。 外部へ伝送される多重化符号化ビットストリームの例を示した図である。 外部へ伝送される多重化符号化ビットストリームの例を示した図である。 外部へ伝送される多重化符号化ビットストリームの例を示した図である。 第１実施形態における動画像符号化装置の動作を示すフローチャートである。 第１実施形態における動画像復号化装置を示す図である。 （ａ）はスイッチ１１０４から送られた動画像信号の一つの画素配置を、（ｂ）はスイッチ１１０４から送られた動画像信号のもう一つの画素配置を、（ｃ）は（ａ）を左に＋９０°または（ｂ）を左に−９０°回転したときの画素配置を示す図である。 第１実施形態における動画像復号化装置の動作を示すフローチャートである。 第２実施形態における動画像符号化装置を示す図である。 （ａ）はステレオ画像のフレーム画像を、（ｂ）はステレオ画像の左フィールド画像を、（ｃ）はステレオ画像の右フィールド画像を示す図である。 （ａ）はインターレース画像のフレーム画像を、（ｂ）はインターレース画像の上フィールド画像を、（ｃ）はインターレース画像の下フィールド画像を示す図である。 （ａ）はステレオ画像の予測残差信号の画素配置におけるフレーム画像での直交変換ブロックを、（ｂ）はステレオ画像の予測残差信号の画素配置におけるフィールド画像での直交変換ブロックを示す図である。 （ａ）はインターレース画像の予測残差信号の画素配置におけるフレーム画像での直交変換ブロックを、（ｂ）はインターレース画像の予測残差信号の画素配置におけるフィールド画像での直交変換ブロックを示す図である。 （ａ）はステレオ画像に対する逆直交変換後の予測残差信号の画素配置におけるフレーム画像での画素配置を、（ｂ）はステレオ画像に対する逆直交変換後の予測残差信号の画素配置におけるフィールド画像での画素配置を示す図である。 （ａ）はインターレース画像に対する逆直交変換後の予測残差信号の画素配置におけるフレーム画像での画素配置を、（ｂ）はインターレース画像に対する逆直交変換後の予測残差信号の画素配置におけるフィールド画像での画素配置を示す図である。 第２実施形態における動画像復号化装置を示す図である。 第１実施形態に係る動画像符号化プログラムの構成を示す図である。 第１実施形態に係る動画像復号化プログラムの構成を示す図である。 第２実施形態に係る動画像符号化プログラムの構成を示す図である。 第２実施形態に係る動画像復号化プログラムの構成を示す図である。

以下、図面を参照しながら、本発明の実施形態に係る動画像符号化装置および方法、並びに動画像復号化装置および方法を説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。

［第1実施形態］
（動画像符号化装置の構成）
まず、図３を用いて、本実施形態に係る動画像符号化装置を説明する。本実施形態に係る動画像符号化装置３０は、その機能的な構成要素として、動画像種別判定部３０１と、スイッチ３０２と、動画像回転部３０３と、スイッチ３０４と、動画像インターレース符号化部３０５と、ステレオ画像識別子符号化部３０６と、多重化部３０７とを備えて構成される。

動画像種別判定部３０１は、入力された動画像信号３０８を受信し、受信した動画像の種別を判定する。受信した動画像が、図４（ａ）のように縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ画像信号であった場合、動画像種別判定部３０１は、入力画像がステレオ画像であるという情報（例えば「１」にセットしたステレオ画像識別子）３１０をスイッチ３０２と、スイッチ３０４と、ステレオ画像識別子符号化部３０６とへ送る。一方、受信した動画像が、図４（ｂ）のように横１行ごとに交互に奇数行画像と偶数行画像とが配置されたインターレース画像信号であった場合、動画像種別判定部３０１は、入力画像がステレオ画像でないという情報（例えば「０」にセットしたステレオ画像識別子）３１０をスイッチ３０２と、スイッチ３０４と、ステレオ画像識別子符号化部３０６とへ送る。また、動画像種別判定部３０１は、受信した動画像信号３０９をスイッチ３０２に送る。なお、上記の図４は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。

動画像種別判定部３０１での画像種別の判定は、例えば、入力画像に付加された画像種別に関する情報を検出し、検出した情報に基づいて行うことができる。また、動画像種別判定部３０１での画像種別の判定は、符号化前に外部から与えられた設定ファイル等の画像種別に関する情報に基づいて行っても良い。

また、動画像種別判定部３０１での画像種別の判定は、以下のように、入力された画像の輝度値の関係を解析した結果を基に行っても良い。例えば、入力された画像を縦１列ごとに交互に分離して左フィールド画像と右フィールド画像を作成し、それらの分離した各フィールド画像の横方向の輝度値の相関が、分離前のフレーム画像の横方向の輝度値の相関に比べて高い場合、入力された画像をステレオ画像と判定しても良い。また、例えば、入力された画像を横１列ごとに交互に分離して上フィールド画像と下フィールド画像を作成し、それらの分離した各フィールド画像の縦方向の輝度値の相関が、分離前のフレーム画像の縦方向の輝度値の相関に比べて高い場合、入力された画像をインターレース画像と判定しても良い。

なお、画像種別の判定法は、上記例示した方法に限定されるものではない。

スイッチ３０２は、動画像種別判定部３０１から送られた動画像信号３０９と、ステレオ画像識別子３１０を受信し、ステレオ画像識別子が１の場合は、動画像信号３０９を動画像回転部３０３に送り、ステレオ画像識別子が０の場合は、動画像信号３０９をスイッチ３０４に送る。

動画像回転部３０３は、スイッチ３０２から送られた動画像信号３０９を受信し、動画像信号３０９により表される動画像を右に＋９０°回転して、インターレース動画像と同様に横１行ごとに交互に右目画像と左目画像が配置された動画像を表す動画像信号３１１に変換し、動画像信号３１１をスイッチ３０４に送る。

図５は、動画像回転部３０３によってステレオ動画像を右に＋９０°回転した例を示し、このうち図５（ａ）はスイッチ３０２から送られた動画像信号３０９により表される動画像を示し、図５（ｂ）は図５（ａ）の動画像を右に＋９０°回転した動画像を示す。なお、上記の図５は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。

スイッチ３０４は動画像種別判定部３０１から送られたステレオ画像識別子３１０を基に、動画像回転部３０３から送られた動画像信号３１１、およびスイッチ３０２から送られた動画像信号３０９のうち一方を選択する。即ち、スイッチ３０４は、ステレオ画像識別子３１０が１の場合、動画像回転部３０３から送られた動画像信号３１１を、ステレオ画像識別子３１０が０の場合、スイッチ３０２から送られた動画像信号３０９を、それぞれ選択し、選択した動画像信号を動画像信号３１２として動画像インターレース符号化部３０５に送る。

動画像インターレース符号化部３０５は、スイッチ３０４から送られた動画像信号３１２を受けて動画像のインターレース符号化を行うことで符号化ビットストリーム３１３を作成する。そして、動画像インターレース符号化部３０５は、作成された符号化ビットストリーム３１３を多重化部３０７へ送る。なお、動画像インターレース符号化部３０５で使用するインターレース符号化方式の一例としては、Ｈ．２６４／ＡＶＣ符号化方式（Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, “Editor’sProposed Draft Text Modifications for Joint Video Specification (ITU-TRec.H.264|ISO/IEC 14496-10 AVC), Geneva modifications draft 37”を参照）が挙げられる。但し、上記のＨ．２６４／ＡＶＣ符号化方式に限らず、インターレース画像の符号化に対応するあらゆる方式の符号化法を適用することができる。

ステレオ画像識別子符号化部３０６は、動画像種別判定部３０１から送られたステレオ画像識別子３１０を符号化し、符号化で得られた符号３１４を多重化部３０７へ送る。

多重化部３０７は、動画像インターレース符号化部３０５から送られた符号化ビットストリーム３１３と、ステレオ画像識別子符号化部３０６から送られたステレオ画像識別子の符号３１４とを多重化し、多重化で得られたビットストリームを多重化符号化ビットストリーム３１５として外部へ伝送する。

図６〜図９は、外部へ伝送する多重化符号化ビットストリーム３１５の例を示したものである。

多重化符号化ビットストリーム３１５は、各シーケンスの先頭を表す同期信号の後に、動画像全体に関する符号化情報（シーケンスヘッダ）、動画像の各フレームに関する符号化情報（フレームヘッダ）、動画像の符号化単位であるマクロブロックを何個か合わせた各スライスに関する符号化情報（スライスヘッダ）、動画像の各マクロブロックに関する符号化情報（マクロブロックヘッダ）、およびマクロブロックごとの符号化情報が多重化されて構成される。

入力された動画像の種別に関する情報であるステレオ画像識別子の符号は、図６のようにシーケンスヘッダに含んで伝送しても良いし、図７のようにフレームヘッダに含んで伝送しても良い。また、上記ステレオ画像識別子の符号は、図８のようにスライスヘッダに含んで伝送しても良いし、図９のようにマクロブロックヘッダに含んで伝送しても良い。

なお、動画像回転部３０３は、スイッチ３０２から送られた動画像信号３０９を受信し、図５（ａ）に示す動画像信号３０９により表される動画像を右に−９０°回転（即ち、左に＋９０°回転）して、インターレース動画像と同様に横１行ごとに交互に左目画像と右目画像が配置された動画像（図５（ｃ）参照）を表す動画像信号３１１に変換し、動画像信号３１１をスイッチ３０４に送っても良い。

動画像回転部３０３が、スイッチ３０２から送られた動画像信号３０９を、右に＋９０°回転するか、−９０°回転するかは、予め決定された回転方法に従う。

また、動画像回転部３０３が動画像信号３０９を、右に＋９０°回転するか、−９０°回転するかを示す情報は、動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化符号化ビットストリーム３１５で送信しても良い。例えば、ステレオ画像識別子が１で、動画像回転部３０３がスイッチ３０２から送られた動画像信号３０９を右に＋９０°回転して動画像信号３１１に変換する場合は符号「１０」を、ステレオ画像識別子が１で、動画像回転部３０３がスイッチ３０２から送られた動画像信号３０９を右に−９０°回転して動画像信号３１１に変換する場合は符号「１１」を、ステレオ画像識別子が０の場合は符号「０」を、それぞれ動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化部３０７で多重化して、多重化符号化ビットストリーム３１５として伝送しても良い。

（動画像符号化装置の動作）
次に、図１０を用いて、本発明における動画像符号化装置３０の動作を説明する。

まず、動画像種別判定部３０１が、入力された動画像の画像種別判定として、当該動画像がステレオ画像であるか否かを判定する（ステップＳ１００１）。ここで、入力された動画像がステレオ画像であった場合、動画像種別判定部３０１はステレオ画像識別子を「１」とし（ステップＳ１００２）、動画像回転部３０３は予め決定された回転方法に従って、入力された動画像を右に＋９０°または−９０°回転させる（ステップＳ１００４）。一方、入力された動画像がステレオ画像でなかった場合、動画像種別判定部３０１はステレオ画像識別子を「０」とする（ステップＳ１００３）。

前述したように、スイッチ３０４は、ステレオ画像識別子３１０が１の場合、動画像回転部３０３から送られた動画像信号３１１を、ステレオ画像識別子３１０が０の場合、スイッチ３０２から送られた動画像信号３０９を、それぞれ選択し、選択した動画像信号を動画像信号３１２として動画像インターレース符号化部３０５に送る。

動画像信号３１２を受信した動画像インターレース符号化部３０５は、動画像のインターレース符号化を行い（ステップＳ１００５）、符号化ビットストリーム３１３を作成する。また、ステレオ画像識別子符号化部３０６は、ステレオ画像識別子の符号化を行い（ステップＳ１００６）、符号化情報３１４を作成する。

最後に、多重化部３０７は、符号化ビットストリーム３１３と符号化情報３１４とを多重化して多重化符号化ビットストリーム３１５を作成し（ステップＳ１００７）、図１０の処理を終了する。

（動画像復号化装置の構成）
次に、図１１を用いて、本発明に係る動画像復号化装置を説明する。本発明に係る動画像復号化装置１１０は、その機能的な構成要素として、分離部１１０１と、動画像インターレース復号化部１１０２と、ステレオ画像識別子復号化部１１０３と、スイッチ１１０４と、動画像逆回転部１１０５と、スイッチ１１０６とを備えて構成される。

分離部１１０１は、入力された多重化符号化ビットストリーム３１５を、動画像の符号化ビットストリーム１１０７とステレオ画像識別子の符号１１０８とに分離し、符号化ビットストリーム１１０７を動画像インターレース復号化部１１０２に、ステレオ画像識別子の符号１１０８をステレオ画像識別子復号化部１１０３に、それぞれ送る。

動画像インターレース復号化部１１０２は、分離部１１０１から送られた動画像の符号化ビットストリームに対し復号化を行うことで動画像信号１１０９を得る。そして、動画像インターレース復号化部１１０２は、復号化で得られた動画像信号１１０９をスイッチ１１０４に送る。なお、動画像インターレース復号化部１１０２で使用するインターレース復号化方式の一例としては、Ｈ．２６４／ＡＶＣ復号化方式が挙げられる。但し、Ｈ．２６４／ＡＶＣ復号化方式に限らず、インターレース画像の復号化に対応するあらゆる方式の復号化法を適用することができる。

ステレオ画像識別子復号化部１１０３は、分離部１１０１から送られたステレオ画像識別子の符号１１０８に対し復号化を行い、復号化されたステレオ画像識別子１１１０をスイッチ１１０４およびスイッチ１１０６に送る。

スイッチ１１０４は、動画像インターレース復号化部１１０２から送られた動画像信号１１０９と、ステレオ画像識別子復号化部１１０３から送られたステレオ画像識別子１１１０とを受信し、ステレオ画像識別子が１の場合は、動画像信号１１０９を動画像逆回転部１１０５に送り、ステレオ画像識別子が０の場合は、動画像信号１１０９をスイッチ１１０６に送る。

動画像逆回転部１１０５は、スイッチ１１０４から送られた動画像信号１１０９を受信し、図１２（ａ）に示す動画像信号１１０９で表される動画像を左に＋９０°回転することで、図１２（ｃ）に示す縦１列ごとに交互に右目画像と左目画像とが配置された動画像信号１１１０に変換し、動画像信号１１１０をスイッチ１１０６に送る。この動画像逆回転部１１０５は、特許請求の範囲に記載した「処理制御部」に対応する。なお、上記の図１２は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。

スイッチ１１０６は、ステレオ画像識別子復号化部１１０３から送られたステレオ画像識別子１１１０を基に、動画像逆回転部１１０５から送られた動画像信号１１１１およびスイッチ１１０４から送られた動画像信号１１０９のうち一方を選択する。即ち、スイッチ１１０６は、ステレオ画像識別子１１１０が１の場合、動画像逆回転部１１０５から送られた動画像信号１１１１を、ステレオ画像識別子１１１０が０の場合、スイッチ１１０４から送られた動画像信号１１０９を、それぞれ選択し、選択した動画像信号を動画像信号１１１２として所定のタイミングで表示デバイス（図示せず）へ出力し、入力映像信号を再生する。

なお、動画像逆回転部１１０５は、スイッチ１１０４から送られた動画像信号１１０９を受信し、図１２（ｂ）に示す動画像信号１１０９により表される動画像を左に−９０°回転することで、図１２（ｃ）に示す縦１列ごとに交互に左目画像と右目画像とが配置された動画像信号１１１０に変換し、動画像信号１１１０をスイッチ１１０６に送っても良い。

動画像逆回転部１１０５が、スイッチ１１０４から送られた動画像信号１１０９を受信し、動画像信号１１０９により表される動画像を左に＋９０°回転するか−９０°回転するかは、予め決定された回転方法に従う。

また、動画像逆回転部１１０５が動画像信号１１０９を、左に＋９０°回転するか−９０°回転するかの処理は、動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化符号化ビットストリーム３１５に含まれた符号に基づいて行っても良い。例えば、以下のような処理を行ってもよい。多重化符号化ビットストリーム３１５の動画像の符号化に関する符号が「１０」の場合は、ステレオ画像識別子を１とし、動画像逆回転部１１０５がスイッチ１１０４から送られた動画像信号１１０９を左に＋９０°回転する。上記符号が「１１」の場合は、ステレオ画像識別子を１とし、動画像逆回転部１１０５がスイッチ１１０４から送られた動画像信号１１０９を左に−９０°回転する。上記符号が「０」の場合は、ステレオ画像識別子を０とする。

（動画像復号化装置の動作）
次に、図１３を用いて、本発明における動画像復号化装置１１０の動作を説明する。

まず、分離部１１０１が、入力された多重化符号化ビットストリームを受信し、動画像の符号化ビットストリーム１１０７とステレオ画像識別子の符号１１０８とに分離する（ステップＳ１３０１）。

次に、動画像インターレース復号化部１１０２が、動画像の符号化ビットストリーム１１０７を復号化することで動画像信号１１０９を復元する（ステップＳ１３０２）。次に、ステレオ画像識別子復号化部１１０３が、ステレオ画像識別子の符号１１０８を復号化することでステレオ画像識別子１１１０を復元する（ステップＳ１３０３）。

次に、ステレオ画像識別子が１であるか否かを判定し（ステップＳ１３０４）、ステレオ画像識別子が１であった場合、動画像逆回転部１１０５が上記復元された動画像信号１１０９を左に＋９０°または−９０°回転する（ステップＳ１３０５）。一方、ステレオ画像識別子が１でなかった場合は、ステップＳ１３０５の回転処理をスキップして、後述のステップＳ１３０６へ進む。

最後に、スイッチ１１０６は、ステレオ画像識別子が１の場合、動画像逆回転部１１０５から送られた動画像信号１１１１を、ステレオ画像識別子１１１０が０の場合、スイッチ１１０４から送られた動画像信号１１０９を、それぞれ選択し、選択された動画像信号を動画像信号１１１２として所定のタイミングで表示デバイス（図示せず）へ出力する（ステップＳ１３０６）。

以上述べた第１実施形態によれば、縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ動画像信号を＋９０°または−９０°回転してインターレース画像と同様の画素配置にした後、インターレース符号化することで、左目画像と右目画像との相関性を利用して、データ圧縮の効率を向上させることができる。

また、動画像回転部３０３でステレオ画像を＋９０°または−９０°回転させてインターレース画像と同様の画素配置にしてインターレース符号化し、動画像逆回転部１１０５で復号画像を＋９０°または−９０°逆回転させてステレオ画像に復元することで、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。

さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号に対し、同一の動画像符号化装置で符号化を行うことができるとともに、同一の動画像復号化装置で復号化を行うことができ、装置の有効利用が可能である。

なお、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれフレーム単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。

また、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれスライス単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。

また、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれマクロブロック単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。

上記では、右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転という例を示したが、回転角度はこれらに限定されるものではなく、動画像における縦方向が横方向に変わるように回転させればよい。例えば、右に＋２７０°または−２７０°回転、および左に＋２７０°または−２７０°回転という回転パターンを採用してもよい。

また、上記では、動画像信号を、動画像回転部３０３により所定方向に回転させ、動画像逆回転部１１０５により当該所定方向とは逆方向に回転させる（即ち、逆回転させる）例を示したが、これに限定されるものではなく、動画像逆回転部１１０５により当該所定方向と同じ方向に回転させることで、元の動画像信号を復元してもよい。例えば、動画像信号を、動画像回転部３０３により右に＋９０°回転させ、動画像逆回転部１１０５により右に＋２７０°回転させることで、元の動画像信号を復元してもよい。

［第２実施形態］
（動画像符号化装置の構成）
まず、図１４を用いて、本発明に係る動画像符号化装置１４０について説明する。以下に説明する動画像符号化装置１４０は、Ｈ．２６４／ＡＶＣ符号化方式に準拠した符号化装置である。

ここで、動画像符号化装置１４０に入力される動画像信号としての入力映像信号は、右目画像と左目画像とを縦１列ごとに交互に並べたステレオ動画像、または奇数行画像と偶数行画像とを横１行ごとに交互に並べたインターレース動画像を表す動画像信号である。本実施形態では、入力された動画像信号により表される画像は、１６画素×１６ライン固定の正方矩形領域であるマクロブロックに分割され、マクロブロック単位で以下の符号化処理が行われる。

動画像符号化装置１４０は、図１４に示すように、機能的な構成要素として、動画像種別判定部１４０１と、ステレオ／インターレース動き検出部１４０２と、ステレオ／インターレース動き補償部１４０３と、フレームメモリ１４０４と、ステレオ／インターレース空間予測部１４０５と、スイッチ１４０６と、減算器１４０７と、ステレオ／インターレース直交変換部１４０８と、量子化部１４０９と、可変長符号化部１４１０と、逆量子化部１４１１と、ステレオ／インターレース逆直交変換部１４１２と、加算器１４１３とを備えて構成される。以下、各構成要素について説明する。

動画像種別判定部１４０１は、符号化対象の動画像を表す外部から入力された動画像信号としての入力映像信号１４２１を受信した後、入力映像信号１４２１により表される画像（以下「入力画像」という）をマクロブロックに分割し、マクロブロック単位で減算器１４０７およびステレオ／インターレース動き検出部１４０２に対し、それぞれ入力画像信号１４２２、１４２３を送る。また、動画像種別判定部１４０１は、入力画像がステレオ画像であるか否かを判定し、ステレオ画像である場合、画像の種別に関する情報であるステレオ画像識別子を「１」とし、ステレオ画像でない場合、上記ステレオ画像識別子を「０」とする。そして、動画像種別判定部１４０１は、動画像全体での符号化に関する情報（シーケンス情報）、各フレーム画像単位での符号化に関する情報（フレーム情報）、１個以上のマクロブロックをまとめた各スライス単位での符号化に関する情報（スライス情報）、および各マクロブロック単位での符号化に関する情報（マクロブロック情報）とともに、上記ステレオ画像識別子の情報を信号１４４０としてステレオ／インターレース動き検出部１４０２と可変長符号化部１４１０へ送る。なお、上記ステレオ画像識別子の符号は、図６のようにシーケンスヘッダに含んで伝送しても良いし、図７のようにフレームヘッダに含んで伝送しても良い。また、上記ステレオ画像識別子の符号は、図８のようにスライスヘッダに含んで伝送しても良いし、図９のようにマクロブロックヘッダに含んで伝送しても良い。

フレームメモリ１４０４は、過去に符号化済みのフレーム画像信号を記憶しておく部分である。

ステレオ／インターレース動き検出部１４０２は、動画像種別判定部１４０１から送られた画像の種別に関する情報、シーケンス情報、フレーム情報、スライス情報、およびマクロブロック情報を合わせた信号１４４０を基に、予測モードの選択と動きベクトルの検出を行う部分である。Ｈ．２６４／ＡＶＣ符号化方式では、マクロブロックごとに、予測モードとして、入力された映像信号と時間的に異なる複数の符号化済みフレーム画像信号を参照して予測を行う複数のフレーム間予測モードと、同一空間上の符号化済みである近傍の画素値を用いて空間予測を行う複数のフレーム内予測モードとが用意されている。具体的には、動き検出部１４０２は、予測モードとしてフレーム間予測モードを選択した場合、参照画像信号１４２４および隣接ブロックの動きベクトル１４４２を用いて、予めフレームメモリ１４０４に蓄積されている複数の符号化済み画像の中から所定の探索範囲内で、符号化対象領域の画像信号パターンに類似する画像信号パターンを探し出す。そして、符号化対象領域の画像信号パターンと、当該類似する画像信号パターンとの間の空間的な変位量である動きベクトルを検出する。

より詳細には、ステレオ／インターレース動き検出部１４０２は、入力画像がステレオ画像である場合（即ち、ステレオ画像識別子が「１」にセットされている場合）に、入力画像をフレーム画像（図１５（ａ）参照）としてフレーム間予測した場合（即ち、フレーム画像でのフレーム間予測を行った場合）と、入力画像を左フィールド画像（図１５（ｂ）参照）と右フィールド画像（図１５（ｃ）参照）とに分離してフレーム間予測した場合（即ち、フィールド画像でのフレーム間予測を行った場合）との符号化効率を比較し、符号化効率の高い方のフレーム間予測を選択する。

また、ステレオ／インターレース動き検出部１４０２は、入力画像がインターレース画像である場合（即ち、ステレオ画像識別子が「０」にセットされている場合）に、入力画像をフレーム画像（図１６（ａ）参照）としてフレーム間予測した場合（即ち、フレーム画像でのフレーム間予測を行った場合）と、入力画像を奇数行画像（上フィールド画像：図１６（ｂ）参照）と偶数行画像（下フィールド画像：図１６（ｃ）参照）とに分離してフレーム間予測した場合（即ち、フィールド画像でのフレーム間予測を行った場合）との符号化効率を比較し、符号化効率の高い方のフレーム間予測を選択する。

ステレオ／インターレース動き検出部１４０２は、検出された動きベクトルと、符号化済みの隣接ブロックの動きベクトル１４４２から算出される最適予測動きベクトル（動きベクトル予測値）との差分情報である動きベクトル差分値と、動きベクトルの検出に用いた参照フレーム画像信号を示す参照フレーム番号と、選択された予測モードとを含む信号１４２５を可変長符号化部１４１０へ送る。同時に、動き検出部１４０２は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号１４２６をステレオ／インターレース動き補償部１４０３に送る。

また、ステレオ／インターレース動き検出部１４０２は、予測モードの情報の一部である、「選択された予測モードがフレーム画像でのフレーム間予測かフィールド画像でのフレーム間予測であるか」の情報および「入力画像がステレオ画像であるかインターレース画像であるか」の情報を表す信号１４４１を、ステレオ／インターレース動き補償部１４０３と、ステレオ／インターレース直交変換部１４０８と、ステレオ／インターレース逆直交変換部１４１２とに送る。

ステレオ／インターレース動き補償部１４０３は、ステレオ／インターレース動き検出部１４０２から送られた上記の信号１４２６を用いて、フレームメモリ１４０４中の参照フレーム番号で示される符号化済み画像信号（参照画像信号１４２４）を参照して、各マクロブロックの予測画像信号１４２７を作成しスイッチ１４０６に送る。

より詳細には、ステレオ／インターレース動き補償部１４０３は、上記の信号１４４１を基に、ステレオ／インターレース動き検出部１４０２から送られた上記の信号１４２６を用いて、フレームメモリ１４０４中の参照フレーム番号で示される符号化済み画像信号（参照画像信号１４２４）を参照して、各マクロブロックの予測画像信号１４２７を作成する。

入力画像がステレオ画像で（ステレオ画像識別子が「１」の場合）、選択された予測モードが「フレーム画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを一つのフレーム画像として動き補償を行った後、予測画像信号１４２７を作成する。また、入力画像がステレオ画像で、選択された予測モードが「フィールド画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを左フィールド画像と右フィールド画像とに分けて動き補償を行った後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号１４２７を作成する。

入力画像がインターレース画像で（ステレオ画像識別子が「０」の場合）、選択された予測モードが「フレーム画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを一つのフレーム画像として動き補償を行った後、予測画像信号１４２７を作成する。また、入力画像がインターレース画像で、選択された予測モードが「フィールド画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを上フィールド画像と下フィールド画像とに分けて動き補償を行った後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号１４２７を作成する。

一方、ステレオ／インターレース動き検出部１４０２は、予測モードとして「フレーム内予測モード」を選択した場合、同一画像上の符号化済みである近傍のブロックの画素値を用いた空間予測を行い、予測モードを含む信号１４２５を可変長符号化部１４１０へ送る。この場合、ステレオ／インターレース動き検出部１４０２は、時間的な動きに関する情報である動きベクトル差分値および参照フレーム番号の信号を可変長符号化部１４１０へ送信する処理は行わない。また、ステレオ／インターレース動き検出部１４０２は、予測モードの情報の一部である、「選択された予測モードがフレーム画像でのフレーム内予測かフィールド画像でのフレーム内予測であるか」の情報および「入力画像がステレオ画像であるかインターレース画像であるか」の情報を表す信号１４２８を、ステレオ／インターレース直交変換部１４０８と、ステレオ／インターレース逆直交変換部１４１２と、ステレオ／インターレース空間予測部１４０５とに送る。

より詳細には、ステレオ／インターレース動き検出部１４０２は、入力画像がステレオ画像である場合（ステレオ画像識別子が「１」の場合）、入力画像をフレーム画像（図１５（ａ）参照）としてフレーム内予測した場合（即ち、フレーム画像でのフレーム内予測を行う場合）と、入力画像を左フィールド画像（図１５（ｂ）参照）と右フィールド画像（図１５（ｃ）参照）とに分離してフレーム内予測した場合（即ち、フィールド画像でのフレーム内予測を行う場合）との符号化効率を比較し、符号化効率の高い方のフレーム内予測を選択する。

また、ステレオ／インターレース動き検出部１４０２は、入力画像がインターレース画像である場合（ステレオ画像識別子が「０」の場合）、入力画像をフレーム画像（図１６（ａ）参照）としてフレーム内予測した場合（即ち、フレーム画像でのフレーム内予測を行う場合）と、入力画像を奇数行画像（上フィールド画像：図１６（ｂ）参照）と偶数行画像（下フィールド画像：図１６（ｃ）参照）とに分離してフレーム内予測した場合（即ち、フィールド画像でのフレーム内予測を行う場合）との符号化効率を比較し、符号化効率の高い方のフレーム内予測を選択する。

ステレオ／インターレース空間予測部１４０５は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８を基に、フレームメモリ１４０４中の符号化済みである近傍のブロックの画像信号（参照画像信号１４２９）を参照して、各マクロブロックの予測画像信号１４３０を生成し、スイッチ１４０６に送る。

このとき、入力画像がステレオ画像で（ステレオ画像識別子が「１」の場合）、選択された予測モードが「フレーム画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを一つのフレーム画像として空間予測した後、予測画像信号１４３０を作成する。また、入力画像がステレオ画像で、選択された予測モードが「フィールド画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを左フィールド画像と右フィールド画像とに分けて空間予測した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号１４３０を作成する。

一方、入力画像がインターレース画像で（ステレオ画像識別子が「０」の場合）、選択された予測モードが「フレーム画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを一つのフレーム画像として空間予測した後、予測画像信号１４３０を作成する。また、入力画像がインターレース画像で、選択された予測モードが「フィールド画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを上フィールド画像と下フィールド画像とに分けて空間予測した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号１４３０を作成する。

スイッチ１４０６は、ステレオ／インターレース動き検出部１４０２から送られた予測モード１４３１に応じて、予測画像信号１４２７と予測画像信号１４３０のうちいずれかを選択し、選択した予測画像信号１４３２を減算器１４０７に送る。

減算器１４０７は、入力画像信号１４２２と予測画像信号１４３２との差分値（予測残差信号１４３３）を生成し、ステレオ／インターレース直交変換部１４０８に送る。

ステレオ／インターレース直交変換部１４０８は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８又は１４４１を基に、減算器１４０７から送られた予測残差信号１４３３の画素配置を変更して直交変換を行うことにより、直交変換係数１４３４を生成して、量子化部１４０９に送る。

このとき、入力画像がステレオ画像であった場合（ステレオ画像識別子が「１」の場合）の予測残差信号１４３３の画素配置を図１７に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１７（ａ）のように予測残差信号１４３３の画素配置を変更することなく、４画素×４ラインのブロックに分割して、直交変換を行う。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１７（ｂ）のように予測残差信号１４３３を左フィールド予測残差信号と右フィールド予測残差信号とに分離した画素配置に変更し、フィールドごとに４画素×４ラインのブロックに分割して、直交変換を行う。

一方、入力画像がインターレース画像であった場合（ステレオ画像識別子が「０」の場合）の予測残差信号１４３３の画素配置を図１８に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１８（ａ）のように予測残差信号１４３３の画素配置を変更することなく、４画素×４ラインのブロックに分割して、直交変換を行う。予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１８（ｂ）のように予測残差信号１４３３を上フィールド予測残差信号と下フィールド予測残差信号とに分離した画素配置に変更し、フィールドごとに４画素×４ラインのブロックに分割して、直交変換を行う。

なお、直交変換の単位は４画素×４ラインには限らず、１６画素×１６ライン、８画素×８ライン、１６画素×８ライン、８画素×１６ラインのような単位で行うこともできる。

量子化部１４０９は、ステレオ／インターレース直交変換部１４０８から送られた直交変換係数１４３４を量子化することにより、量子化直交変換係数１４３５を生成し、可変長符号化部１４１０および逆量子化部１４１１に送る。

次に、可変長符号化部１４１０が、動画像種別判定部１４０１から送られた復号画像の種別に関する情報（ステレオ画像識別子）、シーケンス情報、フレーム情報、スライス情報、およびマクロブロック情報を含む符号化に関する情報を合わせた信号１４４０と、量子化部１４０９から送られた量子化直交変換係数１４３５と、動き検出部１４０２から送られた予測モード、動きベクトル差分値および参照フレーム番号を含む信号１４２５とについて、エントロピー符号化を行って圧縮ストリーム１４３６に多重化して、外部へ伝送する。

また、逆量子化部１４１１は、量子化部１４０９から送られた量子化直交変換係数１４３５について逆量子化を行うことにより、直交変換係数１４３７を生成して、ステレオ／インターレース逆直交変換部１４１２に送る。

そして、ステレオ／インターレース逆直交変換部１４１２は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８又は１４４１を基に、逆量子化部１４１１から送られた直交変換係数１４３７について逆直交変換を行い、画素配置を変更して予測残差信号１４３８を生成し、加算器１４１３に送る。

このとき、入力画像がステレオ画像であった場合（ステレオ画像識別子が「１」の場合）の予測残差信号の画素配置変更を図１９に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図１９（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号１４３３を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図１９（ｂ）のように逆直交変換した左フィールド予測残差信号と右フィールド予測残差信号とを縦１列ごとに交互に並べて合成し、予測残差信号１４３８を生成する。

一方、入力画像がインターレース画像であった場合（ステレオ画像識別子が「０」の場合）の予測残差信号の画素配置変更を図２０に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図２０（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号１４３３を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図２０（ｂ）のように逆直交変換した上フィールド予測残差信号と下フィールド予測残差信号とを横１行ごとに交互に並べて合成し、予測残差信号１４３８を生成する。

加算器１４１３は、ステレオ／インターレース逆直交変換部１４１２から送られた予測残差信号１４３８と、スイッチ１４０６から送られた予測画像信号１４３２とを加算することで、局所復号画像であるフレーム画像信号１４３９を生成し、フレームメモリ１４０４に送る。このフレーム画像信号１４３９は、フレームメモリ１４０４に格納され、以降の符号化処理で、参照画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も、参照フレーム画像に含まれ、同時に格納される。

次に、図２１に示す動画像復号化装置２１０の動作について説明する。以下に説明する動画像復号化装置２１０は、動画像符号化装置１４０と同様に、Ｈ．２６４／ＡＶＣ符号化方式に準拠した復号化装置である。

動画像復号化装置２１０は、動画像符号化装置１４０により出力された圧縮ストリーム１４３６を入力信号として用い、これを入力映像信号に復号化する機能を有する。

動画像復号化装置２１０は、図２１に示すように、機能的な構成要素として、可変長復号化部２１０１と、ステレオ／インターレース動きベクトル復元部２１０２と、ステレオ／インターレース動き補償部２１０３と、フレームメモリ２１０４と、ステレオ／インターレース空間予測部２１０５と、スイッチ２１０６と、逆量子化部２１０７と、ステレオ／インターレース逆直交変換部２１０８と、加算器２１０９とを備えて構成される。以下、各構成要素について説明する。

可変長復号化部２１０１は、圧縮ストリーム１４３６を受信した後、圧縮ストリーム１４３６を復号化することで、シーケンスの先頭を表す同期記号およびシーケンスヘッダ、フレームヘッダ、スライスヘッダ、マクロブロックヘッダと、画像の種別に関する情報（ステレオ画像識別子）と、「マクロブロック単位の予測モードがフレーム画像でのフレーム間予測であるかフィールド画像でのフレーム間予測であるかの情報、または、予測モードがフレーム画像でのフレーム内予測であるかフィールド画像でのフレーム内予測であるかの情報」とを合わせた信号２１３４に復号し、当該信号２１３４を、ステレオ／インターレース動きベクトル復元部２１０２と、ステレオ／インターレース空間予測部２１０５と、ステレオ／インターレース逆直交変換部２１０８とに送る。また、可変長復号化部２１０１は、マクロブロック符号化情報として、マクロブロック単位で予測モードと量子化直交変換係数を復号する。

また、予測モードがフレーム間予測モードである場合、可変長復号化部２１０１は、動きベクトル差分値と参照フレーム番号の復号も合わせて行う。なお、可変長復号化部２１０１は、復号した量子化直交変換係数２１２２を逆量子化部２１０７に送る。

また、予測モードがフレーム間予測モードである場合、可変長復号化部２１０１は、復号した予測モードと動きベクトル差分値と参照フレーム番号とを含む信号２１２１をステレオ／インターレース動きベクトル復元部２１０２に送るとともに、復元した予測モード２１２６をスイッチ２１０６に送る。一方、予測モードがフレーム内予測モードである場合、可変長復号化部２１０１は、復号した予測モード２１２６をスイッチ２１０６およびステレオ／インターレース空間予測部２１０５に送る。

予測モードがフレーム間予測モードである場合、ステレオ／インターレース動きベクトル復元部２１０２は、可変長復号化部２１０１から送信された信号２１３４と、動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて動きベクトルを復元し、上記の信号２１３４と、復元で得られた動きベクトル、予測モードおよび参照フレーム番号を含む信号２１２３とをステレオ／インターレース動き補償部２１０３に送る。

より詳細には、ステレオ／インターレース動きベクトル復元部２１０２は、復号化対象の画像（以下「復号画像」という）がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、マクロブロック単位でのフレーム画像の動きベクトルを復元する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、左フィールド画像と右フィールド画像の各フィールド単位での動きベクトルを復元する。

また、ステレオ／インターレース動きベクトル復元部２１０２は、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、マクロブロック単位でのフレーム画像の動きベクトルを復元する。一方、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、上フィールド画像と下フィールド画像の各フィールド単位での動きベクトルを復元する。

ステレオ／インターレース動き補償部２１０３は、ステレオ／インターレース動きベクトル復元部２１０２から送られた信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照フレーム画像２１２７を用いて、予測画像信号２１２５を生成し、スイッチ２１０６に送る。なお、フレームメモリ２１０４には、過去の復号化済みのフレーム画像信号が格納されている。

より詳細には、ステレオ／インターレース動き補償部２１０３は、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２５を生成する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、左フィールド画像と右フィールド画像の各フィールド単位で予測画像信号を生成した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号２１２５を作成する。

また、ステレオ／インターレース動き補償部２１０３は、復号画像がインターレース画像（即ち、ステレオ画像識別子が「０」の場合）で、予測モードが「フレーム画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２５を生成する。一方、ステレオ／インターレース動き補償部２１０３は、復号画像がインターレース画像（即ち、ステレオ画像識別子が「０」の場合）で、予測モードが「フィールド画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、上フィールド画像と下フィールド画像の各フィールド単位で予測画像信号を生成した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号２１２５を作成する。

また、予測モードが「フレーム内予測モード」である場合、ステレオ／インターレース空間予測部２１０５は、符号化済みの近傍ブロックの画像信号（参照画像信号２１２７）を参照して予測画像信号２１２８を生成し、スイッチ２１０６に送る。

より詳細には、ステレオ／インターレース空間予測部２１０５は、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム内予測」である場合、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２８を生成する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム内予測」である場合、ステレオ／インターレース空間予測部２１０５は、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、左フィールド画像と右フィールド画像の各フィールド単位で予測画像信号を生成した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号２１２８を作成する。

また、ステレオ／インターレース空間予測部２１０５は、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フレーム画像でのフレーム内予測」である場合、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２８を生成する。一方、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フィールド画像でのフレーム内予測」である場合、ステレオ／インターレース空間予測部２１０５は、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、上フィールド画像と下フィールド画像の各フィールド単位で予測画像信号を生成した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号２１２８を作成する。

次に、スイッチ２１０６が、可変長復号化部２１０１から送信された予測モード２１２６に応じて、予測画像信号２１２５と予測画像信号２１２８のうちいずれかを選択し、選択した信号を予測画像信号２１２９として加算器２１０９に送る。

一方、逆量子化部２１０７は、可変長復号化部２１０１により送信された量子化直交変換係数２１２２を逆量子化することで、量子化直交変換係数２１２２を直交変換係数２１３０に復元し、ステレオ／インターレース逆直交変換部２１０８に送る。

ステレオ／インターレース逆直交変換部２１０８は、直交変換係数２１３０を逆直交変換することで、直交変換係数２１３０を予測残差信号２１３１に復号する。

ステレオ／インターレース逆直交変換部２１０８に関するより詳細な説明は、動画像符号化装置１４０のステレオ／インターレース逆直交変換部１４１２と同様であるので、再度、図１９および図２０を使って説明する。

入力画像がステレオ画像であった場合（即ち、ステレオ画像識別子が「１」の場合）における予測残差信号の画素配置変更を図１９に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図１９（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号２１３１を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図１９（ｂ）のように逆直交変換した左フィールド予測残差信号と右フィールド予測残差信号とを縦１列ごとに交互に並べて合成することで、予測残差信号２１３１を生成する。

また、入力画像がインターレース画像であった場合（即ち、ステレオ画像識別子が「０」の場合）における予測残差信号の画素配置変更を図２０に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図２０（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号２１３１を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図２０（ｂ）のように逆直交変換した上フィールド予測残差信号と下フィールド予測残差信号とを横１行ごとに交互に並べて合成することで、予測残差信号２１３１を生成する。

加算器２１０９は、スイッチ２１０６から送信された予測画像信号２１２９と、ステレオ／インターレース逆直交変換部２１０８から送信された予測残差信号２１３１とを加算することで、フレーム画像信号２１３２として復号する。この加算器２１０９は、特許請求の範囲に記載した「画像データ生成部」に対応し、フレーム画像信号２１３２は、特許請求の範囲に記載した「画像データ」に対応する。

復号されたフレーム画像信号２１３２は、以降の復号化処理に用いられるため、参照フレーム画像信号としてフレームメモリ２１０４に格納される。ここで、フレーム画像信号２１３２は、動画像符号化装置１４０における同一番号のフレーム画像信号１４３９と同一の値となる。また、動きベクトルや参照フレーム番号に関する情報も、参照フレーム画像信号に含まれ同時に格納される。

最後に、フレーム画像信号２１３３は、所定の表示タイミングで表示デバイス（図示せず）へ出力され、入力映像信号（動画像信号）１４２１が再生される。

以上述べた第２実施形態によれば、縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ動画像信号に対し、フレーム画像として、または左フィールドと右フィールドからなるフィールド画像として、符号化および復号化を行うことにより、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。

また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。

さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号に対し、同一の動画像符号化装置で符号化を行うことができるとともに、同一の動画像復号化装置で復号化を行うことができ、装置の有効利用が可能である。

なお、上記では、入力画像を、縦に２つに分割又は横に２つに分割することで得られる２つのフィールド画像に分離して、フレーム間予測又はフレーム内予測を行う例を示したが、入力画像の分離方法はこれに限定されるものではなく、入力画像を斜めの境界線によって分離してもよいし、上下方向に３つ以上に分離してもよいし、左右方向に３つ以上に分離してもよい。

さて、以下では図２２〜図２５を用いて、上記の各実施形態の符号化処理プログラムおよび復号化処理プログラムについて概説する。

図２２には、第１実施形態の動画像符号化処理に関する動画像符号化プログラム９１０の構成を示す。この図２２に示すように、動画像符号化プログラム９１０は、処理を統括するメインモジュール９１１と、動画像種別判定モジュール９１２と、動画像回転モジュール９１３と、動画像インターレース符号化モジュール９１４と、ステレオ画像識別子符号化モジュール９１５と、多重化モジュール９１６とを備える。動画像種別判定モジュール９１２、動画像回転モジュール９１３、動画像インターレース符号化モジュール９１４、ステレオ画像識別子符号化モジュール９１５、多重化モジュール９１６がコンピュータに行わせる機能はそれぞれ、前述した図３の動画像種別判定部３０１、動画像回転部３０３、動画像インターレース符号化部３０５、ステレオ画像識別子符号化部３０６、多重化部３０７の機能に相当する。

図２３には、第１実施形態の動画像復号化処理に関する動画像復号化プログラム９２０の構成を示す。この図２３に示すように、動画像復号化プログラム９２０は、処理を統括するメインモジュール９２１と、分離モジュール９２２と、動画像インターレース復号化モジュール９２３と、ステレオ画像識別子復号化モジュール９２４と、処理制御モジュール９２５とを備える。分離モジュール９２２、動画像インターレース復号化モジュール９２３、ステレオ画像識別子復号化モジュール９２４がコンピュータに行わせる機能はそれぞれ、前述した図１１の分離部１１０１、動画像インターレース復号化部１１０２、ステレオ画像識別子復号化部１１０３の機能に相当する。また、処理制御モジュール９２５がコンピュータに行わせる機能は、図１１の動画像逆回転部１１０５、スイッチ１１０４および１１０６の機能に相当する。

図２４には、第２実施形態の動画像符号化処理に関する動画像符号化プログラム９３０の構成を示す。この図２４に示すように、動画像符号化プログラム９３０は、処理を統括するメインモジュール９３１と、動画像種別判定モジュール９３２と、動き検出モジュール９３３と、動き補償モジュール９３４と、空間予測モジュール９３５と、直交変換モジュール９３６と、可変長符号化モジュール９３７と、逆直交変換モジュール９３８とを備える。動画像種別判定モジュール９３２、動き検出モジュール９３３、動き補償モジュール９３４、空間予測モジュール９３５がコンピュータに行わせる機能はそれぞれ、前述した図１４の動画像種別判定部１４０１、ステレオ／インターレース動き検出部１４０２、ステレオ／インターレース動き補償部１４０３、ステレオ／インターレース空間予測部１４０５の機能に相当する。また、直交変換モジュール９３６がコンピュータに行わせる機能は、図１４のスイッチ１４０６、減算器１４０７およびステレオ／インターレース直交変換部１４０８の機能に相当する。可変長符号化モジュール９３７がコンピュータに行わせる機能は、図１４の量子化部１４０９および可変長符号化部１４１０の機能に相当する。逆直交変換モジュール９３８がコンピュータに行わせる機能は、図１４の量子化部１４０９、逆量子化部１４１１およびステレオ／インターレース逆直交変換部１４１２の機能に相当する。

図２５には、第２実施形態の動画像復号化処理に関する動画像復号化プログラム９４０の構成を示す。この図２５に示すように、動画像復号化プログラム９４０は、処理を統括するメインモジュール９４１と、可変長復号化モジュール９４２と、動きベクトル復元モジュール９４３と、動き補償モジュール９４４と、空間予測モジュール９４５と、逆直交変換モジュール９４６と、画像データ生成モジュール９４７とを備える。可変長復号化モジュール９４２、動きベクトル復元モジュール９４３、動き補償モジュール９４４、空間予測モジュール９４５がコンピュータに行わせる機能はそれぞれ、前述した図２１の可変長復号化部２１０１、ステレオ／インターレース動きベクトル復元部２１０２、ステレオ／インターレース動き補償部２１０３、ステレオ／インターレース空間予測部２１０５の機能に相当する。また、逆直交変換モジュール９４６がコンピュータに行わせる機能は、図２１の逆量子化部２１０７およびステレオ／インターレース逆直交変換部２１０８の機能に相当する。画像データ生成モジュール９４７がコンピュータに行わせる機能は、図２１の加算器２１０９の機能に相当する。

なお、上記の各プログラムは、コンピュータ読取り可能な記録媒体（以下、単に「記録媒体」と記す）に記録されて流通してもよいし、その一部若しくは全部を他の機器から通信回線等の伝送媒体を介して、本発明に係る動画像符号化装置または動画像復号化装置により受信され、記録される構成にしてもよい。反対に、上記の各プログラムは、本発明に係る動画像符号化装置または動画像復号化装置から伝送媒体を介して他の機器に伝送され、インストールされる構成としてもよい。

１０…フィルター、１１…液晶ディスプレイ、１２…スリット板、１３…左目、１４…右目、３０、１４０…動画像符号化装置、１１０、２１０…動画像復号化装置、３０１…動画像種別判定部、３０２…スイッチ、３０３…動画像回転部、３０４…スイッチ、３０５…動画像インターレース符号化部、３０６…ステレオ画像識別子符号化部、３０７…多重化部、９１０、９３０…動画像符号化プログラム、９２０、９４０…動画像符号化プログラム、１１０１…分離部、１１０２…動画像インターレース復号化部、１１０３…ステレオ画像識別子復号化部、１１０４…スイッチ、１１０５…動画像逆回転部、１１０６…スイッチ、１４０１…動画像種別判定部、１４０２…ステレオ／インターレース動き検出部、１４０３…ステレオ／インターレース動き補償部、１４０４…フレームメモリ、１４０５…ステレオ／インターレース空間予測部、１４０６…スイッチ、１４０７…減算器、１４０８…ステレオ／インターレース直交変換部、１４０９…量子化部、１４１０…可変長符号化部、１４１１…逆量子化部、１４１２…ステレオ／インターレース逆直交変換部、１４１３…加算器、２１０１…可変長復号化部、２１０２…ステレオ／インターレース動きベクトル復元部、２１０３…ステレオ／インターレース動き補償部、２１０４…フレームメモリ、２１０５…ステレオ／インターレース空間予測部、２１０６…スイッチ、２１０７…逆量子化部、２１０８…ステレオ／インターレース逆直交変換部、２１０９…加算器。

Claims (14)

1. 右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、
   符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定部と、
   前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出部と、
   前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償部と、
   前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測部と、
   前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換部と、
   前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化部と、
   を備える動画像符号化装置。
2. 前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部をさらに備える請求項１に記載の動画像符号化装置。
3. 前記動き検出部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを検出することを特徴とする請求項１に記載の動画像符号化装置。
4. 前記動き補償部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことを特徴とする請求項１に記載の動画像符号化装置。
5. 前記空間予測部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことを特徴とする請求項１に記載の動画像符号化装置。
6. 前記直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記予測残差信号に基づく予測残差画像を左フィールド予測残差画像と右フィールド予測残差画像として左右に分離したフィールドごとに、直交変換を行うことを特徴とする請求項１に記載の動画像符号化装置。
7. 前記逆直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記直交変換後の画像データを左フィールド画像データと右フィールド画像データとして左右に分離したフィールドごとに、逆直交変換を含む所定の画像処理を行うことを特徴とする請求項２に記載の動画像符号化装置。
8. 右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、
   復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化部と、
   前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元部と、
   前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償部と、
   前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測部と、
   前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部と、
   前記逆直交変換部による画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成部と、
   を備える動画像復号化装置。
9. 前記動きベクトル復元部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを復元することを特徴とする請求項８に記載の動画像復号化装置。
10. 前記動き補償部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことを特徴とする請求項８に記載の動画像復号化装置。
11. 前記空間予測部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことを特徴とする請求項８に記載の動画像復号化装置。
12. 前記逆直交変換部は、復号化する動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、逆直交変換を行うことを特徴とする請求項８に記載の動画像復号化装置。
13. 右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、
    符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定ステップと、
    前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出ステップと、
    前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償ステップと、
    前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測ステップと、
    前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換ステップと、
    前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化ステップと、
    を有する動画像符号化方法。
14. 右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、
    復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化ステップと、
    前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元ステップと、
    前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償ステップと、
    前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測ステップと、
    前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップと、
    前記画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成ステップと、
    を有する動画像復号化方法。

Images