JP2012235293A - 動画像符号化装置 - Google Patents

Abstract

【課題】ＭＢＡＦＦをハードウェアで実現する場合、単純に決まった位置の画素を取得することはできず、場合分けした上で複雑な処理により位置を決定した上で画素値を参照しなければならない。
【解決手段】第１フィールド画像および第２フィールド画像の画素に基づいて、第１フィールド画像の画素および第２フィールド画像の画素が混在する新たな第１ピクチャおよび第２ピクチャを生成し、前記第１ピクチャを符号化単位であるブロック毎に符号化して第１符号列を生成した後、前記第２ピクチャを前記ブロック毎に符号化して第２符号列を生成する。
【選択図】図１

Description

本発明は、入力された動画像をブロックに分割して符号化する画像符号化装置および画像符号化方法に関するものである。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画面符号化方式の標準化活動が進んでいる。

このような動画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。

また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。

Ｈ．２６４には、動画像を符号化する際の処理としてＭＢＡＦＦと呼ばれる処理が存在する。ＭＢＡＦＦは、１６×１６から成るマクロブロックを上下に連結したマクロブロックペア（ＭＢ ｐａｉｒ）を一つの単位として、画素値がフレーム形式に配置されたフレームペア（Ｆｒａｍｅ ｐａｉｒ）と、フィールド形式に配置されたフィールドペア（Ｆｉｅｌｄ ｐａｉｒ）とに分解し、分解後の上マクロブロックと下マクロブロックとについて符号化処理を行うものである。

この動作について、図１２を用いて説明する。ここでは、説明の便宜上、マクロブロックを水平４×垂直４画素から成るブロックとして図示している。ＭＢｐａｉｒ１２０１、１２０３，１２０５は、ＭＢＡＦＦにおける処理単位である。つまり、ＭＢＡＦＦでは、上下に連結した２つのＭＢを１つの処理単位とする。ＭＢｐａｉｒ１２０１は、水平４×垂直８画素からなるブロックである。ＭＢｐａｉｒ１２０１をＦｒａｍｅｐａｉｒとして分解した場合、Ｆｒａｍｅｐａｉｒ１２０２となる。すなわち、上ブロックにライン１からライン４、下ブロックにライン５から８が格納される。一方、ＭＢｐａｉｒ１２０３を、Ｆｉｅｌｄｐａｉｒとして分解した場合、Ｆｉｅｌｄｐａｉｒ１２０４となる。すなわち、上ブロックに奇数ラインであるライン１，３，５，７が格納され、上ブロックに偶数ラインであるライン２，４，６，８が格納される。

分解画像は、以後の処理において、ＦｒａｍｅｐａｉｒまたはＦｉｅｌｄｐａｉｒを１つの単位として処理される。例えば、Ｆｒａｍｅｐａｉｒ１２０２を処理する場合、ライン１から４を含む上ブロックを処理した後、ライン５から８を含む下ブロックを処理する。その後、処理順で次のＦｒａｍｅｐａｉｒ１２０６を処理する。

ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010)

このようなＭＢＡＦＦにおいて、画面内予測を行う場合に、隣接画素の参照方法が複雑となる、という課題がある。つまり、ＭＢｐａｉｒ１２０５をＦｒａｍｅｐａｉｒとして分解し、ＭＢｐａｉｒ１２０３をＦｉｅｌｄｐａｉｒとして分解した場合、Ｆｉｅｌｄｐａｉｒ１２０４は、Ｆｒａｍｅｐａｉｒ１２０６に含まれる上ブロックおよび下ブロックの画素を参照しなければならない。つまり、Ｆｉｅｌｄｐａｉｒ１２０４の上ブロックを符号化する際、単にＦｒａｍｅｐａｉｒ１２０６の上ブロックにおける画素のみを参照することができない。

このように、従来のＭＢＡＦＦにおいては、画面内予測において隣接画素を参照する処理が複雑となる。そのため、ＭＢＡＦＦをハードウェアで実現する場合、単純に決まった位置の画素を取得することはできず、場合分けした上で複雑な処理により位置を決定した上で画素値を参照しなければならない課題があった。

本発明は上記課題を解決するものであって、従来のＭＢＡＦＦよりも簡易な処理、ハードウェア構成により、ブロック毎に、フレーム形式での符号化とフィールド形式での符号化とを切替可能な動画像符号化装置を提供することを目的とする。

本発明における動画像符号化装置は、インターレース構造の動画像を符号化する動画像符号化装置であって、連続して入力される２つのフィールド画像であって、フレームを構成する際にペアとなる第１フィールド画像および第２フィールド画像を取得する取得部と、前記取得した前記第１フィールド画像および前記第２フィールド画像の画素に基づいて、前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在する新たな第１ピクチャおよび第２ピクチャを生成するピクチャ生成部と、前記第１ピクチャを符号化単位であるブロック毎に符号化して第１符号列を生成した後、前記第２ピクチャを前記ブロック毎に符号化して第２符号列を生成する符号化部と、を備える。

また好ましくは、前記ピクチャ生成部は、前記第１フィールド画像の画素と前記第２フィールド画像の画素が混在するブロックおよび前記第１フィールド画像の画素および前記第２フィールド画像の画素のうちいずれか一方の画素で構成されるブロックのうち、少なくとも一方のブロックから構成される前記第１ピクチャおよび前記第２ピクチャを生成する。

また好ましくは、前記ピクチャ生成部は、前記第１フィールド画像のうち第１ブロックに含まれる画素と、前記第２フィールド画像に含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置する第２ブロックに含まれる画素と、に基づいて、前記第１ピクチャおよび前記第２ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置する２つのブロックを構成する。

また好ましくは、前記ピクチャ生成部は、（Ａ）前記第１ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第１ブロックに含まれる画素で構成し、さらに前記第２ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第２ブロックに含まれる画素で構成する処理Ａと、（Ｂ）前記第１ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第１ブロックに含まれる画素のうち上半分に位置する画素と前記第２ブロックに含まれる画素のうち上半分に位置する画素とを交互に配置して構成し、さらに前記第２ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第１ブロックに含まれる画素のうち下半分に位置する画素と前記第２ブロックに含まれる画素のうち下半分に位置する画素とを交互に配置して構成する処理Ｂと、を切り換えて利用する。

また好ましくは、前記符号化部は、前記第１符号列と、前記第１符号列を生成する際に利用した符号化条件を示す第１ヘッダ情報を対応づけた状態で出力し、前記第２符号列と、前記第２符号列を生成する際に利用した符号化条件を示す第２ヘッダ情報を対応づけた状態で出力し、前記第１ヘッダ情報および前記第２ヘッダ情報のうち少なくとも一方のヘッダ情報は、前記第１符号列または前記第２符号列に対応するピクチャを構成するブロックが、前記第１フィールド画像を構成する画素と前記第２フィールド画像を構成する画素が混在するブロックであるか、または前記第１フィールド画像を構成する画素および前記第２フィールド画像を構成する画素のうちいずれか一方の画素で構成されるブロックであるかを示す識別子を、前記ピクチャ内に含まれるブロックの個数分有する。

また好ましくは、前記識別子は、前記ヘッダ情報におけるピクチャ層にまとめて格納される。

また好ましくは、前記識別子は、前記ヘッダ情報におけるブロック層に各々格納される。

また好ましくは、前記第１ヘッダ情報および前記第２ヘッダ情報のうち少なくとも一方のヘッダ情報は、ヘッダ情報と対応付けられた符号列に対応するピクチャが２つのフィールド画像の画素が混合しているピクチャであるか否かを示す判定識別子を有し、前記判定識別子がＯＮである場合、当該判定識別子が含まれるヘッダ情報は、前記第１符号列または前記第２符号列に対応するピクチャを構成するブロックが、前記第１フィールド画像を構成する画素と前記第２フィールド画像を構成する画素が混在するブロックであるか、または前記第１フィールド画像を構成する画素および前記第２フィールド画像を構成する画素のうちいずれか一方の画素で構成されるブロックであるかを示す識別子を、前記ピクチャ内に含まれるブロックの個数分有する。

また好ましくは、前記符号化部は、前記第１ピクチャおよび前記第２ピクチャが、前記第１フィールド画像および前記第２フィールド画像を構成する画素が混在するピクチャである場合、前記第１ピクチャおよび前記第２ピクチャを、デブロックフィルタ処理を適用することなく符号化する。

また好ましくは、前記符号化部は、前記第１ピクチャおよび前記第２ピクチャを符号化する際、隣接するブロックで前記ピクチャ生成部が適用した処理方法が異なる場合、処理方法が異なるブロックの境界に対してデブロックフィルタ処理しない。

なお、本発明は、このような動画像符号化として実現することができるだけでなく、このような動画像符号化・復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

以上より、本発明における動画像符号化装置は、従来のＭＢＡＦＦよりも簡易な処理、ハードウェア構成により、ブロック毎に、フレーム形式での符号化とフィールド形式での符号化とを切替可能とすることができる。

本実施形態１に係る動画像符号化装置１００のブロック図。 本実施形態３に係る動画像復号化装置２００のブロック図。 分解部１６０のブロック図。 本実施形態１に係る処理Ａを説明するための図。 本実施形態１に係る処理Ｂを説明するための図。 本実施形態１に係る分解部１６０において入力画像であるフィールド画像を分解する際のフローチャート。 本実施形態２に係る動画像符号化装置７００のブロック図。 本実施形態２によって生成される符号列のシンタックスを説明するための図。 ＳＥＩにｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを格納する際のシンタックスを説明するための図。 ブロック層にｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを格納する際のシンタックスを説明するための図。 本実施形態３に係る復元部２０８を説明するための図。 ＭＢＡＦＦを説明するための図。 本実施形態４に係る動画像符号化装置１３００のブロック図。 本実施形態５に係る動画像符号化装置１４００のブロック図。

（実施の形態１）
以下、本実施形態１について、図面を参照しながら説明する。

図１は、本実施形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、フィールド単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理し、符号列を生成する。

この動画像符号化装置１００は、分解部１６０と、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、ヘッダ符号列生成部１０７と、係数符号列生成部１０８とを備えている。

分解部１６０は、後述する構成と動作により、表示を行う順にピクチャ単位で入力される入力画像信号１５１でのフィールド画像のうち、１枚のフレームを構成する第１フィールドと第２フィールドを、所定の処理により画素データの配置が変更された２枚のピクチャを出力する。つまり、分解部１６０は、トップフィールドに含まれる画素データとボトムフィールドに含まれる画素データを用いて、新たな第１ピクチャと第２ピクチャを生成する。

ピクチャメモリ１０１は分解部１６０が出力するピクチャを、符号化を行う順に並び替えを行って蓄積する。次に、ピクチャメモリ１０１は、差分演算部１０９または予測符号化部１０５からの読出し命令を受け付けると当該読出し命令に係る画像信号をそれぞれ出力する。このとき、各々のピクチャはコーディングユニット（ＣＵ）と呼ばれる複数の画素から構成される符号化単位に分割される。このＣＵは、例えば水平６４×垂直６４画素のブロック、水平３２×垂直３２画素のブロック、水平１６×垂直１６画素、または水平４×垂直４画素のブロックから成る。なお、本実施形態における動画像符号化装置１００では、ＣＵ単位で以降の処理が行われる。

予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに得られた各周波数成分の直交変換係数に対し量子化を行うことで画像情報の圧縮を行い、残差符号化信号１５３を生成する。予測残差符号化部１０２は、生成した残差符号化信号１５３を予測残差復号化部１０３および係数符号列生成部１０８に出力する。なお、予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値信号１５８を用いて、直交変換係数を量子化する。

予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで差分画像情報の復元を行う。そして、生成した残差復号化信号１５４を加算演算部１１０に出力する。

ローカルバッファ１０４は、加算演算部１１０から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理に用いられる。つまり、再構成画像信号１５５は、現状符号化対象となっているピクチャ以降のピクチャを符号化する際、画素データとして参照される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納する再構成画像信号１５５を画素データとして予測符号化部１０５出力する。

予測符号化部１０５は、ピクチャメモリ１０１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成する。そして、予測符号化部１０５は、生成した予測画像信号１５６を差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を用いる際は、ローカルバッファ１０４に蓄積される既に符号化済みの過去のピクチャの再構成画像信号１５５を用いる。また予測符号化部１０５は、画面内予測を用いる際は、符号化対象ＣＵに隣接する既に符号化済みのＣＵの現在のピクチャの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。

量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２において差分画像信号１５２を量子化する際の量子化値を設定する。量子化値決定部１０６は、設定した量子化値を予測残差符号化部１０２およびヘッダ符号列生成部１０７に出力する。なお、量子化値決定部１０６における量子化値の設定方法は、符号列信号１５９のビットレートが目標とするするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法を利用しても構わない。

ヘッダ符号列生成部１０７は、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値信号１５８と、その他の符号化制御に関する制御情報を可変長符号化することで符号列を生成する。なお、予測情報には、例えば画面内予測モード、画面間予測モード、動きベクトル、参照ピクチャを示す情報等が含まれる。また、制御情報は係数符号列生成部１０８における処理前までに取得可能な情報であって、ＣＵの符号化時に適用した符号化条件を示す情報である。例えばブロック符号化タイプ、ブロック分割情報等が含まれる。

係数符号列生成部１０８は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９を生成する。

差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と、予測符号化部１０５の出力である予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。

加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と、予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４に出力する。

以下、分解部１６０の詳細な動作について、図面を参照しながら説明する。

図３は、分解部１６０のブロック図である。分解部１６０は、切替部１６１、第１フィールド格納メモリ１６２、第２フィールド格納メモリ１６３、配置変更部１６４、第１ピクチャ格納メモリ１６５、第２ピクチャ格納メモリ１６６、切替部１６７を備える。

本装置の入力画像はインターレース画像を想定している。そのため、フレームを構成するフィールドのうち、時間的に先行する第１フィールド画像と、後行する第２フィールド画像とが、順番に本装置に入力される。

切替部１６１は、その入力が第１フィールド画像の場合、該入力を第１フィールド格納メモリ１６２へ出力する。一方、切替部１６１は、入力が第２フィールド画像の場合、該入力を第２フィールド格納メモ１６３へ出力する。

第１フィールド格納メモリ１６２と第１フィールド格納メモリ１６２とは、それぞれ、入力されたフィールド画像を保持する。

配置変更部１６４は、対になる２枚のフィールド画像が、第１フィールド格納メモリ１６２および第２フィールド格納メモリ１６３に格納された後、格納された２つのフィールド画像中の、対応する位置にある符号化単位ブロック毎に、処理Ａおよび処理Ｂのうちいずれかを実行する。

処理Ａは、配置を変更せず、そのまま第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に該ブロック中の画素値を保持する動作である。

以下、処理Ａを、図４を用いて説明する。

図４に示すように、第１フィールド格納メモリ１６２には少なくともＣＵ４０１が蓄積される。また、第２フィールド格納メモリ１６３には少なくともＣＵ４０２が蓄積される。ここで、ＣＵ４０１およびＣＵ４０２は、水平４×垂直４画素で構成されるブロックとする。

上記のように画素が蓄積されている際、配置変更部１６４は、第１ピクチャ格納メモリ１６５におけるＣＵ４０３部分にＣＵ４０１の画素を格納する。さらに、配置変更部１６４は、第２ピクチャ格納メモリ１６６におけるＣＵ４０４部分にＣＵ４０２の画素を格納する。つまり、処理Ａでは、第１フィールド格納メモリ１６２に格納される画素と第２フィールド格納メモリ１６３に格納される画素を１つのＣＵに混ぜることなく、第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に配置する。

以下、処理Ｂを、図５を用いて説明する。

図５に示すように、第１フィールド格納メモリ１６２には少なくともＣＵ５０１が蓄積される。また、第２フィールド格納メモリ１６３には少なくともＣＵ５０２が蓄積される。ここで、ＣＵ５０１およびＣＵ５０２は、水平４×垂直４画素で構成されるブロックとする。

上記のように画素が蓄積されている際、配置変更部１６４は、第１ピクチャ格納メモリ１６５におけるＣＵ５０３部分に、ＣＵ５０１におけるライン１およびライン３ならびにＣＵ５０２におけるライン２およびライン４の画素を格納する。なお、ＣＵ５０３に画素を格納する際、配置変更部１６４は、第１フィールド格納メモリ１６２に格納される画素と、第２フィールド格納メモリ１６３に格納される画素とを交互に配置する。つまり、配置変更部１６４は、ＣＵ５０３に格納される画素がフレーム画像となるように配置する。

また、配置変更部１６４は、第１ピクチャ格納メモリ１６５におけるＣＵ５０４部分に、ＣＵ５０１におけるライン５およびライン７ならびにＣＵ５０２におけるライン６およびライン８の画素を格納する。なお、ＣＵ５０４に画素を格納する際、配置変更部１６４は、第１フィールド格納メモリ１６２に格納される画素と、第２フィールド格納メモリ１６３に格納される画素とを交互に配置する。つまり、配置変更部１６４は、ＣＵ５０４に格納される画素がフレーム画像となるように配置する。

つまり、処理Ｂでは、第１フィールド格納メモリ１６２に格納される画素と第２フィールド格納メモリ１６３に格納される画素を１つのＣＵに混ぜ、第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に配置する。

また、第１フィールド格納メモリ１６２および第２フィールド格納メモリ１６３に格納されている２枚のフィールド画像のうち、空間的に同じ位置に配置される２つＣＵが、処理Ａまたは処理Ｂの処理対象となる。

また、処理Ａまたは処理Ｂの選択方法は、Ｈ．２６４符号化規格におけるＭＢＡＦＦ方式でのフィールドペアとフレームペアの決定方法を利用することができる。例えば、処理対象のＣＵにおける動きが大きい場合は、処理Ａを選択する。逆に、処理対象のＣＵにおける動きが小さい場合は、処理Ｂを選択する。

切替部１６７は、最初に、第１ピクチャ格納メモリ１６５に蓄えられたピクチャを出力する。その後、ピクチャメモリ１０１以降での符号化処理が完了した後、第２ピクチャ格納メモリ１６６に蓄えられたピクチャを出力する。つまり、切替部１６７は、第１ピクチャ格納メモリ１６５に格納される画素をすべて出力した後、第２ピクチャ格納メモリ１６６に格納される画素を出力する。

ここで、分解部１６０において入力画像であるフィールド画像を分解する方法について、図６のフローチャートを用いて具体的に説明する。

まず、第１フィールド格納メモリ１６２は、切替部１６１から入力される第１フィールド画像を格納する（Ｓ６０１）。

次に、第２フィールド格納メモリ１６３は、切替部１６１から入力される第２フィールド画像を格納する（Ｓ６０２）。

そして、格納された第１フィールド画像および第２フィールド画像における対となるＣＵ毎に、処理Ａおよび処理Ｂのうちいずれか一方を決定する（Ｓ６０３）。

次に、Ｓ６０３における決定結果に基づき、対となる２つのＣＵに含まれる画素から、新たな２つのＣＵを生成し、第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に格納する（Ｓ６０４）。

すべてのブロックについて上記処理が完了したかどうか判定（Ｓ６０５）し、否の場合はＳ６０３，Ｓ６０４を繰り返す。完了した場合は、第１ピクチャ格納メモリ１６５の画像を出力（Ｓ６０６）し、ピクチャメモリ１０１以降での符号化処理を行う（Ｓ６０７）。

Ｓ６０７が完了したら、第２ピクチャ格納メモリ１６６の画像を出力（Ｓ６０８）し、ピクチャメモリ１０１以降での符号化処理を行う（Ｓ６０９）。

以上の動作により、本実施例によれば、ピクチャメモリ１０１以降の符号化処理においては、インターレース画像を構成する第１フィールド画像および第２フィールド画像をＣＵ単位で符号化する際、フレーム構造またはフィールド構造で符号化するかを意識する必要がない。つまり、ピクチャメモリ１０１以降の符号化処理においては、インターレース画像であってもプログレッシブ画像であっても同じ動作を適用することができる。例えば、画面内予測における隣接画素値の取得が、処理Ａまたは処理Ｂの如何にかかわず、常に直左の隣接ブロックの画素を取得すればよい。結果、ハードウェア実装時に複雑な回路構成が不要となる。また、このように構成した場合でも、配置変更方法が異なるブロック境界では予測誤差が大きくなる。よって、画面内予測での方向決定アルゴリズムにて、このような予測誤差が大きくなる方向は選択されないため、大きな問題が生じることはない。

以上より、本実施例によれば、従来のＭＢＡＦＦよりも簡易なハードウェア構成により、ブロック毎に、フレーム形式での符号化とフィールド形式での符号化とを選択可能な動画像符号化装置を提供することができる。

（実施の形態２）
以下、本実施形態２について、図面を参照しながら説明する。本実施例は、配置変更方法に関するＣＵ毎の情報を符号化列に含めるものである。

図７は、本実施形態に係る動画像符号化装置７００のブロック図である。以下、説明の便宜上、本実施形態１と同様の構成についてはその詳細な説明を省略する。さらに、図７では、図１と同様の機能を有するブロックについては同じ番号を付す。

図７において、分解部７６０は、実施形態１での分解部１６０と同様の動作を行う。さらに、ＣＵ毎の配置変更情報をヘッダ符号列生成部７０７に出力する。ヘッダ符号列生成部７０７は、実施形態１でのヘッダ符号列生成部１０７と同様の動作を行い、さらに、配置変更情報を符号化列に含める。

（シンタックの説明）
図８は本実施形態によって生成される符号列のシンタックス：ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇの一例を示した図である。このｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇは、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒｅ Ｓｅｔ）に格納されるフラグである。

本フラグは、例えば、値が０の場合は配置変更なし、つまり処理Ａが実行されたことを示す。一方、値が１の場合はフレーム画像を構成するように配置変更、つまり処理Ｂが実行されたことを表す。このフラグを、入力ピクチャを構成するＣＵの個数分、符号列に含むよう、ループ処理を行っている。なお、ＣＵの個数は、（（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１＋１）×（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１＋１））と表現される。また、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅにより本機能のオンもしくはオフを選択可能としている。

上記のように構成することにより、第１ピクチャ格納メモリ１６５または第２ピクチャ格納メモリ１６６から出力されるピクチャに含まれるＣＵが、処理Ａおよび処理Ｂのうちどちらで処理されたかを出力する符号列に埋め込むことができる。そのため、復号化時に元のフィールド画像を単にフラグを確認するだけで復元することができる。

（その他の実施形態）
以下、他の実施形態について図面を参照しながら説明する。

図９は、ストリーム中での場所として、上述とは別の場所であるＳＥＩ（符号化に関する補助情報を格納する場所）に格納する場合である。同様に ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを個数分格納するようにしている。

また、図１０は、マクロブロック層に格納する場合である。この場合、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ（）自体がブロック毎であるので、このシンタックス中でのループ処理は不要である。なお、ブロック層に格納する場合には、本機能のオンもしくはオフを表すｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅフラグについては、ＰＰＳ（図８）、もしくは、ＳＥＩ（図９）のどちらかに挿入する必要がある。

なお、図８、図９、図１０で説明したシンタックスおよび識別子の値については、本実施の形態を説明するための一例、つまりＨ．２６４符号化規格に基づく一例であり、ここに記載されている内容と異なるシンタックスや識別子の値を割り当てることによって同様の機能を実現してもよい。

また、符号化効率向上のため、上記したフラグを算術符号化等するようにしてもよい。

さらに、配置変更に関する情報は、第１ピクチャでの情報と第２ピクチャでの情報は同じものであるので、一方のピクチャに相当する符号列には格納しないようにしてもよい。

本構成によれば、符号列中に配置変更に関する情報が含まれているため、後述する動画像復号化装置と組み合わせることにより、第２の実施例に係る動画像符号化装置で符号化した符号列を復号し配置変更を行うことにより、動画像を復号・表示可能となる。

なお、第１の実施例に係る動画像符号化装置については、符号列に配置変更情報を含んでいないが、符号列とは別の場所に該情報を格納する、もしくは、別の伝送路を用いて伝送する、等することにより、動画像復号化装置において、復号後の画像に対して配置変更を施すことにより、動画像の復号・表示が可能となる。

（実施の形態３）
以下、本実施形態３について、図面を参照しながら説明する。

図２は、本実施形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施形態２で説明した動画像符号化装置によって生成された符号列に対し、ブロック単位で復号化処理し、出力画像を生成する。

この動画像復号化装置２００は、ヘッダ符号列解析部２０１と、係数符号列解析部２０２と、予測残差復化部２０３と、ピクチャメモリ２０４と、予測復号化部２０５と、量子化値決定部２０６と、加算演算部２０７と、復元部２０８とを備えている。

ヘッダ符号列解析部２０１は、入力されたブロック単位の符号列信号２５１のヘッダ領域に対して可変長復号化を施すことによりヘッダ情報の解析を行う。ヘッダ符号列解析部２０１は、解析して得られる予測情報信号２５６を予測復号化部２０５へ出力する。さらに、ヘッダ符号列解析部２０１は、解析して得られる量子化値情報を量子化値決定部２０６へ出力する。また、さらに、ヘッダ符号列解析部は、実施形態２で説明したシンタックス値：ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを復号して得られる配置変更に係る情報を復元部２０８へ出力する。

係数符号列解析部２０２は、ヘッダ符号列解析部２０１によって解析されたヘッダ情報に続いて符号化されている係数符号列の解析を行う。このとき、係数符号列解析部２０２は、係数符号列が残差符号化信号の場合、当該残差符号化信号２５２を予測残差復号化部２０３へ出力する。

予測残差復号化部２０３は、係数符号列解析部２０２から入力された残差符号化信号２５２に対して、逆量子化および逆直交変換することで差分画像情報の復号を行う。そして、予測残差復号化部２０３は、生成した残差復号化信号２５３を加算演算部２０７に出力する。このとき予測残差復号化部２０３は、量子化値決定部２０６において決定された量子化値信号２５７を用いて残差符号化信号２５２を逆量子化する。

復元部２０８は、加算演算部２０７からブロック単位に順に入力される信号に基づき、後述する処理を行い、結果のピクチャをピクチャメモリ２０４に出力する。

ピクチャメモリ２０４は、復元部２０８が出力するピクチャを、表示を行う順にピクチャ単位で並び替えを行って蓄積する。そして、ピクチャメモリ２０４は、蓄積している信号を出力画像信号２５８として外部に出力する。

予測復号化部２０５は、ヘッダ符号列解析部２０１から出力された予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成する。そして、予測復号化部２０５は、生成した予測画像信号２５４を加算演算部２０７に出力する。なお、予測復号化部２０５は、画面間予測を用いる際、ピクチャメモリ２０４に蓄積される既に復号化済みの過去のピクチャの再構成画像信号２５５を用いる。また、予測復号化部２０５は、画面内予測を用いる際、復号化対象ブロックに隣接する既に復号化済みのブロックの現在のピクチャの再構成画像信号２５９を用いる。これは、後述する復元部２０８の内部メモリのうち一方からの情報を選択して用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。

加算演算部２０７では、予測残差復号化部２０３から出力された残差復号化信号２５３と予測復号化部２０５から出力された予測画像信号２５４を加算することによって再構成画像信号２５５を生成する。生成された再構成画像信号２５５は復元部２０８にて後述する動作にてピクチャ毎に格納され、最終的にはピクチャメモリ２０４ を経由してフィールド単位の出力画像信号２５８として表示装置に出力される。

ここで、復元部２０８において、再構成画像であるフィールド毎の画像がどのように処理されるかを、図１１を用いて説明する。図１１に示す復元部２０８は、切替部２０８１、第１ピクチャ格納メモリ２０８２、第２ピクチャ格納メモリ２０８３、配置変更部２０８４、第１フィールド格納メモリ２０８５、第２フィールド格納メモリ２０８６、切替部２０８７、切替部２０８８、を備える。

第１ピクチャ格納メモリ２０８２は、復元部２０８に入力された再構成画像信号のうち、動画像符号化装置での第１ピクチャに対応するものを格納する。また、第２ピクチャ格納メモリは、第２ピクチャに対応するものを格納する。現在復号処理を行っているのがどちらであるかは、例えば、Ｈ．２６４符号化規格であれば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）シンタックス中のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇを用いて判断できる。すなわち、切替部２０８１は、この情報に基づき制御する。同様に、面内予測での隣接画素を予測符号化部２０５に供給するための切替部２０８８も上記情報に基づき制御する。

配置変更部２０８４は、第２ピクチャの復号処理が完了した後、ヘッダ符号列解析部２０１からの配置変更情報に基づき、処理Ａまたは処理Ｂのどちらかを選択し、図４および図５により説明した処理の逆方向処理を行う。そして、ブロック毎に、配置変更した上で結果を第１フィールド格納メモリ２０８５または第２フィールド格納メモリ２０８６に格納する。すべてのブロックについての処理が完了した時点で、切替部２０８７は、第１フィールド格納メモリ２０８５の画像を出力した後、第２フィールド格納メモリ２０８６の画像を出力する。

以上の動作により、本実施例によれば、符号列に格納された配置変更方法に基づき、対応する動画像符号化装置での処理と逆の配置変更を行うため、第２の実施例で説明した効果を奏する動画像符号化装置と対になる動画像復号化装置を提供することができる。

（実施の形態４）
以下、本実施形態４について、図面を参照しながら説明する。本実施例は、配置変更に伴いデブロックフィルタ処理時点でのブロック境界での隣接画素が、入力画像での配置では隣接していない場合、すなわち、図１２でのＦｒａｍｅｐａｉｒ１２０６とＦｉｅｌｄｐａｉｒ１２０４との境界での場合、における不都合を回避するものである。

図１３は、本実施形態に係る動画像符号化装置１３００のブロック図である。以下、説明の便宜上、本実施形態４と同様の構成についてはその詳細な説明を省略する。さらに、図１３では、図７もしくは図１と同様の機能を有するブロックについては同じ番号を付す。

デブロックフィルタ部１３０１は、いわゆるループフィルタ処理の一種を行う処理部である。ループフィルタ処理とは、例えばＨ．２６４符号化規格で定められたデブロック処理等である。

ローカルバッファ１３０２は、デブロックフィルタ部１３０１が出力するフィルタ処理後のピクチャを、将来の画面間予測符号化での予測画素作成時に用いるため保持する。

実施の形態４の一つの実施形態としては、分解部７６０にて本機能を実施する場合、すなわち、シンタックスｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅが１の場合、デブロックフィルタ部１３０１での処理をオフにする。また、別の実施形態としては、デブロックフィルタ部１３０１は、隣接するブロックでのシンタックスｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇが異なるブロック境界については、デブロック処理を行わないようにする。

以上に説明した動作により、本実施例４によれば、ローカルバッファ１３０２に格納される段階では配置変更された状態（図１２の分解画像）であるため、隣接画素が入力画像では隣接していない場合に、デブロックフィルタ処理を行わない。この動作により、本来関係のない画素同士により意図とは異なるフィルタ処理が行われ画質に悪影響を及ぼす、という課題を回避することができる。

（実施の形態５）
以下、本実施形態５について、図面を参照しながら説明する。本実施例は、実施の形態４にて説明した動画像符号化装置に対応する動画像復号化装置に関するものである。

図１４は、本実施形態に係る動画像復号化装置１４００のブロック図である。以下、説明の便宜上、本実施形態３と同様の構成についてはその詳細な説明を省略する。さらに、図１４では、図２と同様の機能を有するブロックについては同じ番号を付す。

ヘッダ符号列解析部１４０１は、図２でのヘッダ符号列解析部と同様の動作を行い、さらに、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを出力する。

デブロックフィルタ１４０２は、隣接するブロックでのｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇが異なるブロック境界についてはデブロック処理を行わないようにする。

以上に説明した動作により、本実施例５によれば、実施例４の動画像符号化装置と対応する動画像復号化装置を提供することができる。

（さらに別の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。

また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。

１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 量子化値決定部
１０７ ヘッダ符号列生成部
１０８ 係数符号列生成部
１０９ 差分演算部
１１０ 加算演算部
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 残差復号化信号
１５５ 再構成画像信号
１５６ 予測画像信号
１５７ 予測情報信号
１５８ 量子化値信号
１５９ 符号列信号
２００ 動画像復号化装置
２０１ ヘッダ符号列解析部
２０２ 係数符号列解析部
２０３ 予測残差復号化部
２０４ ピクチャメモリ
２０５ 予測復号化部
２０６ 量子化値決定部
２０７ 加算演算部
２５１ 符号列信号
２５２ 残差符号化信号
２５３ 残差復号化信号
２５４ 予測画像信号
２５５ 再構成画像信号
２５６ 予測情報信号
２５７ 量子化値信号
２５８ 出力画像信号

Claims (10)

1. インターレース構造の動画像を符号化する動画像符号化装置であって、
   連続して入力される２つのフィールド画像であって、フレームを構成する際にペアとなる第１フィールド画像および第２フィールド画像を取得する取得部と、
   前記取得した前記第１フィールド画像および前記第２フィールド画像の画素に基づいて、前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在する新たな第１ピクチャおよび第２ピクチャを生成するピクチャ生成部と、
   前記第１ピクチャを符号化単位であるブロック毎に符号化して第１符号列を生成した後、前記第２ピクチャを前記ブロック毎に符号化して第２符号列を生成する符号化部と、
   を備える動画像符号化装置。
2. 前記ピクチャ生成部は、前記第１フィールド画像の画素と前記第２フィールド画像の画素が混在するブロックおよび前記第１フィールド画像の画素および前記第２フィールド画像の画素のうちいずれか一方の画素で構成されるブロックのうち、少なくとも一方のブロックから構成される前記第１ピクチャおよび前記第２ピクチャを生成する
   請求項１に記載の動画像符号化装置。
3. 前記ピクチャ生成部は、前記第１フィールド画像のうち第１ブロックに含まれる画素と、前記第２フィールド画像に含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置する第２ブロックに含まれる画素と、に基づいて、前記第１ピクチャおよび前記第２ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置する２つのブロックを構成する
   請求項２に記載の動画像符号化装置。
4. 前記ピクチャ生成部は、
   （Ａ）前記第１ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第１ブロックに含まれる画素で構成し、さらに前記第２ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第２ブロックに含まれる画素で構成する処理Ａと、
   （Ｂ）前記第１ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第１ブロックに含まれる画素のうち上半分に位置する画素と前記第２ブロックに含まれる画素のうち上半分に位置する画素とを交互に配置して構成し、さらに前記第２ピクチャに含まれるブロックのうち前記第１ブロックと空間的に同じ場所に位置するブロックを、前記第１ブロックに含まれる画素のうち下半分に位置する画素と前記第２ブロックに含まれる画素のうち下半分に位置する画素とを交互に配置して構成する処理Ｂと、
   を切り換えて利用する
   請求項３に記載の動画像符号化装置。
5. 前記符号化部は、前記第１符号列と、前記第１符号列を生成する際に利用した符号化条件を示す第１ヘッダ情報を対応づけた状態で出力し、前記第２符号列と、前記第２符号列を生成する際に利用した符号化条件を示す第２ヘッダ情報を対応づけた状態で出力し、
   前記第１ヘッダ情報および前記第２ヘッダ情報のうち少なくとも一方のヘッダ情報は、前記第１符号列または前記第２符号列に対応するピクチャを構成するブロックが、前記第１フィールド画像を構成する画素と前記第２フィールド画像を構成する画素が混在するブロックであるか、または前記第１フィールド画像を構成する画素および前記第２フィールド画像を構成する画素のうちいずれか一方の画素で構成されるブロックであるかを示す識別子を、前記ピクチャ内に含まれるブロックの個数分有する
   請求項２に記載の動画像符号化装置。
6. 前記識別子は、前記ヘッダ情報におけるピクチャ層にまとめて格納される請求項５に記載の動画像符号化装置。
7. 前記識別子は、前記ヘッダ情報におけるブロック層に各々格納される請求項５に記載の動画像符号化装置。
8. 前記第１ヘッダ情報および前記第２ヘッダ情報のうち少なくとも一方のヘッダ情報は、ヘッダ情報と対応付けられた符号列に対応するピクチャが２つのフィールド画像の画素が混合しているピクチャであるか否かを示す判定識別子を有し、
   前記判定識別子がＯＮである場合、当該判定識別子が含まれるヘッダ情報は、前記第１符号列または前記第２符号列に対応するピクチャを構成するブロックが、前記第１フィールド画像を構成する画素と前記第２フィールド画像を構成する画素が混在するブロックであるか、または前記第１フィールド画像を構成する画素および前記第２フィールド画像を構成する画素のうちいずれか一方の画素で構成されるブロックであるかを示す識別子を、前記ピクチャ内に含まれるブロックの個数分有する
   請求項２に記載の動画像符号化装置。
9. 前記符号化部は、前記第１ピクチャおよび前記第２ピクチャが、前記第１フィールド画像および前記第２フィールド画像を構成する画素が混在するピクチャである場合、前記第１ピクチャおよび前記第２ピクチャを、デブロックフィルタ処理を適用することなく符号化する
   請求項１に記載の動画像符号化装置。
10. 前記符号化部は、前記第１ピクチャおよび前記第２ピクチャを符号化する際、隣接するブロックで前記ピクチャ生成部が適用した処理方法が異なる場合、処理方法が異なるブロックの境界に対してデブロックフィルタ処理しない請求項４に記載の動画像符号化装置。