JP2006333100A

JP2006333100A - 画像符号化装置

Info

Publication number: JP2006333100A
Application number: JP2005154156A
Authority: JP
Inventors: Hiroshi Arakawa; 博荒川; Tatsuro Shigesato; 達郎重里; Kazuo Saigo; 賀津雄西郷; Koji Arimura; 耕治有村; Hideyuki Okose; 秀之大古瀬; Hisaki Maruyama; 悠樹丸山; Hiroshi Tasaka; 啓田坂
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-05-26
Filing date: 2005-05-26
Publication date: 2006-12-07

Abstract

【課題】Ｈ．２６４では参照ピクチャ枚数が増加するため画像符号化時の参照ピクチャメモリへのアクセス回数が増加し、消費電力が増大する。
【解決手段】本発明の画像符号化装置は、参照ピクチャを保存する参照画像メモリ１０２と、参照画像メモリに保存されている同一の参照ピクチャを参照して、符号化のタイミングが異なる複数のピクチャの動き検出を同時に行う並列に備えられる複数の動きベクトル検出器１０３、１０４、１０５とを備える。参照画像メモリ１０２に保持された参照ピクチャP0と、現在の符号化対象ピクチャP1との動き検出処理時に、将来の符号化対象ピクチャB1,B0と参照ピクチャP0との動き検出処理も同時に行う。符号化対象ピクチャP1,B1,B0は、入力画像メモリ１０１に保持されており、制御器１０６の指示により読み出される。
【選択図】図１

Description

本発明は、動画像等を符号化する画像符号化装置に関する。

ＭＰＥＧ２などでは、符号化対象ピクチャ中の垂直１６画素×水平１６画素から成るマクロブロックの符号化を、既に符号化済みのピクチャから取り出した１６画素×１６画素との残差を用いて行う。残差を求めるマクロブロックを符号化済みのピクチャのどの場所から取り出すかは、動き検出器にて決定される。

この動きベクトル検出処理では、一枚の符号化対象ピクチャの処理時間内に、複数の参照ピクチャとの動きベクトル検出処理を行っている。例えば、Ｐピクチャの符号化時には、参照ピクチャのトップフィールドとボトムフィールドの２枚のピクチャの動きベクトルの検出が必要である。

図５（ａ）は、ＭＰＥＧ２の場合で、Ｂピクチャが動きベクトル検出のために参照可能な参照ピクチャを示す図である。ＭＰＥＧ２では、フレーム符号化の場合、Ｂピクチャは直前のＰピクチャと直後のＰピクチャとを参照して動きベクトルを検出する。図５（ｂ）は、Ｈ．２６４の場合で、Ｂピクチャが動きベクトル検出のために参照可能な参照ピクチャを示す図である。ＭＰＥＧ２に対し、新しい画像符号化標準Ｈ．２６４では、前方向２枚のＰピクチャと、後方向の１枚のＰピクチャとを参照して動きベクトルを検出してもよい。このように、Ｈ．２６４では、同じ１枚のＢピクチャでも、動きベクトル検出のために参照可能な参照画像の枚数が、ＭＰＥＧ２より多くなっている。すなわち、Ｈ．２６４では、複数の参照ピクチャを利用可能であるため、画像符号化時の参照ピクチャへのメモリアクセス回数が増加する。また、デジタル放送のハイビジョン化に伴い、表示装置の高解像度化が今後進むとみられる。この結果、ムービーなどにおいても、ハイビジョン対応が望まれるようになると考えられる。そうすると、参照ピクチャ枚数だけでなく、参照ピクチャそのものの画素数が増加することになり、さらにメモリアクセス回数が増加する。このため、メモリアクセス回数を削減する方法が必要となる。

図６は、従来の画像符号化装置の動きベクトル検出に関する部分の構成を示す図である。従来の画像符号化装置は、参照画像メモリ２５０、符号化処理部２００Ａ及び符号化処理部２００Ｂを備え、符号化対象ピクチャ中の隣接するブロック列を並列に符号化する。従って、従来の画像符号化装置では、隣接するブロック列の動きベクトル検出も並列に行なわれる。このとき、符号化処理部２００Ａ及び符号化処理部２００Ｂで共通して使用される参照画像データは、参照画像メモリ２５０から同時に読み出され、符号化処理部２００Ａ及び符号化処理部２００Ｂのバッファに格納される。

このようにすることで、従来の画像符号化装置では、参照画像メモリ２５０へのアクセス回数を削減している（特許文献１参照。）。
特開平８−９３８５号公報

しかしながら、従来の画像符号化装置では、各ブロックの動きベクトルの探索範囲となる画像がブロック列間で共通でない場合には、参照画像メモリへのアクセス回数を削減することができないという問題がある。また、隣接するブロック列の動きベクトルを並列に検出する場合であっても、符号化対象ピクチャが変われば、その都度、動き検出のために過去に読み出したことのある参照ピクチャを読み込まねばならず、参照画像メモリへのアクセス回数を削減することができないという問題がある。

本発明の目的は、参照メモリへのアクセス回数を、より効率よく削減し、低消費電力化を可能とする画像符号化装置を提供することである。

上記課題を解決するために本発明の画像符号化装置は、参照ピクチャを保存する参照ピクチャメモリと、前記参照ピクチャメモリに保存されている１つの前記参照ピクチャを参照して、符号化のタイミングが異なる複数のピクチャそれぞれの動きベクトルを、それぞれ並列に検出する複数の動きベクトル検出器とを備える。

なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置の主要な一部または全部をワンチップに備えた集積回路として実現したり、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

参照ピクチャへのメモリアクセスを、複数の符号化対象ピクチャの動き検出において共用することにより、メモリアクセス回数を減らすことができる。例えば、３枚の符号化対象ピクチャ間で共有した場合、メモリアクセス回数を１／３にすることができる。

図１は、本実施の形態の画像符号化装置のうち、動きベクトル検出処理を行う部分の構成を示すブロック図である。本実施の形態の画像符号化装置は、符号化順に連続する所定数の対象ピクチャに対して、ブロックごとに、同一の参照ピクチャの同一探索範囲を探索して、並列に動きベクトルを検出する画像符号化装置であって、入力画像メモリ１０１、参照画像メモリ１０２、動き検出器１０３、動き検出器１０４、動き検出器１０５、制御器１０６、メモリ１０７、制御部１０８及び符号化部１０９を備える。

入力画像メモリ１０１は、表示順で入力される入力画像を符号化順に並べ替えて保持する。参照画像メモリ１０２は、ローカルデコード画像を保持する。動き検出器１０３、動き検出器１０４及び動き検出器１０５は、それぞれ符号化順に並べられた異なる対象ピクチャ中の符号化対象マクロブロックと、１つの参照ピクチャ内の動き検出範囲（探索範囲）内の画素ブロックとを入力として、動き検出（ＭＥ）を行う。このとき、動き検出器１０３、動き検出器１０４及び動き検出器１０５は、同じ動き検出範囲内の画素ブロックと、それぞれの符号化対象マクロブロックとを用いて評価値を算出し、動きベクトルを検出する。また、動き検出器１０３、動き検出器１０４及び動き検出器１０５は、検出した動きベクトルを、後の処理のために、メモリ１０７に保存する。制御器１０６は、同時に動き検出する対象ピクチャを選択し、この選択情報に基づき、選んだ対象ピクチャ中の対象マクロブロックの画素値を画像メモリ１０１から読み出すように制御する。また、動き検出器で参照される参照ピクチャについても選択し、この選択情報に基づき、選んだピクチャ中の動き検出範囲の画素値を画像メモリ１０２から読み出すように制御する。制御部１０８は、並列処理がなされている対象ピクチャのいずれかに対して、まだ、別の参照ピクチャを用いて動き検出する必要がある対象ピクチャに対しては、検出された動きベクトルを一旦メモリ１０７に保存するようにメモリ１０７を制御する。また、すべての動きベクトルの検出が完了した符号化対象ピクチャについては、検出された動きベクトルが符号化されるように符号化部１０９を制御する。符号化部１０９は、動き検出器１０３、動き検出器１０４及び動き検出器１０５からの出力である動きベクトルを、符号化対象マクロブロックごとに符号化する。

図２は、参照ピクチャと対象ピクチャとを、どのように選択するかの一例を示す図である。図２を用いて、本発明の作用を説明する。図２（ａ）は、同一の参照ピクチャを参照し、並列にＭＥを行う符号化対象ピクチャおよび対象ピクチャの一例を示すテーブルである。図２（ｂ）は、本実施の形態の画像符号化装置に表示順で入力されるピクチャの並びを示す図である。符号化対象ピクチャがP1 の場合、参照ピクチャはP0 である。この符号化対象ピクチャP1以外にも、符号化対象ピクチャP1の符号化が開始される時点では、図２（ｂ）に示すように、将来の符号化対象ピクチャB0,B1 が入力されている。そして、これらB0,B1は、いずれもP0を参照ピクチャとする。そこで、符号化対象ピクチャP1を符号化する場合に、参照ピクチャP0を用いてＭＥ演算を行う時には、同時に、図２（ｂ）のように、対象ピクチャB0,B1 と参照ピクチャP0とのＭＥ演算を並列に行う。具体的には、図１に示すように、動き検出器１０３には符号化対象ピクチャP1、動き検出器１０４には将来の符号化対象ピクチャであるB1、動き検出器１０５には将来の符号化対象ピクチャであるB2が格納される。参照画像メモリ１０２には参照ピクチャP0が保存される。動き検出器１０３、１０４、１０５は、それぞれに格納している符号化対象ピクチャのブロックを単位として、当該ブロックの動きベクトルを、参照画像メモリ１０２内の参照ピクチャP0の同一探索範囲内で探索する。これにより、参照ピクチャをP0として、対象ピクチャP1,B0,B1の動きベクトルが得られる。なお、H.264 特有のＢピクチャ参照機能を用いる場合、符号化対象ピクチャが B1 の場合の参照ピクチャは B0 となる。従って、対象ピクチャB0,B1については、まだ、参照ピクチャをP1,B0とする動き検出が必要である。このため、対象ピクチャB1の動きベクトルがすべて検出されるまで、メモリ１０７内に対象ピクチャB0,B1の動きベクトルが保存される。

図３は、同一の参照ピクチャを参照して、３つの対象ピクチャが並列に動きベクトルの検出を行う方法の一例を示す図である。同図右側に示すように、対象ピクチャP1,B0,B1について、左上隅のブロックから順に、ブロックを単位として、動きベクトルが検出され、次にブロック３１の動きベクトルが検出されるものとする。例えば、対象ピクチャP1,B0,B1のいずれもが同時に、ブロック３１の位置にあるブロックの動きベクトルを検出する。それぞれの動きベクトルは、同図左側の参照ピクチャP0においてブロック３１と同じ座標位置にあるブロック３２を中心として、その周囲に所定の幅を有する探索範囲３３内で探索される。

このように、３つの対象ピクチャ上でブロック３１の位置にあるブロックの動きベクトルの探索範囲３３を同じにすることにより、動きベクトルの探索範囲３３を一回で読み出すことができる。この結果、読み出された探索範囲内で３つの動き検出器が各対象ピクチャのブロックの動きベクトルを並列に検出処理することで、従来であれば参照ピクチャへのアクセスが３回必要であったのを１回に減らすことができる。

また、符号化対象ピクチャがB0の場合、参照ピクチャP0とP1とのＭＥ演算が必要となるが、参照ピクチャP0 との演算は、符号化対象ピクチャP1の符号化時に、すでに算出・保存済みである。よって、符号化対象ピクチャB0 を符号化する時には、参照ピクチャP1 とのＭＥ演算のみでよい。このとき、符号化対象ピクチャB0に対して、参照ピクチャP0とのＭＥ演算により得られた動きベクトルがメモリ１０７から読み出され、参照ピクチャP1 とのＭＥ演算により得られた動きベクトルとともに符号化される。さらに、この演算時に、並列に、参照ピクチャP1 と対象ピクチャB1 とのＭＥ演算を行う。この結果、参照ピクチャP1 へのアクセス回数を２回から１回に減らすことができる。

なお、本発明は、図３を用いて説明した例に限定されない。すなわち、前述の共通の探索範囲は、符号化対象ピクチャ上の動きベクトル検出対象ブロックと同じ座標位置を中心として決定される矩形領域である。しかし、必ずしも符号化対象ピクチャ上の動きベクトル検出対象ブロックと同じ座標位置を中心として決定される必要はなく、異なる基準に基づいて決定される範囲であってもよい。

以上は、フレーム符号化の場合の例であるが、フィールド符号化の場合には、図４のようになる。図４は、フィールド符号化の場合に本発明の動きベクトル検出方法を適用した一例を示す図である。同図において、テーブル上部には表示順で入力されるフレームと、各フレームに含まれるトップフィールド及びボトムフィールドとを示している。また、テーブル左側には各フレームに含まれるフィールドの符号化順を示している。図中、＃で示した番号は、フレーム番号である。例えば、フレーム#3は、トップフィールドP6 とボトムフィールドP7とにより構成される。また、太線が、参照ピクチャを表す。例えば、フレーム#3のトップフィールドＰ６を符号化する時の参照ピクチャは、Ｐ１である。また、矢印のついたブロックが、同時に動き検出する対象ピクチャであって、Ｐ６符号化時には、Ｂ２，Ｂ３、Ｐ６、Ｐ７が同時に動き検出の対象ピクチャとなる。矢印の方向は、左方向が表示順で前のピクチャを示し、右方向が表示順で後のピクチャを示している。また、上方向はトップフィールドを示し、下方向はボトムフィールドを示している。

同図に示すように、フィールド符号化では、まず、フレーム#0のトップフィールドであるピクチャＩ０がイントラ符号化される。次に、フレーム#0のボトムフィールドであるピクチャＰ１が、ピクチャＩ０を参照ピクチャとして符号化される。このとき、ピクチャＰ１のＭＥと並列に、フレーム#1のトップフィールドであるピクチャＢ２、フレーム#3のトップフィールドであるピクチャＰ６、及びフレーム#3のボトムフィールドであるピクチャＰ７が、ピクチャＰ１と共通の参照ピクチャであるピクチャＩ０上の同一の探索範囲を用いて動き検出される。次いで、フレーム#3のトップフィールドであるピクチャＰ６の符号化時には、ピクチャＢ２，Ｂ３、Ｐ６、Ｐ７が同時に動き検出され、フレーム#3のボトムフィールドであるピクチャＰ７の符号化時には、ピクチャＰ６を参照ピクチャとして、ピクチャＢ２，Ｂ３、Ｂ４、Ｐ７が同時に動き検出される。さらに、次のピクチャＢ２の符号化時には、参照ピクチャをピクチャＰ７として、ピクチャＢ３、Ｂ４、Ｂ５が同時に動き検出される。ここで、ピクチャＢ２に注目してみると、ピクチャＢ２が符号化対象ピクチャとなるまでの間に、参照ピクチャＰ７を除くすべての動きベクトルが検出されている。従って、ピクチャＢ２については、参照ピクチャＰ７を用いた動き検出が終了した後、速やかに動きベクトルを符号化することができるという効果がある。

以上のように、Ｐフレーム（Ｉフレームを含む）間に２つのＢフレームがあり、かつ、これらをフィールド符号化する場合、同じ参照画像データを探索して、同時に動き検出可能なフィールドは４個である。従って、この場合、図１に示した動き検出器を４個並列で備えればよい。

本発明により、動きベクトル検出時の参照画像メモリへのアクセス回数を減らすことができる。これは、動作クロックの増加を防止し、消費電力低減を可能にするものであって、電池などにより駆動される携帯電話機などに内蔵された画像符号化装置の低消費電力化に貢献する。特に、モバイル用の映像符号化を用いたビデオムービーや、映像符号化機能を備えた携帯電話などへの応用が可能である。

本実施の形態の画像符号化装置のうち、動きベクトル検出処理を行う部分の構成を示すブロック図である。参照ピクチャと対象ピクチャとを、どのように選択するかの一例を示す図である。（ａ）は、同一の参照ピクチャを参照し、並列にＭＥを行う符号化対象ピクチャおよび対象ピクチャの一例を示すテーブルである。（ｂ）は、本実施の形態の画像符号化装置に表示順で入力されるピクチャの並びを示す図である。同一の参照ピクチャを参照して、３つの符号化対象ピクチャが並列に動きベクトルの検出を行う方法の一例を示す図である。フィールド符号化の場合に本発明の動きベクトル検出方法を適用した一例を示す図である。（ａ）は、ＭＰＥＧ２の場合で、Ｂピクチャが動きベクトル検出のために参照可能な参照ピクチャを示す図である。（ｂ）は、Ｈ．２６４の場合で、Ｂピクチャが動きベクトル検出のために参照可能な参照ピクチャを示す図である。従来の画像符号化装置の動きベクトル検出に関する部分の構成を示す図である。

符号の説明

１０１入力画像メモリ
１０２参照画像メモリ
１０３動き検出器
１０４動き検出器
１０５動き検出器
１０６制御器
１０７メモリ
１０８制御部
１０９符号化部
３１ブロック
３２ブロック
３３探索範囲

Claims

参照ピクチャを保存する参照ピクチャメモリと、
前記参照ピクチャメモリに保存されている１つの前記参照ピクチャを参照して、符号化のタイミングが異なる複数のピクチャそれぞれの動きベクトルを、それぞれ並列に検出する複数の動きベクトル検出器と
を備える画像符号化装置。
前記各動きベクトル検出器は、前記参照ピクチャ内の同一の画像を探索範囲とすることにより、前記各ピクチャの動きベクトルを検出する
請求項１記載の画像符号化装置。
前記動きベクトル検出器の１つは、現在の符号化対象ピクチャの動きベクトルを検出し、前記動きベクトル検出器の残りは、前記符号化対象ピクチャよりも後に符号化されるピクチャのうちから符号化順に所定枚数だけ選ばれたピクチャの動きベクトルを検出する
請求項２記載の画像符号化装置。
前記画像符号化装置は、表示順で連続する２つのＢフレームを含む複数の前記ピクチャをフレーム符号化する場合には、少なくとも３個の動きベクトル検出器を並列に備える
請求項１記載の画像符号化装置。
前記画像符号化装置は、表示順で連続する２つのＢフレームを含む複数の前記ピクチャをフィールド符号化する場合には、少なくとも４個の動きベクトル検出器を並列に備える
請求項１記載の画像符号化装置。
前記画像符号化装置は、さらに、現在の前記符号化対象ピクチャよりも後に符号化されるピクチャで、現在の参照ピクチャとは別のまだ符号化されていないピクチャを参照して動きベクトルを検出するピクチャに対して、すでに検出された動きベクトルを一時保存するための動きベクトル保存手段を備える
請求項１記載の画像符号化装置。
参照ピクチャを保存するための参照ピクチャメモリを備えた画像符号化装置における画像符号化方法であって、
前記参照ピクチャメモリに保存されている同一の前記参照ピクチャを参照して、符号化のタイミングが異なる複数のピクチャの動きベクトルを、それぞれ並列に検出するステップを含む画像符号化方法。
参照ピクチャを保存するための参照ピクチャメモリを備えた画像符号化装置のためのプログラムであって、前記参照ピクチャメモリに保存されている同一の前記参照ピクチャを参照して、符号化のタイミングが異なる複数のピクチャの動きベクトルを、それぞれ並列に検出するステップを、コンピュータに実行させるプログラム。
参照ピクチャを保存する参照ピクチャメモリと、
前記参照ピクチャメモリに保存されている同一の前記参照ピクチャを参照して、符号化のタイミングが異なる複数のピクチャの動きベクトルを、それぞれ並列に検出する複数の動きベクトル検出器と
を備える集積回路。