JP2006262159A - 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】
ＩＤＲピクチャを適切に設定し、符号化効率の悪化を抑制することを可能とする。
【解決手段】
複数の画像フレーム間において、前記画像フレームを構成する画素ブロック単位に動き参照を行い、圧縮符号化する動画像符号化装置であって、前記複数の画像フレームのうち、所定のフレームを基準フレームとして指定する基準フレーム指定手段と、前記基準フレームより後に圧縮符号化され、少なくとも前記基準フレームと前記基準フレーム以前に符号化された第２の画像フレームとについて前記動き参照が可能な第１の画像フレームのうち、前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックを有する第３の画像フレームの有無に関する参照情報を生成する情報生成手段と、前記参照情報に基づいて、前記基準フレームを、前記第２の画像フレームを動き参照した圧縮符号化を制限する参照制限フレームに設定する設定手段とを備える。
【選択図】図１

Description

本発明は、動画像を圧縮符号化する動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体に関する。

近年、動画像情報をデジタルデータとして取り扱い、蓄積・伝送に用いるために、高圧縮率かつ高画質で符号化する技術が望まれている。画像情報の圧縮には、動画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・動き補償とにより、画像情報を圧縮符号化するＭＰＥＧなどの方式が提案され広く普及している。

また、近年、更なる高圧縮率、高画質を目指した符号化方式としてＨ．２６４（MPEG4-Part10 AVC）がある。このＨ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式と比較して、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている（非特許文献１参照）。

図１２に、Ｈ．２６４の方式により動画像圧縮符号化を行う動画像符号化装置の基本的な構成を示す。図１２において動画像符号化装置は、フレーム並び替え部１２００と、フレーム内予測部１２０１と、直交変換部１２０２と、量子化部１２０３と、符号化部１２０４と、逆量子化部１２０５と、逆直交変換部１２０６と、加算部１２０７と、ループフィルタ処理部１２０８と、フレームメモリ１２０９と、動き予測部１２１０と、動き補償部１２１１と、減算部１２１２と、出力バッファ１２１３とを有している。

次に、図１２における動画像符号化装置における符号化処理の流れについて説明する。

デジタル化された動画像信号（動画像データ）がフレーム並び換え部１２００に入力され、フレーム並べ替え部１２００では符号化する順番に画像フレームの並べ替えを行う。画像フレームのタイプには、同一フレーム内の情報から符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャと、時間的に後のフレームを含む２つのフレームとの差分を利用して符号化するＢピクチャとがある。Ｂピクチャの多くは時間的に後のフレームも参照するため、符号化の順番は参照するフレームよりも後になることが多い。

符号化順に並び替えられた画像フレームは、所定の大きさを有する小領域であるマクロブロック単位毎に符号化される。入力画像がＩピクチャ（フレーム内予測を行うマクロブロック）である場合にはフレーム内予測部１２０１に入力される。該フレーム内予測部１２０１では、既に符号化された同一のＩピクチャフレーム内の画素情報から現符号化対象であるマクロブロック内の画素を予測し、予測画素と実際の画素（現画素）の差分データを直交変換部１２０２へ出力する。また、入力画像がＢもしくはＰピクチャ（フレーム間予測を行うマクロブロック）である場合には、後述するフレーム間予測による予測画像と現画像との差分データが直交変換部１２０２へ出力される。

直交変換部１２０２では、４×４画素の整数変換（直交変換）を行い、入力される差分データを周波数成分に変換し、量子化部１２０３へ与える。量子化部１２０３ではこの周波数成分データを量子化する。量子化部１２０３において量子化した画像データは、符号化部１２０４及び逆量子化部１２０５へ出力される。

符号化部１２０４では、量子化データ、後述する動き予測部１２１０から出力される動きベクトル、及び、各種ヘッダ情報を可変長符号化し、ビットストリームを出力バッファ１２１３に出力する。一方、逆量子化部１２０５では、量子化部１２０３で量子化した変換データを逆量子化して復元し、周波数成分に復号化し、さらに逆直交変換部１２０６による逆直交変換によって、予測誤差画像を復号する。

逆直交変換部１２０６から出力される画像が、ＰピクチャもしくはＢピクチャの予測誤差画像である場合は、加算部１２０７によって、予測誤差画像に動き補償部１２１１からの動き補償画像を加算することにより、フレーム画像が復号化される。この局所復号化された画像はループフィルタ処理部１２０８によってブロック歪みを除去するフィルタ処理が施された後、フレームメモリ１２０９に格納される。

ここで、Ｈ．２６４方式では、Ｐピクチャであっても参照フレームとして利用されない場合がある。また、Ｂピクチャであっても参照フレームとして利用される場合がある。しかし、ここでは説明の簡略化のためにＭＰＥＧ２符号化方式と同様に、Ｉピクチャ及びＰピクチャは必ず動き検出のための参照画像フレームとして使用し、Ｂピクチャは参照フレームとして使用しないものとする。ただし、Ｈ．２６４ではフレームメモリ１２０９には任意の枚数の局所復号化フレーム画像を格納し、参照フレームとして利用することが可能である。

動き予測部１２１０はフレーム間予測を行う際に、フレームメモリ１２０９に格納されている複数の復号画像の中から、入力画像との差分などに基づき符号化効率が最も高くなる画像をサーチし、入力動画像の符号化対象フレーム画像の動き情報である動きベクトルを算出し、動き補償部１２１１及び符号化部１２０４へ出力する。

動き補償部１２１１では、参照先のフレーム及び動きベクトルから動き補償画像（予測画像）を出力する。減算部１２１２では入力画像と動き補償画像の差分をとり、差分画像（予測誤差画像）を直交変換部１２０２へ出力する。

なお、直交変換部１２０２に対してフレーム内予測部１２０１と減算部１２１２のどちらからデータを出力するかは、ピクチャタイプに基づく符号化モードに応じて適宜切り替えられる。符号化部１２０４では、画像信号及び動きベクトルを可変長符号化するとともにヘッダ情報を付加しビットストリームを出力バッファ１２１３に出力する。

ここで、動き予測部１２１０の処理について図１３を用いてさらに詳細に説明する。図１３（ａ）は入力画像シーケンスのピクチャタイプを、表示される順序で示している。図１３（ａ）において、各フレームにおいて左側に記載されるアルファベットＢ、Ｐ及びＩは、それぞれピクチャタイプＢ、Ｐ及びＩにそれぞれ対応し、右側に記載される数字は、当該フレームが表示される順番（０から順位付け開始）を示している。例えば、「Ｉ５」は、先頭から６番目に表示されるフレームであって、ピクチャタイプがＩピクチャであることを示している。

また、図１３（ｂ）は、図１３（ａ）に示した表示シーケンス符号化する際の順序を示している。ここで、Ｂピクチャは表示順で後のピクチャも参照して動きを検出するため、図１３（ａ）に示す表示順と図１３（ｂ）に示す符号化順とは異なる。また、図１３（ｂ）における矢印１３０１及び１３０２は、それぞれ動き予測の参照先を示している。

ここで、Ｈ．２６４の符号化方式の場合、フレームメモリ１２０９に記録された複数のフレームを参照画像として利用できる。そのため、Ｐピクチャは直前のＩピクチャだけでなく、Ｉピクチャを飛び越してＩピクチャよりも前のフレームの参照が可能である。従って、図１３(ｂ)に示すように、ＰピクチャであるＰ８ピクチャは、Ｉ５ピクチャだけでなくＰ２ピクチャ（矢印１３０２）も参照することが可能となる。同様に、ＢピクチャであるＢ３ピクチャは、Ｉ５、Ｐ２（矢印１３０２）を参照することが可能である。

このように、Ｈ．２６４では柔軟な参照を許容しており、ＭＰＥＧ２のようにＰピクチャであれば、当該Ｐピクチャの直前のＩピクチャもしくはＰピクチャしか参照できないような方式と比較して、動き予測の精度が向上し、符号化効率を向上させることができる。

一方で、上記のような柔軟な参照関係によりランダムアクセスが迅速に行えなくなる場合がある。例として、図１３(ｂ)においてＩ５ピクチャから再生を開始しようとした場合について説明する。Ｉ５ピクチャを先に復号し、その後にＰ８ピクチャを復号する場合、Ｐ８ピクチャはＰ２ピクチャを参照しているため、Ｐ２ピクチャを先に復号しておく必要がある。更に、Ｐ２ピクチャは図示しないそれ以前のピクチャを参照しているため、図示しないＰ２ピクチャ以前のピクチャを先に復号する必要がある。このように、Ｉ５ピクチャから再生を開始したい場合であっても、Ｈ．２６４ではＩ５ピクチャを飛び越しての参照を許容しているために、Ｉ５ピクチャ以前のデータに遡って復号を開始する必要が生じ、迅速にＩ５ピクチャから先のフレームを再生することが困難になる。

そこで、この問題を解消するために、Ｉピクチャに制限を設ける方法が提案されている（特許文献１参照）。また、Ｈ．２６４ではＩピクチャをＩＤＲ（Instantaneous Decoding Refresh）ピクチャという特別なピクチャに設定することで、迅速なランダムアクセスを可能にしている。

図１３(ｃ)は、ＩＤＲピクチャを説明するための図である。ここでは、図１３(ｂ)と同様のシーケンスに対して、Ｉ５ピクチャをＩＤＲピクチャに設定している。Ｉ５ピクチャがＩＤＲピクチャに設定されると、ＩＤＲより前にフレームメモリ１２０９に記録された画像がクリアされ、Ｉ５ピクチャ以降に符号化されるピクチャがＩ５ピクチャより以前に符号化されたピクチャを参照ができないように制御される。図１３（ｃ）の例では、ＩＤＲピクチャであるＩ５ピクチャよりも後で符号化されるＰ８ピクチャやＢ３ピクチャなどは、Ｉ５ピクチャよりも前に符号化されたＰ２ピクチャ等を参照することができなくなる。これにより、ＩＤＲピクチャであるＩ５ピクチャから再生を開始すれば、Ｉ５ピクチャ以前のデータを遡って復号する必要がなく復号できることが保証される。
ISO/IEC FCD 14496-10:(Mpeg-4 Part10 ) 'Advanced Video Coding' 特開２００３−１９９１１２号公報

前述のようにＨ．２６４ではＩＤＲピクチャを利用することで、ランダムアクセスを迅速に行える。そして、画像シーケンスを任意の場所から再生・編集するためには、ＩＤＲピクチャが画像シーケンス中に数多く設定されていることが望ましい。しかし、ＩＤＲピクチャを設定すると、ＩＤＲより前に符号化されたピクチャの参照が禁止されるため符号化効率は悪化するおそれがある。

図１３(ｃ)の例では、Ｉ５ピクチャをＩＤＲピクチャに設定している。Ｉ５ピクチャをＩＤＲピクチャに設定すると、Ｉ５ピクチャ符号化後に、フレームメモリ１２０９がクリアされる。そして、ＩＤＲピクチャであるＩ５ピクチャのみがフレームメモリに記録される。そのため、ＩＤＲピクチャであるＩ５ピクチャ以降に符号化するＢ３、Ｂ４、Ｐ８の各ピクチャに関しては、Ｉ５ピクチャのみを参照画像として動き検出をしなければならない（但し、Ｉピクチャ又はＰピクチャのみを参照可能とし、Ｂピクチャは参照しないようにした場合。）。

このような状況では、図１３(ｂ)のように複数のフレームを参照画像として参照できる場合と比較して、参照画像の選択肢が少なく符号化効率が悪化する場合がある。例えば、ＩＤＲピクチャに設定したピクチャだけがストロボ光を受け、他のピクチャとの連続性が損なわれているようなケースでは、ＩＤＲピクチャしか参照できないピクチャの符号化効率は悪化してしまう。

このように、ＩＤＲピクチャの設定が適切でない場合には、符号化効率が悪化してしまうことになり、複数フレームを参照画像として利用可能なＨ．２６４の特性を生かすことができない。

そこで、本発明は、ＩＤＲピクチャを適切に設定し、符号化効率の悪化を抑制することを可能とすることを目的とする。

上記課題を解決するための本発明は、複数の画像フレーム間において、前記画像フレームを構成する画素ブロック単位に動き参照を行い、圧縮符号化する動画像符号化装置であって、前記複数の画像フレームのうち、所定のフレームを基準フレームとして指定する基準フレーム指定手段と、前記基準フレームより後に圧縮符号化され、少なくとも前記基準フレームと前記基準フレーム以前に符号化された第２の画像フレームとについて前記動き参照が可能な第１の画像フレームのうち、前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックを有する第３の画像フレームの有無に関する参照情報を生成する情報生成手段と、前記参照情報に基づいて、前記基準フレームを、前記第２の画像フレームを動き参照した圧縮符号化を制限する参照制限フレームに設定する設定手段とを備える。

また、上記課題を更に解決するための本発明は、複数の画像フレーム間において、前記画像フレームを構成する画素ブロック単位に動き参照を行い、圧縮符号化する動画像符号化装置であって、前記複数の画像フレームのうち、所定のフレームを基準フレームとして指定する基準フレーム指定手段と、前記基準フレームより後に圧縮符号化され、少なくとも前記基準フレームと前記基準フレーム以前に符号化された第２の画像フレームとについて前記動き参照が可能な第１の画像フレーム内の画素と、前記基準フレーム内の画素との差分を算出する差分算出手段と、前記差分が所定値以下の場合に、前記基準フレームを、前記第２の画像フレームを動き参照した圧縮符号化を制限する参照制限フレームに設定する設定手段とを備える。

本発明によれば、ＩＤＲピクチャを適切に設定し、符号化効率の悪化を抑制することが可能となる。

以下、本発明に係る画像圧縮装置の好適な実施形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に対応する動画像符号化処理を行う動画像符号化装置の構成の一例を示すブロック図である。図１において、動画像符号化装置は、フレーム並び替え部１００と、フレーム内予測部１０１と、直交変換部１０２と、量子化部１０３と、符号化部１０４と、逆量子化部１０５と、逆直交変換部１０６と、加算部１０７と、ループフィルタ処理部１０８と、フレームメモリ１０９と、動き予測部１１０と、動き補償部１１１と、減算部１１２と、出力バッファ１１３を有し、これらは図１２における同名の構成と基本的な構成を等しくするものである。これら構成に加え、ＩＤＲ用バッファ１２０と、ＩＤＲ制御部１３０とを新たに有する点で本実施形態に対応する動画像符号化装置は相違する。

本実施形態において、まず、ＩＤＲ用バッファ１２０は、符号化部１０４から出力されるビットストリームを一時的に保存し、その後出力バッファ１１３に出力する一時保存手段である。このＩＤＲ用バッファ１２０では、基準フレームとなる、あるＩピクチャの後に符号化されるフレームのうち、該Ｉピクチャを越えてそれ以前に符号化されたフレームを参照する可能性があるフレームを利用した後述の動き予測部１１０における参照情報の生成が終了するまでは、少なくとも該Ｉピクチャが保存される。

ＩＤＲ制御部１３０は、動き予測部から入力される参照情報に基づいて、出力バッファ１１３へ出力されるＩピクチャをＩＤＲピクチャに設定すべきか否かを判定し、ＩＤＲピクチャに設定すべき場合には、Ｉピクチャのヘッダ情報を書き換えることにより、該ＩピクチャをＩＤＲピクチャに設定する。

このようなＩＤＲ用バッファ１２０とＩＤＲ制御部１３０を利用した本実施形態に対応する動画像符号化装置における動画像の符号化処理の流れについて、図１を参照して以下により詳細に説明する。なお、以下の本実施形態の説明では、入力画像のピクチャタイプをＩＢＢＰＢＢＰＢ・・・の順で処理するものとする。フレーム並び替え部１００では後述する所定の符号化順に入力画像信号を並び替え、符号化対象の画像がフレーム内予測画像であればフレーム内予測部１０１を、フレーム間予測の画像であれば減算部１１２を、それぞれ介して差分画像を生成し、直交変換部１０２で周波数データ、量子化部１０３で量子化データを生成する点は背景技術で述べた例と同様である。

図２は、入力画像のフレーム順序とフレームメモリ１０９の関係を示した図である。図２において（ａ）は入力画像を表示順に並べたものであり、番号が大きくなるほど時間的に後に再生される画像であることを示している。また、（ｂ）はフレーム並び替え部１００によって（ａ）の画像シーケンスが並び替えられた後の符号化順序を示している。ここでは、Ｂピクチャを符号化する前に、表示順でそのＢピクチャより時間的に後で、最初に出現するＩもしくはＰピクチャを先に符号化するように並び替える。

また、符号化されたＩおよびＰピクチャは、ローカルデコードしてフレームメモリ１０９に蓄積する。本実施形態における説明では、フレームメモリに蓄積するフレーム数を２枚とする。Ｈ．２６４では２フレーム以上の画像をフレームメモリ１０９に蓄積することができるが、ここでは説明の簡略化ため２フレーム分の画像をフレームメモリ１０９に記録する場合について説明する。フレームメモリに記録されるフレームを示したものが（ｃ）である。この例では、ピクチャＢ３、Ｂ４及びＰ８を符号化する際のフレームメモリ１０９の状態を示しており、ピクチャＰ２およびＩ５がフレームメモリ１０９に記録されている。

例えば、ピクチャＢ３を符号化する場合、動き予測部１１０ではピクチャＢ３とフレームメモリ１０９に記録されたピクチャＰ２、Ｉ５の間でマクロブロック単位でのブロックマッチングを行う。ブロックマッチングの結果、最も差分が少ないピクチャとそれに対する動きベクトルを算出する。この動きベクトルを元に動き補償部１１１において補償画像を生成する。この補償画像を元に画像差分をとり、符号化する方法は、図１２を参照して述べた通りである。

また、動き予測部１１０は、入力画像中のＩピクチャが飛び越されて参照されているかの情報を管理している。Ｉピクチャを飛び越しての参照の例を、図３に示す。図３（ａ）は、図２（ｂ）と同様な符号化順での画像シーケンスを示しており、各フレームに与えられている数字は表示順を示している。また、矢印３０１から３０３は各フレームの代表的な参照先を示している。例えば、矢印３０１は、動き予測の結果として、Ｂ３ピクチャの一つのマクロブロックがＰ２ピクチャを参照していることを示している。実際には、全てのマクロブロックに関して参照先が管理されるところであるが、ここでは説明の簡略化のため省略する。

ここで、図１４を参照して、動き予測部１１０における参照情報の生成処理の一例を説明する。ここでは、簡単のために、図３に対応してフレームメモリ１０９にＰピクチャとＩピクチャとが格納されており（このときＰピクチャはＩピクチャよりも先に符号化されるべきフレームである。）、Ｉピクチャ以降のフレームについて、マクロブロックが入力される場合について説明する。

図１４において、ステップＳ１４０１では、動き予測部１１０にフレーム並び替え部１００から符号化対象フレームのマクロブロックが入力される。ステップＳ１４０２において、入力ブロックと、フレームメモリ１０９に格納されているＰピクチャ及びＩピクチャの間で、マクロブロック単位においてブロックマッチングを行う。ステップＳ１４０３では、ステップＳ１４０２におけるブロックマッチングの結果において、差分が最も少ないマクロブロックを有するフレームを、参照フレームとしてＰピクチャ及びＩピクチャのいずれかより選択する。

ステップＳ１４０４では、選択されたフレームがＰピクチャであるか否かを判定し、Ｐピクチャであった場合には（ステップＳ１４０４において「ＹＥＳ」）、ステップＳ１４０５に移行して、Ｉピクチャについての参照情報を「飛び越し参照あり」に設定し、処理を終了する。

一方、Ｉピクチャが選択された場合には（ステップＳ１４０４において「ＮＯ」）、ステップＳ１４０６に移行して、Ｐピクチャを参照する可能性のフレーム（或いは、該フレーム内のマクロブロック）があるか否かを判定し、該フレームがある場合には（ステップＳ１４０６において「ＹＥＳ」）、ステップＳ１４０１に移行して、残りのフレームにおけるマクロブロックの入力を受け付ける。一方、該フレームが存在しない場合には（ステップＳ１４０６において「ＮＯ」）ステップＳ１４０７に移行して、Ｉ５ピクチャについての参照情報を「飛び越し参照なし」に設定し、処理を終了する。

このようにして、Ｉ５ピクチャ以降に符号化されるフレームがＩ５ピクチャを飛び越して参照しているような図３（ａ）に示すような場合には、動き予測部１１０は、Ｉ５ピクチャに関する参照情報を「飛び越し参照あり」に設定し、ＩＤＲ管理部１３０に送る。なお、本実施形態では、フレームメモリ１９に記録するピクチャが２枚であるため、Ｉ５ピクチャを飛び越して参照する可能性があるフレームはＢ３、Ｂ４及びＰ８ピクチャである。そこで、Ｂ３、Ｂ４及びＰ８ピクチャについてＩ５ピクチャを飛び越しての参照の有無が判定される。

一方、図３（ｂ）に示すように、Ｉ１７ピクチャより後で符号化されるピクチャＢ１５、Ｂ１６及びＰ２０における全てのマクロブロックが、Ｉ１７ピクチャを参照している（矢印３０４から３０６）場合には、動き予測部１１０は、Ｉ１７ピクチャに関する参照情報を「飛び越し参照なし」に設定し、ＩＤＲ制御部１３０に送る。

次に、本実施形態に対応するＩＤＲ制御部１３０の動作を、図４のフローチャートを参照して説明する。

まず、ステップＳ４００で、ＩＤＲ用バッファ１２０から、出力バッファ１１３へ出力されるフレームのピクチャの種類を判定する。もし、ピクチャの種類がＩピクチャである場合には（ステップＳ４００において「ＹＥＳ」）、ステップＳ４０１へ進む。一方、Ｉピクチャ以外のＩＤＲ、Ｐ、Ｂピクチャの場合には（ステップＳ４００において「ＮＯ」）、ステップＳ４０４へ進む。

ステップＳ４０１では、動き予測部１１０から参照情報を得る。ここで、参照情報には、ＩＤＲ用バッファ１２０から出力バッファ１１３へ出力されるＩピクチャが飛び越し参照されているか否かの情報を含んでいる。また、ＩＤＲ用バッファ１２０から出力バッファ１１３へ処理対象のＩピクチャが出力されるのは、少なくとも対応する参照情報が動き予測部１１０において生成された後である。

ステップＳ４０２において、当該Ｉピクチャが飛び越しされているか否かの判定を行い、飛び越し参照されていない場合には、ステップＳ４０３へ進む。一方、飛び越し参照されている場合は、ステップＳ４０４へ進む。ステップＳ４０３では、対象のＩピクチャのヘッダをＩＤＲピクチャとしてのヘッダに変更する。ステップＳ４０４では対象となる画像を出力バッファ１１３へ出力する。

このように構成することで、通常ＩＤＲピクチャとして設定されるピクチャ以外でも、参照関係がＩＤＲと同等に飛び越して参照されていないＩピクチャをＩＤＲピクチャに変更することが可能となる。図３の例では、飛び越し参照されているＩ５ピクチャはＩピクチャのままであり、飛び越し参照されていないＩ１７ピクチャはＩＤＲピクチャに変更される。これにより、符号化効率を落とすことなく、ランダムアクセスのためのＩＤＲピクチャを増やすことが可能となる。

以上の説明では、動き予測部１１０において、ブロックマッチングの結果の差分を元に参照フレームを選択したが、差分と動きベクトルの大きさなどを加味したトータルの符号量を元に参照フレームを選択するなど、参照フレームの決定にはどのような方法を用いてもよい。

また、上記例では動き予測部１１０において、ＩＤＲピクチャの候補であるＩ５ピクチャより後で符号化されるＢ３、Ｂ４及びＰ８ピクチャの全てのマクロブロックに関して動き参照先を算出し、その結果に応じてＩピクチャとして出力するかＩＤＲピクチャとして出力するかを判定していたが、判定に用いる情報はこれらに限定されるものではない。

例えば、図３におけるＩ５ピクチャに関して、それ以降に符号化するピクチャＢ３、Ｂ４及びＰ８の一部のマクロブロックの参照先情報から、Ｉ５ピクチャをＩＤＲとするか否かを判定する方法を用いてもよい。具体的には、まず、Ｉ５ピクチャの直後に符号化するＢ３ピクチャの一部のマクロブロックについて動き予測を行う。その結果、動き予測したマクロブロックの参照先に関してＩ５ピクチャを飛び越えた参照が所定数以下ならば、Ｉ５ピクチャをＩＤＲピクチャに設定する。

そして、Ｉ５ピクチャをＩＤＲとした状態で、再度Ｂ３ピクチャを符号化し直し、さらに、それ以降に符号化するＢ４、Ｐ８ピクチャを符号化する際には、Ｉ５ピクチャがＩＤＲピクチャであるとして処理する。即ち、参照先としてＩ５ピクチャのみを参照して動き参照するように制御する。

［第１の実施形態の変形例］
上記第１の実施形態の変形例として、動き予測部１１０において動きの参照先のピクチャを決定する際に重みを付け、Ｉピクチャを飛び越しての参照が少なくなるように制御する方法を説明する。

第１の実施形態の図１４のフローチャートでは、ステップＳ１４０２において符号化対象フレームのマクロブロックについて、フレームメモリ１０９に格納されているＰピクチャ及びＩピクチャとのブロックマッチングを行い、続くステップＳ１４０３において差分が最も小さいマクロブロックを有するフレームを、参照先フレームに決定していた。

しかし、第１の実施形態で説明したような符号化対象ピクチャの全てのマクロブロックがＩピクチャのみを参照するケースは比較的少ない。そこで本変形例では、図１４のステップＳ１４０３に対応するフレーム選択処理において、Ｉピクチャを飛び越し参照した場合の差分値に重みをつける。そこで図５を例として、ブロックマッチングの差分を元に参照先を求める本変形例について説明する。図５は符号化順のピクチャ列を示している。図５では、Ｂ４ピクチャの動き予測を行う場合について説明している。

上記のようにステップＳ１４０２に対応する処理において、動き予測部１１０では、Ｂ４ピクチャに含まれる１つのマクロブロックに対して、参照先の画像と動きベクトルを算出するために、ブロックマッチングによる差分を検出する。図５において、差分ａはＢ４ピクチャのマクロブロックとＩ５ピクチャのマクロブロックとの差分であり、差分ｂはＢ４ピクチャのマクロブロックとＰ２ピクチャのマクロブロックとの差分を示している。ここで、ステップＳ１４０３に対応する処理では、差分ａとｂとを比較して、差分が最も小さくなるフレームを参照先に選ぶことになるが、Ｉピクチャを飛び越した場合は差分がより大きくなるようにオフセットを付ける。

図５の例ではＩ５ピクチャを飛び越して参照しているＰ２との差分ｂに対して例えばｂ’＝ｂ＋ｗ(ｗ：オフセット、ｗ＞０)などのようにオフセット値ｗを加算する。一方、Ｉ５ピクチャとの差分では、Ｉ５ピクチャを飛び越してはいないため、差分ａにはオフセット値ｗを加算しない。そして、差分ａと差分ｂ’とを比較し、差分の小さいフレームを参照先として選択する。このオフセット値ｗを設定することにより、差分ａとｂとの差が、オフセット値ｗに対応する所定の閾値以下である場合には、Ｉ５ピクチャが参照先として選択され、差分ａが差分ｂよりも所定の閾値を超えて大きい場合に、Ｐ２ピクチャを参照先として選択する。

この結果、Ｉ５ピクチャを飛び越して参照される頻度が少なくなり、ＩＤＲピクチャに設定されやすくなる。また、Ｉを飛び越して参照しないと符号化効率が大きく悪化するような場合は、ＩＤＲピクチャへ変更しないため、符号化効率を大きく落とさずにＩＤＲピクチャを多く設定することが可能となる。

［第１の実施形態の変形例２］
第１の実施形態の第２の変形例として、出力バッファ１１３へ出力するフレームの種別を、参照情報に基づいてＩＤＲピクチャとＩピクチャとのいずれかに選択する場合を説明する。

図６は、本変形例に対応する動画像符号化装置の構成の一例を記載する図であり、図１における動画像符号化装置の構成と基本的な構成を等しくするものである。よって、図１と対応する符号が付されたブロックの動作については詳細な説明を省略する。図６に示す本変形例に対応する動画像符号化装置は、Ｉピクチャ用バッファ６２０、ＩＤＲピクチャ用バッファ６２１、ＩＤＲ制御部６３０を有する点に特徴を有する。

次に、この動画像符号化装置の動作について説明する。符号化部１０４においてＩピクチャが符号化されると、Ｉピクチャとしてのヘッダが付加されてＩピクチャ用バッファ６２０に出力される。また、当該Ｉピクチャは、ＩＤＲピクチャとしてのヘッダを付加されて、即ち、ＩＤＲピクチャとしてＩＤＲピクチャ用バッファ６２１にも出力される。符号化部１０４から出力されるフレームがＢピクチャ及びＰピクチャの場合は、どちらのバッファに出力されてもよいが、本変形例では、Ｂピクチャ及びＰピクチャをＩピクチャ用バッファ６２０に出力するものとして説明する。

ＩＤＲ制御部６３０は、動き予測部１１０からの参照情報を入力として受け付ける。ここで、本変形例に対応するＩＤＲ制御部６３０の動作を、図７のフローチャートを参照して説明する。

まず、ステップＳ７００において、Ｉピクチャ用バッファ６２０から出力されるフレームのピクチャの種類を判定する。もし、出力されるフレームの種類がＩピクチャの場合には（ステップＳ７００において「ＹＥＳ」）、ステップＳ７０１へ進む。一方、Ｉピクチャ以外のＩＤＲ、Ｐ及びＢピクチャの場合は（ステップＳ７００において「ＮＯ」）、ステップＳ７０４へ進む。

ステップＳ７０１では、動き予測部１１０から参照情報を得る。ここで、参照情報は、現在処理対象となっているＩピクチャが飛び越し参照されているか否かの情報を含んでいる。続くステップＳ７０２では、当該Ｉピクチャが飛び越し参照されているか否かの判定を行い、飛び越し参照されていない場合には（ステップＳ７０２において「ＮＯ」）、ステップＳ７０３へ進む。一方、飛び越し参照されている場合は（ステップＳ７０２において「ＹＥＳ」）、ステップＳ７０４へ進む。

ステップＳ７０３では、符号化対象のＩピクチャが飛び越し参照されていないので、該ＩピクチャをＩＤＲピクチャとして出力する。即ち、スイッチ６４０の端子をＩＤＲピクチャ用バッファ６２１側へ接続し、ステップＳ７０５で対象のＩピクチャをＩＤＲピクチャとして出力バッファ１１３に出力する。

一方、ステップＳ７０４では、符号化対象のＩピクチャが飛び越し参照されているため、スイッチ６４０の端子をＩピクチャ用バッファ６２０側に接続し、ステップＳ７０５で対象のＩピクチャを出力バッファ１１３に出力する。

このように構成することで、Ｉピクチャとして出力するか、ＩＤＲピクチャとして出力するかをＩＤＲ制御部６３０における参照情報に基づく判定結果に応じて適応的に選択できるようになる。

［第２の実施形態］
第２の実施形態では、画像情報に基づき、符号化対象のＩピクチャを、ＩピクチャとＩＤＲピクチャとのいずれに設定するかを決定する実施形態について説明する。

図８は、本実施形態に対応する動画像符号化装置を記載する図であり、図１に示す第１の実施形態に対応する動画像符号化装置と基本的な構成を等しくするものである。よって、図１と対応する符号が付されたブロックの動作については詳細な説明を省略する。図８に示す本実施形態に対応する動画像符号化装置は、差分検出部８２０、ＩＤＲ制御部８３０を有する点に特徴を有する。

まず、差分検出部８２０の動作について図８を参照して説明する。差分検出部８２０では、フレーム並び替え部１００に記録された複数フレームの画像データを利用して、フレーム間における輝度の変化を検出する。図９は符号化順のピクチャにおけるピクチャの平均輝度の変化を示した図である。差分検出部８２０は、Ｉピクチャの輝度とＩピクチャ以降に符号化されるピクチャの輝度とを比較し、差分を算出する。例えば、Ｉ５ピクチャとＢ３、Ｂ４及びＰ８ピクチャとの輝度の差分をそれぞれ算出する。

差分検出部８２０は、これらの算出された差分（絶対値）が所定の閾値を越えたかどうかを判定し、その結果をＩＤＲ制御部８３０へ出力する。例えば、図９のＩ５ピクチャとＢ３ピクチャやＢ４ピクチャに関して輝度の差分をとると、その差分は、所定の閾値範囲９０１を越えている。そこで、差分検出部８２０は、差分が閾値を越えたという判定結果をＩＤＲ制御部８３０へ出力する。一方、Ｉ１７ピクチャについて参照すると、Ｂ１５、Ｂ１６及びＰ２０ピクチャとの差分がいずれも、所定の閾値範囲９０２を下回る。このような場合には差分検出部８２０は、差分が閾値を越えなかったという判定結果を、ＩＤＲ制御部８３０へ出力する。

次に、ＩＤＲ制御部８３０での動作を図１０のフローチャートに基づき説明する。ステップＳ１０００で、現在符号化対象となっているフレームのピクチャの種類を判定する。フレームの種別がＩピクチャの場合には（ステップＳ１０００で「ＹＥＳ」）、ステップＳ１００１へ進む。また、Ｉピクチャ以外のＰ、Ｂピクチャの場合は、そのまま処理を終了する。ステップＳ１００１において、符号化対象のピクチャが「ＩＤＲ対象のピクチャ」に該当するか否かを判定する。ここで、「ＩＤＲ対象のピクチャ」とは、ＩＤＲピクチャに設定される候補となるＩピクチャをいい、例えば、入力される符号化対象のＩピクチャにつき一定間隔毎（例えば、５フレーム毎、或いは１０フレーム毎）に当該候補とすることができる。

ステップＳ１００１において、当該符号化対象ピクチャが「ＩＤＲ対象ピクチャ」に該当すると判定された場合には（ステップＳ１００１において「ＹＥＳ」）、ステップＳ１００２に移行する。一方、「ＩＤＲ対象ピクチャ」に該当しないと判定された場合には（ステップＳ１００１において「ＮＯ」）、そのまま処理を終了し、該符号化フレームはＩピクチャとして符号化される。続いて、ステップＳ１００２では、差分検出部８２０での判定結果出力を該差分検出部８２０から受け付ける。

ステップＳ１００３では、受け付けた判定結果出力に基づいて、符号化対象のＩピクチャの平均輝度と、その後に符号化されるＢおよびＰピクチャとの平均輝度との差分が、閾値以下であるか否かを判定する。もし、差分が閾値以下であると判定された場合には（ステップＳ１００３において「ＹＥＳ」）、ステップＳ１００４に進む。一方、差分が閾値より大きいと判定された場合には（ステップＳ１００３において「ＮＯ」）、処理を終了し、当該符号化対象のフレームはＩピクチャとして符号化される。

ステップＳ１００４では、符号化対象のＩピクチャをＩＤＲピクチャに設定し、フレームメモリ１０９に記録されたフレームをクリアし、当該ＩＤＲピクチャのみを記録する。また、動き予測部１１０および符号化部１０４に当該ＩピクチャをＩＤＲピクチャとして出力することを通知する。動き予測部１１０は、フレームメモリ１０９がクリアされているため、ＩＤＲピクチャを飛び越さない範囲で動きの参照先を決定する。符号化部１０４は、符号化対象であるＩピクチャをＩＤＲピクチャとして、出力バッファ１１３へ出力する。

以上の処理の結果を、図１１を参照して具体的に説明する。図１１は、図９に対応した符号化順での画像シーケンスを示している。図１１（ａ）において、ＩＤＲ対象ピクチャであるＩ５ピクチャは、差分検出部８２０によってＢ３、Ｂ４及びＰ８ピクチャとの差分がそれぞれ求められる。ここで、Ｉ５ピクチャはストロボを受けた画像のように、画像シーケンスの中で特に輝度が高くなっており、その後に符号化されるピクチャとの相関性が低くなっている。そのためＩ５ピクチャをＩＤＲピクチャに設定すると、Ｂ３、Ｂ４及びＰ８ピクチャは、参照画像としては相関が低く効率的でないＩ５ピクチャしか参照できなくなってしまい、結果として符号化効率が低下してしまう。一方、Ｉ１７ピクチャは、その後に符号化されるＢ１５、Ｂ１６及びＰ２０ピクチャとの差分が少なく、ＩＤＲピクチャに設定しても大きな符号化効率の低下はないとみなせるので、当該Ｉ１７ピクチャがＩＤＲに設定される。

このように、本実施形態に対応する構成によれば、ＩＤＲピクチャの候補となるＩピクチャのうち、ＩＤＲピクチャに設定しても符号化効率に大きく影響しないものをＩＤＲピクチャに設定することができる。それと同時に、ストロボを受けているために大きく輝度値が変化しているフレームのように、ＩＤＲピクチャに設定した場合には符号化効率が大きく悪化するものがＩＤＲピクチャに設定されないよう制御できる。従って、符号化効率とランダムアクセス性を考慮した適応的な制御が可能となる。

なお、本実施形態の上記説明では、画像の差分として輝度の差分を用いて説明したが、これに限定されるものではなく、色情報や画像の一部の差分を用いるなど、参照画像として利用した場合に、その差分から符号化効率が推定できるものであればどのような方法を用いてもよい。

また、本実施形態の上記説明では、Ｉピクチャとそれに続くフレームとの差分に基づいて該ＩピクチャをＩＤＲピクチャに設定するか否かを決定したが、ＩピクチャをＩＤＲピクチャに設定するか否かは、この方法に限定されるものではない。例えば、差分検出部８２０において、図１１に示すようにＩ５ピクチャとの差分を求めるだけでなく、Ｐ２ピクチャとの差分も求め、Ｐ２ピクチャを参照画像として選択した際に、Ｐ２ピクチャとの差分の方がＩ５ピクチャとの差分よりも遙かに小さい等の理由により符号化効率が向上すると判断した場合のみ、Ｉ５ピクチャをＩＤＲピクチャにしない方法をとることもできる。

本実施形態の上記説明では、一定間隔毎のＩピクチャをＩＤＲピクチャの候補であるところの「ＩＤＲ対象ピクチャ」として処理を行ったが、全てのＩピクチャを「ＩＤＲ対象ピクチャ」としてもよく、「ＩＤＲ設定対象ピクチャ」に該当するところのＩピクチャは一定間隔毎のＩピクチャに限定されるものではない。

また、上記制御によりＩＤＲ対象ピクチャをＩＤＲピクチャにしなかった場合は、該ＩＤＲ対象ピクチャの次のＩピクチャをＩＤＲ対象ピクチャに変更するなどの制御を行ってもよい。

また、以上に説明した第１の実施形態および第２の実施形態では、Ｉピクチャに参照の制限を付ける方法として、Ｈ．２６４におけるＩＤＲピクチャを例に説明したが、Ｉピクチャの参照に制限を付ける方法に関してこれに限定されるものではない。例えば、各実施形態の上記説明では、符号化順でのＩピクチャの飛び越し参照を禁止したが、表示順でＩピクチャを飛び越して参照することを禁止するような制限方法を用いてもよい。また、各実施形態の上記説明では、ピクチャタイプをフレーム毎に設定する場合について説明したが、ピクチャタイプをスライスやマクロブロック毎に設定し、これらの単位毎に参照制限をする方法であってもよい。

以上のように、本発明に対応する動画像符号化装置によれば、大きく符号化効率を落とすことなく、適切にＩＤＲピクチャを設定することが可能となる。すなわち、符号化効率を大きく落とすことなく、適度なランダムアクセスを実現することが可能となる。

［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施形態に対応する動画像符号化装置の構成の一例を示すブロック図である。 本発明の第１の実施形態に対応するフレームの処理順序及びフレームメモリの内容の一例を示した図である。 本発明の第１の実施形態に対応するフレームの処理順序及びフレーム間の参照関係の一例を示した図である。 本発明の第１の実施形態に対応するＩＤＲ制御部における処理の一例に対応するフローチャートである。 本発明の第１の実施形態に対応するフレームの処理順序及びフレーム間差分の一例を示した図である。 本発明の第１の実施形態の変形例に対応する動画像符号化装置の構成の一例を示すブロック図である。 本発明の第１の実施形態の変形例に対応するＩＤＲ制御部における処理の一例に対応するフローチャートである。 本発明の第２の実施形態に対応する動画像符号化装置の構成の一例を示すブロック図である。 本発明の第２の実施形態に対応する、画像シーケンスの輝度変化の一例を示した図である。 本発明の第２の実施形態に対応するＩＤＲ制御部における処理の一例に対応するフローチャートである。 本発明の第２の実施形態に対応するフレームの処理順序及びフレーム間差分の一例を示した図である。 従来の動画像符号化装置の構成を示すブロック図である。 従来の動画像符号化装置におけるフレームの処理順序及び参照関係を示した図である。 本発明の第１の実施形態に対応する参照情報の生成処理の一例に対応するフローチャートである。

Claims (16)

1. 複数の画像フレーム間において、前記画像フレームを構成する画素ブロック単位に動き参照を行い、圧縮符号化する動画像符号化装置であって、
   前記複数の画像フレームのうち、所定のフレームを基準フレームとして指定する基準フレーム指定手段と、
   前記基準フレームより後に圧縮符号化され、少なくとも前記基準フレームと前記基準フレーム以前に符号化された第２の画像フレームとについて前記動き参照が可能な第１の画像フレームのうち、前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックを有する第３の画像フレームの有無に関する参照情報を生成する情報生成手段と、
   前記参照情報に基づいて、前記基準フレームを、前記第２の画像フレームを動き参照した圧縮符号化を制限する参照制限フレームに設定する設定手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記設定手段は、前記第３の画像フレームが無いことを前記参照情報が示している場合に、前記基準フレームを前記参照制限フレームに設定することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記情報生成手段は、前記基準フレームの直後に圧縮符号化される前記第１の画像フレームを構成する前記画素ブロックのうち、前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロック数が所定値以下である場合に、前記第３の画像フレームが無いことを示す参照情報を生成することを特徴とする請求項１又は２に記載の動画像符号化装置。
4. 前記情報生成手段は、
   前記第１の画像フレームを構成する第１の画素ブロックと、前記基準フレームを構成する基準画素ブロック及び前記第２の画像フレームを構成する第２の画素ブロックとのマッチング処理を行い、画素ブロック間の差分値を算出するマッチング手段を備え、
   前記第１の画素ブロックと前記基準画素ブロックとの差分値の最小値が、前記第１の画素ブロックと前記第２の画素ブロックとの差分値の最小値よりも大きい場合に、前記第１の画素ブロックを前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックとすることを特徴とする請求項１乃至３のいずれかに記載の動画像符号化装置。
5. 前記情報生成手段は、
   前記第１の画像フレームを構成する第１の画素ブロックと、前記基準フレームを構成する基準画素ブロック及び前記第２の画像フレームを構成する第２の画素ブロックとのマッチング処理を行い、画素ブロック間の差分値を算出するマッチング手段を備え、
   前記第１の画素ブロックと前記基準画素ブロックとの差分値の第１の最小値が、前記第１の画素ブロックと前記第２の画素ブロックとの差分値の第２の最小値より大きく、かつ、前記第１の最小値と第２の最小値との差が所定値よりも大きい場合に、前記第１の画素ブロックを前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックとすることを特徴とする請求項１乃至３のいずれかに記載の動画像符号化装置。
6. 前記設定手段は、
   前記基準フレームを格納する第１の格納手段と、前記基準フレームを参照制限フレームに設定して格納する第２の格納手段とを備え、
   前記前記参照情報に基づいて、前記第１の格納手段及び第２の格納手段に格納されているフレームのいずれかを選択することを特徴とする請求項１乃至５のいずれかに記載の動画像符号化装置。
7. 複数の画像フレーム間において、前記画像フレームを構成する画素ブロック単位に動き参照を行い、圧縮符号化する動画像符号化装置であって、
   前記複数の画像フレームのうち、所定のフレームを基準フレームとして指定する基準フレーム指定手段と、
   前記基準フレームより後に圧縮符号化され、少なくとも前記基準フレームと前記基準フレーム以前に符号化された第２の画像フレームとについて前記動き参照が可能な第１の画像フレーム内の画素と、前記基準フレーム内の画素との差分を算出する差分算出手段と、
   前記差分が所定値以下の場合に、前記基準フレームを、前記第２の画像フレームを動き参照した圧縮符号化を制限する参照制限フレームに設定する設定手段と
   を備えることを特徴とする動画像符号化装置。
8. 複数の画像フレーム間において、前記画像フレームを構成する画素ブロック単位に動き参照を行い、圧縮符号化する動画像符号化装置の制御方法であって、
   前記複数の画像フレームのうち、所定のフレームを基準フレームとして指定する基準フレーム指定工程と、
   前記基準フレームより後に圧縮符号化され、少なくとも前記基準フレームと前記基準フレーム以前に符号化された第２の画像フレームとについて前記動き参照が可能な第１の画像フレームのうち、前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックを有する第３の画像フレームの有無に関する参照情報を生成する情報生成工程と、
   前記参照情報に基づいて、前記基準フレームを、前記第２の画像フレームを動き参照した圧縮符号化を制限する参照制限フレームに設定する設定工程と
   を備えることを特徴とする動画像符号化装置の制御方法。
9. 前記設定工程では、前記第３の画像フレームが無いことを前記参照情報が示している場合に、前記基準フレームが前記参照制限フレームに設定されることを特徴とする請求項８に記載の動画像符号化装置の制御方法。
10. 前記情報生成工程では、前記基準フレームの直後に圧縮符号化される前記第１の画像フレームを構成する前記画素ブロックのうち、前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロック数が所定値以下である場合に、前記第３の画像フレームが無いことを示す参照情報が生成されることを特徴とする請求項８又は９に記載の動画像符号化装置の制御方法。
11. 前記情報生成工程は、
    前記第１の画像フレームを構成する第１の画素ブロックと、前記基準フレームを構成する基準画素ブロック及び前記第２の画像フレームを構成する第２の画素ブロックとのマッチング処理を行い、画素ブロック間の差分値を算出するマッチング工程を備え、
    前記第１の画素ブロックと前記基準画素ブロックとの差分値の最小値が、前記第１の画素ブロックと前記第２の画素ブロックとの差分値の最小値よりも大きい場合に、前記第１の画素ブロックを前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックとすることを特徴とする請求項８乃至１０のいずれかに記載の動画像符号化装置の制御方法。
12. 前記情報生成工程は、
    前記第１の画像フレームを構成する第１の画素ブロックと、前記基準フレームを構成する基準画素ブロック及び前記第２の画像フレームを構成する第２の画素ブロックとのマッチング処理を行い、画素ブロック間の差分値を算出するマッチング工程を備え、
    前記第１の画素ブロックと前記基準画素ブロックとの差分値の第１の最小値が、前記第１の画素ブロックと前記第２の画素ブロックとの差分値の第２の最小値より大きく、かつ、前記第１の最小値と第２の最小値との差が所定値よりも大きい場合に、前記第１の画素ブロックを前記第２の画像フレームを動き参照して圧縮符号化がなされる画素ブロックとすることを特徴とする請求項８乃至１０のいずれかに記載の動画像符号化装置の制御方法。
13. 前記設定工程は、
    前記基準フレームを第１の格納部に格納する第１の格納工程と、前記基準フレームを参照制限フレームに設定して第２の格納部に格納する第２の格納工程とを備え、
    前記前記参照情報に基づいて、前記第１の格納部及び第２の格納部に格納されているフレームのいずれかを選択することを特徴とする請求項８乃至１２のいずれかに記載の動画像符号化装置の制御方法。
14. 複数の画像フレーム間において、前記画像フレームを構成する画素ブロック単位に動き参照を行い、圧縮符号化する動画像符号化装置の制御方法であって、
    前記複数の画像フレームのうち、所定のフレームを基準フレームとして指定する基準フレーム指定工程と、
    前記基準フレームより後に圧縮符号化され、少なくとも前記基準フレームと前記基準フレーム以前に符号化された第２の画像フレームとについて前記動き参照が可能な第１の画像フレーム内の画素と、前記基準フレーム内の画素との差分を算出する差分算出工程と、
    前記差分が所定値以下の場合に、前記基準フレームを、前記第２の画像フレームを動き参照した圧縮符号化を制限する参照制限フレームに設定する設定工程と
    を備えることを特徴とする動画像符号化装置の制御方法。
15. 請求項８乃至１４のいずれかに記載の動画像符号化装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを格納するコンピュータで読み取り可能な記憶媒体。

Images