JP2002101418A

JP2002101418A - 画像符号化装置及び方法並びに記憶媒体

Info

Publication number: JP2002101418A
Application number: JP2000289750A
Authority: JP
Inventors: Tadashi Ohira; 正大平
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-09-25
Filing date: 2000-09-25
Publication date: 2002-04-05

Abstract

(57)【要約】【課題】動きの激しい画像の符号化歪みを低減する。【解決手段】フレームメモリ１８は入力端子１０から
のフレームを記憶し、フレーム間引き制御回路１４は、
次フレーム以降のスイッチ２２に対するスイッチ制御信
号を出力する。スイッチ制御信号は遅延回路２０で１フ
レーム遅延されて、スイッチ２２を制御する。画像符号
化回路２４は、回路１４からのスイッチ制御信号により
次フレーム以降の間引きフレームを認識し、符号量を調
整して、スイッチ２２からのフレームを符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を符号化す
る画像符号化装置及び方法並びに記憶媒体に関する。

【０００２】

【従来の技術】従来、動画像の符号化方式として、静止
画像の符号化方式であるＪＰＥＧ方式を動画像に拡張し
たＭｏｔｉｏｎＪＰＥＧ方式及びディジタルビデオカ
メラで採用されているＤＶ方式等のフレーム内符号化方
式と、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−１及びＭＰ
ＥＧ−２等のフレーム間符号化方式を使用する符号化方
式が知られている。これらの符号化方式は、ＩＳＯ（Ｉ
ｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎ
ｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準
化機構）又はＩＴＵ（ＩｎｔｅｒｎａｔｉｏｎａｌＴ
ｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ：国際
電気通信連合）によって標準化されている。

【０００３】フレーム内符号化方式は、フレーム単位
（又はフィールド単位）で独立に画像を符号化するもの
であり、フレームの管理が容易であり、動画像の編集又
は特殊再生が容易になるという利点がある。また、フレ
ーム間予測符号化方式は、フレーム間予測により高い符
号化効率を達成しやすいという特長がある。

【０００４】さらに、近年、コンピュータ・放送・通信
など多くの領域で利用できる汎用的な次世代の画像音声
符号化規格として、ＭＰＥＧ−４の国際標準化作業が進
められている。

【０００５】

【発明が解決しようとする課題】このような様々な用途
で用いられる画像符号化方式では、情報を如何に分かり
やすく伝えるかという技術が重要となる。特に、伝送レ
ートの制限される用途で高周波数成分を多く持つ画像を
入力した場合、その復号画像には、空間的且つ時間的に
大きな範囲で符号化歪みが発生する。画像の内容を判別
することが困難になる場合もありうる。

【０００６】固定的なフレームレートで各フレーム内の
発生符号量を制御する方法では、予め割り当てられてい
た符号量に対し、高周波数成分を多く持つ画像が入力し
た場合に、発生符号量は想定符号量よりも多くなるの
で、発生符号量を抑制しようと量子化を粗くすることに
なり、結果として復号画像の品質が大きく劣化する。

【０００７】あるフレームの発生符号量が想定符号量よ
りも多い場合、そのフレームの符号量を一時的に増や
し、以降の１又は複数フレームで発生符号量を減らし、
ある範囲内での平均発生符号量を想定符号量に制御する
可変レート符号化方法がある。これは、少ない符号量で
符号化しても画像品質が低下しないような画像が別の時
刻に入力することを期待する方式である。しかし、明ら
かなように、期待に反して、そのような画像が入力しな
い場合、何れ復号画像品質が低下する。

【０００８】特に、利用できる伝送回線の伝送レートが
低い場合、伝送する画像シーケンス全体及び画像１フレ
ーム当たりの符号の割当量が少ないので、復号画像品質
の視覚的な低下が顕著になる。

【０００９】また、ＭＰＥＧなどのフレーム間符号化を
採用する方式では、フレーム間相関を利用して符号化の
効率を向上させている。しかし、画像の動きが激しい場
合にフレーム間の相関が少なくなる。従って、予め割り
当てられていた符号量に対し、画像内の動きが激しい場
合にはフレーム間の差分値が大きくなり、符号量を抑え
るために量子化を粗めにせざるを得ず、大きな符号化歪
みが発生する。

【００１０】本発明は、このような不都合を生じない画
像符号化装置及び方法並びに記憶媒体を提示することを
目的とする。

【００１１】本発明はまた、符号化レートを入力画像に
応じて適応的に変化させる画像符号化装置及び方法並び
に記憶媒体を提示することを目的とする。

【００１２】本発明はまた、符号化歪みの発生を抑え、
フレーム毎の復号画像品質を保持し、主観的に良好な復
号画像品質を提供する画像符号化装置及び方法並びに記
憶媒体を提示することを目的とする。

【００１３】

【課題を解決するための手段】本発明に係る画像符号化
装置は、画像データを入力する入力手段と、前記画像デ
ータのデータ相関状態を検出する検出手段と、前記検出
手段の出力に応じて前記画像データを間引き処理する処
理手段と、前記処理手段によって処理された画像データ
を、前記処理手段により間引かれた画像データに応じて
符号量を制御して符号化する符号化手段とを有すること
を特徴とする。

【００１４】また、本発明に係る画像符号化方法は、画
像データを入力する入力ステップと、前記画像データの
データ相関状態を検出する検出ステップと、前記検出結
果に応じて前記画像データを間引き処理する処理ステッ
プと、前記処理ステップにより処理された画像データ
を、前記処理ステップにより間引かれた画像データに応
じて符号量を制御して符号化する符号化ステップとを有
することを特徴とする。

【００１５】また、本発明に係る記憶媒体は、画像デー
タを入力する入力工程と、前記画像データのデータ相関
状態を検出する検出工程と、前記検出結果に応じて前記
画像データを間引き処理する処理工程と、前記処理工程
により処理された画像データを、前記処理工程により間
引かれた画像データに応じて符号量を制御して符号化す
る符号化工程とを実行するプログラムソフトウエアを記
憶したことを特徴する。

【００１６】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１７】図１は、本発明の第１実施例の概略構成ブ
ロック図を示す。１０は画像信号の入力端子、１２は、
フレーム番号の入力端子である。１４は入力端子１０に
入力する画像の１フレーム毎の符号化難易度を測定し、
以降のフレームの間引き間隔を決定し制御するフレーム
間引き制御回路である。なお、画像の符号化難易度は符
号化の難しさを表す指標であり、例えば、符号化難易度
が高い画像は、フレーム内符号化の場合、高周波数成分
を多く含む画像であり、フレーム間符号化の場合、動き
の激しい画像である。

【００１８】１６はフレーム番号入力端子１２に入力す
るフレーム番号（入力端子１０に入力する画像のフレー
ム番号）を一時保持し、符号化のタイミングで出力する
フレーム番号保持回路である。本実施例では、フレーム
番号保持回路１６は、１フレーム遅延して、入力フレー
ム番号を出力する。

【００１９】１８は、入力端子１０から入力する画像を
一時記憶するフレームメモリであり、マクロブロック
（ＭＢ）単位に再構成して出力する。フレームメモリ１
８は入出力を同時に実行可能な２バンク構成からなり、
各バンクの記憶容量は１フレームである。

【００２０】２０はフレーム間引き制御回路１４の出力
（スイッチ制御信号）を１フレーム期間、遅延する遅延
回路、２２は、遅延回路２０の出力によりオン／オフす
るスイッチである。スイッチ２２は、遅延回路２０の出
力（スイッチ制御信号）がオンのとき閉じ、オフのとき
開く。

【００２１】２４は、フレームメモリ１８から読み出さ
れ、スイッチ２２を介して入力する画像を符号化する画
像符号化回路である。画像符号化回路２４には他に、フ
レーム番号保持回路１６から出力されるフレーム番号、
及び、フレーム間引き制御回路１４から出力されるスイ
ッチ制御信号が入力する。フレーム番号保持回路１６か
ら画像符号化回路２４に入力するフレーム番号は、画像
符号化回路２４が符号化の対象としている画像のフレー
ム番号である。

【００２２】図１に示す実施例の動作を説明する。入力
端子１０に入力する画像は、フレームメモリ１８に格納
され、１フレーム期間、保持された後、マクロブロック
単位で読み出される。フレーム番号保持回路１６は、同
様に、入力端子１２からのフレーム番号を１フレーム期
間、保持して、出力する。具体的には、フレーム番号保
持回路１６は、入力フレーム番号から１を減算した値を
画像符号化回路２４に出力する。

【００２３】フレーム間引き制御回路１４は、入力端子
１０から入力する画像の、フレーム毎の自己相関を測定
して自己相関パラメータを算出し、その結果に応じて、
スイッチ２２のオン／オフを制御するスイッチ制御信号
を出力する。フレーム間引き制御回路１４は、例えば、
間引くフレームに対してスイッチ２２を開き、間引かな
いフレームに対してスイッチ２２を閉じるスイッチ制御
信号を出力する。

【００２４】画像符号化回路２４は、フレーム間引き制
御回路１４からのスイッチ制御信号（直後のフレームを
間引くかどうかを示す信号）に従う符号化条件で、フレ
ーム番号保持回路１６から出力されるフレーム番号のフ
レームメモリ１８に格納される画像を符号化する。

【００２５】図２は、フレーム間引き制御回路１４の動
作フローチャートを示す。先ず、スイッチ制御信号を調
べ、スイッチ制御信号がオンであれば（Ｓ１）、フレー
ム自己相関パラメータを算出し（Ｓ２）、スイッチ制御
信号を設定して（Ｓ３）、出力する（Ｓ４）。符号化開
始時にはスイッチ制御信号がオンになっているので、以
上の順に処理が進行する。これにより、状態パラメータ
であるスイッチ制御信号及びスイッチオフ期間が設定さ
れる。スイッチオフ期間は、現在処理中のフレームの次
のフレーム以降のスイッチ２２を開く期間を示し、その
単位はフレームである。

【００２６】スイッチ制御信号がオフの場合（Ｓ１）、
スイッチオフ期間から１を減算する（Ｓ５）。スイッチ
オフ期間が０の場合（Ｓ６）、スイッチ制御信号をオン
に設定し（Ｓ７）、その他であれば（Ｓ６）、スイッチ
制御信号をオフと設定し（Ｓ８）、Ｓ７，Ｓ８の後、ス
イッチ制御信号を出力する（Ｓ４）。スイッチ制御信号
は、現在処理中のフレームが終了するまで、出力され
る。

【００２７】図３は、フレーム自己相関パラメータを算
出する処理（Ｓ２）の詳細なフローチャートを示す。こ
こでは、自己相関の程度を示すパラメータとしてマクロ
ブロック（ＭＢ）単位の分散値を選択し、それを累積す
る。その累積値から、予め設定した２つの閾値Ｍ１，Ｍ
２により０，１，２の３レベルの自己相関パラメータ値
を決定する。

【００２８】まず、画像内の全てのマクロブロックの分
散値を累積した値を保存する変数Ｙａｌｌを０にリセッ
トする（Ｓ１１）。次に、入力画像からマクロブロック
を抽出し（Ｓ１２）、分散値Ｙを算出する（Ｓ１３）。
算出した分散値ＹをＹａｌｌに加算する（Ｓ１４）。Ｓ
１２〜Ｓ１４の処理を全てのマクロブロックに対して実
行する（Ｓ１５）。累積されたＹａｌｌを、予め設定し
た２つの閾値Ｍ１，Ｍ２と比較し（Ｓ１６，１７）、フ
レーム自己相関パラメータ値０，１又は２を決定する
（Ｓ１８，Ｓ１９，Ｓ２０）。

【００２９】本実施例では、フレーム自己相関パラメー
タ値を３種類としたので、最大で２フレーム分を間引く
ことができる。

【００３０】次に、スイッチ制御信号設定処理（Ｓ３）
を詳細に説明する。図４は、スイッチ制御信号設定処理
（Ｓ３）の詳細なフローチャートを示す。スイッチオフ
期間とは、現在、処理の対象になっているフレームに対
し、それ以降で画像符号化回路２４が符号化対象としな
いフレームの数を示す。本実施例では、フレーム自己相
関パラメータ値＝０のとき（Ｓ２１）、スイッチオフ期
間を０、スイッチ制御信号をオンにする（Ｓ２２）。フ
レーム自己相関パラメータ値＝１のとき（Ｓ２３）、ス
イッチオフ期間を１に、スイッチ制御信号をオフにする
（Ｓ２４）。フレーム自己相関パラメータ値＝２のとき
（Ｓ２３）、スイッチオフ期間を２に、スイッチ制御信
号をオフにする（Ｓ２５）。

【００３１】フレーム毎の動作を説明する。図５は、本
実施例における入力画像のフレーム番号と、図１に示す
各機能ブロックにおける処理対象のフレーム番号の対応
関係を示す。図５では、入力画像信号及びフレーム間引
き制御回路１４の入力をＡ、フレームメモリ１８の出力
をＢ、スイッチ２２の出力をＣとしている。

【００３２】フレーム＃０が入力端子１０に入力すると
き、初期状態として、スイッチ制御信号はオフであり、
スイッチ２２は、開いている。フレームメモリ１８は入
力端子１０からのフレーム＃０を記憶する。このとき画
像符号化回路１０５は何も処理しない。フレーム間引き
制御回路１４は、入力端子１０からフレーム＃０が入力
すると、自己相関パラメータを算出し、これを０とし、
スイッチオフ期間を０に、スイッチ制御信号をオンにす
る。

【００３３】フレーム＃１が入力端子１０に入力すると
き、スイッチ制御信号はオンであり、スイッチ２２は閉
じている。フレームメモリ１８は、フレーム＃１を格納
し、同時に、画像符号化回路２４は、スイッチ２２を介
してフレームメモリ１８からフレーム＃０を読み出し、
処理する。フレーム間引き制御回路１４は、フレーム＃
１が入力すると、自己相関パラメータ値を１とし、スイ
ッチオフ期間を１に、スイッチ制御信号をオフにする。

【００３４】フレーム＃２が入力端子１０に入力すると
き、スイッチ制御信号はオフであり、スイッチ２２は、
開いている。フレームメモリ１８は、フレーム＃２を格
納し、同時に、画像符号化回路２４は、スイッチ２２を
介してフレームメモリ１８からフレーム＃１を読み出
し、符号化する。但し、スイッチ制御信号がオフになっ
ているので、画像符号化回路２４は、次のフレーム＃２
が符号化対象にならないと認識し、フレーム＃１の当初
の符号量にフレーム＃２の符号量を加算した符号量を目
標符号量としてフレーム＃１を符号化する。

【００３５】フレーム間引き制御回路１４は、スイッチ
制御信号がオフであるので、スイッチオフ期間から１を
減算する。フレーム間引き制御回路１４は、フレーム＃
２の入力後、スイッチオフ期間を０に、スイッチ制御信
号をオンにする。

【００３６】フレーム＃３が入力端子１０に入力すると
き、スイッチ制御信号はオンであり、スイッチ２２は閉
じている。フレームメモリ１８は、フレーム＃３を格納
する。画像符号化回路２４は何も処理しない。フレーム
間引き制御回路１４は、フレーム＃３の入力後、自己相
関パラメータ値を１とし、スイッチオフ期間を１に、ス
イッチ制御信号をオフにする。

【００３７】フレーム＃４が入力端子１０に入力すると
き、スイッチ制御信号はオフであり、スイッチ２２は、
閉じている。フレームメモリ１８は、フレーム＃４を格
納し、同時に、画像符号化回路２４は、スイッチ２２を
介してフレームメモリ１８からフレーム＃３を読み出
し、符号化する。但し、スイッチ制御信号がオフになっ
ているので、画像符号化回路２４は、次のフレーム＃４
が符号化対象にならないと認識し、フレーム＃３の当初
の符号量にフレーム＃４の符号量を加算した符号量を目
標符号量としてフレーム＃３を符号化する。フレーム間
引き制御回路１４は、スイッチ制御信号がオフであるの
で、スイッチオフ期間から１を減算する。フレーム間引
き制御回路１４は、フレーム＃４の入力後、スイッチオ
フ期間を０に、スイッチ制御信号をオンにする。

【００３８】フレーム＃５が入力端子１０に入力すると
き、スイッチ制御信号はオンであり、スイッチ２２は閉
じている。フレームメモリ１８は、フレーム＃５を格納
し、このとき画像符号化回路２４は何も処理しない。フ
レーム間引き制御回路１４は、フレーム＃５の入力後、
自己相関パラメータ値を２とし、スイッチオフ期間を２
に、スイッチ制御信号をオフにする。

【００３９】フレーム＃６が入力端子１０に入力すると
き、スイッチ制御信号はオフであり、スイッチ２２は、
閉じている。フレームメモリ１８は、フレーム＃６を格
納し、同時に、画像符号化回路２４は、スイッチ２２を
介してフレームメモリ１８からフレーム＃５を読み出
し、符号化する。但し、スイッチ制御信号がオフになっ
ているので、画像符号化回路２４は、次のフレーム＃
６，＃７が符号化対象にならないと認識し、フレーム＃
５の当初の符号量にフレーム＃６，＃７の符号量を加算
した符号量を目標符号量としてフレーム＃５を符号化す
る。

【００４０】フレーム間引き制御回路１４は、スイッチ
制御信号がオフであるので、スイッチオフ期間から１を
減算する。フレーム間引き制御回路１４は、フレーム＃
６の入力後、スイッチオフ期間を１にし、スイッチオフ
期間が０でないので、スイッチ制御信号をオフのままと
する。

【００４１】フレーム＃７が入力端子１０に入力すると
き、スイッチ制御信号はオフであり、スイッチ２２は開
いている。フレームメモリ１８は、フレーム＃７を格納
するが、このとき画像符号化回路２４は何も処理しな
い。フレーム間引き制御回路１４は、スイッチ制御信号
がオフであるので、スイッチオフ期間から１を減算す
る。フレーム間引き制御回路１４は、フレーム＃７の入
力後、スイッチオフ期間が０になるので、スイッチ制御
信号をオンとする。

【００４２】フレーム＃８が入力端子１０に入力すると
き、スイッチ制御信号はオンであり、スイッチ２２は閉
じている。フレームメモリ１８は、フレーム＃８を格納
するが、画像符号化回路２４は何も処理しない。フレー
ム間引き制御回路１４は、フレーム＃８から自己相関パ
ラメータ値を１とし、スイッチオフ期間を１に、スイッ
チ制御信号をオフにする。

【００４３】以降、同様の処理を繰り返す。

【００４４】次に、符号量の割当てを説明する。図６
は、フレームを間引く前に各フレーム毎に割り当てられ
た符号量を示し、図７は、本実施例においてフレームを
間引いた後のフレーム毎の符号量を示す。図６では、全
フレームに同一の符号量が割り当てられている。これに
対して、図７では、第２、４、６及び７フレームが間引
かれているので、残されたフレームに多くの符号量を割
り当てることができる。１例として、第１フレームに第
２フレームの符号量を、第３フレームに第４フレームの
符号量を、第５フレームに第６及び７フレームの符号量
を割り当てる。

【００４５】本実施例では、フレーム自己相関パラメー
タ値を０，１又は２の３種類とし、対するスイッチオフ
期間を０，１又は２としているが、フレームを間引く期
間はいくつでも良い。例えば、間引くフレーム数を更に
多くし、フレーム自己相関パラメータ値０に対しスイッ
チオフ期間を１、フレーム自己相関パラメータ値１に対
しスイッチオフ期間を３、フレーム自己相関パラメータ
値２に対しスイッチオフ期間を５にしてもよい。

【００４６】また、本実施例では、割り当て符号量を初
期的には各フレームで均一にしているが、この割合は異
なってもよい。入力画像の難易度を反映して割り当て符
号量を変化させることで、より高い画像品質の復号画像
を得ることができる。

【００４７】符号化の難易度を測定するのに入力画像の
分散を使用しているが、その他の指標でも良い。例え
ば、ＪＰＥＧ符号化方式の場合、ＤＣＴ係数に対して係
数毎のヒストグラムをとり、その分布の具合により難易
度を評価してもよい。

【００４８】本実施例では、フレーム内符号化を行う画
像符号化において、高周波数成分を多く含む画像を入力
した場合、符号化対象のフレームレートを減少させ、除
外したフレームの割り当て符号量を別の処理対象のフレ
ームに割り当て、その結果として、フレーム当たりの符
号量を増やし、符号化歪みを抑え、より高い復号画像品
質を得ることができる。また、フレームレートを減少さ
せることで、対象とする画像を減らし、画像符号化回路
の負荷を少なくすることができる。

【００４９】図８は、本発明の第２実施例の概略構成ブ
ロック図を示す。この実施例では、画像符号化回路の前
段に複数フレーム分のフレームメモリを配置し、間引か
ない符号化対象のフレームを符号化前に決定し、その
後、入力画像のフレーム数と符号化対象となるフレーム
数の割合を画像符号化回路に入力することで、複数フレ
ームにわたる各フレームの符号量を均一に分配する。

【００５０】３０は画像信号の入力端子、３２はフレー
ム番号の入力端子である。３４は入力端子３０に入力す
る画像の１フレーム毎の符号化難易度を測定し、以降の
フレームの間引き間隔を決定し制御するフレーム間引き
制御回路である。３６はフレーム番号入力端子３２に入
力するフレーム番号（入力端子３０に入力する画像のフ
レーム番号）を一時保持し、符号化のタイミングで出力
するフレーム番号保持回路である。フレーム番号保持回
路３６は、後述するメモリ４０のメモリ数（この実施例
では、８）と同じ数のフレーム番号を保持できる。

【００５１】３８は、入力端子３０からの画像をフレー
ム毎にメモリ４０のフレームメモリ４０−０〜７に分配
する分配器である。メモリ装置４０の各フレームメモリ
４０−０〜７は、入出力を同時に実行可能な２バンク構
成になっている。４２はフレーム番号保持回路３６から
のフレーム番号に応じたフレームの画像データを記憶す
るフレームメモリ４０−０〜７の出力を選択するのセレ
クタである。

【００５２】４４は、メモリ４０から読み出され、セレ
クタ４２を介して入力する画像を符号化する画像符号化
回路である。画像符号化回路４４には他に、フレーム間
引き制御回路３４から出力される符号化対象フレーム番
号が入力する。４６は画像符号化回路４４で符号化され
た画像データの出力端子である。

【００５３】図８に示す実施例の動作を説明する。図５
で説明したのと同様に、入力画像が間引かれるとする。

【００５４】分配器３８は、入力端子３０からの８フレ
ーム分の画像データをフレーム毎にメモリ４０の各フレ
ームメモリ４０−０〜７に分配し、格納する。同時に、
フレーム間引き制御回路３４は、間引かれるフレームを
決定し、そのフレーム番号をフレーム番号保持回路３６
に供給し、符号化対象のフレーム番号を画像符号化回路
４４へ出力する。このとき、セレクタ４２及び画像符号
化回路４４は何も処理しない。

【００５５】以降の８フレーム分の画像が入力端子３０
に逐次、入力すると、フレーム番号保持回路３６はセレ
クタ４２を制御し、間引かない符号化対象のフレームを
記憶するフレームメモリ４０−０〜７を順次、選択させ
る。これにより、画像符号化回路４４には、符号化対象
のフレームが入力する。画像符号化回路４４には、予め
フレーム間引き制御回路３４からの符号化対象フレーム
番号が入力されているので、画像符号化回路４４は、間
引かれたるフレーム数に応じ、符号化対象の各フレーム
をその符号量が均一になるように符号化する。例えば、
符号化対象のフレーム番号が０、１、３及び５であると
すると、８フレームの入力画像に対し符号化対象フレー
ムが４フレームなので、各フレームとも、図９に示すよ
うに、フレームを間引かないときの符号量よりも２倍の
符号量とする。

【００５６】８フレームの入力毎に以上の動作を繰り返
す。このように、図８に示す実施例では、８フレーム分
のメモリ４０を装備するので、８フレーム分の遅延でビ
ットストリームを出力する。

【００５７】図８に示す実施例では、割り当て符号量を
初期的には各フレームで均一にしているが、この割合は
異なってもよい。入力画像の難易度を反映して割り当て
符号量を変化させることで、より高い画像品質の復号画
像を得ることができる。

【００５８】符号化の難易度を測定するのに入力画像の
分散を使用しているが、その他の指標でも良い。例え
ば、ＪＰＥＧ符号化方式の場合、ＤＣＴ係数に対して係
数毎のヒストグラムをとり、その分布の具合により難易
度を評価してもよい。

【００５９】図８に示す実施例では、画像符号化回路の
前段に複数フレーム分のフレームメモリを配置し、間引
かない符号化対象のフレームを符号化前に決定し、符号
化対象のフレーム番号を画像符号化回路へ入力すること
で、その後の符号化時に複数フレームにわたる各フレー
ムの符号量を適切に分配することができる。結果とし
て、フレーム当たりの符号量を増やし、符号化歪みを抑
え、より高い復号画像品質を得ることができる。また、
フレームレートを減少することで、符号化対象の画像を
減らし、画像符号化回路の負荷を少なくすることができ
る。

【００６０】次に、フレーム間符号化を使用する実施例
を説明する。図１０は、その第１実施例の概略構成ブロ
ック図を示す。

【００６１】５０は画像入力端子、５２はフレーム番号
の入力端子である。５４は、入力端子５０に入力する画
像の１フレーム毎の符号化難易度を測定し、以降のフレ
ームの間引き間隔を決定し制御するフレーム間引き制御
回路である。フレーム間引き制御回路５４は、フレーム
間の相関を測定するために直前フレームを保持するフレ
ームメモリを内蔵する。

【００６２】５６は、フレーム画像を一時記憶するフレ
ームメモリであり、記憶画像をマクロブロック（ＭＢ）
単位に再構成して出力する。フレームメモリ５６は２バ
ンク構成からなり、入力と出力を同時実行可能である。
５８は、入力端子５０からのフレーム画像をフレームメ
モリ５６に書込み、その際に、入力端子５２からのフレ
ーム番号に従い、書き込むべきバンクを選択可能な書込
みメモリ選択回路、６０は入力端子５２からのフレーム
番号に従い、フレームメモリ５６の読み出しバンクを選
択する読出しメモリ選択回路である。

【００６３】６２は、フレーム間引き制御回路５４から
出力されるスイッチ制御信号を１フレーム期間、遅延す
る遅延回路、６４は、遅延回路６２から出力されるスイ
ッチ制御信号により開閉されるスイッチである。スイッ
チ６４は、スイッチ制御信号がオンのとき閉じ、オフの
とき開く。６６は、フレーム間引き制御回路５４から出
力されるスイッチ制御信号を参照して、スイッチ６４を
介して読出しメモリ選択回路６０から供給される画像を
符号化する画像符号化回路、６８は画像符号化回路６６
により符号化された画像を出力する出力端子である。

【００６４】図１０に示す実施例の動作を説明する。書
込みメモリ選択回路５８は、入力端子５０からのフレー
ム画像をフレームメモリ５６に書き込む。その際、書込
みメモリ選択回路５８は、入力端子５２からのフレーム
番号に従い、画像をフレームメモリ５６のバンク＃０，
＃１にフレーム毎に交互に振り分ける。ここでは、奇数
番のフレームをバンク＃１に、偶数番目のフレームをバ
ンク＃０に書き込む。読出しメモリ選択回路６０は、入
力端子５２からのフレーム番号に従い、フレームメモリ
５６の対応するバンク＃０又は３１から画像を読み出
し、スイッチ６４へ供給する。ここでは、書き込まれた
フレーム画像が、その直後に読み出され、スイッチ６４
へ供給されるものとする。

【００６５】フレーム間引き制御回路５４は、入力端子
５０から入力する画像のフレーム間相関を測定し、フレ
ーム間相関パラメータを算出し、そのパラメータ値に応
じてスイッチ６４の開閉を制御するスイッチ制御信号を
出力する。そのスイッチ制御信号は画像符号化回路６６
に印加され、また、遅延回路６２により１フレーム期
間、遅延されて、スイッチ６４に印加される。スイッチ
６４は、遅延回路６２からのスイッチ制御信号に従いオ
ン／オフする。

【００６６】図１１は、フレーム間引き制御回路５４の
動作フローチャートを示す。先ず、スイッチ制御信号を
調べ、スイッチ制御信号がオンであれば（Ｓ３１）、フ
レーム自己相関パラメータを算出し（Ｓ３２）、スイッ
チ制御信号を設定して（Ｓ３３）、出力する（Ｓ３
４）。符号化開始時にはスイッチ制御信号がオンになっ
ているので、以上の順に処理が進行する。これにより、
状態パラメータであるスイッチ制御信号及びスイッチオ
フ期間が設定される。スイッチオフ期間は、現在処理中
のフレームの次のフレーム以降のスイッチ２２を開く期
間を示し、その単位はフレームである。

【００６７】スイッチ制御信号がオフの場合（Ｓ３
１）、スイッチオフ期間から１を減算する（Ｓ３５）。
スイッチオフ期間が０の場合（Ｓ３６）、スイッチ制御
信号をオンに設定し（Ｓ３７）、その他であれば（Ｓ３
６）、スイッチ制御信号をオフと設定し（Ｓ３８）、Ｓ
３７，Ｓ３８の後、スイッチ制御信号を出力する（Ｓ３
４）。スイッチ制御信号は、現在処理中のフレームが終
了するまで、出力される。

【００６８】図１２は、フレーム間相関パラメータの算
出処理のフローチャートを示す。ここでは、フレーム間
相関の程度を示すパラメータとして、マクロブロック
（ＭＢ）単位で符号化対象のマクロブロックと参照マク
ロブロックとの差分絶対値和を選択し、それを１フレー
ム内で累積する。このとき、動きベクトル検出処理及び
動き補償処理結果から得られる予測マクロブロックを、
参照ブロックとするとする。得られた累積値を、予め設
定した２つの閾値Ｌ１，Ｌ２により、０、１又は２の３
レベルのフレーム間相関パラメータ値に分別する。

【００６９】まず、画像内の全てのマクロブロックの差
分絶対値和を累積した値を保存する変数Ｗａｌｌを０に
リセットする（Ｓ４１）。次に、符号化対象フレームか
らマクロブロックを入力し（Ｓ４２）、参照フレームと
符号化対象マクロブロックとの間で動きベクトルを検出
し、動きベクトルと予測マクロブロックを決定し（Ｓ４
３）、符号化対象マクロブロックと予測マクロブロック
との差分絶対値和Ｗを算出する（Ｓ４４）。算出した差
分絶対値和ＷをＷａｌｌに加算する（Ｓ４５）。Ｓ４２
〜Ｓ４５の処理を全てのマクロブロックに対して実行す
る（Ｓ４６）。

【００７０】累積されたＷａｌｌを、予め設定した２つ
の閾値Ｌ１，Ｌ２と比較し（Ｓ４７，Ｓ４８）、フレー
ム自己相関パラメータ値０，１又は２を決定する（Ｓ４
９，Ｓ５０，Ｓ５１）。本実施例では、Ｌｌ＜Ｌ２とす
ると、ＷａｌｌがＬ１よりも小さい場合（Ｓ４７）、フ
レーム間相関パラメータ値を２とする（Ｓ４９）。これ
は、３種類のパラメータ値で動きの少ない状態を示し、
間引くフレーム数を２とすることになる。ＷａｌｌがＬ
２よりも小さい場合（Ｓ４８）、フレーム間相関パラメ
ータ値を１とする（Ｓ５０）。この場合、間引くフレー
ム数を１とすることになる。ＷａｌｌがＬ２以上の場合
（Ｓ４８）、フレーム間相関パラメータ値を０とする
（Ｓ５１）。これは、３種類のパラメータ値の中で最も
動きの激しい状態を示し、間引くフレーム数を０とする
ことになる。

【００７１】本実施例では、フレーム自己相関パラメー
タ値を３種類としたので、最大で２フレーム分を間引く
ことができる。

【００７２】次に、スイッチ制御信号設定処理（Ｓ３
３）を詳細に説明する。図１３は、スイッチ制御信号設
定処理（Ｓ３３）の詳細なフローチャートを示す。スイ
ッチオフ期間とは、現在、処理の対象になっているフレ
ームに対し、それ以降で画像符号化回路６６が符号化対
象としないフレームの数を示す。本実施例では、フレー
ム自己相関パラメータ値＝０のとき（Ｓ６１）、スイッ
チオフ期間を０に、スイッチ制御信号をオンにする（Ｓ
６２）。フレーム自己相関パラメータ値＝１のとき（Ｓ
６３）、スイッチオフ期間を１に、スイッチ制御信号を
オフにする（Ｓ６４）。フレーム自己相関パラメータ値
＝２のとき（Ｓ６３）、スイッチオフ期間を２に、スイ
ッチ制御信号をオフにする（Ｓ６５）。

【００７３】フレーム毎の動作を説明する。図１４は、
図１０に示す実施例における入力画像のフレーム番号
と、図１０に示す各機能ブロックにおける処理対象のフ
レーム番号の対応関係を示す。図１４では、入力画像信
号及びフレーム間引き制御回路１４の入力をＡ、読出メ
モリ選択回路６０の出力をＢ、スイッチ６４の出力をＣ
としている。また、フレーム間相関パラメータ、及びス
イッチ６４のオン／オフ状態を付記してある。

【００７４】フレーム＃０が入力端子５０に入力すると
き、初期状態として、スイッチ６４に印加されるスイッ
チ制御信号はオフであり、スイッチ６４は開いている。
フレームメモリ５６は、フレーム＃０をバンク＃０に格
納する。フレーム間引き制御回路５４は、フレーム＃０
が入力すると、自己相関パラメータ値を０とし、スイッ
チＯＦＦ期間を０及びスイッチ制御信号をオンとする。
このとき画像符号化回路６６は、何も処理しない。

【００７５】フレーム＃１が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオン
であり、スイッチ６４は閉じている。フレームメモリ５
６は、フレーム＃１をバンク＃１に格納する。画像符号
化回路６６は、読出しメモリ選択回路６０及びスイッチ
６４を介してフレームメモリ５６のバンク＃０からフレ
ーム＃０を読み出し、符号化する。フレーム間引き制御
回路５４は、フレーム＃１が入力すると、自己相関パラ
メータ値を１とし、スイッチオフ期間を１に、スイッチ
制御信号をオフにする。フレーム間間引き制御回路５４
から出力されるスイッチ制御信号は、遅延回路６２によ
り１フレーム期間、遅延されてスイッチ６４に印加され
るので、スイッチ６４は、オン状態を維持する。

【００７６】フレーム＃２が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオン
であり、スイッチ６４は閉じている。フレームメモリ５
６は、フレーム＃２をバンク＃０に格納する。画像符号
化回路６６は、読出しメモリ選択回路６０及びスイッチ
６４を介してフレームメモリ５６からフレーム＃１を読
み出し、符号化する。但し、画像符号化回路６６は、フ
レーム間引き制御回路５４から出力されるスイッチ制御
信号により次のフレーム＃２が符号化対象にならないと
認識し、フレーム＃１の当初の符号量にフレーム＃２の
符号量を加算した符号量を目標符号量としてフレーム＃
１を符号化する。

【００７７】フレーム間引き制御回路５４は、スイッチ
制御信号がオフであるので、スイッチオフ期間から１を
減算する。この結果、スイッチオフ期間が０になるの
で、フレーム間引き制御回路５４は、スイッチ制御信号
をオンにする。遅延回路６２により１フレーム期間、遅
延されるので、スイッチ６４を制御するスイッチ制御信
号がオフになる。

【００７８】フレーム＃３が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオフ
であり、スイッチ６４は開いている。フレームメモリ５
６は、フレーム＃３をバンク＃１に格納する。スイッチ
６４がオフなので、画像符号化回路６６は何もしない。
フレーム間引き制御回路５４は、フレーム＃３からフレ
ーム相関パラメータ値を１とし、スイッチオフ期間を１
に、スイッチ制御信号をオフとする。遅延回路６２によ
り１フレーム期間、遅延されるので、スイッチ６４を制
御するスイッチ制御信号がオンになる。

【００７９】フレーム＃４が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオン
であり、スイッチ６４は閉じている。フレームメモリ５
６は、フレーム＃４をバンク＃０に格納する。画像符号
化回路６６は、読出しメモリ選択回路６０及びスイッチ
６４を介してフレームメモリ５６からフレーム＃３を読
み出し、符号化する。但し、画像符号化回路６６は、フ
レーム間引き制御回路５４から出力されるスイッチ制御
信号により次のフレーム＃４が符号化対象にならないと
認識し、フレーム＃３の当初の符号量にフレーム＃４の
符号量を加算した符号量を目標符号量としてフレーム＃
３を符号化する。

【００８０】フレーム間引き制御回路５４は、スイッチ
制御信号がオフであるので、スイッチオフ期間から１を
減算する。この結果、スイッチオフ期間が０になるの
で、フレーム間引き制御回路５４は、スイッチ制御信号
をオンにする。遅延回路６２により１フレーム期間、遅
延されるので、スイッチ６４を制御するスイッチ制御信
号がオフになる。

【００８１】フレーム＃５が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオフ
であり、スイッチ６４は開いている。フレームメモリ５
６は、フレーム＃５をバンク＃１に格納する。スイッチ
６４がオフなので、画像符号化回路６６は何もしない。
フレーム間引き制御回路５４は、フレーム＃５からフレ
ーム相関パラメータ値を２とし、スイッチオフ期間を２
に、スイッチ制御信号をオフとする。遅延回路６２によ
り１フレーム期間、遅延されるので、スイッチ６４を制
御するスイッチ制御信号がオンになる。

【００８２】フレーム＃６が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオン
であり、スイッチ６４は閉じている。フレームメモリ５
６は、フレーム＃６をバンク＃０に格納する。画像符号
化回路６６は、読出しメモリ選択回路６０及びスイッチ
６４を介してフレームメモリ５６からフレーム＃５を読
み出し、符号化する。但し、画像符号化回路６６は、フ
レーム間引き制御回路５４から出力されるスイッチ制御
信号により次のフレーム＃６，＃７が符号化対象になら
ないと認識し、フレーム＃５の当初の符号量にフレーム
＃６，＃７の符号量を加算した符号量を目標符号量とし
てフレーム＃５を符号化する。

【００８３】フレーム間引き制御回路５４は、スイッチ
制御信号がオフであるので、スイッチオフ期間から１を
減算する。この結果、スイッチオフ期間が１になり、０
でないので、フレーム間引き制御回路５４は、スイッチ
制御信号をオフのままとする。遅延回路６２により１フ
レーム期間、遅延されるので、スイッチ６４を制御する
スイッチ制御信号がオフになる。

【００８４】フレーム＃７が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオフ
であり、スイッチ６４は開いている。フレームメモリ５
６は、フレーム＃７をバンク＃１に格納する。スイッチ
６４がオフなので、画像符号化回路６６は何もしない。
フレーム間引き制御回路５４は、スイッチ制御信号がオ
フであるので、スイッチオフ期間から１を減算する。こ
の結果、スイッチオフ期間が０になるので、フレーム間
引き制御回路５４は、スイッチ制御信号をオンとする。
遅延回路６２により１フレーム期間、遅延されるので、
スイッチ６４を制御するスイッチ制御信号がオフにな
る。

【００８５】フレーム＃８が入力端子５０に入力すると
き、スイッチ６４に印加されるスイッチ制御信号はオフ
であり、スイッチ６４は開いている。フレームメモリ５
６は、フレーム＃８をバンク＃０に格納する。スイッチ
６４がオフなので、画像符号化回路６６は何もしない。
フレーム間引き制御回路５４は、フレーム＃８からフレ
ーム相関パラメータ値を１とし、スイッチオフ期間を１
に、スイッチ制御信号をオフとする。

【００８６】以降、同様の処理を繰り返す。

【００８７】次に、符号量の割当てを説明する。図１５
は、フレームを間引く前に各フレーム毎に割り当てられ
た符号量を示し、図１６は、図１０に示す実施例におい
てフレームを間引いた後のフレーム毎の符号量を示す。
本実施例では、フレーム＃０はＩＮＴＲＡピクチャとし
て符号化され、その他のフレームがＩＮＴＥＲピクチャ
として符号化されるので、図１５では、フレーム＃０の
符号量が他のフレーム＃１〜＃７の符号量よりも多くな
っている。これに対して、図１６では、フレーム＃２，
＃４，＃６，＃７が間引かれるので、より多くの符号量
を残るフレームに割り当てることができる。図１６で
は、フレーム＃１にフレーム＃２の符号量を追加し、フ
レーム＃３にフレーム＃４の符号量を追加し、フレーム
＃５にフレーム＃６，＃７の符号量を追加している。

【００８８】また、フレーム毎の動きの特性として、フ
レーム＃０〜４は激しく、フレーム＃５以降で比較的穏
やかになっており、そのため、フレーム間引き数はフレ
ーム＃０〜４では０又は１、フレーム＃５以降で２とな
っている。

【００８９】図１０に示す実施例でも、フレーム自己相
関パラメータ値を０，１又は２の３種類とし、対するス
イッチオフ期間を０，１又は２としているが、フレーム
を間引く期間はいくつでも良い。例えば、間引くフレー
ム数を更に多くし、フレーム自己相関パラメータ値０に
対しスイッチオフ期間を１、フレーム自己相関パラメー
タ値１に対しスイッチオフ期間を３、フレーム自己相関
パラメータ値２に対しスイッチオフ期間を５にしてもよ
い。

【００９０】また、図１０に示す実施例では、割り当て
符号量を初期的には各フレームで均一にしているが、こ
の割合は異なってもよい。入力画像の難易度を反映して
割り当て符号量を変化させることで、より高い画像品質
の復号画像を得ることができる。

【００９１】符号化の難易度の判定に入力画像の分散を
使用しているが、その他の算出方法でもよい。例えば、
ＪＰＥＧ符号化方式の場合、ＤＣＴ係数に対して、係数
毎のヒストグラムを採り、その分布により難易度を判定
してもよい。

【００９２】図１０に示す実施例では、フレーム間符号
化を行う画像符号化において動きの激しい画像を入力し
た場合、その激しさに応じて符号化対象のフレームレー
トを減少させ、除外したフレームに割り当てていた符号
量を別の処理対象のフレームに割り当てた結果として、
動きの激しい場合はフレームレートを多くし、且つ全体
としてフレーム当たりの符号量を増やすことで、符号化
歪みを抑え、より高い復号画像品質を得ることができ
る。また、フレームレートを減少させることで、符号化
対象の画像を減らし、画像符号化回路の負荷を少なくす
ることができる。

【００９３】図１７は、フレーム間符号化を使用する第
２実施例の概略構成ブロック図を示す。図１７に示す実
施例では、画像符号化回路の前段に複数フレーム分のフ
レームメモリを配置し、間引かない符号化対象のフレー
ムを符号化前に決定し、その後、入力画像のフレーム数
と符号化対象のフレーム数の割合を画像符号化回路へ入
力することで、複数フレームに亘る各フレームの符号量
を均一に分配することを可能にする。

【００９４】図１７に示す実施例の構成を説明する。７
０は画像入力端子、７２はフレーム番号の入力端子であ
る。７４は、入力端子７０に入力する画像の１フレーム
毎の符号化難易度を測定し、以降のフレームの間引き間
隔を決定し制御するフレーム間引き制御回路である。

【００９５】７６は各フレームについて入出力を同時実
行可能な２バンク構成からなる８つのフレームメモリか
らなるメモリ装置、７８は、入力端子７０からのフレー
ム画像を、入力端子７２からのフレーム番号に応じたメ
モリ装置７６のフレームメモリに書き込む書込みメモリ
選択回路、８０はフレーム間引き制御回路７４からの間
引きフレーム番号を保持するフレーム番号保持回路、８
２は、フレーム番号保持回路８０からのフレーム番号に
従うメモリ７６のフレームメモリからフレーム画像を読
み出す読出しメモリ選択回路である。フレーム番号保持
回路８０は、メモリ７６の記憶可能なフレーム８に応じ
た数のフレーム番号を保持できる。

【００９６】８４は、フレーム間引き制御回路７４から
出力される符号化対象フレーム番号を参照して、読出し
メモリ選択回路８２から供給される画像を符号化する画
像符号化回路、８６は画像符号化回路８４により符号化
された画像を出力する出力端子である。

【００９７】図１７に示す実施例の動作を説明する。入
力画像から間引くフレームは、図１０に示す実施例の場
合と同じであるとする。

【００９８】入力端子７０に入力する８フレーム分の画
像が、書込みメモリ選択回路７８によりメモリ装置７６
の異なるフレームメモリに順次、入力順に書き込まれ
る。同時に、フレーム間引き制御回路７４は、間引くフ
レームを決定し、そのフレーム番号をフレーム番号保持
回路８０に格納する。フレーム間引き制御回路７４はま
た、符号化対象のフレーム番号を画像符号化回路８４へ
出力する。このとき、読み出しメモリ選択回路８２及び
画像符号化回路８４は何も処理しない。

【００９９】続く８フレーム分の画像を入力すると同時
に、フレーム番号保持回路８０は、読み出しメモリ選択
器８２を制御し、間引かれないフレーム（符号化対象の
フレーム）をメモリ装置７６から読み出して画像符号化
回路８４へ供給する。画像符号化回路８４には予めフレ
ーム間引き制御回路７４から符号化対象フレーム番号が
入力されているので、画像符号化回路８４は、符号化対
象の各フレームの符号量が８フレーム期間で均一になる
ように符号量を制御して、各符号化対象のフレームを符
号化する。例えば、符号化対象のフレームがフレーム＃
０，＃１，＃３，＃５であるとすると、８フレーム当た
り符号化対象が４フレームなので、画像符号化回路８４
は、図１８に示すように、フレームを間引かないときの
符号量の２倍の符号量を各フレームに割り当てる。

【０１００】このように、図１７に示す実施例では、８
フレームを一旦メモリ７６に記憶した後に出力するの
で、画像入力から８フレーム分の遅延をもってビットス
トリームが出力端子８６から出力される。以降、８フレ
ームの入力毎に以上の動作を繰り返す。

【０１０１】図１７に示す実施例でも、フレーム自己相
関パラメータ値を０，１又は２の３種類とし、対するス
イッチオフ期間を０，１又は２としているが、フレーム
を間引く期間はいくつでも良い。例えば、間引くフレー
ム数を更に多くし、フレーム自己相関パラメータ値０に
対しスイッチオフ期間を１、フレーム自己相関パラメー
タ値１に対しスイッチオフ期間を３、フレーム自己相関
パラメータ値２に対しスイッチオフ期間を５にしてもよ
い。

【０１０２】また、図１７に示す実施例では、割り当て
符号量を初期的には各フレームで均一にしているが、こ
の割合は異なってもよい。入力画像の難易度を反映して
割り当て符号量を変化させることで、より高い画像品質
の復号画像を得ることができる。

【０１０３】符号化の難易度の判定にフレーム間の差分
絶対値和を使用しているが、差分二乗和などのその他の
算出方法でもよい。

【０１０４】図１７に示す実施例では、画像符号化回路
の前段に複数フレーム分のフレームメモリを配置し、間
引くフレームを符号化前に決定し、符号化対象のフレー
ム番号を画像符号化回路８４へ入力することで、符号化
時に、複数フレームに亘る各フレームの符号量を適当に
分配することができる。動きの激しい場合はフレームレ
ートを多くし、且つ全体としてフレーム当たりの符号量
を増やすことで、符号化歪みを抑え、より高い復号画像
品質を得ることができる。また、フレームレートを減少
させることで符号化対象の画像を減らし、画像符号化回
路の負荷を少なくすることができる。

【０１０５】図１９は、フレーム間符号化を使用する第
３実施例の概略構成ブロック図を示す。この実施例で
は、フレーム間相関パラメータを測定する際に動きベク
トルを検出し、その検出結果の動きベクトルを画像符号
化回路へ入力することで、符号化対象とするフレームを
適応的に間引きつつ、画像符号化回路内部の動きベクト
ル検出処理を省略可能とする。これにより、全体の負荷
を軽減できる。図１９に示す実施例では、ＭＰＥＧ方式
でフレーム内符号化であるＩピクチャと、フレーム間符
号化であるＰピクチャを使用するものとする。すなわ
ち、先頭フレームをＩピクチャとし、それ以降にＰピク
チャを配置し、任意の周期でＩピクチャを挿入する。

【０１０６】図１９に示す実施例の構成を説明する。１
１０は画像入力端子、１１２はフレーム番号の入力端子
である。１１４は、入力画像のフレーム間でフレーム間
相関パラメータを測定し、以降の間引きフレームを決定
し、符号化対象のフレーム番号を出力するフレーム間引
き制御回路である。フレーム間引き制御回路１１４は、
フレーム間相関パラメータを測定する際に動きベクトル
検出処理及び動き補償処理を実行し、検出した動きベク
トルを出力する。

【０１０７】１１６は、各フレームについて入出力を同
時実行可能な２バンク構成からなる３つのフレームメモ
リからなるメモリ装置であり、入力画像をマクロブロッ
ク単位に構成して出力する。本実施例では、間引くフレ
ーム数を最大２フレームとしているので、メモリ装置１
１６は、３つのフレームメモリを具備する。１１８は、
入力端子１１０からのフレーム画像を、入力端子１１２
からのフレーム番号に応じたメモリ装置１１６のフレー
ムメモリに書き込む書込みメモリ選択回路、１２０，１
２２は、メモリ装置１１６の指定のフレームメモリを選
択し、そこに記憶される１フレームを読み出す読出しメ
モリ選択回路である。読出しメモリ選択回路１２０，１
２２は、読み出すメモリを選択する方法が異なる。その
詳細は後述する。

【０１０８】１２４は、フレーム間引き制御回路１１４
からの動きベクトルを１フレーム分保持する動きベクト
ル保持回路である。１２６は、読出しメモリ選択回路１
２２から出力される符号化対象フレーム番号及び動きベ
クトル保持回路１２４からの動きベクトルを参照して、
読出しメモリ選択回路１２２から供給される各フレーム
画像をＩピクチャ又はＰピクチャに符号化する画像符号
化回路、１２８は画像符号化回路１２６により符号化さ
れた画像を出力する出力端子である。

【０１０９】図１９に示す実施例の動作を説明する。図
２０は、入力画像のフレーム番号と、図１９に示す実施
例の機能ブロックにおける処理対象のフレーム番号との
対応を示す。図２０では、入力端子１１０に入力する画
像、すなわち、フレーム間引き制御回路１１４への入力
画像をＡ、読出しメモリ選択回路１２０の出力フレーム
をＢ、読出しメモリ選択回路１２２の出力フレームをＣ
としている。また、入力画像のフレーム間相関パラメー
タ値を付記した。Ｂ’は、読出しメモリ選択回路１２０
の内部パラメータであり、詳細は後述する。

【０１１０】入力画像の特性は、図１０及び図１７に示
す実施例と同様であり、間引くフレームも同様であると
する。フレーム間相関パラメータの初期値は１であると
する。

【０１１１】書き込みメモリ選択回路７８は、入力端子
１１２からのフレーム番号に応じて、入力端子７１１０
からの画像を、順次、メモリ装置１１６に格納する。

【０１１２】図２１は、読出しメモリ選択回路１２０の
動作フローチャートを示す。内部パラメータＢ’の初期
値を無信号又はハイインピーダンス状態であるとする。
まずフレーム間相関パラメータ値が０のとき、内部パラ
メータＢ’＝Ｂとし（Ｓ７２）、それ以外の値の時（Ｓ
７１）、Ｂ’＝Ａ−１とする（Ｓ７３）。そして、フレ
ーム間相関パラメータ＝１のとき（Ｓ７４）、Ｂを無信
号として画像を読み出さずず（Ｓ７５）、それ以外のと
き（Ｓ７４）、Ｂ＝Ｂ’とし、そのフレームを出力する
（Ｓ７６）。

【０１１３】図２２は、読出しメモリ選択回路１２２の
動作フローチャートを示す。フレーム間相関パラメータ
値が０のとき（Ｓ８１）、Ｃを無信号として画像を読み
出さず（Ｓ８２）、それ以外のとき（Ｓ８１）、Ｃ＝Ａ
−１としてそのフレームを出力する（Ｓ８３）。

【０１１４】図２３は、フレーム間引き制御回路１１４
の動作フローチャートを示す。相関パラメータカウンタ
は、フレーム間引き制御回路１１４が保持するパラメー
タであり、その初期値は１である。相関パラメータカウ
ンタが０のとき（Ｓ９１）、フレーム間引き制御回路１
１４は、フレームＡ及びＢを取り込み、新たなフレーム
間相関パラメータを算出し（Ｓ９２）、フレーム間相関
パラメータの値を相関パラメータカウンタへ代入する
（Ｓ９３）。それ以外のとき（Ｓ９１）、相関パラメー
タカウンタから１を減算する（Ｓ９４）。

【０１１５】フレーム間相関パラメータ及びパラメータ
算出に使用した動きベクトルを出力する（Ｓ９５，Ｓ９
６）。

【０１１６】フレーム間相関パラメータの算出処理は、
図１０に示す実施例と同じである。

【０１１７】図１９に示す実施例では、フレーム間符号
化を行う画像符号化において、動きの激しい画像が入力
する場合、その激しさに応じて符号化対象のフレームレ
ートを減少させ、間引きフレームに割り当てていた符号
量を符号化対象のフレームに割り当てる。これにより、
動きの激しい場合にはフレームレートを多くし、且つ全
体としてフレーム当たりの符号量を増やすことで、符号
化歪みを抑え、より高い復号画像品質を得ることができ
る。

【０１１８】更に、動きの激しさを測定する際に検出さ
れる動きベクトルを画像符号化回路に入力しここで利用
することで、フレームの間引くと動きベクトル検出を同
時に実行できる画像符号化装置を実現できる。

【０１１９】上述した実施例の機能を実現するように各
種のデバイスを動作させるべく当該各種デバイスと接続
された装置又はシステム内のコンピュータに、上記実施
例の機能を実現するためのソフトウェアのプログラムコ
ードを供給し、その装置又はシステムのコンピュータ
（ＣＰＵ又はＭＰＵ）を格納されたプログラムに従って
動作させ、当該各種デバイスを動作させることによって
実施したものも、本願発明の範囲に含まれる。

【０１２０】この場合、当該ソフトウエアのプログラム
コード自体が、前述した実施例の機能を実現することに
なり、そのプログラムコード自体、及びそのプログラム
コードをコンピュータに供給するための手段、例えば、
かかるプログラムコードを格納した記憶媒体は、本発明
を構成する。かかるプログラムコードを格納する記憶媒
体としては、例えば、フロッピー（登録商標）ディス
ク、ハードディスク、光ディスク、光磁気ディスク、Ｃ
Ｄ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及び
ＲＯＭ等を用いることが出来る。

【０１２１】また、コンピュータが供給されたプログラ
ムコードを実行することにより、前述の実施例の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）又は他のアプリケーションソフトウエア等と
共同して上述の実施例の機能が実現される場合にも、か
かるプログラムコードが本出願に係る発明の実施例に含
まれることは言うまでもない。

【０１２２】更には、供給されたプログラムコードが、
コンピュータの機能拡張ボード又はコンピュータに接続
された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいて、その機能
拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実
際の処理の一部または全部を行い、その処理によって上
述した実施例の機能が実現される場合も、本出願に係る
発明に含まれることは言うまでもない。

【０１２３】

【発明の効果】以上の説明から明らかなように、本発明
によれば、画像符号化前に画像データの相関性を測定
し、符号化対象画像のフレームレートを適応的に減少さ
せ、動きの激しい場合はフレームレートを多くし、且つ
全体として１フレーム当たりの符号量を増やすことによ
り、各フレームの符号化歪みの発生を抑え、主観的に良
好な復号画像品質を提供することが可能となる。フレー
ムレートを適応的に減少させることで符号化対象画像を
減らし、画像符号化回路の負荷を少なくすることができ
る。

【図面の簡単な説明】

【図１】本発明の第１実施例の概略構成ブロック図で
ある。

【図２】フレーム間引き制御回路１４の動作フローチ
ャートである。

【図３】フレーム間相関パラメータ算出処理のフロー
チャートである。

【図４】スイッチ制御信号設定処理のフローチャート
である。

【図５】第１実施例のフレーム毎の処理例である。

【図６】フレーム毎の割り当て符号量を示す図であ
る。

【図７】符号化対象画像の割り当て符号量を示す図で
ある。

【図８】本発明の第２実施例の概略構成ブロック図で
ある。

【図９】第２実施例での符号化対象画像の割り当て符
号量を示す図である。

【図１０】本発明の第３実施例の概略構成ブロック図
である。

【図１１】フレーム間引き制御回路５４の動作フロー
チャートである。

【図１２】フレーム間相関パラメータ算出処理のフロ
ーチャートである。

【図１３】スイッチ制御信号設定処理のフローチャー
トである。

【図１４】第３実施例のフレーム毎の処理例である。

【図１５】フレーム毎の割り当て符号量を示す図であ
る。

【図１６】符号化対象画像の割り当て符号量を示す図
である。

【図１７】本発明の第４実施例の概略構成ブロック図
である。

【図１８】第４実施例での符号化対象画像の割り当て
符号量を示す図である。

【図１９】本発明の第５実施例の概略構成ブロック図
である。

【図２０】フレーム対応表である。

【図２１】読出しメモリ選択回路１２０の動作フロー
チャートである。

【図２２】読出しメモリ選択回路１２２の動作フロー
チャートである。

【図２３】フレーム間引き制御回路１１４の動作フロ
ーチャートである。

【符号の説明】

１０：画像信号入力端子１２：フレーム番号入力端子１４：フレーム間引き制御回路１６：フレーム番号保持回路１８：フレームメモリ２０：遅延回路２２：スイッチ２４：画像符号化回路３０：画像信号入力端子３２：フレーム番号入力端子３４：フレーム間引き制御回路３６：フレーム番号保持回路３８：分配器４０：メモリ装置４０−０〜７：フレームメモリ４２：セレクタ４４：画像符号化回路４６：出力端子５０：画像入力端子５２：フレーム番号入力端子５４：フレーム間引き制御回路５６：フレームメモリ５８：書込みメモリ選択回路６０：読出しメモリ選択回路６２：遅延回路６４：スイッチ６６：画像符号化回路６８：出力端子７０：画像入力端子７２：フレーム番号入力端子７４：フレーム間引き制御回路７６：メモリ装置７８：書込みメモリ選択回路８０：フレーム番号保持回路８２：読出しメモリ選択回路８４：画像符号化回路８６：出力端子１１０：画像入力端子１１２：フレーム番号入力端子１１４：フレーム間引き制御回路１１６：メモリ装置１１８：書込みメモリ選択回路１２０，１２２：読出しメモリ選択回路１２４：動きベクトル保持回路１２６：画像符号化回路１２８：出力端子

Claims

【特許請求の範囲】

【請求項１】画像データを入力する入力手段と、前記画像データのデータ相関状態を検出する検出手段
と、前記検出手段の出力に応じて前記画像データを間引き処
理する処理手段と、前記処理手段によって処理された画像データを、前記処
理手段により間引かれた画像データに応じて符号量を制
御して符号化する符号化手段とを有することを特徴とす
る画像符号化装置。
【請求項２】前記検出手段は、前記画像データの高周
波成分の割合に応じて自己相関状態を検出することを特
徴とする請求項１に記載の画像符号化装置。
【請求項３】前記処理手段は、前記検出手段により自
己相関が低いほど画像データを間引く割合が増加するこ
とを特徴とする請求項１又は２に記載の画像符号化装
置。
【請求項４】前記検出手段は、前記画像データの画面
間相関状態を検出することを特徴とする請求項３に記載
の画像符号化装置。
【請求項５】前記検出手段は、所定ブロック単位に画
面間の差分絶対値和を検出することを特徴とする請求項
４に記載の画像符号化装置。
【請求項６】前記検出手段は、所定ブロック単位に動
きベクトルを検出することを特徴とする請求項４に記載
の画像符号化装置。
【請求項７】前記符号化手段は、前記検出手段によっ
て検出された動きベクトルを用いて動き補償予測符号化
を行うことを特徴とする請求項６に記載の画像符号化装
置。
【請求項８】前記処理手段は、前記検出手段により画
面間相関が高いほど画像データを間引く割合が増加する
ことを特徴とする請求項４〜７の何れか１項に記載の画
像符号化装置。
【請求項９】前記符号化手段は、イントラ符号化とイ
ンター符号化とを適応的に用いて画像データを符号化す
ることを特徴とする請求項４〜８の何れか１項に記載の
画像符号化装置。
【請求項１０】前記画像データは動画像データであ
り、前記処理手段は画面単位で間引き処理を行うことを
特徴とする請求項１〜９の何れか１項に記載の画像符号
化装置。
【請求項１１】前記符号化手段は、前記処理手段によ
り間引かれたデータ量を複数画面に均等に分配して符号
量を制御しながら前記画像データを符号化することを特
徴とする請求項１０に記載の画像符号化装置。
【請求項１２】前記画像データに対応するフレーム番
号情報を入力するフレーム番号入力手段を更に有し、前
記処理手段は前記フレーム番号情報を利用して間引き処
理を実行することを特徴とする請求項１〜１１の何れか
１項に記載の画像符号化装置。
【請求項１３】画像データを入力する入力ステップ
と、前記画像データのデータ相関状態を検出する検出ステッ
プと、前記検出結果に応じて前記画像データを間引き処理する
処理ステップと、前記処理ステップにより処理された画像データを、前記
処理ステップにより間引かれた画像データに応じて符号
量を制御して符号化する符号化ステップとを有すること
を特徴とする画像符号化方法。
【請求項１４】画像データを入力する入力工程と、前記画像データのデータ相関状態を検出する検出工程
と、前記検出結果に応じて前記画像データを間引き処理する
処理工程と、前記処理工程により処理された画像データを、前記処理
工程により間引かれた画像データに応じて符号量を制御
して符号化する符号化工程とを実行するプログラムソフ
トウエアを記憶することを特徴する記憶媒体。