JP2002016923A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 ビットレートを絞ると必然的に量子化ステッ
プが荒くなり、ブロック歪みが増えて視覚的な違和感が
起こった。 【解決手段】 原画像データＳ０を解析して符号化難易
度情報を得る画像解析部３０と、原画像データＳ０の画
像フォーマットを空間的変換および時間的変換の少なく
とも一方を用いて変換する画像変換部Ａと、画像変換部
Ａで変換された画像データＳ４を符号化する符号化部１
０と、符号化難易度情報に基づいて画像変換部Ａを制御
し、空間的変換および時間的変換の何れか一方或いは双
方を選択させる変換制御部５とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、原画像データを高
能率符号化する画像符号化装置および画像符号化方法に
関する。

【従来の技術】従来、このような分野の技術としては、
ISO/IEC JTC1/SC29/WG11/N0400に規定されるMPEG-2 Tes
t Model 5に示された画像符号化装置が知られている。

【０００２】図６は、この画像符号化装置８０の構成を
示すブロック図である。同図において、８１は原画像デ
ータと過去に符号化され復号した画像データとの差分を
取る減算器、８２は減算器５１で演算された差分データ
を周波数領域の情報に変換するＤＣＴ（直交変換器）、
８３はＤＣＴ５２で直交変換されたデータを量子化する
量子化部、８４は量子化されたデータの冗長度を取り除
くＶＬＣ（可変長符号化器）、８５はＶＬＣ８４で発生
した可変長符号をあるレートで平滑化して伝送路に送出
するバッファ、８６は量子化部８３で量子化されたデー
タを逆量子化する逆量子化部、８７は逆量子化部８６で
逆量子化されたデータを逆変換する逆ＤＣＴ、８８は逆
ＤＣＴ８７で逆変換されたデータとｎフレーム前の復号
化データとを加算する加算器である（以後、加算器８８
で加算されたデータを局部復号データと呼ぶ）。

【０００３】また、８９は加算器８８で加算された局部
復号データを記憶するループ内フレームメモリ、９０は
原画像データと局部復号データとに基づいて画像の変化
を動きベクトル情報とし、この動きベクトルによってフ
レームメモリ８９の読み出しを制御する動き補償部、９
１は量子化ステップを制御し、ビットレートおよび符号
化画像品質を決定する量子化制御部、９２は原画像デー
タからアクティビティ（フレームもしくはフィールド内
輝度信号の８×８画素計６４個のそれぞれの画素値か
ら、同６４個の平均値を差し引いたものを積分したも
の）を算出するアクティビティ算出部である。

【０００４】MPEG-2規定において一般的な符号化方法で
あるMain-Profileの場合、画像信号は符号化する前に表
示順序から符号化順序に並び替えられ（図中では省
略）、Ｉピクチャ（フレーム内予測）、Ｐピクチャ（前
方予測）、Ｂピクチャ（前／後／補完予測）のピクチャ
タイプによって符号化される。これらの動作については
テレビジョン学会誌Vol.49,No4,pp.435〜466(1995)を始
め、多数の文献があるため、ここでは詳細な動作説明を
省略するが、ＴＭ−５によれば、レートを制御するため
の方法として（１）画面内の目標情報発生量、（２）バ
ッファ蓄積量によるフィードバック制御、（３）原画像
データのアクティビティ によって量子化ステップを制
御すると示されている。

【０００５】また図７は、特開平１１−２３４６６８に
示された従来の画像符号化装置１００を示すブロック図
である。同図において、１０１は上記で説明したＨ．２
６ＸやＭＰＥＧなどに代表される符号化部、１０２がプ
リフィルタ部、１０３が画素数変換部、１０４が符号化
部１０１で発生するフィルタ帯域制御信号に相関した画
素数変換制御信号を生成する画素数変換判定部である。
この画像符号化装置１００は、符号化部１０１で発生し
た情報発生量に基づいて、プリフィルタ１０２の帯域を
可変にし、その帯域に応じた必要最小限の画素数を画素
数変換判定部１０４で選択するというものである。

【０００６】なお、他の従来技術としては、特開平１１
−２３４６６８号公報、特開平１１−１６４３０５号公
報、特開平１０−１０８１９７号公報、特開平１０−９
８７１２号公報、特開平９−２３４２３号公報、特開平
８−２４２４５２号公報などに記載されたものが知られ
ている。

【発明が解決しようとする課題】ところで、ＭＰＥＧ−
２に代表される動き補償フレーム間符号化方式は、ＳＤ
ＴＶ〜ＨＤＴＶまでのデジタル放送や伝送、蓄積メディ
アを主体に考えられた方式で、特にＢＳ／地上波デジタ
ル放送ではＨＤＴＶをメインとし、しかもかなり低ビッ
トレート（２０Ｍｂｐｓ以下）が想定されている（例え
ば映像情報メディア学会誌Vol.53,No11,pp1456〜1459(1
999)）。従来のＭＰＥＧ−２および上述した従来の画像
符号化装置８０は、基本的な制御モデルであり、これだ
けでは画質が十分とは言えない。このため、これに加え
て様々な量子化制御方式がこれまで考案されている。現
在ＨＤＴＶ信号をＭＰＥＧ−２規格に基づいて圧縮符号
化した場合、ＩＴＵ−Ｒで定められている評価法によれ
ば放送品質を満足するビットレートは２２Ｍｂｐｓ以上
とされている（前述文献 映像情報メディア学会誌Vol.5
3,No11,pp1456〜1459(1999)）。

【０００７】さらにこの文献によれば、地上波デジタル
放送でＳＦＮ（Single Frequency Network）を実現する
には、さらにビットレートを絞る（映像の圧縮率を上げ
る）必要があることがわかる。これまでの制御のままで
ビットレートを絞ると必然的に量子化ステップが荒くな
り、ブロック歪みが増えて視覚的な違和感が起こること
は周知の事実である。

【０００８】また、上述した従来の画像符号化装置１０
０は、符号化部１０１において発生した情報発生量が多
い場合は、プリフィルタ１０２の帯域を狭くし、情報発
生量が少ない場合は帯域を広く取るといった制御がなさ
れ、決定した帯域に基づいて必要最小限の画素数に変換
するという手法が用いられている。しかしながら、符号
化における情報発生量はフレーム間差分符号化における
結果であり、たとえ空間的な帯域を制御しても効果が得
られない場合が多く問題であった。

【０００９】本発明は、このような問題を解決し、符号
化前の原画像データに対して最適な前処理を行うことに
より、圧縮率の高い視覚的に優れた品質の符号化画像が
得られる画像符号化装置および画像符号化方法を提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】本発明の画像符号化装置
は、原画像データを解析して符号化難易度情報を得る画
像解析部と、原画像データの画像フォーマットを変換す
る画像変換部と、画像変換部で変換された画像データを
符号化する符号化部と、符号化難易度情報に基づいて画
像変換部を制御し、空間的変換および時間的変換の何れ
か一方或いは双方を用いて変換させる変換制御部とを備
えることを特徴とする。

【００１１】ここで、符号化難易度情報は、原画像デー
タについての空間的な周波数成分情報、ノイズ成分情
報、フレーム間変化情報、およびフレーム間動きベクト
ル情報の少なくとも一つを用いた情報であることが好ま
しい。

【００１２】また、符号化部は、画像変換部での変換情
報を入力し、当該変換情報に基づいて画像データを符号
化処理すると共に、当該変換情報を画像データに多重さ
せることが好ましい。

【００１３】さらに、画像解析部では、所定の閾値を用
いて原画像データを解析することが好ましい。

【００１４】また、画像解析部では、符号化部の符号化
結果に基づいて閾値を決定することが好ましい。

【００１５】本発明の画像符号化方法は、原画像データ
を画像変換した後に符号化する方法において、原画像デ
ータの符号化難易度情報に基づいて、空間的変換および
時間的変換の何れか一方或いは双方を用いて画像データ
を画像変換することを特徴とする。

【００１６】ここで、符号化難易度情報は、原画像デー
タについての空間的な周波数成分情報、ノイズ成分情
報、フレーム間変化情報、およびフレーム間動きベクト
ル情報の少なくとも一つを用いた情報であることが好ま
しい。

【００１７】

【発明の実施の形態】以下、本発明に係る画像符号化装
置および画像符号化方法の好適な実施の形態について添
付図面を参照して説明する。図１は、本実施の形態に係
る画像符号化装置の構成を示すブロック図である。同図
において、１は原画像データＳ０の周波数帯域を制限す
る帯域制限フィルタ、２は帯域制限フィルタ１を通過し
た原画像データＳ１を入力して、水平方向の画素を間引
く画素数変換部、３は画素数変換部２で変換された原画
像データＳ２を入力して、フレーム間もしくはフィール
ド間の相関が強く冗長なフレームないしフィールドを間
引くフレーム／フィールド間引き部である。

【００１８】なお、帯域制限フィルタ１、画素数変換部
２、およびフレーム／フィールド間引き部３の少なくと
も一つから画像変換部Ａが構成されているものとする。
また、帯域制限フィルタ１と画素数変換部２とで空間的
変換が行われ、フレーム／フィールド間引き部３で時間
的変換が行われる。さらに、帯域制限フィルタ１には、
水平１次もしくは、水平、垂直方向の２次元の非巡回型
（空間ＦＩＲ型）フィルタが望ましいが、このフィルタ
に限定されるものではない。

【００１９】また、４はフレーム／フィールド間引き部
３で処理された原画像データＳ３を入力して、ラスタス
キャンから符号化のためのブロックスキャンに変換する
走査変換部、１０は走査変換部４で変換された原画像デ
ータＳ４を符号化する符号化部、３０は原画像データＳ
０を入力して符号化難易度情報を算出する画像解析部、
５は画像解析部３０で算出された符号化難易度情報に基
づいて、帯域制限フィルタ１、画素数変換部２およびフ
レーム／フィールド間引き部３を制御する前処理制御部
（変換制御部）、６は画像解析部３０で符号化難易度情
報を算出する際に使用する閾値（ａ〜ｃ）を発生させる
閾値発生部である。

【００２０】さらに、１１は原画像データＳ４と過去に
符号化され復号した画像データとの差分を取る減算器、
１２は減算器１１で演算された差分データを周波数領域
の情報に変換するＤＣＴ（直交変換器）、１３はＤＣＴ
１２で直交変換されたデータを量子化する量子化部、１
４は量子化されたデータの冗長度を取り除くＶＬＣ（可
変長符号化器）、１５はＶＬＣ１４で発生した可変長符
号をあるレートで平滑化して伝送路に送出するバッフ
ァ、１６は量子化部１３で量子化されたデータを逆量子
化する逆量子化部である。

【００２１】また、１７は逆量子化部１６で逆量子化さ
れたデータを逆変換する逆ＤＣＴ、１８は逆ＤＣＴ１７
で逆変換されたデータとｎフレーム前の復号化データと
を加算して、局部復号データＳ５を出力する加算器、１
９は加算器１８で加算された局部復号データＳ５を記憶
するループ内フレームメモリ、２０は原画像データＳ４
と局部復号データＳ５とに基づいて画像の変化を動きベ
クトル情報とし、この動きベクトルによってループ内フ
レームメモリ１９の読み出しを制御する動き補償部、２
１は量子化ステップを制御し、ビットレートおよび符号
化画像品質を決定する量子化制御部である。

【００２２】次に、図２のブロック図を用いて画像解析
部３０の構成を説明する。同図において、４０は原画像
データＳ０の高域周波数成分量を算出する高域周波数成
分量算出部、４１は原画像データＳ０を入力して、ラス
タスキャンからブロックスキャンに変換するスキャン変
換部、４２はスキャン変換部４１で変換された画像デー
タを周波数領域データに変換するＤＣＴ部（もしくはＤ
ＦＴ部）、４３はＤＣＴ部４２でＤＣＴ変換された周波
数領域データの高域係数を分離する高域係数分離部、４
４は高域係数分離部４３で分離された高域係数と所定の
閾値ａとを比較して、閾値ａより大きな係数を抽出する
閾値比較部、４５は閾値比較部４４で選ばれた係数をフ
レーム内でカウントするカウンタである。

【００２３】また、５０はフレーム間差分によってフレ
ーム相関（冗長度）を算出するフレーム相関算出部、５
１はスキャン変換部４１で変換された画像データを記憶
するフレームメモリ、５２はスキャン変換部４１で変換
された画像データとフレームメモリ５１に記憶された画
像データとを減算しフレーム間差分値を求める減算器、
５３は減算器５２で得られた差分データの絶対値を求め
る絶対値部、５４は絶対値部５３で得られた差分絶対値
を累算させて１フレーム分の累算値を求める累算器、５
５は絶対値部５３で得られた差分絶対値と所定の閾値ｂ
とを比較して、閾値ｂより大きな差分値を抽出する閾値
比較部、５６は閾値比較部５５で抽出された差分値を１
フレーム内でカウントするカウンタである。

【００２４】さらに、５７はスキャン変換部４１で変換
された画像データを記憶するフレームメモリ、５８はス
キャン変換部４１で変換された画像データとフレームメ
モリ５１に記憶された画像データとを比較して、もっと
も歪みの少ないブロックに対するベクトルを算出し、求
めたベクトルからフレームメモリ５１の読み出しアドレ
スを補正する動き補償部、５９は過去ｎフレーム分の画
像データが記憶されたフレームメモリ群、６０はフレー
ムメモリ群５９に記憶された画像データと累算器５４で
得られた累算値とに基づいて、原画像データＳ０のフィ
ルムシーケンスを検出するフィルムシーケンス検出部で
ある。

【００２５】また、６１は動き補償部５８で得られた動
きベクトルを１マクロブロック分遅延させるＭＢメモ
リ、６２は動き補償部５８で得られた動きベクトルおよ
びＭＢメモリ６１で１マクロブロック遅延された動きベ
クトルの差を求める減算器、６３は減算器６２で得られ
た差分データの絶対値を求める絶対値部、６４は絶対値
部６３で得られた差分絶対値と所定の閾値ｃとを比較し
て、閾値ｃより大きな差分値を抽出する閾値比較部、６
５は閾値比較部６４で抽出された差分値を１フレーム内
でカウントするカウンタである。

【００２６】さらに、７０は原画像データＳ０からノイ
ズ成分を検出するノイズ成分検出部、７１は原画像デー
タＳ０の低域成分をカットして中高域成分を通過させる
中高域通過フィルタ（ＨＰＦ）、７２は中高域通過フィ
ルタ７１を通過した中高域データにおける被写体のエッ
ジ（隣接する画素の相関が強いもの）を検出するエッジ
成分検出部、７３は中高域通過フィルタ７１を通過した
中高域データからエッジ成分を減算する減算器、７４は
減算器７３の出力（ノイズ成分）と所定の閾値ｄを比較
し、レベルの高いノイズ成分を抽出する閾値比較部、７
５は閾値比較部７４で選別されたノイズ画素について１
フレーム内の量を算出するカウンタである。

【００２７】次に動作について説明する。図１におい
て、原画像データＳ０は輝度信号および色差信号（Ｐ
ｂ，ＰｒもしくはＣｂ，Ｃｒ）で構成されるコンポーネ
ント信号である。帯域制限フィルタ１に入力された原画
像データＳ０は、前処理制御部５の特性制御によって符
号化に適したフィルタリングが行なわれる。帯域制限フ
ィルタ１でのフィルタリングによって高域をカットされ
た画像データＳ１は画素数変換部２に入力され、前処理
制御部５の画素間引き制御によって符号化に適した画素
数変換が行なわれる。

【００２８】画素数変換の一例として、例えば１０８０
ｉと呼ばれるＨＤＴＶ信号の水平有効画素数は１９２０
画素である。国内のデジタル放送規格では１９２０画素
および１４４０画素が定義されており、米国のデジタル
放送規格ではこれに加えて１２８０画素も定義されてい
る。１４４０画素、１２８０画素は原画像の信号規格に
はないため、いずれも１９２０画素から間引いて生成す
ることになる。ここで、オリジナル画素数から適正に画
素を間引くことができれば、後段の符号化ユニットで符
号化する際のフレームあたりの総ブロックが減り、また
帯域が制限されることによって高域周波数成分が減るた
め、圧縮効率が上がるというメリットがあり、画素数変
換部２ではその役割を担っている。

【００２９】但し、フレーム間予測符号化のように過去
もしくは未来のフレームを用いて予測符号化する方式の
場合、予測対象となるフレームと基準となるフレームは
ブロック数（画素数）を同一にする必要があるため、画
素数を切り替えるのはＩピクチャと呼ばれるフレーム内
符号化を行なうフレーム周期を最小単位として切り替え
る必要がある。全てフレーム内符号化する方式の場合は
この限りではない。

【００３０】画素数変換部２で適正画素数が選ばれた画
像データＳ２は後段のフレーム／フィールド間引き部３
に入力され、前処理制御部５のフレーム／フィールド間
引き制御によって符号化に適した間引きが行なわれる。
放送用途などでは画像ソースとして映画素材などがよく
使われるが、映画素材（フィルムソース）は元々２４フ
レーム／秒であり、カメラなどの素材は３０（２９．９
７）フレーム／秒であることから、２４フレームから３
０フレームに変換して放送される。これを３：２プルダ
ウンと呼ぶ。２４フレームから３０フレームに変換する
際は一定のシーケンスに従ってフィールド補完を行なう
必要がある。

【００３１】本装置では、このようなソースで効率的な
符号化を行なうために、フレーム／フィールド間差分の
解析によってフィルムシーケンスを検出する方法が用い
られている。図３に示すように、フレーム／フィールド
間引き部３では、映画素材（フィルムソース）の各プロ
グレッシブフレームをインターレース偶数フィールドと
インターレース奇数フィールドに分離して、所定の間隔
（ここでは５枚ごと）でフィールドを間引いている。

【００３２】フレーム／フィールド間引き部３から出力
された画像データＳ３は走査変換部４に入力され、符号
化部１０で符号化する際に必要となるブロックスキャン
に変換される。ＭＰＥＧ−２などはＤＣＴブロックが８
画素×８ライン、マクロブロックは１６画素×１６ライ
ンと定義されている。走査変換部４から出力された画像
データＳ４は符号化部１０に入力され、符号化処理が行
われる。符号化部１０では、まず画像データＳ４が減算
器１１に入力され、画像データＳ４とループ内フレーム
メモリ１９に記憶された画像データとの差分が取られ
る。この差分データはＤＣＴ１２に入力され、周波数領
域の情報に変換される。さらに周波数領域の情報に変換
されたデータは量子化部１３に入力され、量子化制御部
２１の制御の下、量子化処理が行われる。量子化された
データは、ＶＬＣ１４で冗長度が取り除かれ、バッファ
１５で所定のビットレートで平滑化され、伝送路に送出
される。

【００３３】量子化部１３で量子化されたデータは逆量
子化部１６にも入力され、逆量子化される。逆量子化さ
れたデータは逆ＤＣＴ１７で逆変換され、加算器１８で
ｎフレーム前の符号化データと加算される。加算器１８
から出力された局部復号データは、ループ内フレームメ
モリ１９および動き補償部２０にそれぞれ入力される。
動き補償部２０では、加算器１８から入力された局部復
号データと走査変換部４から出力された画像データＳ４
とに基づいてループ内フレームメモリ１９の読み出しを
制御する。

【００３４】一方、原画像データＳ０は画像解析部３０
にも入力される。画像解析部３０では原画像の特性を解
析することによって符号化難易度情報を算出し、前処理
制御部５に各種難易度情報を通知し、帯域制限フィルタ
１、画素数変換部２およびフレーム／フィールド間引き
部３を制御することによって、高能率圧縮符号化に適し
た画像データを得る。画像解析部３０で算出された各種
難易度情報Ｓ３０は前処理制御部５に入力される。

【００３５】前処理制御部５は、帯域制限フィルタ１に
おける特性切換条件、画素数変換部２における間引き
率、フレーム／フィールド間引き部３における間引きフ
ィールド（フレーム）指示などの制御条件のテーブルを
有しており、前処理制御部５では、画像解析部３０から
入力された各種難易度情報Ｓ３０をこのテーブルで分析
して、制御信号Ｓ３１〜Ｓ３３を獲得する。制御信号Ｓ
３１は帯域制限フィルタ１に、制御信号Ｓ３２は画素数
変換部２に、制御情報Ｓ３３はフレーム／フィールド間
引き部３にそれぞれ与えられ、原画像データＳ０の前処
理が最適になるように制御される。その結果、低ビット
レートで符号化伝送する場合であっても、ブロック歪み
の目立たない視覚的に優れた品質の符号化画像を得るこ
とができる。

【００３６】また、前処理制御部５では、帯域制限結
果、画素数変換結果およびフレーム／フィールド間引き
結果についての情報（変換情報）Ｓ３４を符号化部１０
に通知している。符号化部１０では符号化処理を行なう
上で必要な前記情報Ｓ３４（水平画素数やフレーム間引
き情報）を用いて符号化処理が行なわれ、また伝送する
際の画像データとして、例えばMPEG-2規格ではシーケン
スレイヤやピクチャレイヤのサイド情報として、horizo
ntal_sizeやRepeat_first_fieldといった識別子を用い
て前処理で施したピクチャーフォーマットなどを伝送す
ることが可能であり、符号化部１０では、上述の情報Ｓ
３４をＶＬＣ１４等に入力させて、フレーム内の画素数
や、間引きフィールドなどの情報Ｓ３４を画像データの
サイド情報エリアに書き込んでいる。その結果、デコー
ダ側で情報Ｓ３４を参照することができるようになり、
帯域制限、画素数変換およびフレーム／フィールド間引
きによって高能率で符号化された画像データを確実に元
の画像に復号させることができる。

【００３７】次に、画像解析部３０の動作について図２
を用いて説明する。原画像データＳ０は高域周波数成分
算出部４０のスキャン変換部４１でラスタスキャンから
ブロックスキャンに変換される。スキャン変換された画
像データはＤＣＴ部４２およびフレーム間差分量算出部
５０に送られる。ＤＣＴ部４２では画像信号を空間領域
から２次元周波数領域へと変換する。ＤＣＴ部４２での
変換単位は特に限定するものではないが、ここでは符号
化部１０のＤＣＴ１２と同じ８画素×８ラインとする。
また、本実施の形態では直交変換（ＤＣＴ）としたが、
周波数領域への変換が目的であるため、その目的を満足
できれば他の手法でも良い。例えばフーリエ変換（ＤＦ
Ｔ）などでも同様の効果が得られる。

【００３８】ＤＣＴ部４２で得られた周波数領域の係数
（８×８＝６４個）は高域係数分離部４３に入力され、
ここで高域周波数成分のみが分離される。図４にその動
作例を示す。図４では、６４個の係数のうち、高域係数
３１個を分離する例を示している。高域係数分離部４３
で分離された高域周波数成分は閾値比較部４４で閾値ａ
と比較される。閾値比較部４４では、閾値ａ以上の高域
周波数成分のみが選択され、カウンタ４５では１フレー
ムあたりの高域周波数成分がカウントされる。そして、
カウンタ４５から出力された高域周波数成分量Ｓ３０ａ
が前処理制御部５に通知される。

【００３９】次にフレーム間差分算出部５０の動作を説
明する。スキャン変換部４１でブロックスキャンに変換
された画像データはフレームメモリ５１，５７、減算器
５２および動き補償部５８に各々入力される。動き補償
部５８では、現在のフレームと過去のフレーム間でのマ
クロブロックを単位として、現フレームマクロブロック
と過去のフレームの同一位置マクロブロックおよびその
周辺マクロブロックに対する歪みをサーチして、最も歪
みの少ないマクロブロックに対するベクトルを算出す
る。これが動きベクトルである。この動きベクトルを用
いてフレームメモリ５１の読み出しを制御することによ
り、減算器５２では過去のフレームとの差を取ることが
でき、差分値が少なくなるように作用する。

【００４０】なお、動き補償部５８は、符号化部１０に
おいて動き補償フレーム間予測符号化を行なう際の必須
機能であり、一般的に動き補償の性能が圧縮率を大きく
左右する。即ち、どれだけ適正な動きベクトルを算出で
きるかによってフレーム間差分歪みを小さくできるかが
決まるということであり、動き補償部５８も広範囲かつ
高精度の動き探索を行なった方がよいのは言うまでもな
い。

【００４１】減算器５２での演算結果は絶対値部５３に
与えられ、絶対値化された差分絶対値データが絶対値部
５３から出力される。差分絶対値データは累算器５４お
よび閾値比較部５５に入力され、閾値比較部５５では差
分絶対値データと閾値ｂとが比較される。そして、差分
絶対値データのレベルが閾値ｂ以上であれば、カウンタ
５６は１フレーム分加算する。このカウント結果Ｓ３０
ｂはフレーム（画面）あたりの差分量を示しており、こ
の値が一定以上の場合はシーンチェンジとみなすことが
でき、また、一定以下であってレベルが高ければ符号化
難易度が高いとみなすことができる。カウンタ５６から
出力されたフレーム間差分量Ｓ３０ｂは前処理制御部５
に通知される。

【００４２】一方、累算部５４では差分絶対値データを
フレーム内で累算し、画素数で割った信号をフレームメ
モリ群５９に順次格納する。それぞれのメモリ出力はフ
ィルムシーケンス検出部６０に入力され、複数フレーム
の一定のシーケンスに一致した場合、画像の間に挿入さ
れたフィルム信号と認識し、フィルムシーケンス検出情
報Ｓ３０ｃが前処理制御部５に通知される。

【００４３】また動き補償部５８で検出された動きベク
トルは、ＭＢメモリ６１および減算器６２に入力され
る。減算器６２ではＭＢメモリ６１で１マクロブロック
遅延した動きベクトルと遅延前の動きベクトルとの差分
が取られる。この差分ベクトルは絶対値部６３に与えら
れ、絶対値化された差分絶対値データが絶対値部６３か
ら出力される。差分絶対値データは閾値比較部６４に入
力され、閾値比較部６４では差分絶対値データと閾値ｃ
とが比較される。比較の結果、差分絶対値データのレベ
ルが閾値ｃ以上であった場合には、ベクトルのバラツキ
が大きいものとして、カウンタ６５でのカウント値を１
加算する。カウンタ６５でカウントされた１フレームあ
たりのベクトルのバラツキ量Ｓ３０ｄは前処理制御部５
に通知される。

【００４４】通常、画像データはシーンチェンジを除い
て被写体が動いた場合、隣接するマクロブロックの動き
ベクトルは近い方向を示す場合が多いが、複雑でかつ細
かい絵柄（例えば芝生など）は動きベクトルがバラつく
ことが多い。動きベクトルがバラつくということはすな
わち符号化部１０での符号量が増えることを意味するた
め、前処理制御部５において、動きベクトルのバラツキ
度Ｓ３０ｄを参照することによって適切な画像フォーマ
ット変換を行なうことができる。

【００４５】次にノイズ成分算出部７０の動作について
説明する。原画像データＳ０は中高域通過フィルタ部７
１に入力され、ここで低域成分がカットされる。低域成
分をカットする大きな理由は、ノイズ成分の多くは中域
から高域に含まれていること、および符号化に害となる
ノイズは中域から高域であることである。中高域通過フ
ィルタ部７１で低域をカットされた画像データに含まれ
る成分の多くは、被写体の比較的周波数の高い成分（エ
ッジ）とノイズ成分である。

【００４６】この信号はエッジ成分検出部７２および減
算器７３に入力される。エッジ成分検出部７２では、隣
接する画素の相関をみて相関の高い画素は画像成分とみ
なして相関の強い画素のみを抽出する。エッジ成分検出
部７２で抽出された画像データは減算器７３に入力さ
れ、中高域通過フィルタ部７１を通過した画像データか
らこの画像データを差し引くことによって、ノイズ成分
が抽出される。さらにこのノイズ成分データは閾値比較
部７４に入力され、閾値比較部７４では差分絶対値デー
タと閾値ｄとが比較される。比較の結果、ノイズ成分デ
ータのレベルが閾値ｄ以上であった場合には、レベルの
高いノイズ成分が抽出されたものとして、カウンタ７５
でのカウント値を１加算する。カウンタ７５でカウント
された１フレームあたりのノイズ成分量Ｓ３０ｅは前処
理制御部５に通知される。前処理制御部５では、ノイズ
成分量Ｓ３０ｅの値が高いほどノイズ成分が多いので、
符号化難易度が高いとみなすことができる。

【００４７】次に、前処理制御部５の具体的な制御につ
いて図５を用いて説明する。前処理制御部５では、高域
周波数成分算出部４０から入力された高域周波数成分量
Ｓ３０ａが「中」から「大」に増加した場合、フィルタ
遮断周波数を「３０MHz」から「２４MHz」に下げるよう
帯域制限フィルタ１を制御すると共に、水平画素数を
「１９２０」から「１４４０」に下げるよう画素数変換
部２を制御している。また、高域周波数成分量Ｓ３０ａ
が「大」から「小」に減少した場合、フィルタ遮断周波
数を「２０MHz」から「２４MHz」に上げるよう帯域制限
フィルタ１を制御している。

【００４８】このように制御する理由は、高域周波数成
分量Ｓ３０ａが多い場合には、高域成分をカットしても
画像への影響が少ないからである。同様に、高域周波数
成分量Ｓ３０ａが多い場合には、水平画素数を減らして
も画像への影響が少ないからである。そこで、高域周波
数成分量Ｓ３０ａが多い場合に、帯域制限フィルタ１の
フィルタ遮断周波数を下げてフィルタでカットする量を
増やすと共に、画素数変換部２で水平画素数を減らすこ
とにより、符号化部１０での高圧縮符号化を可能として
いる。

【００４９】また、前処理制御部５では、フレーム間差
分量算出部５０から入力されたフレーム間差分量Ｓ３０
ｂが「小」の場合、フィールドを間引くようにフレーム
／フィールド間引き部３を制御している。このように制
御する理由は、フレーム間差分量Ｓ３０ｂが「小」の場
合には、フィールドを間引いても、動作がぎこちなくな
り難いからである。そこで、フレーム間差分量Ｓ３０ｂ
が「小」の場合にフレーム或いはフィールドを間引きす
ることにより、符号化部１０での高圧縮符号化を可能と
している。

【００５０】さらに、前処理制御部５では、フレーム間
差分量算出部５０から入力されたフィルムシーケンス検
出情報Ｓ３０ｃが「有」の場合、フィールドを間引くよ
うにフレーム／フィールド間引き部３を制御している。
このように制御する理由は、フィルムシーケンス検出情
報Ｓ３０ｃが「有」の場合、所定間隔のフレームがフィ
ルム信号（単位あたりのフレーム数を合わせるために挿
入された信号）だからである。そこで、フィルムシーケ
ンス検出情報Ｓ３０ｃが「有」の場合にフィルム信号に
相当するフレームを間引くことにより、符号化部１０で
の高圧縮符号化を可能としている。

【００５１】また、前処理制御部５では、ノイズ成分算
出部７０から入力されたノイズ成分量Ｓ３０ｅが「小」
から「大」に増加した場合、フィルタ遮断周波数を「２
４MHz」から「２０MHz」に下げるよう帯域制限フィルタ
１を制御している。また、ノイズ成分量Ｓ３０ｅが
「大」から「小」に減少した場合、フィルタ遮断周波数
を「２４MHz」から「３０MHz」に上げるよう帯域制限フ
ィルタ１を制御している。

【００５２】このように制御する理由は、ノイズ成分量
Ｓ３０ｅが多い場合には、高域成分をカットしても画像
への影響が少ないからである。そこで、ノイズ成分量Ｓ
３０ｅが多い場合に帯域制限フィルタ１のフィルタ遮断
周波数を下げて、フィルタでカットする量を増やすこと
により、符号化部１０での高圧縮符号化を可能としてい
る。

【００５３】次に、閾値を適応的に制御する方式につい
てその動作を説明する。閾値発生部６には、符号化部１
０から符号化結果情報が入力される。符号化結果情報
は、符号化部１０の様々な結果を用いることができる
が、一例として情報発生量を用いる場合の動作を示す。
図２に示した閾値ａ〜ｃはある値に固定しても良いが、
符号化結果情報Ｓ３５を用いることによって、さらに効
果が上げることができる。

【００５４】例えば、画像解析部３０で得られた符号化
難易度情報に基づいて前処理制御部５で適応的な前処理
を行なった場合、設定した符号化レートに比して情報発
生量が多いために、閾値が適正でないことがあり得る。
そこで、符号化結果情報Ｓ３５に情報発生量を用いて情
報発生量が多い場合は閾値を低くし、高域周波数成分
量、フレーム間差分量またはノイズ成分量を多くする方
向に閾値を変化させることによって、より強力な帯域制
限、画素間引き率もしくはフィールド間引きを行い、符
号化による情報発生量削減に貢献することができる。な
お、符号化結果情報Ｓ３５は閾値を制御するのとは別に
前処理制御部５に対して直接入力し、前処理制御部５の
制御テーブル（不図示）に直接組み込んでも同様な効果
が得られる。

【００５５】

【発明の効果】本発明に係る画像符号化装置および画像
符号化方法は、以上のように構成されているため、次の
ような効果を得ることができる。即ち、変換制御部で空
間的変換および時間的変換の何れか一方或いは双方を選
択させるよう画像変換部を制御しているので、画像変換
部では原画像データの画像フォーマットを空間的変換お
よび時間的変換の少なくとも一方を用いて変換すること
ができ、特に低ビットレートで符号化伝送する場合に視
覚的にブロック歪みを目立たせることなく圧縮率を高め
ることができる。

【図面の簡単な説明】

【図１】本実施の形態に係る画像符号化装置の構成を示
すブロック図である。

【図２】画像解析部の構成を示すブロック図である。

【図３】フィルムシーケンスの検出例を示す図である。

【図４】高域係数分離部の処理を示す図である。

【図５】前処理制御部の制御を示す図である。

【図６】従来の画像符号化装置の構成を示すブロック図
である。

【図７】従来の画像符号化装置の構成を示すブロック図
である。

【符号の説明】 １…帯域制限フィルタ、２…画素数変換部、３…フレー
ム／フィールド間引き部、４…走査変換部、５…前処理
制御部（変換制御部）、６…閾値発生部、１０…符号化
部、１１…減算器、１２…ＤＣＴ（直交変換器）、１３
…量子化部、１４…ＶＬＣ（可変長符号化器）、１５…
バッファ、１６…逆量子化部、１７…逆ＤＣＴ、１８…
加算器、１９…ループ内フレームメモリ、２０…動き補
償部、２１…量子化制御部、３０…画像解析部、４０…
高域周波数成分量算出部、４１…スキャン変換部、４２
…ＤＣＴ部、４３…高域係数分離部、４４…閾値比較
部、４５…カウンタ、５０…フレーム相関算出部、５１
…フレームメモリ、５２…減算器、５３…絶対値部、５
４…累算器、５５…閾値比較部、５６…カウンタ、５７
…フレームメモリ、５８…動き補償部、５９…フレーム
メモリ群、６０…フィルムシーケンス検出部、６１…Ｍ
Ｂメモリ、６２…減算器、６３…絶対値部、６４…閾値
比較部、６５…カウンタ、７０…ノイズ成分検出部、７
１…中高域通過フィルタ、７２…エッジ成分検出部、７
３…減算器、７４…閾値比較部、７５…カウンタ、Ａ…
画像変換部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 村上 篤道 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C059 KK03 LA06 LB07 MA05 MA23 MC01 MC38 ME01 NN01 NN28 TA06 TA07 TB04 TC00 TC10 TC12 TD12 TD14 UA14 UA33

Claims (7)

【特許請求の範囲】
1. 【請求項１】 原画像データを解析して符号化難易度情
   報を得る画像解析部と、 前記原画像データの画像フォーマットを変換する画像変
   換部と、 前記画像変換部で変換された画像データを符号化する符
   号化部と、 前記符号化難易度情報に基づいて前記画像変換部を制御
   し、空間的変換および時間的変換の何れか一方或いは双
   方を用いて変換させる変換制御部とを備えることを特徴
   とする画像符号化装置。
2. 【請求項２】 前記符号化難易度情報は、前記原画像デ
   ータについての空間的な周波数成分情報、ノイズ成分情
   報、フレーム間変化情報、およびフレーム間動きベクト
   ル情報の少なくとも一つを用いた情報であることを特徴
   とする請求項１記載の画像符号化装置。
3. 【請求項３】 前記符号化部は、前記画像変換部での
   変換情報を入力し、当該変換情報に基づいて前記画像デ
   ータを符号化処理すると共に、当該変換情報を前記画像
   データに多重させることを特徴とする請求項１又は請求
   項２記載の画像符号化装置。
4. 【請求項４】 前記画像解析部では、所定の閾値を用い
   て前記原画像データを解析することを特徴とする請求項
   １から請求項３のいずれか一項に記載の画像符号化装
   置。
5. 【請求項５】 前記画像解析部では、前記符号化部の符
   号化結果に基づいて前記閾値を決定することを特徴とす
   る請求項４記載の画像符号化装置。
6. 【請求項６】 原画像データを画像変換した後に符号化
   する画像符号化方法において、 前記原画像データの符号化難易度情報に基づいて、空間
   的変換および時間的変換の何れか一方或いは双方を用い
   て前記画像データを画像変換することを特徴とする画像
   符号化方法。
7. 【請求項７】 前記符号化難易度情報は、前記原画像デ
   ータについての空間的な周波数成分情報、ノイズ成分情
   報、フレーム間変化情報、およびフレーム間動きベクト
   ル情報の少なくとも一つを用いた情報であることを特徴
   とする請求項６記載の画像符号化方法。