JP2004023670A

JP2004023670A - 画像符号化装置および同方式

Info

Publication number: JP2004023670A
Application number: JP2002179037A
Authority: JP
Inventors: Naoto Yamamoto; 山本　直人
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-06-19
Filing date: 2002-06-19
Publication date: 2004-01-22

Abstract

【課題】低ビットレートでありながら再生画像品質を向上させる画像符号化装置および同方式を提供する。
【解決手段】入力画像制御回路１が入力画像の画像構成の特性を判定し、この判定に基き画像解像度変更回路２が入力画像を所定の入力解像度となるようフィルタ処理を行う。フレーム周波数変更回路３が指定されたフレーム周波数となるよう、入力画像のフレーム数を削減する。ＭＰＥＧ符号化回路４は、符号化制御回路５の制御によりＭＰＥＧ２ストリーム１０６に変換する。入力画像の画像構成の特性に合わせ適応的に解像度を変更することにより低ビットレート化する。入力画像の特性に合わせて、画像の解像度、フレーム周波数を可変とし、単位時間当たりの入力画像情報を削減する。このことにより、低レートで削減しにくいヘッダ情報や動ベクトル情報を削減し、より多くの情報をＤＣＴ係数値に与える良好な再生画像品質を得る。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および同方式に関し、特に、低ビットレートの画像符号化装置および同方式に関する。
【０００２】
本発明は、ＭＰＥＧ２（“Ｇｅｎｅｒｉｃ　ｃｏｄｉｎｇ　ｏｆ　Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅｓ　ａｎｄ　ａｓｓｏｃｉａｔｅｄ　ａｕｄｉｏ　ｉｎｆｏｒｍａｔｉｏｎ”，　ＩＳＯ／ＩＥＣ　１３８１８）符号化方式を用いた画像符号化装置に関し、特に、固定符号化レートで符号化を行う際に入力画像の特性に合わせて画像解像度やフレーム周波数を可変とする、符号化制御技術に関する。
【０００３】
【従来の技術】
従来、画像符号化装置および同方式は、たとえば、ＭＰＥＧ２方式を用いて構成される。近年、本構成に適用され画像圧縮方式として普及してきたＭＰＥＧ２方式は、圧縮効率が高く画質が良いことから、ディジタル放送や家庭用光ディスクレコーダの映像符号化フォーマットとして利用されている。例えば、ＢＳディジタル放送の場合、１０８０ｉ／２９．９７と呼ぶ１９２０画素×１０８０ライン、４：２：０クロマフォーマット、２９．９７Ｈｚの画像が使用される。１０８０ｉ／２９．９７信号の情報量は、９９４Ｍｂｐｓ＝１９２０画素×１０８０ライン×２９．９７Ｈｚ×８ｂｉｔ／ｐｅｌ　×２（４：２：０クロマフォーマットの場合）であるが、ＭＰＥＧ２を用いて２２Ｍｂｐｓ程度まで圧縮しており、圧縮比は約１／４５となる。
【０００４】
家庭用光ディスクレコーダでは、４８０ｉ／２９．９７と呼ぶ７２０画素×４８０ライン、４：２：０クロマフォーマット、２９．９７Ｈｚの画像が使用され、１６４Ｍｂｐｓ（７２０×４８０×２９．９７×８×２）の情報量を持つ。４８０ｉ／２９．９７は４．７ＧＢｙｔｅ／２時間で記録する場合、音声の２５６Ｋｂｐｓを除くと５Ｍｂｐｓとなるため、圧縮比は１／３３となる。
【０００５】
このとき、１画素当たりの情報量は、ＢＳディジタル放送で０．３５ｂｉｔ／画素、光ディスクレコーダで０．４８ｂｉｔ／画素となり、入力画像の複雑度によっては高品位な再生画像を得ることが難しい。
【０００６】
従来技術での入力解像度可変の例として、光ディスクレコーダがあげられる。この光ディスクレコーダでは、５Ｍｂｐｓの通常モードの他に、２Ｍｂｐｓ程度で符号化する長時間モードを持つが、７２０画素×４８０ラインの入力画像をそのまま符号化すると、１画素当たりの情報量は０．１９ｂｉｔ／画素となり、画質劣化が知覚されやすい。このことから、入力解像度を３５２画素×４８０ラインや、３５２画素×２４０ラインの低解像度で符号化し、低符号化レートの時に現れる符号化ノイズを抑える方法が用いられる。しかし、入力解像度の変更手段は符号化レートにより予め定められていたり、符号化の結果発生する符号量が目標を上回った場合、入力解像度を小さくするなど簡易的なもので、入力画像の特性に合わせて変更するものではない。
【０００７】
従来技術を用いたフレーム周波数可変の例として、テレシネ変換がある。これは、２４Ｈｚのフレーム周波数をもつ映画素材を、２９．９７Ｈｚのシステムで再生したものを再度符号化する場合に用いられる。テレシネ変換では、２４Ｈｚ素材を２９．９７Ｈｚに変換する際に挿入されたリピートフィールドを検出し、再符号化時に削除することで冗長なフィールドを取り除くものである。また、符号化パラメータを利用したトランスコーダでは、ＭＰＥＧ２ピクチャヘッダ内のｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ信号を用いてフィールド間引きを行い、従来技術を用いた装置では前フィールドとのフィールド差分値を求め、差分値があらかじめ定められた閾値の場合には削除するものであり、元々２９．９７Ｈｚのフレーム周波数を持つ入力画像のフレーム周波数を変更する方式とは異なる。
【０００８】
また、従来技術を用いたフレーム周波数可変の例として、ＩＴＵ−Ｒ　Ｈ．２６２規格に代表されるＴＶ会議用符号化方式が上げられる。この方式は、予めフレーム周波数が低く設定されているためフレーム落としを行うが、符号化ビットレートが目標値をオーバーする場合も同様にフレームを落とすことで、符号化制御を行うフィードバック方式が一般的である。
【０００９】
本発明と技術分野の類似する先願発明例１として、特開２００１−２４５３０３号公報の「動画像符号化装置および動画像符号化方法」がある。本先願発明例１では、符号化する動画像のシーンに応じて符号化パラメタを設定し，シーン内容に適した効率的な符号配分を行い、視覚的にまとまりある見やすい画像を生成する、ことを課題としている。
【００１０】
先願発明例２としての特開平５−１１１０１５号公報の「動き適応画像符号化装置」では、精細度が高いブロックに対しては粗く量子化し、精細度が低いブロックには細かく量子化して、ブロック歪が視覚的に目立たなく、良好な画質を得ることができる動き適応画像符号化装置を提供することを目的としている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記の従来技術では、１０８０ｉ／２９．９７信号を１２Ｍｂｐｓ程度の高い圧縮率で圧縮する場合には、１画素当たりの割り当て情報量は、０．１９ｂｉｔ／画素、圧縮比は１／１０３となる。ＭＰＥＧ２符号化方式特有のヘッダ情報や動ベクトル情報の符号量は、入力解像度によって依存する。このため、入力素材を異なる符号化レートで符号化する場合であっても、一定量のオーバーヘッドが必要となる。
【００１２】
良好な再生画像品質を得るためには、ＤＣＴ変換係数値の割合を増やすことが重要である。符号化レートが２２Ｍｂｐｓの場合には、ヘッダ、動ベクトル情報を８Ｍｂｐｓと仮定すると１４ＭｂｐｓがＤＣＴ変換係数値の符号化に割り当てることができる。しかし、１２Ｍｂｐｓの場合には、４ＭｂｐｓしかＤＣＴ変換係数値に割り当てることが出来ない。このため、良好な再生画像品質を得ることは難しい。
【００１３】
ＤＶＤ等の蓄積系不謳歌システムでは、一般に、符号化ビットレートが可変符号化ビットレート（ＶＢＲ：Ｖａｒｉａｂｌｅ　ｂｉｔ　Ｒａｔｅ　）が利用される。このＶＢＲでは、入力の画像特性に合わせて符号化ビットレートを増減することが可能である。このため、再生画像品質を向上させることが容易である。しかし、放送では、伝送路帯域が一定であるため、固定符号化ビットレート（ＣＢＲ：Ｃｏｎｓｔａｎｔ　ＢｉｔＲａｔｅ　）が一般的に利用される。このため、情報量の多い入力画像であっても符号化ビットレートを増やすことは出来ず、再生画像品質が劣化する。
【００１４】
一般に、人間の視覚特性は静止画のとき解像度に敏感であるが、動画のときは解像度に鈍感となることが知られている。本発明は、この視覚特性を利用して静止画のとき解像度感の高い再生画像を、動画のとき動きの滑らかな再生画像を提供することで、低ビットレート時の再生画像品質を改善することを図る。
【００１５】
従来技術を用いたフレームレートを動的に変更する例としての特開２００１−２４５３０３号公報では、オブジェクトの動きの速いシーンでフレームレートを上げて動きが不自然になるのを避ける例が示されている。この方式は、可変ビットレート（ＶＢＲ）が使用できる蓄積系の符号化システムでは画質改善を図る点で有効である。しかし、本従来例の符号化装置は、符号化ビットレートが一定であることを想定しているため、動きの速い画像でも画質改善のためフレームレートを上げることはできない。
【００１６】
本発明は、低ビットレートでありながら再生画像品質を向上させた画像符号化装置および同方式を提供することを目的とする。
【００１７】
より詳細には、低ビットレートでの符号化時に、入力画像の特性に合わせて、画像の解像度、フレーム周波数を可変とし、単位時間当たりの入力画像情報を削減する。このことにより、低レートで削減しにくいヘッダ情報や動ベクトル情報を削減し、より多くの情報をＤＣＴ係数値に与える良好な再生画像品質を得る画像符号化装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
かかる目的を達成するため、請求項１記載の発明の画像符号化装置は、入力画像の画像構成の特性を判定する入力画像制御回路と、判定に基き入力画像を所定の入力解像度となるようフィルタ処理を行い解像度変更された画像信号を出力する画像解像度変更回路と、解像度変更された画像信号に対し指定されたフレーム周波数となるよう入力画像のフレーム数を削減し、該フレーム数の削減処理によりフレーム周波数変換された画像信号を出力するフレーム周波数変更回路と、フレーム周波数変換された画像信号を用いて符号化する符号化回路とを有して構成され、入力画像の画像構成の特性に合わせ適応的に解像度を変更することにより低ビットレート化を可能としたことを特徴としている。
【００１９】
上記入力画像の画像構成の特性とは、入力画像の静止画度、複雑さ、解像度、フレーム周波数の少なくともいずれか１つを含む特性であり、該特性を適応的に判定してフィルタ処理を行い、符号化回路は、ＭＰＥＧ２ストリームに変換するＭＰＥＧ符号化回路であり、入力画像制御回路は、ＭＰＥＧ２符号化回路から得られる符号化統計情報と、フレーム周波数変更回路から得られる前フィールドとの差分値とにより判定をして、入力画像の解像度やフレーム周波数を決定するとよい。
【００２０】
また、請求項５記載の発明では、請求項１から４のいずれか１項に記載の画像解像度変更回路において、遅延した入力画像の水平画素数を変更するための水平フィルタと、垂直ライン数を変更するための垂直フィルタとで構成され、所定の入力解像度となるようフィルタ係数を決定してフィルタ処理を行い、解像度変更された画像信号をフレーム周波数変更回路に出力することを特徴とする。
【００２１】
請求項６記載の発明では、請求項１から５のいずれか１項に記載の発明の画像解像度変更回路は、前フィールドとのフィールド差分値、フレーム／フィールドＤＣＴのピクチャ内マクロブロック数、ならびに動ベクトル情報のうちの一つあるいは複数の情報を用いて入力画像の解像度を変更することを特徴とする。
【００２２】
請求項７記載の発明では、請求項１から５のいずれか１項に記載の発明のフレーム周波数変更回路は、１ＧＯＰ前のＩピクチャ、Ｐピクチャ、Ｂピクチャのピクチャ種別毎の平均符号化ビット数比率を用いて入力画像のフレーム周波数を変更し、また、請求項８記載の発明では、内容が“０”でない動ベクトルマクロブロックの数、および動ベクトル情報のいずれか一つあるいは両方を用いて入力画像の持つフレーム周波数を変更することを特徴とする。
【００２３】
請求項９記載の発明の画像符号化方式は、入力画像制御回路により入力画像の画像構成の特性を判定し、画像解像度変更回路が判定に基き入力画像を所定の入力解像度となるようフィルタ処理を行い解像度変更された画像信号を出力し、解像度変更された画像信号に対し指定されたフレーム周波数となるようフレーム周波数変更回路が入力画像のフレーム数を削減し、該フレーム数の削減処理によりフレーム周波数変換された画像信号を出力し、符号化回路がフレーム周波数変換された画像信号を用いて符号化し、入力画像の画像構成の特性に合わせ適応的に解像度を変更することにより低ビットレート化を可能としたことを特徴としている。
【００２４】
上記入力画像の画像構成の特性とは、入力画像の静止画度、複雑さ、解像度、フレーム周波数の少なくともいずれか１つを含む特性であり、該特性を適応的に判定してフィルタ処理を行い、符号化回路は、ＭＰＥＧ２ストリームに変換し、ＭＰＥＧ２符号化回路から得られる符号化統計情報と、フレーム周波数変更回路から得られる前フィールドとの差分値とにより判定をして、入力画像制御回路が入力画像の解像度やフレーム周波数を決定するとよい。
【００２５】
また、請求項１３記載の発明では、請求項９から１２のいずれか１項に記載の画像符号化方式において、遅延した入力画像の水平画素数を変更するための水平フィルタと、垂直ライン数を変更するための垂直フィルタとで、画像解像度変更回路が、所定の入力解像度となるようフィルタ係数を決定してフィルタ処理を行い、解像度変更された画像信号をフレーム周波数変更回路に出力することを特徴とする。
【００２６】
請求項１４記載の発明では、請求項９から１３のいずれか１項に記載の画像符号化方式は、前フィールドとのフィールド差分値、フレーム／フィールドＤＣＴのピクチャ内マクロブロック数、ならびに動ベクトル情報のうちの一つあるいは複数の情報を用いて、画像解像度変更回路が入力画像の解像度を変更することを特徴とする。
【００２７】
請求項１５記載の発明では、請求項９から１３のいずれか１項に記載の画像符号化方式は、１ＧＯＰ前のＩピクチャ、Ｐピクチャ、Ｂピクチャのピクチャ種別毎の平均符号化ビット数比率を用いて、フレーム周波数変更回路が入力画像のフレーム周波数を変更することを特徴とする。
【００２８】
請求項１６記載の発明では、請求項９から１３のいずれか１項に記載の画像符号化方式は、内容が“０”でない動ベクトルマクロブロックの数、および動ベクトル情報のいずれか一つあるいは両方を用いて、フレーム周波数変更回路が入力画像の持つフレーム周波数を変更することを特徴とする。
【００２９】
【発明の実施の形態】
次に、添付図面を参照して本発明による画像符号化装置および同方式の実施の形態を詳細に説明する。図１から図６を参照すると、本発明の画像符号化装置および同方式の一実施形態が示されている。なお、図中で同じ機能を有する回路には同じ番号を付している。
【００３０】
図１は、低レート符号化画像符号化装置の全体ブロック図を示したもので、入力画像制御回路１、画像解像度変更回路２、フレーム周波数変更回路３、ＭＰＥＧ符号化回路４、符号化制御回路５、フィールド差分値算出回路６で構成される。
【００３１】
フィールド差分値算出回路６は、入力画像信号１００と１フレーム前に入力された同じフィールドとの差分値を求め、フィールド差分値情報１１０を入力画像制御回路１に、遅延した入力画像信号１１１を画像解像度変更回路２に出力する。このフィールド差分値算出回路６は、通常、テレシネ変換検出あるいはシーンチェンジ検出用にＭＰＥＧ符号化回路４内の入力画像を処理するインタフェース部に実装される。しかし、本発明では、ＭＰＥＧ符号化回路４の前段に解像度変換やフレーム周波数変換を行うため、低ビットレート符号化装置の入力部分に実装される。
【００３２】
画像解像度変更回路２は、遅延した入力画像信号１１１の水平画素数を変更するための水平フィルタと、垂直ライン数を変更するための垂直フィルタで構成され、解像度指定信号１０１により所定の入力解像度となるようフィルタ係数を決定し、フィルタ処理を行い解像度変更された画像信号１０２をフレーム周波数変更回路３に出力する。
【００３３】
フレーム周波数変更回路３は、解像度変更された画像信号１０２に対し単位時間当たりの画像枚数を変更するためのフレームメモリと内挿フィルタで構成され、フレーム周波数指定信号１０３により指示されたフレーム周波数となるよう入力画像のフレーム数を削減し、フレーム周波数変換された画像信号１０４としてＭＰＥＧ符号化回路４に出力する。
【００３４】
ＭＰＥＧ符号化回路４は、フレーム周波数変換された画像信号１０４を用いて符号化制御回路５の制御によりＭＰＥＧ２ストリーム１０６に変換する。このとき、ＭＢ（Ｍａｃｒｏ　Ｂｌｏｃｋ：マクロブロック）符号化統計情報１０７を符号化制御回路５に出力する。
【００３５】
ＭＢ符号化統計情報１０７は、各ＭＢのマクロブロックタイプ（ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ）、動ベクトルタイプ（ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｆｏｒｗａｒｄ，　ｍａｃｒｏｂｌｏｃｋ＿ｍｏｔｉｏｎ＿ｂａｃｋｗａｒｄ等）、動ベクトルデータ（ＩＳＯ／ＩＥＣ　１３８１８−２　Ｔａｂｌｅ．６．２．５．２）、ＤＣＴタイプ（ｄｃｔ＿ｔｙｐｅ）、量子化ステップ値（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）、アクティビティ値（ＤＣＴ変換係数値のＡＣ成分和あるいは自乗和）、発生符号化ビット数などで構成される。
【００３６】
符号化制御回路５は、入力画像制御回路１より入力解像度情報やフレーム周波数情報で構成される入力画像制御信号１０８を受け取り、ＭＰＥＧ符号化回路４の符号化制御を行うよう符号化制御信号１０５を出力する。また、ＭＰＥＧ符号化回路４より出力されるＭＢ符号化統計情報１０７を、ピクチャ単位での指標となるよう演算を行い、平均値や分散値で構成される符号化統計情報１０９として入力画像制御回路１に出力する。
【００３７】
ＭＰＥＧ符号化回路４、符号化制御回路５は従来実施例の符号化装置と異なることはないが、ピクチャ単位での符号化統計情報１０９を入力画像制御回路１に出力することと、ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）単位で入力画像解像度とフレーム周波数の変更を、回路を停止することなく変更することが異なる。
【００３８】
ＭＰＥＧ２方式では、一般に次の用語が使用される。
Ｉピクチャは、動き補償を含まず、符号化対象画面のみで符号化されるフレーム内符号化画面を表す。Ｐピクチャは、時間的に過去のＩまたはＰピクチャからの前方向予測を用いて構成されたフレーム間符号化画面を表す。Ｂピクチャは時間的に前後にあるＩまたはＰピクチャから両方向予測を用いて構成されたフレーム間符号化画面を表す。
【００３９】
ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）は、ランダムアクセスを可能とするため、１つのＩピクチャと複数枚のＰピクチャ、あるいはＢピクチャで構成された画面群構造を表す。ＧＯＰ内のフレーム数を表す変数として“Ｎ”、ＧＯＰ内のＩピクチャまたはＰピクチャの出現間隔を表す変数として“Ｍ”が使用され、民生機器などでは圧縮効率とエラー耐性、特殊再生対応等の観点からＮ＝１５、Ｍ＝３という値が一般的に用いられる。
【００４０】
オープンＧＯＰは、前ＧＯＰ最後のＰピクチャを用いて、ＧＯＰ内のＩピクチャより前のＢピクチャの動き補償を行う。オープンＧＯＰは、複数のＧＯＰに渡って動き補償を行うため、圧縮効率は良いがエラー耐性はクローズドＧＯＰより悪い。クローズドＧＯＰは、Ｉピクチャより前のＢピクチャは同一ＧＯＰ内のＩピクチャのみを用いて動き補償を行う。このため、エラーが発生しても同一ＧＯＰ内で閉じている。
【００４１】
ＴＰ値（ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ値）は、入力画像の入力順序を表す値であり、通常１フレーム毎に連続した値が付加される。ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ情報は、現在の画像フィールドを再生時にリピートすることであり、ＭＰＥＧ２ストリーム上は存在しない画像データを再生することができる。
【００４２】
画像解像度変更回路２の実施例について、図２を用いて説明する。水平フィルタ回路２１で、水平フィルタ係数１２２を用いて水平方向の画素数変換を行い、水平画素数変換された画像信号１２３を垂直フィルタ回路２２に出力する。垂直フィルタ回路２２は、水平画素数変換された画像信号１２３と垂直フィルタ係数１２４を用いてライン数変換を行い、解像度変更された画像信号１０２をフレーム周波数変更回路３に出力する。フィルタ制御回路２３は、入力画像制御回路１から解像度指定信号を受け取り、対応する水平フィルタ係数、垂直フィルタ係数をピクチャ単位で水平フィルタ回路２１、垂直フィルタ回路２２に出力する。
【００４３】
１０８０／２９．９７ｉの場合、フィールド差分値情報を用いて３種類の解像度変更制御を行う例について説明する。入力画像制御回路１は、入力画像がインターレース信号の場合、フィールド差分値が大きいとき動画、小さいときは静止画であると判断し、２種類の閾値Ｆ１、Ｆ２（０＜Ｆ１＜Ｆ２）を用いて３種類の解像度指定信号１０２を画像解像度変更回路２に出力する。例として、フィールド差分値が閾値Ｆ１以下のとき静止画として１９２０画素×１０８０ライン、Ｆ１より大きくＦ２以下の場合１４４０画素×１０８０ライン、Ｆ２より大きい場合１４４０画素×５１２ラインがある。解像度指定信号が入力画像のもつ解像度と差異が無いとき、水平フィルタ回路２１、垂直フィルタ２２は、フィルタ処理を行わず入力データをスルーして後段の回路に出力する。これは、入力画像の水平解像度が１９２０画素で、解像度指定信号１０１も１９２０画素の場合、水平フィルタ回路２１はスルーすることを意味する。
【００４４】
動画像では同じシーンが数十フレーム連続することが多いため、解像度変更を決定する変数として、フィールド差分値情報１１１以外にＭＰＥＧ符号化回路４から得られるフレーム／フィールドＤＣＴのピクチャ内ＭＢ数や、動ベクトル情報を利用することができる。これらは、動きの大きな動画部分ではフィールドＤＣＴが選択されやすい特性や、動ベクトル情報ではベクトル距離が大きく、かつ、フィールドベクトルが選択されやすくなる特性を利用したものである。この結果、フィールド差分値情報のみを用いて解像度変換を行うより、入力画像の特性を正確に把握することができる。
【００４５】
次に、フレーム周波数変更回路３の実施例について説明する。入力画像制御回路１は、符号化制御回路５から得られる符号化統計情報１０９から、ＧＯＰ単位でＩピクチャ、Ｐピクチャ、Ｂピクチャの各ピクチャタイプの符号化ビット数の比率を求める。Ｎ＝１５、Ｍ＝３と仮定すると静止画の場合、Ｐピクチャは、３フレーム前のピクチャと動き補償を行っても動ベクトルが小さい値となることから、動ベクトルの符号化ビット数が少なくなる。また、予測誤差も小さくなるため、Ｐピクチャの符号化ビット数は、Ｉピクチャに比べて小さくなる。同様に、Ｂピクチャの符号化ビット数は、動き補償を行うフレーム間距離がＩあるいはＰピクチャより短いため、Ｐピクチャより符号化ビット数が少なくなる。
【００４６】
図３は、各ピクチャの平均符号化ビット数を用いて入力画像のフレーム周波数を、２９．９７Ｈｚと２４Ｈｚに変更する制御例のフローチャートを示したものである。Ｉａｖｅは、１ＧＯＰ前のＩピクチャの符号化ビット数、Ｐａｖｅは、１ＧＯＰ前のＰピクチャの平均符号化ビット数（Ｎ＝１５、Ｍ＝３のとき、ＧＯＰ内のＰピクチャの枚数は４枚なので、ＧＯＰ内Ｐピクチャ全ての符号化ビット数をＰｓｕｍとすると、Ｐｓｕｍ／４で与えられる）、Ｂａｖｅは１ＧＯＰ前のＢピクチャの平均符号化ビット数（Ｎ＝１５、Ｍ＝３のときＧＯＰ内のＢピクチャ全体の符号化ビット数をＢｓｕｍとしてＢｓｕｍ／１０で与えられる）を表し、ＲＴＨ１はＩＰピクチャの比率の閾値を、ＲＴＨ２はＩＢピクチャの比率の閾値を、それぞれ表す。
【００４７】
例えば、ＲＴＨ１＝０．６、ＲＴＨ２＝０．３とすると、Ｉピクチャの符号化ビット数に対し、Ｐピクチャの割合が６０％以下、かつ、Ｂピクチャの割合が３０％以下のときフレーム周波数を２４Ｈｚ、それ以外のとき２９．９７Ｈｚとなるようフレーム周波数指定信号１０３をフレーム周波数変更回路３に出力する。
【００４８】
次に、フレーム周波数変更回路３の実施例について説明する。入力画像制御回路１は、符号化制御回路５から得られる符号化統計情報１０９から、動ベクトル距離の平均値、最大値、分散値を用いてフレーム周波数の変更を行うフレーム周波数指定信号１０３をフレーム周波数変更回路３に出力する。これは、静止画の場合、動ベクトル距離の平均値は“０”に近くなる特性を利用したものである。また、最大値は画面内に一部の物体が大きく動いている場合の検出を行うもので、分散値も最大値同様、画面内のベクトル分布が一定でない場合は、静止画として処理を行うと動いている物体がギクシャクした動きとなるため、動画部分の判定に用いる。
【００４９】
図４は、動ベクトルの平均値Ｖａｖｅ（動ベクトル値が（ｘ，ｙ）成分の長さで与えられるとき√（ｘ＾２＋ｙ　＾２））、なお本符号は（ｘの２乗＋ｙの２乗）の平方根を表す）、最大値Ｖｍａｘ、分散値Ｖｖａｒを用いて入力画像のフレーム周波数を２９．９７Ｈｚと２４Ｈｚに変更する制御例のフローチャートを示したものである。ＶＴＨ１は動ベクトル平均値、ＶＴＨ２は動ベクトル最大値、ＶＴＨ３は動ベクトル分散値の閾値をそれぞれ表す。
【００５０】
例えば、ＶＴＨ１＝４、ＶＴＨ２＝３２、ＶＴＨ３＝１６とすると、動ベクトル平均が４以下かつ、最大値が３２以下かつ、分散値が１６以下のとき２４Ｈｚ、それ以外のとき２９．９７Ｈｚのフレーム周波数となるようフレーム周波数指定信号１０３を出力することを意味する。
【００５１】
また、別の制御例としてピクチャ内の非０ベクトルのＭＢ数を利用することができる。非０のベクトルのとき符号化処理ではベクトル情報を削減できるため、非０ＭＢ数閾値ＮＺＴＨ以下の場合、静止画として２４Ｈｚで処理し、それ以外のとき２９．９Ｈｚで処理を行う。
上に述べた二つの制御例を組み合わせることで、それぞれ単独で制御するより高精度に制御を行うことも可能である。
【００５２】
次に、画像解像度変更回路２とフレーム周波数変更回路３の実施例について説明する。
図５は、画面の複雑さを表すＤＣＴ係数値のアクティビティ平均値ＡＣＴと静止画／動画の判定に動ベクトル平均値Ｖａｖｅ　を用いて、入力画像の水平解像度を１９２０画素と１４４０画素、フレーム周波数を２９．９７Ｈｚと２４Ｈｚに変更する制御例のフローチャートを示したものである。ＶＴＨ４は動ベクトル平均値の、ＡＴＨ１はアクティビティ平均値の閾値を、それぞれ表す。
【００５３】
例えば、ＶＴＨ４＝１６、ＡＴＨ１＝２５６とすると、Ｖａｖｅが１６以下かつＡＣＴが２５６以下のとき１９２０画素×１０８０ライン、２４Ｈｚ、Ｖａｖｅが１６以下かつＡＣＴが２５６より大きい場合、１４４０画素×１０８０ライン、２４Ｈｚとし、それ以外の時１４４０画素×１０８０ライン、２９．９７Ｈｚとなるよう解像度指定信号１０１、フレーム周波数指定信号１０３を出力する。
【００５４】
図６は、図５のフローチャートの解像度、フレーム周波数の領域を表す図である。符号化レートを１２Ｍｂｐｓと仮定して動作について説明する。
動ベクトル平均値が閾値ＶＴＨ４以下かつアクティビティ値が閾値ＡＴＨ１以下のとき領域１（１９２０画素×１０８０ライン、２４Ｈｚ）とする。領域１は画面が静止画に近く平坦な部分が多いとき選択される。領域１が選択される場合、フレームレートを２４Ｈｚに下げることにより２９．９７Ｈｚの時よりフレーム間の時間相関が低くなり、動ベクトル距離はより大きな値となる。しかし、単位時間当たりの入力画像情報を削減することで、画素当たりの割当ｂｉｔ数を、０．１９ｂｉｔ／画素〜０．２４ｂｉｔ／画素に増やすことが出来、再生画像品質を向上させる。
【００５５】
動ベクトル平均値が閾値ＶＴＨ４以下かつアクティビティ平均値が閾値ＡＴＨ１より大きいとき領域２（１４４０画素×１０８０ライン、２４Ｈｚ）とする。領域２は画面が静止画に近いが複雑な画像のとき選択される。領域２が選択される場合、２４Ｈｚとしても領域１同様２９．９７Ｈｚ時の動ベクトル平均値が小さいため、時間相関の低下を考慮しても長い動ベクトル平均値が出現しない。このため、符号化効率の低下とならない。画面解像度については、複雑度が大きい画像であるためＤＣＴ係数値の広域成分に多くの有為係数値が発生する。このため、各ＤＣＴブロックに割り当てる符号量を増やすことでブロック雑音を防ぐことができる。このとき、画素当たりの割当ｂｉｔ数は０．３２ｂｉｔ／画素となる。
【００５６】
動ベクトル平均値が閾値ＶＴＨ４より大きいとき、領域３（１４４０画素×１０８０ライン、２９．９７Ｈｚ）とする。領域３は、動画部と判断される画像のとき選択される。動画は、全体の符号化レートに占める動ベクトル情報の割合が多いため、画面解像度を１４４０画素×１０８０ラインとすることで画面内の動ベクトル数を削減し、より多くの情報量をＤＣＴ係数値に割り当て再生画像品質を向上させる。このとき、画素当たりの割当ｂｉｔ数は０．２６ｂｉｔ／画素となる。
【００５７】
上に説明したように、入力画像の特性に合わせて解像度可変、フレーム周波数可変とすることで、１９２０画素×１０８０ライン、２９．９７Ｈｚの固定値で符号化した場合、０．１９ｂｉｔ／画素の割当ｂｉｔ数がそれぞれ０．２４、０．３２、０．２６と大幅に増える。このため、ノイズを削減することにより再生画像品質を向上することができる。
【００５８】
本提案の符号化装置は、符号化ビットレートが一定であることを想定している。これに対し、上記従来技術を用いたフレームレートを動的に変更する例としての先願発明例１の特開２００１−２４５３０３号公報では、オブジェクトの動きの速いシーンでフレームレートを上げて動きが不自然になるのを避ける例が示されている。この方式は、可変ビットレート（ＶＢＲ）が使用できる蓄積系の符号化システムでは、画質改善を図る点で有効である。しかし、符号化ビットレートが一定である場合には、動きの速い画像では画質改善のためフレームレートを上げることはできない。
【００５９】
本提案の画像符号化装置では、人間の視覚特性は動きの速い領域では、動的視力が落ちることを利用して、画面内の解像度を低解像度とすることで、一定符号化レートであっても従来技術を用いた画像符号化装置より優れた再生画像品質を得ることが可能である。
【００６０】
以上、本発明の実施例について回路を用いて構成する例について述べたが、予め記憶された画像データに対し、ソフトウェアを用いて圧縮する場合であっても、本実施例で説明した回路と同じ機能を有するソフトウェアで処理を行っても本実施例の効果は変わらない。
【００６１】
なお、上述の実施形態は本発明の好適な実施の一例である。ただし、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
【００６２】
【発明の効果】
以上の説明より明らかなように、本発明の画像符号化装置および同方式は、入力画像の画像構成の特性を判定し、この判定に基き入力画像を所定の入力解像度となるようフィルタ処理を行い、解像度変更された画像信号に対し指定されたフレーム周波数となるよう入力画像のフレーム数を削減し、フレーム周波数変換された画像信号を用いて符号化する。これにより、入力画像の画像構成の特性に合わせ適応的に解像度を変更することにより低ビットレート化を可能とする。本発明を用いることで、従来再生画像品質の劣化が顕著であった低ビットレートでの再生画像品質を向上することが出来るという優れた効果がある。
【図面の簡単な説明】
【図１】本発明の画像符号化装置および同方式の実施形態を示す全体ブロック図である。
【図２】画像解像度変更回路を示すブロック図である。
【図３】フレーム周波数変更制御例を示すフローチャート図（１）である。
【図４】フレーム周波数変更制御例を示すフローチャート図（２）である。
【図５】解像度変更、フレーム周波数変更制御例を示すフローチャート図である。
【図６】解像度変更、フレーム周波数変更制御例を示す領域図である。
【符号の説明】
１　入力画像制御回路
２　画像解像度変更回路
３　フレーム周波数変更回路
４　ＭＰＥＧ符号化回路
５　符号化制御回路
６　フィールド差分値算出回路
２１　水平フィルタ回路
２２　垂直フィルタ回路
２３　フィルタ制御回路
１００　入力画像信号
１０１　解像度指定信号
１０２　解像度変更された画像信号
１０３　フレーム周波数指定信号
１０４　フレーム周波数変換された画像信号
１０５　符号化制御信号
１０６　ＭＰＥＧストリーム
１０７　ＭＢ符号化統計情報
１０８　入力画像制御信号
１０９　符号化統計情報
１１０　フィールド差分値情報
１１１　遅延した入力画像信号
１２２　水平フィルタ係数
１２３　水平画素数変換された画像信号
１２４　垂直フィルタ係数

Claims

入力画像の画像構成の特性を判定する入力画像制御回路と、
前記判定に基き前記入力画像を所定の入力解像度となるようフィルタ処理を行い解像度変更された画像信号を出力する画像解像度変更回路と、
前記解像度変更された画像信号に対し指定されたフレーム周波数となるよう前記入力画像のフレーム数を削減し、該フレーム数の削減処理によりフレーム周波数変換された画像信号を出力するフレーム周波数変更回路と、
前記フレーム周波数変換された画像信号を用いて符号化する符号化回路とを有して構成され、
前記入力画像の画像構成の特性に合わせ適応的に解像度を変更することにより低ビットレート化を可能としたことを特徴とする画像符号化装置。
前記入力画像の画像構成の特性とは、該入力画像の静止画度、複雑さ、解像度、フレーム周波数の少なくともいずれか１つを含む特性であり、該特性を適応的に判定して前記フィルタ処理を行うことを特徴とする請求項１記載の画像符号化装置。
前記符号化回路は、ＭＰＥＧ２ストリームに変換するＭＰＥＧ符号化回路であることを特徴とする請求項１または２記載の画像符号化装置。
前記入力画像制御回路は、前記ＭＰＥＧ２符号化回路から得られる符号化統計情報と、前記フレーム周波数変更回路から得られる前フィールドとの差分値とにより前記判定をして、前記入力画像の解像度やフレーム周波数を決定することを特徴とする請求項３記載の画像符号化装置。
前記画像解像度変更回路は、遅延した入力画像の水平画素数を変更するための水平フィルタと、垂直ライン数を変更するための垂直フィルタとで構成され、所定の入力解像度となるようフィルタ係数を決定して前記フィルタ処理を行い、解像度変更された画像信号を前記フレーム周波数変更回路に出力することを特徴とする請求項１から４のいずれか１項に記載の画像符号化装置。
前記画像解像度変更回路は、前フィールドとのフィールド差分値、フレーム／フィールドＤＣＴのピクチャ内マクロブロック数、ならびに動ベクトル情報のうちの一つあるいは複数の情報を用いて入力画像の解像度を変更することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
前記フレーム周波数変更回路は、１ＧＯＰ前のＩピクチャ、Ｐピクチャ、Ｂピクチャのピクチャ種別毎の平均符号化ビット数比率を用いて前記入力画像のフレーム周波数を変更することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
前記フレーム周波数変更回路は、内容が“０”でない動ベクトルマクロブロックの数、および動ベクトル情報のいずれか一つあるいは両方を用いて前記入力画像の持つフレーム周波数を変更することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
入力画像制御回路により入力画像の画像構成の特性を判定し、
画像解像度変更回路が前記判定に基き前記入力画像を所定の入力解像度となるようフィルタ処理を行い解像度変更された画像信号を出力し、
前記解像度変更された画像信号に対し指定されたフレーム周波数となるようフレーム周波数変更回路が前記入力画像のフレーム数を削減し、該フレーム数の削減処理によりフレーム周波数変換された画像信号を出力し、
符号化回路が前記フレーム周波数変換された画像信号を用いて符号化し、
前記入力画像の画像構成の特性に合わせ適応的に解像度を変更することにより低ビットレート化を可能としたことを特徴とする画像符号化方式。
前記入力画像の画像構成の特性とは、該入力画像の静止画度、複雑さ、解像度、フレーム周波数の少なくともいずれか１つを含む特性であり、該特性を適応的に判定して前記フィルタ処理を行うことを特徴とする請求項９記載の画像符号化方式。
前記符号化回路は、ＭＰＥＧ２ストリームに変換することを特徴とする請求項９または１０記載の画像符号化方式。
前記ＭＰＥＧ２符号化回路から得られる符号化統計情報と、前記フレーム周波数変更回路から得られる前フィールドとの差分値とにより前記判定をして、前記入力画像制御回路が前記入力画像の解像度やフレーム周波数を決定することを特徴とする請求項１１記載の画像符号化方式。
前記遅延した入力画像の水平画素数を変更するための水平フィルタと、垂直ライン数を変更するための垂直フィルタとで、前記画像解像度変更回路が、所定の入力解像度となるようフィルタ係数を決定して前記フィルタ処理を行い、解像度変更された画像信号を前記フレーム周波数変更回路に出力することを特徴とする請求項９から１２のいずれか１項に記載の画像符号化方式。
前フィールドとのフィールド差分値、フレーム／フィールドＤＣＴのピクチャ内マクロブロック数、ならびに動ベクトル情報のうちの一つあるいは複数の情報を用いて、前記画像解像度変更回路が入力画像の解像度を変更することを特徴とする請求項９から１３のいずれか１項に記載の画像符号化方式。
１ＧＯＰ前のＩピクチャ、Ｐピクチャ、Ｂピクチャのピクチャ種別毎の平均符号化ビット数比率を用いて、前記フレーム周波数変更回路が前記入力画像のフレーム周波数を変更することを特徴とする請求項９から１３のいずれか１項に記載の画像符号化方式。
内容が“０”でない動ベクトルマクロブロックの数、および動ベクトル情報のいずれか一つあるいは両方を用いて、前記フレーム周波数変更回路が前記入力画像の持つフレーム周波数を変更することを特徴とする請求項９から１３のいずれか１項に記載の画像符号化方式。