JP2010287916A - 画像符号化方法 - Google Patents

Abstract

【課題】ループフィルタを有する画像符号化装置において、圧縮の困難さに応じて、フィルタ強度特性をユーザーが設定可能とした画像符号化方法及び装置を提供する。
【解決手段】指定されたフィルタ強度に応じて局所復号画像にフィルタ処理を施してフレームメモリ１１４に格納するループフィルタ手段１１５と、量子化パラメータと指定されたフィルタ強度制御パラメータに応じて前記フィルタ強度を設定するフィルタ制御部１１６と、量子化部１０３とインター予測部１１３を有する画像符号化装置において、前記フィルタ強度制御パラメータを前記量子化パラメータに基づいて決定するフィルタ処理強度設定部１１７ａを備えた。
【選択図】図１

Description

本発明は、ループフィルタを有する画像符号化方法及び装置に関するものである。

ループフィルタ（インター予測に用いる局所復号画像へのフィルタ処理）を有する最新の画像符号化方式の一つには、Ｈ．２６４／ＭＰＥＧ−４ｐａｒｔ１０（以下、Ｈ．２６４と省略する）がある。

従来の画像符号化装置としては、入力画像の画像パターンに応じて、フィルタ処理の強度特性を制御しているものがあった（例えば、特許文献１参照）。図７は、前記特許文献１に記載された従来のＨ．２６４の画像符号化装置を示すものである。以下、図７を用いて従来のＨ．２６４の画像符号化装置について説明する。

図７において、加算器１０１は、スイッチによって出力される予測画像を入力画像から減算し、減算後の差分データを直交変換部１０２に出力する。直交変換部１０２は、差分データを直交変換し、直交変換後の周波数成分を量子化部１０３に出力する。

次に、量子化部１０３は、レート制御部１０４にて決定された量子化パラメータに応じて周波数成分を量子化し、量子化データを逆量子化部１０７、エントロピー符号化部１０５に出力する。エントロピー符号化部１０５は、量子化データをエントロピー符号化し、エントロピー符号化データを多重化部１０６に出力する。多重化部１０６は、多重化部１０６にてフィルタ処理強度設定部から出力されたフィルタ強度制御パラメータとエントロピー符号化データを多重化し、符号化データとして出力する。

また、レート制御部１０４は、多重化部１０６により出力された符号化データに基づいて量子化パラメータを決定し、量子化パラメータを量子化部１０３、逆量子化部１０７、フィルタ制御部１１６に出力する。逆量子化部１０７は、量子化パラメータに基づいて、量子化データを逆量子化し、逆量子化データを逆直交変換部１０８に出力する。逆直交変換部１０８は、逆量子化データを逆直交変換し、逆直交変換したデータを加算器１０９に出力する。

加算器１０９は、逆直交変換したデータとスイッチ１１０により出力される予測画像とを加算して局所復号画像を生成し、ブロックメモリ１１２とループフィルタ１１５に出力する。ブロックメモリ１１２は局所復号画像を格納する。イントラ予測部１１１は、ブロックメモリ１１２から局所復号画像を読出し、イントラ予測画像を生成し、スイッチ１１０に出力する。

画像パターン判定部５０１は、入力画像のパターンを判定し、パターン判定結果をフィルタ処理強度設定部１１７に出力する。フィルタ処理強度設定部１１７は、パターン判定結果に基づいてフィルタ強度制御パラメータを設定し、フィルタ制御部１１６に出力する。フィルタ制御部１１６は、フィルタ制御パラメータと量子化パラメータとに基づきフィルタ強度を設定する。ループフィルタ１１５は、フィルタ制御部１１６により設定されたフィルタ強度に基づいて局所復号画像をフィルタ処理し、フィルタ処理済み局所復号画像をフレームメモリ１１４に出力する。フレームメモリ１１４は、フィルタ処理済み局所復号画像を格納する。インター予測部１１３は、フレームメモリ１１４からフィルタ処理済み局所復号画像を読出し、インター予測画像を生成し、スイッチ１１０に出力する。

スイッチ１１０は、イントラ予測画像或いはインター予測画像の一方を選択し、予測画像として加算器１０１と加算器１０９に出力する。

すなわち、従来の画像符号化装置においては、画像パターン判定部５０１にて入力画像データのパターンを判定し、その結果に応じてループフィルタ１１５の強度を制御していた。

Ｈ．２６４では、マクロブロックと呼ばれる矩形ブロックを一つの処理単位として符号化され、複数のマクロブロックから構成されるスライス単位で、ループフィルタの有効／無効と適用範囲、フィルタ強度特性を制御することができる。具体的には、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃにより、ループフィルタの有効／無効と、有効の場合はスライス境界にフィルタを適用するか否かを切替えることができる。また、フィルタ強度は、量子化パラメータに応じて予め与えられた特性に従って変化するが、２つのフィルタ強度制御パラメータ（ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２）により、フィルタ強度特性を変更できる。
特開２００６−１１４９７９号公報

しかしながら、前記従来の構成では、フィルタ強度制御パラメータの設定は入力画像のパターンのみに基づいており、固定的なフィルタ強度特性となっていた。一方で、圧縮の困難さに対する画質の変化はエンコード処理全体（インター／イントラ予測、量子化など）の特性にも依存するため、予め与えられたフィルタ強度特性と必ずしも相性が良いとは限らず、相性が悪い場合には画質が劣化する。すなわち、圧縮が容易な場合などにフィルタ強度が強すぎてボケが発生したり、圧縮が困難な場合などにフィルタ強度が弱すぎてブロック歪みが発生したりするという課題を有していた。

本発明は、前記従来の課題を解決するもので、ループフィルタを有する画像符号化装置において、圧縮の困難さに応じて、フィルタ強度特性をユーザーが設定可能とした画像符号化方法及び装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の画像符号化方法は、インター予測を行うステップと前記インター予測に用いる局所復号画像へのフィルタ処理を施すステップとを含む手順により入力画像データを符号化する画像符号化方法において、所定の処理単位毎に、符号化の難易度を表す指標に基づいて、前記フィルタ処理の強度特性を制御するフィルタ強度制御パラメータを決定する。

本構成によって、ループフィルタを有する画像符号化装置において、圧縮の困難さに応じて、エンコード処理全体の特性などを考慮して、フィルタ強度特性をユーザーが設定できる。

本発明の画像符号化方法及び装置によれば、圧縮の困難さに応じて、エンコード処理全体の特性などを考慮して、フィルタ強度特性をユーザーが設定できるようになり、画質の向上が可能となる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像符号化装置のブロック図である。図１において、図７と同じ構成要素については同じ符号を用い、その説明を省略する。

図１において、レート制御部１０４ａは、量子化部１０３、逆量子化部１０７、フィルタ制御部１１６、フィルタ処理強度設定部１１７ａに量子化パラメータを出力する。フィルタ処理強度設定部１１７ａは、図７の従来のフィルタ処理強度設定部１１７とは異なり、量子化パラメータに基づいてフィルタ強度制御パラメータを決定する。

図２は、フィルタ処理強度設定部１１７ａにおける処理を説明する図である。図２（ａ）のグラフにおける各曲線（−６〜＋６）は、Ｈ．２６４で予め定められている量子化パラメータ（ＱＰ）に対するフィルタ強度特性である。図２（ａ）の太線で示す折れ線は、本実施の形態１における量子化パラメータに対するフィルタ強度特性制御の一例であり、図２（ｂ）に示すように、閾値ＴＨａ（０）〜ＴＨａ（ｎ−１）（ｎは１以上の整数）と量子化パラメータの関係から決定したフィルタ強度制御パラメータＳＴＲａ（０）〜ＳＴＲａ（ｎ）に基づいて変化するものである。閾値ＴＨａ（０）〜ＴＨａ（ｎ−１）及びフィルタ強度制御パラメータＳＴＲａ（０）〜ＳＴＲａ（ｎ）は、フィルタ強度特性を決定するユーザー設定値である。

一般的に量子化パラメータは、圧縮が容易な場合には小さく、圧縮が困難な場合には大きくなる傾向があり、かかる構成によれば、量子化パラメータに応じてフィルタ強度制御パラメータをフィルタ処理強度設定部１１７ａにて設定することができるため、圧縮の困難さに対するフィルタ強度特性を、エンコード処理全体の特性などを考慮してユーザーが設定できるようになり、画質の向上が可能となる。

なお、本実施の形態１において、フィルタ強度制御パラメータの決定に用いる量子化パラメータ（ＱＰ）は、ピクチャヘッダのＱＰ、ピクチャ先頭のＱＰ、スライスヘッダのＱＰ、スライス先頭のＱＰ、少なくとも１枚以上の符号化済みフレームの平均ＱＰ、少なくとも１つ以上の符号化済みスライスの平均ＱＰなど、レート制御の目的で決定されたＱＰに基づく値であれば実施可能である。

（実施の形態２）
図３は、本発明の実施の形態２における画像符号化装置のブロック図である。図３において、図１および図７と同じ構成要素については同じ符号を用い、その説明を省略する。

図３において、多重化部１０６ａは、符号化データをレート制御部１０４や受信バッファ占有量計算部３０１に出力する。受信バッファ占有量計算部３０１は、各フレームの符号化データより受信バッファのシミュレーション（後述）を実施して、受信バッファ占有量を計算する。フィルタ処理強度設定部１１７ｂは、図７の従来のフィルタ処理強度設定部１１７とは異なり、前記受信バッファ占有量に基づいてフィルタ強度制御パラメータを決定する。

図４は、フィルタ処理強度設定部１１７ｂにおける処理を説明する図である。図４（ａ）のグラフは、Ｈ．２６４ではＣｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ（ＣＰＢ）と呼ばれるデコーダの受信バッファのシミュレーション結果であり、所定のビットレートで受信バッファに流入したビットが、フレームが復号されるタイミングで瞬間的に受信バッファから引き抜かれる様子を表している。図４（ａ）の破線丸は、本実施の形態２におけるバッファ占有量評価ポイントの一例で、ここではイントラ符号化フレームから始まる複数フレームのグループであるＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ（ＧＯＰ）の先頭フレーム引き抜き後のバッファ占有量を評価し、図４（ｂ）に示すように、閾値ＴＨｂ（０）〜ＴＨｂ（ｎ−１）とバッファ占有量（ＢＦ）の関係からフィルタ強度制御パラメータＳＴＲｂ（０）〜ＳＴＲｂ（ｎ）を決定し、評価ポイント直後のフレームであるＧＯＰの２枚目以降のフレームのフィルタ強度制御パラメータとして設定する。閾値ＴＨｂ（０）〜ＴＨｂ（ｎ−１）及びフィルタ強度制御パラメータＳＴＲｂ（０）〜ＳＴＲｂ（ｎ）は、フィルタ強度特性を決するユーザー設定値である。

一般的に受信バッファ占有量は、圧縮が容易な場合には多く、圧縮が困難な場合には少なくなる傾向があり、かかる構成によれば、受信バッファ占有量に応じてフィルタ強度制御パラメータをフィルタ処理強度設定部１１７ｂにて設定することができるため、圧縮の困難さに対するフィルタ強度特性を、エンコード処理全体の特性などを考慮してユーザーが設定できるようになり、画質の向上が可能となる。

なお、本実施の形態２において、受信バッファ占有量の評価ポイントとフィルタ強度制御パラメータ反映ポイントの組はＧＯＰ先頭フレームの引き抜き後とその直後のフレームとしたが、ＧＯＰ先頭フレームの引き抜き前とＧＯＰ先頭フレーム、各フレームの引き抜き後とその直後のフレーム、各フレームの引き抜き前とそのフレームなど、フィルタ強度制御パラメータ反映ポイントが受信バッファ占有量評価ポイントより後になっていれば実施可能である。

（実施の形態３）
図５は、本発明の実施の形態３における画像符号化装置のブロック図である。図５において、図１、図３および図７と同じ構成要素については同じ符号を用い、その説明を省略する。

図５において、多重化部１０６ａは、符号化データをレート制御部１０４や受信バッファ占有量計算部３０１に出力する。ビットレート算出部４０１は、符号化データより所定の短期間（１ＧＯＰ或いは１〜数秒程度）におけるビットレートを計算する。フィルタ処理強度設定部１１７ｃは、図７の従来のフィルタ処理強度設定部１１７とは異なり、前記ビットレートに基づいてフィルタ強度制御パラメータを決定する。

図６は、フィルタ処理強度設定部１１７ｃにおける処理を説明する図である。図６（ａ）のグラフは、ビットレートの時間変化を表している。図６（ａ）の破線は、本実施の形態３における閾値の一例で、図６（ｂ）に示すように、閾値ＴＨｃ（０）〜ＴＨｃ（ｎ−１）とビットレート（ＢＲ）の関係からフィルタ強度制御パラメータＳＴＲｃ（０）〜ＳＴＲｃ（ｎ）を決定する。閾値ＴＨｃ（０）〜ＴＨｃ（ｎ−１）及びフィルタ強度制御パラメータＳＴＲｃ（０）〜ＳＴＲｃ（ｎ）は、フィルタ強度特性を決定するユーザー設定値である。

一般的に短期間のビットレートは、圧縮が容易な場合には低く、圧縮が困難な場合には高くなる傾向があり、かかる構成によれば、短期間のビットレートに応じてフィルタ強度制御パラメータをフィルタ処理強度設定部１１７ｃにて設定することができるため、圧縮の困難さに対するフィルタ強度特性を、エンコード処理全体の特性などを考慮してユーザーが設定できるようになり、画質の向上が可能となる。

なお、本実施の形態１から３の画像符号化装置において、フィルタ無効の状態をフィルタ強度特性の一つとして加えてもよい。

また、本実施の形態において、画像符号化装置を構成する各機能ブロックは、典型的には、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現されるが、その機能の一部または全部を集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤ ＰＲＯＧＲＡＭＭＡＢＬＥ ＧＡＴＥ ＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本発明にかかる画像符号化方法及び装置は、パーソナルコンピュータ、ＤＶＤレコーダ等のビデオレコーダ、ビデオカメラ等の映像を記録する機器に適用でき、ループフィルタを利用する高画質記録技術として有用である。

本発明の実施の形態１における画像符号化装置のブロック図 本発明の実施の形態１におけるフィルタ強度制御の説明図 本発明の実施の形態２における画像符号化装置のブロック図 本発明の実施の形態２におけるフィルタ強度制御の説明図 本発明の実施の形態３における画像符号化装置のブロック図 本発明の実施の形態３におけるフィルタ強度制御の説明図 従来の画像符号化装置のブロック図

符号の説明

１０１ 可算器
１０２ 直交変換部
１０３ 量子化部
１０４，１０４ａ レート制御部
１０５ エントロピー符号化部
１０６，１０６ａ 多重化部
１０７ 逆量子化部
１０８ 逆直交変換部
１０９ 可算器
１１０ スイッチ
１１１ イントラ予測部
１１２ ブロックメモリ
１１３ インター予測部
１１４ フレームメモリ
１１５ ループフィルタ
１１６ フィルタ制御部
１１７ａ，１１７ｂ，１１７ｃ フィルタ処理強度設定部
３０１ 受信バッファ占有量計算部
４０１ ビットレート算出部

Claims (6)

1. インター予測を行うステップと前記インター予測に用いる局所復号画像へのフィルタ処理を施すステップとを含む手順により入力画像データを符号化する画像符号化方法であって、
   所定の処理単位毎に、符号化の難易度を表す指標に基づいて、前記フィルタ処理の強度特性を制御するフィルタ強度制御パラメータを決定することを特徴とする画像符号化方法。
2. 前記符号化の難易度を表す指標は、前記所定の処理単位における量子化パラメータの初期値であることを特徴とする請求項１記載の画像符号化方法。
3. 前記符号化の難易度を表す指標は、所定期間の符号化で使用した量子化パラメータの平均値であることを特徴とする請求項１記載の画像符号化方法。
4. 前記符号化の難易度を表す指標は、前記所定の処理単位の先頭を含むフレームのデータを引き抜く前の受信バッファ占有量であることを特徴とする請求項１記載の画像符号化方法。
5. 前記符号化の難易度を表す指標は、所定期間のビットレートであることを特徴とする請求項１記載の画像符号化方法。
6. 入力画像データからインター予測画像或いはイントラ予測画像を減算する第１の加算器と、前記減算の結果を直交変換する直交変換部と、前記直交変換の結果を量子化パラメータに応じて量子化する量子化部と、前記量子化の結果を前記量子化パラメータに応じて逆量子化する逆量子化部と、前記逆量子化の結果を逆直交変換する逆直交変換部と、前記逆直交変換の結果を前記インター予測画像或いは前記イントラ予測画像に加算し局所復号画像を出力する第２の加算器と、指定されたフィルタ強度に応じて前記局所復号画像にフィルタ処理を施してフレームメモリに格納するループフィルタ手段と、前記フレームメモリに保持されているフィルタ処理済みの局所復号画像を用いてインター予測画像を生成するインター予測部と、前記量子化パラメータと指定されたフィルタ強度制御パラメータに応じて前記フィルタ強度を設定するフィルタ制御部とを有する画像符号化装置であって、
   前記フィルタ強度制御パラメータを前記量子化パラメータに基づいて決定するフィルタ処理強度設定部を有することを特徴とする画像符号化装置。

Images