JP2007110568A

JP2007110568A - 画像符号化装置

Info

Publication number: JP2007110568A
Application number: JP2005300981A
Authority: JP
Inventors: Toshiyasu Sugio; 敏康杉尾; Takahiro Nishi; 孝啓西; Shinya Sumino; 眞也角野
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-10-14
Filing date: 2005-10-14
Publication date: 2007-04-26

Abstract

【課題】低処理量で4x4画素単位の直交変換と8x8画素単位の直交変換を切り替え、主観画質を向上する画像符号化装置を提供することを目的とする。
【解決手段】原画像と予測画像との予測残差を符号化する画像符号化装置であって、前記原画像から特徴量を抽出する特徴量抽出部と、前記特徴量および符号化時の符号化情報から直交変換の変換ブロックサイズを決定する直交変換ブロックサイズ決定部と、前記変換ブロックサイズに応じて前記予測残差の直交変換を行う直交変換部とからなることを特徴とする画像符号化装置。
【選択図】図１

Description

本発明は、動画像符号化に関するものであり、特に限られたリソースで動画像符号化を行うLSIやソフトウェア等において、適応的な直交変換ブロックサイズ切り替え部を備えた動画像符号化装置に関する。

近年、放送や通信および蓄積の分野における画像の高能率符号化方法として、MPEG(Moving Picture Experts Group)とITU-T合同で標準化されたH.264/AVCが広く採用されている。H.264/AVCは、従来のようなピクチャの時間的な相関を利用する動き補償と、空間的な相関を利用するための周波数変換によるハイブリッド符号化器の構成を踏襲している。しかしながら、いくつかのツールを新たに導入するとともに既存のツールを最適化することで、従来の規格（ITU-T H.263やMPEG-4）の２倍の符号化効率を達成している。ここで、ピクチャとはフレームまたはフィールドのことを意味する。

H.264/AVCは高能率符号化を実現する反面、符号化に伴い多大な演算量を必要とする。そのためH.264/AVCの処理をLSIに実装する場合、回路規模が大きくなるか、あるいは動作サイクルを増やすために消費電力が大きくなる。LSI回路規模の増大は、LSIのコストを増加させるだけでなく、ＬＳＩ面積が大きくなり小型軽量のモバイル機器には搭載することができない。また、消費電力の増大は、バッテリで駆動する機器においては、稼動時間を著しく減少させる。また、ソフトウェアで実装する場合には、演算量が多いために非常に高速なＣＰＵが必要になるか、処理時間が膨大になる。

H.264/AVCでは、直交変換のブロックサイズとして、4x4画素単位と8x8画素単位を選択することが可能であり、処理ブロック単位毎に直交変換ブロックサイズを切り替えることによって符号化効率を高めることができる。4x4画素単位と8x8単位の直交変換ブロックサイズの切り替え方法として、非特許文献１がある。

図９は、文献番号１記載のH.264/AVCで用いられるような直交変換ブロックサイズを切り替えるためのハイブリッド符号化装置の一例である。図９を用いて、従来の直交変換ブロックサイズを切り替える構成について説明する。

図９の符号化装置ではまず、原画像１０１とフレーム内予測もしくはフレーム間予測によって得られた予測画像１０２とを差分することで予測残差１０３を得る。そして、予測残差１０３を直交変換A部１０４および直交変換B部１１０に送る。

直交変換A部１０４は、予測残差１０３に対して4x4画素単位の直交変換を行い、得られた直交変換係数を量子化A部１０５に送る。量子化A部１０５は直交変換係数に対して量子化を行い、量子化係数A１１６を求める。量子化係数A１１６は逆量子化A部１０６および逆直交変換A部１０７によって逆変換され、画像再構成A部１０８は逆変換後の係数と予測画像１０２とを加算することで再構成画像Aを得る。

直交変換B部１１０は、予測残差１０３に対して8x8画素単位の直交変換を行い、得られた直交変換係数を量子化B部１１１に送る。量子化B部１１１は直交変換係数に対して量子化を行い、量子化係数B１１７を求める。量子化係数B１１７は逆量子化B部１１２および逆直交変換B部１１３によって逆変換され、画像再構成B部１１４は逆変換後の係数と予測画像１０２とを加算することで再構成画像B１１５を得る。

符号化効率比較部１１８は、まず、原画像１０１と再構成画像A１０９とのSSD(Sum of Square Difference)を求める。次に、原画像１０１と再構成画像B１１８とのSSDを計算する。そして、SSDが小さい方の再構成画像を生成した直交変換サイズを符号化効率の高い変換ブロックサイズ１１９として、スイッチ１２０に送信する。

スイッチ１２０は変換ブロックサイズ１１９に応じて、量子化係数A１１６と量子化係数B１１７のうち、エントロピー符号化部１２１に転送する量子化係数を選択し、エントロピー符号化部１２１に転送する。エントロピー符号化部１２１はスイッチ１２０から受信した量子化係数をエントロピー符号化し、符号化データを作成する。

なお、図９の説明では符号化効率の比較時にSSDを用いたが、SAD(Sum of Absolute Difference)等を用いてもよい。

以上説明したように、従来法では符号化対象の予測誤差に対して、それぞれの直交変換を用いて再構成画像までを生成し、符号化効率の高い変換ブロックサイズを選択することにより、符号効率を向上する。
Simplified Use of 8x8 Transforms − Updated Proposal & Result, JVT-K028, Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG, 11th Meeting: Munich, Germany, 15-19 March, 2004

上記従来の方法では、4x4画素単位と8x8画素単位の直交変換を両方とも実行し、それぞれに対して量子化・逆量子化・逆直交変換・画像再構成処理を必要とするため、演算量が多い。

本発明は、上記のような従来法の問題点を解決するためになされたもので、原画像から特徴量を抽出し、特徴量と符号化情報を用いて直交変換ブロックサイズを切り替える画像信号処理方法を提供することを目的とする。

上記課題を解決するため、本発明の請求項１は、原画像と予測画像との予測残差をブロック単位で符号化する画像符号化装置であって、前記原画像から画像の特性を表す特徴量を抽出する特徴量抽出部と、前記特徴量および符号化条件を表す符号化情報から直交変換の直交変換ブロックサイズを決定する直交変換ブロックサイズ決定部と、前記変換ブロックサイズに応じて前記予測残差の直交変換を行う直交変換部とからなることを特徴とする画像符号化装置である。

また、本発明の請求項２は、前記直交変換ブロックサイズ決定部は前記特徴量から前記ブロック単位毎に急峻な画素値の変化が存在するエッジ部と滑らかな画素値の変化が存在する平坦部を分類し、前記エッジ部には前記変換ブロックサイズとして4x4画素のブロックサイズに対して直交変換を行う4x4直交変換を選択し、前記平坦部には前記変換ブロックサイズとして8x8画素のブロックサイズに対して直交変換を行う8x8直交変換を選択することを特徴とする請求項１記載の画像符号化装置である。

また、本発明の請求項３は、前記特徴量抽出部は前記特徴量として前記ブロック単位毎の分散値を求め、前記直交変換ブロックサイズ決定部は前記分散値が閾値よりも大きい場合は前記エッジ部と分類し、前記分散値が閾値よりも小さい場合は前記平坦部と分類することを特徴とする請求項２記載の画像符号化装置である。

また、本発明の請求項４は、前記特徴量抽出部は前記特徴量として前記ブロック単位毎の隣接画素差分絶対和を求め、前記直交変換ブロックサイズ決定部は前記隣接画素差分絶対和が閾値よりも大きい場合は前記エッジ部と分類し、前記隣接画素差分絶対和が閾値よりも小さい場合は前記平坦部と分類することを特徴とする請求項２記載の画像符号化装置である。

また、本発明の請求項５は、前記符号化情報は符号化時のターゲットビットレートを含み、前記直交変換ブロックサイズ決定部は前記ターゲットビットレートが閾値よりも大きい場合は直交変換ブロックサイズとして前記8x8直交変換を選択し、前記ターゲットビットレートが閾値よりも小さい場合は、前記特徴量に応じて直交変換ブロックサイズを選択することを特徴とする請求項１記載の画像符号化装置である。

また、本発明の請求項６は、前記符号化情報は符号化時の量子化パラメータを含み、前記直交変換ブロックサイズ決定部は前記量子化パラメータが閾値よりも小さい場合は直交変換ブロックサイズとして前記8x8直交変換を選択し、前記量子化パラメータが閾値よりも大きい場合は、前記特徴量に応じて直交変換ブロックサイズを選択することを特徴とする請求項１記載の画像符号化装置である。

また、本発明の請求項７は、前記符号化情報は符号化時のスライスタイプを含み、前記直交変換ブロックサイズ決定部は前記スライスタイプがBスライスの場合は直交変換ブロックサイズとして前記8x8直交変換を選択し、前記スライスタイプがBスライスでない場合は、前記特徴量に応じて直交変換ブロックサイズを選択することを特徴とする請求項１記載の画像符号化装置である。

また、本発明の請求項８は、原画像と予測画像との予測残差をブロック単位で符号化する画像符号化方法であって、前記原画像から画像の特性を表す特徴量を抽出する特徴量抽出ステップと、前記特徴量および符号化条件を表す符号化情報から直交変換の直交変換ブロックサイズを決定する直交変換ブロックサイズ決定ステップと、前記変換ブロックサイズに応じて前記予測残差の直交変換を行う直交変換ステップとからなることを特徴とする画像符号化方法である。

また、本発明の請求項９は、原画像と予測画像との予測残差をブロック単位で符号化する半導体装置であって、前記原画像から画像の特性を表す特徴量を抽出する特徴量抽出部と、前記特徴量および符号化条件を表す符号化情報から直交変換の直交変換ブロックサイズを決定する直交変換ブロックサイズ決定部と、前記変換ブロックサイズに応じて前記予測残差の直交変換を行う直交変換部とからなることを特徴とする半導体装置である。

本発明の請求項１による発明によると、画像符号化装置は、原画像の特徴量および符号化時の符号化情報から直交変換ブロックサイズをあらかじめ決定できるため、従来手法のように実際に各直交変換ブロックサイズを用いて直交変換から画像再構成処理を行う必要がなく、大幅に処理量を削減することができるという効果を有する。

また、本発明の請求項２による発明によると、請求項１記載の画像符号化装置は、エッジ部にノイズの影響範囲が狭い4x4画素単位の直交変換を、平坦部に凹凸を再現しやすい8x8画素単位の直交変換を適用できるため、復号画像の主観画質を向上することができるという効果を有する。また、4x4画素単位の直交変換に対する量子化マトリクスを、高周波数成分を保護する値にすることによって、エッジ付近のノイズを軽減することができる。

また、本発明の請求項３による発明によると、請求項２記載の画像符号化装置は、処理ブロック単位毎の分散値を用いてエッジ部および平坦部を分類するため、精度高く直交変換ブロックサイズを切り替えることができ、主観画質を向上できるという効果を有する。

また、本発明の請求項４による発明によると、請求項２記載の画像符号化装置は、処理ブロック単位毎の隣接画素差分絶対和を用いてエッジ部および平坦部を分類するため、処理量を抑えつつ直交変換サイズを切り替えることができるという効果を有する。

また、本発明の請求項５による発明によると、請求項１記載の画像符号化装置は、ターゲットビットレートが高い場合は、直交変換ブロックサイズを8x8画素単位に固定し、切り替えを行わないことによって、高周波数成分を保護する4x4画素単位の量子化マトリクスを使用しなくなり、符号量増加を抑制することができるという効果を有する。

また、本発明の請求項６による発明によると、請求項１記載の画像符号化装置は、量子化パラメータが小さい場合は、直交変換ブロックサイズを8x8画素単位に固定し、切り替えを行わないことによって、高周波数成分を保護する4x4画素単位の量子化マトリクスを使用しなくなり、符号量増加を抑制することができるという効果を有する。

また、本発明の請求項７による発明によると、請求項１記載の画像符号化装置は、スライスタイプがBスライスの場合は、直交変換ブロックサイズを8x8画素単位に固定し、切り替えを行わないことによって、高周波数成分を保護する4x4画素単位の量子化マトリクスを使用しなくなり、符号量増加を抑制することができるという効果を有する。

また、本発明の請求項８による発明によると、画像符号化方法は、原画像の特徴量および符号化時の符号化情報から直交変換ブロックサイズをあらかじめ決定できるため、従来手法のように実際に各直交変換ブロックサイズを用いて直交変換から画像再構成処理を行う必要がなく、大幅に処理量を削減することができるという効果を有する。

また、本発明の請求項９による発明によると、半導体装置は、原画像の特徴量および符号化時の符号化情報から直交変換ブロックサイズをあらかじめ決定できるため、従来手法のように実際に各直交変換ブロックサイズを用いて直交変換から画像再構成処理を行う必要がなく、大幅に処理量を削減することができるという効果を有する。

以下、図面を参照しながら本発明の実施の形態について説明する。

（実施の形態１）
本実施の形態１では、特徴量として分散値を使用する場合を説明する。図１は本発明の実施の形態１を表すブロック図であり、特徴量抽出部２０４および直交変換ブロックサイズ決定部２０７および直交変換部２０９から成る。

特徴量抽出部２０４は、入力された原画像に対して、処理ブロック単位毎の分散値２０５を計算する。ここで、処理ブロック単位とは、符号化を行う単位であり、H.264/AVCでは16x16画素が用いられる。処理ブロック単位内の画素数をＮ、画素値をＸ_iとすると、分散値Ｖは以下の式（１）で表される。

特徴量抽出部２０４は、式（１）で計算した処理ブロック単位毎の分散値２０５を直交変換ブロックサイズ決定部２０７に送信する。

なお、今回の実施例では処理ブロック単位毎の分散値を用いるが、更に小さいサイズ毎の分散値を用いても構わない。

直交変換ブロックサイズ決定部２０７は、分散値２０５および符号化情報２０６から直交変換の変換ブロックサイズ２０８を求め、変換ブロックサイズ２０８を直交変換部２０９へ送信する。直交変換部２０９は、直交変換ブロックサイズ決定部２０７から受信した変換ブロックサイズ２０８に応じて、予測残差２０３の直交変換を実行し、直交変換係数を量子化部へ転送する。なお、量子化部以降の具体的な処理に関しては、本提案書では省略する。

次に、本実施の形態１における直交変換ブロックサイズ決定部２０７の構成について説明する。図２は直交変換ブロックサイズ２０７の内部構成を示したブロック図である。図２に示すように直交変換ブロックサイズ決定部２０７は、8x8画素単位の直交変換に固定するかどうかを判定する8x8固定判定部３０１と、処理ブロック単位内にエッジがあるかどうかを判定するエッジ判定部３０４と、直交変換の変換ブロックサイズ信号を生成する変換ブロックサイズ生成部３０６から成る。

4x4画素単位と8x8画素単位の直交変換には以下の特徴がある。
（ａ）4x4画素単位の直交変換は、量子化によって発生したノイズの影響範囲が狭い
（ｂ）8x8画素単位の直交変換は、複雑な模様での凹凸を再現しやすいがノイズの影響範囲が広い

上記直交変換の特徴から、リンギングノイズの発生しやすいエッジ付近では4x4画素単位の直交変換を、そうでない箇所は8x8画素単位の直交変換を用いることにより、主観画質を向上できる。さらに、H.264/AVCでは直交変換毎に量子化マトリクスを設定できるため、4x4画素単位の直交変換に対する量子化マトリクスとして高周波数成分を保護するものを用いることにより、符号量はやや増加するが、エッジ付近のリンギングノイズを軽減できる。ただし、ターゲットビットレートが高い場合や量子化パラメータが小さい場合および、Bスライスのように予測残差が小さい場合は、8x8画素単位の直交変換でもリンギングノイズが発生しにくいため、4x4画素単位の直交変換への切り替えをしないことにより、量子化マトリクスによる符号量の増加を抑制できる。

上記内容を考慮した、実施の形態１における直交変換ブロックサイズ決定部２０７の動作について説明する。まず、8x8固定判定部３０１は入力されたターゲットビットレート、量子化パラメータ、スライスタイプを含む符号化情報２０６から、変換ブロックサイズとして8x8画素単位を選択すべきかどうかを判定する。そして、8x8画素単位を選択すべきと判定した場合には、変換ブロックサイズ生成部３０６に対して8x8固定要求３０３を送信する。そうでない場合は、エッジ判定部３０４に対してエッジ判定要求３０２を送信する。図３に8x8固定判定部３０１のフローチャートを示す。

以下、図３を用いて8x8画素単位を選択するかどうかを判定する手順を説明する。まず、ステップS10でターゲットビットレートが閾値TH1より大きいかどうかを判定し、大きければ8x8画素単位の直交変換を選択するようにステップS14で8x8固定要求信号を生成する。そうでなければ、ステップS11に移り、量子化パラメータを閾値TH2と比較する。そして、量子化パラメータが閾値TH2より小さければ、S14で8x8固定要求信号を生成し、そうでなければ、ステップS12に移る。ステップS12では、スライスタイプがBスライスかどうかを判定し、Bスライスならば、ステップS14で8x8固定要求信号を生成し、そうでなければ、ステップS13に移ってエッジ判定要求信号を生成する。

以上の手順に従って、8x8固定判定部３０１は8x8固定要求信号もしくはエッジ判定要求信号を生成する。

なお、今回の実施例ではステップS10からS12までの判定順を図３のようにしたが、いずれの順番で行っても構わない。また、ターゲットビットレート、量子化パラメータ、スライスタイプのすべてを用いた例を示したが、いずれかの組み合わせで合っても構わないし、どれか１つを使用しても構わない。

また、符号化情報として、ターゲットビットレート、量子化パラメータ、スライスタイプを用いた例を示したが、フレーム・フィールド構造等の符号化情報を用いて切り替えても良い。

次に、エッジ判定部３０４は、特徴量抽出部２０４から受信した分散値２０５を用いて、処理ブロック単位内にエッジがあるかどうかを判定し、エッジがある場合はエッジ信号３０５をHighとし、エッジがない場合はエッジ信号３０５をlowとする。図４にエッジ判定部３０４のフローチャートを示す。

以下、図４を用いて処理ブロック内にエッジがあるかどうかを判定する手順を説明する。まず、ステップS20で8x8固定判定部３０１からエッジ判定要求３０２を受信したかどうかを判定し、真ならばステップS21に移り、偽ならば判定を終了する。次に、ステップS21で処理ブロック単位内の分散値を閾値TH4と比較し、分散値が大きい場合はエッジがあると判定し、ステップS23へ、分散値が小さい場合はエッジがないと判断し、ステップS22へ移る。ステップS22では、エッジ信号をlowとし、ステップS23ではエッジ信号をhighとする。

以上の手順に従って、エッジ判定部３０４は処理ブロック単位内にエッジがあるかどうかを判定する。

なお、今回の実施例では、エッジ信号をhighかlowに設定したが、エッジがあることを示す手段であれば、どのようなものでも構わない。

次に、変換ブロックサイズ生成部３０６は、8x8固定要求３０３およびエッジ信号３０５を受信して、直交変換部２０９に送信する変換ブロックサイズ２０８を決定する。図５に変換ブロックサイズ生成部３０６のフローチャートを示す。

以下、図５を用いて変換ブロックサイズ２０８を生成する手順を説明する。まず、ステップS30で8x8固定判定部３０１から8x8固定要求３０３を受信したかどうかを判定し、受信すればステップS33に移り、そうでなければステップS31に移る。ステップS31ではエッジ判定部３０４から受信したエッジ信号３０５がlowかどうかを判定し、真ならばステップS33へ、偽ならばステップS32に移る。ステップS32では、直交変換部２０９に送信する変換ブロックサイズ２０８として4x4画素単位を選択し、ステップS33では8x8画素単位を選択する。

以上の手順に従って、変換ブロックサイズ生成部３０６は直交変換部２０９に送信する変換ブロックサイズ２０８を決定する。

以上の方法により、本実施の形態１が示す画像符号化装置は、原画像の特徴量である分散値および、符号化の際に用いる符号化情報から、処理ブロック単位の特性に適した直交変換ブロックサイズを決定することができる。

（実施の形態２）
本実施の形態２では、特徴量として隣接画素差分絶対値和を使用する場合を説明する。図６は本発明の実施の形態２を表すブロック図であり、実施の形態１の分散値２０５の代わりに、隣接画素差分絶対和４０２を用いた構成となっている。

実施の形態２における特徴量抽出部４０１は、入力された原画像に対して、処理ブロック単位毎の隣接画素絶対和４０２を計算する。処理ブロック単位内の画素数を水平Ｍ画素、垂直Ｎ画素、画素値をｙ［ｈ］［ｖ］とすると、隣接画素差分絶対和Ｄ_Nは以下の式で表される。

特徴量抽出部４０１は、式（２）で計算した処理ブロック単位毎の隣接画祖差分絶対和値４０２を直交変換ブロックサイズ決定部４０３に送信する。

なお、今回の実施例では処理ブロック単位毎の隣接画素絶対差分和を用いるが、更に小さいサイズ毎の隣接画素絶対差分和を用いても構わない。

直交変換ブロックサイズ決定部４０３は、隣接画素差分絶対和４０２および符号化情報２０６から直交変換の変換ブロックサイズ２０８を求め、変換ブロックサイズ２０８を直交変換部２０９へ送信する。直交変換部２０９は、直交変換ブロックサイズ決定部２０７から受信した変換ブロックサイズ２０８に応じて、予測残差２０３の直交変換を実行し、直交変換係数を量子化部へ転送する。なお、量子化部以降の具体的な処理に関しては、本提案書では省略する。

次に、本実施の形態２における直交変換ブロックサイズ決定部４０３の構成について説明する。図７は直交変換ブロックサイズ４０３の内部構成を示したブロック図である。図７に示すように直交変換ブロックサイズ決定部４０３は、実施の形態１と比べてエッジ判定部５０１に入力される値が分散値２０５から隣接画素差分絶対和４０２に代わっており、その他に関しては実施の形態１と同様である。そこで以下では、エッジ判定部５０１の動作のみ説明する。

エッジ判定部５０１は、特徴量抽出部４０１から受信した隣接画素差分絶対和４０２を用いて、処理ブロック単位内にエッジがあるかどうかを判定し、エッジがある場合はエッジ信号３０５をHighとし、エッジがない場合はエッジ信号３０５をlowとする。図８にエッジ判定部４０２のフローチャートを示す。

以下、図８を用いて処理ブロック内にエッジがあるかどうかを判定する手順を説明する。まず、ステップS40で8x8固定判定部３０１からエッジ判定要求３０２を受信したかどうかを判定し、真ならばステップS31に移り、偽ならば判定を終了する。次に、ステップS31で処理ブロック単位内の隣接画素差分絶対和を閾値TH5と比較し、隣接画素絶対和が大きい場合はエッジがあると判定し、ステップS33へ、隣接画素絶対和が小さい場合はエッジがないと判断し、ステップS32へ移る。ステップS32では、エッジ信号をlowとし、ステップS33ではエッジ信号をhighとする。

以上の手順に従って、エッジ判定部４０２は処理ブロック単位内にエッジがあるかどうかを判定する。

以上の方法により、本実施の形態２が示す画像符号化装置は、原画像の特徴量である隣接画素差分絶対和および、符号化の際に用いる符号化情報から、処理ブロック単位の特性に適した直交変換ブロックサイズを決定することができる。これにより、隣接画素差分絶対和の計算に乗算を用いない分、分散値を用いる実施の形態１よりも処理量を軽減して直交変換ブロックサイズを決定することができる。

以上、実施例１、２について説明したが、特徴量抽出部が抽出する特徴量は、処理ブロック単位内に急峻な画素値の変化が存在するかどうかがわかればどのような値を使用してもよい。また、直交変換サイズの切り替えとして4x4画素単位と8x8画素単位の例を示したが、他の画素単位の直交変換を用いた切り替えであっても構わない。

本発明の画像符号化装置は、圧縮されていない画像データを圧縮符号化するエンコーダＬＳＩとして有効である。また、さまざまなシステムに組み込むことにより、映像の蓄積装置や映像伝送装置等としても適用可能である。

本発明の実施の形態１を説明するためのブロック図本発明の実施の形態１における直交変換ブロックサイズ決定部を説明するためのブロック図本発明の実施の形態１における8x8固定判定部の動作を説明するためのフローチャート本発明の実施の形態１におけるエッジ判定部の動作を説明するためのフローチャート本発明の実施の形態１における変換ブロックサイズ生成部の動作を説明するためのフローチャート本発明の実施の形態２を説明するためのブロック図本発明の実施の形態２における直交変換ブロックサイズ決定部を説明するためのブロック図本発明の実施の形態２におけるエッジ判定部の動作を説明するためのフローチャート従来手法を説明するためのブロック図

符号の説明

２０４特徴量抽出部
２０７直交変換ブロックサイズ決定部
２０９直交変換部
３０１ 8x8固定判定部
３０４エッジ判定部
３０６変換ブロックサイズ生成部

Claims

原画像と予測画像との予測残差をブロック単位で符号化する画像符号化装置であって、
前記原画像から画像の特性を表す特徴量を抽出する特徴量抽出部と、
前記特徴量および符号化条件を表す符号化情報から直交変換の直交変換ブロックサイズを決定する直交変換ブロックサイズ決定部と、
前記変換ブロックサイズに応じて前記予測残差の直交変換を行う直交変換部と
からなることを特徴とする画像符号化装置。
前記直交変換ブロックサイズ決定部は前記特徴量から前記ブロック単位毎に急峻な画素値の変化が存在するエッジ部と滑らかな画素値の変化が存在する平坦部を分類し、前記エッジ部には前記変換ブロックサイズとして4x4画素のブロックサイズに対して直交変換を行う4x4直交変換を選択し、前記平坦部には前記変換ブロックサイズとして8x8画素のブロックサイズに対して直交変換を行う8x8直交変換を選択する
ことを特徴とする請求項１記載の画像符号化装置。
前記特徴量抽出部は前記特徴量として前記ブロック単位毎の分散値を求め、
前記直交変換ブロックサイズ決定部は前記分散値が閾値よりも大きい場合は前記エッジ部と分類し、前記分散値が閾値よりも小さい場合は前記平坦部と分類する
ことを特徴とする請求項２記載の画像符号化装置。
前記特徴量抽出部は前記特徴量として前記ブロック単位毎の隣接画素差分絶対和を求め、
前記直交変換ブロックサイズ決定部は前記隣接画素差分絶対和が閾値よりも大きい場合は前記エッジ部と分類し、前記隣接画素差分絶対和が閾値よりも小さい場合は前記平坦部と分類する
ことを特徴とする請求項２記載の画像符号化装置。
前記符号化情報は符号化時のターゲットビットレートを含み、
前記直交変換ブロックサイズ決定部は前記ターゲットビットレートが閾値よりも大きい場合は直交変換ブロックサイズとして前記8x8直交変換を選択し、前記ターゲットビットレートが閾値よりも小さい場合は、前記特徴量に応じて直交変換ブロックサイズを選択する
ことを特徴とする請求項１記載の画像符号化装置。
前記符号化情報は符号化時の量子化パラメータを含み、
前記直交変換ブロックサイズ決定部は前記量子化パラメータが閾値よりも小さい場合は直交変換ブロックサイズとして前記8x8直交変換を選択し、前記量子化パラメータが閾値よりも大きい場合は、前記特徴量に応じて直交変換ブロックサイズを選択する
ことを特徴とする請求項１記載の画像符号化装置。
前記符号化情報は符号化時のスライスタイプを含み、
前記直交変換ブロックサイズ決定部は前記スライスタイプがBスライスの場合は直交変換ブロックサイズとして前記8x8直交変換を選択し、前記スライスタイプがBスライスでない場合は、前記特徴量に応じて直交変換ブロックサイズを選択する
ことを特徴とする請求項１記載の画像符号化装置。
原画像と予測画像との予測残差をブロック単位で符号化する画像符号化方法であって、
前記原画像から画像の特性を表す特徴量を抽出する特徴量抽出ステップと、
前記特徴量および符号化条件を表す符号化情報から直交変換の直交変換ブロックサイズを決定する直交変換ブロックサイズ決定ステップと、
前記変換ブロックサイズに応じて前記予測残差の直交変換を行う直交変換ステップと
からなることを特徴とする画像符号化方法。
原画像と予測画像との予測残差をブロック単位で符号化する半導体装置であって、
前記原画像から画像の特性を表す特徴量を抽出する特徴量抽出部と、
前記特徴量および符号化条件を表す符号化情報から直交変換の直交変換ブロックサイズを決定する直交変換ブロックサイズ決定部と、
前記変換ブロックサイズに応じて前記予測残差の直交変換を行う直交変換部と
からなることを特徴とする半導体装置。