JP2015103969A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】ＲＧＢの画像を符号化する際に行う演算処理負荷を低減できるようにする。【解決手段】４：４：４フォーマットの画像を符号化する画像符号化装置であって、入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出手段と、前記画像特徴検出手段で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択手段と、前記４：４：４フォーマットの画像を符号化する際の参照画像を格納するための格納手段と、前記プレーン選択手段で選択されたプレーンの画像データと、前記格納手段に格納されている参照画像とを用いて符号化を行う符号化手段とを備える。【選択図】図１

Description

本発明は画像符号化装置及び画像符号化方法に関し、特に、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色（ＲＧＢ）の画像を符号化するために用いて好適な技術に関するものである。

現在、デジタルビデオカメラやハードディスクレコーダーなど、動画像を記録できるデジタル機器が普及している。これらのデジタル機器では、情報量の多い動画像を容量の制限されたフラッシュメモリやハードディスクといった記録メディアに効率的に記録するため、動画像データの圧縮符号化を行っている。

動画像圧縮符号化方式にはさまざまな方式が提案され、標準化されている。代表的な動画像圧縮符号化方式の一つにＨ.２６４符号化方式が挙げられる。Ｈ.２６４符号化方式は、ビデオカメラのハイビジョン記録方式であるＡＶＣＨＤや、地上デジタル放送のワンセグ放送に採用されており、一般に広く普及している動画像圧縮符号化方式である。

このような符号化方式では、入力信号として主にＹＣｂＣｒ信号が用いられている。ＹＣｂＣｒ信号は、ＲＧＢ信号から輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒに色空間変換して得られた信号である。

色差信号Ｃｂ、Ｃｒは輝度信号Ｙより視認性が低いため、解像度を落としても視覚的な影響が少ないという特徴がある。そのため、色差信号をダウンサンプルさせることにより、情報量を抑えることが可能である。これらの情報量を抑えたフォーマットとしては、水平方向の色差信号の画素数を半減させたＹＣｂＣｒ ４：２：２フォーマットや、水平方向、垂直方向ともに画素数を半減させたＹＣｂＣｒ ４：２：０フォーマットなどがある。

画像符号化装置においては、これらのＹＣｂＣｒ ４：２：２フォーマットや、ＹＣｂＣｒ ４：２：０フォーマットを用いることで、符号量を抑えたり、符号化時の様々な処理量を削減できたりするといったメリットが得られる。

一方、近年のディスプレイやビデオカメラの高解像度化、高諧調化に伴い、ＲＧＢ信号を直接符号化し、より高品質な符号化画像を提供する符号化方式も規格化されている。ＲＧＢ信号は、ＲＧＢの各プレーンで全て同一の画素数を有しており、ＲＧＢ ４：４：４フォーマットとも呼ばれている。ＲＧＢ ４：４：４フォーマットを符号化する符号化装置として、特許文献１、特許文献２のような技術が挙げられる。

ＲＧＢ ４：４：４フォーマットを符号化する方式として、２つの方式が存在する。１つは、ＲＧＢの各プレーンで動きベクトルやイントラ予測モード、量子化値などをそれぞれ独立に制御できる符号化方式である。また、他の方式は、ＲＧＢの各プレーンに対して動きベクトル、イントラ予測モード、量子化値などをブロック単位で共通のものを用いる符号化方式である。

また、４：２：０画像信号や４：２：２画像信号の符号化処理と、４：４：４画像信号の符号化処理において、異なる処理の一つに、動き探索が挙げられる。
従来、４：２：０画像信号や４：２：２画像信号の符号化においては、一般に、輝度信号Ｙを用いて動き探索が行われていた。輝度信号Ｙは、被写体の輪郭や明暗のほとんどを表現でき、その網羅性は高いので、動き探索を行う信号として好適であった。

特開２０１０−１１０００６号公報 特開２００８−１７２５９９号公報

特許文献に記載の画像符号化装置においては、ＲＧＢ ４：４：４フォーマットを符号化する際に、ＲＧＢの全プレーンを用いてイントラ予測モード選択の演算を行った場合、演算量が非常に膨大になってしまう。特に、ＲＧＢの各プレーンに対してブロック単位で共通のイントラ予測モードを一つ選択する符号化方式は、一つのイントラ予測モードを選択するのに、４：２：０或いは４：２：２フォーマットの輝度信号用のイントラ予測時の３倍もの演算量が必要となる。このため、演算処理負荷が非常に大きくなってしまう問題点があった。

一方、特許文献２に記載の４：４：４フォーマットの符号化装置においては、３プレーンのうち、一部の信号を用いて動き探索を行うか、あるいは全てのプレーンで動き探索を行って最適な動きベクトルを選択するようにしている。このため、以下のような課題が存在する。

全てのプレーンを用いて動き探索を行うと、動き探索にかかる処理量が３倍となり、処理サイクルやハード規模が増大する。また、参照画像メモリから読み出す参照画像データが３倍必要となり、メモリバスレートが増大する。そのため、高速なメモリバスを備える必要があり、消費電力が増加するという課題があった。
本発明は前述の問題点に鑑み、ＲＧＢの画像を符号化する際に行う演算処理負荷を低減できるようにすることを目的とする。

本発明の画像符号化装置は、４：４：４フォーマットの画像を符号化する画像符号化装置であって、入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出手段と、前記画像特徴検出手段で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択手段と、前記４：４：４フォーマットの画像を符号化する際の参照画像を格納するための格納手段と、前記プレーン選択手段で選択されたプレーンの画像データと、前記格納手段に格納されている参照画像とを用いて符号化を行う符号化手段とを備えることを特徴とする。

本発明によれば、ＲＧＢの画像を符号化する際に行う演算処理負荷を大幅に低減することができる。これにより、回路規模の増大を抑えながら、良好な符号化画像を得ることが可能となる。

第１の実施形態の画像符号化装置の構成例を示すブロック図である。 イントラ予測に用いられる参照画像用の画素を説明する図である。 イントラ４×４予測の予測モードを示す図である。 イントラ４×４予測の予測モードにおける予測画像の作成方法を説明する図である。 特徴検出を用いてプレーン選択を行った場合のイントラ予測への影響について説明する図である。 第２の実施形態の画像符号化装置の構成例を示すブロック図である。 第３の実施形態の画像符号化装置の構成例を示すブロック図である。 第４の実施形態の画像符号化装置の構成例を示すブロック図である。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。
（第１の実施形態）
図１は、本実施形態に係る画像符号化装置の構成例を示すブロック図である。ここでは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色からなるＲＧＢ ４：４：４フォーマットをＨ.２６４符号化方式を用いて符号化を行う符号化装置の例を示している。また、本実施形態ではイントラ予測に関する説明を行うため、インター予測に関するブロック図、および説明は省略してある。

これから符号化が行われるＲＧＢ ４：４：４フォーマットの符号化画像は、フレームバッファ１０１に格納される。
特徴検出部１０２では、これから符号化が行われるマクロブロックをフレームバッファ１０１からＲＧＢ各プレーンごとに読み出し、各プレーンごとの画像の特徴検出を行い、その結果をプレーン選択部１０３に出力する。

画像の特徴は、例えばマクロブロックの画素のばらつきを示す分散値を算出することで検出することが可能となる。マクロブロックの画素値がＰ１〜Ｐ２５６である場合、画素の平均値Ｐｍｅａｎ、および画素の分散値ｖａｒは以下の（１）、（２）式により算出することができる。

プレーン選択部１０３では、特徴検出部１０２から送られてくるＲＧＢ各プレーンの画像特徴情報から、最もイントラ予測モード選択に適したプレーン選択を行う。選択したプレーン情報はイントラ予測部１０４に出力する。プレーン選択の方法としては様々なものが考えられるが、例えば画像特徴情報がマクロブロックの分散値である場合、最も分散値の高いプレーンをイントラ予測モード選択に使用するプレーンとして選択する。

なお、ここでは画像特徴情報としてマクロブロックの画素の分散値を用いたが、画像特徴情報はこれに限ったものではなく、例えばエッジ検出を行った結果を用いて、エッジ成分が最も大きいプレーンを選択してもよいし、周波数変換を行った値を用いてもよい。また、プレーン選択方法としてマクロブロックの画素の分散値の高いものを選択しているが、選択方法もこれに限ったものではなく、空間周波数の大きい画像特徴のプレーンを選択してもよい。

イントラ予測部１０４では、プレーン選択部１０３から送られてきたプレーン情報を用いて、フレームバッファ１０１に格納されている該当プレーンの符号化画像と、参照フレームバッファ１１３に格納されている該当プレーンの参照画像の読み出しを行う。そして、イントラ予測部１０４は、読み出されたプレーンの符号化画像と参照画像を用いてイントラ予測モード選択を行う。このようにすることで、ＲＧＢの３プレーンを用いてイントラ予測モード選択を行う場合と比較し、大幅に演算量を削減することができる。

Ｈ.２６４符号化方式のイントラ予測は、参照画像として符号化を行うマクロブロックの周辺の画素が用いられる。イントラ予測に用いられる参照画像用の画素を図２に示す。
イントラ予測モードにはイントラ４×４予測、イントラ８×８予測、イントラ１６×１６予測があり、それぞれ垂直予測モード、水平予測モード、ＤＣ予測モード等、複数の予測モードが存在する。ここでは、イントラ４×４予測モードを例に説明する。

符号化を行う４×４ブロックの画素ａ〜ｐに対して、周辺の画素Ａ〜Ｍが予測画像用の画素として用いられる。画素Ａ〜Ｄは、符号化を行う４×４ブロックの上方向に隣接する４画素であり、画素Ｅ〜Ｈは画素Ｄの右方向に続く４画素である。画素Ｉ〜Ｌは符号化を行う４×４ブロックの左方向に隣接する４画素であり、画素Ｍは画素Iの上の位置の画素である。この周辺の画素Ａ〜Ｍは、原画像の画素、もしくは符号化が行われたローカルデコード画像の画素が用いられる。

イントラ予測モード選択時には、どちらの画素を用いることもできるが、直交変換部１０５に出力する符号化画像と予測画像との差分画像を生成するときには、予測画像生成用の参照画像としてローカルデコード画像を用いなければならない。この周辺の画素を用いて予測画像がどのように作られるかは、予測モードによって異なる。

図３に、イントラ４×４予測の予測モードを示す。
イントラ４×４予測には、予測モード０から予測モード８まで９つの予測モードが用意されている。それぞれの予測モードにおける予測画像の作成方法を図４に示す。

例えば、予測モード０は、垂直方向に隣接する画素Ａ〜Ｄから予測画像を生成するモードである。符号化を行う４×４ブロックの画素ａ〜ｐに対して、1列目の画素ａ、ｅ、ｉ、ｍに対する予測画像は画素Ａ、２列目の画素ｂ、ｆ、ｊ、ｎに対する予測画像は画素Ｂということになる。また、３列目の画素ｃ、ｇ、ｋ、ｏに対する予測画像は画素Ｃ、４列目の画素ｄ、ｈ、ｌ、ｐに対する予測画像は画素Ｄということになる。

また、予測モード２はＤＣ予測であり、式（３）で示される画素が画素a〜pの全てに対する予測画像となる。
（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）≫３・・・（３）
このように、各予測モードで生成された予測画像と符号化画像との間で減算を行い、画素差分データを生成する。この画素差分データを用いて、どのイントラ予測モードを用いて符号化を行うかを選択する。例えば、予測モード０から予測モード８のうちで、画素差分値の総和が最も小さいものをイントラ予測モードとして選択する。

特徴検出を用いてプレーン選択を行った場合のイントラ予測への影響について、図５を用いて説明する。これから符号化が行われるＲＧＢ ４：４：４:フォーマットのマクロブロック５０１があり、これをＲプレーンに分けたものがマクロブロック５０２、Ｇプレーンに分けたものがマクロブロック５０３、Ｂプレーンに分けたものがマクロブロック５０４である。

ここで、Ｒプレーンのマクロブロック５０２、Ｇプレーンのマクロブロック５０３は画像の特徴として平坦であり、Ｂプレーンのマクロブロック５０４は画像の特徴として横方向に強い相関を持っているものとする。

Ｒプレーンのマクロブロック５０２、Ｇプレーンのマクロブロック５０３は画像の特徴として平坦であり、この場合マクロブロック内の分散値は小さい値となる。一方、Ｂプレーンのマクロブロック５０４は画像の特徴として横方向に強い相関があり、この場合マクロブロック内の分散値は大きい値となる。

Ｒプレーンのマクロブロック５０２とＧプレーンのマクロブロック５０３は平坦なため、イントラ予測モードとしてどの予測モードを選択しても予測画像と符号化画像の画素差分値の違いが出にくく、イントラ予測モード選択への影響は少ない。

一方、Ｂプレーンのマクロブロック５０４は画像の特徴として横方向に相関が強いという特徴を持っている。この場合、縦方向からの予測モードでは予測画像と符号化画像の画素差分値は大きくなりやすいが、横方向からの予測モードでは予測画像と符号化画像の画素差分値は小さくなりやすくなる。すなわち、Ｂプレーンのマクロブロック５０４においては、イントラ予測モード選択の影響が大きくなる。

この場合、イントラ予測モード選択への影響が少ないＲプレーンやＧプレーンよりも、イントラ予測モード選択への影響が大きいＢプレーンを用いてイントラ予測を行った方がイントラ予測モード選択の精度が高くなる。すなわち、画像の特徴として符号化を行うマクロブロックのＲＧＢ各プレーンごとの分散値を算出し、分散値の高いプレーンを用いてイントラ予測モード選択を行うことにより、イントラ予測モード選択の精度を保ちつつ、演算量を削減することができる。

イントラ予測部１０４では、決定したイントラ予測モードを用いて、ＲＧＢ各プレーンごとにローカルデコード画像を用いて予測画像を生成し、予測画像と符号化画像との間で画素の差分をとり、その差分画像を直交変換部１０５に出力する。またローカルデコード画像作成用に、予測画像を動き補償部１１１に出力する。

直交変換部１０５では、送られてきた差分画像に対して直交変換（例えば離散コサイン変換）を行い、変換係数を生成し、量子化部１０６に出力する。
量子化部１０６では、送られてきた変換係数に対して、量子化制御部１０７が出力する量子化パラメータに従い、量子化を行う。量子化された変換係数はエントロピー符号化部１０８、ならびローカルデコード画像作成のため逆量子化部１０９に送られる。

エントロピー符号化部１０８では、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化が行われる。これに対して、動きベクトルや量子化パラメータ、マクロブロック分割情報などの符号化方式情報を可変長符号化したものを付加し、符号化ストリームを生成する。また、符号化の際にマクロブロックごとの発生符号量を算出し、量子化制御部１０７に送る。

量子化制御部１０７では、量子化パラメータを決定する。エントロピー符号化部１０８から発生符号量を受け取り、目標とする符号量になるように量子化パラメータを決定し、量子化部１０６へ出力する。
逆量子化部１０９では、入力された量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成し、逆直交変換部１１０に出力する。

逆直交変換部１１０では、入力された変換係数に対して、前述の直交変換の逆変換（例えば逆離散コサイン変換）を行い、差分画像を生成する。差分画像は動き補償部１１１に出力される。
動き補償部１１１では、イントラ予測部１０４から送られてきたイントラ予測用の予測画像と、逆直交変換部１１０から送られてきた差分画像とを加算することにより、ローカルデコード用の画像データを生成する。生成された画像データはデブロッキングフィルタ部１１２に出力される。

デブロッキングフィルタ部１１２では、入力された画像データに対してデブロッキングフィルタをかける。デブロッキングフィルタ後の画像が、ローカルデコード画像として参照フレームバッファ１１３に格納される。
このようにして、符号化ストリーム、ローカルデコード画像が生成される。

以上のように、本実施形態においてはマクロブロックごとに画像の特徴検出を行う。そして、その特徴に基づいてＲＧＢの３プレーンから一つのプレーンを選択し、選択したプレーンのみを用いてイントラ予測モードの決定を行うことで、イントラ予測モード選択の精度を落とすことなく演算量を大幅に削減することができる。

なお、本実施形態においては、画像フォーマットとしてＲＧＢ ４：４：４フォーマットを例に説明したが、本発明はこれに限ったものではなく、他の色空間であってもよい。
また、画像圧縮符号化方式としてＨ.２６４符号化方式を例に説明したが、符号化方式はこれに限ったものではなく、例えばＨ．２６５（ＨＥＶＣ）などのようにイントラ予測符号化を用いるものであれば、どのような画像圧縮符号化方式に適用してもよい。

（第２の実施形態）
本実施形態は、第１の実施形態と同様にイントラ予測を用いて符号化を行う画像符号化装置である。
図６は、本実施形態に係る画像符号化装置の構成例を示すブロック図である。ここでは、第１の実施形態と同じ構成については同じ符号を付して説明を省略し、第１の実施形態との差異についてのみ詳細に説明する。
第１の実施形態との違いは、符号化画像の特徴検出に加え、４：４：４フォーマットの持つ色空間の性質を鑑み、各プレーンの選択されやすさに重みを付けたプレーン選択を行うことである。

重み算出部６０１は、符号化画像の色空間情報を受け取り、色空間に応じた重み係数を算出する。この色空間情報とは、例えば符号化画像がＲＧＢ ４：４：４フォーマットであるとか、ＩＴＵ−Ｒ ＢＴ.６０１のＹＣｂＣｒ ４：４：４フォーマットであるという情報である。ここでは、例として符号化画像がＲＧＢ ４：４：４フォーマットであるとする。

ＲＧＢ信号の場合、各プレーンにおいて輝度信号Ｙとの相関度合いが異なる。一般に、色差信号Ｃｂ、Ｃｒよりも輝度信号Ｙの方が符号化劣化に対する視覚的な影響が大きいという特性があり、輝度信号Ｙとの相関が強いほど符号化劣化に対する視覚的な影響が大きくなる。この特性を考慮し、プレーン選択の際に各プレーンで重みづけをし、選択されやすさを変更する。

Ｒプレーンに対する重み係数をα、Ｇプレーンに対する重み係数をβ、Ｂプレーンに対する重み係数をγとし、重み算出部６０１ではこれらの値を算出する。これらの係数は、値が大きいほど該当するプレーンが選択されやすくなるものとする。ＲＧＢ信号の場合、Ｇ＞Ｒ＞Ｂの順で輝度信号Ｙとの相関が強く、符号化劣化に対する視覚的な影響が大きくなるため、式（４）のような関係の係数を算出する。
β＞α＞γ…（４）

算出した重み係数α、β、γはプレーン選択部６０２に出力される。
プレーン選択部６０２では輝度信号の成分を多く含むものほど選択されやすくなる。
なお、ここではＲＧＢ ４：４：４フォーマットの画像が入力された場合の例を示したが、他の色空間の画像が入力された場合は、その色空間の特性に応じた異なる係数を算出することになる。例えば、入力画像がＹＣｂＣｒ ４：４：４フォーマットであり、Ｙ信号のみでイントラ予測を行いたい場合などは、Ｙ信号の重み係数を１にし、Ｃｂ、Ｃｒ信号の重み係数を０にする、ということも可能である。

プレーン選択部６０２では、特徴検出部１０２から画像特徴情報として分散値を受け取る。ここでは、Ｒプレーンの分散値をＶＡＲ＿Ｒ、Ｇプレーンの分散値をＶＡＲ＿Ｇ、Ｂプレーンの分散値をＶＡＲ＿Ｂとする。また重み算出部６０１から重み係数α、β、γを受け取る。

この分散値に重み係数をかけたものが、プレーン選択の評価値となる。各プレーンの評価値をそれぞれｅｓｔｍＲ、ｅｓｔｍＧ、ｅｓｔｍＢとし、式（５）に示す。

プレーン選択部６０２はｅｓｔｍＲ、ｅｓｔｍＧ、ｅｓｔｍＢを比較し、最も大きい評価値を持つプレーンを選択する。選択されたプレーン情報は、イントラ予測部１０４に出力され、第１の実施形態と同様の処理が行われる。
以上のように、色空間情報を用いてイントラ予測モード選択に用いるプレーン選択に重みをつけることで、視覚特性の影響を考慮した精度の高いイントラ予測モード選択を行うことができる。

（第３の実施形態）
第１の実施形態及び第２の実施形態は、イントラ予測を用いて符号化する画像符号化装置について述べた。本実施形態においては、動き探索を行うことにより符号化する画像符号化装置について説明する。
図７は、本実施形態に係る画像符号化装置の構成例を示すブロック図である。以下、本実施形態の画像符号化装置の構成例において、各ブロックの動作について説明する。なお、本実施形態の説明において４：４：４画像信号は色空間としてＲＧＢを用いた例として説明するが、本発明はこれに限定されるものではなく他の色空間であってもよい。

画像入力部７０１に外部から入力されたＲＧＢ ４：４：４フォーマットの画像信号（以下ＲＧＢ信号）はメモリインターフェース７０５を介し、メモリ７０４の入力画像格納領域に入力画像データとして格納される。メモリ７０４は、入力画像データを保持する入力画像メモリ、及び参照画像データを保持する参照画像メモリとして機能する。

メモリインターフェース７０５は、各ブロック（画像入力部７０１、動き探索部７０２、動き補償部７０３）からの読み書き要求を調停してメモリ７０４にデータの読み書き制御を行うインターフェースである。

メモリ７０４は、ＤＲＡＭ等のランダムアクセスメモリであり、入力画像データを格納する入力画像格納領域と、参照画像データを格納する参照画像格納領域を有している。
メモリ７０４の入力画像格納領域に格納された入力画像データはマクロブロック単位にメモリインターフェース７０５を介して読み出されて、画像特徴検出部７１１および動き探索部７０２に入力される。

画像特徴検出部７１１は、入力された入力画像データのＲＧＢ各プレーンの画像特徴をマクロブロック毎に検出して画像特徴情報をプレーン選択部７１２に出力する。画像特徴の検出は、例えばアクティビティを検出する。アクティビティは、ブロック内の画素値がブロック平均値からどれほど散らばっているかを示す分散によって求められる。また、画像特徴の検出はこれ以外にも、エッジ検出、周波数スペクトルなどを組み合わせてもよい。

プレーン選択部７１２は、各プレーンの画像特徴情報を比較して、最も動き探索に適したプレーンをマクロブロック毎に選択してプレーン選択情報として動き探索部７０２に出力する。画像特徴情報が、例えばアクティビティであれば最も高いアクティビティ値のプレーンを選択するようにしてもよい。
なお、本実施形態は、画像特徴検出部７１１の具体的な検出方法、プレーン選択部７１２の具体的な選択方法に限定されるものではない。

動き探索部７０２は、プレーン選択部７１２からのプレーン選択情報に基づいて、マクロブロック毎に予測モードの判定と動き探索を行う。動き探索のための入力画像データは、前述のようにＲＧＢ信号の全プレーンが入力されているが、このうちからプレーン選択情報に示されるプレーンを選択して用いる。一方、参照画像データはプレーン選択情報に示されるプレーンの画像データのみをメモリ７０４からメモリインターフェース７０５を介して読み出して用いる。

前述のようにして求めた予測モード情報および動きベクトル情報を、動き補償部７０３に出力する。
動き補償部７０３は、メモリ７０４に格納された入力画像データと、同じく格納された参照画像データを、メモリインターフェース７０５を介して読み出して、マクロブロック単位に動き補償予測処理と局部復号処理を行う。

動き補償部７０３における動き補償予測処理は、動き探索部７０２からの予測モード情報および動きベクトル情報を用いて参照画像データから予測画像データを生成し、入力画像データとの差分値を予測残差画像データとして直交変換部７０６に出力する。
動き補償部７０３における局部復号処理は、逆直交変換部７０９からの予測残差画像データと、メモリインターフェース７０５から入力される参照画像データを用いて、局部復号画像データを生成する。生成した局部復号画像データはメモリインターフェース７０５を介して、メモリ７０４の参照画像格納領域に格納される。

直交変換部７０６は、入力された予測残差画像データにＤＣＴ等の直交変換を施して変換係数データを量子化部７０７に出力する。
量子化部７０７は、変換係数データを量子化し、逆量子化部７０８及びエントロピー符号化部７１０に出力する。

逆量子化部７０８は、量子化部７０７で量子化された変換係数データを逆量子化し、逆直交変換部７０９に出力する。
逆直交変換部７０９は、逆量子化部７０８で逆量子化された変換係数データを逆直交変換し、局部復号に用いる予測残差画像データを動き補償部７０３に出力する。

エントロピー符号化部７１０は、量子化部７０７で量子化された変換係数データと、マクロブロック毎の予測モード、動きベクトルなどの符号化情報を、符号化方式で規定されたエントロピー符号化を施して、符号化データとして外部に出力する。エントロピー符号化部７１０から出力された符号化データは非図示の伝送媒体や記録媒体に出力される。

以上、説明したように、本実施形態においては、動き探索部７０２がメモリ７０４から読み出した入力画像データを用いて、各プレーンの画像特徴を検出し、最も動き探索に適したプレーンを選択するようにした。動き探索部７０２は選択されたプレーンの画像データのみを用いて動き探索を行うようにした。

これにより、動き探索の処理量を上げずに４：４：４画像信号の動き探索を精度よく行うことができる。また、動き探索部７０２がメモリ７０４から読み出す参照画像データは、選択されたプレーンのみを読み出すようにした。これにより、メモリからの画像データの読み出し量が抑えられる。

（第４の実施形態）
本実施形態は、第３の実施形態と同様に動き探索により符号化を行う画像符号化装置について説明する。
図８は、本実施形態に係る画像符号化装置の構成例を示すブロック図である。以下、本実施形態の画像符号化装置の構成例において、各ブロックの動作について説明する。なお、本実施形態の説明において４：４：４画像信号は色空間としてＲＧＢを用いた例として説明するが、本発明はこれに限定されるものではなく他の色空間であってもよい。

図８において、画像入力部７０１、動き補償部７０３、メモリ７０４、メモリインターフェース７０５、直交変換部７０６、量子化部７０７、逆量子化部７０８、逆直交変換部７０９、エントロピー符号化部７１０は、図７で説明した各部に相当する。

第３の実施形態と第４の実施形態の相違点は、プレーン選択情報の生成方法にある。また、第４の実施形態においては、画像入力部７０１に外部から入力されたＲＧＢ４：４：４フォーマットの画像信号はメモリインターフェース７０５を介し、メモリ７０４の入力画像格納領域に入力画像データとして格納される。また、画像特徴検出部７１１にも出力される。

画像特徴検出部７１１は、入力された入力画像データのＲＧＢ各プレーンの画像特徴をマクロブロック毎に検出して画像特徴情報をプレーン選択部７１２に出力する。画像特徴の検出は、例えばアクティビティを検出する。アクティビティは、ブロック内の画素値がブロック平均値からどれほど散らばっているかを示す分散によって求められる。また、画像特徴の検出はこれ以外にも、エッジ検出、周波数スペクトルなどを組み合わせてもよい。

プレーン選択部７１２は、各プレーンの画像特徴情報を比較して、最も動き探索に適したプレーンをマクロブロック毎に選択してプレーン選択情報としてプレーン選択情報保持部８０１に出力する。画像特徴情報が、例えばアクティビティであれば最も高いアクティビティ値のプレーンを選択するようにしてもよい。
なお、本発明は画像特徴検出部７１１の具体的な検出方法、プレーン選択部７１２の具体的な選択方法に限定されるものではない。

プレーン選択情報保持部８０１は、マクロブロック毎のプレーン選択情報を複数ピクチャ分保持することが可能なメモリで構成されており、プレーン選択部７１２からのプレーン選択情報を一旦保持する。保持されたプレーン選択情報は、動き探索部７０２において該当するピクチャが処理されるタイミングで動き探索部７０２に出力される。

動き探索部７０２は、プレーン選択情報保持部８０１からのプレーン選択情報を基づいて、マクロブロック毎に予測モードの判定と動き探索を行う。動き探索のための入力画像データおよび参照画像データはプレーン選択情報に示されるプレーンの画像データのみをメモリ７０４からメモリインターフェース７０５を介して読み出して用いる。
このようにして求めた予測モード情報および動きベクトル情報を動き補償部７０３に出力する。

以上、説明したように、第４の実施形態においては、画像入力部７０１からの入力画像データを用いて、各プレーンの画像特徴を検出し、最も動き探索に適したプレーンを選択し、プレーン選択情報をプレーン選択情報保持部８０１に保持するようにした。また、動き探索部７０２は、選択されたプレーンの画像データのみを用いて動き探索を行うようにした。

これにより、動き探索の処理量を上げずに４：４：４画像信号の動き探索を精度よく行うことができる。また、動き探索部７０２がメモリ７０４から読み出す入力画像データおよび参照画像データは、選択されたプレーンのみを読み出すようにした。これによりメモリからの画像データの読み出し量が第３の実施形態よりもさらに抑えられる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ フレームバッファ
１０２ 特徴検出部
１０３ プレーン選択部
１０４ イントラ予測部
１０５ 直交変換部
１０６ 量子化部
１０７ 量子化制御部
１０８ エントロピー符号化部
１０９ 逆量子化部
１１０ 逆直交変換部
１１１ 動き補償部
１１２ デブロッキングフィルタ部
１１３ 参照フレームバッファ

Claims (23)

1. ４：４：４フォーマットの画像を符号化する画像符号化装置であって、
   入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出手段と、
   前記画像特徴検出手段で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択手段と、
   前記４：４：４フォーマットの画像を符号化する際の参照画像を格納するための格納手段と、
   前記プレーン選択手段で選択されたプレーンの画像データと、前記格納手段に格納されている参照画像とを用いて符号化を行う符号化手段とを備えることを特徴とする画像符号化装置。
2. ４：４：４フォーマットの画像を符号化する画像符号化装置であって、
   入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出手段と、
   前記画像特徴検出手段で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択手段と、
   イントラ予測を行うイントラ予測手段とを備え、
   前記プレーン選択手段で選択されたプレーンの画像データを用いてイントラ予測を行うことを特徴とする画像符号化装置。
3. 前記プレーン選択手段は、符号化画像の色空間情報に応じて、各プレーンの選択されやすさを変更することを特徴とする請求項２に記載の画像符号化装置。
4. 前記プレーン選択手段は、各プレーンにおいて輝度信号の成分を多く含むものを選択することを特徴とする請求項３に記載の画像符号化装置。
5. 前記画像特徴検出手段で検出される画像特徴は、画像の分散値であることを特徴とする請求項１〜４の何れか１項に記載の画像符号化装置。
6. 前記プレーン選択手段は、画像の分散値が最も高いプレーンを選択することを特徴とする請求項５に記載の画像符号化装置。
7. 前記画像特徴検出手段で検出される画像特徴は、エッジの大きさを表す値であることを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。
8. 前記プレーン選択手段は、エッジ成分が最も大きいプレーンを選択することを特徴とする請求項７に記載の画像符号化装置。
9. 前記画像特徴検出手段で検出される画像特徴が空間周波数の大きさを表す値であることを特徴とする請求項１〜８の何れか１項に記載の画像符号化装置。
10. 前記プレーン選択手段は、空間周波数が最も高いプレーンを選択することを特徴とする請求項１〜９の何れか１項に記載の画像符号化装置。
11. ４：４：４フォーマットの画像を符号化する画像符号化装置であって、
    入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出手段と、
    前記画像特徴検出手段で検出された各プレーンの画像特徴に応じてプレーンを選択し、プレーン選択情報として出力するプレーン選択手段と、
    入力画像データを保持する入力画像メモリ手段と、
    参照画像データを保持する参照画像メモリ手段と、
    動き探索を行う動き探索手段と、を備え、
    前記動き探索手段は、前記プレーン選択手段で選択されたプレーンの画像データを用いて動き探索を行うことを特徴とする画像符号化装置。
12. 前記画像特徴検出手段は、前記動き探索手段に入力される入力画像データの画像特徴を検出することを特徴とする請求項１１に記載の画像符号化装置。
13. 前記プレーン選択手段からのブロック毎の選択情報を複数ピクチャ分保持し、前記動き探索手段の動作に合わせて出力するプレーン選択情報保持手段をさらに備えることを特徴とする請求項１１に記載の画像符号化装置。
14. 前記画像特徴検出手段は、前記入力画像メモリ手段に入力される入力画像データの画像特徴を検出することを特徴とする請求項１３に記載の画像符号化装置。
15. 前記画像特徴検出手段で検出される画像特徴はアクティビティ値であることを特徴とする請求項１１〜１４の何れか１項に記載の画像符号化装置。
16. 前記画像特徴検出手段で検出される画像特徴はエッジの大きさを表す値であることを特徴とする請求項１１〜１４の何れか１項に記載の画像符号化装置。
17. ４：４：４フォーマットの画像を符号化する画像符号化方法であって、
    入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出工程と、
    前記画像特徴検出工程で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択工程と、
    前記４：４：４フォーマットの画像を符号化する際の参照画像を記録媒体に格納するための格納工程と、
    前記プレーン選択工程で選択されたプレーンの画像データと、前記記録媒体に格納されている参照画像とを用いて符号化を行う符号化工程とを備えることを特徴とする画像符号化方法。
18. ４：４：４フォーマットの画像を符号化する画像符号化方法であって、
    入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出工程と、
    前記画像特徴検出工程で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択工程と、
    イントラ予測を行うイントラ予測工程とを備え、
    前記プレーン選択工程で選択されたプレーンの画像データを用いてイントラ予測を行うことを特徴とする画像符号化方法。
19. ４：４：４フォーマットの画像を符号化する画像符号化方法であって、
    入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出工程と、
    前記画像特徴検出工程で検出された各プレーンの画像特徴に応じてプレーンを選択し、プレーン選択情報として出力するプレーン選択工程と、
    入力画像データを保持する入力画像メモリ工程と、
    参照画像データを保持する参照画像メモリ工程と、
    動き探索を行う動き探索工程と、を備え、
    前記動き探索工程は、前記プレーン選択工程で選択されたプレーンの画像データを用いて動き探索を行うことを特徴とする画像符号化方法。
20. ４：４：４フォーマットの画像を符号化する画像符号化方法をコンピュータに実行させるプログラムであって、
    入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出工程と、
    前記画像特徴検出工程で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択工程と、
    前記４：４：４フォーマットの画像を符号化する際の参照画像を記録媒体に格納するための格納工程と、
    前記プレーン選択工程で選択されたプレーンの画像データと、前記記録媒体に格納されている参照画像とを用いて符号化を行う符号化工程とをコンピュータに実行させることを特徴とするプログラム。
21. ４：４：４フォーマットの画像を符号化する画像符号化方法をコンピュータに実行させるプログラムであって、
    入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出工程と、
    前記画像特徴検出工程で検出された各プレーンの画像特徴に応じてプレーンを選択するプレーン選択工程と、
    イントラ予測を行うイントラ予測工程とをコンピュータに実行させ、
    前記プレーン選択工程で選択されたプレーンの画像データを用いてイントラ予測を行うことを特徴とするプログラム。
22. ４：４：４フォーマットの画像を符号化する画像符号化方法をコンピュータに実行させるプログラムであって、
    入力画像データの各プレーンの画像特徴をブロック毎に検出する画像特徴検出工程と、
    前記画像特徴検出工程で検出された各プレーンの画像特徴に応じてプレーンを選択し、プレーン選択情報として出力するプレーン選択工程と、
    入力画像データを保持する入力画像メモリ工程と、
    参照画像データを保持する参照画像メモリ工程と、
    動き探索を行う動き探索工程とをコンピュータに実行させ、
    前記動き探索工程は、前記プレーン選択工程で選択されたプレーンの画像データを用いて動き探索を行うことを特徴とするプログラム。
23. 請求項２０〜２２の何れか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images