JP2013223135A - 画像符号化装置、画像符号化方法及びプログラム - Google Patents

Abstract

【課題】ブロックサイズを決定するための計算量を削減するとともに、画像により適したブロックサイズを決定することが可能な画像符号化装置を提供する。
【解決手段】画像縮小部１１は、ベースバンド画像を縮小することで１／４縮小画像を生成する。１／４画像ＭＢサイズ決定部１２は、１／４縮小画像に対する符号化処理であって複数のブロックサイズに従った符号化処理の評価値を求め、複数のブロックサイズから１／４縮小画像に対するブロックサイズを評価値に基づいて選択する。画像ＭＢサイズ決定部１３は、１／４縮小画像に対するブロックサイズを拡大し、拡大前のブロックサイズと拡大後のブロックサイズとから、ベースバンド画像に対するブロックサイズを選択する。画像符号化部１４は、ベースバンド画像に対するブロックサイズを用いてベースバンド画像を符号化する。
【選択図】図１

Description

本発明は、画像符号化装置、画像符号化方法及びプログラムに関する。

動画像データの容量を削減するために、動画像データを符号化して圧縮する技術が用いられている。符号化方式として、例えばＭＰＥＧやＨ．２６４方式等が用いられている。Ｈ．２６４方式では、ブロックサイズを複数の種類から選択することができ、形状や動きに適したブロックサイズを選択して符号化を行うことで、圧縮効率を向上させることができる。例えばＨ．２６４方式では、４×４画素〜１６×１６画素のいずれかのブロックサイズを動き補償予測のブロックサイズとして選択することができ、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式では、４×４画素〜６４×６４画素のいずれかのブロックサイズを選択することができる。なお、ＨＥＶＣは、標準化が行われている国際会議ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）によって提案されている動画ファイルフォーマットの名称である。しかしながら、ブロックサイズを決定するためにはブロックサイズごとの評価値を算出する必要があるため、ブロックサイズを決定するための処理（計算量）が増大するという問題がある。

例えば、下記の特許文献１には、符号化単位であるマクロブロック及び探索範囲を縮小して動きベクトルを探索し（粗探索）、粗探索の結果を利用してパーティション分割法を決定し、粗探索及びパーティション分割の結果に基づき、元の解像度の画像における動きベクトルを探索する装置が開示されている。

特開２００９−２５３３８４号公報

上記の特許文献１に記載された装置によると、ブロックサイズを決定するための計算量は減少すると考えられるが、縮小処理が施された画像に基づいて決定されたブロックサイズを、縮小処理が施されていない元の画像にそのまま適用しているため、当該ブロックサイズが元の画像における形状や動きに適しているとは限らず、圧縮効率及び画質が低下するおそれがある。

本発明の目的は、ブロックサイズを決定するための計算量を削減するとともに、画像により適したブロックサイズを決定することが可能な画像符号化装置、画像符号化方法及びプログラムを提供することである。

請求項１に係る発明は、ベースバンド画像を受け、前記ベースバンド画像を縮小することで縮小画像を生成する画像縮小手段と、前記縮小画像に対する符号化処理であって複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記縮小画像に対する縮小画像用ブロックサイズを選択する第１のブロックサイズ決定手段と、前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから、前記ベースバンド画像に対するベースバンド画像用ブロックサイズを選択する第２のブロックサイズ決定手段と、前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化する画像符号化手段と、を有することを特徴とする画像符号化装置である。

請求項２に係る発明は、請求項１に係る画像符号化装置であって、前記画像縮小手段は、前記ベースバンド画像を縮小することで、第１の縮小画像と前記第１の縮小画像よりも解像度が高い第２の縮小画像とを生成し、前記第１のブロックサイズ決定手段は、前記第１の縮小画像に対する符号化処理であって前記複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記第１の縮小画像に対する第１の縮小画像用ブロックサイズを選択し、前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから、前記第２の縮小画像に対する第２の縮小画像用ブロックサイズを選択し、前記第２のブロックサイズ決定手段は、前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記第２の縮小画像用ブロックサイズと拡大後の前記第２の縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

請求項３に係る発明は、請求項１に係る画像符号化装置であって、前記第２のブロックサイズ決定手段は、前記ベースバンド画像に対する前記縮小画像の縮小率の逆数に従って前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

請求項４に係る発明は、請求項１又は請求項３に係る画像符号化装置であって、前記画像縮小手段は、前記ベースバンド画像を縮小することで、解像度が４分の１に縮小された１／４縮小画像を生成し、前記第１のブロックサイズ決定手段は、前記評価値に基づいて前記複数のブロックサイズから前記１／４縮小画像に対する１／４縮小画像用ブロックサイズを選択し、前記第２のブロックサイズ決定手段は、前記１／４縮小画像用ブロックサイズを４倍に拡大し、拡大前の前記１／４縮小画像用ブロックサイズと４倍に拡大された前記１／４縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

請求項５に係る発明は、請求項１又は請求項３に係る画像符号化装置であって、前記画像縮小手段は、前記ベースバンド画像を縮小することで、解像度が１６分の１に縮小された１／１６縮小画像を生成し、前記第１のブロックサイズ決定手段は、前記評価値に基づいて前記複数のブロックサイズから前記１／１６縮小画像に対する１／１６縮小画像用ブロックサイズを選択し、前記第２のブロックサイズ決定手段は、前記１／１６縮小画像用ブロックサイズを、４倍及び１６倍にそれぞれ拡大し、拡大前の前記１／１６縮小画像用ブロックサイズと、４倍に拡大された前記１／１６縮小画像用ブロックサイズと、１６倍に拡大された前記１／１６縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

請求項６に係る発明は、請求項１、請求項３、請求項４又は請求項５のいずれか一項に係る画像符号化装置であって、前記画像符号化手段は、前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化し、前記縮小画像用ブロックサイズに従って前記縮小画像を符号化する、ことを特徴とする。

請求項７に係る発明は、請求項２に係る画像符号化装置であって、前記第１のブロックサイズ決定手段は、前記第２の縮小画像に対する前記第１の縮小画像の縮小率の逆数に従って前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから前記第２の縮小画像用ブロックサイズを選択し、前記第２のブロックサイズ決定手段は、前記ベースバンド画像に対する前記第２の縮小画像の縮小率の逆数に従って前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

請求項８に係る発明は、請求項２又は請求項７に係る画像符号化装置であって、前記画像縮小手段は、前記ベースバンド画像を縮小することで、解像度が１６分の１に縮小された１／１６縮小画像を前記第１の縮小画像として生成し、解像度が４分の１に縮小された１／４縮小画像を前記第２の縮小画像として生成し、前記第１のブロックサイズ決定手段は、前記評価値に基づいて前記複数のブロックサイズから前記１／１６縮小画像に対する１／１６縮小画像用ブロックサイズを前記第１の縮小画像用ブロックサイズとして選択し、前記１／１６縮小画像用ブロックサイズを４倍に拡大し、拡大前の前記１／１６縮小画像用ブロックサイズと４倍に拡大された前記１／１６縮小画像用ブロックサイズとから、前記１／４縮小画像用ブロックサイズに対する１／４縮小画像用ブロックサイズを前記第２の縮小画像用ブロックサイズとして選択し、前記第２のブロックサイズ決定手段は、前記１／４縮小画像用ブロックサイズを４倍に拡大し、拡大前の前記１／４縮小画像用ブロックサイズと４倍に拡大された前記１／４縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

請求項９に係る発明は、請求項２、請求項７又は請求項８のいずれか一項に係る画像符号化装置であって、前記画像符号化手段は、前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化し、前記第１の縮小画像用ブロックサイズに従って前記第１の縮小画像を符号化し、前記第２の縮小画像用ブロックサイズに従って前記第２の縮小画像を符号化する、ことを特徴とする。

請求項１０に係る発明は、請求項１から請求項９のいずれか一項に係る画像符号化装置であって、符号化された符号化画像を受け、前記符号化画像を復号することで復号された前記ベースバンド画像を生成する画像復号手段を更に備え、前記画像符号化手段は、前記復号された前記ベースバンド画像を前記ベースバンド画像用ブロックサイズに従って再符号化する、ことを特徴とする。

請求項１１に係る発明は、請求項１から請求項１０のいずれか一項に係る画像符号化装置であって、前記複数のブロックサイズは、Ｋ×Ｌ画素（Ｋ，Ｌは偶数）のブロックサイズである、ことを特徴とする。

請求項１２に係る発明は、ベースバンド画像を受け、前記ベースバンド画像を縮小することで縮小画像を生成する第１のステップと、前記縮小画像に対する符号化処理であって複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記縮小画像に対する縮小画像用ブロックサイズを選択する第２のステップと、前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから、前記ベースバンド画像に対するベースバンド画像用ブロックサイズを選択する第３のステップと、前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化する第４のステップと、を含むことを特徴とする画像符号化方法である。

請求項１３に係る発明は、請求項１２に係る画像符号化方法であって、前記第１のステップでは、前記ベースバンド画像を縮小することで、第１の縮小画像と前記第１の縮小画像よりも解像度が高い第２の縮小画像とを生成し、前記第２のステップでは、前記第１の縮小画像に対する符号化処理であって前記複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記第１の縮小画像に対する第１の縮小画像用ブロックサイズを選択し、前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから、前記第２の縮小画像に対する第２の縮小画像用ブロックサイズを選択し、前記第３のステップでは、前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記第２の縮小画像用ブロックサイズと拡大後の前記第２の縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

請求項１４に係る発明は、コンピュータに、ベースバンド画像を受け、前記ベースバンド画像を縮小することで縮小画像を生成する第１のステップと、前記縮小画像に対する符号化処理であって複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記縮小画像に対する縮小画像用ブロックサイズを選択する第２のステップと、前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから、前記ベースバンド画像に対するベースバンド画像用ブロックサイズを選択する第３のステップと、前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化する第４のステップと、を実行させることを特徴とするプログラムである。

請求項１５に係る発明は、請求項１４に係るプログラムであって、前記第１のステップでは、前記ベースバンド画像を縮小することで、第１の縮小画像と前記第１の縮小画像よりも解像度が高い第２の縮小画像とを生成し、前記第２のステップでは、前記第１の縮小画像に対する符号化処理であって前記複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記第１の縮小画像に対する第１の縮小画像用ブロックサイズを選択し、前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから、前記第２の縮小画像に対する第２の縮小画像用ブロックサイズを選択し、前記第３のステップでは、前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記第２の縮小画像用ブロックサイズと拡大後の前記第２の縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、ことを特徴とする。

本願発明によると、ベースバンド画像を縮小することで得られた縮小画像に対するブロックサイズを求め、縮小画像に対するブロックサイズを拡大し、拡大前のブロックサイズと拡大後のブロックサイズとから元のベースバンド画像に対するブロックサイズを選択することで、ブロックサイズを決定するための計算量を削減するとともに、ベースバンド画像により適したブロックサイズを選択してベースバンド画像を符号化できる。

本発明の第１実施形態に係る画像符号化装置を示すブロック図である。 本発明の第１実施形態に係る画像符号化装置が行う処理の手順の一例を示すフローチャートである。 １／４縮小画像のブロックサイズに基づいてベースバンド画像のブロックサイズを決定する方法を説明するための図である。 従来技術においてブロックサイズを決定するために必要な計算量を説明するための図である。 １／４縮小画像のブロックサイズに基づいてベースバンド画像のブロックサイズを決定するために必要な計算量を説明するための図である。 １／１６縮小画像のブロックサイズに基づいてベースバンド画像のブロックサイズを決定する方法を説明するための図である。 １／１６縮小画像のブロックサイズに基づいてベースバンド画像のブロックサイズを決定するために必要な計算量を説明するための図である。 本発明の第２実施形態に係る画像符号化装置を示すブロック図である。 本発明の第２実施形態に係る画像符号化装置が行う処理の手順の一例を示すフローチャートである。 １／１６縮小画像及び１／４縮小画像のブロックサイズに基づいてベースバンド画像のブロックサイズを決定する方法を説明するための図である。 １／１６縮小画像及び１／４縮小画像のブロックサイズに基づいてベースバンド画像のブロックサイズを決定するために必要な計算量を説明するための図である。 本発明の第３実施形態に係る画像符号化装置を示すブロック図である。 本発明の第４実施形態に係る画像符号化装置を示すブロック図である。 本発明の第５実施形態に係る画像符号化装置を示すブロック図である。 本発明の第６実施形態に係る画像符号化装置を示すブロック図である。 本発明の第７実施形態に係る画像符号化装置を示すブロック図である。 本発明の第８実施形態に係る画像符号化装置を示すブロック図である。

［第１実施形態］
図１を参照して、本発明の第１実施形態に係る画像符号化装置について説明する。第１実施形態に係る画像符号化装置は、図示しない撮像装置において撮像されて得られた動画像を受け、画像をマクロブロックに分割して符号化する。本明細書では、符号化の単位ブロックとして「マクロブロック」という用語を用いるが、当該マクロブロックには、Ｈ．２６４方式においてイントラ予測に用いられるブロック、動き補償予測に用いられるブロック、及び、信号変換に用いられるブロックが含まれてもよく、また、ＨＥＶＣ方式におけるＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）、予測に用いられるＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、及び、変換に用いられるＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）が含まれてもよい。

第１実施形態に係る画像符号化装置は、画像縮小部１１と、１／４画像ＭＢサイズ決定部１２と、画像ＭＢサイズ決定部１３と、画像符号化部１４とを備えている。

画像縮小部１１は、入力されたベースバンド画像を縮小することで縮小画像を生成し、縮小画像を１／４画像ＭＢサイズ決定部１２に出力する。例えば、縮小率は水平及び垂直方向ともに２分の１（全体の解像度で４分の１の縮小率）であり、画像縮小部１１は、解像度が４分の１に縮小された１／４縮小画像を生成する。

１／４画像ＭＢサイズ決定部１２は、複数のパターンのマクロブロックサイズ（以下、「ＭＢサイズ」と称する場合がある）のなかから１／４縮小画像の符号化に適したＭＢサイズを選択し、選択したＭＢサイズを示すＭＢサイズ情報を画像ＭＢサイズ決定部１３に出力する。一例として、１／４画像ＭＢサイズ決定部１２は、４×４画素、８×８画素、１６×１６画素、３２×３２画素のいずれかのＭＢサイズのなかから１／４縮小画像の符号化に適したＭＢサイズを選択する。

例えば、１／４画像ＭＢサイズ決定部１２は、予め定められた複数のＭＢサイズのそれぞれについて予測画像を生成し、入力画像（１／４縮小画像）と予測画像との、対応する画素ごとの差分の絶対値を合計した差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｅｒｅｎｃｅ：ＳＡＤ）を評価値として各ＭＢサイズについて算出し、複数のＭＢサイズのうち評価値が最小となるＭＢサイズを１／４縮小画像に対するＭＢサイズとして選択する。具体的には、１／４縮小ＭＢサイズ決定部１２は、入力画像（１／４縮小画像）を複数のＭＢサイズのブロックに分割してブロック画像を生成する。各ＭＢサイズは、一例として、４×４画素、８×８画素、１６×１６画素、３２×３２画素のいずれかである。そして、一例としてイントラ予測（フレーム内予測）を行う場合、入力画像（１／４縮小画像）と同一フレーム内で既に符号化された領域の参照画像を参照してイントラ予測を行い、各ＭＢサイズのブロック画像からイントラ予測画像を減算することで各ＭＢサイズの評価値を求め、複数のＭＢサイズのうち評価値が最小となるＭＢサイズを１／４縮小画像に対するＭＢサイズとして選択する。また、一例としてインター予測（フレーム間予測）を行う場合、入力画像（１／４縮小画像）とは異なるフレームの参照画像を参照してインター予測を行い、各ＭＢサイズのブロック画像からインター予測画像を減算することで各ＭＢサイズの評価値を求め、複数のＭＢサイズのうち評価値が最小となるＭＢサイズを１／４縮小画像に対するＭＢサイズとして選択する。同様に、信号変換に用いられるブロックのサイズを決定してもよい。なお、２乗誤差和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｅｒｅｎｃｅ：ＳＳＤ）等の別の値を評価値として用いてＭＢサイズを決定してもよい。以下の説明では、一例として差分絶対値和（ＳＡＤ）を評価値として用いてＭＢサイズを決定する例について説明するが、差分絶対値和（ＳＡＤ）の代わりに、２乗誤差和（ＳＳＤ）等の値を評価値として用いてもよい。

画像ＭＢサイズ決定部１３は、１／４縮小画像に対するＭＢサイズとベースバンド画像とに基づき、ベースバンド画像の符号化に適したＭＢサイズを決定し、ベースバンド画像に対するＭＢサイズを示すＭＢサイズ情報を画像符号化部１４に出力する。例えば、画像ＭＢサイズ決定部１３は、ベースバンド画像に対する１／４縮小画像の縮小率（４分の１）の逆数に相当する拡大率（４倍）に従って１／４縮小画像に対するＭＢサイズを拡大し、拡大前のＭＢサイズと拡大後のＭＢサイズとからベースバンド画像の符号化に適したＭＢサイズを選択する。

例えば、画像ＭＢサイズ決定部１３は、拡大前のＭＢサイズ及び拡大後のＭＢサイズのそれぞれについて予測画像を生成し、拡大前のＭＢサイズ及び拡大後のＭＢサイズのそれぞれについて、入力画像（ベースバンド画像）と予測画像との差分絶対値和（ＳＡＤ）を評価値として算出し、拡大前のＭＢサイズ及び拡大後のＭＢサイズのうち評価値が最小となるＭＢサイズを、ベースバンド画像の符号化に適したＭＢサイズとして選択する。

画像符号化部１４は、画像ＭＢサイズ決定部１３によって決定されたＭＢサイズを用いてベースバンド画像を符号化することで符号化画像を生成し、符号化画像を出力する。

次に、図２に示すフローチャート及び図３を参照して、第１実施形態に係る画像符号化装置が行う処理の一例について説明する。図３に、ベースバンド画像１００と、解像度が４分の１に縮小された１／４縮小画像１１０とを示す。

まず、画像縮小部１１は、図３に示すベースバンド画像１００を縮小することで、解像度が４分の１に縮小された１／４縮小画像１１０を生成する（Ｓ０１）。

次に、１／４画像ＭＢサイズ決定部１２は、１／４縮小画像１１０の符号化に適したＭＢサイズを決定する（Ｓ０２）。具体的には、１／４画像ＭＢサイズ決定部１２は、１／４縮小画像１１０を複数のＭＢサイズのブロック（例えば、４×４画素、８×８画素、１６×１６画素、３２×３２画素）に分割し、各ＭＢサイズ（４×４画素、８×８画素、１６×１６画素、３２×３２画素）について予測画像を生成し、各ＭＢサイズについて入力画像（１／４縮小画像１１０）と予測画像との差分絶対値和（ＳＡＤ）を評価値として算出し、評価値が最小となるＭＢサイズを選択する。図３に示す例では、１／４縮小画像１１０の領域１１１（ハッチングが無い領域）についてはＭＢサイズを４×４画素のＭＢサイズに決定し、領域１１２（点状のハッチングの領域）についてはＭＢサイズを８×８画素のＭＢサイズに決定し、領域１１３（斜線のハッチングの領域）についてはＭＢサイズを１６×１６画素のＭＢサイズに決定する。そして、１／４画像ＭＢサイズ決定部１２は、１／４縮小画像１１０に対するＭＢサイズを示すＭＢサイズ情報を画像ＭＢサイズ決定部１３に出力する。

画像ＭＢサイズ決定部１３は、１／４縮小画像１１０に対するＭＢサイズとベースバンド画像１００とに基づき、ベースバンド画像１００の符号化に適したＭＢサイズを決定する（Ｓ０３）。具体的には、画像ＭＢサイズ決定部１３は、ベースバンド画像１００に対する１／４縮小画像１１０の縮小率（４分の１）の逆数に相当する拡大率（４倍）に従って、１／４縮小画像１１０に対するＭＢサイズを４倍（２^２倍）に拡大し、拡大前のＭＢサイズと４倍（２^２倍）に拡大されたＭＢサイズとから、ベースバンド画像１００の符号化に適したＭＢサイズを選択する。図３を参照して説明すると、１／４縮小画像１１０の領域１１１に対するＭＢサイズは４×４画素であるため、ベースバンド画像１００において１／４縮小画像１１０の領域１１１に対応する領域１０１に対するＭＢサイズは、拡大前のＭＢサイズ（４×４画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（８×８画素）から選択されることになる。同様に、１／４縮小画像１１０の領域１１２に対するＭＢサイズは８×８画素であるため、ベースバンド画像１００において１／４縮小画像１１０の領域１１２に対応する領域１０２に対するＭＢサイズは、拡大前のＭＢサイズ（８×８画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（１６×１６画素）から選択されることになる。同様に、１／４縮小画像１１０の領域１１３に対するＭＢサイズは１６×１６画素であるため、ベースバンド画像１００において１／４縮小画像１１０の領域１１３に対応する領域１０３に対するＭＢサイズは、拡大前のＭＢサイズ（１６×１６画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（３２×３２画素）から選択されることになる。

画像ＭＢサイズ決定部１３は、領域１０１について、４×４画素及び８×８画素のそれぞれのＭＢサイズについて予測画像を生成し、各ＭＢサイズについて入力画像（ベースバンド画像１００）と予測画像との差分絶対値和（ＳＡＤ）を評価値として算出し、４×４画素及び８×８画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択する。画像ＭＢサイズ決定部１３は、領域１０２についても、８×８画素及び１６×１６画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択し、領域１０３についても、１６×１６画素及び３２×３２画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択する。そして、画像ＭＢサイズ決定部１３は、ベースバンド画像１００に対するＭＢサイズを示すＭＢサイズ情報を画像符号化部１４に出力する。

画像符号化部１４は、画像ＭＢサイズ決定部１３によって決定されたＭＢサイズを用いてベースバンド画像１００を符号化することで符号化画像を生成し、符号化画像を出力する（Ｓ０４）。図３に示す例では、画像符号化部１４は、ベースバンド画像１００の領域１０１については４×４画素又は８×８画素のいずれかのＭＢサイズを用いて符号化処理を行い、領域１０２については８×８画素又は１６×１６画素のいずれかのＭＢサイズを用いて符号化処理を行い、領域１０３については１６×１６画素又は３２×３２画素のいずれかのＭＢサイズを用いて符号化処理を行う。

次に、図４及び図５を参照して、ＭＢサイズの決定に要する計算量について説明する。図４は、従来技術においてＭＢサイズを決定するために必要な計算量を説明するための図である。図５は、第１実施形態に係る画像符号化装置においてＭＢサイズを決定するために必要な計算量を説明するための図である。一例として、４×４画素、８×８画素、１６×１６画素及び３２×３２画素のいずれかのＭＢサイズのなかからＭＢサイズを選択することとし、縮小されていないベースバンド画像（１／１画像）に基づいて１つのＭＢサイズの評価値を求める処理１回あたりの計算量を計算量Ｍとする。

図４に示すように、従来技術においては、ベースバンド画像１００に基づいて、４×４画素のＭＢサイズの評価値を求め、８×８画素のＭＢサイズの評価値を求め、１６×１６画素のＭＢサイズの評価値を求め、３２×３２画素のＭＢサイズの評価値を求め、評価値が最小となるＭＢサイズを選択する。１つのＭＢサイズの評価値を求めるための計算量は計算量Ｍであるため、ＭＢサイズを決定するために必要な計算量は、以下の式１で表される。
Ｍ＋Ｍ＋Ｍ＋Ｍ＝４Ｍ（式１）

一方、図５に示すように、第１実施形態に係る画像符号化装置は、１／４縮小画像１１０に基づいて、４×４画素のＭＢサイズの評価値を求め、８×８画素のＭＢサイズの評価値を求め、１６×１６画素のＭＢサイズの評価値を求め、３２×３２画素のＭＢサイズの評価値を求め、評価値が最小となるＭＢサイズを選択する。１／４縮小画像１１０はベースバンド画像１００に対して解像度が４分の１に縮小されているため、各ＭＢサイズの評価値を求めるための計算量はＭ／４となる。従って、１／４縮小画像１１０に基づいて４×４画素〜３２×３２画素のＭＢサイズの評価値を求める４つの処理に要する計算量は、以下の式２で表される。
Ｍ／４＋Ｍ／４＋Ｍ／４＋Ｍ／４＝Ｍ（式２）

さらに、第１実施形態に係る画像符号化装置は、１／４縮小画像１１０に対するＭＢサイズを４倍（２^２倍）に拡大し、拡大前のＭＢサイズの評価値と拡大後のＭＢサイズの評価値とを求め、評価値が最小となるＭＢサイズを選択する。すなわち、ベースバンド画像１００（１／１画像）に基づいて、２つのＭＢサイズから１つを選択することになるので、このときの計算量は、以下の式３で表される。
Ｍ＋Ｍ＝２Ｍ（式３）

従って、第１実施形態に係る画像符号化装置によってベースバンド画像１００に対するＭＢサイズを決定するために必要な計算量は、式２と式３とを加算して以下の式４で表される。
Ｍ＋２Ｍ＝３Ｍ＜４Ｍ（式４）

ベースバンド画像１００のみに基づいてＭＢサイズを決定する場合、式１に示すように計算量は４Ｍとなり、１／４縮小画像１１０を利用してＭＢサイズを決定する場合、式４に示すように計算量は３Ｍ（＜４Ｍ）となる。従って、第１実施形態に係る画像符号化装置のように縮小画像を利用して選択し得るＭＢサイズの数を絞り込むことで、ベースバンド画像１００のみを用いてＭＢサイズを決定する場合と比べて、ＭＢサイズの決定に要する計算量を削減することができる。

以上のように、第１実施形態に係る画像符号化装置によると、解像度が４分の１に縮小された１／４縮小画像に対するＭＢサイズを決定し、１／４縮小画像に対するＭＢサイズに基づいてベースバンド画像に対して選択し得るＭＢサイズを決定することで、ベースバンド画像のみに基づいてＭＢサイズを決定する場合と比べて、ＭＢサイズを決定するための計算量を削減することができる。すなわち、１／４縮小画像については４種類のＭＢサイズからＭＢサイズを選択する必要があるが、解像度が４分の１に縮小されているため、その分、計算量は削減され、ベースバンド画像については、１／４縮小画像に対するＭＢサイズに基づいて２種類のＭＢサイズからＭＢサイズを選択すればよいため、４種類のＭＢサイズから選択する場合よりも計算量は削減される。その結果、ベースバンド画像のみを用いてＭＢサイズを決定する場合と比べて、ＭＢサイズの決定に要する計算量を削減することができる。

また、１／４縮小画像に対するＭＢサイズを拡大し、拡大前のＭＢサイズ及び拡大後のＭＢサイズのそれぞれの評価値に基づいて、拡大前のＭＢサイズ又は拡大後のＭＢサイズのいずれかをベースバンド画像のＭＢサイズとして選択することで、ベースバンド画像により適したＭＢサイズを選択して符号化することができる。その結果、圧縮効率を向上させることができ、また、画質の低下を抑制することができる。

次に、図６及び図７を参照して、第１実施形態に係る画像符号化装置による処理の別の具体例について説明する。図１，２，３，５に示す例では、ベースバンド画像を１／４縮小画像に縮小してＭＢサイズを決定する場合について説明したが、ベースバンド画像を１／１６縮小画像に縮小してＭＢサイズを決定してもよい。例えば、図１に示すブロック図において、１／４画像ＭＢサイズ決定部１２に替えて１／１６画像ＭＢサイズ決定部を設けてもよい。

例えば、画像縮小部１１は、図６に示すベースバンド画像１００を縮小することで、解像度が１６分の１に縮小された１／１６縮小画像１２０を生成する。例えば、縮小率は水平及び垂直方向ともに４分の１（全体の解像度で１６分の１の縮小率）とする。

そして、１／１６画像ＭＢサイズ決定部は、１／４画像ＭＢサイズ決定部１２と同様に、１／１６縮小画像１２０を複数のパターンのＭＢサイズのブロック（例えば、４×４画素、８×８画素、１６×１６画素、３２×３２画素）に分割し、各ＭＢサイズ（４×４画素、８×８画素、１６×１６画素、３２×３２画素）の評価値を算出し、評価値が最小となるＭＢサイズを選択する。図６に示す例では、１／１６縮小画像１２０の領域１２１（ハッチングが無い領域）についてはＭＢサイズを４×４画素のＭＢサイズに決定し、領域１２２（点状のハッチングの領域）についてはＭＢサイズを８×８画素のＭＢサイズに決定し、領域１２３（斜線のハッチングの領域）についてはＭＢサイズを１６×１６画素のＭＢサイズに決定する。

画像ＭＢサイズ決定部１３は、１／１６縮小画像１２０に対するＭＢサイズとベースバンド画像１００とに基づき、ベースバンド画像１００の符号化に適したＭＢサイズを決定する。具体的には、画像ＭＢサイズ決定部１３は、ベースバンド画像１００に対する１／１６縮小画像１２０の縮小率（１６分の１）の逆数に相当する拡大率（１６倍）に従って、１／１６縮小画像１２０に対するＭＢサイズを４倍（２^２倍）及び１６倍（４^２倍）に拡大し、拡大前のＭＢサイズと４倍（２^２倍）に拡大されたＭＢサイズと１６倍（４^２倍）に拡大されたＭＢサイズとから、ベースバンド画像１００の符号化に適したＭＢサイズを選択する。図６を参照して説明すると、１／１６縮小画像１２０の領域１２１に対するＭＢサイズは４×４画素であるため、ベースバンド画像１００において１／１６縮小画像１２０の領域１２１に対応する領域１０１に対するＭＢサイズは、拡大前のＭＢサイズ（４×４画素）、４倍（２^２倍）に拡大されたＭＢサイズ（８×８画素）又は１６倍（４^２倍）に拡大されたＭＢサイズ（１６×１６画素）から選択されることになる。同様に、１／１６縮小画像１２０の領域１２２に対するＭＢサイズは８×８画素であるため、ベースバンド画像１００において１／１６縮小画像１２０の領域１２２に対応する領域１０２に対するＭＢサイズは、拡大前のＭＢサイズ（８×８画素）、４倍（２^２倍）に拡大されたＭＢサイズ（１６×１６画素）又は１６倍（４２倍）に拡大されたＭＢサイズ（３２×３２画素）から選択されることになる。同様に、１／１６縮小画像１２０の領域１２３に対するＭＢサイズは１６×１６画素であるため、ベースバンド画像１００において１／１６縮小画像１２０の領域１２３に対応する領域１０３に対するＭＢサイズは、拡大前のＭＢサイズ（１６×１６画素）、４倍（２^２倍）に拡大されたＭＢサイズ（３２×３２画素）又は１６倍（４^２倍）に拡大されたＭＢサイズ（６４×６４画素）から選択されることになる。

画像ＭＢサイズ決定部１３は、領域１０１について、４×４画素、８×８画素及び１６×１６画素のそれぞれのＭＢサイズについて予測画像を生成し、各ＭＢサイズについて入力画像（ベースバンド画像１００）と予測画像との差分絶対値和（ＳＡＤ）を評価値として算出し、４×４画素、８×８画素及び１６×１６画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択する。画像ＭＢサイズ決定部１３は、領域１０２についても、８×８画素、１６×１６画素及び３２×３２画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択し、領域１０３についても、１６×１６画素、３２×３２画素及び６４×６４画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択する。そして、画像符号化部１４は、画像ＭＢサイズ決定部１３によって決定されたＭＢサイズを用いてベースバンド画像１００を符号化する。

図７を参照して、１／１６縮小画像１２０を用いてＭＢサイズを決定する場合の計算量について説明する。図７に示すように、第１実施形態に係る画像符号化装置は、１／１６縮小画像１２０に基づいて、４×４画素のＭＢサイズの評価値を求め、８×８画素のＭＢサイズの評価値を求め、１６×１６画素のＭＢサイズの評価値を求め、３２×３２画素のＭＢサイズの評価値を求め、評価値が最小となるＭＢサイズを決定する。１／１６縮小画像１２０はベースバンド画像１００に対して解像度が１６分の１に縮小されているため、各ＭＢサイズの評価値を求めるための計算量はＭ／１６となる。従って、１／１６縮小画像１２０に基づいて４×４画素〜３２×３２画素のＭＢサイズの評価値を求める４つの処理を行う場合の計算量は、以下の式５で表される。
Ｍ／１６＋Ｍ／１６＋Ｍ／１６＋Ｍ／１６＝Ｍ／４（式５）

さらに、第１実施形態に係る画像符号化装置は、１／１６縮小画像１２０に対するＭＢサイズを４倍（２^２倍）及び１６倍（４^２倍）に拡大し、拡大前のＭＢサイズの評価値と４倍（２^２倍）に拡大されたＭＢサイズの評価値と１６倍（４^２倍）に拡大されたＭＢサイズの評価値とを求める。すなわち、ベースバンド画像１００（１／１画像）に基づいて、３つのＭＢサイズから１つを選択することになるので、このときの計算量は、以下の式６で表される。
Ｍ＋Ｍ＋Ｍ＝３Ｍ（式６）

従って、ベースバンド画像１００に対するＭＢサイズを決定するために必要な計算量は、式５と式６とを加算して以下の式７で表される。
Ｍ／４＋３Ｍ＝３．２５Ｍ＜４Ｍ（式７）

ベースバンド画像１００を１６分の１に縮小してＭＢサイズを求める場合、ベースバンド画像１００では３回の計算を実行することになるが、ベースバンド画像１００のみを用いてＭＢサイズを決定する場合と比べて、ＭＢサイズの決定に要する計算量を削減することができる。すなわち、１／１６縮小画像については４種類のＭＢサイズからＭＢサイズを選択する必要があるが、解像度が１６分の１に縮小されているため、その分、計算量は削減され、ベースバンド画像については、１／１６縮小画像に対するＭＢサイズに基づいて３種類のＭＢサイズからＭＢサイズを選択すればよいため、４種類のＭＢサイズから選択する場合よりも計算量は削減される。その結果、ベースバンド画像のみを用いてＭＢサイズを決定する場合と比べて、ＭＢサイズの決定に要する計算量を削減することができる。なお、１／４縮小画像及び１／１６縮小画像のうちのいずれの縮小画像を用いるかは、符号化対象となる画像に応じて決定してもよい。

また、第１実施形態に係る画像符号化装置を、例えばビル等に用いられている映像監視システムに利用してもよい。映像監視システムは、監視カメラ等の撮像装置によって長時間にわたって撮影し続けるため、映像データの容量が膨大になる。このような映像監視システムに第１実施形態に係る画像符号化装置を適用することで、効率的に符号化処理を行うことができる。例えば、映像監視システムでは、オリジナルの映像を取得して監視映像ストレージに格納し、その後、オリジナル映像を圧縮して監視映像ストレージに格納し、時間経過に伴ってオリジナル映像を削除することで監視映像ストレージの効率化を図る場合がある。例えば、オリジナル映像に基づいてＨ．２６４方式やＨＥＶＣ方式等の映像を作成して監視映像ストレージに格納し、一定時間経過後に、オリジナル映像を削除することが考えられる。このような映像監視システムに第１実施形態に係る画像符号化装置を適用することで、オリジナル映像を例えばＨ．２６４方式やＨＥＶＣ方式等の符号化方式によって符号化する場合に、ＭＢサイズの決定に要する計算量を削減することができ、その結果、効率的に符号化処理を行うことができる。

［第２実施形態］
次に、図８を参照して、本発明の第２実施形態に係る画像符号化装置について説明する。第２実施形態に係る画像符号化装置は、画像ＭＢサイズ決定部１３と、画像符号化部１４と、画像縮小部１５と、１／１６画像ＭＢサイズ決定部１６と、１／４画像ＭＢサイズ決定部１７とを備えている。第１実施形態では、ベースバンド画像を１種類の縮小画像（１／４縮小画像又は１／１６縮小画像）に縮小してＭＢブロックを決定する場合について説明したが、第２実施形態では、ベースバンド画像を２種類の縮小画像に縮小してＭＢブロックを決定する。

画像縮小部１５は、入力されたベースバンド画像を縮小することで２種類の縮小画像を生成する。例えば、画像縮小部１５は、解像度が１６分の１に縮小された１／１６縮小画像を生成して１／１６画像ＭＢサイズ決定部１６に出力する。また、画像縮小部１５は、解像度が４分の１に縮小された１／４縮小画像を生成して１／４画像ＭＢサイズ決定部１７に出力する。

１／１６画像ＭＢサイズ決定部１６は、複数のパターンのＭＢサイズのなかから１／１６縮小画像の符号化に適したＭＢサイズを選択し、選択したＭＢサイズを示すＭＢサイズ情報を１／４画像ＭＢサイズ決定部１７に出力する。例えば、１／１６画像ＭＢサイズ決定部１６は、１／１６縮小画像を複数のパターンのＭＢサイズのブロック（例えば、４×４画素、８×８画素、１６×１６画素、３２×３２画素）に分割し、各ＭＢサイズの評価値を算出し、４×４画素、８×８画素、１６×１６画素及び３２×３２画素のそれぞれのＭＢサイズうち評価値が最小となるＭＢサイズを選択する。

１／４画像ＭＢサイズ決定部１７は、１／１６縮小画像に対するＭＢサイズと１／４縮小画像とに基づき、１／４縮小画像の符号化に適したＭＢサイズを選択し、選択したＭＢサイズを示すＭＢサイズ情報を画像ＭＢサイズ決定部１３に出力する。例えば、１／４画像ＭＢサイズ決定部１７は、１／４縮小画像に対する１／１６縮小画像の縮小率（４分の１）の逆数に相当する拡大率（４倍）に従って、１／１６縮小画像に対するＭＢサイズを拡大し、拡大前のＭＢサイズと拡大後のＭＢサイズとから１／４縮小画像の符号化に適したＭＢサイズを選択する。具体的には、１／４画像ＭＢサイズ決定部１７は、拡大前のＭＢサイズ及び拡大後のＭＢサイズのそれぞれの評価値を算出し、拡大前のＭＢサイズ及び拡大後のＭＢサイズのうち評価値が最小となるＭＢサイズを、１／４縮小画像の符号化に適したＭＢサイズとして選択する。

画像ＭＢサイズ決定部１３は、第１実施形態に係る画像符号化装置と同様に、１／４縮小画像に対するＭＢサイズとベースバンド画像とに基づき、ベースバンド画像の符号化に適したＭＢサイズを決定する。画像符号化部１４は、画像ＭＢサイズ決定部１３によって決定されたＭＢサイズを用いてベースバンド画像を符号化する。

次に、図９に示すフローチャート及び図１０を参照して、第２実施形態に係る画像符号化装置が行う処理の一例について説明する。図１０に、ベースバンド画像１００と、解像度が４分の１に縮小された１／４縮小画像１１０と、解像度が１６分の１に縮小された１／１６縮小画像１２０とを示す。

まず、画像縮小部１５は、図１０に示すベースバンド画像１００を縮小することで、解像度が４分の１に縮小された１／４縮小画像１１０と、解像度が１６分の１に縮小された１／１６縮小画像１２０とを生成する（Ｓ１０）。

次に、１／１６画像ＭＢサイズ決定部１６は、１／１６縮小画像１２０の符号化に適したＭＢサイズを決定する（Ｓ１１）。具体的には、１／１６画像ＭＢサイズ決定部１６は、１／１６縮小画像１２０を複数のＭＢサイズのブロック（例えば、４×４画素、８×８画素、１６×１６画素、３２×３２画素）に分割し、各ＭＢサイズ（４×４画素、８×８画素、１６×１６画素、３２×３２画素）について予測画像を生成し、各ＭＢサイズについて入力画像（１／１６縮小画像１２０）と予測画像との差分絶対値和（ＳＡＤ）を評価値として算出し、評価値が最小となるＭＢサイズを選択する。図１０に示す例では、１／１６縮小画像１２０の領域１２１（ハッチングが無い領域）についてはＭＢサイズを４×４画素のＭＢサイズに決定し、領域１２２（点状のハッチングの領域）についてはＭＢサイズを８×８画素のＭＢサイズに決定し、領域１２３（斜線のハッチングの領域）についてはＭＢサイズを１６×１６画素のＭＢサイズに決定する。そして、１／１６画像ＭＢサイズ決定部１６は、１／１６縮小画像１２０に対するＭＢサイズを示すＭＢサイズ情報を１／４画像ＭＢサイズ決定部１７に出力する。

１／４画像ＭＢサイズ決定部１７は、１／１６縮小画像１２０に対するＭＢサイズと１／４縮小画像１１０とに基づき、１／４縮小画像１１０の符号化に適したＭＢサイズを決定する（Ｓ１２）。具体的には、１／４画像ＭＢサイズ決定部１７は、１／４縮小画像１１０に対する１／１６縮小画像１２０の縮小率（４分の１）の逆数に相当する拡大率（４倍）に従って、１／１６縮小画像１２０に対するＭＢサイズを４倍（２^２倍）に拡大し、拡大前のＭＢサイズと４倍（２^２倍）に拡大されたＭＢサイズとから、１／４縮小画像１１０の符号化に適したＭＢサイズを選択する。図１０を参照して説明すると、１／１６縮小画像１２０の領域１２１に対するＭＢサイズは４×４画素であるため、１／４縮小画像１１０において１／１６縮小画像１２０の領域１２１に対応する領域１１１に対するＭＢサイズは、拡大前のＭＢサイズ（４×４画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（８×８画素）から選択されることになる。同様に、１／１６縮小画像１２０の領域１２２に対するＭＢサイズは８×８画素であるため、１／４縮小画像１１０において１／１６縮小画像１２０の領域１２２に対応する領域１１２に対するＭＢサイズは、拡大前のＭＢサイズ（８×８画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（１６×１６画素）から選択されることになる。同様に、１／１６縮小画像１２０の領域１２３に対するＭＢサイズは１６×１６画素であるため、１／４縮小画像１１０において１／１６縮小画像１２０の領域１２３に対応する領域１１３に対するＭＢサイズは、拡大前のＭＢサイズ（１６×１６画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（３２×３２画素）から選択されることになる。

１／４画像ＭＢサイズ決定部１７は、領域１１１について、４×４画素及び８×８画素のそれぞれのＭＢサイズについて予測画像を生成し、各ＭＢサイズについて入力画像（１／４縮小画像１１０）と予測画像との差分絶対値和（ＳＡＤ）を評価値として算出し、４×４画素及び８×８画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択する。１／４縮小画像ＭＢサイズ決定部１７は、領域１１２についても、８×８画素及び１６×１６画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択し、領域１１３についても、１６×１６画素及び３２×３２画素のそれぞれのＭＢサイズのうち評価値が最小となるＭＢサイズを選択する。そして、１／４画像ＭＢサイズ決定部１７は、１／４縮小画像１２０に対するＭＢサイズを示すＭＢサイズ情報を画像ＭＢサイズ決定部１３に出力する。

画像ＭＢサイズ決定部１３は、１／４縮小画像１１０に対するＭＢサイズとベースバンド画像１００とに基づき、ベースバンド画像１００の符号化に適したＭＢサイズを決定する（Ｓ１３）。具体的には、画像ＭＢサイズ決定部１３は、ベースバンド画像１００に対する１／４縮小画像１１０の縮小率（４分の１）の逆数に相当する拡大率（４倍）に従って、１／４縮小画像１１０に対するＭＢサイズを４倍（２^２倍）に拡大し、拡大前のＭＢサイズと４倍（２^２倍）に拡大されたＭＢサイズとから、ベースバンド画像１００の符号化に適したＭＢサイズを選択する。

図１０を参照して説明すると、Ｓ１２にて、１／４縮小画像１１０の領域１１１に対するＭＢサイズとして４×４画素のＭＢサイズが選択された場合、ベースバンド画像１００において１／４縮小画像１１０の領域１１１に対応する領域１０１に対するＭＢサイズは、拡大前のＭＢサイズ（４×４画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（８×８画素）から選択されることになる。一方、Ｓ１２にて、１／４縮小画像１１０の領域１１１に対するＭＢサイズとして８×８画素のＭＢサイズが選択された場合、ベースバンド画像１００において１／４縮小画像１１０の領域１１１に対応する領域１０１に対するＭＢサイズは、拡大前のＭＢサイズ（８×８画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（１６×１６画素）から選択されることになる。

同様に、Ｓ１２にて、１／４縮小画像１１０の領域１１２に対するＭＢサイズとして８×８画素のＭＢサイズが選択された場合、ベースバンド画像１００において１／４縮小画像１１０の領域１１２に対応する領域１０２に対するＭＢサイズは、拡大前のＭＢサイズ（８×８画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（１６×１６画素）から選択されることになる。一方、Ｓ１２にて、１／４縮小画像１１０の領域１１２に対するＭＢサイズとして１６×１６画素のＭＢサイズが選択された場合、ベースバンド画像１００において１／４縮小画像１１０の領域１１２に対応する領域１０２に対するＭＢサイズは、拡大前のＭＢサイズ（１６×１６画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（３２×３２画素）から選択されることになる。

同様に、Ｓ１２にて、１／４縮小画像１１０の領域１１３に対するＭＢサイズとして１６×１６画素のＭＢサイズが選択された場合、ベースバンド画像１００において１／４縮小画像１１０の領域１１３に対応する領域１０３に対するＭＢサイズは、拡大前のＭＢサイズ（１６×１６画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（３２×３２画素）から選択されることになる。一方、Ｓ１２にて、１／４縮小画像１１０の領域１１３に対するＭＢサイズとして３２×３２画素のＭＢサイズが選択された場合、ベースバンド画像１００において１／４縮小画像１１０の領域１１３に対応する領域１０３に対するＭＢサイズは、拡大前のＭＢサイズ（３２×３２画素）又は４倍（２^２倍）に拡大されたＭＢサイズ（６４×６４画素）から選択されることになる

画像ＭＢサイズ決定部１３は、領域１０１，１０２，１０３のそれぞれについて、拡大前のＭＢサイズ又は拡大後のＭＢサイズのいずれかを評価値に基づいて選択し、ベースバンド画像１００に対するＭＢサイズを示すＭＢサイズ情報を画像符号化部１４に出力する。

画像符号化部１４は、画像ＭＢサイズ決定部１３によって決定されたＭＢサイズを用いてベースバンド画像１００を符号化する（Ｓ１４）。

次に、図１１を参照して、ＭＢサイズの決定に要する計算量について説明する。図１１は、第２実施形態に係る画像符号化装置においてＭＢサイズを決定するために必要な計算量を説明するための図である。図４及び図５を参照して説明したように、縮小されていないベースバンド画像（１／１画像）に基づいて１つのＭＢサイズの評価値を求める処理１回あたりの計算量を計算量Ｍとする。

図１１に示すように、第２実施形態に係る画像符号化装置は、１／１６縮小画像１２０に基づいて、４×４画素のＭＢサイズの評価値を求め、８×８画素のＭＢサイズの評価値を求め、１６×１６画素のＭＢサイズの評価値を求め、３２×３２画素のＭＢサイズの評価値を求め、評価値が最小となるＭＢサイズを決定する。１／１６縮小画像１２０はベースバンド画像１００に対して解像度が１６分の１に縮小されているため、各ＭＢサイズの評価値を求めるための計算量はＭ／１６となる。従って、１／１６縮小画像１２０に基づいて４×４画素〜３２×３２画素のＭＢサイズの評価値を求める４つの処理を行う場合の計算量は、以下の式８で表される。
Ｍ／１６＋Ｍ／１６＋Ｍ／１６＋Ｍ／１６＝Ｍ／４（式８）

さらに、第２実施形態に係る画像符号化装置は、１／１６縮小画像１２０に対するＭＢサイズを４倍（２^２倍）に拡大し、拡大前のＭＢサイズの評価値と拡大後のＭＢサイズ評価値とを求め、評価値が最小となるＭＢサイズを選択する。すなわち、１／４縮小画像１１０に基づいて、２つのＭＢサイズから１つを選択することになるため、このときの計算量は、以下の式９で表される。
Ｍ／４＋Ｍ／４＝Ｍ／２（式９）

さらに、第２実施形態に係る画像符号化装置は、１／４縮小画像１１０に対するＭＢサイズを４倍（２^２倍）に拡大し、拡大前のＭＢサイズの評価値と拡大後のＭＢサイズの評価値とを求め、評価値が最小となるＭＢサイズを選択する。すなわち、ベースバンド画像１００（１／１画像）に基づいて、２つのＭＢサイズから１つを選択することになるので、このときの計算量は、以下の式１０で表される。
Ｍ＋Ｍ＝２Ｍ（式１０）

従って、第２実施形態に係る画像符号化装置によってベースバンド画像１００に対するＭＢサイズを決定するために必要な計算量は、式８，９，１０を加算して以下の式１１で表される。
Ｍ／４＋Ｍ／２＋２Ｍ＝１１Ｍ／４＝２．７５Ｍ＜４Ｍ（式１１）

ベースバンド画像１００のみに基づいてＭＢサイズを決定する場合、式１に示すように計算量は４Ｍとなり、１／１６縮小画像１２０及び１／４縮小画像１１０の２種類の縮小画像を利用してＭＢサイズを決定する場合、式１１に示すように計算量は２．７５Ｍ（＜４Ｍ）となる。従って、第２実施形態に係る画像符号化装置のように２種類の縮小画像を利用して選択し得るＭＢサイズの数を絞り込むことで、ベースバンド画像１００のみを用いてＭＢサイズを決定する場合と比べて、ＭＢサイズの決定に要する計算量を削減することができる。

以上のように、第２実施形態に係る画像符号化装置によると、１／１６縮小画像及び１／４縮小画像の２種類の縮小画像を生成し、１／１６縮小画像に対するＭＢサイズに基づいて１／４縮小画像に対して選択し得るＭＢサイズを決定し、さらに、１／４縮小画像に対するＭＢサイズに基づいてベースバンド画像に対して選択し得るＭＢサイズを決定することで、ベースバンド画像のみに基づいてＭＢサイズを決定する場合と比べて、ＭＢサイズの決定に要する計算量を削減することができる。すなわち、１／１６縮小画像については４種類のＭＢサイズからＭＢサイズを選択する必要があるが、解像度が１６分の１に縮小されているため、その分、計算量が削減される。また、１／４縮小画像については、解像度が４分の１に縮小された上、１／１６縮小画像に対するＭＢサイズに基づいて２種類のＭＢサイズからＭＢサイズを選択すればよいため、４種類のＭＢサイズから選択する場合よりも計算量は削減される。また、ベースバンド画像については、１／４縮小画像に対するＭＢサイズに基づいて２種類のＭＢサイズからＭＢサイズを選択すればよいため、４種類のＭＢサイズから選択する場合よりも計算量は削減される。その結果、ベースバンド画像のみを用いてＭＢサイズを決定する場合と比べて、ＭＢサイズの決定に要する計算量を削減することができる。このように、より縮小率が大きい縮小画像から段階的にＭＢサイズを決定し、ベースバンド画像に対して選択し得るＭＢサイズの数を絞り込むことで、ＭＢサイズの決定に要する計算量を削減することができる。

また、拡大前のＭＢサイズ及び拡大後のＭＢサイズのそれぞれの評価値に基づいて、拡大前のＭＢサイズ又は拡大後のＭＢサイズのいずれかをベースバンド画像に対するＭＢサイズとして選択することで、ベースバンド画像により適したＭＢサイズを選択して符号化することができる。その結果、圧縮効率を向上させることができ、また、画質の低下を抑制することができる。なお、第２実施形態に係る画像符号化装置を、上述した映像監視システムに利用してもよい。

［第３実施形態］
図１２を参照して、本発明の第３実施形態に係る画像符号化装置について説明する。第３実施形態に係る画像符号化装置は、画像縮小部１１と、１／４画像ＭＢサイズ決定部１２と、画像ＭＢサイズ決定部１３と、画像復号部１８と、画像符号化部１９とを備えている。画像復号部１８を設けた点が、図１に示す第１実施形態に係る画像符号化装置と異なる点であり、画像縮小部１１、１／４画像ＭＢサイズ決定部１２及び画像ＭＢサイズ決定部１３は、第１実施形態に係る画像符号化装置と同じ処理を実行する。

画像復号部１８は、符号化された符号化画像を受けて復号することでベースバンド画像を生成する。入力された符号化画像は、例えばＭＰＥＧ、Ｍ−ＪＰＥＧ（Ｍｏｔｉｏｎ ＪＰＥＧ）又はＨ．２６４方式等のいずれの符号化方式に従って符号化された画像であってもよい。

画像符号化部１９は、画像ＭＢサイズ決定部１３によって決定されたＭＢサイズを用いてベースバンド画像を再符号化し、再符号化画像を出力する。

以上のように、第３実施形態に係る画像符号化装置においても、１／４縮小画像に対するＭＢサイズを用いてベースバンド画像に対するＭＢサイズを決定することで、ＭＢサイズを決定するための計算量を削減することができる。なお、１／４縮小画像に替えて１／１６縮小画像を生成してベースバンド画像のＭＢサイズを決定してもよい。

また、第３実施形態に係る画像符号化装置を映像監視システムに利用してもよい。映像監視システムでは、オリジナルの映像として例えばＭ−ＪＰＥＧ方式の監視映像を生成して監視映像ストレージに格納し、その後、符号化方式を変えてオリジナル映像を再圧縮して監視映像ストレージに格納し、時間経過に伴ってオリジナル映像を削除することで監視映像ストレージの効率化を図る場合がある。例えば、Ｍ−ＪＰＥＧ方式のオリジナル映像に基づいてＨ．２６４方式やＨＥＶＣ方式等の映像を作成して監視映像ストレージに格納し、一定時間経過後に、オリジナル映像を削除することが考えられる。このような映像監視システムに第３実施形態に係る画像符号化装置を適用することで、例えばＭ−ＪＰＥＧ方式の符号化画像を一旦復号し、Ｈ．２６４方式やＨＥＶＣ方式等の別の符号化方式によって再符号化する場合に、ＭＢサイズの決定に要する計算量を削減することができ、その結果、効率的に符号化処理を行うことができる。

［第４実施形態］
図１３を参照して、本発明の第４実施形態に係る画像符号化装置について説明する。第４実施形態に係る画像符号化装置は、画像縮小部１５と、１／１６画像ＭＢサイズ決定部１６と、１／４画像ＭＢサイズ決定部１７と、画像ＭＢサイズ決定部１３と、画像復号部１８と、画像符号化部１９とを備えている。画像復号部１８を設けた点が、図８に示す第２実施形態に係る画像符号化装置と異なる点であり、画像縮小部１５、１／１６画像ＭＢサイズ決定部１６、１／４画像ＭＢサイズ決定部１７及び画像ＭＢサイズ決定部１３は、第２実施形態に係る画像符号化装置と同じ処理を実行する。

画像復号部１８は、第３実施形態と同様に、符号化画像を受けて復号することでベースバンド画像を生成する。画像符号化部１９は、画像ＭＢサイズ決定部１３によって決定されたＭＢサイズを用いてベースバンド画像を符号化して出力する。このように、画像復号部１８にて復号されたベースバンド画像は画像符号化部１９にて再符号化される。

以上のように、第４実施形態に係る画像符号化装置においても、縮小率が大きい１／１６縮小画像から段階的により縮小率が小さい縮小画像のＭＢサイズを決定してベースバンド画像に対して選択し得るＭＢサイズの数を絞り込むことで、ＭＢサイズを決定するための計算量を削減することができる。また、第３実施形態と同様に、第４実施形態に係る画像符号化装置を映像監視システムに利用してもよい。

［第５実施形態］
図１４を参照して、本発明の第５実施形態に係る画像符号化装置について説明する。第５実施形態に係る画像符号化装置は、画像縮小部１１と、１／４画像ＭＢサイズ決定部１２と、画像ＭＢサイズ決定部１３と、画像符号化部１４と、１／４画像符号化部２０とを備えている。１／４画像符号化部２０を設けた点が、図１に示す第１実施形態に係る画像符号化装置と異なる点であり、画像縮小部１１、１／４画像ＭＢサイズ決定部１２、画像ＭＢサイズ決定部１３及び画像符号化部１４は、第１実施形態に係る画像符号化装置と同じ処理を実行する。

１／４画像符号化部２０は、画像縮小部１１から１／４縮小画像を受け、１／４画像ＭＢサイズ決定部１２によって決定されたＭＢサイズを用いて１／４縮小画像を符号化し、１／４縮小符号化画像を出力する。

以上のように、第５実施形態に係る画像符号化装置においても、１／４縮小画像に対するＭＢサイズに基づいてベースバンド画像に対するＭＢサイズを決定することで、ＭＢサイズを決定するための計算量を削減することができる。なお、１／４縮小画像に替えて１／１６縮小画像を生成してベースバンド画像のＭＢサイズを決定してもよい。

また、第５実施形態に係る画像符号化装置を映像監視システムに用いてもよい。映像監視システムでは、オリジナル映像を取得して監視映像ストレージに格納した後、解像度がそれぞれ異なる映像に対して符号化処理を行うことで解像度がそれぞれ異なる複数の圧縮映像を生成し、時間経過に従って、解像度が高い圧縮映像を削除するという手法が採られる場合がある。このような手法に第５実施形態に係る画像符号化装置を適用した場合、オリジナル映像（ベースバンド画像）を取得して監視映像ストレージに格納した後、ベースバンド画像を符号化することで符号化画像を生成し、１／４縮小画像を符号化することで１／４縮小符号化画像を生成し、符号化画像及び１／４縮小符号化画像を監視映像ストレージに格納しておく。そして、時間経過に伴って解像度が高い映像を削除することで、監視映像ストレージの効率化を図ることができる。例えば、オリジナル映像を監視映像ストレージに格納してから一定時間が経過した後、オリジナル映像を削除し、その後さらに一定時間が経過した後、解像度が高い符号化画像を削除し、解像度が低い１／４縮小符号化画像のみを残しておくことで、監視映像ストレージの効率化が図れる。

［第６実施形態］
図１５を参照して、本発明の第６実施形態に係る画像符号化装置について説明する。第６実施形態に係る画像符号化装置は、画像縮小部１５と、１／１６画像ＭＢサイズ決定部１６と、１／４画像ＭＢサイズ決定部１７と、画像ＭＢサイズ決定部１３と、画像符号化部１４と、１／４画像符号化部２０と、１／１６画像符号化部２１とを備えている。１／４画像符号化部２０及び１／１６画像符号化部２１を設けた点が、図８に示す第２実施形態に係る画像符号化装置と異なる点であり、画像縮小部１５、１／１６画像ＭＢサイズ決定部１６、１／４画像ＭＢサイズ決定部１７、画像ＭＢサイズ決定部１３及び画像符号化部１４は、第２実施形態に係る画像符号化装置と同じ処理を実行する。

１／４画像符号化部２０は、画像縮小部１５から１／４縮小画像を受け、１／４画像ＭＢサイズ決定部１７によって決定されたＭＢサイズを用いて１／４縮小画像を符号化し、１／４縮小符号化画像を出力する。

１／１６画像符号化部２１は、画像縮小部１５から１／１６縮小画像を受け、１／１６画像ＭＢサイズ決定部１６によって決定されたＭＢサイズを用いて１／１６縮小画像を符号化し、１／１６縮小符号化画像を出力する。

以上のように、第６実施形態に係る画像符号化装置においても、縮小率が大きい１／１６縮小画像から段階的により縮小率が小さい縮小画像のＭＢサイズを決定してベースバンド画像に対して選択し得るＭＢサイズの数を絞り込むことで、ＭＢサイズを決定するための計算量を削減することができる。

また、第６実施形態に係る画像符号化装置を映像監視システムに用いてもよい。第６実施形態に係る画像符号化装置を映像監視システムに適用した場合、オリジナル映像（ベースバンド画像）を取得した後、ベースバンド画像を符号化することで符号化画像を生成し、１／４縮小画像を符号化することで１／４縮小符号化画像を生成し、１／１６縮小画像を符号化することで１／１６縮小符号化画像を生成し、オリジナル映像、符号化画像、１／４縮小符号化画像及び１／１６縮小符号化画像を、監視映像ストレージに格納しておく。そして、時間経過に伴って解像度が高い順に映像を削除することで、監視映像ストレージの効率化を図ることができる。例えば、オリジナル映像を監視映像ストレージに格納してから一定時間が経過した後、オリジナル映像を削除し、その後さらに一定時間が経過した後、解像度が高い符号化画像を削除し、符号化画像を削除した後さらに一定時間が経過した後、解像度が２番目に高い１／４縮小符号化画像を削除し、解像度が最も低い１／１６縮小符号化画像のみを残しておくことで、監視映像ストレージの効率化が図れる。

［第７実施形態］
図１６を参照して、本発明の第７実施形態に係る画像符号化装置について説明する。第７実施形態に係る画像符号化装置は、画像復号部１８と、画像縮小部１１と、１／４画像ＭＢサイズ決定部１２と、画像ＭＢサイズ決定部１３と、画像符号化部１９と、１／４画像符号化部２０とを備えている。画像復号部１８を設けた点が、図１４に示す第５実施形態に係る画像符号化装置と異なる点である。

画像復号部１８は、符号化画像を受けて復号することでベースバンド画像を生成する。このように、第７実施形態に係る画像符号化装置は、符号化画像を一旦復号することでベースバンド画像を生成し、そのベースバンド画像を符号化することで再符号化画像を生成し、１／４縮小画像を符号化することで１／４縮小再符号化画像を生成する。

以上のように、第７実施形態に係る画像符号化装置においても、１／４縮小画像に対するＭＢサイズに基づいてベースバンド画像に対するＭＢサイズを決定することで、ＭＢサイズを決定するための計算量を削減することができる。なお、１／４縮小画像に替えて１／１６縮小画像を生成してベースバンド画像のＭＢサイズを決定してもよい。

また、第７実施形態に係る画像符号化装置を映像監視システムに用いてもよい。映像監視システムでは、オリジナル映像として例えばＭ−ＪＰＥＧ方式の監視映像を生成して監視映像ストレージに格納し、その後、符号化方式を変えて解像度がそれぞれ異なる映像に対して符号化処理を行うことで再圧縮処理を行う場合がある。このような手法に第７実施形態に係る画像符号化装置を適用した場合、オリジナル映像（符号化画像）を取得した後、符号化画像を復号することでベースバンド画像を生成し、ベースバンド画像を符号化することで再符号化画像を生成し、１／４縮小画像を符号化することで１／４縮小再符号化画像を生成し、符号化画像、再符号化画像及び１／４縮小再符号化画像を、監視映像ストレージに格納しておく。そして、時間経過に伴って解像度が高い映像を削除することで、監視映像ストレージの効率を図ることができる。例えば、オリジナル映像（符号化画像）を監視映像ストレージに格納してから一定時間が経過した後、オリジナル映像を削除し、その後さらに一定時間が経過した後、解像度が高い再符号化画像を削除し、解像度が低い１／４縮小再符号化画像のみを残しておくことで、監視映像ストレージの効率化が図れる。

［第８実施形態］
図１７を参照して、本発明の第８実施形態に係る画像符号化装置について説明する。第８実施形態に係る画像符号化装置は、画像復号部１８と、画像縮小部１５と、１／１６画像ＭＢサイズ決定部１６と、１／４画像ＭＢサイズ決定部１７と、画像ＭＢサイズ決定部１３と、画像符号化部１９と、１／４画像符号化部２０と、１／１６画像符号化部２１とを備えている。画像復号部１８を設けた点が、図１５に示す第６実施形態に係る画像符号化装置と異なる点である。

画像復号部１８は、符号化画像を受けて復号することでベースバンド画像を生成する。このように、第８実施形態に係る画像符号化装置は、符号化画像を一旦復号することでベースバンド画像を生成し、そのベースバンド画像を符号化することで再符号化画像を生成し、１／４縮小画像を符号化することで１／４縮小再符号化画像を生成し、１／１６縮小画像を符号化することで１／１６縮小再符号化画像を生成する。

以上のように、第８実施形態に係る画像符号化装置においても、縮小率が大きい１／１６縮小画像から段階的により縮小率が小さい縮小画像のＭＢサイズを決定してベースバンド画像に対して選択し得るＭＢサイズの数を絞り込むことで、ＭＢサイズを決定するための計算量を削減することができる。

また、第８実施形態に係る画像符号化装置を映像監視システムに適用してもよい。この場合、オリジナル映像（符号化画像）を取得した後、符号化画像を復号することでベースバンド画像を生成し、ベースバンド画像を符号化することで再符号化画像を生成し、１／４縮小画像を符号化することで１／４縮小再符号化画像を生成し、１／１６縮小画像を符号化することで１／１６縮小再符号化画像を生成し、オリジナル映像（符号化画像）、再符号化画像、１／４縮小再符号化画像及び１／１６縮小再符号化画像を、監視映像ストレージに格納しておく。そして、時間経過に伴って解像度が高い映像を削除することで、監視映像ストレージの効率を図ることができる。例えば、オリジナル映像を監視映像ストレージに格納してから一定時間が経過した後、オリジナル映像を削除し、その後さらに一定時間が経過した後、解像度が最も高い符号化画像を削除し、符号化画像を削除した後さらに一定時間が経過した後、解像度が２番目に高い１／４縮小符号化画像を削除し、解像度が最も低い１／１６縮小符号化画像のみを残しておくことで、監視映像ストレージの効率化が図れる。

上述した第１から第８実施形態において、１種類の縮小画像（１／４縮小画像又は１／１６縮小画像）又は２種類の縮小画像（１／４縮小画像及び１／１６縮小画像）を生成してベースバンド画像のＭＢサイズを決定する例について説明した。次に、縮小回数を一般化した場合の計算量について説明する。

ベースバンド画像（１／１画像）に基づいて１つのＭＢサイズの評価値を求める処理１回あたりの計算量を計算量Ｍとし、縮小回数をｎ（ただし、縮小は２のべき数で実施する）、ＭＢサイズの種類をｂ_ｎ（縮小回数に応じて可変である）とすると、計算量は以下の式で表される。

例えば、第１実施形態において１／４縮小画像を生成してＭＢサイズを決定する場合、ベースバンド画像を２^２分の１（１／２^２）に縮小することになるため縮小回数は１回であり、４種類のＭＢサイズから１／４縮小画像に対するＭＢサイズを選択し、２種類のＭＢサイズからベースバンド画像に対するＭＢサイズを選択することになる。従って、ｎ＝１、ｂ_１＝４（４×４画素〜３２×３２画素の４種類のＭＢサイズから選択）、ｂ_０＝２（２種類のＭＢサイズから選択）となる。

また、第２実施形態においては、１／４縮小画像及び１／１６縮小画像を生成するため、縮小回数は２回であり、４種類のＭＢサイズから１／１６縮小画像に対するＭＢサイズを選択し、２種類のＭＢサイズから１／４縮小画像に対するＭＢサイズを選択し、２種類のＭＢサイズからベースバンド画像に対するＭＢサイズを選択することになる。従って、従って、ｎ＝２、ｂ_２＝４、ｂ_１＝ｂ_０＝２となる。

また、第１実施形態において１／１６縮小画像を生成してＭＢサイズを決定する場合、ベースバンド画像を２^２分の１（１／２^２）に縮小し、さらに２^２分の１（１／２^２）に縮小することになるため縮小回数は２回に相当し、４種類のＭＢサイズから１／１６縮小画像に対するＭＢサイズを選択し、３種類のＭＢサイズからベースバンド画像に対するＭＢサイズを選択することになる。従って、ｎ＝２、ｂ_２＝４、ｂ_１＝０、ｂ_０＝３となる。

一例として、ｂｎを符号化方式で許容される最大の種類ｂ_ＭＡＸとし、ｂ_ｎ−１〜ｂ_０をｂ_{ｏｔｈｅｒ}とすると、計算量は以下の式で表される。

この式から、ｂ_ＭＡＸが大きく、ｂ_{ｏｔｈｅｒ}が小さいほど計算量が少なくなる。なお、常に、ｂ_ＭＡＸ＞ｂ_{ｏｔｈｅｒ}の関係が成立する。また、単調増加の第二項についても収束し（２のべき乗の逆数の和の極限は２である）、さらに単調減少の第一項の収束速度が速いため、ｎが大きいほど計算量が少なくなる。

なお、上述した第１から第８実施形態では、ブロックサイズの一例として４×４画素、８×８画素、１６×１６画素、３２×３２画素を挙げて説明したが、ブロックサイズはこれらに限定されるものではなく、６４×６４画素等の他のブロックサイズであってもよい。また、上述した第１から第８実施形態では、水平及び垂直方向の画素数が等しいＫ×Ｋ画素（Ｋは偶数）のマクロブロックを例にして説明したが、水平及び垂直方向の画素数が異なるＫ×Ｌ画素（Ｋ，Ｌは偶数）のマクロブロックを用いた場合であっても、Ｋ×Ｋ画素のマクロブロックを用いた処理と同じ効果を奏することができる。

（ハードウェア構成）
上述した第１から第８実施形態に係る画像符号化装置は図示しないＣＰＵ等のプロセッサを備えている。プロセッサは、図示しないメモリに記憶されたプログラムを実行することにより、画像縮小部１１，１５、１／４画像ＭＢサイズ決定部１２，１７、画像ＭＢサイズ決定部１３、画像符号化部１４，１９、１／１６画像ＭＢサイズ決定部１６、画像復号部１８、１／４画像符号化部２０、及び、１／１６画像符号化部２１のそれぞれの機能を実現する。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を介して又はネットワーク等の通信経路を介してハードディスクドライブ（ＨＤＤ）等の記憶装置に記憶される。なお、上記プログラムはハードディスクドライブ等の記憶装置に予め記憶されていてもよい。ハードディスクドライブ等の記憶装置に記憶されたプログラムがＲＡＭ等のメモリに読み出されてＣＰＵ等のプロセッサによって実行されることにより、上述した画像符号化装置の各部の機能が実現される。

１１，１５ 画像縮小部、１２，１７ １／４画像ＭＢサイズ決定部、１３ 画像ＭＢサイズ決定部、１４，１９ 画像符号化部、１６ １／１６画像ＭＢサイズ決定部、１８ 画像復号部、２０ １／４画像符号化部、２１ １／１６画像符号化部。

Claims (15)

1. ベースバンド画像を受け、前記ベースバンド画像を縮小することで縮小画像を生成する画像縮小手段と、
   前記縮小画像に対する符号化処理であって複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記縮小画像に対する縮小画像用ブロックサイズを選択する第１のブロックサイズ決定手段と、
   前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから、前記ベースバンド画像に対するベースバンド画像用ブロックサイズを選択する第２のブロックサイズ決定手段と、
   前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化する画像符号化手段と、
   を有することを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置であって、
   前記画像縮小手段は、前記ベースバンド画像を縮小することで、第１の縮小画像と前記第１の縮小画像よりも解像度が高い第２の縮小画像とを生成し、
   前記第１のブロックサイズ決定手段は、前記第１の縮小画像に対する符号化処理であって前記複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記第１の縮小画像に対する第１の縮小画像用ブロックサイズを選択し、前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから、前記第２の縮小画像に対する第２の縮小画像用ブロックサイズを選択し、
   前記第２のブロックサイズ決定手段は、前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記第２の縮小画像用ブロックサイズと拡大後の前記第２の縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、
   ことを特徴とする画像符号化装置。
3. 請求項１に記載の画像符号化装置であって、
   前記第２のブロックサイズ決定手段は、前記ベースバンド画像に対する前記縮小画像の縮小率の逆数に従って前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから前記ベースバンド画像用ブロックサイズを選択する、
   ことを特徴とする画像符号化装置。
4. 請求項１又は請求項３に記載の画像符号化装置であって、
   前記画像縮小手段は、前記ベースバンド画像を縮小することで、解像度が４分の１に縮小された１／４縮小画像を生成し、
   前記第１のブロックサイズ決定手段は、前記評価値に基づいて前記複数のブロックサイズから前記１／４縮小画像に対する１／４縮小画像用ブロックサイズを選択し、
   前記第２のブロックサイズ決定手段は、前記１／４縮小画像用ブロックサイズを４倍に拡大し、拡大前の前記１／４縮小画像用ブロックサイズと４倍に拡大された前記１／４縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、
   ことを特徴とする画像符号化装置。
5. 請求項１又は請求項３に記載の画像符号化装置であって、
   前記画像縮小手段は、前記ベースバンド画像を縮小することで、解像度が１６分の１に縮小された１／１６縮小画像を生成し、
   前記第１のブロックサイズ決定手段は、前記評価値に基づいて前記複数のブロックサイズから前記１／１６縮小画像に対する１／１６縮小画像用ブロックサイズを選択し、
   前記第２のブロックサイズ決定手段は、前記１／１６縮小画像用ブロックサイズを、４倍及び１６倍にそれぞれ拡大し、拡大前の前記１／１６縮小画像用ブロックサイズと、４倍に拡大された前記１／１６縮小画像用ブロックサイズと、１６倍に拡大された前記１／１６縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、
   ことを特徴とする画像符号化装置。
6. 請求項１、請求項３、請求項４又は請求項５のいずれか一項に記載の画像符号化装置であって、
   前記画像符号化手段は、前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化し、前記縮小画像用ブロックサイズに従って前記縮小画像を符号化する、
   ことを特徴とする画像符号化装置。
7. 請求項２に記載の画像符号化装置であって、
   前記第１のブロックサイズ決定手段は、前記第２の縮小画像に対する前記第１の縮小画像の縮小率の逆数に従って前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから前記第２の縮小画像用ブロックサイズを選択し、
   前記第２のブロックサイズ決定手段は、前記ベースバンド画像に対する前記第２の縮小画像の縮小率の逆数に従って前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから前記ベースバンド画像用ブロックサイズを選択する、
   ことを特徴とする画像符号化装置。
8. 請求項２又は請求項７に記載の画像符号化装置であって、
   前記画像縮小手段は、前記ベースバンド画像を縮小することで、解像度が１６分の１に縮小された１／１６縮小画像を前記第１の縮小画像として生成し、解像度が４分の１に縮小された１／４縮小画像を前記第２の縮小画像として生成し、
   前記第１のブロックサイズ決定手段は、前記評価値に基づいて前記複数のブロックサイズから前記１／１６縮小画像に対する１／１６縮小画像用ブロックサイズを前記第１の縮小画像用ブロックサイズとして選択し、前記１／１６縮小画像用ブロックサイズを４倍に拡大し、拡大前の前記１／１６縮小画像用ブロックサイズと４倍に拡大された前記１／１６縮小画像用ブロックサイズとから、前記１／４縮小画像用ブロックサイズに対する１／４縮小画像用ブロックサイズを前記第２の縮小画像用ブロックサイズとして選択し、
   前記第２のブロックサイズ決定手段は、前記１／４縮小画像用ブロックサイズを４倍に拡大し、拡大前の前記１／４縮小画像用ブロックサイズと４倍に拡大された前記１／４縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、
   ことを特徴とする画像符号化装置。
9. 請求項２、請求項７又は請求項８のいずれか一項に記載の画像符号化装置であって、
   前記画像符号化手段は、前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化し、前記第１の縮小画像用ブロックサイズに従って前記第１の縮小画像を符号化し、前記第２の縮小画像用ブロックサイズに従って前記第２の縮小画像を符号化する、
   ことを特徴とする画像符号化装置。
10. 請求項１から請求項９のいずれか一項に記載の画像符号化装置であって、
    符号化された符号化画像を受け、前記符号化画像を復号することで復号された前記ベースバンド画像を生成する画像復号手段を更に備え、
    前記画像符号化手段は、前記復号された前記ベースバンド画像を前記ベースバンド画像用ブロックサイズに従って再符号化する、
    ことを特徴とする画像符号化装置。
11. 請求項１から請求項１０のいずれか一項に記載の画像符号化装置であって、
    前記複数のブロックサイズは、Ｋ×Ｌ画素（Ｋ，Ｌは偶数）のブロックサイズである、
    ことを特徴とする画像符号化装置。
12. ベースバンド画像を受け、前記ベースバンド画像を縮小することで縮小画像を生成する第１のステップと、
    前記縮小画像に対する符号化処理であって複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記縮小画像に対する縮小画像用ブロックサイズを選択する第２のステップと、
    前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから、前記ベースバンド画像に対するベースバンド画像用ブロックサイズを選択する第３のステップと、
    前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化する第４のステップと、
    を含むことを特徴とする画像符号化方法。
13. 請求項１２に記載の画像符号化方法であって、
    前記第１のステップでは、前記ベースバンド画像を縮小することで、第１の縮小画像と前記第１の縮小画像よりも解像度が高い第２の縮小画像とを生成し、
    前記第２のステップでは、前記第１の縮小画像に対する符号化処理であって前記複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記第１の縮小画像に対する第１の縮小画像用ブロックサイズを選択し、前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから、前記第２の縮小画像に対する第２の縮小画像用ブロックサイズを選択し、
    前記第３のステップでは、前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記第２の縮小画像用ブロックサイズと拡大後の前記第２の縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、
    ことを特徴とする画像符号化方法。
14. コンピュータに、
    ベースバンド画像を受け、前記ベースバンド画像を縮小することで縮小画像を生成する第１のステップと、
    前記縮小画像に対する符号化処理であって複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記縮小画像に対する縮小画像用ブロックサイズを選択する第２のステップと、
    前記縮小画像用ブロックサイズを拡大し、拡大前の前記縮小画像用ブロックサイズと拡大後の前記縮小画像用ブロックサイズとから、前記ベースバンド画像に対するベースバンド画像用ブロックサイズを選択する第３のステップと、
    前記ベースバンド画像用ブロックサイズに従って前記ベースバンド画像を符号化する第４のステップと、
    を実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムであって、
    前記第１のステップでは、前記ベースバンド画像を縮小することで、第１の縮小画像と前記第１の縮小画像よりも解像度が高い第２の縮小画像とを生成し、
    前記第２のステップでは、前記第１の縮小画像に対する符号化処理であって前記複数のブロックサイズのそれぞれに従った符号化処理の評価値を前記複数のブロックサイズのそれぞれについて求め、前記評価値に基づいて前記複数のブロックサイズから前記第１の縮小画像に対する第１の縮小画像用ブロックサイズを選択し、前記第１の縮小画像用ブロックサイズを拡大し、拡大前の前記第１の縮小画像用ブロックサイズと拡大後の前記第１の縮小画像用ブロックサイズとから、前記第２の縮小画像に対する第２の縮小画像用ブロックサイズを選択し、
    前記第３のステップでは、前記第２の縮小画像用ブロックサイズを拡大し、拡大前の前記第２の縮小画像用ブロックサイズと拡大後の前記第２の縮小画像用ブロックサイズとから、前記ベースバンド画像用ブロックサイズを選択する、
    ことを特徴とするプログラム。
    

Images