JP2015050661A - 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム - Google Patents

Abstract

【課題】１画面内で画質が異なるような画像についても符号化効率を向上させる。【解決手段】符号化装置は、レンズの特性に応じて画像の特性を決定し、予め定められた第１のサイズの第１のブロックに分割された画像につき、第１のブロックの上記画像の特性に基づいて、該第１のブロックを更に分割するブロックサイズを決定し、決定されたブロックサイズに基づき第１のブロックの画像を複数のブロックに分割し、複数のブロックに分割された画像をブロック単位に予測符号化する。【選択図】図１

Description

本発明は、符号化装置、符号化装置の制御方法、及び、コンピュータプログラムに関する。

従来、動画データを圧縮・予測符号化する符号化装置として撮像装置や携帯型通信装置等が知られている。撮像装置や携帯型通信装置では、撮像部で撮影された画像に基づいて動画信号を取得し、取得した動画信号を圧縮符号化して、記憶媒体に記録していた。

従来、動画信号を圧縮符号化する技術として、たとえばＭＰＥＧ、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ等の形式に圧縮符号化する技術が提案されている。このような圧縮符号化技術は、たとえば、テレビ放送を録画する録画装置などでも用いられている。たとえば、特許文献１では、放送番組のジャンル情報に応じてＤＣＴブロックのサイズを決定する為の閾値を変更する技術が開示されている。

特開２０１０−２８８０８０号公報

しかしながら、特許文献１のように１画面内で同じ処理を適用するだけでは、１画面内で画質が異なるような画像を符号化する際には、符号化効率が低下する場合がある。これに対し本発明は、１画面内で画質が異なるような画像についても符号化効率を向上させるための技術を提供する。

上記課題を解決するための本発明は、
レンズを介して被写体を撮影し、画像を取得する取得手段と、
前記レンズの特性に応じて、前記画像の特性を決定する特性決定手段と、
予め定められた第１のサイズの第１のブロックに分割された前記画像につき、前記第１のブロックの画像の特性に基づいて、該第１のブロックを更に分割するブロックサイズを決定するサイズ決定手段と、
前記決定されたブロックサイズに基づき前記第１のブロックの画像を複数のブロックに分割する分割手段と、
前記複数のブロックに分割された画像をブロック単位に予測符号化する予測符号化手段と
を備える符号化装置であって、
前記特性決定手段は、前記画像のうち、前記レンズの特性が画質に影響を与える所定の領域と、それ以外の領域とを区別することにより前記画像の特性を決定し、
前記サイズ決定手段は、前記所定の領域と前記それ以外の領域とについて、独立に前記ブロックサイズを決定する。

本発明によれば、画像に関連するレンズ情報に応じて、符号化処理におけるブロックのサイズを決定することで、１画面内で画質が異なるような画像についても符号化効率を向上できる。

発明の実施形態１に対応する符号化装置の構成例を示す図。 発明の実施形態に対応するレンズ種類に基づく入力画像の特性を示すテーブルの一例。 発明の実施形態に対応する画像内の領域のレンズ特性の一例を説明するための図。 発明の実施形態に対応する入力画像の分割方式の一例を説明するための図。 発明の実施形態１に対応するブロック分割処理の一例を示すフローチャート。 発明の実施形態２に対応する符号化装置の構成例を示す図。 発明の実施形態２に対応するブロック補正処理の一例を示すフローチャート。

以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

［実施形態１］
図１は、本実施形態に対応する符号化装置の構成の一例を示す図である。当該符号化装置は、入力画像を可変サイズのブロックに分割して予測符号化を行って符号化ストリームを生成し、記録する。なお、本発明が適用可能な符号化装置には、デジタルカメラ、デジタルビデオカメラの他、カメラ機能を有する携帯電話、ＰＤＡ、スマートフォン、タブレットＰＣ等が含まれる。また、図１の符号化装置を構成する各ブロックは、レンズや撮像素子のような物理的デバイスを除き、専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行して、装置の動作を制御することにより、ソフトウェア的に構成されてもよい。

また、本実施形態では、符号化装置として、レンズ及び撮像素子を有するカメラ装置を例に取って説明するが、予測符号化部を有し、符号化対象画像に関わるレンズ情報に応じて予測符号化部の処理におけるブロックサイズを決定する装置であればどのような装置であっても良い。

＜符号化処理＞
次に、発明の実施形態に対応する符号化装置の構成及び、当該装置で実行される符号化処理を説明する。まず、レンズ１０１は、外部から被写体からの反射光を取り込み、センサ１０２へ出力するとともに、レンズの情報をレンズ特性決定部１１２へ出力する。レンズ特性決定部１１２は、装着されているレンズ１０１の種類に基づき、入力画像の特性を決定する。具体的に、入力画像内でレンズ特性が現れる領域をブロックサイズ決定部１１６に通知する。ブロックサイズ決定部１１６は、レンズ特性決定部１１２から通知された各領域の特性、及び、センサ１０２から供給される画像データの各領域の特徴に基づいて、各領域について符号化処理のためのブロックサイズを決定する。レンズ特性及びブロックサイズの詳細は後述する。

センサ１０２は、ＣＭＯＳやＣＣＤ等の撮像素子からなり、レンズ１０１を介して受光した被写体像を画像に変換し、ブロック分割部１１３及びブロックサイズ決定部１１６、動き探索部１１０、イントラ予測部１１７へと出力する。ブロック分割部１１３は、入力画像を同一サイズの第１の符号化ブロックに分割し、その上でブロックサイズ決定部１１６の指示に従い、第１の符号化ブロックを第２の符号化ブロックに分割して出力する。

動き探索部１１０は、符号化対象の予測ブロックと、後述する参照フレーム保持部１０９が保持する参照フレーム画像とを用いてパターンマッチングを行う。このパターンマッチングにおいて誤差が最小となるものに基づき、入力画像における予測ブロックの動きベクトルを検出する。動き探索部１１０にて算出された予測ブロックの動きベクトルは、動き補償部１１１へ出力される。動き補償部１１１は、参照フレーム画像及び動きベクトルに基づいて予測ブロックのための予測処理を行い、予測画像生成を行う。当該予測画像は、判定部１１８に出力される。上記動き探索処理で、予測ブロックのサイズを決定する。イントラ予測部１１７は、参照画像として、符号化を行う予測ブロックの周辺の画素を用いて、複数のイントラ予測モードのうちから符号化効率の高くなる予測モードを選択し、予測画像生成を行う。

判定部１１８は、イントラ予測部１１７、動き補償部１１１からの出力の結果に基づき、符号化する予測方式を選択決定する。例えば、符号化対象ブロックについてイントラ予測部１１７で計算した予測画像と、動き補償部１１１で生成した予測画像について、符号化対象画像との画面間差分値とそれぞれ導出して比較し、差分のより小さい方式を選択できる。予測方式を決定すると、判定部１１８は選択方式で生成された予測画像を減算器１０３と加算器１０８とに出力する。

減算器１０３は、入力画像の予測ブロックの画素値と予測画像の画素値との間で予測誤差を算出し、直交変換部１０４へ出力する。直交変換部１０４は、予測誤差をブロックサイズ決定部１１６が決定した量子化ブロック単位に、例えば離散コサイン係数に変換する。量子化部１０５は、直交変換部１０４から入力された離散コサイン係数を、ブロックサイズ決定部１１６が決定した量子化ブロック単位に量子化する。

逆量子化部１０６及び逆直交変換部１０７は、量子化部１０５の量子化の結果を逆量子化および逆直交変換することで、復号予測誤差を求める。加算器１０８は、復号予測誤差と予測画像とを加算することで、局所的な復号結果である局所復号画像を得る。参照フレーム保持部１０９は加算器１０８によって得られた局所復号画像を、参照フレーム画像として保持する。算術符号化部１１４は、量子化の結果および動き補償部１１１より求められた動きベクトルを第２の符号化ブロック単位にエントロピー符号化し、ストリームとして記憶１１５へと出力する。

＜レンズ特性通知処理＞
次に、本実施形態におけるレンズ特性通知処理について説明する。図２は、レンズ特性決定部１１２が保持する、レンズ種類と各領域の特性の関係を示すテーブルの一例を示す図である。当該テーブルは、使用される可能性のあるレンズについて予め登録して符号化装置が保持しておくことができる。また、テーブルの情報は、レンズ１０１から提供される情報に従って更新したり、符号化装置が外部からダウンロードして更新したりできる。図２は、入力画像の水平成分を「ｘ等分」、入力画像の垂直成分を「ｙ等分」に分割された場合を想定し、分割された各画素についての特性を示している。入力画像の分割方法は図３（Ａ）に示すとおりであり、画像の左上を原点として、原点に位置する画素を（０，０）で表す。各画素は画像内での位置に応じた水平方向と垂直方向の座標値を有する。座標値は、ｘ成分、ｙ成分につきそれぞれ０からｘ−１、０からｙ−１の値をとりえる。

また、レンズには標準的なレンズの他に、３６０度レンズや魚眼レンズのような広画角の特殊なレンズもある。これらのレンズでは画角が広い分、レンズ特性の影響を受ける領域、具体的に、歪み、情報欠損、光量不足が生ずる領域が発生してしまう。そこで図２のテーブルでは、レンズの種類に従い入力画像の各領域の特性を通常領域、情報欠損領域、光量落ち領域、歪曲の強い領域のいずれかに設定している。レンズ特性決定部１１２は、レンズ１０１から取得したレンズの種類に関する情報に基づき当該テーブルを参照し、使用されているレンズの種類に対応する特性情報をブロックサイズ決定部１１６に通知する。

なお、通常領域２０１とは、歪み、情報欠損、光量落ち等が問題にならない有用な画素領域である。情報欠損領域２０２とは、レンズ１０１からの光がセンサ１０２の撮像面に入射せず、有意な情報が得られない画素領域である。光量落ち領域２０３とは、レンズ１０１からの光がセンサ１０２の撮像面に入射しているものの、光量が不足している画素領域である。歪曲の強い領域２０４は、レンズの構造的な要因により強い歪みが発生している画素領域である。なお、本実施形態では、情報欠損領域２０２、光量落ち領域２０３、及び、歪曲の強い領域２０４のことを、まとめて「レンズ特性領域」と呼ぶことがある。

まず、レンズ１０１の種類が「レンズ１」である場合、レンズ特性決定部１１２は、領域（０，０）から（ｘ-1、ｙ-1）まで全て「通常領域」であることを、ブロックサイズ決定部１１６に通知する。また、レンズ１０１の種類が「レンズ２」である場合、レンズ特性決定部１１２は、領域（０，０）、（１，０）は光量が落ちている領域である「光量落ち領域」、領域（２，０）から（４，０）は「歪曲の強い領域」、以後、領域（５、０）から（ｘ-1、ｙ-1）までの情報をブロックサイズ決定部１１６へと通知する。

レンズ１０１の種類が「レンズ３」である場合、レンズ特性決定部１１２は、領域（０，０）から（２，０）はセンサ１０２に光が届かない領域である「情報欠損領域」、領域（３，０）から（４，０）は「歪曲の強い領域」、以後、領域（５、０）から（ｘ-1、ｙ-1）までの各領域の情報をブロックサイズ決定部１１６へと通知する。レンズ１０１の種類が「レンズ４」である場合、レンズ特性決定部１１２は、領域（０，０）から（２，０）は歪曲の強い領域、領域（３、０）から（４，０）は通常領域、以後、領域（３、０）から（ｘ-1、ｙ-1）までの情報をブロックサイズ決定部１１６へと通知する。

上記処理の具体例を、図３を用いて説明する。図３は、標準レンズと魚眼レンズで撮影した画像と、各領域のレンズ特性を示した図である。図３（Ｂ１）は、標準レンズで撮影した画像である。図３（Ｂ２）は、標準レンズで撮影した場合の、画像内の各領域のレンズ特性を示した図である。図３（Ｃ１）は、図３（Ｂ１）と同じシーンを、魚眼レンズで撮影した画像である。図３（Ｃ２）は、図３（Ｃ１）の魚眼レンズで撮影した場合の、画像内の各領域のレンズ特性を示した図である。参照番号２０１から２０４は、図２におけるものと同様である。

図３（Ｂ１）と図３（Ｃ１）とを比較すると、図３（Ｃ１）の魚眼レンズで撮影した画像は、撮像領域が画面全体から円状へと縮小され、撮像領域の外は光が届かない。また、撮像領域の端の光量が落ち、上端、下端に行くほど画像が歪曲する。図３（Ｂ１）の画像は、標準レンズで撮影されているため、図３（Ｂ２）のレンズ特性は画像内の各領域が全て通常領域２０１となる。一方、図３（Ｃ１）の画像は、魚眼レンズで撮影されているため、図３（Ｃ２）のレンズ特性は円状に縮小された撮像領域の外は情報欠損領域２０２、撮像領域の端は光量が落ちているため光量落ち領域３０３、撮像領域の上端、下端は、画像が歪曲しているため歪曲の強い領域２０４となる。

本実施形態では、魚眼レンズを用いて説明したが、その他のレンズについても同様にレンズの種類に応じて入力画像が通常領域２０１、情報欠損領域２０２、光量落ち領域２０３、歪曲の強い領域２０４のいずれかの領域に設定される。レンズ特性決定部は、レンズの種類に応じてテーブルを参照して各領域の情報をブロックサイズ決定部１１６へ通知する。

＜ブロックサイズ決定処理＞
図４は、ブロックサイズ決定部１１６において決定される各ブロックサイズを示す図である。第１の符号化ブロック４０１は、例えば入力画像を縦６４画素×横６４画素など、等間隔に分割したブロックであり、「ＬＣＵ（Largest Coding Unit）」とも呼ばれる。第１の符号化ブロック４０１を用いた符号化処理は、例えば左上ブロックから右下ブロックの順で行われる。

第２の符号化ブロック４０２は、第１の符号化のブロック４０１をより細かく分割したブロックであって、実際の符号化対象ブロックに相当し、「ＣＵ（Coding Unit）」とも呼ばれる。第２の符号化ブロック４０２は、縦横６４画素、３２画素、１６画素、８画素のサイズを取り得る。第１の符号化ブロック４０１と同様、左上のブロックから右下のブロックへの順で処理が行われる。動き補償処理、イントラ予測処理、直交変換処理、量子化処理、算術符号化処理は、第２の符号化ブロック内で実行される。

予測ブロック４０３は、第２の符号化ブロック４０２をより細かく分割したもので、動き探索部１１０、動き補償部１１１、イントラ予測部１１７が処理を行う単位であり、「ＰＵ（Prediction Unit）」とも呼ばれる。予測ブロック４０３は、縦横６４画素、３２画素、１６画素、８画素、４画素のサイズをとることができる。なお、予測ブロック４０３は、決定されたＣＵのブロックサイズを基準として、動き探索用のブロックパターンが順次選択される。例えば、ＣＵのサイズを２Ｎ×２Ｎとした場合、動き補償処理のためには２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ等のサイズを有するブロックパターンが選択される。また、イントラ予測処理の場合、２Ｎ×２Ｎ、Ｎ×Ｎ（Ｎ＝４）のサイズを有するブロックパターンが選択される。

量子化ブロック４０４は、第２の符号化ブロック４０２をより細かく分割したもので、直交変換部１０４、量子化部１０５が処理を行う単位であり、「ＴＵ（Transform Unit）」とも呼ばれる。量子化ブロック４０４は、縦横３２画素、１６画素、８画素、４画素のサイズをとることができる。

次にブロックサイズ決定部１１６が行う、ブロックサイズ決定処理について、図５のフローチャートを用いて説明する。図５は、ブロックサイズ決定部１１６が行う第２の符号化ブロックと、量子化ブロックのサイズ決定処理の一例を示すフローチャートである。本処理は、第１の符号化ブロックを処理単位としており、入力画像の全体を処理するまで繰り返される。該フローチャートに対応する処理は、例えば、ブロックサイズ決定部１１６として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まずＳ５０１では、レンズ特性決定部１１２から、符号化装置に装着されているレンズの種別に応じたレンズ特性情報を取得する。次にＳ５０２では、処理対象のブロック内にレンズ特性が画質に影響するところの所定の領域に属する領域（レンズ特性領域）が含まれるかを判定する。具体的には、レンズ特性として通常領域２０１以外の特性が現れる領域が含まれるか否かを判定する。もし、通常領域２０１しか含まれない場合（Ｓ５０２で「ＮＯ」）、Ｓ５０６に進む。一方、レンズ特性領域の情報欠損領域２０２、光量落ち領域２０３、歪曲の強い領域２０４のいずれかが含まれる場合（Ｓ５０２で「ＹＥＳ」）、Ｓ５０３に移行する。以下、入力画像内でレンズ特性領域と、それ以外の領域（通常領域２０１）とで、独立にブロックサイズの決定処理を行う。

Ｓ５０３では、処理対象ブロックが含むレンズ特性が全て情報欠損領域２０２の値であるか否かを判定する。もし、全て情報欠損領域２０２である場合（Ｓ５０３で「ＹＥＳ」）、Ｓ５０４に移行し、情報欠損領域２０２以外の値も含まれる場合（Ｓ５０３で「ＮＯ」）、Ｓ５０５に移行する。

Ｓ５０４では、第２の符号化ブロック、量子化ブロックのブロックサイズを最大のブロックサイズに決定する。なお、第２の符号化ブロックの場合、第１の符号化ブロックのブロックサイズ（６４画素×６４画素）に決定する。また、量子化ブロックの場合、取り得る最大サイズは３２画素×３２画素のサイズになる。また、Ｓ５０５では、まず、処理対象ブロックの画像の特徴を判定し、劣化の目立ちにくい複雑な領域（高周波成分の多い領域）と、劣化の目立つ平坦な領域（低周波成分の多い領域）とを区別する。そして、複雑な領域と平坦な領域に異なる量子化幅を設定するために、量子化ブロック内に複雑な領域と平坦な領域が混在しないよう、第２の符号化ブロック、および量子化ブロックの各ブロックサイズを決定する。例えば量子化ブロックの場合、最大サイズが３２画素×３２画素なので、まず第１の符号化ブロックを４分割し、その上で、分割後のブロック内に複雑な領域と平坦な領域が混在する場合には、両者を区分するために該ブロックを更に４分割する。一方、混在しない場合にはブロックは分割しなくてよい。以上の処理は、分割後のブロックに複雑な領域と平坦な領域との混在をできる限り少なくするように、許容されるブロックサイズの範囲で繰り返す。なお、ブロックサイズが小さくなりすぎると符号量が増えることとなるので、許容できる混在率を予め設定しておいても良い。その場合、分割後のブロックにおける混在率が当該許容混在率よりも低い場合には、更なる分割を行わなくても良い。その際、所定の閾値Ｔｈ１以上のサイズになるように、第２の符号化ブロック、および量子化ブロックのブロックサイズを決定する。閾値Ｔｈ１の値としては、例えば１６画素×１６画素とすることができる。なお、このような閾値を設定するのは、Ｓ５０５における処理対象ブロックは、歪み、情報欠損、光量落ちのある画素を含んでいるため、ブロックを細分化して細かく量子化処理を行うことは符号量が余計に増えることになるからである。

Ｓ５０６では、第２の符号化ブロック、および量子化ブロックの各ブロックサイズを決定する。ここでもＳ５０５と同様に、ブロック内に分割後のブロックに複雑な領域と平坦な領域が混在しなくなるまで繰り返す。その際、所定の閾値Ｔｈ２以下のサイズになるように、第２の符号化ブロック、および量子化ブロックのブロックサイズを決定する。閾値Ｔｈ２の値としては、例えば１６画素×１６画素とすることができる。なお、閾値Ｔｈ２の値は、閾値Ｔｈ１と同一であっても良いし、異なっていても良い。なお、このような閾値を設定するのは、Ｓ５０６における処理対象ブロックは歪み等のない通常画素を含み、Ｓ５０５の場合とは異なりブロックを細分化して細かく量子化処理を行うメリットがあるためである。

以上により、入力画像中の情報欠損領域や光量落ち領域、歪曲の強い領域といったレンズ特性領域に対し、ブロックサイズを大きく設定して符号量を削減することができる。それと同時に、当該レンズ特性領域以外の領域のブロックサイズを小さく割り当てることで、符号量の細やかな調整が可能となる。なお、動きベクトルや量子化パラメータは、ブロックあたりに１つ含まれるので、ブロックサイズを大きくすると、細かく分割した場合と比較して動きベクトルや量子化パラメータの数を削減できるため、符号量を削減することができる。一方、ブロックサイズを細かくすると、各ブロックに適した動きベクトルや量子化幅を設定可能となる。このように、入力画像の特徴に応じた適切なブロックサイズを選択することで、符号化効率が向上し、高画質化した符号化ストリームを生成することができる。

また、本実施形態では、主に量子化ブロックのサイズを決定する手法を説明したが、予測ブロックなど他のブロックのサイズを決定する手法にも本発明を適用することができる。例えば、予測ブロックでは、第２の符号化ブロックに基づき複数のブロックパターンを選択するが、当該選択の際に、複雑な領域と平坦な領域とが混在するパターンは除外して、当該混在が生じないパターンのみを選択することができる。

［実施形態２］
上述の実施形態１では、ブロックサイズ決定部１１６は、装着されているレンズ１０１の種類に基づくレンズ特性情報をレンズ特性決定部１１２から取得し、該レンズ特性情報を参照しつつ、入力画像の特徴を考慮してブロックサイズを決定した。これに対し、本実施形態ではブロックサイズ決定部１１６はレンズ特性情報を参照せず、入力画像の特徴のみに基づいてブロックサイズを決定する。その上で、ブロックサイズ補正部１１９がレンズ特性決定部１１２からレンズ特性情報を取得して、決定されたブロックサイズを補正する。

図６は、本実施形態に対応する符号化装置の構成の一例を示す図である。レンズ特性決定部１１２は、装着されているレンズ１０１の種類を認識し、画面内の装着されているレンズの特性が現れる領域を、ブロックサイズ補正部１１９へ通知する。レンズ特性の検出方法は、実施形態１と同様である。

ブロックサイズ決定部１１６は、センサ１０２から取り込まれた入力画像複数の第１の符号化ブロック、第２の符号化ブロック、予測ブロック、量子化ブロックにそれぞれ分割し、ブロックサイズ補正部１１９に通知する。第２の符号化ブロック、予測ブロック、量子化ブロックの分割方法は、実施形態１と同様に画像の特徴に応じて行う。即ち、処理対象ブロックの画像の特徴を判定し、劣化の目立ちにくい複雑な領域（高周波成分の多い領域）と、劣化の目立つ平坦な領域（低周波成分の多い領域）とを区別する。そして、複雑な領域と平坦な領域ができるだけ混在しないようにブロックを細分化していく。これにより、各領域に適した量子化幅が設定できる。なお、実施形態１ではブロックサイズの上限や下限を設定したが、ここでは閾値に応じてブロックサイズの大小を制約することはしない。

ブロックサイズ補正部１１９は、ブロックサイズ決定部１１６で決定した、第２の符号化ブロック、予測ブロック、量子化ブロックの各サイズを、レンズ特性決定部１１２から通知された情報を用いて補正する。ブロックサイズ補正部１１９の補正処理について、詳しくは後述する。ブロック分割部１１３は、ブロックサイズ補正部１１９より通知されたブロックサイズに基づき入力画像からブロックを分割し、後段の処理ブロックに提供する。

＜ブロックサイズ補正処理＞
次に、ブロックサイズ補正部１１９における処理を説明する。ブロックサイズ補正部１１９は、ブロックサイズ決定部１１６から第２の符号化ブロック、予測ブロック、量子化ブロックの各サイズの情報を取得する。また、レンズ特性決定部１１２から、レンズ１０１の種類に基づくレンズ特性情報を取得する。当該レンズ特性情報は図２に示したものと同様である。ブロックサイズ補正部１１９は、通知されたレンズ特性情報に基づき、各ブロックサイズを補正する。

具体的な補正方法を図７のフローチャートを参照して説明する。図７は、ブロックサイズ補正部１１９が行う分割処理の一例を示すフローチャートである。本処理は、第１の符号化ブロックを処理単位としており、入力画像の全体について処理が完了するまで繰り返すものとする。該フローチャートに対応する処理は、例えば、ブロックサイズ補正部１１９として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、Ｓ７０１では、ブロックサイズ決定部１１６にて分割された第２の符号化ブロック、予測ブロック、量子化ブロックの、各ブロックサイズを取得する。次にＳ７０２では、レンズ特性決定部１１２より、レンズ特性情報を取得する。次にＳ７０３では、補正処理を行うブロックが、レンズ特性が画質に影響を与えるところの所定の領域（レンズ特性領域）に属するかを判定する。もし、当該ブロックがレンズ特性が現れる領域に該当すれば（Ｓ７０３で「ＹＥＳ」）Ｓ７０４へ移行する。一方、当該ブロックが通常領域２０１に該当する場合（Ｓ７０３で「ＮＯ」）、Ｓ７０７へ移行する。以下、入力画像内でレンズ特性領域と、それ以外の領域（通常領域２０１）とで、独立にブロックサイズの補正処理を行う。

Ｓ７０４では、処理対象の第１の符号化ブロックが全て情報欠損領域２０２であるか否かを判定する。もし情報欠損領域２０２である場合（Ｓ７０４で「ＹＥＳ」）、Ｓ７０５に移行する。一方、情報欠損領域２０２以外の領域を含む場合、Ｓ７０６に移行する。Ｓ７０５では、第２の符号化ブロック、量子化ブロックの、各ブロックサイズをそれぞれ最大のブロックサイズに補正する。例えば、第２の符号化ブロックの場合、第１の符号化ブロックのブロックサイズ（６４画素×６４画素）に補正する。また、量子化ブロックの場合、３２画素×３２画素に補正する。また、Ｓ７０６では、所定の閾値Ｔｈ１に相当するブロックサイズ以上の大きさになるように、第２の符号化ブロック及び量子化ブロックの各ブロックサイズを補正する。さらにＳ７０７では、所定の閾値Ｔｈ２に相当するブロックサイズ以下の大きさになるように、第２の符号化ブロック及び量子化ブロックの各ブロックサイズを補正する。ここで、所定の閾値Ｔｈ１及びＴｈ２の値を、例えば１６画素×１６画素とすることができる。なお、Ｔｈ１及びＴｈ２の値は同一であっても良いし、異なっていても良い。

なお、実施形態１で説明したように、予測ブロックのサイズは第２の符号化ブロックのサイズに基づいて決定されることになるので、第２の符号化ブロックのサイズを補正するだけでもよい。但し、第２の符号化ブロックに基づき予測ブロックについて複数のブロックパターンを選択する際に、複雑な領域と平坦な領域とが混在するパターンは除外して、当該混在が生じないパターンのみを選択することができる。

以上によれば、ブロックサイズ決定部１１６が画像の特徴を用いて各ブロックサイズを決める汎用的なブロックであっても、ブロックサイズ補正部１１９を追加することにより符号化効率が向上するため、実施形態１同様、高画質の符号化ストリームを生成する符号化装置を提供することができる。また、本実施形態では、レンズ特性を用いて、量子化ブロックのサイズを適切に選択したが、他のブロックのサイズにも適用する場合も、本発明の範疇である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. レンズを介して被写体を撮影し、画像を取得する取得手段と、
   前記レンズの特性に応じて、前記画像の特性を決定する特性決定手段と、
   予め定められた第１のサイズの第１のブロックに分割された前記画像につき、前記第１のブロックの画像の特性に基づいて、該第１のブロックを更に分割するブロックサイズを決定するサイズ決定手段と、
   前記決定されたブロックサイズに基づき前記第１のブロックの画像を複数のブロックに分割する分割手段と、
   前記複数のブロックに分割された画像をブロック単位に予測符号化する予測符号化手段と
   を備える符号化装置であって、
   前記特性決定手段は、前記画像のうち、前記レンズの特性が画質に影響を与える所定の領域と、それ以外の領域とを区別することにより前記画像の特性を決定し、
   前記サイズ決定手段は、前記所定の領域と前記それ以外の領域とについて、独立に前記ブロックサイズを決定することを特徴とする符号化装置。
2. 前記それ以外の領域について決定される前記ブロックサイズには、前記所定の領域に割り当てられるブロックサイズよりも小さなブロックサイズが含まれることを特徴とする請求項１に記載の符号化装置。
3. 前記所定の領域について決定される前記ブロックサイズには、前記それ以外の領域に割り当てられるブロックサイズよりも大きなブロックサイズが含まれることを特徴とする請求項１又は２に記載の符号化装置。
4. 前記所定の領域には、情報欠損している領域が含まれ、
   前記サイズ決定手段は、前記第１のブロックの画像が前記情報欠損している領域で占められている場合に、前記ブロックサイズを前記第１のサイズに決定することを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
5. レンズを介して被写体を撮影し、画像を取得する取得手段と、
   予め定められた第１のサイズの第１のブロックに分割された前記画像につき、前記第１のブロックを更に分割するブロックサイズを決定するサイズ決定手段と、
   前記レンズの特性に応じて、前記画像の特性を決定する特性決定手段と、
   前記画像の特性に基づき、前記サイズ決定手段が決定した前記ブロックサイズを補正する補正手段と、
   前記補正されたブロックサイズに基づき前記第１のブロックの画像を複数のブロックに分割する分割手段と、
   前記複数のブロックに分割された前記画像をブロック単位に予測符号化する予測符号化手段と
   を備える符号化装置であって、
   前記特性決定手段は、前記画像のうち、前記レンズの特性が画質に影響を与える所定の領域と、それ以外の領域とを区別することにより前記画像の特性を決定し、
   前記補正手段は、前記所定の領域と前記それ以外の領域とについて、独立に前記ブロックサイズを補正することを特徴とする符号化装置。
6. 前記補正手段は、前記それ以外の領域について決定された前記ブロックサイズが所定のブロックサイズより小さい場合、該所定のブロックサイズ以上のブロックサイズに補正することを特徴とする請求項５に記載の符号化装置。
7. 前記補正手段は、前記所定の領域について決定された前記ブロックサイズが所定のブロックサイズより大きい場合、該所定のブロックサイズ以下のブロックサイズに補正することを特徴とする請求項５又は６に記載の符号化装置。
8. 前記所定の領域には、情報欠損している領域が含まれ、
   前記補正手段は、前記第１のブロックの画像が前記情報欠損している領域で占められている場合に、前記ブロックサイズを前記第１のサイズに補正することを特徴とする請求項５乃至７のいずれか１項に記載の符号化装置。
9. 前記サイズ決定手段は、前記第１のブロックの画像のうち、高周波成分の多い複雑な領域と、低周波成分の多い平坦な領域とを区分するように前記ブロックサイズを決定することを特徴とする請求項１乃至８のいずれか１項に記載の符号化装置。
10. 前記予測符号化手段は、
    前記第１のブロックにおける符号化対象ブロックの予測画像を生成する予測画像生成手段と、
    前記画像のうち前記符号化対象ブロックの画像と、前記予測画像との予測誤差を直交変換し、量子化する処理手段と
    を含み、
    前記サイズ決定手段は前記ブロックサイズとして、前記符号化対象ブロックのサイズを決定する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の符号化装置。
11. 前記サイズ決定手段は、前記処理手段における処理の単位としてのブロックサイズを、前記符号化対象ブロックのブロックサイズ以下のサイズとして更に決定することを特徴とする請求項１０に記載の符号化装置。
12. 取得手段が、レンズを介して被写体を撮影し、画像を取得する取得工程と、
    特性決定手段が、前記レンズの特性に応じて、前記画像の特性を決定する特性決定工程と、
    サイズ決定手段が、予め定められた第１のサイズの第１のブロックに分割された前記画像につき、前記第１のブロックの画像の特性に基づいて、該第１のブロックを更に分割するブロックサイズを決定するサイズ決定工程と、
    分割手段が、前記決定されたブロックサイズに基づき前記第１のブロックの画像を複数のブロックに分割する分割工程と、
    予測符号化手段が、前記複数のブロックに分割された画像をブロック単位に予測符号化する予測符号化工程と
    を備える符号化装置の制御方法であって、
    前記特性決定工程では、前記画像のうち、前記レンズの特性が画質に影響を与える所定の領域と、それ以外の領域とを区別することにより前記画像の特性が決定され、
    前記サイズ決定工程では、前記所定の領域と前記それ以外の領域とについて、独立に前記ブロックサイズが決定される
    ことを特徴とする符号化装置の制御方法。
13. 取得手段が、レンズを介して被写体を撮影し、画像を取得する取得工程と、
    サイズ決定手段が、予め定められた第１のサイズの第１のブロックに分割された前記画像につき、前記第１のブロックを更に分割するブロックサイズを決定するサイズ決定工程と、
    特性決定手段が、前記レンズの特性に応じて、前記画像の特性を決定する特性決定工程と、
    補正手段が、前記画像の特性に基づき、前記サイズ決定手段が決定した前記ブロックサイズを補正する補正工程と、
    分割手段が、前記補正されたブロックサイズに基づき前記第１のブロックの画像を複数のブロックに分割する分割工程と、
    予測符号化手段が、前記複数のブロックに分割された前記画像をブロック単位に予測符号化する予測符号化工程と
    を備える符号化装置の制御方法であって、
    前記特性決定工程では、前記画像のうち、前記レンズの特性が画質に影響を与える所定の領域と、それ以外の領域とを区別することにより前記画像の特性が決定され、
    前記補正工程では、前記所定の領域と前記それ以外の領域とについて、独立に前記ブロックサイズが補正されることを特徴とする符号化装置の制御方法。
14. コンピュータを請求項１乃至１１のいずれか１項に記載の符号化装置の各手段として機能させるためのコンピュータプログラム。