JP2014110509A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】 被写界深度の異なる画像に対して、視覚的特性を考慮した好適な量子化制御を行う。
【解決手段】 符号化対象のブロックの画像の特徴を検出し、検出された画像の特徴に応じて、符号化対象のブロックに対応する画像を量子化するときの量子化ステップサイズを決定する量子化制御手段を有し、当該量子化制御手段が、符号化対象の画像の被写界深度に応じて、量子化ステップサイズの決定方法を変更する。
【選択図】 図３

Description

本発明は、画像符号化装置及び画像符号化方法に関し、特に、画像の持つ特徴を検出し、適応的に量子化の制御を行う符号化技術に関する。

動画像を撮影可能なデジタル一眼カメラが普及してきている。デジタル一眼カメラの大きな特徴として、撮影目的に合わせてレンズを交換できることが挙げられる。デジタル一眼カメラに使用されるレンズにはさまざまな種類のものがあるが、通常のビデオカメラやコンパクトデジタルカメラのレンズと比較し、Ｆ値が小さく、絞りを開放することにより被写界深度を浅くして撮影することが可能なものがある。

一般的に、被写界深度を浅くして撮影した場合、焦点が合っている被写体部分はくっきりとした画像となり、その背景となる部分はボケている画像が得られる。一方、従来のビデオカメラ等で撮影される画像と同じように、被写界深度を深くして撮影した場合、画像全体に焦点が合った画像が得られる。

カメラで撮影された画像は、圧縮符号化されてメモリカード等に記録される構成が一般的である。動画像を圧縮する符号化方式として、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等が代表的な圧縮符号化方式として挙げられる。これらの符号化方式では、画像をマクロブロックと呼ばれる１６×１６画素に分割し、そのマクロブロックごとに動きベクトル検出、量子化処理、可変長符号化処理等を行い、符号化処理される。

ここで、量子化処理においては、量子化の度合いを示す量子化ステップサイズを画面全体で同一の値にすることもできるが、マクロブロックごとに異なる値を設定することもできる。この量子化ステップサイズの設定方法は、通常はあらかじめ定められたビットレートに収まるようにマクロブロックごとに制御される。ただし、それに加えて画像の特徴に応じて制御することにより、視覚的に良好な画像が得られることが知られている。

例えば、前記した圧縮符号化方式の一つであるＭＰＥＧ−２では、ＴＭ−５（Ｔｅｓｔ Ｍｏｄｅｌ ５）と呼ばれる符号化方法が知られている。ＴＭ−５で採用されている符号化方法では、マクロブロック単位で画像の平坦さの度合いを示すアクティビティという量を定義している。ＴＭ−５では、アクティビティの値によって、視覚的に劣化の目立ちやすい画像の平坦部では量子化ステップサイズを小さくし、マクロブロックの周波数変換係数をより細かく量子化することで劣化を目立たなくしている。また、劣化の比較的目立ちにくい絵柄の複雑な部分では、量子化ステップサイズを大きくし、マクロブロックの周波数変換係数をより粗く量子化することで発生符号量を抑えている。このように適応的処理することにより、あらかじめ定められたビットレートの範囲に収めつつ、画質の劣化を抑えた符号化を行っている。なお、画像の特徴を利用して画像を符号化する方法はＴＭ−５以外にも知られており、いろいろな特徴量を定義することで符号化制御を行う技術の特許提案もなされている（特許文献１参照）。

特開２００１−２４５３０３号公報

前述のＴＭ−５に代表されるような従来の圧縮符号化方式では、画像の絵柄が複雑な部分を画質の劣化が目立ちにくい領域と判定して量子化を粗くし、絵柄が平坦な部分を画質の劣化が目立つ領域と判定して量子化を細かくしている。ところで、デジタル一眼カメラのように被写界深度を浅くして撮影した画像では、注視領域となる焦点が合っている被写体部分は絵柄が複雑な成分を持ち、背景となる領域はボケているため平坦な成分を持つ傾向がある。このような特徴を有する画像に従来の圧縮符号化方式を適用した場合、注視領域の画像の量子化を粗くして劣化を助長してしまう可能性がある。その一方で、背景となる領域の画像の量子化を細かくして劣化を抑えることになってしまう可能性もある。すなわち、結果として視覚的に劣化の目立つ画像が圧縮符号化によって生成されてしまう場合がある。

そこで、本発明の目的は、レンズや絞り値に応じた被写界深度の異なる画像に対して、視覚的特性を考慮した好適な量子化制御を行う画像符号化装置及び画像符号化方法を提供することにある。

上記目的を達成するために、本発明の画像符号化装置は、符号化対象のブロックごとに入力画像を圧縮符号化する画像符号化装置であって、前記符号化対象のブロックに対応する画像を量子化する量子化手段と、前記量子化手段によって量子化された画像をエントロピー符号化する符号化手段と、前記符号化対象のブロックの画像の特徴を検出する特徴検出手段と、前記特徴検出手段によって検出された画像の特徴に応じて、前記符号化対象のブロックに対応する画像を量子化するときの量子化ステップサイズを決定する量子化制御手段と、前記入力画像が撮影されたときの被写界深度を検出する被写界深度検出手段とを有し、前記量子化制御手段が、前記被写界深度検出手段によって検出された被写界深度に応じて、前記量子化ステップサイズの決定方法を変更することを特徴とする。

また、本発明の画像符号化方法は、符号化対象のブロックごとに入力画像を圧縮符号化する画像符号化方法であって、前記符号化対象のブロックに対応する画像を量子化する量子化工程と、前記量子化工程で量子化された画像をエントロピー符号化する符号化工程と、前記符号化対象のブロックの画像の特徴を検出する特徴検出工程と、前記特徴検出工程で検出された画像の特徴に応じて、前記符号化対象のブロックに対応する画像を量子化するときの量子化ステップサイズを決定する量子化制御工程と、前記入力画像が撮影されたときの被写界深度を検出する被写界深度検出工程とを有し、前記量子化制御工程において、前記被写界深度検出工程で検出された被写界深度に応じて、前記量子化ステップサイズの決定方法を変更することを特徴とする。

本発明によれば、レンズや絞り値に応じた被写界深度の異なる画像に対して、視覚的特性を考慮した好適な量子化制御を行うことができ、視覚的に良好な画像を得ることができる。

本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。 制御強度の決定に関する動作フロー図である。 被写界深度と制御強度の関係を説明する図である。 本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。 量子化制御に関する動作フロー図である。 物体境界部分の例である。 物体境界用の量子化制御に関する動作フロー図である。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。ここでは画像符号化装置で採用される圧縮符号化の方式としてＨ．２６４／ＡＶＣを例に説明する。

これから符号化が行われる符号化対象画像は、フレームバッファ１０１に格納される。動き予測部１０２は、フレームバッファ１０１に格納されている符号化対象画像と、参照フレームバッファ１１３に格納されている参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。動き予測部１０２は、符号化対象画像と、検出された動きベクトル位置の参照画像との間で画素の差分をとり、その差分画像を直交変換部１０３に出力する。動き予測部１０２は、動きベクトルを用いた画面間の予測方式であるインター予測に加え、画面内の予測方式であるイントラ予測の機能も有する。

直交変換部１０３は、送られてきた差分画像に対して整数変換等の直交変換を行い、変換係数を生成し、量子化部１０７に出力する。

特徴検出部１０４は、フレームバッファ１０１から入力されるマクロブロックと呼ばれる符号化対象画像に対して特徴検出を行う。検出する特徴としては色々なものが考えられるが、ここでは例として平坦度合いを示すマクロブロックの画素ごとの分散値を検出するものとする。本実施形態では、特徴量としてマクロブロックの画素ごとの分散値を用いた例について説明しているが、特徴量はこれに限らず、どんなものを用いてもよい。

一般に、画像内で輝度の変動が大きいほど分散値は大きくなり、変動が小さいほど分散値は小さくなる。人間の視覚は、変動が小さい平坦な領域ほど画質の劣化を検知しやすい。そのため、画素の分散値は、当該マクロブロックが画質の劣化が検知されやすいブロックかどうかの指標として用いることができる。

マクロブロックの画素値がＰ１〜Ｐ２５６である場合、画素の平均値Ｐｍｅａｎ、および画素の分散値ｖａｒは以下の（１）、（２）式により算出することができる。

特徴検出部１０４で算出された分散値は、量子化制御部１０６に出力される。

被写界深度検出部１０５は、フレームバッファ１０１に入力される入力画像を撮像したカメラ（不図示）が使用しているレンズの種類、被写体までの距離、絞り値等の情報をカメラからの信号入力によって、或いは、記録媒体を介して取得する。そして、被写界深度検出部１０５は、それらの情報から符号化対象画像が撮影されたときの被写界深度を検出する。ここで、レンズ焦点距離をｆ、絞り値をＦ、被写体までの距離をｕ、許容錯乱円径をδとすると、被写界深度ｄは以下の（３）式で算出することができる。

被写界深度検出部１０５で算出された被写界深度ｄの情報は、量子化制御部１０６に出力される。

量子化制御部１０６は、前述の分散値、被写界深度ｄの各情報、及び、後述するエントロピー符号化部１０８から送られてくるマクロブロックごとの発生符号量の情報を用いて、量子化ステップサイズを決定し、量子化部１０７に出力する。量子化ステップサイズの決定方法については、後に説明する。

量子化部１０７は、直交変換部１０３から送られてきた符号化対象のマクロブロックに対応する変換係数に対して、量子化制御部１０６が出力する量子化ステップサイズに従い、量子化を行う。量子化された変換係数は符号化ストリーム作成のためエントロピー符号化部１０８、ならびにローカルデコード画像作成のため逆量子化部１０９に出力される。

エントロピー符号化部１０８は、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、算術符号化方式等による可変長符号化（エントロピー符号化）を施す。このとき、動きベクトルや量子化ステップサイズ、マクロブロックの分割情報などの符号化方式情報も可変長符号化される。画像と符号化方式情報の可変長符号化を終えたものが、符号化ストリームとして形成される。なお、エントロピー符号化部１０８は、マクロブロック毎の発生符号量の情報を、量子化制御部１０６へ出力する。

逆量子化部１０９は、送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部１１０に出力される。

逆直交変換部１１０は、送られてきた変換係数に対して逆直交変換を行い、差分画像を生成する。生成された差分画像は、動き補償部１１１に出力される。

動き補償部１１１は、動きベクトル位置の参照画像を参照フレームバッファ１１３から読み出し、ローカルデコード用の参照画像を生成する。生成された参照画像と、逆直交変換部１１０から送られてきた差分画像を加算することにより、ローカルデコード用の画像データを生成する。生成された画像データは、デブロッキングフィルタ部１１２に出力される。

デブロッキングフィルタ部１１２は、動き補償部１１１から送られてきた画像データに対してブロックノイズ除去のためのデブロッキングフィルタを施す。デブロッキングフィルタ後の画像が、参照画像として扱われるローカルデコード画像として参照フレームバッファ１１３に格納される。このような動作により、符号化ストリーム、ローカルデコード画像が作成される。

次に、量子化制御部１０６における、量子化ステップサイズの決定方法について説明する。本実施形態の画像符号化装置では、被写界深度検出部１０５から送られてくる被写界深度の情報に応じて、量子化ステップサイズの決定方法を変更することを特徴とする。量子化ステップサイズの制御方法には、さまざまなものが考えられる。本実施形態においては、前記量子化ステップサイズを決定するための特徴として分散値を用い、被写界深度に応じて制御強度を変更する場合を例にして説明する。

量子化制御部１０６は、まずエントロピー符号化部１０８から送られてくる発生符号量をもとに、あらかじめ定められた目標符号量になるように量子化ステップサイズのベースとなる値を決定する。このベースとなる量子化ステップサイズをＱｓｔｅｐ＿ｂａｓｅとする。これに対して、量子化制御部１０６は、特徴検出部１０４から送られてくる分散値に応じた補正をかける。量子化制御部１０６は、補正後の量子化ステップサイズを量子化部１０７に出力する。

分散値が小さい平坦な領域の場合、視覚的な劣化を検知しやすいので、量子化ステップサイズを小さくするように補正する。分散値の大きい絵柄が複雑な領域の場合、視覚的な劣化を検知しにくいので、量子化ステップサイズを大きくするように補正する。このような補正の方法はさまざまな種類が考えられるが、ここでは例として次のような方法を用いる。

符号化対象画像であるマクロブロックの分散値をｖａｒ、符号化順で一つ前のフレームにおける分散値の平均値をｖａｒ＿ａｖｇ、制御強度をｓｔとすると、補正係数Ｒは（４）式を用いて算出する。

補正係数Ｒを用いて、量子化部１０７に出力する量子化ステップサイズＱｓｔｅｐは（５）式を用いて算出される。

補正係数Ｒは１／ｓｔ〜ｓｔの値となる。制御強度ｓｔは１より大きな値で、この値が大きいほど補正する度合いが強くなる。補正する度合いが強いほど、平坦部の量子化ステップサイズはより小さくなり、絵柄の複雑な部分の量子化ステップサイズはより大きくなる。

さらに量子化制御部１０６は、被写界深度に応じて補正方法を変更する。被写界深度を深くして、撮影対象となる画像全体に焦点が合うようにして撮影した画像が符号化対象の場合、（４）式の制御強度ｓｔを強くする。これは従来どおりの視覚特性に応じた量子化制御処理であり、視覚的に劣化の目立ちやすい画像の平坦領域では量子化ステップサイズの値を小さくする。一方、劣化の比較的目立ちにくい絵柄の複雑な領域では、量子化ステップサイズを大きくすることにより、視覚的に劣化を抑えるようにする。

被写界深度を浅くして、注視領域である被写体部分には焦点が合っていて、背景部分がボケているようにして撮影した画像が符号化対象の場合、（４）式の制御強度ｓｔを弱くする。注視領域である被写体部分は焦点が合っているため、絵柄の複雑な成分を含んでいる。制御強度ｓｔを弱くすることにより、注視領域である被写体部分の量子化ステップサイズを大きくし過ぎないようにしている。また背景部分はボケているため平坦領域となっている。背景部分は注視領域ではないので、制御強度ｓｔを弱くすることにより、量子化ステップサイズを小さくしすぎて余分な符号量を割り当てないようにしている。

制御強度ｓｔを決定する動作フローを図２に示す。図２のフローは、本実施形態の画像符号化装置が具備する不図示のＣＰＵ等の処理装置の制御によって実行される。

まず被写界深度検出部１０５が、被写界深度ｄを計算する（Ｓ２１）。これが量子化制御部１０６に送られて、この値に応じて、量子化ステップサイズの制御強度ｓｔを変更する。

被写界深度ｄがある一定値（ｄ０とする）より浅い場合（Ｓ２２）、すなわちｄ＜ｄ０を満たす場合には、量子化制御部１０６は、制御強度ｓｔ＝ｓｔ０とする（Ｓ２３）。被写界深度ｄがｄ０よりも浅くなく、ある一定値（ｄ１とする）より深い場合（Ｓ２４）、すなわちｄ＞ｄ１を満たす場合には、制御強度ｓｔ＝ｓｔ１とする（Ｓ２５）。ここで、ｄ０、ｄ１、ｓｔ０、ｓｔ１はｄ１＞ｄ０、ｓｔ１＞ｓｔ０という関係を満たす。被写界深度ｄがそれらの中間値の範囲内の場合、すなわちｄ０≦ｄ≦ｄ１の場合には、ｄの値に応じて線形にｓｔを変化させる（Ｓ２６）。この場合のｓｔは（６）式で表される。

以上、Ｓ２３、Ｓ２５、Ｓ２６の何れかにより、ｓｔが決定される。以上が図２のフローの説明である。

被写界深度ｄと制御強度ｓｔの関係を図３に示す。被写界深度ｄの値が小さい、すなわち被写界深度が浅ければ制御強度ｓｔは小さくなり、被写界深度ｄの値が大きい、すなわち被写界深度が深ければ制御強度ｓｔは大きくなる。

このように被写界深度ｄの値に応じて好適な制御強度を決定することにより、量子化制御が適切に行われ、良好な画像を得ることができる。

（第２の実施形態）
図４は本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。図１と同じ符号を付したブロックの説明は同様となるので省略し、ここでは第１の実施形態との差異についてのみ詳細に説明する。第１の実施形態との違いは、特徴検出において当該マクロブロックの分散値を算出することに加え、背景と物体の境界部分かどうかを検出することと、境界部分として検出された場合に被写界深度に応じて量子化制御方法を変更することを特徴とする。

図４において、分散算出部４０１は、フレームバッファ１０１から入力されるマクロブロックと呼ばれる符号化対象画像の分散値を算出する。分散値の算出方法は第１の実施形態の場合と同様に（１）、（２）式で表される。算出された分散値は量子化制御部１０６に送られる。

物体境界検出部４０２は、符号化対象のマクロブロックが背景と物体の境界部分であるかどうかを検出する。物体の境界の検出方法は、エッジや色相から判定するものなど、色々な方法が提案されているが、ここではその方法を限定することはなく、どのような方法を用いても良い。物体境界検出の結果は量子化制御部１０６に送られる。

量子化制御部１０６は、発生符号量、符号化対象のマクロブロックの分散値、物体境界検出の結果、被写界深度の各情報から量子化制御を行う。量子化制御の基本的な方法は第１の実施形態の場合と同様に、エントロピー符号化部１０８から送られてくる発生符号量をもとに、あらかじめ定められた目標符号量になるように量子化ステップサイズのベースとなる値（Ｑｓｔｅｐ＿ｂａｓｅ）を決定する。これに対して補正係数Ｒをかけることによって量子化値Ｑｓｔｅｐを算出する。算出式は、第１の実施形態に記載の（５）式を用いる。

量子化制御において第１の実施形態と異なる部分は、符号化対象のマクロブロックが背景と物体の境界部分であるかどうかの検出を行う部分である。更に、物体境界部分として検出された場合には物体境界用の量子化制御を行い、物体境界部分として検出されなかった場合には分散値に応じた量子化制御を行うという部分である。どちらの場合でも、被写界深度に応じて量子化制御方法を変更することを特徴とする。

量子化制御の動作フローを図５に示す。図５のフローは、本実施形態の画像符号化装置が具備する不図示のＣＰＵ等の処理装置の制御によって実行される。

まず被写界深度検出部１０５が、被写界深度ｄを算出し、その情報を量子化制御部１０６に送る（Ｓ５１）。さらに分散算出部４０１が、分散値ｖａｒを算出し、その情報を量子化制御部１０６に送る（Ｓ５２）。さらに物体境界検出部４０２が、符号化対象のマクロブロックが背景と物体の境界かどうかを検出し、その検出結果を量子化制御部１０６に送る（Ｓ５３）。

量子化制御部１０６が、まず当該マクロブロックが背景と物体の境界部分かどうかの判定を行う（Ｓ５４）。物体境界部分と判定された場合には、物体境界用の量子化制御を行う（Ｓ５５）。物体境界用の量子化制御の詳細については、後で説明する。物体境界部分と判定されなかった場合、分散値を用いた被写界深度に応じた量子化制御を行う（Ｓ５６）。これは、第１の実施形態に記載の（４）、（５）式、ならびに図２、図３を用いて説明したものと同じ方法によって制御される。

当該マクロブロックが物体境界部分と判定された場合の量子化制御の方法について説明する。図６に物体境界部分の例を示す。背景と物体の境界部分は、符号化によるモスキートノイズが目立ちやすい部分である。そのため、この境界部分は量子化ステップサイズを小さくすることにより、モスキートノイズを目立ちにくくするべきである。

被写界深度が浅い画像の場合、背景はボケているため平坦部分となるので、被写界深度が深い画像と比較し、モスキートノイズがより目立ちやすくなる。これを改善するために、被写界深度が浅い画像では、被写界深度が深い画像よりも量子化ステップサイズを小さくするように量子化制御を行う。

物体境界として検出された場合の量子化制御動作フローを図７に示す。図７のフローは、本実施形態の画像符号化装置が具備する不図示のＣＰＵ等の処理装置の制御によって実行される。

被写界深度ｄに応じて、補正係数Ｒの値を変化させる。物体境界部分は量子化ステップサイズを小さくするように制御したいため、補正係数Ｒは１より小さい値にする。また被写界深度ｄの値が小さくなるにつれて量子化ステップサイズを小さくするように補正がかかる。

被写界深度ｄがある一定値（ｄ２とする）より浅い場合（Ｓ７１）、すなわちｄ＜ｄ２となる場合には、補正係数Ｒ＝ｒ０とする（Ｓ７２）。被写界深度ｄがある一定値（ｄ３とする）より深い場合（Ｓ７３）、すなわちｄ＞ｄ３となる場合には、補正係数Ｒ＝ｒ１とする（Ｓ７４）。ここで、ｄ２、ｄ３、ｒ０、ｒ１はｄ２＜ｄ３、ｒ０＜ｒ１＜１という関係を満たす。

被写界深度ｄがそれらの中間値の範囲内の場合、すなわちｄ２≦ｄ≦ｄ３の場合には、ｄの値に応じて線形にＲを変化させる（Ｓ７５）。この場合のＲは（７）式で表される。

上記のようにして算出した補正係数ＲをＱｓｔｅｐ＿ｂａｓｅにかけることにより、量子化値Ｑｓｔｅｐを算出する（Ｓ７６）。このように量子化制御を行うことで、被写界深度の浅い画像の方が被写界深度の深い画像よりも物体境界部分の量子化ステップサイズを小さくすることができ、モスキートノイズを低減することができる。

このように被写界深度に応じて物体境界部分の量子化制御を適切に行うことにより、良好な画像を得ることができる。

（その他の実施形態）
さらに、上述した本発明の実施形態における図２，図５，図７に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の画像符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。

上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、図２，図５，図７に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、図２，図５，図７に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。

１０１ フレームバッファ
１０２ 動き予測部
１０３ 直交変換部
１０４ 特徴検出部
１０５ 被写界深度検出部
１０６ 量子化制御部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ 逆量子化部
１１０ 逆直交変換部
１１１ 動き補償部
１１２ デブロッキングフィルタ部
１１３ 参照フレームバッファ

Claims (20)

1. 符号化対象のブロックごとに入力画像を圧縮符号化する画像符号化装置であって、
   前記符号化対象のブロックに対応する画像を量子化する量子化手段と、
   前記量子化手段によって量子化された画像をエントロピー符号化する符号化手段と、
   前記符号化対象のブロックの画像の特徴を検出する特徴検出手段と、
   前記特徴検出手段によって検出された画像の特徴に応じて、前記符号化対象のブロックに対応する画像を量子化するときの量子化ステップサイズを決定する量子化制御手段と、
   前記入力画像が撮影されたときの被写界深度を検出する被写界深度検出手段とを有し、
   前記量子化制御手段が、前記被写界深度検出手段によって検出された被写界深度に応じて、前記量子化ステップサイズの決定方法を変更することを特徴とする画像符号化装置。
2. 前記特徴検出手段が、前記画像の特徴として前記符号化対象のブロックの画素の分散値を検出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記量子化制御手段が、前記特徴検出手段によって検出された分散値が小さく平坦な領域である場合には、前記量子化ステップサイズを小さくするように補正することを特徴とする請求項２に記載の画像符号化装置。
4. 前記量子化制御手段が、前記特徴検出手段によって検出された分散値が大きく複雑な領域である場合には、前記量子化ステップサイズを大きくするように補正することを特徴とする請求項２又は３に記載の画像符号化装置。
5. 前記量子化制御手段が、前記前記量子化ステップサイズを小さく又は大きくするよう補正するときの制御強度を前記被写界深度に応じて決定することを特徴とする請求項３又は４に記載の画像符号化装置。
6. 前記量子化制御手段が、前記被写界深度が一定値よりも深いときは、前記被写界深度が前記一定値よりも浅いときよりも、前記制御強度を強くすることを特徴とする請求項５に記載の画像符号化装置。
7. 前記量子化制御手段が、前記被写界深度がある値の範囲内にあるときは、前記被写界深度に応じて線形に前記制御強度を変化させることを特徴とする請求項５に記載の画像符号化装置。
8. 前記特徴検出手段が、画像の特徴として物体の境界を検出することを特徴とする請求項１に記載の画像符号化装置。
9. 前記特徴検出手段の検出結果に基づいて前記符号化対象のブロックが背景と物体の境界部分にあると検出された場合、前記量子化制御手段が、前記量子化ステップサイズの補正係数を１より小さい値にすることを特徴とする請求項８に記載の画像符号化装置。
10. 前記特徴検出手段の検出結果に基づいて前記符号化対象のブロックが背景と物体の境界部分にあると検出された場合、前記量子化制御手段が、前記被写界深度の値が小さくなるにつれて前記量子化ステップサイズを小さくするように補正することを特徴とする請求項８又は９に記載の画像符号化装置。
11. 符号化対象のブロックごとに入力画像を圧縮符号化する画像符号化方法であって、
    前記符号化対象のブロックに対応する画像を量子化する量子化工程と、
    前記量子化工程で量子化された画像をエントロピー符号化する符号化工程と、
    前記符号化対象のブロックの画像の特徴を検出する特徴検出工程と、
    前記特徴検出工程で検出された画像の特徴に応じて、前記符号化対象のブロックに対応する画像を量子化するときの量子化ステップサイズを決定する量子化制御工程と、
    前記入力画像が撮影されたときの被写界深度を検出する被写界深度検出工程とを有し、
    前記量子化制御工程において、前記被写界深度検出工程で検出された被写界深度に応じて、前記量子化ステップサイズの決定方法を変更することを特徴とする画像符号化方法。
12. 前記特徴検出工程において、前記画像の特徴として前記符号化対象のブロックの画素の分散値を検出することを特徴とする請求項１１に記載の画像符号化方法。
13. 前記量子化制御工程において、前記特徴検出工程で検出された分散値が小さく平坦な領域である場合には、前記量子化ステップサイズを小さくするように補正することを特徴とする請求項１２に記載の画像符号化方法。
14. 前記量子化制御工程において、前記特徴検出工程で検出された分散値が大きく複雑な領域である場合には、前記量子化ステップサイズを大きくするように補正することを特徴とする請求項１２又は１３に記載の画像符号化方法。
15. 前記量子化制御工程において、前記前記量子化ステップサイズを小さく又は大きくするよう補正するときの制御強度を前記被写界深度に応じて決定することを特徴とする請求項１３又は１４に記載の画像符号化方法。
16. 前記量子化制御工程において、前記被写界深度が一定値よりも深いときは、前記被写界深度が前記一定値よりも浅いときよりも、前記制御強度を強くすることを特徴とする請求項１５に記載の画像符号化方法。
17. 前記量子化制御工程において、前記被写界深度がある値の範囲内にあるときは、前記被写界深度に応じて線形に前記制御強度を変化させることを特徴とする請求項１５に記載の画像符号化方法。
18. 前記特徴検出工程において、画像の特徴として物体の境界を検出することを特徴とする請求項１１に記載の画像符号化方法。
19. 前記特徴検出工程の検出結果に基づいて前記符号化対象のブロックが背景と物体の境界部分にあると検出された場合、前記量子化制御工程において、前記量子化ステップサイズの補正係数を１より小さい値にすることを特徴とする請求項１８に記載の画像符号化方法。
20. 前記特徴検出工程の検出結果に基づいて前記符号化対象のブロックが背景と物体の境界部分にあると検出された場合、前記量子化制御工程において、前記被写界深度の値が小さくなるにつれて前記量子化ステップサイズを小さくするように補正することを特徴とする請求項１８又は１９に記載の画像符号化方法。

Images