JP2010183181A - 画像処理装置、およびそれを搭載した撮像装置 - Google Patents

Abstract

【課題】ＰフレームからＩフレームへ切り替わる際に生じる主観画質劣化を抑制する。
【解決手段】動きベクトル検出部２０９は、Iフレームの各マクロブロックについて動きベクトルを検出する。制御部２１２は、検出した動きベクトルが所定のしきい値より小さい第１のマクロブロックに対しては、量子化処理で参照する量子化テーブルの量子化スケールを適応的に可変するように量子化部２０３を制御する。
【選択図】図１

Description

本発明は、動画像を符号化するための画像処理装置およびそれを用いた撮像装置に関する。

近年、動画を撮影することができるデジタルムービーカメラが普及してきている。デジタルムービーカメラは、年々、高画質化しており、フルＨＤ（High Definiton）画質に対応したものも実用化されている。それに伴い画像圧縮効率の高いＨ．２６４／ＡＶＣ規格で動画像を圧縮符号化するデジタルムービーカメラも実用化されている。

Ｈ．２６４／ＡＶＣ規格では、入力された画像と予測された画像との差分である予測誤差に直交変換を行い、得られた直交変換係数に対して量子化を行う。

特許文献１では、バッファ占有量やマクロブロックの符号量をもとに量子化スケールを決定している。

特開平８−１８１９９２号公報

直交変換係数を量子化すると量子化誤差が発生する。量子化スケールを大きくすると、圧縮効率を向上させることができるが、量子化誤差が大きくなってしまう。Ｈ．２６４／ＡＶＣ規格の符号化ストリームには、画面内予測で符号化されたフレーム（以下適宜、第１フレームまたはＩフレームという）と順方向の画面間予測で符号化されたフレーム（以下適宜、第２フレームまたはＰフレームという）が含まれる。符号化ストリームにおいて、画面間予測で符号化されたＰフレームが続く限り、この量子化誤差の影響を引きずることになるため、量子化誤差が累積されることになる。そこに、Ｉフレームが出現すると、Ｉフレームは画面内予測で符号化されているため量子化誤差の影響を受けず、量子化誤差がリセットされることになる。このリセットされた量子化誤差が大きいほど、ＰフレームからＩフレームへの切り替わりの際に発生するフリッカの大きくなり、主観画質劣化の原因となっている。

本発明はこのような状況に鑑みてなされたものであり、主観画質劣化を抑制することができる画像処理装置およびそれを搭載した撮像装置を提供することを目的とする。

本発明のある態様は、画像処理装置である。この画像処理装置は、対象ピクチャを画面内予測符号化する際に、前記対象ピクチャの単位領域ごとに動きベクトルを検出する符号化部と、前記動きベクトルの大きさが所定のしきい値より小さい第１の単位領域に対して、前記符号化部の量子化処理を適応的に制御する制御部と、を備えることを特徴とする画像処理装置である。

また、前記制御部は、前記第１の単位領域を量子化するときの第１の量子化スケールを小さくするように、前記符号化部を制御することが好ましい。

また、前記制御部は、前記第１の単位領域を量子化するときの第１の量子化スケールを小さくするのに応じて、前記動きベクトルの大きさが所定のしきい値より大きい第２の単位領域を量子化するときの第２の量子化スケールを大きくするように、前記符号化部を制御することが好ましい。

本発明によれば、ＰフレームからＩフレームへ切り替わる際に生じる主観画質劣化を抑制できる。

本発明の実施の形態における撮像装置１の構成を示す概念図 動きベクトルの大きさによりグループ分けしたIフレームのマクロブロック

本発明を具体的に説明する前に概要について述べる。本発明の実施の形態に係る画像処理装置は、Ｈ．２６４／ＡＶＣ規格に準拠した圧縮符号化を行う。

Ｈ．２６４／ＡＶＣ規格では、画面内予測符号化を行う画像フレームをＩ（Ｉｎｔｒａ）フレーム、過去のフレームを参照画像として順方向の画面間予測符号化を行う画像フレームをＰ(Ｐｒｅｄｉｃｔｉｖｅ）フレーム、時間の前後を問わず、また参照画像として利用できるフレームの枚数も問わず画面間予測符号化を行う画像フレームをＢ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ）フレームという。

ここで、本願明細書では、フレームとピクチャとは同じ意味で用いており、Ｉフレーム、Ｐフレーム、Ｂフレームは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャともいう。また、本願明細書では、フレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。

Ｐフレームを画面間予測符号化する場合、符号化対象画像フレームと過去のフレームの参照画像との差分から予測誤差を求め、この予測誤差を直交変換した直交変換係数の量子化を行う。参照画像は、量子化した直交変換係数を逆量子化し、これを逆直交変換することで復元した画像フレームから生成されるため、Ｐフレームが続く限り、量子化誤差が累積していく。

最初のＰフレームは、Ｉフレームを参照画像として画面間予測符号化されるため、量子化誤差の累積を抑制するためには、Ｉフレームをできるだけ高画質に符号化することが望ましい。 特に、Ｉフレームを構成するマクロブロック（以下適宜、単位領域という）のうち、動きが少ないマクロブロックは、後段のＰフレームから参照される機会が多いため、これらマクロブロックを高画質に符号化すると、量子化誤差の累積を小さくできる。

そこで、本発明の実施の形態に係る画像処理装置は、画面内予測符号化を行うＩフレームにおいても、マクロブロックごとの動きベクトルの検出を行い、移動量が小さいマクロブロックに対しては、量子化スケールを適応的に制御する。

これにより、Ｉフレームにおいて移動量が小さいマクロブロックほど高画質に符号化されるので、それらマクロブロックを参照してＰフレームを符号化する際の量子化誤差の累積を小さくすることができ、ＰフレームからＩフレームに切り替わる際のフリッカの発生を抑制することができる。

図１は、本発明の実施の形態における撮像装置１の構成を示す概念図である。撮像装置１は撮像部１０および画像処理装置２０を含む。

撮像部１０は、動画像を取得し画像処理装置２０に供給する。撮像部１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子、固体撮像素子からアナログの三原色信号をデジタルの輝度信号および色差信号に変更する信号処理部を含む。

画像処理装置２０は、撮像部１０から取得した動画像を、例えば、Ｈ．２６４／ＡＶＣ規格に従い圧縮符号化して符号化ストリームを生成し、図示しない記録部（例えば、ＨＤＤ（Hard Disk Drive）、光ディスク、フラッシュメモリなど）に出力する。

画像処理装置２０は、差分部２０１、直交変換部２０２、量子化部２０３、可変長符号化部２０４、出力バッファ２０５、逆量子化部２０６、逆直交変換部２０７、加算部２０８、動きベクトル検出部２０９、動き補償部２１０、フレームメモリ２１１および制御部２１２を含む。

差分部２０１は、撮像部１０から入力された画像フレームがＩフレームであれば、そのまま直交変換部２０２に出力する。ＰフレームまたはＢフレームであれば、動き補償部２１０から入力された予測画像との差分を計算して直交変換部２０２に出力する。

直交変換部２０２は、差分部２０１から入力された差分画像を離散コサイン変換（ＤＣＴ）し、ＤＣＴ係数を量子化部２０３に出力する。

量子化部２０３は、直交変換部２０２から入力されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化し、可変長符号化部２０４に出力する。量子化テーブルは、各ＤＣＴ係数を除算すべき量子化スケールを規定したものである。量子化テーブルは、ＤＣＴ係数のうち低周波成分に対応する量子化スケールを小さく、高周波成分に対応する量子化スケールを大きく設定する。これにより、高周波成分ほど省略を大きくする。なお、量子化テーブルに規定される全部または一部の量子化スケールは、制御部２１２により適応的に可変制御される。この処理についての詳細は後述する。また、量子化部２０３は、量子化ＤＣＴ係数を逆量子化部２０６にも出力する。

可変長符号化部２０４は、量子化部２０３から入力された量子化ＤＣＴ係数、動きベクトル検出部２０９で検出された動きベクトル、およびその他のパラメータなどをエントロピー符号化して出力バッファ２０５に出力する。

出力バッファ２０５は、可変長符号化部２０４から入力された符号化ストリームを一時記憶し、所定のタイミングで図示しない記録部に出力するか、あるいは、ネットワークに送出する。また、出力バッファ２０５は、符号化ストリームの符号量または符号化ストリームによるバッファ占有量を制御部２１２に出力する。

逆量子化部２０６は、量子化部２０３から入力された量子化ＤＣＴ係数を逆量子化して逆直交変換部２０７に出力する。

逆直交変換部２０７は、逆量子化部２０６から入力された逆量子化ＤＣＴ係数を逆離散コサイン変換して画像フレームを復元する。

加算部２０８は、逆直交変換部２０７から入力された画像フレームがＩフレームであれば、そのままフレームメモリ２１１に格納する。ＰフレームまたはＢフレームであれば、それは差分画像であるため、逆直交変換部２０７から入力された差分画像と動き補償部２１０から入力された予測画像とを加算して、元の画像フレームを再構成し、フレームメモリ２１１に格納する。

動きベクトル検出部２０９は、フレームメモリ２１１に格納されている過去または未来の画像フレームを参照画像として利用し、ＰフレームまたはＢフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求め、可変長符号化部２０４と動き補償部２１０に出力する。さらに、動きベクトル検出部２０９は、Ｉフレームの各ブロックについても動きベクトルを求め、制御部２１２に出力する。

動き補償部２１０は、動きベクトル検出部２０９から入力された動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成し、差分部２０１と加算部２０８に出力する。

制御部２１２は、画像処理装置全体の制御を行う。また、制御部２１２は、動きベクトル検出部２０９から入力された動きベクトルと、動きベクトルの大きさに関するしきい値とを比較し、Ｉフレームの各マクロブロックについて、動きベクトルの大きさがしきい値より小さい第１のマクロブロックグループと、それ以外の第２のマクロブロックグループのどちらに分類すべきかを決定する。

図２に、Iフレームの各マクロブロックについて第１のマクロブロックグループと第２のマクロブロックグループとに分類した例を示す。図中、第１のマクロブロックグループに分類されたマクロブロック（以下適宜、第１のマクロブロックという）に斜線を付して示す。第１のマクロブロックグループには、動きベクトルの大きさがしきい値より小さい、すなわち、動きが少ないマクロブロックが分類されている。なお、しきい値は、シミュレーションや実験によりあらかじめ所定の値を規定しておいてもよく、例えば、出力バッファ２０５から入力される符号量に応じて適応的に変更してもよい。

制御部２１２は、第１のマクロブロックに対して適応的な量子化処理を行うように量子化部２０３を制御する。具体的には、第１のマクロブロックについて量子化するときの量子化スケールを小さくするように量子化部２０３を制御する。

このため、制御部２１２は、出力バッファ２０５から入力される符号化ストリームの符号量または符号化ストリームのバッファ占有量に基づき、Iフレームの各マクロブロックに対する量子化テーブルの量子化スケールを可変制御（以下適宜、第１の可変制御という）する。第１の可変制御は、符号量またはバッファ占有量が大きくなると量子化スケールを大きくし、符号量またはバッファ占有量が小さくなると量子化スケールを小さくする。次に制御部２１２は、第１のマクロブロックに対する量子化テーブルの量子化スケールをさらに小さくするように可変制御（以下適宜、第２の可変制御という）する。

つまり、第１のマクロブロックに対しては、符号量またはバッファ占有量に基づき量子化スケールを仮決定し、その仮決定した量子化スケールをさらに可変制御することで、最終的な量子化スケールを決定する。

第１のマクロブロックに対する第２の可変制御は、所定の基準に従い、第１の可変制御により仮決定された量子化スケールを小さくする。所定の基準は、シミュレーションや実験によりあらかじめ規定しておくことができる。例えば、仮決定された量子化スケールに関係なく一律に所定の段階分、量子化スケールを小さくしたり、仮決定された量子化スケールに応じた段階分、量子化スケールを小さくしてもよい。これにより、第１のマクロブロックは高画質に符号化されるので、量子化誤差の累積を抑制することができる。

また、第１の各マクロブロックに対する量子化テーブルの量子化スケールについて第２の可変制御を行うとともに、第２のマクロブロックグループに分類したマクロブロック（以下適宜、第２のマクロブロックという）に対する量子化テーブルの量子化スケールを大きくする可変制御（以下適宜、第３の可変制御という）を行ってもよい。

第２の可変制御により決定された量子化スケールで第１のマクロブロックに対する量子化処理を行うと、第１の可変制御により決定された量子化スケールで量子化処理を行う場合に比べて第１のマクロブロックの符号量は増加する。一般に、第１の可変制御は、符号量を所定の値に近づけるために行う。第２の可変制御により第１のマクロブロックはより高画質に符号化されるため、第１のマクロブロックに基づく予測精度が向上し、これを参照するPフレームやBフレームの符号量を少なくすることができる。このため、第２の可変制御を行ったとしても複数のフレームでみれば、所定の符号量に近づけることはできるが、Iフレーム単体においても所定の符号量に近づけるには、第１のマクロブロックの量子化処理で増加した符号量を第２のマクロブロックの量子化処理で吸収できればよい。

そこで、第２のマクロブロックに対しても、符号量またはバッファ占有量に基づき量子化スケールを仮決定し、その仮決定した量子化スケールをさらに可変制御することで、最終的な量子化スケールを決定する。

第２のマクロブロックに対する第３の可変制御は、第２の可変制御により増加した符号量に応じて、第１の可変制御により仮決定された量子化スケールを大きくする。これにより、フレーム間の符号量の平準化を実現しながら、量子化誤差の累積を抑制することができる。

このような本発明の実施の形態によれば、I フレームの各マクロブロックについても動きベクトルを検出し、検出した動きベクトルが所定のしきい値より小さい第１のマクロブロックに対しては、量子化テーブルの量子化スケールを適応的に制御するので、第１のマクロブロックを参照して符号化する場合の予測精度が向上し、画質変動を抑制することができる。とくに、ＰピクチャからＩピクチャに切り替わる際に発生するフリッカを抑制することができる。すなわち、Ｐピクチャが長く続くことによる量子化誤差の累積を抑制し、当該フリッカを目立ちにくくすることができる。よって、主観画質を向上させることができる。

以上、本発明を実施するための形態について説明をしてきたが、本発明は、この実施の形態の構成に限定されるものではなく、特許請求の範囲に規定された本発明の適用範囲にあり、上述した実施の形態の構成が備える機能を達成可能であれば、いろいろな変形が可能である。

例えば、本発明の実施の形態において画像処理装置２０は、Ｈ．２６４／ＡＶＣ規格に従い圧縮符号化するとしたが、 ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化してもよい。

２０１ 差分部、２０２ 直交変換部、２０３ 量子化部、２０４ 可変長符号化部、２０５ 出力バッファ、２０６ 逆量子化部、２０７ 逆直交変換部、２０８ 加算部、２０９ 動きベクトル検出部、２１０ 動き補償部、２１１ フレームバッファ、２１２ 制御部。

Claims (4)

1. 対象ピクチャを画面内予測符号化する際に、前記対象ピクチャの単位領域ごとに動きベクトルを検出する符号化部と、前記動きベクトルの大きさが所定のしきい値より小さい第１の単位領域に対して、前記符号化部の量子化処理を適応的に制御する制御部と、を備えることを特徴とする画像処理装置。
2. 前記制御部は、前記第１の単位領域を量子化するときの第１の量子化スケールを小さくするように、前記符号化部を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、前記第１の単位領域を量子化するときの第１の量子化スケールを小さくするのに応じて、前記動きベクトルの大きさが所定のしきい値より大きい第２の単位領域を量子化するときの第２の量子化スケールを大きくするように、前記符号化部を制御することを特徴とする請求項２に記載の画像処理装置。
4. 動画像を取得する撮像部と、
   前記撮像部により取得される動画像を処理する請求項１から３のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
   

Images