JP2008289105A - 画像処理装置およびそれを搭載した撮像装置 - Google Patents

Abstract

【課題】算術符号化の工程はボトルネックになりやすい。
【解決手段】第１符号部２４は、ピクチャあたりの規定時間を順守しながら画像データを符号化する。記憶部２６は、第１符号部２４により符号化されたデータを一時記憶し、規定時間の拘束を受けずに、記憶したデータを順次、出力する。復号部２８は、記憶部２６から出力されるデータを順次、復号する。第２符号部３０は、復号部２８により復号されたデータを順次、符号化する。第１符号部２４は、可変長符号化を行てもよい、第２符号部３０は、算術符号化を行ってもよい。
【選択図】図１

Description

本発明は、動画像データを圧縮または伸張する画像処理装置およびそれを搭載した撮像装置に関する。

フルＨＤ対応のＴＶやデジタルビデオカメラが普及してきており、画像の圧縮効率を高める要請がますます強まっている。画像の圧縮効率を高める手法の一つにエントロピー符号化がある。エントロピー符号化は、頻繁に発生するシンボルに対して短いコードを割り当てることにより、符号量を圧縮する。エントロピー符号化の一つに算術符号化があり、算術符号化は、一般的に使用されている、ハフマン符号をベースとしたＶＬＣ（variable length code）テーブルを用いた可変長符号化方式より圧縮効率を高めることができる。

特許文献１は、高速アクセス記録媒体と低速アクセス記録媒体を記録再生時に使い分ける画像記録再生装置を開示する。
特開平８−２３７９６１号公報

しかしながら、算術符号化方式は、可変長符号化方式と比較し、各シンボルの出現頻度を精緻および動的に解析して確率テーブルを更新する必要がある。したがって、算術符号化方式を採用すると、可変長符号化方式より演算量が多くなってしまい、算術符号化の工程がボトルネックになりやすい。これに対し、並列処理したり、動作周波数を上げることが考えられるが、ハードウェア資源の規模が増大してしまう。また、可変長符号化方式は、ハードウェア資源の規模を増大する必要性は小さいが、符号量削減の程度が限定的になってしまう。

本発明はこうした状況に鑑みなされたものであり、その目的は、ハードウェア資源の規模増大を抑制しつつ、圧縮効率を高めることができる画像処理装置およびそれを搭載した撮像装置を提供することにある。

本発明のある態様の画像処理装置は、動画像を圧縮符号化する画像処理装置であって、ピクチャあたりの規定時間を順守しながら画像データを符号化する第１符号部と、第１符号部により符号化されたデータを一時記憶し、規定時間の拘束を受けずに、記憶したデータを順次、出力する記憶部と、記憶部から出力されるデータを順次、復号する復号部と、復号部により復号されたデータを順次、符号化する第２符号部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ハードウェア資源の規模増大を抑制しつつ、圧縮効率を高めることができる。

図１は、実施の形態１に係る撮像装置５００の構成図である。実施の形態１に係る撮像装置５００は、撮像部１０および画像処理部１００を備える。撮像部１０は、撮像素子１２および信号処理部１４を含む。画像処理部１００は、ブロック生成部１６、動き補償部１８、直交変換部２０、量子化部２２、可変長符号化部２４、記憶部２６、可変長復号部２８および算術符号化部３０を含む。画像処理部１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像素子１２は、ＣＣＤ（Charge Coupled Devices）センサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサで構成され、入射光を電気信号に変換し、信号処理部１４に出力する。信号処理部１４は、撮像素子１２から出力されたＲＧＢフォーマットのアナログ信号を、ＹＵＶフォーマットのデジタル信号に変換する。信号処理部１４は、変換後の画像信号を画像処理部１００に出力する。

画像処理部１００は、信号処理部１４から入力される画像信号を、予測符号化技術を利用して所定の規格に準拠して圧縮符号化する。たとえば、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧシリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。Ｈ．２６４／ＡＶＣは、エントロピー符号化の方式としてＣＡＢＡＣ（Context Adaptive Binary-Arithmetic Coding）を、可変長符号化の方式としてＣＡＶＬＣ（Context-Adaptive Variable Length Coding）をサポートする。

ＭＰＥＧシリーズの規格では、フレーム内符号化を行う画像フレームをＩ（Intra）フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをＰ（Predictive）フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをＢフレームという。

画像処理部１００は、エントロピー符号化を施すための、方式の異なる複数の符号化部を備える。本実施の形態では、可変長符号化部２４および算術符号化部３０を備える。算術符号化部３０は、可変長符号化部２４より、符号量圧縮効率が高いが、同じフレームを符号化するための演算量を多く必要とする。画像処理部１００は、アプリケーションからの指示により、可変長符号化により圧縮符号化するか、算術符号化により圧縮符号化するかを選択する。可変長符号化を選択した場合、記憶部２６、可変長復号部２８および算術符号化部３０のパスは使用しない。

ブロック生成部１６、動き補償部１８、直交変換部２０、量子化部２２、および可変長符号化部２４は、ボトルネックが発生しないよう、ピクチャあたりの規定時間を順守しながらそれぞれの処理を実行する。たとえば、一枚のピクチャをそれぞれ１／３０秒で処理する。ここで、ピクチャは符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などが含まれてもよい。

ブロック生成部１６は、入力された画像フレームを複数のマクロブロックに分割する。画像フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部１６は、生成したマクロブロックを動き補償部１８に与える。

動き補償部１８は、図示しないフレームメモリに格納されている過去または未来の画像フレームを参照画像として利用し、ブロック生成部１６から入力されたＰフレームまたはＢフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求める。この動きベクトルは、可変長符号化部２４に直接与えられる。動き補償部１８は、動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成する。生成した予測画像と符号化対象画像との差分を求め、予測差分信号として直交変換部２０に出力する。動き補償部１８は、ブロック生成部１６から供給されるＩフレームについて、同一フレーム内のマクロブロック間で、フレーム内予測を行い、フレーム内予測信号を直交変換部２０に与える。

直交変換部２０は、動き補償部１８から与えられた、Ｉフレームに対応するフレーム内予測信号、ならびにＰフレームおよびＢフレームに対応する予測差分信号を周波数成分に変換し、量子化部２２に与える。たとえば、予測差分信号を離散コサイン変換（ＤＣＴ）し、そのＤＣＴ係数を直交変換係数として量子化部２２に与える。量子化部２２は、所定の量子化テーブルを参照して、直交変換部２０から与えられた係数を量子化し、可変長符号化部２４に与える。

可変長符号化部２４は、量子化された係数および動きベクトルを実際のビットにマッピングする。より具体的には、可変長符号化部２４は、符号化に先立ち、量子化された係数をジグザグにスキャンすることにより一次元の配列に並び替える。こうして得られた直列係数の最初の値が直流の係数となる。その後に連なる係数は、交流の係数となり、低い周波数成分から高い周波数成分へと並ぶ。高い周波数成分の係数はゼロが多くなるため、ランレングス圧縮符号化を使って、連続したゼロを一つのグループにまとめる。本実施の形態では、可変長符号化部２４はＣＡＶＬＣを採用する。ＣＡＶＬＣは、コンテキストにより変換テーブルを切り替えることができ、ＣＡＢＡＣほどではないが、一般的なＶＬＣより高い圧縮効率を実現することができる。

記憶部２６、可変長復号部２８、および算術符号化部３０は、ピクチャあたりの規定時間に拘束されずに処理する。記憶部２６は、可変長符号化部２４により圧縮符号化されたビットストリームを一時記憶し、記憶しているビットストリームを可変長復号部２８に順次出力する。動画像では、被写体の動きやフレームの種類（Ｉフレーム、Ｐフレーム、Ｂフレーム）により各フレームの情報量が変動するため、各フレームを符号化するための演算量も変動する。記憶部２６は、この演算量を平滑化するためのバッファとして機能する。

可変長復号部２８は、符号化の際に使用した変換テーブルを参照して、記憶部２６から順次出力される圧縮符号化データを順次、可変長復号する。算術符号化部３０は、可変長復号部２８から順次出力される、量子化された係数および動きベクトルを順次、算術符号化する。本実施の形態ではＣＡＢＡＣを採用する。算術符号化されたビットストリームは、圧縮符号化ストリームＣＳの一部となり、メモリーカードなどの記録媒体に記録されるか、有線または無線の伝送路を介して外部の装置に送信される。

なお、所定のアプリケーションプログラムは、低解像度の場合など符号量削減の要請が低い場合、算術符号化を選択せず、可変長符号化を選択するよう指定することができる。その場合、可変長符号化部２４で符号化されたビットストリームは、そのまま圧縮符号化ストリームＣＳに組み込まれ、外部に出力される。

図２は、比較例における算術符号化部３０の演算量の推移を示す図である。この比較例は、量子化部２２で量子化された係数および動き補償部１８で生成された動きベクトルが、可変長符号化部２４、記憶部２６および可変長復号部２８で処理されず、直接、算術符号化部３０で符号化される例を示す。

量子化された係数および動きベクトルは、フレーム単位で同期して、エントロピー符号化を行う符号化部に入力される。すなわち、各フレームのデータ量に関係なく、規定されたタイミングで入力される。規定されたフレームレート、たとえば毎秒３０フレームで動画像が撮像される場合、各プロセスは、規定された時間、たとえば一フレームあたり１／３０秒で処理されることが要求される。算術符号化も、一フレームあたり１／３０秒で算術符号化することが要求される。その時間を超えると、算術符号化工程がボトルネックとなる。

ＭＰＥＧのようにフレーム間予測符号化を用いる規格では、Ｉフレーム、ＰフレームおよびＢフレームそれぞれのデータ量が異なってくる。すなわち、Ｉフレームのデータ量が最も多く、Ｂフレームのデータ量が最も少なくなる。したがって、算術符号化部は、Ｉフレームのデータを算術符号化するとき、最も多くの演算量が必要となる。

図２の横軸は、算術符号化部３０に順番に入力される動画像フレームを示し、縦軸は、各フレームデータを算術符号化するために必要な演算量を示す。図２では、一番左のＩフレームデータを規定時間内に算術符号化するために、４０［Ｍｂｐｓ］のビットレートで演算する必要があることを示す。図２では、４５［Ｍｂｐｓ］のビットレートで演算する能力を備えたプロセッサを用いないとボトルネックが発生してしまう。しかしながら、Ｉフレームデータ以外の算術符号化では、そのような高速演算は必要なく、高速演算した場合、つぎのフレームデータが入力されるまで無駄な空き時間が発生する。

図３は、実施の形態１における算術符号化部３０の演算量の推移を示す図である。図３において算術符号化すべき動画像フレームは、図２において算術符号化した動画像フレームと同じものとする。実施の形態１は、量子化された係数および動きベクトルを算術符号化する場合、可変長符号化部２４、記憶部２６および可変長復号部２８で処理した後、算術符号化部３０に入力する。

可変長符号化部２４は、演算量が少なくてすむため、規定された時間内に各フレームデータを可変長符号化することができる。可変長符号化部２４は、可変長符号化したビットストリームを記憶部２６に出力する。規定時間より早く、可変長符号化および記憶部２６への出力が完了した場合、つぎのフレームを処理するまでに空き時間が発生する。記憶部２６は、フレーム単位の規定時間に関係なく、先に入力されたビットストリームから順次、可変長復号部２８に出力する。可変長復号部２８は、連続的に入力されてくるビットストリームを可変長復号し、順次、算術符号化部３０に出力する。したがって、算術符号化部３０には、可変長復号部２８からビット列が連続的に入力されることになる。よって、算術符号化部３０は空き時間なく、連続的に算術符号化を実行することができる。

図３では、１０［Ｍｂｐｓ］のビットレートで演算する例を示している。このビットレートでも、動画像フレーム全体に対して要求される規定時間を満たしている。したがって、この動画像フレームに対しては、平均１０［Ｍｂｐｓ］のビットレートで演算すれば足りることになる。図２では、ボトルネックが発生しないようにするため、４５［Ｍｂｐｓ］のビットレートの演算能力が必要であったが、図３では、１０［Ｍｂｐｓ］のビットレートの演算能力で足りる。これは、算術符号化すべきビットストリームを記憶部２６に一旦、バッファリングすることにより、無駄な空き時間なく、演算し続けることができるようになるためである。

以上説明したように実施の形態１によれば、エントロピー符号化すべきデータを可変長符号化してバッファに一時記憶し、出力タイミングを平滑化した後、可変長復号し、あらためて算術符号化することにより、ハードウェア資源の規模増大を抑制しつつ、圧縮効率を高めることができる。図２に示したように、単純に算術符号化する場合、算術符号化部の処理速度の限界が高画質化のボトルネックとなる。規定の時間内に算術符号化を終了させるために、並列処理、動作周波数を上げるなどの対策も考えられるが、いずれもハードウェア資源の規模を増大させ、消費電力を増大させてしまう。

これに対し実施の形態１によれば、図２と図３とを対比して説明したように、ビットレートを上げる必要がなく、動作周波数を上げなくても、算術符号化に伴うボトルネックの発生を抑制することができる。したがって、ハードウェア資源の規模を増大させる必要もなく、それに伴う消費電力の増大も抑制される。

また、圧縮符号化して一時記憶するため、バッファとして確保すべき領域が少なくてすみ、ハードウェア資源の規模増大を抑制することができる。また、算術符号化部、可変長符号化部を両方備え、選択可能な装置の場合、可変長符号化部を有効活用することができる。また、デジタルビデオカメラのように、圧縮符号化された画像データを復号する構成を撮像装置５００が備える場合、その可変長復号部を利用することができ、ハードウェア資源の規模増大を抑制することができる。

図４は、実施の形態２に係る表示装置６００の構成図である。実施の形態２に係る表示装置６００は、画像処理部２００および表示部４８を備える。表示装置６００は、デジタルビデオカメラの一部の構成であってもよいし、携帯電話機の一部の構成であってもよい。また、光ディスク再生装置、セットトップボックスなどの画像再生装置であってもよい。デジタルビデオカメラの一部の構成の場合、実施の形態１に係る撮像装置５００の構成と組み合わせてもよい。

画像処理部２００は、算術復号部３２、可変長符号化部３４、記憶部３６、可変長復号部３８、逆量子化部４０、逆直交変換部４２、動き補償部４４およびブロック組立部４６を含む。

画像処理部２００は、算術符号化された圧縮符号化データも可変長符号化された圧縮符号化データも伸張復号することができる。前者が入力された場合、算術復号部３２に入力するよう制御し、後者が入力された場合、可変長復号部３８に入力するよう制御する。後者の場合、算術復号部３２、可変長符号化部３４および記憶部３６のパスは使用しない。

算術復号部３２および可変長符号化部３４は、ピクチャあたりの規定時間に拘束されずに入力されるデータを順次処理する。算術復号部３２は、算術符号化された圧縮符号化データを算術復号し、量子化された係数および動きベクトルに変換する。たとえば、ＣＡＢＡＣで算術符号化された圧縮符号化データを算術復号する。可変長符号化部３４は、算術復号部３２から出力されるデータを可変長符号化し、記憶部３６に出力する。たとえば、ＣＡＶＬＣで符号化する。

記憶部３６、可変長復号部３８、逆量子化部４０、逆直交変換部４２、動き補償部４４、およびブロック組立部４６は、ピクチャあたりの規定時間を順守しながらそれぞれの処理を実行する。記憶部３６は、可変長符号化部３４から順次出力されるビットストリームを一時記憶し、ピクチャあたりの規定時間を順守しながら可変長復号部３８に出力する。可変長復号部３８は、符号化の際に使用した変換テーブルを参照して、記憶部３６から出力される圧縮符号化データ、または外部から入力される可変長符号化された圧縮符号化データを可変長復号する。復号後、直交変換係数を逆量子化部４０に与え、動きベクトルを動き補償部４４に与える。

逆量子化部４０は、所定の量子化テーブルを参照して、可変長復号部３８から与えられた係数を逆量子化し、逆直交変換部４２に与える。逆直交変換部４２は、逆量子化部４０から与えられた係数を、画素値で規定されたフレーム内予測信号および予測差分信号に変換する。

動き補償部４４は、図示しないフレームメモリに格納されている過去または未来の画像フレーム、逆量子化部４０から与えられる予測差分信号、および可変長復号部３８から与えられる動きベクトルに基づいて、ＰフレームおよびＢフレームの各マクロブロックを生成する。動き補償部４４は、フレーム内予測信号から、Ｉフレームの各マクロブロックを生成する。

ブロック組立部４６は、動き補償部４４から与えられるマクロブロックを組立て、画像フレームを生成する。表示部４８は、画像処理部２００から入力される動画像を表示する。

以上説明したように実施の形態２によれば、算術復号したデータに対し、逆量子化する前に、可変長符号化、一時記憶および可変長復号の処理を施すことにより、算術復号する際の各フレームに対する演算量および演算時間を平滑化することができる。したがって、ハードウェア資源の規模増大を抑制しつつ、算術符号化された圧縮符号化データをフレーム単位の規定時間を順守しながら復号することができる。たとえば、図３に示した動画像フレームの圧縮符号化データに対して、１０［Ｍｂｐｓ］のビットレートで演算しても、ボトルネックが発生せず、可変長復号部３８の出力データは、フレーム単位の規定時間を満たしたものとなる。

また、圧縮符号化して一時記憶するため、バッファとして確保すべき領域が少なくてすみ、ハードウェア資源の規模増大を抑制することができる。また、算術復号部、可変長復号部を両方備え、選択可能な装置の場合、可変長復号部を有効活用することができる。また、デジタルビデオカメラのように、画像データを圧縮符号化する構成を表示装置６００が備える場合、その可変長符号化部を利用することができ、ハードウェア資源の規模増大をさらに抑制することができる。

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、実施の形態１にて、記憶部２６は、可変長符号化部２４から入力されたデータをマクロブロック単位で並べ替えて、可変長復号部２８に出力してもよい。符号化ストリームにおけるマクロブロックの構成順序は、フレーム分割後の各行のマクロブロックを左から右に並べることが一般的である。この順序と、動きベクトルの生成順序が異なる場合がある。

たとえば、上下のマクロブロックを連続して処理する手法がある。すなわち、対象マクロブロックに対する動きベクトル探索が終了すると、つぎに、その下に位置する対象マクロブロックに対する動きベクトル探索を行う。そして上下２つのマクロブロックの処理が終わったら、その右側に位置する上下２つのマクロブロック、というように、左から右に処理していく。このような手法は、連続して処理される対象マクロブロックの探索範囲の重複を、水平方向のみならず垂直方向にも利用するための技術である。

この場合、動きベクトルの順序を生成順から、符号化ストリームにおけるマクロブロックの構成順に、並びかえる必要がある。本変形例ではこの並び替えを記憶部２６から可変長復号部２８に出力する際に行う。すなわち、可変長符号化部２４は、動きベクトルの生成順に圧縮符号化して記憶部２６に入力し、記憶部２６は、動きベクトルの順序をマクロブロックの構成順で可変長復号部２８に出力する。この並び替え処理は、プロセッサの制御により行ってもよいし、専用のロジック回路で行ってもよい。

この変形例によれば、記憶部２６により、動きベクトルの順序入れ替え処理とバッファリング処理を兼ねて行うことにより、動きベクトルの順序入れ替え処理に必要な記憶領域と処理時間を使って、バッファリング処理を行うことができる。よって、符号化ストリームにおけるマクロブロックの構成順序と動きベクトルの生成順序が異なる装置に対して、実施の形態１を適用する場合、新たなハードウェア資源と処理時間を設けることなく、ボトルネックを発生させずに算術符号化することができる。また、圧縮して動きベクトルの順序を入れ替えることにより、処理量を低減することができる。

実施の形態１に係る撮像装置の構成図である。 比較例における算術符号化部の演算量の推移を示す図である。 実施の形態１における算術符号化部の演算量の推移を示す図である。 実施の形態２に係る表示装置の構成図である。

符号の説明

１０ 撮像部、 １２ 撮像素子、 １４ 信号処理部、 １６ ブロック生成部、 １８ 動き補償部、 ２０ 直交変換部、 ２２ 量子化部、 ２４ 可変長符号化部、 ２６ 記憶部、 ２８ 可変長復号部、 ３０ 算術符号化部、 ３２ 算術復号部、 ３４ 可変長符号化部、 ３６ 記憶部、 ３８ 可変長復号部、 ４０ 逆量子化部、 ４２ 逆直交変換部、 ４４ 動き補償部、 ４６ ブロック組立部、 ４８ 表示部、 １００ 画像処理部、 ２００ 画像処理部、 ５００ 撮像装置、 ６００ 表示装置。

Claims (6)

1. 動画像を圧縮符号化する画像処理装置であって、
   ピクチャあたりの規定時間を順守しながら画像データを符号化する第１符号部と、
   前記第１符号部により符号化されたデータを一時記憶し、前記規定時間の拘束を受けずに、記憶したデータを順次、出力する記憶部と、
   前記記憶部から出力されるデータを順次、復号する復号部と、
   前記復号部により復号されたデータを順次、符号化する第２符号部と、
   を備えることを特徴とする画像処理装置。
2. 前記第１符号部は、入力されるデータを可変長符号化し、
   前記第２符号部は、入力されるデータを算術符号化することを特徴とする請求項１に記載の画像処理装置。
3. 前記記憶部は、前記第１符号部から入力されたデータを、符号化ストリームにおけるマクロブロックの順番に並び替えて前記復号部に出力することを特徴とする請求項１または２に記載の画像処理装置。
4. 動画像を撮像する撮像素子と、
   前記撮像素子により撮像された動画像を処理する請求項１から３のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
5. 動画像の圧縮符号化データを順次、復号する第１復号部と、
   前記第１復号部により復号されたデータを順次、符号化する符号部と、
   前記符号部により符号化されたデータを一時記憶し、ピクチャあたりの規定時間を順守しながら出力する記憶部と、
   前記記憶部から出力されるデータを復号する第２復号部と、
   を備えることを特徴とする画像処理装置。
6. 前記第１復号部は、入力されるデータを算術復号し、
   前記第２復号部は、入力されるデータを可変長復号することを特徴とする請求項５に記載の画像処理装置。

Images