JP2007019878A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】 ブロックの特徴に従って最適な符号割り当てを行うことで、画質の劣化を少なくするとともに画像データの符号量を目標符号量以下に制御すること。
【解決手段】 符号化部１０２では、ジグザグスキャンした成分に対して可変長符号の割り当てを行い、ブロック内の全ての係数値に符号の割り当てが終わると符号化終了を示すＥＯＢ符号をブロックデータの最後に付ける。符号化部１０２は、ハフマン符号化を施してビット数を低減する。符号量測定部１０３は、輝度成分及び色差成分毎のそれぞれの符号量を測定する。目標符号量設定部１０４は、輝度成分と色差成分毎の１ブロック分の目標符号量を予め設定する。符号化制御部１０５は、輝度成分又は色差成分の符号量が目標符号量以上で、且つ目標符号量を再設定できない場合、ＥＯＢ符号を、符号化しているブロックの途中に付加するように符号化部１０２を制御する。
【選択図】 図１

Description

本発明は、画像符号化装置及び画像符号化方法に関する。

画像データをメモリカード、磁気ディスク等の記憶媒体にディジタルデータとして記録する場合、そのデータ量は膨大なものとなるため、限られた記録容量の範囲で多数の画像データを記録するには何らかの圧縮を行うことが必要となる。その際、１枚のメモリカードや磁気ディスク等に記録できる画像の枚数は保証されなければならない。このような条件に対処するための静止画像データの高能率符号化としてＪＰＥＧ等の画像標準符号化方式が知られている。これらの技術は、入力される画像データをｎ×ｎ画素のブロックに分割し、分割されたブロック単位に離散コサイン変換（ＤＣＴ）処理を施し、ジグザグスキャンの後に可変長符号化を行う画像符号化方式である。

この直交変換を利用した画像データ符号化方式は、周波数領域における低周波数成分への信号エネルギーの集中に着目して、低周波数成分に多くの符号化ビット数を割り当てる代わりに、エネルギー成分が少なく視覚的にも感度の鈍い高周波数成分に少ないビット数を割り当てる手法により、全体として符号化ビット数を低減して高能率化を達成することを狙った符号化方式である。しかし、可変長符号化では符号長が一定ではないため、画像毎に符号量は一定ではなくなってしまう。このため、画像データを符号化する際には指定した目標符号量以下になるように、画像データの符号量を制御する技術が必要である。

従来の符号量制御方法としては、一つの画像に対して、目標となる符号量の符号化データが得られるまで符号化パラメータを変更して、符号化処理を繰り返す方法がある（例えば、特許文献１）。又、ブロック内の符号化を途中で打ち切り、ブロック毎に符号量を調整することによって繰り返しの回数を減らしたものが提案されている（例えば、特許文献２）。
特公平８−３２０３７号公報 特開平５−３０４６１２号公報

しかしながら、従来の装置においては、上記した特許文献１の装置では、符号化処理を何回も繰り返すため、目標とする符号化データが得られるまで非常に時間がかかってしまうという問題がある。また、従来の装置においては、特許文献２の装置では、目標符号量とそれまでに発生した符合の累計から次のブロックに割り当てる符号量を決定するものであり、割り当てが少なくても良いブロックに多くの符号を割り当ててしまったり、逆に多くの割り当てが必要なブロックに少しの符号しか割り当てることが出来なかったりするため、最適な符号割り当てが出来ず、画質が悪いという問題がある。

本発明は、かかる点に鑑みてなされたものであり、ブロックの特徴に従って最適な符号割り当てを行うことで、画質の劣化を少なくすることができるとともに画像データの符号量を目標符号量以下に制御することができる画像符号化装置及び画像符号化方法を提供することを目的とする。

本発明の画像符号化装置は、輝度成分と色差成分とからなる一画面分の画像データを複数のブロックに分割し、各ブロック毎に直交変換を施してＤＣＴ係数を得る画像データ変換手段と、前記画像データ変換手段にて得られた前記ＤＣＴ係数を量子化する量子化手段と、前記量子化手段にて量子化された前記ＤＣＴ係数を目標符号量以下の符号量にて符号化する符号化手段と、前記符号化手段にて符号化された前記ＤＣＴ係数における前記輝度成分の符号量と前記色差成分の符号量とを測定する符号量測定手段と、前記符号量測定手段にて測定された前記輝度成分の前記符号量と前記色差成分の前記符号量の測定結果に基づいて、前記輝度成分と前記色差成分との各々の前記目標符号量を可変にて設定する目標符号量設定手段と、を具備する構成を採る。

本発明の画像符号化方法は、輝度成分と色差成分とからなる一画面分の画像データを複数のブロックに分割し、各ブロック毎に直交変換を施してＤＣＴ係数を得るステップと、得られた前記ＤＣＴ係数を量子化するステップと、量子化された前記ＤＣＴ係数を目標符号量以下の符号量にて符号化するステップと、符号化された前記ＤＣＴ係数における前記輝度成分の符号量と前記色差成分の符号量とを測定するステップと、測定された前記輝度成分の前記符号量と前記色差成分の前記符号量の測定結果に基づいて、前記輝度成分と前記色差成分との各々の前記目標符号量を可変にて設定するステップと、を具備するようにした。

本発明のプログラムは、輝度成分と色差成分とからなる一画面分の画像データを複数のブロックに分割し、各ブロック毎に直交変換を施してＤＣＴ係数を得る手順と、得られた前記ＤＣＴ係数を量子化する手順と、量子化された前記ＤＣＴ係数を目標符号量以下の符号量にて符号化する手順と、符号化された前記ＤＣＴ係数における前記輝度成分の符号量と前記色差成分の符号量とを測定する手順と、測定された前記輝度成分の前記符号量と前記色差成分の前記符号量の測定結果に基づいて、前記輝度成分と前記色差成分との各々の前記目標符号量を可変にて設定する手順と、をコンピュータに実行させるようにした。

本発明によれば、ブロックの特徴に従って最適な符号割り当てを行うことで、画質の劣化を少なくすることができるとともに画像データの符号量を目標符号量以下に制御することができる。

以下に、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態）
図１は、本発明の実施の形態に係る画像符号化装置１２０の構成を示すブロック図である。

図１において、本発明の画像符号化装置１２０は、画像データ変換部１００と、量子化部１０１と、符号化部１０２と、符号量測定部１０３と、目標符号量設定部１０４と、符号化制御部１０５と、出力バッファ１０６とで構成されている。

画像データ変換部１００は、入力画像データを８×８画素からなる複数のブロックに分割して、各ブロックに直交変換を施してＤＣＴ係数を出力する。ＤＣＴ係数の特徴として、高周波数成分には、画像の情報量が含まれる割合が比較的少ないため、高周波数成分のＤＣＴ係数を切り捨てたとしても、人間の視覚に与える影響が低周波数成分に比べて少なく、画質への影響は抑制される。

量子化部１０１は、画像データ変換部１００で得られたＤＣＴ係数を量子化テーブルを用いて量子化する。

符号化部１０２では、ジグザグスキャンした成分に対して可変長符号の割り当てを行い、ブロック内の全ての係数値に符号の割り当てが終わると符号化終了を示すＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）符号をブロックデータの最後に付ける。符号化部１０２は、ジグザグスキャンした係数シ−ケンスに対してハフマン符号化（ランレングス・ハフマン符号化）を施して、ビット数を低減する。

符号量測定部１０３は、可変長符号化された輝度成分及び色差成分毎のそれぞれの符号量を測定し、目標符号量設定部１０４に通知する。

目標符号量設定部１０４は、符号化部１０２で符号化する輝度成分と色差成分毎の１ブロック分の目標符号量を予め設定すると共に、この目標符号量と符号量測定部１０３で測定したそれぞれの符号量とに基づいて、設定した輝度成分及び色差成分のそれぞれの目標符号量を再設定し、符号化制御部１０５に通知する。

符号化制御部１０５は、測定された輝度成分又は色差成分の符号量が目標符号量以上で、且つ目標符号量を再設定できない場合、符号化終了を示す符号化終了符号（ＥＯＢ）を、符号化しているブロックの途中に付加するように符号化部１０２を制御する。

具体的には、目標符号量設定部１０４では、例えば、輝度（Ｙ）成分、色差（Ｃｂ、Ｃｒ）成分の画像に対し、Ｙ成分に目標符号量の５０％を割り当て、Ｃｂ、Ｃｒ成分にそれぞれ目標符号量の２５％ずつを割り当て、符号化制御部１０５は、各成分に割り当てた目標符号量を超えないように、符号化部１０２の符号化処理を制御する。

一般に、画質に大きな影響を与える信号は、輝度成分に集中し、色差成分の占める割合は少ない。そこで、輝度成分に多くの符号量を割り当て、色差成分には少ない符号量を割り当てることにより、各成分での重み付けを行わない場合に比べて、良好な画質の符号化データを得ることが可能となる。

出力バッファ１０６には、符号化部１０２で符号化した符号化列が、一時的に格納される。

次に、以上のように構成された画像符号化装置１２０の動作を、図２及び図３を用いて説明する。図２は、画像符号化装置１２０の動作を示すフロー図であり、８×８画素の１ブロックの符号化部１０２の処理を示したものである。また、図３は、ジグザグスキャンの方法を示す図である。

先ず、量子化部１０１で量子化された係数値を図３（Ａ）に示す順序で、符号化開始位置３０４からジグザグスキャン３０１して可変長符号化を行う（ＳＴ２０１）。目標符号量設定部１０４には、符号化部１０２で符号化する輝度成分と色差成分毎の１ブロック分のそれぞれの平均目標符号量が、予め設定されている。目標符号量設定部１０４では、符号化の都度、設定されたそれぞれの平均目標符号量と符号量測定部１０３で測定された平均符号量とを比較し、測定した輝度成分と色差成分毎のそれぞれの平均符号量が、それぞれの目標符号量以下の場合（ＳＴ２０２）、符号化制御部１０５は、図３（Ｂ）に示すように、符号化しているブロック３０２の最後にＥＯＢ符号を付加するように、符号化部１０２を制御する（ＳＴ２０３、２０４）。

一方、ＳＴ２０２において、測定した輝度成分又は色差成分の何れかの平均符号量が、目標符号量以下ではない場合、目標符号量設定部１０４は、設定されている目標符号量が変更可能か否かを調べ（ＳＴ２０５）、余裕のある目標符号量があれば、その目標符号量を少なくすると共に、目標を超過している目標符号量を大きくするように、目標符号量の再設定を行う（ＳＴ２０６）。この場合、符号化された符号量が、目標符号量のある一定割合以下の時、再設定可能であるように定めておけばよい。そして、再設定した場合、再度、ＳＴ２０２を実行する。

又、ＳＴ２０５において、再設定が出来ない場合、図３（Ｃ）に示すように、符号化しているブロック３０３の途中にＥＯＢ符号を付加し、符号化を行っているブロック３０３の符号化を打ち切る（ＳＴ２０７）。このようにして、フレーム内の全てのブロックの符号化が終わるまで繰り返す。

図４に示すように、全体の目標符号量４００に対して、各画像成分毎に目標符号量が割り当てられ、図４の場合、輝度（Ｙ）成分の目標符号量４０１は、色差（Ｃｂ、Ｃｒ）成分の目標符号量４０２、４０３に比べ、多くの符号量が割り当てられる。なお、上記した平均符号量は、符号化済みの複数ブロックの符号量を平均化したものである。

又、上記した説明では、複数ブロックの輝度成分、色差成分毎の符号量を平均した平均符号量をそれぞれの平均目標符号量と比較することで、ブロックの平均符号量が、一定範囲内に入るように構成したが、符号量測定部１０３で測定された輝度成分、色差成分毎の符号量を予め設定した１ブロック分の目標符号量と比較することで、各ブロックの符号量が、一定範囲の符号量に入るように構成しても良い。

この場合、目標符号量設定部１０４には、１ブロックの輝度成分、色差成分毎のそれぞれの符号量が設定され、目標符号量設定部１０４では、１ブロックの輝度成分、色差成分毎のそれぞれの符号量が再設定されることになる。

また、上記説明では、符号化処理の都度、測定した符号量と目標符号量設定部１０４内の目標符号量を比較するように構成したが、１ブロックを複数のグループに分け、各グループの符号化が終了した時点で、測定した符号量と目標符号量を比較し、比較結果に基づき、分割したグループの最後にＥＯＢ符号を付加するように構成しても良い。

また、上記実施の形態では、画像の符号化を画像符号化装置及び画像符号化方法として行う場合について説明したが、これに限らず、画像の符号化をソフトウェアとして行うことも可能である。例えば、上記画像の符号化を行うプログラムを予めＲＯＭ（Read Only Memory）に格納しておき、そのプログラムをＣＰＵ（Central Processor Unit）によって動作させるようにしてもよい。また、上記画像の符号化を行うプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭ（Random Access Memory）に記録して、コンピュータをそのプログラムに従って動作させるようにしてもよい。このような場合においても、上記実施の形態と同様の作用および効果を呈する。

このように、本実施の形態によれば、目標符号量と符号化した符号量との差分に応じて係数値の符号を切り捨てることに加え、切り捨てる符号量を画像の成分に応じて変更させることによって、画質への影響を最小限にしながら画像データの符号量を制御することができ、画質の劣化を少なくすることができるとともに画像データの符号量を目標符号量以下に制御することができる。

なお、本発明は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。例えば、Ｙ、Ｃｂ、Ｃｒ成分の代わりに、Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、Ｋ（ブラック）成分での重み付けや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）成分での重み付けを行って制御してもよい。

また、上記説明では、静止画像符号化装置に関する説明を行ったが、ＭＰＥＧ等のｎ×ｎの画素ブロック単位で符号化する方式であれば、動画像符号化装置への適用も可能である。

また、ブロックの終わりを示すための符号として、ＥＯＢ符号を付加するように構成したが、符号化終了を識別できれば、他の符号、手段であってもよい。また、符号化方式は可変長符号化に限らず、固定長符号化であってもよい。また、上記した画像符号化装置は、画像通信装置に組み込むことが可能であるので、そのような画像通信装置を具備した移動体通信システムを実現することも可能である。

本発明にかかる画像符号化装置及び画像符号化方法は、特に画像データを圧縮符号化するのに好適である。

本発明の実施の形態に係る画像符号化装置の構成を示すブロック図 本発明の実施の形態に係る画像符号化装置の動作を示すフロー図 本発明の実施の形態に係るジグザグスキャンの方法を示す図 本発明の実施の形態に係る画像符号化装置での各成分毎の目標符号量の一例を示す図

符号の説明

１００ 画像データ変換部
１０１ 量子化部
１０２ 符号化部
１０３ 符号量測定部
１０４ 目標符号量設定部
１０５ 符号化制御部
１０６ 出力バッファ
１２０ 画像符号化装置

Claims (5)

1. 輝度成分と色差成分とからなる一画面分の画像データを複数のブロックに分割し、各ブロック毎に直交変換を施してＤＣＴ係数を得る画像データ変換手段と、
   前記画像データ変換手段にて得られた前記ＤＣＴ係数を量子化する量子化手段と、
   前記量子化手段にて量子化された前記ＤＣＴ係数を目標符号量以下の符号量にて符号化する符号化手段と、
   前記符号化手段にて符号化された前記ＤＣＴ係数における前記輝度成分の符号量と前記色差成分の符号量とを測定する符号量測定手段と、
   前記符号量測定手段にて測定された前記輝度成分の前記符号量と前記色差成分の前記符号量の測定結果に基づいて、前記輝度成分と前記色差成分との各々の前記目標符号量を可変にて設定する目標符号量設定手段と、
   を具備することを特徴とする画像符号化装置。
2. 前記符号量が前記目標符号量以上である場合で、かつ前記目標符号量を再度設定することができない場合には符号化終了を示す符号化終了符号を前記ブロックに付加する符号化制御手段を具備し、
   前記符号化手段は、符号化開始位置から前記符号化制御手段にて付加された前記符号化終了符号まで符号化することを特徴とする請求項１記載の画像符号化装置。
3. 前記目標符号量設定手段は、前記輝度成分及び前記色差成分の何れか一方の前記符号量が前記目標符号量以上である場合には、前記輝度成分及び前記色差成分の内の何れか他方の前記目標符号量を少なくするとともに前記一方の前記目標符号量を多くすることを特徴とする請求項１または請求項２記載の画像符号化装置。
4. 輝度成分と色差成分とからなる一画面分の画像データを複数のブロックに分割し、各ブロック毎に直交変換を施してＤＣＴ係数を得るステップと、
   得られた前記ＤＣＴ係数を量子化するステップと、
   量子化された前記ＤＣＴ係数を目標符号量以下の符号量にて符号化するステップと、
   符号化された前記ＤＣＴ係数における前記輝度成分の符号量と前記色差成分の符号量とを測定するステップと、
   測定された前記輝度成分の前記符号量と前記色差成分の前記符号量の測定結果に基づいて、前記輝度成分と前記色差成分との各々の前記目標符号量を可変にて設定するステップと、
   を具備することを特徴とする画像符号化方法。
5. 輝度成分と色差成分とからなる一画面分の画像データを複数のブロックに分割し、各ブロック毎に直交変換を施してＤＣＴ係数を得る手順と、
   得られた前記ＤＣＴ係数を量子化する手順と、
   量子化された前記ＤＣＴ係数を目標符号量以下の符号量にて符号化する手順と、
   符号化された前記ＤＣＴ係数における前記輝度成分の符号量と前記色差成分の符号量とを測定する手順と、
   測定された前記輝度成分の前記符号量と前記色差成分の前記符号量の測定結果に基づいて、前記輝度成分と前記色差成分との各々の前記目標符号量を可変にて設定する手順と、
   をコンピュータに実行させることを特徴とするプログラム。

Images