JP2001238213A

JP2001238213A - 画像処理装置およびその方法

Info

Publication number: JP2001238213A
Application number: JP2000049260A
Authority: JP
Inventors: Makoto Sato; 佐藤　　誠
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-02-25
Filing date: 2000-02-25
Publication date: 2001-08-31

Abstract

(57)【要約】【課題】撮影対象の人物の背景に高域成分が多く含ま
れる場合、データ長制御により、人物部分にも、背景と
同様に、圧縮率が高い、符号化歪みの大きい圧縮符号化
が施される。【解決手段】撮影された画像データを所定画素サイズ
のブロック単位に圧縮符号化する(S104)。圧縮符号化さ
れた画像データを伸長復号した再生データの歪み(SN比)
を計測し(S105、S106)、計測された歪みが許容範囲内か
否かを判定し(S107)、範囲外であれば、量子化値配列の
スケーリング値を改めて(S108)、圧縮符号化(S104)を繰
り返す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
その方法に関し、例えば、撮影された画像データを量子
化する画像処理装置およびその方法に関するものであ
る。

【０００２】

【従来の技術】現在、多くのディジタルカメラが商品化
されている。それらは、複数枚の画像を記録するための
記憶手段として、装置内に不揮発性の半導体メモリある
いは磁気ディスクなどを備えている。さらに、記録され
た画像の再生表示を目的とする小型の表示器または外部
の表示装置へ画像信号を出力する出力手段を備えてい
る。

【０００３】ディジタルカメラに一般的に使用されるCC
Dなどの固体撮像素子が生成するディジタル画像データ
は、そのデータ量が極めて大きい。そのため、撮影され
た画像データは、再生時に視認できる歪みが発生しない
程度に圧縮され、そのデータ量は数分の一から十数分の
一程度に削減された後、記憶手段にデータファイルとし
て記録蓄積される。

【０００４】ディジタルカメラの記憶手段として備えら
れている半導体メモリまたは磁気ディスクの記憶容量
は、コストの観点からある程度の大きさに抑えらてい
る。この記憶容量の制限から撮影可能（記録可能）な画
像は数十枚程度である。従って、ディジタルカメラにお
いては、一枚単位の正確な撮影数の管理が必要になる。
しかし、撮影された画像データは、圧縮して記録される
ため、生成される符号データ長の予測が難しいという問
題が存在する。

【０００５】現在、多くのディジタルカメラで採用され
ている代表的な画像データの圧縮符号化は、ブロック分
割、直交変換、量子化、および、可変長符号を用いるエ
ントロピ符号化を組み合わせたものである。このような
圧縮符号化によれば、一画面分の画像データは所定画素
サイズの矩形ブロックに分割される。そして、矩形ブロ
ックごとに二次元直交変換され、その変換係数は、周波
数座標系列に並べ直された後、人間の視覚特性に基づく
量子化値配列によって量子化される。さらに、量子化さ
れた直交変換係数のシーケンスに所定の可変長符号を割
り当てることで、最終的に圧縮符号化された画像データ
列（圧縮データ列）が生成される。

【０００６】一方、伸長復号において、圧縮データ列
は、所定の可変長符号に従い直交変換係数のシーケンス
に復号され、圧縮符号化時に用いられた量子化値配列に
よって逆量子化される。こうして得られる直交変換係数
は、矩形ブロックごとの二次元座標系配列に並べ直され
た後、逆方向の直交変換によって画像データに再生さ
れ、最柊的に一画面分の再生画像データが復元される。

【０００７】上記の圧縮符号化および伸長復号に必要な
数値演算の回数は莫大である。ディジタルカメラがこれ
らの数値演算に要する時間は、次の撮影が可能になるま
での時間（撮影間隔）を決定すると同時に、次の画像を
表示するまでの時間（再生間隔）を決定する。従って、
ほとんどのディジタルカメラでは、専用のハードウェア
によって圧縮符号化および伸長復号を高速に処理し、快
適な操作環境をユーザに提供しようとする。

【０００８】上記の圧縮符号化によって生成される圧縮
データのデータ長は、撮像素子によって入力される画像
データの空間周波数の分布や偏りによって大きく変化す
る。たとえ同一のパラメータを用いて圧縮符号化して
も、画像データの統計学的な性質によって、圧縮データ
の大きさはばらつくことが知られている。

【０００９】また、上記の圧縮符号化を行うディジタル
カメラには、通常、複数の圧縮モードが設けられてい
る。すなわち、圧縮率が低く、記録できる画像数は少な
いが、圧縮符号化による歪みが小さい高品質の画像デー
タを記録するモード、比較的圧縮率が高く、多くの画像
を記録することはできるが、圧縮符号化による歪みが比
較的大きい画像データを記録するモードなどである。

【００１０】上記の圧縮符号化において、同一の画像デ
ータに対する圧縮率の高低を容易に制御することが可能
なパラメータは量子化値配列である。個々の量子化値は
量子化処理における除算の除数に相当するから、比較的
大きな量子化値で量子化すれば圧縮率を高くすることが
できる。逆に、比較的小さな量子化値で量子化すれば圧
縮率を低くすることができる。

【００１１】ディジタルカメラのユーザは、撮影前に、
上述した複数の圧縮モードの一つを選択する。その際、
ユーザにとって必要不可欠な情報は、選択した圧縮モー
ドで撮影可能な画像の数である。この値は、通常、記憶
手段の空き容量によって一意に決定され、多くのディジ
タルカメラではLCDなどに表示される。ディジタルカメ
ラにおいては、LCDなどに表示した撮影可能な画像の数
を保証するために、圧縮データのデータ長が、予め定め
られた上限値を超えないように、様々なデータ長制御手
段を講じた圧縮符号化が行われる。さらに、データ長制
御手段は、圧縮データのデータ長が、予め定められた下
限値を割らないように制御する。このようなデータ長制
御手段によって、不必要に圧縮率が高くて、圧縮符号化
による歪みが大きい圧縮データの生成が防止される。

【００１２】ディジタルカメラにおいては、所望のデー
タ長の圧縮データを得るために、撮影された一画面分の
画像データを複数回圧縮符号化する。例えば、一回目の
圧縮符号化によって得られる圧縮データのデータ長を基
に、所望のデータ長が得られるだろう量子化値配列を予
測し算出する。そして、算出した量子化値配列を用い
て、再び、圧縮符号化を行う方法、あるいは、圧縮デー
タのデータ長が所定の範囲内に収束するまで、量子化値
配列を毎回変更して圧縮符号化を繰り返す方法などがあ
る。さらに、複数回の圧縮符号化を避ける目的で、圧縮
符号化に先んじて定量的に求めた画像データの統計学的
な性質を用いて最適な量子化値配列を予測する方法、な
どがある。

【００１３】

【発明が解決しようとする課題】ディジタルカメラにお
いて撮影枚数の管理を実現するには、圧縮符号化された
画像データのデータ長制御は必須である。しかし、デー
タ長制御は、空間周波数の高域成分を比較的多く含む画
像データ、すなわちエントロピが高い画像データの情報
量をより多く削減する制御である。例えば、撮影対象の
人物の背景のエントロピが高い、すなわち背景に高域成
分が多く含まれる場合、データ長制御により、画像デー
タの人物部分にも、背景と同様のより圧縮率が高い、符
号化歪みの大きい圧縮符号化が施されることになる。

【００１４】ディジタルカメラのユーザによって複数の
圧縮モードの中から撮影枚数を減らしてでも高画質の画
像データを記録する高画質モードが選択される場合、高
画質という点を最重視するならば、あるSN比以下になる
ような高い圧縮率の圧縮符号化は避けなければならな
い。

【００１５】ディジタルカメラに搭載される不揮発性記
憶手段の大容量化によって、記録可能な画像の数は今後
飛躍的に伸びることが予想される。また、無線データ通
信のインフラストラクチャの整備により、撮影した画像
を無線通信によってサーバなどの大容量ファイルシステ
ムへ順次転送することも近い将来可能になると考えられ
る。このような状況により、将来、圧縮データのデータ
長を一定にするようなデータ長制御の意義は薄れると思
われる。

【００１６】本発明は、上述の問題を解決するためのも
のであり、量子化された画像データの歪みを所定範囲内
に収めることを目的とする。

【００１７】また、前記歪みの計測にかかる時間が、量
子化処理時間に与える影響を最小限にすることを他の目
的とする。

【００１８】また、最小限の構成の追加により前記歪み
を計測することを他の目的とする。

【００１９】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【００２０】本発明にかかる画像処理装置は、撮影され
た画像データを少なくとも一画面分記憶する第一の記憶
手段から所定画素サイズのブロック単位に画像データを
読み出し、読み出した画像データを順方向に直交変換
し、得られた直交変換係数を量子化する量子化手段と、
量子化された直交変換係数を逆量子化および逆方向に直
交変換して再生される画像データの歪みを計測する計測
手段と、計測された歪みに基づき、前記量子化手段によ
る量子化を制御する制御手段とを有することを特徴とす
る。

【００２１】好ましくは、さらに、前記順方向の直交変
換によって生成される直交変換係数を記憶する第二の記
憶手段を有し、前記量子化の繰り返しにおいては、前記
第二の記憶手段に記憶された直交変換係数が利用される
ことを特徴とする。

【００２２】好ましくは、前記計測手段は、前記第一の
記憶手段から読み出される画像データと、前記逆量子化
および逆方向の直交変換により得られる画像データとか
ら歪みを計測することを特徴とする。

【００２３】好ましくは、前記計測手段は、量子化前の
直交変換係数と、逆量子化により得られる直交変換係数
との差分を逆方向に直交変換することで歪みを計測する
ことを特徴とする。

【００２４】本発明にかかる画像処理方法は、撮影され
た画像データを少なくとも一画面分記憶する第一の記憶
手段から所定画素サイズのブロック単位に画像データを
読み出し、読み出された画像データを順方向に直交変換
して、直交変換係数を生成し、生成された直交変換係数
を量子化し、量子化された直交変換係数を逆量子化およ
び逆方向に直交変換して再生される画像データの歪みを
計測し、計測された歪みに基づき、前記量子化手段によ
る量子化を制御することを特徴とする。

【００２５】

【発明の実施の形態】以下、本発明にかかる一実施形態
の画像処理装置を図面を参照して詳細に説明する。

【００２６】［データ長制御］図1はディジタルカメラ
に搭載される圧縮符号化部の構成例を示すブロック図で
ある。図1に示す圧縮符号化部は、スケーリング値とい
うパラメータを変えることで、間接的に量子化値配列の
個々の量子化値を変更しながら、所望するデータ長の圧
縮データを得るものである。その圧縮符号化の流れは次
のとおりである。

【００２７】量子化値テーブル105には、制御用CPU100
により所定の量子化値配列が予めセットされている。ま
た、スケーリング値レジスタ106には、制御用CPU100に
より初期値になる一回目のスケーリング値fq1が予めセ
ットされている。

【００２８】まず、図示しないCCDなどから出力された
画像信号を基に構成される一画面分の画像データが、バ
ッファメモリ101の撮影画像データ領域101aに格納され
る。順方向直交変換部102は、撮影画像データ領域101a
から8×8画素の矩形ブロック単位に画像データを順次読
み出し、離散コサイン変換に代表される二次元直交変換
を施す。そして、周波数座標系列に並べ直した計64個の
直交変換係数を量子化部103に順次供給する。この動作
は、一画面分の画像データの処理が終了するまで繰り返
される。

【００２９】量子化値スケーリング部107は、スケーリ
ング値レジスタ106にセットされた一回目のスケーリン
グ値fq1を読み出して、量子化値テーブル105から出力さ
れる個々の量子化値に乗じる。そして、その積の整数部
分をスケーリングされた量子化値として、量子化部103
に順次供給する。この動作は、一画面分の画像データの
処理が終了するまで繰り返される。なお、スケーリング
値レジスタ106には1/50から50/50までの50種類のスケー
リング値を設定することができる。小さな値が設定され
るほど、スケーリング処理によって量子化値テーブル10
5から出力される個々の量子化値はより小さな値に縮小
される。

【００３０】量子化部103は、順方向直交変換部102から
順次入力される64個の直交変換係数を、量子化値スケー
リング部107から順次入力されるスケーリングされた量
子化値で連続的に量子化を行い、64個の量子化された直
交変換係数を可変長符号化部104に順次供給する。この
動作は、一画面分の画像データの処理が終了するまで繰
り返される。なお、量子化部103が行う量子化処理は、
入力される直交変換係数を被除数とし、入力されるスケ
ーリングされた量子化値を除数とする除算であり、その
商の整数部分が量子化された直交変換係数として可変長
符号化部104に供給される。

【００３１】可変長符号化部104は、量子化部103から順
次入力される64個の量子化された直交変換係数のそれぞ
れに、所定の可変長符号を割り当てる符号化を連続的に
行い、圧縮データ列を出力する。この動作は、一画面分
の画像データの処理が終了するまで繰り返される。

【００３２】可変長符号化部104によって生成された圧
縮データ列は、バッファメモリ101の圧縮符号化データ
領域101cに順次格納されるととともに、データ長カウン
タ108によってそのデータ長が例えば8ビット単位で順次
計測される。

【００３３】一画面分の画像データに対する一回目の圧
縮符号化が終了した時点で、データ長カウンタ108に
は、スケーリング値レジスタ106にセットされた一回目
のスケーリング値fq1に基づき生成された圧縮データ列
の総バイト数Ln1が格納される。この圧縮データ列の総
バイト数Ln1は、制御用CPU100によって読み出され、Ln1
が許容範囲[Ln_min, Ln_max]内にあるか否かが判定され
る。

【００３４】図2はスケーリング値と圧縮データ列のデ
ータ長との関係を示す図である。実線で描かれる曲線
は、現在、圧縮符号化の対象である画像データに対応
し、その上下にそれぞれ破線で描かれる曲線は異なる画
像データに対応する。

【００３５】図2に示す例では、一回目の圧縮符号化に
おいて得られた圧縮データ列のデータ長Ln1が最大値Ln_
maxを超えるので、再度、圧縮符号化を行う必要があ
る。

【００３６】制御用CPU100はスケーリング値レジスタ10
6に二回目のスケーリング値fq2をセットする。このfq2
は、得られる圧縮データ列のデータ長Ln2をLn1よりも短
くするために、fq1よりも大きな値になる。この後、一
回目の圧縮符号化処理と同様に、二回目の圧縮符号化が
行われる。

【００３７】二回目の圧縮符号化によって得られた圧縮
データ列のデータ長Ln2は、図6に示す例では最小値Ln_m
inを割ってしまうので、再び、圧縮符号化を行う必要が
ある。

【００３８】制御用CPU100はスケーリング値レジスタ10
6に三回目のスケーリング値fq3をセットする。このfq3
は、得られる圧縮データ列のデータ長Ln3をLn1よりも短
く、かつ、Ln2よりも長くするために、fq1よりも大き
く、かつ、fq2よりも小さな値になる。この後、一回目
および二回目の圧縮符号化処理と同様に、三回目の圧縮
符号化が行われる。

【００３９】三回目の圧縮符号化によって得られた圧縮
データ列のデータ長Ln3は、図6に示す例では許容範囲[L
n_min, Ln_max]内にあるので、一連の圧縮符号化はこれ
で終了する。

【００４０】その後、バッファメモリ101の圧縮符号化
データ領域101cに格納されたデータ長Ln3の圧縮データ
は、図示しない不揮発性記憶手段に転送され、撮影画像
データのデータファイルとして記録される。

【００４１】図2に示すように、どのような画像データ
であっても対応する曲線は、スケーリング値が大きけれ
ば大きいほど圧縮データのデータ長は小さくなり、スケ
ーリング値が小さければ小さいほど圧縮データのデータ
長は大きくなる単調減少傾向を示す。

【００４２】さらに、図2に示すように、空間周波数の
高域成分が多く含まれる画像データに対応する曲線はよ
り上にシフトし、高域成分が少ない画像データに対応す
る曲線はより下にシフトする傾向を示す。これは、同一
のスケーリング値をもって圧縮符号化した場合、高域成
分を多く含む画像データの圧縮データのデータ長は、高
域成分が少ない画像データの圧縮データのデータ長より
も大きくなることを意味する。言い換えれば、同一のデ
ータ長になるように圧縮符号化するには、高域成分が多
い画像データに対しては、より大きなスケーリング値を
設定しなければならないことを意味する。

【００４３】図3は二つの画像データに対するスケーリ
ング値と圧縮データのデータ長との関係を示す曲線（図
の下側）に、スケーリング値とSN比との関係を示す曲線
（図の上側）を重ねて表したものである。

【００４４】図3に実線で示す曲線は空間周波数の高域
成分を多く含む画像データ(A)に対応し、点線で示す曲
線は高域成分が少ない画像データ(B)に対応する。ま
た、圧縮データのデータ長がLn1になるスケーリング値
は、高域成分を多く含む画像データ(A)に対してはfq(A)
であり、一方、高域成分が少ない画像データ(B)に対し
てはfq(B)であったとする。上述したように、スケーリ
ング値fq(A)はスケーリング値fq(B)よりも大きくなる。

【００４５】一方、SN比の観点では、スケーリング値fq
(A)で画像データ(A)を圧縮符号化した後、伸長復号して
得られる再生画像データのSN比psnr(A)は、スケーリン
グ値fq(B)で撮影画像データ(B)を圧縮符号化した後、伸
長復号して得られる再生画像データのSN比psnr(B)より
も小さいことがわかる。これは、より大きな圧縮率で符
号化された画像データ(A)のエントロピの減少の度合い
が、画像データ(B)のエントロピーの減少の度合いより
も大きいことを示している。

【００４６】［構成］図4は本発明を適用したディジタ
ルカメラの画像圧縮符号化部および伸長復号部の実施形
態を示すブロック図である。

【００４７】図4において、1はバッファメモリで、撮影
画像データ領域1a、再生画像データ領域1b、および、圧
縮符号化データ領域1cなどが割り当てられる。2は順方
向直交変換部、3は量子化部、4は量子化値テーブル、5
はスケーリング値レジスタ、6は量子化値スケーリング
部、7は可変長符号化部である。これらは量子化手段お
よび圧縮符号化手段を構成する。また、8は可変長復号
部、9は逆量子化部、10は量子化値テーブル、11はスケ
ーリング値レジスタ、12は量子化値スケーリング部、13
は逆方向直交変換部である。これらは逆量子化手段およ
び伸長復号手段を構成する。14はスケーリング値設定
部、15は圧縮符号化歪み計測部、21および24はデータ読
出部、22および23はデータ書込部、31から35はそれぞれ
データ転送部、42はデータスイッチである。

【００４８】［圧縮符号化処理］次に、図4に示す圧縮
符号化部による圧縮符号化処理を図5に示すフローチャ
ートを参照して説明する。

【００４９】まず、圧縮符号化に先立って、図示しない
CPUなどの制御手段により、量子化値テーブル4および10
の両方に同一かつ所定の量子化値配列がセットされる(S
101)。

【００５０】図6は本実施形態に用いられる量子化値テ
ーブル4および10の量子化値配列の一例を示す図であ
る。量子化対象のブロックが輝度成分である場合は図6
(A)の配列が用いられ、同ブロックが色差成分である場
合は図6(B)の配列が用いられる。一組の量子化値配列は
8×8個の量子化値で構成され、図6の右方向の要素ほど
水平方向の空間周波数が高い直交変換係数に対応し、下
方向の要素ほど垂直方向の空間周波数が高い直交変換係
数に対応する。従って、一番左上の量子化値はブロック
内で最も低い空間周波数成分である直流成分の直交変換
係数の量子化に用いられる。また、一番右下の量子化値
はブロック内でもっとも高い空間周波数成分の直交変換
係数の量子化に用いられる。そして、高い空間周波数成
分に対する感度は低い空間周波数成分の感度に比べて低
いという人間の視覚特性に基づき、図6に示すように右
下になるほど大きな量子化値が用いられる。

【００５１】次に、圧縮符号化に先立ち、CPUなどの制
御手段により、データスイッチ42がA側（量子化部3側）
にセットされ(S102)、CPUなどの装置制御手段によって
構成されるスケーリング値設定部14により、スケーリン
グ値レジスタ5および11の両方に同一かつ所定の初期値
である一回目のスケーリング値fq1がセットされる(S10
3)。以上で、圧縮符号化の準備が終了し、続いて、実際
の圧縮符号化が開始される(S104)。

【００５２】まず、図示されないCCDなどの固体撮像素
子から出力される画像信号に、ゲイン調整、ガンマ補
正、ホワイトバランス補正、CCDフィルタマトリクス補
正および色空間変換操作など必要な信号処理が施され、
これによって得られる一画面分の画像データが撮影画像
データ用領域1aに格納される。

【００５３】データ読出部21は、撮影画像データ用領域
1aから8×8画素で構成される矩形ブロック単位に画像デ
ータを順次読み出し、順方向直交変換部2および圧縮符
号化歪み計測部15に順次供給する。この動作は、一画面
分の画像データの処理が終了するまで繰り返される。

【００５４】順方向直交変換部2は、データ読出部21か
ら入力されるブロック単位の画像データに離散コサイン
変換に代表される二次元直交変換を施し、周波数座標系
列に並べ直した計64個の直交変換係数を順次生成する。
この動作は、一画面分の画像データの処理が終了するま
で繰り返される。順方向直交変換部2により生成される
直交変換係数は、データ転送部31によって量子化部3へ
転送される。

【００５５】一方、量子化値スケーリング部6は、ステ
ップS103でスケーリング値レジスタ5にセットされた一
回目のスケーリング値fq1を読み出し、量子化値テーブ
ル4から出力される個々の量子化値に乗じる。そして、
その積の小数点以下を四捨五入して得られる整数値をス
ケーリングされた量子化値として、量子化部3に順次供
給する。この動作は、一画面分の画像データの処理が終
了するまで繰り返される。

【００５６】スケーリング値レジスタ5および11には1/5
0から50/50までの50種類のスケーリング値を設定するこ
とができる。小さな値が設定されるほど、スケーリング
処理によって量子化値はより小さな値に縮小される。ス
ケーリング値として設定可能な最大値である50/50が設
定された場合、スケーリング処理は量子化値に1を乗じ
ることに等価であるから、量子化値テーブル4から出力
される個々の量子化値は変更されずに、そのまま量子化
部3に入力される。同様に、量子化値テーブル10から出
力される個々の量子化値は変更されずに、そのまま逆量
子化部9に入力される。

【００５７】また、スケーリング部6は、特に小さなス
ケーリング値が入力されて、小数点以下を四捨五入して
得られる整数値が零になる場合、例外処理として、値1
をスケーリングされた量子化値として出力する。これ
は、後段の量子化部3において零による除算を避けるた
めである。

【００５８】量子化部3は、データ転送部31から順次供
給される直交変換係数に、量子化値スケーリング部6か
ら順次入力されるスケーリングされた量子化値を用いる
量子化処理を連続的に施し、64個の量子化された直交変
換係数を生成する。この動作は、一画面分の画像データ
の処理が終了するまで繰り返される。なお、量子化部3
の量子化処理は、直交変換係数を被除数とし、スケーリ
ングされた量子化値を除数とする除算であり、その商の
小数点以下を四捨五入して得られる整数値を量子化され
た直交変換係数として順次生成するものである。量子化
された直交変換係数は、データ転送部32により、可変長
符号化部7およびデータスイッチ42経由して逆量子化部9
へ転送される。

【００５９】可変長符号化部7は、データ転送部32から
順次供給される量子化された直交変換係数のそれぞれに
所定の可変長符号を割り当てる符号化処理を連続的に行
い、圧縮符号化された画像データ列（圧縮データ列）を
生成する。この動作は、一画面分の画像データの処理が
終了するまで繰り返される。生成された圧縮データ列
は、データ書込部23により、圧縮符号化データ領域1cへ
順次書き込まれる。

【００６０】一方、量子化値スケーリング部12は、ステ
ップS103でスケーリング値レジスタ11にセットされた一
回目のスケーリング値fq1を読み出して、量子化値テー
ブル10から出力される個々の量子化値に乗じる。そし
て、その積の小数点以下を四捨五入して得られる整数値
をスケーリングされた量子化値として、逆量子化部9に
順次供給する。この動作は、一画面分の画像データの処
理が終了するまで繰り返される。

【００６１】量子化値スケーリング部12は、特に小さな
スケーリング値が入力されて、小数点以下を四捨五入し
て得られる整数値が零になる場合は、例外処理として、
値1をスケーリングされた量子化値として出力する。こ
れは、上述した量子化値スケーリング部6の例外処理と
一致させるためである。また、以上の説明からわかるよ
うに、量子化スケーリング部6から出力されるスケーリ
ングされた量子化値と、量子化スケーリング部12から出
力されるスケーリングされた量子化値とは、まったく同
じ値になる。

【００６２】逆量子化部9は、データ転送部32からデー
タスイッチ42経由で順次供給される64個の量子化された
直交変換係数に、量子化値スケーリング部12から順次入
力されるスケーリングされた量子化値を用いる逆量子化
処理を連続的に施し、64個の逆量子化された直交変換係
数を生成する。この動作は、一画面分の画像データの処
理が終了するまで繰り返される。なお、逆量子化部9の
逆量子化処理は、入力される量子化された直交変換係数
に、入力されるスケーリングされた量子化値を乗じた積
を逆量子化された直交変換係数とするものである。逆量
子化部9により生成された直交変換係数は、データ転送
部34により、逆方向直交変換部13に順次供給される。

【００６３】逆方向直交変換部13は、データ転送部34か
ら順次供給される直交変換係数を8×8個の二次元配列に
並べ直した後、圧縮符号化に用いられた二次元直交変換
の逆方向の直交変換を行い、ブロック単位の局所再生画
像データを順次生成する。この動作は、一画面分の画像
データの処理が終了するまで繰り返される。逆方向直交
変換部13によって生成されるブロック単位の局所再生画
像データは、データ転送部35により、圧縮符号化歪み計
測部15に順次供給される。

【００６４】圧縮符号化歪み測定部15は、データ読出部
21から順次入力されるブロック単位の画像データ（「撮
影データ」と呼ぶ）と、データ転送部35から順次供給さ
れるブロック単位の局所再生画像データ（「再生デー
タ」と呼ぶ）とから、圧縮符号化歪みを順次計測する。
この動作は、一画面分の画像データの処理が終了するま
で繰り返される。

【００６５】圧縮符号化歪み測定部15は、撮影データs
(x,y)および再生データr(x,y)の間で、(1)式に示すよう
に、空間座標系で対応する画素間の差分二乗和の平均値
を順次累積加算する。 {Σ|s(x,y) - r(x,y)|²}/64 …(1)

【００６６】一画面分の画像データの処理が終了した時
点で、圧縮符号化歪み測定部15に格納される値は、一画
面分の撮影データおよび再生データにおける対応する画
素間の差分二乗和の平均値すなわち平均自乗誤差にな
る。空間座標(i,j)の画素の撮影データをs(i,j)、再生
データをr(i,j)、一画面の大きさをM×N画素とすれば、
平均自乗誤差MSEは式(2)で表される。 MSE = {Σ|s(i,j) - r(i,j)|²}/(M×N) …(2)

【００６７】可変長符号化部7が一画面分の画像データ
の可変長符号化を終え、一画面分の圧縮データ列が圧縮
符号化データ領域1cへ書き込まれ、圧縮符号化歪み測定
部15が平均自乗誤差MSEの計測を終えた時点で、一回目
の圧縮符号化(S104)が終了する。

【００６８】次に、スケーリング値設定部14は、圧縮符
号化歪み測定部15から平均自乗誤差MSEを読み出し(S10
5)、平均自乗誤差MSEから(3)式によって定義される一回
目のSN比psnr1を算出し(S106)、SN比psnr1が所定の許容
範囲[psnr_min, psnr_max]内にあるか否かを判定する(S
107)。なお、(3)式の値255は、画像データの最小値と最
大値の範囲を意味する。 psnr = 20log₁₀(255/√MSE) …(3)

【００６９】一回目のSN比psnr1が許容範囲[psnr_min,
psnr_max]内にあると判定されると、撮影に伴う一連の
圧縮符号化処理は終了する。一方、SN比psnr1が許容範
囲[psnr_min, psnr_max]外と判定されると、二回目の圧
縮符号化シーケンスを開始すべく、その準備として新た
なスケーリング値の予測を行う(S108)。

【００７０】以下では、SN比psnr1が下限値psnr_minを
下回ったものとして、二回目の圧縮符号化シーケンスに
移行する場合を説明する。

【００７１】図7は一般的なスケーリング値とSN比との
関係を示す図で、実線で示される曲線は、現在圧縮符号
化している画像データに相当し、その上下に破線で示す
曲線は別の画像データに相当する。

【００７２】図7からわかるように、画像データのもつ
統計学的な性質、すなわち空間周波数的な分布や偏りに
よって曲線は上下にシフトするが、曲線の形や単調減少
関数という性質には違いがみられない。これはスケーリ
ング値と、それに対応するSN比との関係を示す曲線があ
る関数で近似され、所望するSN比の再生データを生成す
るようなスケーリング値をある程度正確に予測できるこ
とを示している。

【００７３】本実施形態においては、ステップS103で設
定された一回目のスケーリング値fq1と、ステップS106
で算出される一回目のSN比psnr1とから曲線上のある一
点が得られるので、所定の近似関数によってSN比が許容
範囲[psnr_min, psnr_max]内に収まるような再生データ
を生成するための、ある程度正確なスケーリング値を算
出することができる(S108)。

【００７４】こうして、スケーリング値設定部14により
ステップS108で算出されたスケーリング値fq2がスケー
リング値レジスタ5および11にセットされ(S103)、二回
目の圧縮符号化シーケンスが開始される(S104)。二回目
の圧縮符号化シーケンスが終了しすると、スケーリング
値設定部14は、圧縮符号化歪み測定部15から平均自乗誤
差MSEが再び読み出し(S105)、平均自乗誤差MSEから二回
目のSN比psnr2を算出し(S106)、それが所定の許容範囲
[psnr_min, psnr_max]内であるか否かを判定する(S10
7)。

【００７５】SN比psnr2が許容範囲[psnr_min, psnr_ma
x]内であれば、撮影に伴う一連の圧縮符号化処理は終了
する。一方、SN比psnr2が許容範囲[psnr_min, psnr_ma
x]外と判定された場合は、三回目の圧縮符号化シーケン
スを開始すべく、その準備としてスケーリング値の予測
が行われる(S108)。

【００７６】SN比psnr2が許容範囲[psnr_min, psnr_ma
x]内に収まれば、撮影に伴う一連の圧縮符号化処理は終
了し、圧縮符号化データ領域1cに格納されたSN比psnr2
の圧縮データは、図示しない不揮発性の記憶手段に転送
され、撮影画像のデータファイルとして記録される。

【００７７】上述においては、圧縮符号化の制御パラメ
ータとして量子化値配列をスケーリング値で間接的に制
御する例を説明したが、CPUなどの制御手段によって、
圧縮符号化シーケンスに先立ち、量子化値テーブルの量
子化値配列自体を直接に設定し直すことでSN比を制御し
てもよい。

【００７８】また、上述においては、一回目の圧縮符号
化によって得られるSN比psnr1から、二回目の圧縮符号
化用のスケーリング値fq2を予測する例を示したが、比
較的小さなスケーリング値および比較的大きなスケーリ
ング値を用いて、連続的に二回の圧縮符号化処理を行
い、図7に示すスケーリング値とSN比との関係を示す曲
線上の二点を得て、二係数による関数式で曲線を近似し
て所望のSN比を得るための、より正確なスケーリング値
を予測し算出することも可能である。

【００７９】また、圧縮符号化された画像データを伸長
復号して再生データを生成する場合に、図示しないCPU
などの制御手段によって予めデータスイッチ42をB側
（可変長復号部8側）に接続して、圧縮符号化データ領
域1c→データ読出部24→可変長復号部8→データ転送部3
3→データスイッチ42→逆量子化部9→データ転送部34→
逆方向直交変換部13→データ書込部22→再生画像データ
領域1bのデータパスを構成して、伸長復号処理を行うこ
とが可能である。

【００８０】

【第2実施形態】以下、本発明にかかる第2実施形態の画
像処理装置を説明する。なお、本実施形態において、第
1実施形態と略同様の構成については、同一符号を付し
て、その詳細説明を省略する。

【００８１】［データ長制御］図8はディジタルカメラ
に搭載される圧縮符号化部の構成例を示すブロック図で
ある。図8に示す圧縮符号化部は、図1に示した圧縮符号
化部と同様に、スケーリング値というパラメータを変え
ることで、間接的に量子化値配列の個々の量子化値を変
更しながら、所望するデータ長の圧縮データを得るもの
である。

【００８２】図1に示した圧縮符号化部は、二回目以降
の圧縮符号化においても順方向直交変換部102を動作さ
せて直交変換係数を演算する必要がある。これに対し
て、図8に示す圧縮符号化部おいては、一回目の圧縮符
号化で演算される直交変換係数は、データスイッチ141
を介して量子化部103へ順次供給されるとともに、バッ
ファメモリ101の直交変換係数領域101dに格納される。
従って、二回目以降の圧縮符号化においては、直交変換
係数領域101dに格納された直交変換係数を再利用するこ
とができる。つまり、二回目以降の圧縮符号化において
は、数値演算回数が最も多い直交変換を省くことがで
き、圧縮符号化が二回以上繰り返される場合に圧縮符号
化処理を高速化することができる。

【００８３】［構成］図9は本発明を適用したディジタ
ルカメラの画像圧縮符号化部および伸長復号部の第2実
施形態を示すブロック図である。図4に示す構成に比べ
て、一回目の圧縮符号化で演算された直交変換係数を再
利用するための構成、つまり、直交変換係数領域1d、デ
ータ書込部25、データ読出部26、差分器16、データスイ
ッチ41および43が追加されている。

【００８４】また、図4に示した符号化歪み計測部15
は、圧縮符号化前の撮影データと、伸長復号された再生
データとから符号化歪みを計測する。これに対して、第
2実施形態においては、順方向直交変換部2により演算さ
れた、または、直交変換係数領域1dに格納された量子化
前の直交変換係数と、逆量子化により得られる直交変換
係数との差分を差分器16によって求め、その差分を逆方
向直交変換した結果を符号化歪み計測部15へ供給するこ
とにより、符号化歪みが計測される。

【００８５】上記の構成の違いにより、図5に示した圧
縮符号化処理にも若干の違いが生じる。つまり、ステッ
プS102におけるデータスイッチの設定は、一回目の圧縮
符号化においてはデータスイッチ41から43はすべてA側
（順方向直交変換部2、量子化部3および差分器16側）に
セットされ、二回目以降の圧縮符号化においてはデータ
スイッチ41がB側（直交変換係数領域1d側）にセットさ
れる。

【００８６】さらに、差分器16の動作によりステップS1
05の処理にも違いが生じる。

【００８７】差分器16は、具体的には、データスイッチ
41経由で順次供給される直交変換係数と、逆量子化部9
から順次供給される直交変換係数との差分を順次算出
し、その差分を逆方向直交変換部13に順次出力する。こ
の動作は、一画面分の画像データの処理が終了するまで
繰り返される。なお、差分器16が行う演算は、入力され
る直交変換係数をS(u,v)と、同じく入力される逆量子化
により得られた直交変換係数をR(u,v)とから差分値D(u,
v)を得る単純な減算である。 D(u,v) = S(u,v) - R(u,v) …(4)

【００８８】また、逆方向直交変換部13は、差分器16か
ら順次供給される直交変換係数の差分値D(u,v)を、8×8
個の二次元配列に並べ直した後、圧縮符号化の際に用い
られた二次元直交変換の逆方向変換を行い、圧縮符号化
誤差を示すブロック単位のデータを順次生成する。この
動作は、一画面分の画像データの処理が終了するまで繰
り返される。

【００８９】逆方向直交変換部13による逆方向変換によ
って得られる圧縮符号化誤差を示すブロック単位のデー
タd(x,y)は、離散コサイン変換を例にすれば(5)式で表
される。なお、(5)式における一つ目のΣ演算の範囲はu
=0からu=7まで、二つ目のΣ演算の範囲はv=0からv=7ま
である。ただし、u, v = 0の場合はCu, Cv = 1/√2 u, v ≠0の場合はCu, Cv = 1 (5)式において、差分値D(u,v)は、直交変換係数S(u,v)
と逆量子化によって得られる直交変換係数R(u,v)との差
として表すことができるから、(5)式は次のように変換
できる。 (6)式の第1項は、逆直交変換における精度落ちがなけれ
ば直交変換前の撮影データそのものs(x,y)を表し、第2
項は再生データr(x,y)を生成する本来の逆方向直交変換
の定義式である。従って、逆方向直交変換部13の逆方向
直交変換によって得られる圧縮符号化誤差を示すブロッ
ク単位のデータd(x,y)は、(7)式に示すように、撮影デ
ータと局所再生データとの対応する画素間の差分値を示
す。 d(x,y) = s(x,y) - r(x,y) …(7)

【００９０】圧縮符号化歪み測定部15は、順次供給され
る圧縮符号化誤差を示すブロック単位のデータを用い
て、圧縮符号化歪みを順次計測する。この動作は、一画
面分の画像データの処理が終了するまで繰り返される。

【００９１】圧縮符号化歪み測定部15は、上述したよう
に、撮影データs(x,y)および再生データr(x,y)の間で、
(1)式に示すように、空間座標系で対応する画素間の差
分二乗和の平均値を順次累積加算するものである。従っ
て、第2実施形態においては、(8)式に示すように、圧縮
符号化誤差を示すブロック単位のデータd(x,y)の二乗和
の平均値を順次累積加算すればよい。そして、一画面分
の画像データの処理が終了した時点で、圧縮符号化歪み
測定部15に格納される値は、前述した(2)式で表される
平均自乗誤差MSEになる。 Σ|s(x,y) - r(x,y)|²/64 = Σ|d(x,y)|²/64 …(8)

【００９２】また、圧縮符号化された画像データを伸長
復号して再生データを生成する場合に、図示しないCPU
などの制御手段によって予めデータスイッチ42をB側
（可変長復号部8側）へ、データスイッチ43をB側（逆量
子化部9側）へ接続して、圧縮符号データ領域1c→デー
タ読出部24→可変長復号部8→データ転送部33→データ
スイッチ42→逆量子化部9→データ転送部34→データス
イッチ43→逆方向直交変換部13→データ書込部22→再生
画像データ領域1bのデータパスを構成して、伸長復号処
理を行うことが可能である。

【００９３】以上説明したように、上述した各実施形態
によれば、最小限の構成を追加することにより、撮影さ
れ圧縮符号化される画像データの圧縮符号化歪みを計測
する。この計測の影響により、圧縮符号化の処理速度が
低下することはない。そして、計測される圧縮符号化歪
みに基づき、量子化値配列、あるいは、そのスケーリン
グ値を制御して、圧縮符号化歪みが許容範囲に収まるよ
うに画像データを圧縮符号化する。従って、空間周波数
の高域成分が比較的多く含まれる画像データ、すなわち
エントロピが高い画像データにおいて、より多くの情報
量を削減してしまう圧縮符号化の問題を避けることがで
きる。

【００９４】さらに、SN比の許容範囲を複数設けて、そ
の中からユーザによって選択された許容範囲に収まる圧
縮データを生成することも容易である。複数のSN比の許
容範囲と圧縮符号化モードの画質の高低とを対応させる
ことにより、従来はあいまいであった高画質撮影モード
などの意味を、SN比で何デシベル以上というように明確
にユーザに提示できる効果もある。

【００９５】また、第2実施形態によれば、一回目の圧
縮符号化の際にバッファメモリに格納された直交変換係
数を用いてSN比の算出および二回目以降の圧縮符号化を
行うので、SN比の算出および圧縮符号化を高速に行うこ
とができる。

【００９６】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機、ファクシミリ
装置など）に適用してもよい。

【００９７】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００９８】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００９９】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図5に示すフローチャー
トに対応するプログラムコードが格納されることにな
る。

【０１００】

【発明の効果】以上説明したように、本発明によれば、
量子化された画像データの歪みを所定範囲内に収めるこ
とができる。例えば、ディジタルカメラなどにおいて、
撮影された画像データに含まれる空間周波数成分の分
布、偏り、または、情報量に影響されずに、圧縮符号化
された画像データの圧縮符号化歪み、すなわち撮影画像
データと再生画像データとのSN比を所定範囲に収めるこ
とができる。

【０１０１】また、前記歪みの計測にかかる時間が、量
子化処理時間に与える影響を最小限にすることができ
る。

【０１０２】さらに、最小限の構成の追加により前記歪
みを計測することができる。

【図面の簡単な説明】

【図１】ディジタルカメラに搭載される圧縮符号化部の
構成例を示すブロック図、

【図２】スケーリング値と圧縮データ列のデータ長との
関係を示す図、

【図３】スケーリング値とSN比との関係を示す図、

【図４】第1実施形態のディジタルカメラの画像圧縮符
号化部および伸長復号部の実施形態を示すブロック図、

【図５】図4に示す圧縮符号化部による圧縮符号化処理
を示すフローチャート、

【図６】量子化値テーブルの量子化値配列の一例を示す
図、

【図７】スケーリング値とSN比との関係を示す図、

【図８】ディジタルカメラに搭載される圧縮符号化部の
他の構成例を示すブロック図、

【図９】第2実施形態のディジタルカメラの画像圧縮符
号化部および伸長復号部の実施形態を示すブロック図で
ある。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 MA21 MC11 ME01 PP16 SS14 SS20 TA48 TB08 TC03 TD06 TD12 UA38 5C078 BA42 DB07 9A001 BB02 BB03 BB04 DD09 EE02 EE04 EE05 GG05 GG16 HH24 HH27 HH28 JJ71 KK42 KK62

Claims

【特許請求の範囲】

【請求項１】撮影された画像データを少なくとも一画
面分記憶する第一の記憶手段から所定画素サイズのブロ
ック単位に画像データを読み出し、読み出した画像デー
タを順方向に直交変換し、得られた直交変換係数を量子
化する量子化手段と、量子化された直交変換係数を逆量子化および逆方向に直
交変換して再生される画像データの歪みを計測する計測
手段と、計測された歪みに基づき、前記量子化手段による量子化
を制御する制御手段とを有することを特徴とする画像処
理装置。
【請求項２】前記制御手段は、計測された歪みが所定
範囲内に収まるまで、前記一画面分の画像データに対す
る量子化を繰り返すことを特徴とする請求項1に記載さ
れた画像処理装置。
【請求項３】前記制御手段は、計測された歪みに基づ
き前記量子化手段が使用する量子化値配列を制御して、
前記量子化を繰り返させることを特徴とする請求項2に
記載された画像処理装置。
【請求項４】前記制御手段は、前記量子化値配列の各
量子化値にスケーリング値を乗じることにより、前記量
子化値配列を制御することを特徴とする請求項3に記載
された画像処理装置。
【請求項５】さらに、前記順方向の直交変換によって
生成される直交変換係数を記憶する第二の記憶手段を有
し、前記量子化の繰り返しにおいては、前記第二の記憶手段
に記憶された直交変換係数が利用されることを特徴とす
る請求項2から請求項4の何れかに記載された画像処理装
置。
【請求項６】前記計測手段は、前記第一の記憶手段か
ら読み出される画像データと、前記逆量子化および逆方
向の直交変換により得られる画像データとから歪みを計
測することを特徴とする請求項1から請求項5の何れかに
記載された画像処理装置。
【請求項７】前記計測手段は、量子化前の直交変換係
数と、逆量子化により得られる直交変換係数との差分を
逆方向に直交変換することで歪みを計測することを特徴
とする請求項1から請求項5の何れかに記載された画像処
理装置。
【請求項８】さらに、前記量子化手段により量子化さ
れた直交変換係数を可変長符号化する符号化手段を有す
ることを特徴とする請求項1から請求項7の何れかに記載
された画像処理装置。
【請求項９】さらに、前記歪みの許容範囲を設定また
は選択する手段を有することを特徴とする請求項2から
請求項8の何れかに記載された画像処理装置。
【請求項１０】撮影された画像データを少なくとも一
画面分記憶する第一の記憶手段から所定画素サイズのブ
ロック単位に画像データを読み出し、読み出された画像データを順方向に直交変換して、直交
変換係数を生成し、生成された直交変換係数を量子化し、量子化された直交変換係数を逆量子化および逆方向に直
交変換して再生される画像データの歪みを計測し、計測された歪みに基づき、前記量子化手段による量子化
を制御することを特徴とする画像処理方法。
【請求項１１】計測された歪みが所定範囲内に収まる
まで、前記一画面分の画像データに対する量子化を繰り
返すことを特徴とする請求項10に記載された画像処理方
法。
【請求項１２】前記量子化の繰り返しにおいて、計測
された歪みに基づき前記量子化に使用する量子化値配列
を制御することを特徴とする請求項11に記載された画像
処理方法。
【請求項１３】前記量子化値配列は、その量子化値に
スケーリング値が乗じられることにより制御されること
を特徴とする請求項12に記載された画像処理方法。
【請求項１４】さらに、前記順方向直交変換によって
生成される直交変換係数を第二の記憶手段に記憶させ、前記量子化の繰り返しにおいては、前記第二の記憶手段
に記憶された直交変換係数を利用することを特徴とする
請求項11から請求項13の何れかに記載された画像処理方
法。
【請求項１５】前記歪みの計測は、前記第一の記憶手
段から読み出される画像データと、前記逆量子化および
逆方向の直交変換により得られる画像データとから計測
されることを特徴とする請求項10から請求項14の何れか
に記載された画像処理方法。
【請求項１６】前記歪みの計測は、量子化前の直交変
換係数と、逆量子化により得られる直交変換係数との差
分を逆方向に直交変換することで計測されることを特徴
とする請求項10から請求項14の何れかに記載された画像
処理方法。
【請求項１７】さらに、量子化された直交変換係数を
可変長符号化することを特徴とする請求項10から請求項
16の何れかに記載された画像処理方法。
【請求項１８】画像処理のプログラムコードが記録さ
れた記録媒体であって、前記プログラムコードは少なくとも、撮影された画像データを少なくとも一画面分記憶する第
一の記憶手段から所定画素サイズのブロック単位に画像
データを読み出すステップのコードと、読み出された画像データを順方向に直交変換して、直交
変換係数を生成するステップのコードと、生成された直交変換係数を量子化するステップのコード
と、量子化された直交変換係数を逆量子化および逆方向に直
交変換して再生される画像データの歪みを計測するステ
ップのコードと、計測された歪みに基づき、前記量子化手段による量子化
を制御するステップのコードとを有することを特徴とす
る記録媒体。