JP2938875B2 - 画像信号の圧縮記録装置および伸長再生装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は画像信号の圧縮記録装置および伸長再生装置
に関し、特に撮像された画像信号のデータを圧縮して記
録媒体に記録する圧縮記録装置と、記録媒体から圧縮さ
れたデータを読み出して伸長し、撮像された画像を再生
する伸長再生装置に関する。

背景技術 例えばCCD等の固体撮像装置により撮像された画像信
号をメモリカード、磁気ディスク等の記憶装置に記憶す
る場合には、記憶装置の容量を考慮し、画像信号のデー
タを小さな容量に圧縮することが必要である。このよう
な、画像データの圧縮の方法としては例えば直交変換符
号化が知られている。この方法は次のようなものであ
る。

まず、画像信号の表す画像を所定の数のブロックに分
割し、分割されたブロックごとの各画素のデータを直交
変換する。

画像信号においては、低周波成分が電力的に大きな成
分を占めている。一方、高周波成分は電力的には大きく
ないが、情報的には意味が大きい。また、視覚的にもこ
れらに対する特性は異なる。そこで画像信号をこのよう
な低周波成分および高周波成分に変換して、それぞれの
成分に適した量子化を行い、符号化してメモリカード等
の記憶装置に記憶する。再生側では記憶装置から読み出
した符号化された信号を逆変換して元の信号を得る。こ
のようにすれば、効率的な信号化を行うことができる。

ところで直交変換符号化においては、例えば作成する
ブロックのサイズを設定してブロック化し、これにより
ブロック化されたデータを直交変換した後、係数切り捨
てを行う係数切り捨て閾値を設定して画像データからこ
の閾値を減算することにより、閾値以下のデータを除去
する係数切り捨てを行う。さらに、係数切り捨てを行わ
れたデータに対して所定のステップ幅を設定し、このス
テップ幅によって係数量子化を行う。すなわち、画像デ
ータの最大値または平均値によりダイナミックレンジを
設定し、このダイナミックレンジに画像データを納める
ようにする。さらに、量子化して得られた画像データの
周波数分布に応じたルックアップテーブルにより符号化
を行う。なお、このルックアップテーブルは画像の周波
数分布によらない一定のものでもよい。

したがってこのようにして符号化され、記憶装置に記
憶された画像データを再生する場合には、画像データの
記憶の時に設定されたブロックのサイズ、係数切り捨て
閾値、係数量子化のステップ幅、ルックアップテーブル
等のデータが画像データとともに必要である。このた
め、記憶装置にこれらのデータを記憶することが要求さ
れる。

目 的 本発明はこのような要求に鑑み、画像データを圧縮符
号化して記憶装置に記憶する場合に、圧縮符号化のため
の各種の設定データを画像データとともに記憶装置に記
憶させる画像信号の圧縮記録装置、およびこのように記
憶された画像データを再生する画像信号の伸長再生装置
を提供することを目的とする。

発明の開示 本発明によれば、画像信号を受けて、画像信号の画像
データを圧縮符号化して記録媒体に記録する画像信号の
圧縮記録装置は、画像信号の画像データを圧縮符号化す
る圧縮符号化手段と、圧縮符号化手段により画像データ
を圧縮符号化するための圧縮符号化データを設定する符
号化データ設定手段と、圧縮符号化手段により圧縮符号
化された画像データおよび符号化データ設定手段により
設定された符号化データを記録媒体に書き込むデータ書
き込み手段とを有し、データ書き込み手段は、圧縮符号
化された画像データおよび圧縮符号化のための符号化デ
ータをそれぞれ記録媒体の異なる領域に書き込むもので
ある。

実施例の説明 次に添付図面を参照して本発明による画像信号の圧縮
記録装置および伸長再生装置の実施例を詳細に説明す
る。

第１図には本発明による画像信号の圧縮記録装置をデ
ジタル電子スチルカメラに適用した一実施例が示されて
いる。なお、本発明の説明に直接関係のないカメラの他
の部分、例えばシャッタ、絞り、フイルム等の機構は図
示を省略している。

本装置はマスターレンズ12を有し、マスターレンズ12
の後方にはマスターレンズ12により捕えられた被写体の
光学像を光信号から映像信号に変換する撮像デバイス14
が配置され、撮像デバイス14の表面には色フィルタ16が
設けられている。色フィルタ16は、同期信号発生回路34
から信号線120を通して送られる同期信号に応動して被
写体の光学像を光信号から映像信号に変換する。

撮像デバイス14により得られた画像信号は、信号線10
2を通してAD変換回路18に送られる。AD変換回路18は撮
像デバイス14から送られる画像信号をデジタル信号に変
換する。なお、撮像デバイス14とAD変換回路18との間に
は、図示しないが、ガンマ補正や、ホワイトバランス処
理の手段を挿入してもよい。AD変換回路18においてデジ
タル信号に変換されたカラー画像信号は、信号線104を
通して前処理回路106に送られ、例えば撮像デバイス14
に設けられた色フィルタ16の配列に対応して入力される
Ｒ、Ｇ、Ｂ信号から輝度、色差信号などへ変換され、信
号線108を通してブロック化回路22に送られる。前処理
回路106は必要に応じて設ければよい。

ブロック化回路22は前処理回路106から入力されるRGB
または輝度、色差信号の成分の画素により構成される画
像信号をそれぞれ所定の数のブロックに分割するブロッ
ク化を行う。ブロック化は、例えば第3A図に示すような
画像60を第3B図に示すような複数の領域62、62、62…、
すなわちブロックに分割するものである。第3B図に示さ
れる１のブロック62は、例えば16x16＝256個の画素によ
り構成されるものが好ましいが、画像信号を構成する画
素数に応じて所定の数の画素から構成されるブロックと
すればよい。

ブロック化回路22においてブロック化された画像信号
は、信号線110を通して直交変換回路24に入力される。
直交変換回路24はブロック化された画素信号に対し、各
ブロックごとに直交変換を行う。各ブロックの画素信号
は、直交変換前には例えば第4A図に示すように、それぞ
れの画素のレベルの値を有している。同図の例において
は、最も上の最も左の画素はデジタルデータにおいて12
0のレベルであり、その右の画素は127のレベル、３番目
の画素は108のレベルを有し、また上から２番目の最も
左の画素は107のレベル、その右の画素は120のレベルで
ある。

これを直交変換すると、例えば第4B図に示すようなデ
ータが得られる。直交変換としては、アダマール変換、
コサイン変換、フーリエ変換等が知られている。直交変
換を行われた第4B図のようなデータは、横軸方向に元の
画面の水平方向の周波数成分、縦軸方向に元の画面の垂
直方向の周波数成分が対応している。また、データの配
列において、左上方ほど低周波数成分のデータが配置さ
れ、右方または下方へいくにつれて高周波数成分のデー
タ、すなわち隣接する画素との差分値の大きいデータが
配置されている。

一般の画像は先にも述べたように、低周波成分は電力
的に大きな成分を占め、高周波成分は小さな成分しかあ
らわれないため、第4B図に示すような直交変換後のデー
タは、左上方部に大きい値が現れ、右方および下方にい
くにつれて小さい値となる。

直交変換回路24において直交変換された信号は、信号
線220を通して係数切り捨て回路204に送られる。係数切
り捨て回路204には信号線232を通して画品質選択回路20
2から係数切り捨て閾値のデータが送られる。画品質選
択回路202は、操作者が図示しない画品質設定手段によ
り設定した画品質に応じて係数切り捨て閾値を係数切り
捨て回路204に出力する。

係数切り捨て回路204は、直交変換回路24から入力さ
れた画像データを係数切り捨て閾値と比較し、画像デー
タが閾値よりも小さい場合にはこれを０とし、閾値より
も大きい場合には画像データから閾値を減算する。すな
わち、設定された閾値によって画像データをカットする
ことにより、小さな値のデータを除去する。係数切り捨
て回路204の出力は信号線222を通して係数量子化回路20
6に送られる。係数量子化回路206には、画品質選択回路
202から信号線234を通してステップ幅のデータが送られ
る。画品質選択回路202は、操作者が図示しない画品質
設定手段により設定した画品質に応じてステップ幅のデ
ータを係数量子化回路206に出力する。

係数量子化回路206は画品質選択回路202から信号線23
4を通して送られる量子化ステップ幅によって画像デー
タを量子化する。すなわち、画像データに大きい値のデ
ータがある場合に、最大値または平均値のデータを基準
にしてダイナミックレンジを設定する。このように量子
化された係数量子化回路206の出力は信号線226を通して
符号化回路26に送られる。符号化回路26はルックアップ
テーブル38から信号線138を通して送られる符号化のた
めのデータにより、入力される画像データを符号化す
る。

符号化は、例えば入力される画像データが第4B図に示
されるような行列データである場合に、各データに所定
のビット数を割り当てて行う。例えば第4C図に示すよう
なビット数を割り当て、第4B図のデータ200には８ビッ
トを、データ150、130、150には６ビットを、データ10
0、90、40、70、80には４ビットを、データ50、50、1
0、５、10、60、20には２ビットを、それぞれ割り当
て、これらのデータを符号化する。これらのデータより
も右方および下方に配置されたデータにはビット数を割
り当てない。すなわち、直交変換等の処理を施されたデ
ータにおいて所定の範囲よりも右または下に配置された
データは無視し、記憶しない。

このように低周波数成分のみを記憶し、高周波数成分
を無視する理由は、一般の画像において、大部分が低周
波数成分であるため、高周波数成分を無視しても画像を
おおむね再現できるからである。

符号化は、分割されたブロックのそれぞれの絵柄に応
じてルックアップテーブル38から符号化のためのデータ
を符号化回路26に読み出し、各ブロックの絵柄に応じた
符号化を行う。すなわちそのブロック内において変化の
多い絵柄は多くのビットを割り当て、変化の少ない絵柄
は少ないビットを割り当てる。

符号化回路26において符号化されたデータは、信号線
228を通してコネクタ30に出力され、コネクタ30に接続
されたメモリ32に記憶される。メモリ32は例えば半導体
メモリなどがカード状の基板上に実装されたいわゆるメ
モリカード等が有利に用いられ、符号化されたスチル画
像が記憶される。

コネクタ30にはまた、画品質選択回路202から信号線2
38を通して係数切り捨て閾値および均一量子化のための
ステップ幅のデータが、ルックアップテーブル38から信
号線240を通して符号化のためのルックアップテーブル
データが、それぞれ送られ、これらのデータもメモリ32
に記憶される。

同期信号発生回路34は、制御部36から信号線126を通
して送られる制御信号により、同期信号を発生し、信号
線120によりイメージセンサ16へ、信号線122によりAD変
換回路18へ、それぞれ信号を出力する。

制御部36は本装置の各機能部を制御する制御部であ
り、信号線126を通して同期信号発生回路34へ、信号線1
28によりブロック化回路22へ、信号線130により直交変
換回路24へ、信号線132により符号化回路26へ、信号線1
36によりルックアップテーブル38へ、信号線230により
画品質選択回路202へ、信号線236により前処理回路106
へ、それぞれ制御信号を出力し、各部の動作を制御す
る。制御部36はまた、信号線244を通してコネクタ30に
書き込みのための制御信号を送り、コネクタ30に送られ
る各データをそれぞれメモリ32の所定のアドレスに記録
させる。

本装置の動作を説明する。

マスターレンズ12により捕えられた被写体の光学像は
撮像デバイス14により光信号から映像信号に変換され、
信号線102を通してAD変換回路18に送られる。映像信号
はAD変換回路18においてデジタル信号に変換され、信号
線104を通してブロック化回路22に送られる。ブロック
化回路22に入力された画像データはブロック化回路22に
おいて前記のようにブロック化され、信号線108を通し
て直交変換回路24に送られ、直交変換回路24において前
記のようにブロックごとに直交変換され、直交変換され
たデータが信号線220を通して係数切り捨て回路204に送
られる。

係数切り捨て回路204に送られたデータは、係数切り
捨て回路204において係数切り捨て閾値と比較され、閾
値を越える値を切り捨てられる。係数切り捨てを行われ
たデータは係数量子化回路206に送られ、係数量子化回
路206においてステップ幅により均一量子化される。均
一量子化されたデータは符号化回路26に送られ、ルック
アップテーブルデータによって符号化され、信号線228
を通してコネクタ30に送られる。

符号化回路26からコネクタ30に送られた画像データは
制御部36から信号線244を通して送られる制御信号によ
り、メモリ32の所定のアドレスに記憶される。例えば第
５図に示すようにメモリ32のブロックの領域に、符号化
回路26から出力されるブロック化されたｎ個の各画像デ
ータが記憶される。

また、画品質選択回路202から送られる係数切り捨て
閾値および均一量子化のためのステップ幅のデータ、ル
ックアップテーブル38から送られる符号化のためのルッ
クアップテーブルデータも、同様に制御部36から信号線
244を通して送られる制御信号により、メモリ32の所定
のアドレスに記憶される。例えば第５図に示すようにメ
モリ32のヘッダーの領域に、係数切り捨て閾値、ステッ
プ幅、ビット割当情報が順次記憶される。

このようにして電子スチルカメラにより撮影されたス
チル画像のデータが圧縮符号化データとともに、メモリ
カード等のメモリ32に記憶される。

第２図には第１図の電子スチルカメラにより撮影さ
れ、メモリ32に記憶された画像を再生する再生装置の例
が示されている。

この再生装置はメモリ32が接続されるコネクタ40を有
する。コネクタ40には信号線142が接続されている。メ
モリ32に記憶された画像データは、制御部56から信号線
270を通して送られる制御信号により指定されたメモリ3
2のアドレスからコネクタ40に読み出され、信号線142を
通して復号化回路44に入力される。また、メモリ32に記
憶された圧縮符号化データは、同様に制御部56から信号
線270を通して送られる制御信号によってそれぞれ指定
されたメモリ32のアドレスからコネクタ40に読み出さ
れ、信号線272を通して復号化回路44に、信号線276を通
して係数加算回路252に、それぞれ送られる。

復号化回路44は入力されたデータを復号化し、例えば
第4C図に示すような入力データから第4B図に示すような
データを得る。復号化回路44により復号化されたデータ
は信号線260を通して係数加算回路252に入力され、係数
加算回路252において係数を加算される。これは第１図
の係数切り捨て回路において切り捨てられた係数切り捨
て閾値を画像データに加算し、画像データを元の値に戻
すものである。

係数加算されたデータは、信号線264を通して直交逆
変換回路46に入力され、直交逆変換回路46において直交
逆変換される。直交逆変換された各ブロックのデータは
信号線146を通して一画面分のメモリから構成されるブ
ロック合成回路48に送られ、各ブロックのデータが合成
され、元の画像のデータが作成される。ブロック合成回
路48で合成されたデータは、信号線150を通して後処理
回路250に送られる。後処理回路250は、第１図に示す記
録装置において前処理回路106によって前処理が行われ
ない態様にあっては画像データをRGB信号またはNTSC信
号などに変換する。画像データは後処理回路250を通し
た後、信号線152を通してDA変換回路52に送られ、DA変
換回路52においてアナログ信号に変換され、信号線152
を通してCRT54に出力され、メモリ32に記憶されたカラ
ー画像がCRT54の画面に再生される。

制御部56は再生装置の各機能部を制御する制御部であ
り、信号線156により復号化回路44へ、信号線266により
後処理回路250へ、信号線268により係数加算回路252
へ、信号線158により直交逆変換回路46へ、信号線160に
よりブロック合成回路（一画面分のメモリ）48へ、信号
線164によりDA変換回路52へ、それぞれ制御信号を出力
し、各部の動作を制御する。制御部56はまた、信号線27
0を通してコネクタ40に読み出しのための制御信号を送
り、メモリ32の所定のアドレスに記録された画像データ
および圧縮符号化データをそれぞれコネクタ40に読み出
す。

次に再生装置の動作を説明する。

メモリ32が再生装置に装着されると、メモリ32の所定
のアドレスに記憶された画像データは制御部56からの制
御信号によりコネクタ40に読み出され、信号線142を通
して復号化回路44に入力される。すなわち、第５図のブ
ロックの領域に記憶された各ブロックの画像データがコ
ネクタ40に読み出され、復号化回路44に入力される。ま
た、第５図に示すメモリ32のヘッダーの所定のアドレス
に記憶された圧縮符号化データも制御部56からの制御信
号によりコネクタ40に読み出され、符号化のためのルッ
クアップテーブルデータは信号線272を通して復号化回
路44に、係数切り捨て閾値データは信号線276を通して
係数加算回路252に、それぞれ入力される。

復号化回路44に入力された画像データは、信号線272
を通して復号化回路44に送られた符号化のためのルック
アップテーブルデータを用いて復号化され、信号線260
を通して係数加算回路252に入力される。なお、復号化
された画像データは、係数加算回路252に入力される前
に、図示しない係数逆量子化回路において逆量子化を行
われる。この逆量子化はメモリ32から読み出された正規
化係数のデータを用いて行われる。

係数加算回路252に入力された画像データは、信号線2
76を通して係数加算回路252に送られる係数切り捨て閾
値データを用いて、閾値を加算される。閾値を加算され
た画像データは、信号線264を通して直交逆変換回路46
に送られる。直交逆変換回路46に入力されたデータは直
交逆変換され、ブロックごとのデータが得られる。信号
線146を通してブロック合成回路48に送られたブロック
ごとのデータは、ブロック合成回路48において合成さ
れ、信号線150を通してDA変換回路52に送られ、DA変換
回路52においてアナログ信号に変換され、信号線152を
通してCRT54に送られ、CRT54の画面に元のスチル画像が
再生表示される。

上記のように第１図の電子スチルカメラによれば、撮
像デバイス14で撮像された画像はブロック化され、各ブ
ロックごとに直交変換され、係数切り捨て、係数量子化
および符号化が行われてメモリ32に記憶される。したが
って、画像データを圧縮してメモリ32に記憶するから、
小さな容量のメモリ32に多くの画像データを記憶するこ
とができる。

第１図の装置によれば、直交変換されたデータの符号
化において、設定された閾値によって係数切り捨てを行
い、設定されたステップ幅によって係数量子化を行って
いるから、操作者の所望の画質となるように画像データ
を符号化することができる。係数切り捨てされた画像デ
ータは、設定された正規化係数によって量子化されるか
ら、ダイナミックレンジを適切にすることができ、デー
タのオーバーフローが生じない。また、ブロック化され
た各ブロックの絵柄ごとに異なるルックアップテーブル
を用いて符号化を行うから、絵柄に応じたビット数で、
記憶すべきデータを作成できる。したがって、データの
圧縮率を高め、符号化効率を向上させることができる。

第１図の装置によれば、上記の係数切り捨て閾値、係
数量子化ステップ幅、ルックアップテーブルの各データ
をメモリ32に記憶するから、メモリ32に記憶されたこれ
らのデータを用いて、第２図に示すような再生装置によ
って画像データの伸長復号化を行うことができる。

第２図の再生装置によれば、メモリ32の画像データを
記憶するアドレスと異なるアドレスに上記の符号化のた
めの各データを記憶させるから、第２図の再生装置によ
り再生を行う場合に、これらの各データを読み出すこと
により第１図の装置により行われた符号化に応じて復号
化を行うことができる。

上記の実施例においては、画像信号を直交変換して符
号化する装置および符号化された画像の再生装置につい
て説明したが、本発明は直交変換以外の方法によって画
像データを圧縮符号化する装置および再生装置について
も適用できる。したがって、メモリに記憶される圧縮符
号化のための各種のデータも上記のデータに限らず、各
種のデータを用いることができる。

また、上記の実施例の記録装置は電子スチルカメラに
適用した装置を説明したが、本発明は電子スチルカメラ
に限られず、画像データを直交変換符号化する必要のあ
る各種装置に適用できるものである。

効 果 本発明によれば、画像信号を圧縮符号化して記録媒体
に記憶させることができるから、小さな記憶容量の記録
媒体に多くの画像信号を記憶させることができる。しか
も、圧縮符号化において設定された各種の圧縮符号化デ
ータを記録媒体の画像信号を記憶する領域と異なる領域
に記憶させておくから、再生時にはこのデータを読み出
すことにより、圧縮符号化された画像信号を適切に伸長
復号化することができる。

【図面の簡単な説明】

第１図は本発明による画像信号の圧縮記録装置をデジタ
ル電子スチルカメラに適用した一実施例を示すブロック
図、 第２図は本発明による画像信号の伸長再生装置の一実施
例を示すブロック図、 第3A図はブロック化される前の画像の一例を示す図、 第3B図は画像をブロック化する例を示す図、 第4A図は１のブロックの画素データの例を示す図、 第4B図は第4A図の画素データを直交変換したデータの例
を示す図、 第4C図は第4B図のデータの符号化において割り当てるビ
ット数の例を示す図、 第５図は第１図の装置により画像信号を記録する記録媒
体の記憶内容の例を示す図である。 主要部分の符号の説明 14……撮像デバイス 18……AD変換回路 22……ブロック化回路 24……直交変換回路 26……符号化回路 32……メモリ 44……復号化回路 46……直交逆変換回路 48……ブロック合成回路 52……DA変換回路 204……係数切り捨て回路 206……係数量子化回路 252……係数加算回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/92 H04N 7/13 G11B 20/10

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】画像信号の画像データを圧縮符号化して記
   録媒体に記録するデジタル電子スチルカメラにおける画
   像信号の圧縮記録装置において、該装置は、 撮像デバイスを有し、被写体を撮像して該被写体を表わ
   すＲ、Ｇ、Ｂ画像信号を点順次にて出力する撮像手段
   と、 該撮像手段により出力されたＲ、Ｇ、Ｂ画像信号をデジ
   タル形式のデータに変換して出力するアナログ・デジタ
   ル変換手段と、 該アナログ・デジタル変換手段により変換されたＲ、
   Ｇ、Ｂ画像信号データを画素ごとのＲ、Ｇ、Ｂ画像信号
   データまたは輝度、色差信号データに変換処理して出力
   する信号処理手段と、 該信号処理手段により変換処理されたＲ、Ｇ、Ｂ画像信
   号データまたは輝度、色差信号データを圧縮符号化する
   圧縮符号化手段を有し、 該圧縮符号化手段は、前記信号処理手段により変換処理
   された画像データをブロック化するブロック化手段と、
   該ブロック化手段によりブロック化された画像データを
   直交変換する直交変換手段と、該直交変換手段により直
   交変換された画像データをステップ幅により量子化する
   係数量子化手段と、該係数量子化手段により量子化され
   た画像データをルックアップテーブルにより符号化する
   符号化手段とを含み、 該装置はさらに、 前記ステップ幅のデータを設定する符号化データ設定手
   段と、 前記ルックアップテーブルのデータを設定するルックア
   ップテーブルデータ設定手段と、 前記記録媒体を挿抜可能に接続する接続手段と、 前記符号化手段により符号化された画像データ、前記符
   号化データ設定手段により設定されたステップ幅データ
   および前記ルックアップテーブルデータ設定手段により
   設定されたルックアップテーブルデータを該接続手段に
   転送するための信号線と、 書き込み制御信号を前記接続手段に転送するための制御
   線と、 該書き込み制御信号を形成し、該形成した書き込み制御
   信号により前記符号化手段により符号化された画像デー
   タ、前記符号化データ設定手段により設定されたステッ
   プ幅データおよび前記ルックアップテーブルデータ設定
   手段により設定されたルックアップテーブルデータを前
   記記録媒体に書き込むデータ書き込み手段とを有し、 該データ書き込み手段は、該形成した書き込み制御信号
   により前記符号化された画像データ、前記ステップ幅デ
   ータおよび前記ルックアップテーブルデータをそれぞれ
   前記記録媒体の異なる領域に書き込むことを特徴とする
   画像信号の圧縮記録装置。
2. 【請求項２】特許請求の範囲第１項記載の装置により記
   録された前記記録媒体が伸長再生装置の接続手段に挿入
   されたか否かを検出する検出手段と、 該検出手段が挿入されたことを検出したときに、読み出
   し制御信号を形成し、該形成した読み出し制御信号を制
   御線および該接続手段を介して該挿入された記録媒体に
   送り、該挿入された記録媒体から、前記符号化された画
   像データ、前記ステップ幅データおよび前記ルックアッ
   プテーブルデータを該接続手段および信号線を介してそ
   れぞれ読み出すデータ読み出し手段と、 該データ読み出し手段により該挿入された記録媒体から
   読み出された前記各々データを用いて前記符号化された
   画像データを伸長復号化する伸長復号化手段とを有し、 前記記録媒体に圧縮符号化されて記録された画像データ
   を伸長して再生する画像信号の伸長再生装置。