JP2000152170A - 映像信号記録再生装置及び映像信号記録再生方法 - Google Patents

Abstract

(57)【要約】 【課題】低い解像度の画像を、引き伸ばして大きな画面
サイズの静止画像を作成すると高い解像度に必要なデー
タが存在しないため、画面がぼけたり、ブロック模様な
どが生じて、画質が劣化する。 【解決手段】低解像度の静止画像を生成する際に、低解
像度の画像に必要な低周波成分のみを画像データとし、
低解像度の静止画に不要な部分の高周波成分を付属デー
タとして、静止画生成を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】映像信号を圧縮して記録する
映像信号記録装置と、その記録再生方法に関する。

【０００２】

【従来の技術】近年、静止画像を圧縮して、不揮発性メ
モリなどに記録する、いわゆるデジタルスチルカメラが
数多く製品化されている。撮影する静止画像の大きさ
も、パソコン画面のVGA(640x480画素)クラスに相当する
４０万画素程度の撮像素子を使用したものから、写真画
質と呼ばれる１００万画素を超えるXGA(1024*800)クラ
スの相当するものまで幅広い。静止画像の圧縮方式とし
ては、離散コサイン変換をベースにしたJPEG(Joint Pic
ture Experts Group)が国際規格として登録(ISO/IEC 10
918-1, 10918-2)されており、一般的に採用されてい
る。

【０００３】原理的には、レンズで集光された被写体像
を撮像素子で光電変換し、γ補正や自動ホワイトバラン
スなどのいわゆるカメラ信号処理を行い、JPEG方式で圧
縮し、不揮発性メモリなどに保存する。たとえば、１９
９７年１１月１９日付け、映像情報メディア学会報告(I
TE Technical Report Vol. 21, No.68, pp43-48, CE'97
-16)には、そのようなデジタルスチルカメラの構成、信
号処理技術が開示されている。

【０００４】また、ソフトバンク社発行のDOS/Vマガジ
ン、1998-4.1号、pp314-316には、100万画素を超えるデ
ジタルスチルカメラがいくつか紹介されている。このよ
うな高画素数のカメラでは、XGA(1280x960)クラスの解
像度と、VGAクラス(640x480)など複数の解像度を有し、
使用者の必要に応じて、解像度の選択を行う機能を提供
している。使用者は、高画質の静止画像が必要な場合
は、XGAくらいで、メモリ使用量を節約し、撮影枚数が
多く必要な場合は、VGAクラスでの撮影が可能となって
いる。

【０００５】パソコン上でも、静止画像をJPEG方式で圧
縮して、保存するソフトウェアが、広く用いられてい
る。このようなソフトウェアの一つとして、MGI社の画
像編集ソフトウェア「PhotoSuite」が有り、任意の解像
度での静止画作成や編集加工が可能となっている。

【０００６】

【発明が解決しようとする課題】たとえば、低い解像度
で静止画撮影を行い、該撮影画像を引き伸ばして大きな
画面サイズの静止画像を作成すると、大画面サイズに必
要な高解像度データが存在しないため、画面がぼけた
り、ブロック模様などが生じて、画質が劣化する。

【０００７】また、高い解像度で静止画が作成されてい
ても、パソコン上などでいったん低い解像度の静止画に
変換を行うと、高い解像度成分が削除されてしまうの
で、一般には元の高い解像度の静止画像に復元すること
はできない。

【０００８】記録時の解像度設定に依存せず、任意に拡
大縮小が可能な画像圧縮方法として、フラクタル理論を
応用した映像処理方法もあるが、一枚の静止画像を生成
するのに時間がかかる。特に、連続して撮影する場合が
多いカメラに応用するには実用的ではない。

【０００９】本発明の目的は、高い解像度と低い解像度
の静止画生成に加え、見かけ上は低解像度の画像を表示
しながら、高解像度画像に復元する必要な情報も保持し
た静止画生成が可能な映像信号記録再生装置を提供する
ことにある。

【００１０】本発明の他の目的は、低い解像度へ画像サ
イズを変換しても、元の高い解像度の静止画像を復元で
きるパソコン上のソフトウェア処理方法を提供すること
にある。

【００１１】

【課題を解決するための手段】これらの目的を達成する
ため、本発明では以下に記す手段で映像信号を生成す
る。

【００１２】まず、低解像度の静止画像を生成する際
に、高解像度の画像データをそのまま利用して周波数変
換と量子化までの圧縮作業を進め、その後、低解像度の
画像に必要な低周波成分のみを可変長符号化を行って画
像データとし、低解像度の静止画に不要な部分で、高解
像度の映像成分である高周波成分を前記画像データに付
随した情報として、JPEGファイル生成を行う。

【００１３】JPEG方式では、用途毎に自由に使用できる
領域が確保されているので、そこに別途保管した高周波
成分を挿入する。

【００１４】このようにして生成されたJPEGファイル
を、低解像度映像として再生するには、画像データの部
分のみを利用して、従来通り、伸張処理を行う。高解像
度映像を復元するためには、まず、画像データと、用途
毎に自由に使用できる領域に保存された高解像度データ
の双方を用いて伸張処理を行う。

【００１５】パソコン上でも、以上ハードウェア的に記
述された処理を、CPU内でソフトウェア処理することに
よって、同様の処理を実現することができる。

【００１６】

【発明の実施の形態】図１は本発明の一実施例を示すブ
ロック構成図である。

【００１７】１は映像信号記録再生装置の全体、２はレ
ンズ、３は撮像素子、４は相関二重サンプリング回路と
自動利得制御回路、５はアナログ・デジタル変換回路、
６はカメラ信号処理回路、７はシステムコントローラ、
８はJPEG圧縮伸張回路、９はメモリ回路、１０はモニタ
画面、１１はDRAM、１２は外部インターフェース回路、
１３は操作スイッチ類の総称である。

【００１８】レンズ２で集光された被写体像は、撮像素
子3上で結像する。該被写体像は、画素数S-XGA(1280x96
0画素)クラスの撮像素子３で光電変換され、サンプリン
グおよび自動利得制御回路５を経て、A/D変換回路６で
デジタル映像信号に変換される。該デジタル映像信号
は、カメラ信号処理回路６で、γ補正や自動ホワイトバ
ランス調整など周知の一連のカメラ信号処理を受けた
後、JPEG圧縮伸張回路８で圧縮され、不揮発性メモリ９
に記録される。DRAM11は、該JPEG圧縮の際に、作業スペ
ース用として使用される。

【００１９】図２を用いて、JPEG圧縮回路8内の構成と
動作を詳しく説明する。

【００２０】まず構成を説明する。２０は入力端子、２
１は離散コサイン変換回路、２２は量子化回路、２３は
データの並び換え回路、２４〜２６はハフマン符号化回
路、２７はJPEGシステムストリーム生成回路、２８は出
力端子である。

【００２１】次に信号の流れと動作を説明する。図１に
おいて、カメラ信号処理が終わった映像信号は、図２の
入力端子２０を介して、離散的コサイン変換回路２１へ
入力され、８x８画素単位のブロックに分けられた後、
ブロック毎に離散的コサイン変換(DCT)が行われる。DCT
後、量子化回路２２では、直流成分と交流成分に分け
て、量子化を行う。ここでは図示しないが量子化は、量
子化テーブルを参照しながら、輝度信号と色差信号で個
別に行われる。一般的に量子化では、高周波成分ほど、
大きな係数で量子化が行われるので、高い周波数ほど量
子化後のデータは０となる。

【００２２】量子化後、直流成分を先頭に、交流成分は
周波数の低い順に、図３に数字で示す順にジグザグ・ス
キャンによって並び替えられる。

【００２３】図１の映像信号記録再生装置で、高解像度
モードとして1280x960画素のJPEG画像の、低解像度モー
ドとして(640x480画素)のJPEG画像の撮影が可能となる
動作について説明する。

【００２４】まず、通常の高解像度、あるいは低解像度
のJPEG画像生成の場合を説明する。前記量子化された映
像信号は、ハフマン符号化回路24でハフマン符号に変換
される。ストリーム生成回路２８で、図６に示すデータ
の開始マーカー(SOI: Startof Image)、使用した参照表
などの情報、データの終了マーカ(EOI: End of Image)
などを前記ハフマン符号化された映像信号に付加して、
JPEGシステムストリームを作成する。

【００２５】次に、本発明の特徴である見かけ上、低解
像度静止画であるが、高解像度静止画に復元可能なJPEG
映像を生成する信号処理について説明する。量子化回路
22出力では、図３に示すような順序で、低周波から、高
周波のデータが並んでいる。低解像度モード(640x480画
素)では、高解像度(1280x960画素)に対し、縦横半分の
周波数成分のみでよいから、図３において太線で囲った
4x4画素に相当する周波数成分のみ必要となる。ところ
が、太線で囲った枠内には、必要な0-15のデータのう
ち、「１０」、「１４」、「１５」のデータが枠外に、
「１７」、「１８」、「２３」のデータが枠内にあるの
で、データ並び換え回路23でこれらを入れ替える。その
結果、低解像度映像の生成に必要な4x4画素相当の映像
データは図４に、高解像度を復元するために必要な映像
データは、図５に示すとおりになる。それぞれ、太線で
囲った範囲がデータの並び換えを行った部分である。

【００２６】さらに、JPEGでは8x8画素単位のデータ処
理なので、4x4画素のデータを8x8画素のデータに変換す
る必要がある。図７を用いて説明する。図７は、全画像
データに対し、DCTを行うために8x8画素に区切られた画
像の各ブロックに番号を示したものである。たとえば、
本来8x8画素あるB11ブロックのデータが、上記の低解像
度化によって、4x4画素のデータに変換されると、隣接
するB12, B21, B22のデータを使用して8x8画素に変換す
る。

【００２７】このようにして、8x8画素に変換された低
解像度の画像データは、ハフマン符号化回路25で、図５
に示す高解像度を復元するためにデータは、それぞれブ
ロック番号をつけて、ハフマン符号化回路２６でハフマ
ン符号化され、ストリーム生成回路２８へ送られる。

【００２８】ストリーム生成回路では、ハフマン符号化
回路２５出力は、図６に示す「画像データ部分」に割り
当てる。図６に示す「参照表などを記述する部分」に
は、マーカーコード「APPn」を付してアプリケーション
毎に自由に使用できる領域があるので、ハフマン符号化
回路２６出力をここに割り当てる。

【００２９】以上のように、高解像度の静止画を見かけ
上は低解像度画像で、かつ高解像度情報を付した静止画
を生成することができる。

【００３０】一方、再生時のJPEGの伸長は、図２に示す
圧縮とは逆方向の信号処理で行われるが、単純な高解像
度と低解像度画像の伸張手順は、周知の信号処理なの
で、説明を省略する。

【００３１】本発明の特徴である見かけ上低解像度の静
止画像で、高解像度成分を持ったJPEG画像を高解像度画
像に復元するには、JPEGストリームを分離する際、図６
に示すマーカーコードAPPnを検出し、生成の手順とは逆
に、8x8画素の画像データを、４個の4x4画素のブロック
に分け、マーカーコードAPPnに付随した高解像度データ
をそれぞれの4x4画素ブロックに付加して8x8画素のブロ
ックを再構成する。その上で、図４、図５に示したデー
タ配列を、図３に示すデータに並び換えを行い、離散的
コサイン逆変換を施すことで、高解像度を得ることがで
きる。

【００３２】本実施事例では、S-XGA(1280x960)サイズ
から、VGA(640x480)サイズへの低解像度画像を生成する
手段について説明したが、他の低解像度画像への変換の
際には、図３に太線で示す画素サイズが異なるだけで、
その他の信号処理手順は同様にして作成可能である。

【００３３】図８は、本発明による他の実施例を示すブ
ロック構成図である。

【００３４】30は、パソコン本体、31は外部映像信号入
力端子、32はアナログ・デジタル変換回路、33はJPEG圧
縮伸長回路、３４はDRAM、35はハードディスクドライ
ブ、３６はCPU、37はディスプレイドライバ、38はモニ
タである。

【００３５】図１に示す実施例と異なる点は、カメラで
はなく、パソコン上で本発明を実施するための構成であ
り、映像信号の入力がレンズではなく、外部映像信号入
力端子31か、あるいは、ハードディスクドライブ35上に
すでに保存されている映像データを使用する点である。

【００３６】JPEG圧縮伸長回路内33の動作を図９を用い
て詳しく説明する。

【００３７】Ｓ１は開始マーカー、Ｓ２はデータ読み込
み手段、Ｓ３は解像度選択手段、Ｓ４は離散的コサイン
変換手段、Ｓ５は量子化手段、Ｓ６はハフマン符号化手
段、Ｓ７はストリーム生成手段、Ｓ８は離散的コイサン
変換手段、Ｓ９は量子化手段、Ｓ１０はデータ並び換え
手段、Ｓ１１はハフマン符号化手段、Ｓ１２はハフマン
符号化手段、Ｓ１３はストリーム生成手段、Ｓ１４は終
了マーカである。

【００３８】まず、外部映像信号入力31あるいは内部HD
D３５などから、映像データをデータ読み込み手段Ｓ２
で、映像信号を読み込む。その後、通常の低解像度映像
あるいは高解像度映像の静止画ファイル生成か、高解像
度映像が復元可能な低解像度の静止画ファイル生成かを
解像度選択手段Ｓ３で選択する。

【００３９】通常の低解像度の静止画あるいは高解像度
の静止画生成が選択された場合は、前記読み込まれた映
像信号は、離散的コサイン変換S4、量子化Ｓ５，ハフマ
ン符号化S6を経てJPEGストリームの生成Ｓ７が行われ、
処理が終了する。

【００４０】一方、高解像度映像が復元可能な低解像度
映像生成が選択された場合は、まず離散的コサイン変換
手段Ｓ８において、前記読み込まれた映像信号に対して
高解像度映像のまま、離散的コサイン変換を実施する。
引き続き、データ並び換え手段S10において、図１に示
した実施例で図３、図４、図５、図７を用いて説明した
ように、8x8画素の映像データを4x4画素に変換し、図７
に示したように隣接する3個のブロックの映像データと
併せて、8x8画素の映像データと付加情報を作成する。
映像データについては、ハフマン符号化手段Ｓ１１で、
付加情報に関してはハフマン符号化手段S12で、それぞ
れハフマン符号化する。

【００４１】次いで、ストリーム生成手段S13におい
て、図１に示した実施例で説明したように、ハフマン符
号化手段S11の出力は図６に示すフレーム領域に、ハフ
マン符号化手段S12の出力はテーブル情報などを格納す
る領域に、用途毎に自由に使用できるマーカーコードAP
Pnを付して、それぞれ割り付けられてJPEGストリームが
生成される。

【００４２】以上のようにして生成されたJPEGストリー
ムは、図８に示すHDD３５に格納される。

【００４３】以上のようにして生成された通常の低解像
度映像、高解像度映像、高解像度映像が復元可能な低解
像度映像は、HDD35から読み出され、JPEG圧縮伸張回路3
3で伸張される。この処理に関しては、図１に示した実
施例と同様であるので、説明を省略する。

【００４４】本実施例では、図示していないが、パソコ
ン30に接続された、外付けハードディスクドライブのよ
うな外部記憶手段や、ネットワークを介してパソコンに
取り込まれた静止画データに関しても、ハードディスク
３５からのデータと同様に処理できることは、自明であ
る。

【００４５】以上の実施例については、離散コサイン変
換を使用して生成したJPEG映像について説明したが、同
じ周波数変換を行うウェーブレット変換などでも、DCT
の部分をそれらの周波数変換手段に置き換えるだけで実
現可能である。

【００４６】

【発明の効果】本発明によれば、高解像度映像と、低解
像度映像と、見かけ上低解像度でありながら高解像度映
像が復元可能な静止映像を生成することができる。見か
け上低解像度であるため、一般の再生ソフトウェアで
も、低解像度画像としての再生が可能である。

【図面の簡単な説明】

【図１】本発明の一実施例である映像信号記録再生装置
を示すブロック構成図である。

【図２】図１に示す本発明の一実施例の一部を詳細に説
明するブロック構成図である。

【図３】図２に示すブロック構成図に含まれる参照表の
内容を詳細に説明する図である。

【図４】図３に示す参照表の一部を並び替えた図であ
る。

【図５】図３に示す参照表の一部を並び替えた図であ
る。

【図６】図２に示すブロック構成図中の信号の構成を示
す図である。

【図７】図２に示すブロック構成図中の信号の構成を詳
細に示す図である。

【図８】本発明の他の一実施例を示すブロック構成図で
ある。

【図９】図８の信号処理仮定を示すフローチャートであ
る。

【符号の説明】

８…JPEG圧縮伸長回路、２１…離散コサイン変換回路、
２２…量子化回路、２３…データ並び換え回路、２４…
ハフマン符号化回路、２５…ハフマン符号化回路、２６
…ハフマン符号化回路、２７…ストリーム生成回路、３
３…JPEG圧縮伸長回路、Ｓ１０…データ並び換え回路、
Ｓ１１…ハフマン符号化回路、Ｓ１２…ハフマン符号化
回路、Ｓ１３…ストリーム生成回路。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/30 Ｈ０４Ｎ 5/92 Ｈ ９Ａ００１ 7/133 Ｚ (72)発明者 佐野 賢治 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 Ｆターム(参考） 5C022 AA13 AB00 AC42 AC54 AC69 5C052 GA02 GB06 GC05 GD03 5C053 FA08 GB06 GB22 GB26 GB36 KA04 KA24 LA01 5C059 KK39 KK40 MA00 MA23 MC01 ME01 PP01 RC22 SS15 UA02 UA05 5C078 AA04 BA21 BA57 BA64 CA21 DA00 DA01 DB05 9A001 BB03 EE04 EE05 GG05 HH23 HH24 HH27 HH28 HH31 KK16 KK42

Claims (5)

【特許請求の範囲】
1. 【請求項１】映像信号を圧縮して記録再生する映像信号
   記録再生装置において、レンズと、撮像素子と、カメラ
   信号処理回路と、映像信号を周波数変換する周波数変換
   回路と、該周波数変換回路の出力を量子化する量子化回
   路と、該量子化回路出力を、低解像度の映像成分と高解
   像度の映像成分に分離する解像度分離回路と、低解像度
   の映像成分を圧縮する第１の圧縮回路と、高解像度の映
   像成分を圧縮する第２の圧縮回路と、第１の圧縮回路の
   出力を映像データとし、第２の圧縮回路の出力を付加デ
   ータとして、一つの映像ファイルを生成するデータ生成
   回路と、該データ生成回路出力を記録する記録回路と、
   からなることを特徴とする映像信号記録再生装置。
2. 【請求項２】請求項１に記載の映像信号記録再生装置に
   おいて、前記第１および第２の圧縮回路では、可変長符
   号化を行う可変長符号化回路を有することを特徴とする
   請求１記載の映像信号記録再生装置。
3. 【請求項３】請求項１または請求項２に記載の映像信号
   記録再生装置において、データ生成回路内に、JPEG映像
   ファイル生成回路を有することを特徴とする、請求項１
   または請求項２記載の映像信号記録再生装置。
4. 【請求項４】映像信号を圧縮して記録再生する映像信号
   記録再生装置において、映像信号を周波数変換する周波
   数変換回路と、該周波数変改回路の出力を量子化する量
   子化回路と、該量子化回路出力を、低解像度と高解像度
   の映像成分に分離する解像度分離回路と、該低解像度の
   映像成分を可変長符号化する第１の可変長符号化回路
   と、該高解像度の映像成分を可変長符号化する第２の可
   変長符号化回路と、該第１の可変長符号化回路の出力を
   映像データとし、該第２の可変長符号化回路を付加デー
   タとして、一つのJPEGストリームを生成するストリーム
   生成回路と、該ストリーム生成回路出力を記録する記録
   回路と、から成ることを特徴とすると映像信号記録再生
   装置。
5. 【請求項５】映像信号を圧縮して記録再生する映像信号
   記録再生方法において、映像信号を周波数変換する周波
   数変換手段と、該周波数変改回路の出力を量子化する量
   子化手段と、該量子化回路出力を、低解像度と高解像度
   の映像成分に分離する解像度分離手段と、該低解像度の
   映像成分を可変長符号化する第１の可変長符号化手段
   と、該高解像度の映像成分を可変長符号化する第２の可
   変長符号化手段と、該第１の可変長符号化手段の出力を
   映像データとし、該第２の可変長符号化手段を付加デー
   タとして、一つのJPEGストリームを生成するストリーム
   生成手段と、該ストリーム生成手段出力を記録する記録
   手段と、から成ることを特徴とすると映像信号記録再生
   方法。