JP2001016591A - 圧縮符号化装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 圧縮符号化された画像情報を用いてパノラマ
合成を行う場合でも違和感のない要素画像を作成するこ
とのできる圧縮符号化装置を提供。 【解決手段】 撮像素子14にて撮像されて処理された画
像データが信号処理回路26に入力されるとメモリ40に一
時蓄積され、制御部22によりパノラマ圧縮モードが設定
されている場合に、この画像データを固定長圧縮符号化
する圧縮処理の第１パスにてその総符号量が算出され、
これに基づいてスケールファクタＫが決定され、これに
応じた量子化テーブルにより第２パスにおける圧縮処理
が行われて、処理された符号化データが記録媒体16に書
き込まれる。続くコマの画像データが信号処理回路18に
入力されると、パノラマ圧縮モードにおける最初のコマ
と同じ量子化テーブルによってその画像データが圧縮符
号化されて記録媒体16にに記録される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像手段にて撮像
される画像信号を圧縮符号化して出力する圧縮符号化装
置および方法に係り、たとえば、圧縮符号化されて記録
媒体に記録された要素画像を用いてパノラマ合成写真を
作成する際に好適な画像が得られるように、各要素画像
の画像信号を圧縮符号化する圧縮符号化装置および方法
に関するものである。

【０００２】

【従来の技術】近年、被写界を撮像して得られる画像情
報をメモリカードや磁気ディスク等の情報記録媒体に記
録し、必要なときにこれらから読み出し、その画像をモ
ニタ表示させたり、プリントすることが行われる。たと
えば、ディジタルスチルカメラでは、色フィルタを有す
る固体撮像素子を備え、その撮像面に結像される光学像
を電気信号に変換して、その画素信号を処理して情報記
録媒体に記録する。また、銀塩写真のフィルムに記録さ
れた画像情報を光学的に読み取ってディジタル化し、そ
の画像情報を情報記録媒体に記録することが行われる。

【０００３】このような情報記録媒体は、有限の記憶領
域を有するため、上述のような画像情報を記録するため
には、たとえば、元の画像情報を十分の一ないしは数十
分の一程度の情報量に圧縮符号化し、所定の記憶領域に
記録する。

【０００４】また、このようにして情報記録媒体に画像
情報を記録する際に、１画像ごとのコマをつなげて、よ
り広範囲の写真画像やスキャニング画像を作成したいと
いう要望があり、このような処理は、たとえば、画像情
報が記録された情報記録媒体から画像処理装置等に画像
情報を取り込み、複数の撮像範囲の一部を重ね合わせな
がら、互いに連続する画像を接合し、いわゆるパノラマ
合成にて実現される。

【０００５】

【発明が解決しようとする課題】しかし、パノラマ合成
処理を行う際、その接合部のつなぎ目が目立ってしまう
ため、合成処理の際にその現象を回避することが必要で
あった。たとえば、特開平9-266561号公報には、画像が
つながるように撮影して連続画像を作成するカメラが記
載され、また、特開平9-289624号公報には、位置合わせ
機能、歪み補正機能および明度調節機能を有するデジタ
ルカメラが記載されている。

【０００６】さらに、特開平9-93431 号公報には、つな
ぎ合わせる複数の画像の境界部分にぼかし処理を加える
パノラマ合成装置が記載され、また、特開平9-321972号
公報には、つなぎ合わせる画像の重複部分の対応点を抽
出して、その重複部分に階調補正を施すことにより継ぎ
目を目立たなくする画像合成装置が記載されている。ま
た、特開平9-322055号公報には、撮影の際に検出した角
度信号を元に画像合成を行って、つなぎ目が連続となる
パノラマ画像を得る電子カメラシステムが記載されてい
る。

【０００７】このように従来例では、画像合成時につな
ぎ目が目立たなくする処理が検討され、また撮像時に
は、連続する被写界を重複させながら撮像する際の撮影
時の情報に基づいて双方の画像を接続、合成することが
検討されていた。

【０００８】しかしながら、実際のディジタルカメラ等
にて撮像された画像情報をパノラマ合成しようとした場
合、次の問題点があった。

【０００９】すなわち、連続させる複数の要素画像を撮
影により得て、これら画像情報を所定符号量範囲に収ま
るように固定長化処理して圧縮符号化し情報記録媒体に
記録し、記録された画像情報を使用してパノラマ合成を
行う場合、被写体の細密さ、荒さなどがそれぞれ各要素
画像によって異なり、合成されたパノラマ画像全体とし
ては、部分的に画質の異なる絵柄が発生する。

【００１０】たとえば、情報記録媒体に圧縮符号化され
て記録された２コマの画像を左右方向にパノラマ合成す
る場合、一方は煩雑な強コントラストな絵柄で、他方は
単純でフラットな絵柄であると、そのつなぎ目が目立っ
てしまうだけではなく、合成画像の右と左側とでブロッ
クノイズ発生の程度が異なって、たとえば、画像中のほ
ぼ同一距離に存在する同じような被写体について、その
再現性が左右で異なって、違和感のあるパノラマ画像が
作成される。

【００１１】本発明はこのような従来技術の欠点を解消
し、圧縮符号化された画像情報を用いてパノラマ合成を
行う場合でも、違和感のない各要素画像を作成すること
のできる圧縮符号化装置および方法を提供することを目
的とする。

【００１２】

【課題を解決するための手段】本発明は上述の課題を解
決するために、撮像手段にて撮像される複数コマの画像
信号を圧縮処理して出力する圧縮符号化装置において、
この装置は、パノラマ画像を生成するための複数コマの
画像信号を第１のパラメータに応じた圧縮処理によりそ
れぞれ圧縮符号化する圧縮符号化手段と、第１のパラメ
ータを画像信号に基づいて設定する設定手段と、圧縮符
号化手段にて圧縮符号化された符号データを出力する出
力手段とを含み、設定手段は、複数コマの画像信号のう
ち、少なくともいずれかのコマの画像信号から、複数コ
マの画像信号を圧縮するための第１のパラメータを決定
する決定手段を含み、圧縮符号化手段は、第１のパラメ
ータに応じて、複数コマの画像信号をそれぞれ圧縮符号
化することを特徴とする。

【００１３】また、本発明は上述の課題を解決するため
に、撮像手段にて撮像される複数コマの画像信号を圧縮
処理して出力する圧縮符号化方法において、この方法
は、パノラマ画像を生成するための複数コマの画像信号
を第１のパラメータに応じた圧縮処理によりそれぞれ圧
縮符号化する圧縮符号化工程と、第１のパラメータを画
像信号に基づいて設定する設定工程と、圧縮符号化工程
にて圧縮符号化された符号データを出力する出力工程と
を含み、設定工程は、複数コマの画像信号のうち、少な
くともいずれかのコマの画像信号から、複数コマの画像
信号を圧縮するための第１のパラメータを決定する決定
工程を含み、圧縮符号化工程は、第１のパラメータに応
じて、複数コマの画像信号をそれぞれ圧縮符号化するこ
とを特徴とする。

【００１４】

【発明の実施の形態】次に添付図面を参照して本発明に
よる圧縮符号化装置および方法の実施例を詳細に説明す
る。図１を参照すると、同図には、本発明が適用された
圧縮符号化装置を備えるディジタルカメラ10が示されて
いる。このカメラ10は、撮像レンズ12を介して撮像素子
14の撮像面に結像される被写界からの光学像を光電変換
し、変換された撮像信号を処理して、圧縮符号化し、メ
モリカードや回転記録媒体などの記録媒体16にその符号
化データを記録する撮像および情報記録装置である。

【００１５】本実施例におけるカメラ10は、とくに、複
数コマの画像を撮影し、これら複数画像をつなぎ合わせ
た際に、良好な合成画像、いわゆるパノラマ合成写真を
作成可能なように、各コマの画像をそれぞれ信号処理回
路18にて圧縮符号化処理して記録媒体16に記録するパノ
ラマ写真作成用の情報処理機能を有している。たとえ
ば、水平および垂直方向に連続する被写界を、それぞれ
一部分が重なり合うように撮像してパノラマ合成写真を
得る場合、垂直方向にそびえ立つ建物や、奥行き方向に
連続する道路、さらには空間の全景などを撮像して撮像
レンズ12の画角を超えた広い範囲の接合画像を得る際
に、各撮像画像に対して適切な圧縮処理を施して記録す
る。

【００１６】このようにして合成写真や接合画像を得る
場合には、撮像素子14の有する有効画総数を超えたサイ
ズの大きな画像が作成されることとなって、合成後の１
枚の写真画像は、それを構成する各要素画像つまり撮影
ごとの１コマの画像に比べて、相対的に高精細な画像と
なる。本カメラ10では、このような複数コマの画像に対
してそれぞれのコマごとの圧縮処理を行う際に、合成画
像の要素画像として適切な圧縮処理を行う。なお、以下
の説明において本発明に直接関係のない部分は、図示お
よびその説明を省略し、また、信号の参照符号はその現
われる接続線の参照番号で表わす。

【００１７】詳しくはカメラ10は、被写界からの光束が
撮像レンズ12によって撮像素子14の撮像面に結像される
と、撮像素子14は、制御部22から供給される駆動信号に
応動して、その受光部に生成された電荷を電気信号とし
て読み出し、それに応じた画素信号をアナログ回路20に
供給する。撮像レンズ12は、撮影対象を適切に撮像する
ために広角側から望遠側まで焦点距離が可変のズームレ
ンズ、もしくは交換式のレンズであるとよい。この場
合、とくに望遠側で撮影した際に画角が狭くなるが、パ
ノラマ合成と組み合わせることによって、各コマの歪み
がより少なく、高解像の広い範囲のパノラマ写真を作成
することができる。もちろん広角側で撮影した画像をパ
ノラマ合成して、少ない撮影枚数でより広い範囲の写真
を作成するようにしてもよい。

【００１８】本実施例における撮像素子14は、その撮像
面にRGB 原色カラーフィルタもしくは補色フィルタが配
設されたCCD カラー撮像素子が適用され、光電変換した
RGB画素信号を点順次に出力する。その出力102 に接続
されるアナログ回路20は、撮像素子14より出力される画
素信号102 を信号処理する信号処理回路であり、相関二
重サンプリング機能および制御部22からの制御に応じた
可変利得増幅機能を有している。また、アナログ回路20
は、ガンマ補正および色バランス調整などの階調補正お
よびレベル補正を行うようにしてもよい。

【００１９】アナログ回路20の出力104 はアナログ・デ
ィジタル変換回路(ADC) 24に接続され、ADC 24は、入力
104 に入力する画素信号をRGB 画像データに変換して、
変換された画像データをその出力106 に接続された信号
処理回路18に出力する。

【００２０】信号処理回路18は、入力106 に現れる画像
データを、モードに応じた信号処理を施して、出力108
に接続される記録媒体16もしくは出力110 に接続される
映像出力装置に出力するディジタル信号処理回路であ
る。信号処理回路18は、画像データをガンマ補正、輝度
および色バランス調整などの階調補正およびレベル補正
する信号処理部30を有する。

【００２１】信号処理部30は、撮像画像を連続的に表示
させるための動画モードが制御部22により設定されてい
る場合に、入力される画像データ106 の階調およびレベ
ルを補正する演算処理を行って出力120 に出力する。信
号処理部30の出力120 に接続されるエンコーダ32は、信
号処理部30より供給される画像データ120 を、ディジタ
ル・アナログ変換回路(DAC) 34の出力110 に接続される
表示装置に応じた形式の映像信号に変換する機能を有す
る。なお、カメラ10に、不図示の液晶モニタパネルが搭
載され、エンコーダ32は、たとえば動画モードにて、連
続するコマの画像データを液晶モニタの表示領域に合わ
せた形式の画像に変換して液晶モニタに供給することに
より、静止画撮影前の画角合わせを行うことができ、ま
た、マニュアル操作で露出を調節したりピントを合わせ
たりする際にその確認を表示映像を見て行うことができ
る。このような液晶モニタは、出力110 に接続される外
部機器として接続されてよい。また再生モードにおいて
も、記録媒体16から読み出されて伸張された画像データ
を信号処理部30より入力し、撮影記録済の画像を液晶モ
ニタ等に表示させる。

【００２２】信号処理部30は、静止画記録モードにおい
て、入力されるRGB 画像データを輝度信号Ｙおよび色差
信号Ｃに変換するＹＣ分離を行って、処理されたＹＣ画
像信号をバス122 、メモリインタフェース36およびバス
124 を介して接続されるメモリ40に記憶させる。また、
信号処理部30は、制御部22にてパノラマ合成用の要素画
像を作成するパノラマ圧縮モードが設定されると、複数
コマによるパノラマ写真の各要素画像を処理する際に、
たとえば各コマ共通の階調および明るさ調整を行って各
コマの仕上がりを揃える信号処理を行う。１コマごとの
撮影を行って各コマに応じて固定長圧縮符号化する通常
の撮影圧縮モードでは、信号処理部30は、撮像した１コ
マごとの画像データに応じた適切な信号処理を行う。

【００２３】さらに信号処理部30は、撮像制御を行うた
めの各種評価値を算出して、バス128 にて接続される制
御部22に通知する機能を有する。本実施例における信号
処理部30は、入力される画像データ106 に基づいて、露
出調整および自動焦点調節のための評価値を演算により
求め、算出した各種評価値を制御部22に供給する。制御
部22では、それら評価値に基づいて、撮像の際の露出調
整や自動焦点調節等を行うための制御信号を生成し、撮
像レンズの機構部や撮像素子14にその制御信号や駆動信
号を与えて動作を制御する。

【００２４】たとえば、信号処理部30は、撮像レンズ12
の焦点位置を移動させながら撮像し、それから得られる
各画像データのフォーカシングエリア内のコントラスト
を検出してその最大値が得られた際のレンズ位置に撮像
レンズ12を制御して被写体に対するピントを合焦させる
コントラスト検出方式の自動焦点調節機能を有する。ま
た、信号処理部30は、入力される画像データ106 に基づ
いて、被写界における光源の種類を判定し、その判定結
果に応じてホワイトバランスを調整する機能を有する。

【００２５】メモリインタフェース回路36は、信号処理
部30、メモリ40および圧縮伸張処理部42に接続されて、
これらの間のデータ転送を制御するとともに、メモリ40
に対する記憶制御を行う。本実施例におけるメモリ40
は、信号処理部30より供給される画像データの少なくと
も１コマ分を記憶する記憶領域を有するフレームメモリ
であり、通常の撮影圧縮モードおよびパノラマ圧縮モー
ドの双方および再生モードにて画像データを一時記憶す
る。

【００２６】圧縮伸張処理部42は、メモリ40から読み出
される画像データをバス130 を介して入力し、画像デー
タの輝度信号Ｙおよび色差信号Ｃごとにそれぞれ圧縮符
号化して、その符号化データをカードインタフェース回
路44に出力する信号処理機能を有する。本実施例におけ
る圧縮伸張処理部42は、JPEG方式に準拠し、さらに、制
御部22により設定されるモードに応じた適切な圧縮条件
を設定し、各コマの画像データを圧縮符号化する。また
圧縮伸張処理部42は、記録媒体16から読み出される圧縮
符号化されたデータを伸張してメモリ40に出力する機能
を有し、この場合、信号処理部30は、メモリ40から読み
出される画像データ122 を処理してエンコーダ32に出力
することにより記録画像を再生する。

【００２７】圧縮伸張処理部42は、通常の撮影記録モー
ドが設定されると、メモリ40に記憶された画像データに
対し、その総符号量を所定長以下に制御する符号量制御
を行って、変換符号化により画像データを圧縮符号化す
る。詳しくは圧縮伸張処理部42は図２に示すように、画
像データを直交変換する変換回路(DCT/IDCT)200 と、直
交変換された変換係数を量子化する量子化回路202 と、
変換係数の直流成分と、量子化された変換係数の交流成
分とにそれぞれハフマン符号を割り当てるハフマン符号
化回路204 とを備え、これら回路はそれぞれ逆変換を行
う機能を有している。本実施例における圧縮伸張処理部
42は、いわゆる２パス制御方式にて符号量制御を行う。

【００２８】具体的には、圧縮伸張処理部42は、圧縮符
号化処理の際に、メモリ40に記録された画像データをた
とえば８×８画素のブロックごとに読み出し、そのブロ
ック化された画像データを変換回路200 に入力する。こ
の結果、変換回路200 にて変換係数の直流成分と交流成
分とが生成されて、これらがブロック内にてジグザグス
キャンされて量子化回路202 に入力される。量子化回路
202 は、所定の量子化パラメータにより所定以下の係数
を切り捨てる。こうして処理された変換係数は、ハフマ
ン符号化回路204 に入力され、符号化回路204 は、量子
化された変換係数に対しハフマン符号を割り当てる。符
号化回路204 は、先頭ブロックの直流成分と、以降のブ
ロック間の差分値とをそれぞれ符号化し、さらに量子化
された交流成分に対しては、高域成分順からブロック内
をジグザグスキャンして符号化する。符号化回路204
は、符号化したデータの総符号量を算出する機能を有
し、その総符号量をスケールファクタ決定部206 に供給
する。この総符号量は、画像の細密さに応じて変化し、
画像のアクティビティに対応する情報である。

【００２９】なお、本実施例における変換回路200 は、
そのブロックデータを離散コサイン変換するが、これに
限らず他の直交変換として、たとえばアダマール変換、
K-L(Karhunen-Loeve)変換等の演算処理を行うものでも
よい。また、ブロック化される画像データのブロックサ
イズは、たとえば撮像素子14の高画素密度化に応じて16
×16画素ブロック等のさらに大きいブロックサイズでも
よい。

【００３０】スケールファクタ決定部206 は、算出され
た総符号量に従って、画像データを第２パスにて圧縮符
号化する際の総符号量を所定量以下に非可逆圧縮するた
めの圧縮率を制御するスケールファクタＫを決定する。
乗算回路208 は、このスケールファクタＫと量子化テー
ブル210 より供給されるテーブル値とを乗算し、その演
算結果を量子化回路202 に出力する。量子化テーブル21
0 には、輝度および色差成分ごとに、交流成分に対する
量子化テーブルが格納されており、圧縮処理するデータ
の種類に対応するテーブルを乗算器208 に出力する。

【００３１】スケールファクタ決定部206 は、このよう
にして第１パスにて決定したスケールファクタＫを第２
パスにおける圧縮符号化処理にて使用する。第２パスで
は、上述と同様にして、ブロックデータを直交変換し、
その変換係数を、先に決定したスケールファクタＫに応
じた量子化テーブルで量子化し、先頭ブロックの変換係
数の直流成分と、各直流成分のブロック間差分に対して
ハフマンコードを割り当てて、また、量子化された交流
成分に対してハフマンコードを割り当ててて、符号化デ
ータを生成する。

【００３２】スケールファクタ決定部206 は、さらに、
パノラマ圧縮モードが設定されると、パノラマ画像を構
成する各要素画像に対して、所定のコマにて決定したス
ケールファクタを各コマの画像圧縮処理に対して共通に
使用する。本実施例では、パノラマ圧縮モードにて最初
に撮像された画像データに対して決定したスケールファ
クタを、続く要素画像の撮像により得られるコマの画像
データに対しても使用する。この結果、パノラマ圧縮モ
ードにおける１コマ目では符号量制御を行うこととなる
が、以降の撮像画像に対しては、上述のようにして決定
したスケールファクタに基づく量子化テーブルの演算結
果が使用されるので、固定長化のための符号量制御機能
が解除される。

【００３３】なお、パノラマ画像を構成する複数の要素
画像をメモリに一時記憶可能に構成する場合には、各要
素画像の総符号量を算出し、それらを平均化した値に基
づいてスケールファクタＫを決定するとよい。これにつ
いては後述する。

【００３４】このように、本実施例におけるパノラマ圧
縮モードでは、１コマ目の要素画像について決定した一
定値のスケールファクタＫにより、各要素画像に対する
量子化パラメータが導出され、これに基づいて各画像に
対する量子化処理を行って変換係数を正規化する。した
がって、各コマ共通に設定されるパラメータによる圧縮
処理となって、符号化データを伸張した各要素画像をパ
ノラマ合成して接合した場合においても、圧縮処理によ
る画質劣化の程度が各コマ間で均一化される。このため
圧縮符号化による画像劣化について各コマ間で差異が生
じることが防止される。

【００３５】なお、このようにして第１パスにて算出し
た総符号量からスケールファクタＫを決定する方法によ
らず、他の方式によってスケールファクタＫを決定する
ようにしてもよい。たとえば、変換回路200 にて算出さ
れる変換係数の直流成分は、一旦圧縮符号化した際の総
符号量との相関性が高いため、この直流成分から得られ
る画像のアクティビティの総和からスケールファクタＫ
を決定するようにしてもよい。また、画像の細密さを表
すアクティビティを検出する手段を別に設けて、そのア
クティビティに基づいてスケールファクタＫを決定し、
このスケールファクタＫに応じた量子化テーブルを用い
て一回のパスで量子化および符号化処理し、各要素画像
の符号化データを出力するようにしてもよい。たとえ
ば、自動焦点調節時に得られるコントラスト評価値の最
大レベルに応じて画像のアクティビティを算出するよう
にしてもよい。この場合、撮像レンズ12による撮像範囲
全体をフォーカシングエリアとするとよい。

【００３６】ハフマン符号化回路204 にて符号化された
符号データは、出力132 に接続されるカードインタフェ
ース回路44に入力され、インタフェース回路44は、着脱
可能に接続される記録媒体16に対し、情報の読み書きを
制御する回路である。記録媒体として、半導体メモリを
カード状にパッケージしたメモリカードを採用する場合
には、EEPROMやフラッシュメモリ等のメモリに対する書
込みおよび読み出し命令を記録媒体に送出し、画像デー
タおよびその付属データの記録および読み出しを行う。
この場合、インタフェース回路44は、符号化データおよ
びその付属情報を、たとえばExif(Exchangeable Image
File Format)等のファイルフォーマットにてメモリカー
ドに記録する。インタフェース回路44は、パノラマ圧縮
モードにて処理された各要素画像の符号化データを記録
媒体16に記録する際に、各画像データがパノラマ画像用
のデータであることを示すタグ情報を対応する画像ファ
イル管理領域に記録する。

【００３７】また、記録媒体として光磁気ディスクを採
用する場合にはインタフェース回路44は、ディスクを回
転させ、光および磁気ピックアップをシークさせる機構
部を含み、ディスクに書き込むデータを所定の信号形式
に変調して書込みデータを作成する。情報の読み出しの
際にインタフェース回路44は、情報を光学的に読み取っ
て復調し、復調データを再生して圧縮伸張処理部42に出
力する。

【００３８】図１に戻って、制御部22は、各部の動作状
態を制御する機能を有し、操作部46への操作に応じて動
画モードと静止画記録モードとを設定し、設定モードに
応じた制御を行う。詳しくは、制御部22は、電源が投入
されて所定の初期化処理を行った後、動画モードを設定
し、被写界を連続的に撮像してその撮像映像をモニタ表
示させるファインダ機能を実現する。操作部46に配設さ
れたレリーズ釦の押下状態を検出すると制御部22は静止
画記録モードを設定する。

【００３９】通常の静止画記録モードでは、制御部22
は、露出制御、自動焦点調節等の撮像制御を行って、１
コマ撮影により得られる画像データを信号処理回路18に
入力させ、各種信号処理および圧縮符号化処理を行わせ
る。

【００４０】また、操作部46にパノラマ圧縮を選択する
操作が行われると制御部22はこれを認識してパノラマ圧
縮モードを各部に設定する。制御部22は、各要素画像の
予定撮影枚数を設定し、その設定枚数の処理が完了する
までモードを維持するか、もしくは操作に応じてパノラ
マ圧縮モードを終了する。

【００４１】また、制御部22は、パノラマ圧縮モードに
て静止画記録モードに移行すると、画像データをパノラ
マ圧縮させるための制御信号を信号処理回路18に送出す
る。

【００４２】さらに制御部22は、パノラマ画像の各要素
画像を撮影する操作を支援する機能を有する。具体的に
は制御部22は、パノラマ圧縮モードにて、最初のコマを
撮影した後に続くコマの撮影時に、一コマの静止画像を
モニタ表示させ、続くコマの撮影時における画角合わせ
を容易にさせる。この場合、撮影済みの画像を、モニタ
画面の隅にシフトさせて表示し、次に撮影する被写界の
モニタ画像とオーバーラップさせることで、各要素画像
の一部が互いに重なり合うようにして連続するコマを撮
影することができ、また後に行われるパノラマ合成処理
を容易にする。

【００４３】以上のような構成で、本実施例におけるデ
ィジタルカメラの動作を図３および図４を参照して説明
すると、カメラ10の動作状態において動画モードが設定
されると、カメラ10では、撮像素子より複数フレームの
画素信号が出力されて、アナログ回路20およびADC 24に
て処理された画像データは信号処理回路18に入力され、
信号処理部30にて所定のディジタル信号処理が施された
後、順次エンコーダに供給される。こうしてモニタ画面
に、連続する各フレームの画像が表示されると、操作者
は、構図等を決定する。ここで操作部46に対してパノラ
マ圧縮を選択する操作が行われると制御部22はこれを認
識し、パノラマ圧縮モードが設定される（ステップS30
0）。

【００４４】次いでステップS302に進むと、操作部46の
レリーズ釦が押下されたか否かが制御部22にて判定さ
れ、ここでレリーズ釦の押下が検出されると、ステップ
S304に進む。ステップS304では、連続して撮像している
各フレームの画像データに基づいて各種評価値が算出さ
れて、算出された評価値に基づいて、露出および焦点調
節が制御される。これら撮像調整が終了したことがステ
ップS306にて判定されるとステップS308に進んで、調整
された撮影条件にて１コマの静止画像が撮像される（ス
テップS308）。

【００４５】撮像された画像データが信号処理回路18の
信号処理部30に入力されると、画像データのレベルおよ
び階調が補正されて静止画像として良好なRGB 画像デー
タが作成される。この画像データはさらに輝度および色
差形式のＹＣ画像データに変換される。次いでステップ
S310（図４）に進んで、こうして変換された画像データ
がメモリ40に一旦格納されると、第１パスにおける圧縮
伸張処理部42では、この画像データがパノラマ圧縮モー
ドにおける最初のコマであるか否かが判定されて、最初
のコマである場合にはステップS314に進み、２枚目以降
のコマである場合には、ステップS318に進む。ステップ
S314に進むと画像データの総符号量が算出される。

【００４６】詳しくは、メモリ40に蓄積された画像デー
タがブロック化されて変換回路200に入力されると、ブ
ロックの画像データが輝度および色差成分ことに離散コ
サイン変換される。変換された直流成分は量子化回路20
2 を介してハフマン符号化回路204 に送られ、また交流
成分は量子化回路202 にて所定の量子化テーブルによっ
て量子化されてハフマン符号化回路204 に送られる。符
号化回路204 では、先頭ブロックの直流成分にハフマン
符号を割り当て、続く以降のブロックの直流成分につい
てはブロック間差分値に対してハフマン符号が割り当て
られる。また各ブロックの交流成分はブロック内にてジ
グザグスキャンされて、その低域成分から高域成分順に
読み出した変換係数に対して順次、ハフマン符号が割り
当てられ、所定の０ランレングスにて符号化が打ち切ら
れる。符号化回路204 ではこのようにして符号化したデ
ータの１画像分についての総符号量が算出される。

【００４７】算出された総符号量値がスケールファクタ
決定部206 に与えられると、ステップS316に進んで、こ
の画像データに対して固定長化する圧縮率を設定するス
ケールファクタＫが決定されて、パノラマ圧縮モードが
終了するまで記憶保持される。

【００４８】次いでステップS318に進むと、第２パスに
移行して、メモリ40に記憶された画像データに対する実
際の圧縮符号化処理が行われる（ステップS318）。つま
り、決定したスケールファクタＫと、量子化テーブル21
0 とが乗算器208 にて乗算され、その演算結果である量
子化パラメータが量子化回路202 に供給される。量子化
パラメータが決定されると、メモリ40に蓄積された画像
データが第１パスと同様にして、離散コサイン変換され
て、その交流成分は量子化回路202 にて、先に算出され
た量子化パラメータにより量子化される。量子化された
交流成分と、交流成分とはそれぞれ符号化回路204 にて
符号化される。続くステップS320では、このようにして
符号化された画像データは、カードインタフェース回路
44により記録媒体16に書き込まれる。

【００４９】記録媒体16への情報記録が完了すると、ス
テップS322にてパノラマ圧縮モードが解除されたか否か
が判定され、また、規定枚数の撮影記録が完了したが否
かが判定される。ここでパノラマ圧縮モードを終了しな
い場合には、ステップS302に戻って、レリーズ釦が押下
されたか否かが判定される。ここで、レリーズ釦の押下
状態が検出されると、ステップS304〜ステップS321の処
理を繰り返して行い、ステップS318に進む。このとき、
１コマ目に対して行った撮像制御と同じ制御を以降のコ
マに対して行って各コマを同一条件で撮影するようにし
てもよい。

【００５０】２コマ目以降のパノラマ圧縮モードにおけ
る圧縮符号化処理では、１コマ目の第１パスにて決定さ
れたスケールファクタＫを用いて演算した量子化パラメ
ータを使用して、第２パスにおける圧縮符号化処理が行
われ、処理された画像データが記録媒体16に記録され
る。以上の処理が繰り返されて、記録媒体16には、パノ
ラマ画像を構成するための各要素画像の各コマが適切に
圧縮処理されて記録される。

【００５１】このようにして、パノラマ圧縮モードで
は、後にパノラマ画像を構成する各要素画像に対して圧
縮符号化する際に、一部の要素画像から得られるスケー
ルファクタＫを使用して、各要素画像を圧縮符号化す
る。上記実施例では、最初のコマの総符号量を算出し、
これからスケールファクタＫおよび量子化パラメータを
算出し、各要素画像に対して共通の圧縮パラメータによ
る圧縮を施すので、パノラマ合成した際に、各部で圧縮
による画像劣化の度合いが均一化され、たとえばその継
ぎ目で大きく目立ってしまうことが回避される。

【００５２】たとえば、図５〜図７に示すように、たと
えば行楽地で、パノラマ圧縮モードにおける１コマ目で
被写界500 を撮像し、２コマ目、３コマ目でそれぞれ被
写界600 および700 を撮像して、これら撮像した画像デ
ータの符号化データを記録媒体16から読み出して、図８
に示すパノラマ合成画像を作成した場合、被写界500の
固定長圧縮時に決定したスケールファクタＫを使用し
て、被写界600 および700 を撮像した画像データを圧縮
符号化しているから、たとえば、被写界500 における画
面左下のボート502 部分の画像品質と、被写界600 にお
ける画面右下のボート602 部分の画像品質とが画像間に
おいて同程度となって、図８におけるパノラマ合成画像
800 にて違和感のない接合画像が得られ、各要素画像間
の画質差が感じられなくなる。なおこれら図において、
被写体”ボート”は、ほぼ静止状態であったものとす
る。

【００５３】このように本実施例では、パノラマ画像を
構成するための全要素画像について考慮することなく、
スケールファクタＫを決定し、量子化パラメータを決定
している。したがって本実施例では接合枚数が少ない場
合などでさらに有効である。つまり、最初の１コマに隣
接する２コマ目の画像の細密さが１コマ目と比較して同
程度の場合では、各要素画像の符号化データ量が大きく
は変化しないという点で有効である。また、各要素画像
の細密さが異なる場合であっても、スケールファクタを
決定するコマよりもきめの細やかな画像についてはより
多くの符号量となり、逆に、そのコマよりものっぺりと
した画像に対しては、少ない符号量となる。

【００５４】このことは、以下の場合にも有効に適用す
ることができる。たとえば、大きな画像サイズの画像デ
ータがある場合に、それらを小画面対応に分割した小領
域ごとに圧縮符号化して、小領域ごとの符号化データを
それぞれ１画像として保存する際に、小画面に対応する
ある小領域の画像データを固定長符号化し、そのときの
量子化パラメータと同じ値のパラメータを用いて他の小
画面対応の小領域の画像データを圧縮符号化処理する場
合においても、各小画面における画像劣化の程度が、各
小画面間にて均一化されて、符号化された各小画面を伸
張して単純につなぎ合わせて、元の大きな画像を再生成
した場合において、違和感のない画像が得られる。した
がって、画像の部分的な特徴量から圧縮時における量子
化パラメータを決定することは、とくに画像接合を行う
ための要素画像を作成する際には有効である。

【００５５】次に図９を参照して、ディジタルカメラの
他の実施例を説明すると、このカメラ50は、パノラマ圧
縮モードにて撮像された複数コマの画像データを一時蓄
積するメモリ52を有して、これら複数画像に基づいてス
ケールファクタＫを決定する点で図１に示した実施例と
は異なる。なお、同図において、図１に示した同一の参
照符号の構成は同じ構成でよいのでその説明を省略す
る。

【００５６】詳しくは、本実施例における信号処理回路
54は、メモリ52に接続されて、パノラマ圧縮モードにて
信号処理部30にて処理された複数コマの要素画像をメモ
リ52に蓄積させ、圧縮伸張処理部56は、各要素画像のア
クティビティを平均化した値に基づいてスケールファク
タＫを決定し、これに応じた量子化パラメータによっ
て、メモリ52に蓄積された画像データをそれぞれ圧縮符
号化して記録媒体16に出力する。本実施例におけるメモ
リ52は、パノラマ画像を構成するための各要素画像を複
数コマ分、たとえば４コマ分格納する記憶領域を有して
いる。また、このメモリ52の記憶領域は、連続的に撮影
した複数コマの画像データを一旦蓄積する記憶回路とし
て使用してもよい。

【００５７】本実施例における制御部58は、各要素画像
を撮像するための撮像制御および調整を行って、被写界
をレリーズ釦の操作に応じて撮影し、その画像データを
メモリ52に蓄積させる。圧縮伸張回路56は、図２に示し
た構成とほぼ同様の構成でよく、とくにスケールファク
タ決定部206 は、各要素画像に対する総符号量が算出さ
れると、これらを平均化し、その平均値に従ってスケー
ルファクタＫを決定する点で異なる。この平均値を算出
する際には、たとえば、１コマ目、２コマ目の画像、も
しくは最終画像や、パノラマ合成した際にほぼ中央付近
となるコマの画像に対して、重み付けして平均化しても
よく、また、操作者により重み付けするコマの画像を選
択可能にしてもよい。なお、メモリ52に格納された複数
の要素画像のうち、平均的な細密さの画像を選択し、選
択された要素画像のアクティビティを算出して、これに
基づいてスケールファクタＫを決定するようにしてもよ
い。

【００５８】以上のような構成で、本実施例におけるデ
ィジタルカメラ50の動作を図10および図11を参照して説
明すると、動作状態において動画モードが設定される
と、カメラ50では、撮像素子14より複数フレームの画素
信号が出力されて、アナログ回路20およびADC 24にて処
理された画像データは信号処理部30にて所定のディジタ
ル信号処理が施され、順次エンコーダ32に入力される。
操作者は、こうしてモニタ画面に表示される映像を見て
構図等を決定する。ここで操作部46にパノラマ圧縮を選
択する操作が行われると制御部58はこれを認識し、パノ
ラマ圧縮モードが設定される（ステップS400）。ここで
パノラマ画像を構成する枚数ｍが操作部46に入力される
とその値が制御部58にて記憶保持される。制御部58は、
この撮影枚数となるまで、パノラマ圧縮モードにおける
撮像制御を行う。

【００５９】次いでステップS402にて枚数レジスタｎに
値０がセットされると、ステップS404にて、操作部46の
レリーズ釦が押下されたか否かが制御部58にて判定され
る。ここでレリーズ釦の押下が検出されるとステップS4
06に進み、ステップS406では、撮像している各フレーム
の画像データに基づいて各種評価値が算出されて、算出
された評価値に基づいて、露出および焦点調節が制御さ
れる。これら撮像調整が終了したことがステップS410に
て判定されるとステップS412に進んで、調整された撮影
条件にて１コマの静止画像が撮像される。

【００６０】撮像された画像データが信号処理回路54の
信号処理部30に入力されると、画像データのレベルおよ
び階調が補正されてRGB 画像データが作成される。この
画像データはさらに輝度および色差形式のＹＣ画像デー
タに変換される。次くステップS414（図11）に進むと、
変換された画像データがメモリ52に一旦格納される。第
１パスにおける圧縮伸張処理部42では、図１に示した実
施例と同様にしてこの画像データの総符号量が算出され
る。次いで算出された総符号量値がスケールファクタ決
定部206 に入力されるとステップS418に進み、この画像
データに対して固定長化する圧縮率を設定するスケール
ファクタＫが決定されて記憶保持される。

【００６１】次いでステップS420に進むと、このパノラ
マ圧縮モードにおける撮影枚数ｎが設定枚数ｍと等しく
なったか否かが判定されて、等しい場合にはステップS4
22に進み、等しくない場合にはステップS404に戻って次
の撮影処理が行われる。

【００６２】こうして、設定枚数分の撮影処理が行われ
て、各要素画像がメモリ52に格納され、各要素画像に対
するスケールファクタＫが決定されると、ステップS420
からステップS422に進み、記憶保持されている各スケー
ルファクタＫの平均値がスケールファクタ決定部206 に
て算出される。算出された平均値はステップS424にて各
画像データに対する圧縮処理の際に使用されて、各画像
の変換係数に対する量子化パラメータが共通に設定され
る。こうしてステップS424にて圧縮符号化された画像デ
ータはステップS426にて記録媒体16に書き込まれる。ス
テップS428では、メモリ52に格納された画像データが全
コマ分圧縮処理して記録されたか否かが判定されて、全
コマ終了していればパノラマ圧縮モードが解除される。

【００６３】このように上記各実施例では、画像そのも
のに対してパノラマ合成に適する圧縮符号化処理を行っ
て、処理された符号化データをメモリカード等の記録媒
体16に記録するので、パーソナルコンピュータに、その
符号データを読み込んで、パノラマ合成アプリケーショ
ン等によって画像接合した際に、処理後のパノラマ合成
写真の各部分にて、つなぎ目や画像品質の差異が目立つ
ことが防止される。

【００６４】なお、このようなパノラマ合成機能は、本
カメラ10に搭載されてもよく、その場合、信号処理回路
18,54 および制御部22,58 は、パノラマ画像作成のため
の構成として、画像接合部分の領域を各コマの要素画像
に設定する領域設定部と、設定された領域内にて画像間
の対応点を決定する対応点決定部と、決定された対応点
を基準として各画像を接合・合成する合成処理部とを備
えるとよい。このような機能構成により処理された１コ
マの合成画像を再度圧縮符号化して記録媒体16に書込
み、また、作成した合成写真を伸張および再生して、モ
ニタ表示する。この場合、モニタ画面をはみ出す部分の
画像については、表示画面をスクロール等させたり、画
像を縮小表示させたりして、合成画像全体を視認可能に
する。

【００６５】

【発明の効果】このように本発明によれば、パノラマ画
像を生成するための複数コマの画像信号をそれぞれ圧縮
符号化する際に、複数コマの画像信号のうち、少なくと
もいずれかのコマの画像信号から、前記複数コマの画像
信号を圧縮するための第１のパラメータを決定し、この
第１のパラメータに応じて複数コマの画像をそれぞれ圧
縮符号化するので、要素画像における画像品質の差が各
要素画像間で発生することが防止される。この結果、圧
縮符号化された画像情報を用いてパノラマ合成を行う場
合でも、違和感のない各要素画像の画像情報を得ること
ができる。

【図面の簡単な説明】

【図１】本発明が適用されたディジタルカメラを示すブ
ロック図である。

【図２】圧縮伸張処理部内部構成を示すブロック図であ
る。

【図３】図１に示した実施例における動作を示すフロー
チャートである。

【図４】図１に示した実施例における動作を示すフロー
チャートである。

【図５】被写界の一例を示す図である。

【図６】被写界の一例を示す図である。

【図７】被写界の一例を示す図である。

【図８】パノラマ合成した合成写真の一例を示す図であ
る。

【図９】ディジタルカメラの他の実施例を示すブロック
図である。

【図１０】図９に示した実施例における動作を示すフロ
ーチャートである。

【図１１】図９に示した実施例における動作を示すフロ
ーチャートである。

【符号の説明】

10 ディジタルカメラ 14 撮像素子 16 記録媒体 18 信号処理回路 22 制御部 30 信号処理部 32 エンコーダ 36 メモリインタフェース回路 40 メモリ 42 圧縮伸張処理部 44 カードインタフェース回路

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C022 AA11 AA13 AB01 AB21 AB68 AC41 AC69 5C053 FA08 FA14 FA27 GB21 GB25 GB28 GB34 HA29 KA01 KA04 KA24 LA01 5C059 KK36 KK37 KK39 MA23 MC11 MC14 ME02 PP01 SS14 SS15 TA41 TA47 TA57 TB04 TC18 TC19 TD11 UA31 UA32 UA34 5J064 AA01 BA09 BA16 BB14 BC02 BC16 BC21 BC25 BD03

Claims (15)

【特許請求の範囲】
1. 【請求項１】 撮像手段にて撮像される複数コマの画像
   信号を圧縮処理して出力する圧縮符号化装置において、
   該装置は、 パノラマ画像を生成するための複数コマの画像信号を第
   １のパラメータに応じた圧縮処理によりそれぞれ圧縮符
   号化する圧縮符号化手段と、 第１のパラメータを前記画像信号に基づいて設定する設
   定手段と、 前記圧縮符号化手段にて圧縮符号化された符号データを
   出力する出力手段とを含み、 前記設定手段は、前記複数コマの画像信号のうち、少な
   くともいずれかのコマの画像信号から、前記複数コマの
   画像信号を圧縮するための第１のパラメータを決定する
   決定手段を含み、 前記圧縮符号化手段は、第１のパラメータに応じて、前
   記複数コマの画像信号をそれぞれ圧縮符号化することを
   特徴とする圧縮符号化装置。
2. 【請求項２】 請求項１に記載の装置において、前記圧
   縮符号化手段は、 前記画像信号を圧縮のための変換係数に変換する変換手
   段と、 前記変換係数を量子化する量子化手段と、 該量子化手段にて量子化された変換係数を符号化する符
   号化手段とを含み、 前記設定手段は、第１のパラメータと、量子化テーブル
   とに基づいて、変換係数を量子化する第２のパラメータ
   を生成し、 前記量子化手段は、第２のパラメータに従って前記変換
   係数を量子化することを特徴とする圧縮符号化装置。
3. 【請求項３】 請求項２に記載の装置において、前記変
   換手段は、前記画像信号を直交変換し、 前記量子化手段は、前記直交変換された変換係数の交流
   成分を量子化し、 前記符号化手段は、前記直交変換された変換係数の直流
   成分と、前記量子化された交流成分とをそれぞれ符号化
   して出力することを特徴とする圧縮符号化装置。
4. 【請求項４】 請求項１に記載の装置において、前記圧
   縮符号化手段は、前記画像信号を通常に圧縮するときに
   は、処理対象コマの画像信号ごとに第３のパラメータを
   決定し、第３のパラメータに基づいて前記画像信号を固
   定長圧縮符号化し、パノラマ画像を構成するための要素
   画像を圧縮符号化するときには、第１のパラメータで各
   要素画像に対する圧縮処理を行うことを特徴とする圧縮
   符号化装置。
5. 【請求項５】 請求項１に記載の装置において、該装置
   は、前記複数のコマの画像を記憶する記憶手段を含み、 前記設定手段は、前記記憶手段に記憶される前記複数コ
   マの画像信号からそれぞれ複数の第１のパラメータを得
   て、該複数の第１のパラメータから、前記複数コマの画
   像信号をそれぞれ圧縮符号化するための第４のパラメー
   タを算出し、 前記圧縮符号化手段は、第４のパラメータに従って、前
   記複数コマの画像信号をそれぞれ圧縮符号化することを
   特徴とする圧縮符号化装置。
6. 【請求項６】 請求項５に記載の装置において、前記設
   定手段は、前記複数の第１のパラメータを平均化して第
   ４のパラメータを生成することを特徴とする圧縮符号化
   装置。
7. 【請求項７】 請求項１に記載の装置において、前記設
   定手段は、前記複数のコマの画像から平均的なアクティ
   ビティを有する要素画像を選択し、選択されたコマの要
   素画像に基づいて第１のパラメータを設定し、第１のパ
   ラメータから、前記複数コマの画像信号をそれぞれ圧縮
   符号化するための第５のパラメータを算出し、 前記圧縮符号化手段は、第５のパラメータに従って、前
   記複数コマの画像信号をそれぞれ圧縮符号化することを
   特徴とする圧縮符号化装置。
8. 【請求項８】 請求項１に記載の装置において、該装置
   は、 前記撮像手段と、 該撮像手段の出力を処理して前記画像信号を生成する信
   号処理手段とを含むことを特徴とする圧縮符号化装置。
9. 【請求項９】 撮像手段にて撮像される複数コマの画像
   信号を圧縮処理して出力する圧縮符号化方法において、
   該方法は、 パノラマ画像を生成するための複数コマの画像信号を第
   １のパラメータに応じた圧縮処理によりそれぞれ圧縮符
   号化する圧縮符号化工程と、 第１のパラメータを前記画像信号に基づいて設定する設
   定工程と、 前記圧縮符号化工程にて圧縮符号化された符号データを
   出力する出力工程とを含み、 前記設定工程は、前記複数コマの画像信号のうち、少な
   くともいずれかのコマの画像信号から、前記複数コマの
   画像信号を圧縮するための第１のパラメータを決定する
   決定工程を含み、 前記圧縮符号化工程は、第１のパラメータに応じて、前
   記複数コマの画像信号をそれぞれ圧縮符号化することを
   特徴とする圧縮符号化方法。
10. 【請求項１０】 請求項９に記載の方法において、前記
    圧縮符号化工程は、 前記画像信号を圧縮のための変換係数に変換する変換工
    程と、 前記変換係数を量子化する量子化工程と、 該量子化工程にて量子化された変換係数を符号化する符
    号化工程とを含み、 前記設定工程は、第１のパラメータと、量子化テーブル
    とに基づいて、変換係数を量子化する第２のパラメータ
    を生成し、 前記量子化工程は、第２のパラメータに従って前記変換
    係数を量子化することを特徴とする圧縮符号化方法。
11. 【請求項１１】 請求項１０に記載の方法において、前
    記変換工程は、前記画像信号を直交変換し、 前記量子化工程は、前記直交変換された変換係数の交流
    成分を量子化し、 前記符号化工程は、前記直交変換された変換係数の直流
    成分と、前記量子化された交流成分とをそれぞれ符号化
    することを特徴とする圧縮符号化方法。
12. 【請求項１２】 請求項９に記載の方法において、前記
    圧縮符号化工程は、前記画像信号を通常に圧縮するとき
    には、処理対象コマの画像信号ごとに第３のパラメータ
    を決定し、第３のパラメータに基づいて前記画像信号を
    固定長圧縮符号化し、パノラマ画像を構成するための要
    素画像を圧縮符号化するときには、第１のパラメータで
    各要素画像に対する圧縮処理を行うことを特徴とする圧
    縮符号化方法。
13. 【請求項１３】 請求項９に記載の方法において、該方
    法は、前記複数のコマの画像を記憶する記憶工程を含
    み、 前記設定工程は、前記記憶工程にて記憶される前記複数
    コマの画像信号からそれぞれ複数の第１のパラメータを
    得て、該複数の第１のパラメータから、前記複数コマの
    画像信号をそれぞれ圧縮符号化するための第４のパラメ
    ータを算出し、 前記圧縮符号化工程は、第４のパラメータに従って、前
    記複数コマの画像信号をそれぞれ圧縮符号化することを
    特徴とする圧縮符号化方法。
14. 【請求項１４】 請求項１３に記載の方法において、前
    記設定工程は、前記複数の第１のパラメータを平均化し
    て第４のパラメータを生成することを特徴とする圧縮符
    号化方法。
15. 【請求項１５】 請求項９に記載の方法において、前記
    設定工程は、前記複数のコマの画像から平均的なアクテ
    ィビティを有する要素画像を選択し、選択されたコマの
    要素画像に基づいて第１のパラメータを設定し、第１の
    パラメータから、前記複数コマの画像信号をそれぞれ圧
    縮符号化するための第５のパラメータを算出し、 前記圧縮符号化工程は、第５のパラメータに従って、前
    記複数コマの画像信号をそれぞれ圧縮符号化することを
    特徴とする圧縮符号化方法。