JP2000023083A - デジタルカメラおよび画像信号処理用記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】画素数が多くなってもバッファメモリの容量を
大型化することなく各種信号処理を行う。 【解決手段】ＣＣＤ２６は撮影レンズを通過する被写体
像を撮像し、画像処理回路２９は、ＣＣＤ２６から出力
されるＮ行Ｍ列の画像データに対してγ補正、ホワイト
バランスなどの種々の画像前処理を行い、さらにデータ
をフォーマット処理した後、圧縮回路３３で圧縮する。
ホワイトバランス調整などは、ＣＣＤ２０の出力に沿っ
た１ラインごとに点順次で信号処理を行うライン処理回
路１００でライン順次で行われる。前処理後の画像デー
タに対しては、ｎ×ｍ（Ｎ＞ｎ，Ｍ＞ｍ）のブロック単
位で信号処理するブロック処理回路２００でＪＰＥＧ圧
縮前のフォーマット処理が施される。すなわち、ブロッ
ク順次で信号処理される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を電子的に
圧縮した画像データとして記憶するデジタルカメラおよ
び画像信号処理プログラムが格納された記憶媒体に関す
る。

【０００２】

【従来の技術】従来から、撮影レンズを通過する被写体
像がクイックリターンミラーによって導かれるファイン
ダ装置と、クイックリターンミラーの後段に配置され被
写体像を撮像して画像データを出力するＣＣＤのような
撮像装置と、撮像装置から出力される画像データに対し
てホワイトバランスやγ補正などの画像処理を施す画像
処理回路と、画像処理後のデータをＪＰＥＧなどの方式
で圧縮してフラッシュメモリなどの記憶媒体に記憶する
圧縮回路と、画像処理後のデータを表示するモニタとを
備える電子スチルカメラが知られている。画像処理回路
では、撮像装置から出力される画像データに基づいて、
予め定めたアルゴリズムによりホワイトバランス調整用
のＲゲインやＢゲイン、あるいはγ補正用の階調カーブ
などのパラメータを算出する。また、ＪＰＥＧ方式で圧
縮するために画像データをそれぞれ８×８の輝度データ
Ｙと色差データＣｒ，Ｃｂに変換する。

【０００３】

【発明が解決しようする課題】このような従来の電子ス
チルカメラの撮像装置では、ホワイトバランスやγ補正
などの画像前処理も、画像前処理後のデータをＪＰＥＧ
圧縮するためにフォーマット化する画像後処理もＣＣＤ
の読み出しに沿った１ライン毎に処理している。そのた
め、ＣＣＤの画素数が２００万画素を越えるような高画
質型の電子スチルカメラでは、パイプライン演算などに
使用されるラインバッファメモリの容量が莫大となり、
高価なカメラとなってしまうという問題がある。この問
題は次のように説明することができる。

【０００４】すなわち、従来、固体撮像素子からの出力
を信号処理する場合、撮像素子から出力されるＮ×Ｍの
１画面の画像データはライン毎に点順次で出力されるた
め、画素補間処理、フィルタ処理などの信号処理をする
場合、たとえば５×５のフィルタ処理をする場合など４
ライン分のラインバッファメモリが必要である。つま
り、４ライン分の画像データをメモリに蓄積して初めて
処理が可能となる。このラインバッファメモリは、フィ
ルタ処理、補間処理などの各種の処理ごとにそれぞれ４
ライン分必要となる。

【０００５】このように、上述したフィルタ処理、補間
処理などの各処理ごとに４ラインづつのラインバッファ
メモリを１チップの処理ＩＣに設けると、メモリの占有
する割合が多くなり、１チップ処理ＩＣのゲート数が増
大し、コスト高になってしまう。とくに２００万画素を
越えるような高画素タイプの撮像素子では１ラインの画
素数が多くなり、とくにコストが高くなる。また、ライ
ンバッファメモリを１チップ処理ＩＣの外に設置する場
合、その入力出力ピンが１０ｂｉｔであれば２０ピン必
要となり、ラインバッファメモリごとに２０ピンの入出
力ピンが必要となって、１チップ処理ＩＣのパッケージ
が大きくなってしまう。

【０００６】本発明の目的は、画素数が多くなってもバ
ッファメモリの容量を大型化することなくコストを下げ
るようにしたデジタルカメラを提供することにある。ま
た本発明の他の目的は、画素数の多い撮像素子で撮像さ
れた画像データでもバッファメモリの容量を少なくでき
るような信号処理を行なうプログラムを格納した記憶媒
体を提供することにある。

【０００７】

【課題を解決するための手段】一実施の形態を示す図１
および図２を参照して本発明を説明する。 （１）請求項１の発明は、撮影レンズ９１を通過する被
写体像を撮像して画像データを出力する撮像装置７３
（２６）と、画像データを記録処理する記録処理回路３
３と、撮像装置２６から出力される画像データに対して
前処理を行なった後、記録処理に適したフォーマット処
理を行なう画像処理回路２９とを備えたデジタルカメラ
に適用される。そして、前処理では、Ｎ行Ｍ列の画像デ
ータに対して各行ごとにライン順次の信号処理を行な
い、フォーマット処理では、前処理を終えた画像データ
に対してｎ行ｍ列（Ｎ＞ｎ，Ｍ＞ｍ）のブロックごとに
ブロック順次で信号処理を行なうことにより、上述した
目的を達成する。 （２）請求項２の発明は、請求項１のデジタルカメラに
おいて、記録処理回路を画像データを圧縮する圧縮回路
としたものである。 （３）請求項３の発明は、請求項１のデジタルカメラに
おいて、前処理はγ補正、ホワイトバランス補正を含
み、フォーマット処理は補間処理、ＬＰＦ処理、ＢＰＦ
処理および色差信号算出処理を含むものである。 （４）請求項４の画像信号処理用記憶媒体には、撮像装
置７３（２６）で撮像された画像データを記録するため
にその画像データをフォーマット化するフォーマット処
理と、フォーマット処理に先立って行なわれる各種の信
号前処理と、フォーマット処理を終えた画像データを記
録する記録処理とを実行するプログラムが格納され、前
処理では、画像データに対して各行ごとにライン順次の
信号処理を行ない、フォーマット処理では、前処理を終
えた画像データに対してｎ行ｍ列（Ｎ＞ｎ，Ｍ＞ｍ）の
ブロックごとにブロック順次で信号処理を行なうことに
より、上述した目的を達成する。 （５）請求項５の発明は、請求項４の画像信号処理用記
憶媒体において、記録処理を画像データを圧縮する圧縮
処理としたものである。 （６）請求項６の発明は、請求項４または５の画像信号
処理用記憶媒体において、前処理はγ補正、ホワイトバ
ランス補正を含み、前記フォーマット処理は補間処理、
ＬＰＦ処理、ＢＰＦ処理および色差信号算出処理を含む
ことを特徴とする。

【０００８】なお、本発明の構成を説明する上記課題を
解決するための手段の項では、本発明を分かり易くする
ために実施の形態の図を用いたが、これにより本発明が
実施の形態に限定されるものではない。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 図１に示すように、この実施の
形態による一眼レフ電子スチルカメラは、カメラ本体７
０と、カメラ本体７０に着脱されるファインダ装置８０
と、撮影レンズ９１と絞り９２を内蔵してカメラ本体７
０に着脱される交換レンズ９０とを備える。被写体光は
交換レンズ９０を通ってカメラ本体７０に入射し、レリ
ーズ前は点線で示す位置にあるクイックリターンミラー
７１でファインダ装置８０に導かれてファインダマット
８１に結像する。その被写体像はさらにペンタプリズム
８２で接眼レンズ８３に導かれる。レリーズ後はクイッ
クリターンミラー７１が実線で示す位置に回動し、被写
体光はシャッタ７２を介して撮像装置７３上に結像す
る。レリーズ前に、プリズム８４と結像レンズ８５を通
って被写体像がホワイトバランスセンサ８６に入射し
て、被写体像の色温度を検出する。

【００１０】図２は実施の形態の回路ブロック図であ
る。ＣＰＵ２１にはレリーズ釦に連動する半押しスイッ
チ２２と全押しスイッチ２３から半押し信号と全押し信
号がそれぞれ入力される。ＣＰＵ２１からの指令によ
り、タイミングジェネレータ２４とドライバ２５を介し
て撮像装置７３のＣＣＤ２６が駆動制御される。また、
タイミングジェネレータ２４によりアナログ処理回路２
７とＡ／Ｄ変換回路２８の動作タイミングが制御され
る。さらに、ＣＰＵ２１からの信号によりホワイトバラ
ンス検出処理回路３５が駆動を開始する。

【００１１】半押しスイッチ２２のオン操作に引続いて
全押しスイッチ２３がオン操作されるとクイックリター
ンミラー７１が上方に回動し、交換レンズ９０からの被
写体光はＣＣＤ２６の受光面上で結像し、ＣＣＤ２６に
は被写体像の明るさに応じた信号電荷が蓄積される。Ｃ
ＣＤ２６に蓄積された信号電荷はドライバ２５により吐
き出され、ＡＧＣ回路やＣＤＳ回路などを含むアナログ
信号処理回路２７に入力される。アナログ信号処理回路
２７でアナログ画像信号に対してゲインコントロール、
雑音除去等のアナログ処理が施された後、Ａ／Ｄ変換回
路２８によってデジタル信号に変換される。デジタル変
換された信号はたとえばＡＳＩＣとして構成される画像
処理回路２９に導かれ、そこでホワイトバランス調整、
輪郭補償、ガンマ補正等の画像前処理が行われる。

【００１２】ホワイトバランス検出処理回路３５は、色
温度センサであるホワイトバランスセンサ３５Ａ（図１
のホワイトバランスセンサ８６）と、ホワイトバランス
センサ３５Ａからのアナログ信号をデジタル信号とする
Ａ／Ｄ変換回路３５Ｂと、デジタル色温度信号に基づい
てホワイトバランス調整信号を生成するＣＰＵ３５Ｃと
を含む。ホワイトバランスセンサ３５Ａはたとえば赤色
Ｒと青色Ｂと緑色Ｇとにそれぞれ感度を有する複数の光
電変換素子からなり、被写界全体の光像を受光する。Ｃ
ＰＵ３５Ｃは、複数の光電変換素子の出力に基づいてＲ
ゲインとＢゲインを算出する。これらのゲインはＣＰＵ
２１の所定のレジスタに転送されて格納される。また、
図１のホワイトバランスセンサ８６は、２４列×２０行
の２次元ＣＣＤで構成することもでき、その場合、ＣＣ
Ｄを１６の領域に分割し、各領域にＲＧＢに感度を有す
る素子を複数個配列する。

【００１３】画像前処理が行なわれた画像データに対し
てはさらに、ＪＰＥＧ圧縮のためのフォーマット処理
（画像後処理）が行なわれ、その後、その画像データは
バッファメモリ３０に一時的に格納される。

【００１４】バッファメモリ３０に記憶された画像デー
タは、表示画像作成回路３１により表示用の画像データ
に処理され、ＬＣＤ等の外部モニタ３２に撮影結果とし
て表示される。また、バッファメモリ３０に記憶された
画像データは、圧縮回路３３によりＪＰＥＧ方式で所定
の比率にデータ圧縮を受け、フラッシュメモリ等の記憶
媒体（ＰＣカード）３４に記録される。

【００１５】図３および図４は画像処理回路２９の詳細
を示すブロック図である。図３はＣＣＤ２６からの画像
データに対してラインごとに信号処理するライン処理回
路１００であり、上述した画像前処理を行う。図４は、
ライン処理回路１００で信号処理された画像データを２
０×２０画素領域、１６×１６画素領域、１２×１２画
素領域、あるいは８×８画素領域のブロック単位で信号
処理するブロック処理回路２００であり、上述した画像
後処理を行う。なお、画像処理回路２９は複数のプロセ
ッサを用いてソフトウエアとして実現されるが、この明
細書では便宜上、ハードウエアとして説明する。

【００１６】図３のライン処理回路１００は、Ａ／Ｄ変
換回路２８から出力される１２ビットのＲ，Ｇ，Ｂ信号
に対して後述する各種の信号処理を行なうものであり、
欠陥補正回路１０１と、デジタルクランプ回路１０２
と、ゲイン回路１０３と、ホワイトバランス回路１０４
と、黒レベル回路１０５と、γ補正回路１０６と、平均
値およびヒストグラム算出回路１０７とを有する。

【００１７】欠陥補正回路１０１は、ＣＣＤ２６の出力
に対して１ラインごとに点順次で、欠陥のある画素（予
め特定されてそのアドレスがレジスタにセットされてい
る）からのデータを補正するものである。デジタルクラ
ンプ回路１０２は、ＣＣＤ２６の出力に対して１ライン
ごとに点順次で、いわゆるオプティカルブラックとして
使用する複数の画素データの加重平均をそのラインの各
画素データから減算するものである。ゲイン回路１０３
は、ＣＣＤ２６の出力に対して１ラインごとに点順次
で、ＣＣＤ２６から出力されるＲ，Ｇ，Ｂ信号の各々に
対して一律に所定のゲインをかけるとともに、ＣＣＤ２
６の感度のばらつき補正をＧ信号に対して行ない、さら
に、ＣＣＤ２６の感度比のばらつきをＲ，Ｂ信号に対し
て行なう。

【００１８】ホワイトバランス回路１０４は、ＣＣＤ２
６の出力に対して１ラインごとに点順次で、上述したよ
うにあらかじめ決定されてＣＰＵ２１のレジスタに格納
されているホワイトバランス調整係数であるＲゲインと
ＢゲインをＲ，Ｂ信号に掛合わせる。本発明では後述す
るように、このホワイトバランス回路１０４で補正され
た画像データに基づいて、さらにホワイトバランス微調
整のゲインを算出してホワイトバランスを微調整する。
黒レベル回路１０５は、ＣＣＤ２６の出力に対して１ラ
インごとに点順次で、あらかじめ決定されてＣＰＵ２１
のレジスタに格納されている値をＲ，Ｇ，Ｂ信号に対し
て加算する。γ補正回路１０６は、ＣＣＤ２６の出力に
対して１ラインごとに点順次で、階調ルックアップテー
ブルを用いてγ補正を行なう。なお、γ補正によりそれ
ぞれ１２ビットのＲ，Ｇ，Ｂ信号は８ビットのデータに
変換される。

【００１９】平均値およびヒストグラム算出回路１０７
は、たとえばγ補正後の画像データのなかから、焦点検
出領域の中央部を中心とした５１２×５１２の領域の画
像データを抽出して、Ｒ信号用のホワイトバランス微調
整用ゲインＲＦgainとＢ信号用のホワイトバランス微調
整用ゲインＢＦgainをたとえば、次式（１），（２）に
より算出する。このゲインＲＦgainとＢＦgainはレジス
タに格納される。たとえば、５１２×５１２の画素領域
上に図５に示すようにカラーフィルタが配置されている
場合、Ｒ，Ｇ，Ｂ信号の平均値を（３）〜（５）式で算
出し、（１），（２）式に示すように、Ｇ信号の平均値
ＧaveとＲ信号の平均値Ｒaveとの比およびＧ信号の平均
値ＧaveとＢ信号の平均値Ｂaveとの比からホワイトバラ
ンス微調整用ゲインＲＦgainとＢＦgainを算出する。

【００２０】

【数１】ＲＦgain＝Ｇave／Ｒave （１） ＢＦgain＝Ｇave／Ｂave （２） ただし、Ｒave＝Ｒsum／Ｒpixel数 （３） Ｇave＝Ｇsum／Ｇpixel数 （４） Ｂave＝Ｂsum／Ｂpixel数 （５） このような平均値方式によると、画像データのＲＧＢの
各信号の階調の平均値を求めたことになり、経験的にホ
ワイトバランスの調整結果（全体的なホワイトバラン
ス）が良好となる。

【００２１】平均値およびヒストグラム算出回路１０７
で算出したＲ，Ｇ，Ｂの各信号の輝度レベルのヒストグ
ラムに基づいて、ホワイトバランス微調整用ＲＦgainと
ＢＦgainを次のように算出してもよい。平均値およびヒ
ストグラム算出回路１０７は、Ｒ，Ｇ，Ｂの各信号の輝
度レベルのヒストグラムを算出する。すなわち、各色の
輝度レベルごとの個数を算出して図６（ａ）〜図６
（ｃ）に示すようなヒストグラムを算出する。ここで、
Ｒ，Ｇ，Ｂの各色の９５％レベル値をたとえば、Ｒ＝１
８０、Ｂ＝２００、Ｇ＝１９０とすると、ＲＦgainとＢ
Ｆgainは、ＲＦgain＝１９０／１８０、ホワイトバラン
ス微調整用ＢＦgain＝１９０／２００として算出するこ
とができる。なお、９５％レベル値とは、最も多いドッ
ト数の９５％のドット数の輝度レベル値である。このよ
うなヒストグラム方式によると、ヒストグラムが画像デ
ータのＲＧＢの各信号の階調分布の分散を含む形状とな
り、その形状からホワイトバランス微調整ゲインを求め
れば、所定の部分（白点部分）に集中してホワイトバラ
ンスを合せることができ、経験的にホワイトバランスの
調整結果が良好となる。なお、平均値方式とヒストグラ
ム方式を組合せてもよい。

【００２２】図４のブロック処理回路２００は、ホワイ
トバランス微調整回路２１０と補間／輪郭処理回路２２
０とから構成され、ｎ×ｍ画素データごとに、すなわち
ブロックごとに各種信号処理を行なう。ホワイトバラン
ス微調整回路２１０は、γ補正回路１０６までの処理が
施されてバッファメモリ３０に格納されているＲ信号お
よびＢ信号に対して、２０×２０画素領域の各Ｒ，Ｂ信
号ごとに、平均値回路１０７で算出されたホワイトバラ
ンス微調整用ゲインＲＦgainとＢＦgainをそれぞれ掛け
合せてホワイトバランスの微調整を行なう。

【００２３】補間／輪郭処理回路２２０は、Ｇ補間回路
２２１と、バンドパスフィルタ（ＢＰＦ）２２２と、ク
リップ回路２２３と、ゲイン回路２２４と、ローパスフ
ィルタ（ＬＰＦ）２２５と、色差信号生成回路２２６
と、補間／ローパスフィルタ（ＬＰＦ）回路２２８と、
マトリックス回路２２９と、加算器２３０と、メディア
ン回路２３２とを備え、ホワイトバランス微調整後の画
像データに対して２０×２０画素領域のブロックデータ
ごとにＪＰＥＧ方式のデータ圧縮のためのフォーマット
処理を行なって１６×８画素領域のＹ信号と、８×８画
素領域のＣｂ信号，Ｃｒ信号を生成する。輝度信号Ｙ
は、後述するようにＧ信号の低周波数成分の輝度信号Ｙ
１と高周波数成分の輪郭信号Ｙ２とを含むものである。

【００２４】Ｇ補間回路２２１にはホワイトバランス調
整回路２１０から２０×２０画素領域のブロック信号が
入力され、その中心の１６×１６画素領域のデータにつ
いて、Ｒ信号あるいはＢ信号の画素領域に対してＧ成分
を補間演算で算出する。すなわち、図７に示すように、
２０×２０画素領域の入力データＤ２０について、５×
５画素領域データＤ５１（１行１列〜５行５列）の中央
の空格子点（３行３列の画素であり、Ｂ信号が得られ
る）のＧ成分を算出し、この値を１６×１６画素領域の
出力データＤ１６の３行３列の画素（Ｂを○で囲ったも
の）のＧ成分として置換する。

【００２５】次いで、２０×２０画素領域の入力データ
Ｄ２０について、５×５画素領域データＤ５２（２行２
列〜６行６列）の中央の空格子点（４行４列の画素であ
り、Ｒ信号が得られる）のＧ成分を算出し、この値を１
６×１６画素領域の出力データＤ１６の４行４列の画素
（Ｒを○で囲ったもの）のＧ成分に置換する。このよう
な処理を繰り返し行なうことにより、１６×１６画素領
域のすべての空格子点についてＧ補間処理が行われ、出
力データＤ１６を得る。そして、そのうちの１２×１２
画素領域の出力データＤ１２をバンドパスフィルタ２２
２とローパスフィルタ２２５にそれぞれ出力する一方、
１６×１６画素領域の出力データＤ１６を色差信号生成
回路２２６に出力する。

【００２６】バンドパスフィルタ２２２は、Ｇ補間回路
２２１から出力される１２×１２画素領域のＧ信号のう
ち中間周波数成分（ただし、被写体の輪郭が抽出できる
程度に高い周波数成分であり、便宜上、高周波数成分と
呼ぶ）を取り出す。すなわち、図８に示すように、１２
×１２画素領域の入力データＤ１２について、５×５画
素領域データＤ５（５行５列〜９行９列）にバンドパス
フィルタ係数を掛け合せてＢＰＦ出力データを得、その
値を８×８画素領域の出力データＤ８の７行７列のデー
タ（太字Ｇ）として置換する。このような処理を繰り返
すことで８×８画素領域のすべての画素データをＢＰＦ
後のＧデータに置換し、出力データＤ８を生成する。

【００２７】クリップ回路２２３は、バンドパスフィル
タ２２２から出力される８×８画素領域データＤ８のそ
れぞれを、設定したレベルでクリップおよびカットす
る。ゲイン回路２２４は、クリップ回路２２３の出力に
あらかじめ定められたゲインを掛ける。

【００２８】ローパスフィルタ２２５は、Ｇ補間回路２
２１から出力される１２×１２画素領域のＧ信号のうち
低周波数成分を取り出す。すなわち、図９に示すよう
に、１２×１２画素領域の入力データＤ１２について、
５×５画素領域データＤ５（５行５列〜９行９列）にロ
ーパスフィルタ係数を掛け合せてＬＰＦ出力データを
得、その値を８×８画素領域の出力データＤ８の７行７
列のデータ（ハッチング領域）として置換する。このよ
うな処理を繰り返すことで８×８画素領域のすべての画
素データをＬＰＦ後のＧデータに置換し、出力データＤ
８を生成する。

【００２９】色差信号生成回路２２６は、図１０に示す
ように、ホワイトバランス微調整回路２１０の出力であ
る１６×１６画素領域のＲＧＢ信号入力データＤ１６−
１およびＧ補間回路２２１の出力である１６×１６画素
領域のＧ信号入力データＤ１６−２に基づいて（Ｂ−
Ｇ）信号と（Ｒ−Ｇ）信号を含む中間データＤ１６−３
を生成する。さらに、中間データＤ１６−３を（Ｂ−
Ｇ）色差信号の出力データＤ１６−４と（Ｒ−Ｇ）色差
信号の出力データＤ１６−５とに分離する。

【００３０】補間／ＬＰＦ回路２２８は、色差信号生成
回路２２６から１６×１６画素領域の８ビットの（Ｂ−
Ｇ）信号と（Ｒ−Ｇ）信号をそれぞれ入力して、５×５
画素領域ごとに（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号をそれ
ぞれ補間演算するとともに、同時に低帯域信号を取り出
すローパスフィルタリング処理も行ない、その結果であ
る１２×１２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信
号をマトリックス回路２２９のＣｂ，Ｃｒマトリックス
部へ出力する。また、８×８画素領域の（Ｂ−Ｇ）信号
と（Ｒ−Ｇ）信号をマトリックス回路２２９のＹマトリ
ックス部へ出力する。

【００３１】５×５画素領域の（Ｒ−Ｇ）データを図１
１のように表わすとき、上記補間演算とローパスフィル
タリング処理演算は次式（６）で表わされる。

【数２】

【００３２】一般に、補間フィルタと帯域制限のＬＰＦ
を同時にかける場合には次のようなフィルタ係数の制限
がある。簡単のために１次元で説明する。補間後のサン
プル点のうち、Ｎ周期で実サンプル点がある場合を考え
る。たとえば、ａ，ａ，ｂ，ｂ，ａ，ａ，ｂ，ｂ，・・
・・・・・・（ただし、ａは実サンプル点、ｂは補間す
るサンプル点とする。なお、この例では４周期であ
る）。これを（２ｎ＋１）次（ただし、（２ｎ＋１）は
Ｎよりも大きい）の奇数次対称型デジタルフィルタで補
間する場合、実サンプル点が一様であれば、補間後のサ
ンプル点も一様でなければいけないので、以下のような
フィルタ係数の制限がある。

【００３３】Ｃ（ｋ）をｋ番目のフィルタ係数とする
と、以下のようにＮ個存在する係数の組の和が互に等し
くなくてはならい。

【数３】 ただし、ｉはフィルタ係数が（２ｎ＋１）以下に収まる
０以上の整数 ｋはｎ未満の０以上の整数

【００３４】２次元の場合は、水平方向と垂直方向に同
様の制限のフィルタを掛合わせて２次元フィルタを構成
すればよい。この実施の形態では、図５と図１１に示す
ように２画素周期のサンプル点を補間するので、Ｎ＝２
であり、フィルタ係数は偶数次の和と奇数次の和が等し
くなければならない。すなわち、 ΣＣ（２＊ｉ）＝ΣＣ（２＊ｉ＋１） ２次元で上記（６）式のような５次×５次の対称型フィ
ルタの場合は、 ４＊ｋｃ１＋２＊ｋｃ３＋４＊ｋｃ５＋２＊ｋｃ７＋ｋ
ｃ９＝４＊ｋｃ２＋４＊ｋｃ４＋２＊ｋｃ６＋２＊ｋｃ
８ となる。

【００３５】たとえば、図１２を参照して（Ｒ−Ｇ）信
号の補間／ＬＰＦ処理について説明する。１６×１６画
素領域の入力データＤ１６の（Ｒ−Ｇ）信号について、
５×５画素領域データＤ５（３行３列〜７行７列）に補
間／ＬＰＦフィルタ係数を掛け合せ、その中央領域（５
行５列）の（Ｒ−Ｇ）データを算出し、これを１２×１
２画素領域の出力データＤ１２の５行５列のデータとし
て置換する。このような処理を繰り返すことで（Ｒ−
Ｇ）信号について１２×１２画素領域のすべての画素デ
ータを補間／ＬＰＦ処理し、出力データＤ１２を得る。
（Ｂ−Ｇ）信号についても同様な処理を行なって、１２
×１２画素領域の出力データを生成する。

【００３６】マトリックス回路２２９は、Ｙマトリック
ス部と、Ｃｂマトリックス部と、Ｃｒマトリックス部と
から構成される。Ｙマトリックス部は、補間／ＬＰＦ回
路２２８から８×８画素領域の（Ｂ−Ｇ）信号と（Ｒ−
Ｇ）信号を入力するとともに、ローパスフィルタ２２５
から８×８画素領域のＧ信号を入力し、次式（７）によ
り８×８画素領域の低周波数成分の輝度信号Ｙ１を生成
する。

【数４】 Ｙ１（ｉ，ｊ）＝[Mkg×G(i,j)+Mkr1×R-G(i,j)+Mkb1×B-G(i,j)] （７） ただし、Ｍｋｇ、Ｍｋｒ１、Ｍｋｂ１はマトリックス係
数

【００３７】Ｃｂマトリックス部およびＣｒマトリック
ス部はそれぞれ、補間／ＬＰＦ回路２２８から１２×１
２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を各々入
力し、次式（８），（９）により１２×１２画素領域の
Ｃｂ信号とＣｒ信号を生成する。

【数５】 Ｃｒ（ｉ，ｊ）＝[Mkr2×R-G(i,j)+Mkb2×B-G(i,j)] （８） Ｃｂ（ｉ，ｊ）＝[Mkr3×R-G(i,j)+Mkb3×B-G(i,j)] （９） ただし、Ｍｋｒ２、Ｍｋｒ３、Ｍｋｂ２、Ｍｋｂ３はマ
トリックス係数

【００３８】加算器２３０は、マトリックス回路２２９
から出力される８×８画素領域の低周波数成分の輝度信
号Ｙ１とゲイン回路２２４から出力される８×８画素領
域の高周波数成分の輪郭抽出信号Ｙ２を加算する。ゲイ
ン回路２２４から出力される輪郭抽出信号Ｙ２は、Ｇ補
間された１６×１６画素領域のＧ信号から高周波数成分
を抽出したもの、すなわち輪郭を抽出したものである。
したがって、加算器２３０で式（７）で算出される輝度
信号Ｙ１とゲイン回路２２４で算出された輪郭抽出信号
Ｙ２を加算することにより、画像全体の輝度／輪郭抽出
信号Ｙ（Ｙ１＋Ｙ２）が算出される。この加算結果はバ
ッファメモリ３０に格納される。

【００３９】メディアン回路２３３は、マトリックス回
路２２９からの１２×１２画素領域のＣｂ信号とＣｒ信
号を入力し、５×５画素領域に含まれる３×３画素の９
点を利用したメディアン処理を行ない、８×８画素のＣ
ｒ信号とＣｂ信号を出力する。

【００４０】この実施の形態のメディアン処理では、図
１３に示すように、１２×１２画素のデータＤ１２（デ
ータは黒点印）のうち、５×５画素領域に含まれる３×
３画素（５行５列〜９行９列）のデータＤ３−５の９個
のデータ（×印）に対してメディアンフィルタ処理を行
なう。すなわち、９個のデータを昇順もしくは降順にソ
ートして中央値をメディアン処理データとする。そし
て、得られたメディアン処理データを、８×８画素の出
力データＤ８の７行７列のデータとして置換する。この
ような演算を繰り返して行なうことにより、Ｃｂ，Ｃｒ
信号のそれぞれについて８×８画素の出力データＤ８を
生成する。Ｃｒ信号とＣｂ信号の出力データＤ８はバッ
ファメモリ３０に格納される。

【００４１】ＪＰＥＧ圧縮回路３３は、上述したように
ブロック処理回路２００に入力された２０×２０画素領
域ごとの入力データに対して、加算回路２３０により生
成された１６×８画素のＹ信号と、メディアン回路２３
２により生成された８×８画素のＣｒ信号とＣｂ信号と
に基づいて、ＪＰＥＧ圧縮方式の８×８画素にフォーマ
ット化されたＹＣｒＣｂ信号を１単位として抽出し、周
知の手順により圧縮することを繰り返し行ってすべての
画像を圧縮する。圧縮された画像データはＣＰＵ２１を
経由してＰＣカード３４に記憶される。

【００４２】このように構成された電子スチルカメラの
動作について説明する。全押しスイッチ２３が操作され
ると、クイックリターンミラーが跳ね上がり、図１４に
示す撮影シーケンスのプログラムが起動される。ステッ
プＳ２１では、ＣＣＤ２６の各画素が受光信号を蓄積
し、蓄積終了後、全画素の蓄積電荷を順次に吐き出す。
ステップＳ２２において、吐き出された画像データはア
ナログ信号処理回路２７で処理された後、Ａ／Ｄ変換回
路２８でデジタル画像データに変換され、画像処理回路
２９に入力される。次にステップＳ２３に進み、ホワイ
トバランス調整、γ階調補正、ＪＰＥＧフォーマット化
処理などが画像処理回路２９で行なわれる。画像処理が
終了するとステップＳ２４に進み、画像処理後の画像デ
ータをいったんバッファメモリ３０に記憶する。ステッ
プＳ２５において、バッファメモリ３０から画像データ
を読み込んでＪＰＥＧ圧縮回路３３でデータを圧縮す
る。ステップＳ２６では、圧縮した画像データをＰＣカ
ード３４に記憶する。

【００４３】この実施の形態の作用効果についてさらに
詳細に説明する。 （１）画素単位およびライン単位で行なうことが可能な
信号処理については図３に示したライン処理回路１００
が担当する。すなわち、ライン処理回路１００はＣＣＤ
２６から出力されるデータに沿ってラインごとにデータ
を点順次で出力処理する。そしてライン処理後のデータ
をいったんバッファメモリ３０に格納し、その後の信号
処理は、ブロック処理回路２００において、ｎ×ｍ
（ｎ，ｍ＝２０，１６，１２，８）画素を１つのブロッ
ク単位で行なうようにした。したがって、２００万画素
を越えるような高画質タイプの電子スチルカメラの場合
でも、ラインバッファが大型化することがない。すなわ
ち、この実施の形態のようにブロック単位で信号処理を
行わない場合には、図１５に示すように、Ｇ補間処理、
ＢＰＦ処理、補間／ＬＰＦ処理およびメディアン処理回
路のそれぞれに４ライン分のバッファメモリＢＭ１〜Ｂ
Ｍ４が必要となり、回路規模が大型化するのは明らかで
ある。また、画素単位およびライン単位で行なうパイプ
ライン演算についてはブロックごとの処理ではなくライ
ン処理なので、パイプライン演算時間も従来と同様に高
速にできる。

【００４４】（２）あらかじめ決定したホワイトバラン
ス調整係数ＲゲインおよびＢゲインを用いてホワイトバ
ランスを行なった画像に基づいて、上式（１），（２）
のようなホワイトバランス微調整用ＲＦゲインおよびホ
ワイトバランス微調整用ＢＦゲインを算出し、ホワイト
バランス後の画像データに対してそのＲＦゲイン，ＢＦ
ゲインによりホワイトバランス微調整を行なうようにし
たので、あらかじめ決定されているホワイトバランス調
整係数の調整不良が発生しても、色かぶり画像が発生す
ることが防止される。

【００４５】（３）補間／ＬＰＦ回路２２８により、
（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号をそれぞれ補間演算す
るとともに、同時に低周波数成分を取り出すローパスフ
ィルタリング処理も行なうようにしたので、補間処理、
マトリッックス処理、ＬＰＦ処理の順番で信号を処理し
て偽色や色モアレ抑制する方式に比べて、処理時間が短
縮される。また、ハードウエアを省略することができる
うえに、トータルの周波数応答を一箇所でコントロール
できるので制御しやすい。

【００４６】（４）ＪＰＥＧ方式で圧縮する前に８×８
画素のＣｒ画像データとＣｂ画像データに対してメディ
アン処理を行なうようにしたので、従来のようにローパ
スフィルタリングだけで偽色や色モアレを抑制する場合
に比べて、偽色や色モアレをより短時間で一層抑制する
ことができる。また、ＪＰＥＧ圧縮フォーマット処理に
より８×８画素のＣｒ，Ｃｂ信号を生成する際、補間／
ＬＰＦ処理、マトリックス処理された１２×１２画素デ
ータに対して、５×５画素領域のＣｂ信号とＣｒ信号を
水平方向と垂直方向ともに１画素ごとに３×３画素の９
個のデータを抽出してメディアン処理するようにしたの
で、５×５画素の２５個のデータの全てに対してメディ
アン処理する場合に比べて、メディアン処理時間を短縮
できる。

【００４７】以上の実施の形態では電子スチルカメラに
ついて説明したが、ライン処理回路１００あるいはブロ
ック処理回路２００をソフトウエハエアの形態でＣＤ−
ＲＯＭやフロッピデイスクなどの記憶媒体に画像処理プ
ログラムとして格納し、パソコンで画像処理する際に使
用することもできる。この場合、ＣＣＤで撮像してデジ
タル化された画像データを大容量の画像データ用記憶媒
体に記憶し、この記憶媒体をパソコンにセットして画像
データを取込んだ上で、上記画像処理プログラムにより
上述のようなライン処理やブロック処理を行うようにす
る。たとえば図３において、黒レベル回路１０５の出力
データを生データとしてＰＣカード３４に記憶し、その
ＰＣカード３４をパソコンにセットして生データの画像
処理を行なうことができる。

【００４８】上述したようにパソコン上で画像処理する
際、上記画像データ用記憶媒体に記憶された画像データ
が既にホワイトバランス調整を施されている場合には、
ホワイトバランス微調整処理だけを行なうようにプログ
ラムを作成する。一方、上記画像データ用記憶媒体に記
憶された画像データがホワイトバランス調整を施されて
いない場合には、ホワイトバランス調整処理とホワイト
バランス微調整処理を行なうようにプログラムを作成す
る。その場合、画像データ用記憶媒体にはＣＣＤからの
撮像データのみならず、ホワイトバランスセンサ８６
（３５Ａ）で検出した被写体の色温度情報も合せて記憶
しておき、そのデータに基づいてホワイトバランス調整
を行なう。

【００４９】なお以上では、一眼レフ電子スチルカメラ
について説明したが、レンズ交換ができない電子スチル
カメラ、動画像も取込めるデジタルビデオカメラにも本
発明を適用できる。また、以上では、ＪＰＥＧ圧縮方式
について説明したがその他の圧縮方式にも本発明を適用
できる。その他の圧縮方式としては、ＴＩＦＦ方式によ
る圧縮、フラクタル方式による圧縮、ＭＰＥＧ方式によ
る圧縮などがあげられる。なお、この明細書でのフォー
マット処理は上記各種の圧縮処理に先立って行なうフォ
ーマット処理に限定されず、非圧縮のＴＩＦＦフォーマ
ット処理も含むものである。

【００５０】以上の実施の形態における回路構成は一例
を示すに過ぎず、たとえば次のような態様を含むもので
ある。 （１）ブロック処理回路２００のＧ補間処理、ＢＰＦ処
理、ＬＰＦ処理、補間／ＬＰＦ処理では、２０×２０、
１６×１６、１２×１２、８×８のいずれかのブロック
を１単位として画像処理するものとして説明した。しか
しながら、各処理において、５×５の画像データを１単
位として画像処理すれば足りる。 （２）ホワイトバランス微調整用ゲインＲＦgainとＢＦ
gainを算出する際、焦点検出領域の中央部を中心とした
５１２×５１２の領域の画像データを抽出するようにし
たが、全画像のデータを利用してもよいし、撮影領域の
中央部の所定領域のデータを使用したり、焦点検出領域
が複数ある場合には選択された焦点検出領域の所定領域
の画像データを利用してもよい。測光領域として利用さ
れた領域のデータに基づいてホワイトバランス微調整係
数を算出してもよい。

【００５１】

【発明の効果】以上詳細に説明したように本発明によれ
ば、撮像装置から出力される画像データに対してγ補
正、ホワイトバランス補正などの前処理を各行ごとにラ
イン順次で行ない、前処理を終えた画像データに対して
ｎ行ｍ列のブロックごとにブロック順次で記録処理や圧
縮処理前のフォーマット処理を行なうようにしたので、
とくに、画素数が２００万を越えるような撮影装置で撮
像する高画質タイプの画像を処理する場合にバッファメ
モリの容量を大型化することなくコスト低減を図ること
が可能となる。また、処理チップをハードウエアで作成
する場合にも小型課、低コスト化を実現できる。

【図面の簡単な説明】

【図１】一眼レフ電子スチルカメラの一実施の形態の構
成を示す図

【図２】一眼レフ電子スチルカメラの信号処理系統の一
実施の形態のブロック図

【図３】図２に示した信号処理系統のうちライン処理を
行なう回路を説明するブロック図

【図４】図２に示した信号処理系統のうちブロック処理
を行なう回路を説明するブロック図

【図５】カラーフィルタの配列を示す図

【図６】Ｒ，Ｇ，Ｂのヒストグラムを説明する図

【図７】Ｇ補間回路の処理内容を説明する図

【図８】バンドパスフィルタの処理内容を説明する図

【図９】ローパスフィルタの処理内容を説明する図

【図１０】色差信号生成回路の処理内容を説明する図

【図１１】補間／ＬＰＦ回路で処理されるデータ例を示
す図

【図１２】補間／ＬＰＦ回路の処理内容を説明する図

【図１３】メディアン回路の処理内容を説明する図

【図１４】全押しスイッチで起動されるプログラムを示
すフローチャート

【図１５】ＪＰＥＧフォーマット処理をブロック処理で
はなくライン処理で行なう場合のブロック図

【符号の説明】

２１…ＣＰＵ、２２…半押しスイッチ、２３…全押しス
イッチ、２６…ＣＣＤ、２９…画像処理回路、３３…Ｊ
ＰＥＧ圧縮回路、３５…ホワイトバランス検出処理回
路、３５Ａ…ホワイトバランスセンサ、７３…ＣＣＤ、
１００…ライン処理回路、１０４…ホワイトバランス回
路、１０７…平均値算出／ヒストグラム算出回路、２０
０…ブロック処理回路、２１０…ホワイトバランス微調
整回路、２２８…補間／ＬＰＦ回路、２２９…マトリッ
クス回路、２３２…メディアン回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/79 Ｈ０４Ｎ 9/79 Ｇ (72)発明者 陳 浙宏 東京都千代田区丸の内３丁目２番３号 株 式会社ニコン内 (72)発明者 壽圓 正博 東京都千代田区丸の内３丁目２番３号 株 式会社ニコン内 Ｆターム(参考） 5C053 FA08 FA17 FA27 GA11 GB01 GB15 GB36 GB37 GB40 HA18 HA33 HB02 KA03 KA12 KA14 KA21 KA22 KA24 KA25 KA30 LA06 LA11 5C055 AA06 BA03 BA05 BA06 BA07 CA01 CA07 DA00 EA02 EA04 FA03 FA22 GA01 GA29 HA18 HA31 HA36 HA37 JA03 5C065 AA03 BB02 BB12 BB23 CC02 CC03 CC07 CC08 CC09 DD02 FF03 FF11 GG02 GG08 GG13 GG15 GG18 GG20 GG22 GG30 GG32 GG44 GG49 GG50 HH04 5C066 AA01 AA11 AA18 BA06 BA13 BA17 CA01 CA05 CA17 DA01 DB01 DC06 DD07 EA03 EA08 EA14 EA19 EC02 EC04 EC05 EC12 EE05 GA02 GA05 GA31 GB01 HA02 HA06 JA01 KA09 KA12 KB05 KC02 KC04 KE01 KE02 KE04 KE07 KE11 KE17 KE19 KE21 KL04 KM02 KM11 KP05 LA01

Claims (6)

【特許請求の範囲】
1. 【請求項１】撮影レンズを通過する被写体像を撮像して
   画像データを出力する撮像装置と、 前記画像データを記録処理する記録処理回路と、 前記撮像装置から出力される画像データに対して前処理
   を行なった後、前記記録に適したフォーマット処理を行
   なう画像処理回路とを備えたデジタルカメラにおいて、 前記前処理では、Ｎ行Ｍ列の画像データに対して各行ご
   とにライン順次の信号処理を行ない、前記フォーマット
   処理では、前記前処理を終えた画像データに対してｎ行
   ｍ列（Ｎ＞ｎ，Ｍ＞ｍ）のブロックごとにブロック順次
   で信号処理を行なうことを特徴とするデジタルカメラ。
2. 【請求項２】請求項１のデジタルカメラにおいて、 前記記録処理回路は前記画像データを圧縮する圧縮回路
   であることを特徴とするデジタルカメラ。
3. 【請求項３】請求項１または２のデジタルカメラにおい
   て、 前記前処理はγ補正、ホワイトバランス補正を含み、前
   記フォーマット処理は補間処理、ＬＰＦ処理、ＢＰＦ処
   理および色差信号算出処理を含むことを特徴とするデジ
   タルカメラ。
4. 【請求項４】撮像装置で撮像された画像データを記録す
   るためにその画像データをフォーマット化するフォーマ
   ット処理と、 前記フォーマット処理に先立って行なわれる各種の信号
   前処理と、 前記フォーマット処理を終えた画像データを記録する記
   録処理とを含み、 前記前処理では、Ｎ行Ｍ列の画像データに対して各行ご
   とにライン順次の信号処理を行ない、前記フォーマット
   処理では、前記前処理を終えた画像データに対してｎ行
   ｍ列（Ｎ＞ｎ，Ｍ＞ｍ）のブロックごとにブロック順次
   で信号処理を行なうプログラムが格納されていることを
   特徴とする画像信号処理用記憶媒体。
5. 【請求項５】請求項１の画像信号処理用記憶媒体におい
   て、 前記記録処理は前記画像データを圧縮する圧縮処理であ
   ることを特徴とする画像信号処理用記憶媒体。
6. 【請求項６】請求項４または５の画像信号処理用記憶媒
   体において、 前記前処理はγ補正、ホワイトバランス補正を含み、前
   記フォーマット処理は補間処理、ＬＰＦ処理、ＢＰＦ処
   理および色差信号算出処理を含むことを特徴とする画像
   信号処理用記憶媒体。