JP2007251860A - 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 - Google Patents

Abstract

【課題】回路規模増大化やノイズ処理速度の低下を招くことなく、小さなウィンドウサイズの平滑化フィルタでは除去し得ない低周波成分のカラーノイズに対するノイズリダクション効果を得ることのできる撮像装置を提供する。
【解決手段】本発明の撮像装置は、色差成分画像データの画素を第１の所定のサンプリングフォーマットに従って間引いてサンプリングするサンプリング手段２５と、低周波成分のカラーノイズ除去処理を行うか否かを判断する判断手段１４と、低周波成分のカラーノイズ除去処理を行う場合には、色差成分画像データの画素を第２の所定のサンプリングフォーマットに従って間引いてカラーノイズ処理を行わない場合の画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成するようにサンプリング手段２５のサンプリング率を変更するサンプリング率変更手段１４とを備えている。
【選択図】図２

Description

本発明は、画像データのカラーノイズを除去するカラーノイズ除去方法及びこの方法を用いた撮像装置の改良に関する。

デジタルスチルカメラ等の撮像装置は、撮像素子からの映像信号に対して、A/D変換、信号増幅（ＡＧＣ：アナログゲインコントロール）、ガンマ補正、輝度成分画像データと色差成分画像データとに変換する画像処理等の信号処理を行って、１フレーム分の画像データを生成している。このようにして生成された画像データには、撮像素子やその途中の処理に起因するノイズ成分が含まれている。

従来から、その画像データのカラーノイズを除去するカラーノイズ除去方法として、輝度成分画像データと色差成分画像データとを分離し、データ間の空間的な相関性を考慮してノイズリダクションの強度を変更するもの（引用文献等１参照）、Ｒ・Ｇ・Ｂの各色について、異なるノイズ除去方法を用いることにより、解像度に影響を与えずにカラー成分のノイズを削除するもの（引用文献等２参照）、画面内の重要度に応じてノイズリダクションの度合を変更するもの（引用文献等３参照）、被写体の状態や、圧縮時の圧縮率設定に応じて色差成分画像データの間引き率を変更することによって輝度成分画像データ側の情報量を増やして圧縮ひずみノイズを軽減するもの（引用文献等４参照）、記録媒体から読み出されて伸張された再生画像データを一旦縮小し、元のサイズに拡大することによってノイズを削減するものが知られている（引用文献等５参照）。
特開２００１−１８９９４４号公報 特開２００４−１５９１７６号公報 特開２００１−２２３９４１号公報 特開２００３−４７０２４号公報 特開２００２−９５００９号公報

CCD等の撮像素子を使った撮像装置は、小型化と高画素化が進んでおり、撮像素子の受光部の単位当たりの大きさ自体が一層小さくなっており、受光部の受光面積が小さくなることによって、受光量の減少に起因するＳ／Ｎ比の劣化が顕在化してきている。

また、被写体照度が低い時に、映像信号レベルを上げるための信号増幅回路のゲインを大きくすることに起因するＳ／Ｎ比の劣化等もある。

これらのノイズは、特定パターンのノイズではなく、ランダムに発生するいわゆるランダムノイズであり、このランダムノイズを除去するために、通常、平滑化処理が用いられている。

ところで、輝度成分と色差成分（カラー成分）のノイズの空間周波数を較べた場合、カラーノイズは周波数が低いので、平滑化処理に用いるフィルタのサイズを大きくしなければ、ノイズ除去効果が得られない。

ところが、このカラーノイズを除去するために、フィルタのサイズを大きくすると、これに伴って回路規模が増大化するため、ＬＳＩのコストアップを招く。また、フィルタによる処理時の消費電力が増大すると共に、カラーノイズ除去の処理速度が低下するという不都合が生じる。

本発明は、上記の事情に鑑みて為されたもので、回路規模増大化やノイズ処理速度の低下を招くことなく、小さなウィンドウサイズの平滑化フィルタでは除去し得ない低周波成分のカラーノイズに対するノイズリダクション効果を得ることのできる撮影画像のカラーノイズを除去するカラーノイズ除去方法及びこの方法を用いた撮像装置を提供することを目的とする。

請求項１に記載のカラーノイズ除去方法は、撮像素子により取り込まれて輝度成分画像データと色差成分画像データとに変換された画像データのうち色差成分画像データに含まれる低周波成分のカラーノイズを除去するカラーノイズ除去方法であって、
低周波成分のカラーノイズ除去処理を行わない場合に前記色差成分画像データについての画素を第１の所定のサンプリングフォーマットに従って間引いてサンプリングする第１色差成分サンプリングステップと、
低周波成分のカラーノイズ除去処理を行うか否かを判断する判断ステップと、
前記低周波成分のカラーノイズ除去処理を行う場合には、前記色差成分画像データの画素を第２の所定のサンプリングフォーマットに従って間引いて前記低周波成分のカラーノイズ除去処理を行わない場合の画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成する第２色差成分サンプリングステップと、
該第２色差成分サンプリングステップにより生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データと前記輝度成分画像データとを記録する記録ステップと、を備えていることを特徴とする。

請求項２に記載のカラーノイズ除去方法は、前記第２色差成分サンプリングステップが、第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち対象とする画素を残して該対象とする画素の周辺の画素を間引く間引き処理ステップであることを特徴とする。

請求項３に記載のカラーノイズ除去方法は、前記第２色差成分サンプリングステップが、第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち複数の画素の色差成分画像データを用いて対象とする画素を生成することにより対象とする画素を残して該対象とする画素の周辺の画素を間引くのと等価な間引きを行う間引き処理ステップであることを特徴とする。

請求項４に記載のカラーノイズ除去方法は、前記間引き処理ステップと前記記録ステップとの間に、前記縮小画像サイズに相当する少ないデータ量の色差成分画像データを前記カラーノイズ除去処理を行わない場合の色差成分画像データの画像サイズに拡大する画像リサイズステップを備えていることを特徴とする。

請求項５に記載のカラーノイズ除去方法は、前記間引き処理ステップと前記画像リサイズステップとの間に、前記間引き処理ステップにより生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理ステップを備えていることを特徴とする。

請求項６に記載のカラーノイズ除去方法は、撮像素子により取り込まれて輝度成分画像データと色差成分画像データとに変換された画像データのうち色差成分画像データに含まれるカラーノイズを除去するカラーノイズ除去方法であって、
低周波成分のカラーノイズ除去処理を行わない場合に前記色差成分画像データについての画素を所定のサンプリングフォーマットに従って間引いてサンプリングする第１色差成分サンプリングステップと、
低周波成分のカラーノイズ除去処理を行うか否かを判断する判断ステップと、
前記低周波成分のカラーノイズ除去処理を行う場合には、該低周波成分のカラーノイズ除去処理を行わない場合と同一のサンプリングフォーマットに従って前記低周波成分のカラーノイズ除去処理を行わない場合の画素に対応する画素を間引いてサンプリングする第２色差成分サンプリングステップと、
前記低周波成分のカラーノイズ除去処理を行う場合には低周波成分のカラーノイズ除去処理を行わない場合の色差成分画像データの画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成する縮小画像生成ステップと、
該縮小画像生成ステップにより生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理ステップと、
該フィルタ処理が施された縮小画像サイズに相当する少ないデータ量の色差成分画像データを元の画像サイズの色差成分画像データに拡大する縮小画像拡大ステップと、を備えていることを特徴とする。

請求項７に記載の撮像装置は、撮像素子により取り込まれた映像信号を輝度成分画像データと色差成分画像データとに変換する変換手段と、
前記色差成分画像データの画素を水平方向と垂直方向との少なくとも一方について第１の所定のサンプリングフォーマットに従って間引いてサンプリングするサンプリング手段と、
低周波成分のカラーノイズ除去処理を行うか否かを判断する判断手段と、
前記低周波成分のカラーノイズ除去処理を行う場合には、前記色差成分画像データの画素を第２の所定のサンプリングフォーマットに従って間引いて前記カラーノイズ処理を行わない場合の画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成するように前記サンプリング手段のサンプリング率を変更するサンプリング率変更手段と、
前記輝度成分画像データと前記色差成分画像データとを記録する記録手段と、を備えていることを特徴とする。

請求項８に記載の撮像装置は、前記低周波成分のカラーノイズ除去処理によって生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理手段と、
前記低周波カラー成分除去用フィルタ処理が施された縮小画像サイズに相当する少ないデータ量の色差成分画像データを、前記カラーノイズ除去処理を行わない場合の色差成分画像データの画像サイズに拡大する画像リサイズ手段とを更に備えていることを特徴とする。

請求項９に記載の撮像装置は、前記サンプリング手段は、前記第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち対象とする画素を残して該対象とする画素の周辺の画素を間引く間引き処理手段であることを特徴とする。

請求項１０に記載の撮像装置は、前記サンプリング手段は、前記第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち複数の画素の色差成分画像データを用いて対象とする画素を生成することにより対象とする画素を残して該対象とする画素の周辺の画素を間引くのと等価な間引きを行う間引き処理手段であることを特徴とする。

請求項１１に記載の撮像装置は、撮像素子により取り込まれた映像信号を輝度成分画像データと色差成分画像データとに変換する変換手段と、
前記色差成分画像データの画素を水平方向と垂直方向との少なくとも一方について所定のサンプリングフォーマットに従って間引いてサンプリングするサンプリング手段と、
低周波成分のカラーノイズ除去処理を行うか否かを判断する判断手段と、
前記低周波成分のカラーノイズ除去処理を行う場合には、該低周波成分のカラーノイズ除去処理を行わない場合と同一のサンプリングフォーマットに従って生成された色差成分の画像データの画像サイズを縮小して縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成すると共に該縮小画像サイズに相当する少ないデータ量の色差成分画像データを元の画像サイズの色差成分画像データに拡大するリサイズ手段と、
前記縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理手段と、
前記輝度成分画像データと前記色差成分画像データとを記録する記録手段と、を備えていることを特徴とする。

請求項１ないし請求項３に記載の発明によれば、大きなウィンドウサイズが必要な低周波成分のカラーノイズの削減を、サンプリング率を切り換えるのみで実現できるので、回路の小型による装置のコストダウンと低消費電力化とを達成でき、更に、カラーノイズ低減の際の処理データ量を少なくすることができるため、カラーノイズ処理の高速化も実現できる。

請求項４ないし請求項６に記載の発明によれば、請求項１ないし請求項３に記載の発明による効果に加え、低周波成分のカラーノイズ除去処理を行った色差成分画像データをその記録前に低周波成分カラーノイズ除去処理を行わない場合の色差成分画像データの画像サイズに拡大した後、この色差成分画像データを記録することにしたので、再生側の機器の再生方法のいかんを問わず、低周波成分のカラーノイズ除去効果を維持できるという効果を奏する。

請求項７、請求項９、請求項１０に記載の発明によれば、請求項１と同様の効果を奏する。

請求項８、請求項１１に記載の発明によれば、請求項４ないし請求項６と同様の効果を奏する。

以下に、本発明に係わるカラーノイズ除去方法及びこの方法を用いた撮像装置をデジタルカメラに適用した発明の実施の形態を図面を参照しつつ説明する。

図１（Ａ）はそのデジタルカメラの正面図、図１（Ｂ）はそのデジタルカメラの背面図、図１（Ｃ）はそのデジタルカメラの上面図、図２はそのデジタルカメラの回路構成を模式的に示すブロック図である。

カメラ本体１には、その正面側に図１（Ａ）に示すように、撮影レンズ部２、フラッシュ部３、光学ファインダ部４が設けられている。カメラ本体１の背面側には、図２（Ｂ）に示すように、ＬＣＤ５、ワイドボタンＷ、テレボタンＴ、アップボタンＵＰ、ダウンボタンＤＯＷＮ、ライトボタンＲＩＧＨＴ、レフトボタンＬＥＦＴ、メニューボタンＭＥＮＵＥ、確定ボタンＯＫが設けられている。

カメラ本体１の上面側には、電源ボタン６、撮影・再生切り換えダイアル７、レリーズボタン８が設けられている。これらの各ボタン等は操作部３５を構成する。

この操作部３５は、撮影者が撮像装置の動作指示を行うために用いられ、例えば、レリーズボタン（レリーズキー）８は撮影指示ボタンとして機能し、ワイドボタンＷ、テレボタンＴはズームボタンとして機能し、光学式ズーム、電子ズームの倍率設定に用いられ、残余の各ボタンは、露光モード選択等の各種設定ボタンとして機能する。

カメラ本体１の内部には、図２に示すように、レンズユニット内にズームレンズ１１、フォーカスレンズ１２、シャッタ１２’が設けられている。そのズームレンズ１１、フォーカスレンズ１２、シャッタ１２’は、モータドライバ１３によって駆動される。モータドライバ１３は、信号処理ＩＣの一部を構成するマイクロコンピュータ（以下、マイコンという）１４によって制御される。そのズームレンズ１１、フォーカスレンズ１２を通して得られる撮影光は撮像部に導かれる。

その撮像部は、ＣＣＤ１５、このＣＣＤ１５を駆動するタイミング信号発生器（以下、ＴＧという）１６、そのＣＣＤ１５からの映像信号をサンプリングするＣＤＳ１７、その映像信号のゲインを調整するアナログゲインコントローラ（以下、ＡＧＣという）１８、ＣＣＤ１５からの映像信号（アナログ画像データ）をデジタル信号に変換するＡ／Ｄ変換器１９から構成されている。ここで、ＣＤＳ１７とＡＧＣ１８とＡ／Ｄ変換器１９とはアナログフロントエンド回路（以下、ＡＦＥという）を構成している。

信号処理ＩＣには、発振器２０からシステムクロックが供給され、また、この発信器２０から分周器２１にクロックが供給される。分周器２１はそのクロックに基づき、マイコン１４からの指示に対応して分周により得られたピクセル同期のためのピクセルクロックＰＫをＴＧ１６と信号処理ＩＣ内のＣＣＤＩ／Ｆ部２２とに供給する。このピクセルクロックＰＫに基づき、ＴＧ１６からＣＣＤ１５、ＡＦＥにそれぞれの駆動信号ＧＳが供給される。

Ａ／Ｄ変換器１９から信号処理ＩＣに入力されたデジタルＲＧＢ画像データは、ＣＣＤ Ｉ／Ｆ部２２を介して画像蓄積部としてのフレームメモリＳＤＲＡＭにＲＧＢ画像データ（ＲＡＷデータ又は生データともいう）として一時保管される。

信号処理ＩＣは、マイコン１４、ＣＣＤＩ／Ｆ部２２に加えて、画像現像処理部（変換手段）２３、フィルタ部２４、間引き処理部（間引き手段）２５、表示Ｉ／Ｆ部２６、JPEGコーデック部２７、リサイズ部２８、カードコントローラ部（記録手段）２９、音声コーデック部３０、メモリコントローラ３１を有する。

ＣＣＤＩ／Ｆ部２２は、画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）を出力し、その同期信号ＨＤ、ＶＤにタイミングを合わせてＡ／Ｄ変換器１９から出力されたデジタルＲＧＢ画像データを取り込む。

ＣＣＤＩ／Ｆ部２２は、その取り込まれたデジタルＲＧＢ画像データをメモリコントローラ３１を経由してフレームメモリＳＤＲＡＭにＲＧＢ画像データとして書き込む。

画像現像処理部２３は、制御部（マイコン１４）から設定された画像現像処理パラメータに基づき、フレームメモリＳＤＲＡＭに一時保管されたＲＧＢ画像データを輝度成分画像データＹと色差成分画像データＣｂ、Ｃｒに変換処理する。

この画像現像処理部２３による変換処理では、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒは、全ての画素（ピクセルともいう）について各１つずつ生成される。

各ピクセルごとに生成された輝度成分画像データＹ、色差成分データＣｂ、Ｃｒは、次にフィルタ部２４に送られる。このフィルタ部２４には、例えば、ウィンドウサイズが５×５のマトリックスからなるローパスフィルタが使用され、このローパスフィルタによってノイズ除去処理が行われる。

図３（Ａ）はそのフィルタ部２４によって注目対象画素Ｄ（i,j）についてフィルタ処理を行う際の関連画素Ｄの位置関係を示している。図３（Ｂ）はその注目対象画素Ｄ（i,j）についてフィルタ処理に用いるフィルタ係数Ｋの数値の配列を示している。このフィルタ係数Ｋの数値は各関連画素Ｄについてそれぞれ定められている。

その注目対象画素Ｄ（i,j）について、以下に示す式を用いて、輝度成分画像データＹと色差成分画像データＣｂ、Ｃｒのそれぞれについて、フィルタ処理データＤ’(i,j)を生成する。

ただし、Ｄｅｖはフィルタ係数Ｋの数値の総和である。

ここで、フィルタ係数Ｋの数値を調節することによって、フィルタ処理によるノイズ除去効果を調整できる。

例えば、フィルタ部２４において、フィルタ処理を行なわないときには、係数ｋ(i,j)=1、ｋ(i,j)以外の係数を全てゼロ、Ｄｅｖ=1と設定すれば、Ｄ’(i,j)＝Ｄ（i,j）となり、フィルタ部２４において、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒは加工されず、フィルタ部２４を単に通過することと等価になる。

次に、フィルタ部２４を通過した色差成分画像データＣｂ、Ｃｒは、間引き処理部（サンプリング処理部ともいう）２５に送られ、色差成分画像データＣｂ、Ｃｒは間引き処理が行われた後に、フレームメモリＳＤＲＡＭに出力される。

図４は輝度成分画像データＹに対する色差成分画像データＣｂ、Ｃｒについての間引き処理の説明図である。

間引き処理部２５は、マイコン１４の設定を変更することによりサンプリング比（間引き率）の切り替えが可能とされている。

その図４は各画素毎のＹＵＶデータ（ＹＵＶとは輝度成分画像データＹと色差成分画像データＣｂ、Ｃｒの総称）の間引き前の対応関係を示し、図４（Ａ）は所定のサンプリングフォーマットであるサンプリング比４４４、すなわち、間引き率「０」を示している。また、図４（Ｂ）は、サンプリング比４２２を示し、サンプリング比４２２は、輝度成分画像データＹの縦横（垂直水平方向）４×４からなる正方マトリックスＺを単位としてその１６個の各画素に対して、対応する色差成分画像データＣｂ、Ｃｒの第１列目の画素と第３列目との画素を残し、第２列目の画素と第４列目との画素を除去することを意味し、輝度成分画像データＹの画素１６個に対して色差成分画像データＣｂ、Ｃｒが各８個ずつ間引かれて、全画素数よりも少ない個数の画素がサンプリングされている。

また、図４（Ｃ）は、所定のサンプリングフォーマットであるサンプリング比４２０を示し、サンプリング比４２０は輝度成分画像データＹの縦横（垂直水平方向）４×４からなる正方マトリックスＺを単位としてその１６個の各画素に対して、対応する色差成分画像データＣｂ、Ｃｒの第１行第１列目の画素と第３行第１列目の画素と第３列第１行目の画素と第３列第３行目の画素とを残し、第２行の画素と第４行の画素と第２列画素と第４列の画素とを除去することを意味し、輝度成分画像データＹの画素１６個に対して色差成分画像データＣｂ、Ｃｒが各１２個ずつ間引かれて、全画素数よりも少ない個数の画素がサンプリングされている。

また、図４（Ｄ）は、所定のサンプリングフォーマットであるサンプリング比４１１を示し、サンプリング比４１１は輝度成分画像データＹの縦横（垂直水平方向）４×４からなる正方マトリックスＺを単位としてその１６個の各画素に対して、対応する色差成分画像データＣｂ、Ｃｒの第１列の画素を残し、第２列から第４列までの画素を除去することを意味し、輝度成分画像データＹの画素１６個に対して色差成分画像データＣｂ、Ｃｒが各１２個ずつ間引かれて、全画素数よりも少ない個数の画素がサンプリングされている。

図５はそのサンプリングの一例を示し、図５（Ａ）はサンプリング比４２０の例であり、色差成分画像データＣｂ、Ｃｒについて４×４からなる正方マトリックスＺを単位としてその１６個の各画素のうち、第１列第１行目の画素、第１列第３行の画素、第３列第１行の画素、第３列第３行の画素を残し、残余の画素を単純に捨てた間引きの例を示している。

図５（Ｂ）はサンプリング比４２２の例であり、色差成分画像データＣｂ、Ｃｒについて４×４からなる正方マトリックスＺを単位としてその１６個の各画素のうち、第１列と第３列の画素を残し、第２列と第４の列とを単純に捨てた間引きの例を示している。

すなわち、この図５（Ａ）、（Ｂ）は、所定のサンプリングフォーマットに従って色差成分画像データの画素のうち対象とする画素を残してこの対象とする画素の周辺の画素を間引く例を示している。

図５（Ｃ）は平均化によるサンプリング比４２０の例であり、色差成分画像データＣｂ、Ｃｒについて４×４からなる正方マトリックスＺを単位としてその１６個の各画素のうち、対角に存在する４個の画素データを用いて平均し、第１列第１行目の平均画素データ、第１列第３行の平均画素データ、第３列第１行の平均画素データ、第３列第３行の平均画素データを作成することにより間引いた例を示している。

また、図５（Ｄ）は平均化によるサンプリング比４２２の例であり、第１列目の画素データと第２列目の画素データとを用いて平均することにより第１列目の平均画素データを作成し、第３列目の画素データと第４列目の画素データとを用いて平均することにより第２列目の平均画素データを作成することにより間引いた例を示している。

すなわち、この図５（Ｃ）、（Ｄ）は、色差成分画像データの画素のうち複数の画素の色差成分画像データを用いて対象とする画素を生成することにより対象とする画素を残してこの対象とする画素の周辺の画素を間引くのと等価な間引きを行う例を示している。

フィルタ部２４は単独動作可能である。フレームメモリＳＤＲＡＭ上の輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒ、ＲＧＢ画像データとしての生データ（ＲＡＷデータ）を入力することによって、ウィンドウサイズが５×５のフィルタ処理を行うことが可能である。

フィルタ部２４は、リサイズ部２８によって拡大・縮小処理を行うときの前処理として、このフィルタ部２４によって処理された後の処理データをリサイズ部２８に出力する機能も有している。

リサイズ部２８は、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒを読み出して、記録するのに必要な画像サイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適した画像サイズへのサイズ変換等を行う。

表示I/F部２６は、フレームメモリＳＤＲＡＭに書き込まれた表示用の画像データ（例えば、ＲＧＢ画像データ）を表示装置３２に送り、撮影画像の表示を行う。この表示装置３２は、例えば、デジタルカメラが備えているＬＣＤ５であるが、表示I/F部２６からＴＶビデオ信号として出力させて、テレビジョン画面（図示を略す）に表示させることも可能である。

表示I／F部２６は、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒの間引き率４２２のサンプリング比率の状態から、出力機器に対応させて同期信号を追加し、ビデオ信号やＬＣＤ用信号、ＲＧＢ信号等への変換を行う機能を有する。

フレームメモリＳＤＲＡＭ上に存在する輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒが、例えば間引き率４２０のサンプリング比だった場合、図６（Ａ）に示す４×４からなる正方マトリックスＺ’を単位とする色差成分画像データＣｂ、Ｃｒの第１行第１列目の画素と第３行第１列目の画素とから図６（Ｂ）に示す第１行第２列目の色差成分画像データを線形補間により生成し、第３列第１行目の画素と第３列第３行目の画素とから第３列第２行目の色差成分画像データを線形補間により生成し、これを水平方向（縦方向）と垂直方向（横方向）とに繰り返すことにより、サンプリング比４２２のＹＵＶ画像データを作成する。この線形補間機能は、表示I／F部２６のモジュール内のデータ入力部に存在する。

JPEGコーデック部２７は、記録時はフレームメモリＳＤＲＡＭに書き込まれた輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒを圧縮してJPEG符号化データを出力し、再生時はメモリカード３３より読み出されたJPEG符号化データを輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに伸張して出力する。

カードコントローラ部２９は、マイコン１４の指示により、メモリカード３３内の輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒを含むデータ（例えばJEPEGファイル）をフレームメモリＳＤＲＡＭに読み出したり、フレームメモリＳＤＲＡＭの輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒを含むデータをメモリカード３３に書き込んだりする役割を果たす。

マイコン１４は、デジタルカメラの統括制御を行い、起動時にＲＯＭ３４に格納されたプログラム、制御データをフレームメモリＳＤＲＡＭにロードし、そのプログラムコードに基づいて全体を制御する。

このマイコン１４は、操作部３５の各ボタン等による指示、図示を略すリモートコントロール等の外部動作指示、図示を略すパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従って、撮像動作制御、画像現像処理部２３の画像現像処理パラメータの設定、メモリコントロール、表示制御を行う他、通常撮影動作（カラーノイズ除去処理を行わない場合の撮影動作）かカラーノイズ除去処理動作（ノイズ軽減動作モード）かの判断を行う機能を有している。

ここでは、ノイズ軽減動作モードは、図１に示すメニューボタンＭＥＮＵＥを操作して、ＬＣＤ５に表示されたメニュー画面の「ノイズ軽減モード」を選択させることにより設定可能である。

また、撮影時の設定や撮影条件により「ノイズ軽減モード」に切り換えることもできる。ノイズはランダムに発生しており、撮影感度が高くなるとノイズ成分も増幅され、ノイズが増加するので、撮影感度が例えばＩＳＯ４００を超えた場合に自動的に「ノイズ軽減モード」になるようにする。

また、露光時間が長くなると、ＣＣＤ１５の各ピクセルの特性の違い等に起因する出力レベルの違い（ノイズ）が生じる。この出力レベルの違いは、露光時間が長くなればなるほど顕著になるため、露光時間が例えば１／２秒以上になると、自動的に「ノイズ軽減モード」となるようにする。

また、ノイズは画面内の明るい部分、暗い部分にかかわらず同じレベルで発生するが、明るい部分は周波数成分が大きいのでノイズが目立ちにくいが、暗い部分は周波数成分が小さいのでノイズが目立ちはじめる。

そこで、ＡＥ測光の際に測定した輝度分布において、一定以下の輝度のエリアが特定数以上あった場合に、「ノイズ軽減モード」となるようにする。例えば、レリーズボタン８が押された時点で、図７に示すように、画面ＧＭを２５６分割した場合、２５６分割エリアの平均輝度が３２以下（２５６を最大とした場合）になるようなエリアが２０％以上（２５６エリアの２０％は５１．２エリアであるが、切り上げて４２エリア）になった場合にノイズ軽減モードとなるようにする。

図８はノイズ軽減が必要な動作モードであるかの判断処理をこれらの各条件で判断するためのフローチャートである。マイコン１４はこの判断処理の手段として機能する。

まず、マイコン１４は、メニュー選択画面で「ノイズ軽減モード」が選択されているか否かを判断する（Ｓ．１）。「ノイズ軽減モード」が選択されている場合、ノイズ軽減処理をオンにする（Ｓ．５）。Ｓ．１において、「ノイズ軽減モード」が選択されていない場合、ＩＳＯ感度が４００以上であるか否かを判断する（Ｓ．２）。ＩＳＯ感度が４００以上の場合、ノイズ軽減処理をオンにする（Ｓ．５）。ＩＳＯ感度が４００未満の場合、露光時間が１／２秒以上であるか否かを判断する（Ｓ．３）。露光時間が１／２秒以上の場合、ノイズ軽減処理をオンにする（Ｓ．５）。露光時間が１／２秒未満である場合、低輝度エリアが２０％以上であるか否かを判断する（Ｓ．４）。低輝度エリアが２０％以上の場合、ノイズ軽減処理をオンにする（Ｓ．５）。低輝度エリアが２０％未満の場合、ノイズ軽減処理をオフにし（Ｓ．６）、ノイズ軽減判断処理を終了する（Ｓ．７）。

次に、通常撮影動作（低周波成分のカラーノイズ除去処理を行わない場合の撮影動作）について説明する。

図１に示す撮影／再生切り換えダイアル７を撮影に設定し、電源ボタン６をオンしてデジタルカメラを起動すると、各レンズ１１、１２が撮影可能位置に繰り出され、ＬＣＤ５が電子ファインダとして機能して、ＬＣＤ５にモニタリング映像が表示される。

モニタリング映像が表示されているときは、連続的にＡＥが実行される。ＣＣＤＩ／Ｆ部２２は、ＣＣＤ１５からの映像信号を取り込むと、ＲＧＢ画像データの積算を行う。このＲＧＢ画像データの積算は、図７に示す画面ＧＭを分割して行う。縦横に分割された合計２５６個の分割ブロック毎に、ＲＧＢ画像データがそれぞれ積算され、この積算値から、画面内の輝度分布が作成される。

そして、この画面分割法によって、輝度分布や主要被写体の明るさが測定される。この測定結果と現在設定している露光時間、増感度（ＡＧＣゲイン）に基づき現在の被写体の明るさが測定され、適正露光量に設定するための露光時間、増感度設定、メカニカル絞り（シャッタ）が決定される。

ＡＥの実行は、ＴＧ１６に対する電子シャッタの本数の設定変更により露光時間を変更し、ＡＧＣに対する設定変更により増感度設定を行い、モータドライバ１３を介しての絞り径の変更によりメカニカル絞り調整を行うことによって行われる。モニタリング映像は、その表示実行中、約１００ｍｓｅｃごとに繰り返し表示されている。

デジタルカメラの起動状態で、テレボタンＴ（ズーム望遠ボタン）を押すと、ズームレンズ１１がテレ側（望遠側）に移動される。ワイドボタン（ズーム広角ボタン）を押すと、ズームレンズ１１がワイド側（広角側）に移動される。

図９は静止画記録の動作を示す公知のタイミングチャートである。レリーズボタン８を押すと、マイコン１４の指令によってフォーカスレンズ１２が駆動され、例えば、山登りＡＦ方式の原理に基づくＣＣＤ−ＡＦ等の合焦動作が行われ、続いて、ＴＧ１６への露光時間設定などの撮影準備処理が行われ、次に、記録露光処理が行われる。露光時間が経過すると、メカニカルシャッタが閉じられ、その後、ＣＣＤ１５の全画素分のＲＧＢ画像データが一度フレームメモリＳＤＲＡＭに取り込まれる。

フレームメモリＳＤＲＡＭに取り込まれたＲＧＢ画像データ（ＲＡＷデータ）は、信号処理ＩＣの画像現像処理部２３に送られて、各画素について輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換される。

各輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒはフィルタ部２４によってローパスフィルタ処理を行われた後に、間引き処理部２５によって、図５（Ｂ）に示す間引き方法によってサンプリング比４２２（第１の所定のサンプリングフォーマット）の間引き処理が行われる。

例えば、図１０に示すように、縦４８０×横６４０の画像サイズのＲＧＢ画像データは、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換された後、サンプリング比４２２フォーマットの間引き処理によって、輝度成分画像データＹについては、輝度成分画像データＹを間引かずに縦４８０×横６４０の画像サイズ、色差成分画像データＣｂ、Ｃｒについては、縦４８０×横３２０の画像サイズに相当する少ないデータ量にデータ量が縮小される。

この処理ステップが、低周波成分のカラーノイズ除去処理を行わない場合に前記色差成分画像データについての画素を第１の所定のサンプリングフォーマットに従って間引いてサンプリングする第１色差成分サンプリングステップである。

この間引き処理された色差成分画像データＣｂ、Ｃｒは、リサイズ部２８によって記録画素数に対応するサイズに変換され、ＪＰＥＧ圧縮処理が行なわれて、ヘッダ情報が付加されてＪＰＥＧファイルとしてメモリカード３３に保存される。

次に、ノイズ軽減動作モードについて説明する。

レリーズボタン８が押されると、マイコン１４はノイズ軽減を行うか否かの判断を行う。

図１１はそのノイズ軽減モードの実行を含む撮影時のフローチャートを示している。ここでは、記録画像の色差成分画像データの間引き率を変更するようにしている。マイコン１４は間引き率変更手段の機能を有する。

モニタリング映像がＬＣＤ５に表示された状態で、レリーズボタン８が押されると、その際に検出されたＲＧＢ画像データの積算値を用いて、静止画露光用のＡＥ処理が実行される（Ｓ１１）。次に、通常撮影動作と同様に、ＡＦ処理が実行され（Ｓ．１２）、ノイズ軽減モードを実行する必要があるか否かの判定が、露光開始直前に図８に示すフローチャートの処理手順に従って行われる（Ｓ．１３）。

次に、露光処理（Ｓ．１４）、ＣＣＤ１５からＲＧＢ画像データの読み出しが行われ、フレームメモリＳＤＲＡＭにＲＧＢ画像データ（ＲＡＷデータ）が取り込まれる（Ｓ．１５）。このＲＡＷデータはＹＵＶ変換される（Ｓ．１６）。

次に、マイコン１４はノイズ軽減モードで動作するか否かの判断を行う。ここでは、「ノイズ軽減モードＯＮ」が選択されているものとして説明する（Ｓ．１７）。

通常撮影動作（ノイズ軽減ＯＦＦ）では、図１０に示すようにサンプリング比４２２フォーマットになるように間引きが行われるが、「ノイズ軽減ＯＮ時」では、図１２に示すように第２の所定のサンプリングフォーマットであるサンプリング比４２０フォーマットになるように間引きが行われる。

すなわち、フレームメモリＳＤＲＡＭに取り込まれたＲＧＢ画像データは、図２に示す画像現像処理部２３に送られ、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換される。この画像現像処理部２３によって変換された時点では、図４（Ａ）に示すように輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒは未だ間引かれていない。

続いて、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒはフィルタ部２４によってローパスフィルタ処理され、間引き処理部２５に送られる。輝度成分画像データＹについては，間引きが行われない。間引き処理部２５によって、図５（Ａ）に示す間引き方法によってサンプリング比４２０の間引き処理が行われる。

例えば、図１２に示すように、縦４８０×横６４０の画像サイズのＲＧＢ画像データは、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換された後、サンプリング比４２０フォーマットの間引き処理によって、輝度成分画像データＹについては、輝度成分画像データＹを間引かずに縦４８０×横６４０の画像サイズ、色差成分画像データＣｂ、Ｃｒについては、縦２４０×横３２０の画像サイズに相当する少ないデータ量にデータ量が縮小される（Ｓ．１８）。

この処理ステップが、低周波成分のカラーノイズ除去処理を行う場合に、色差成分画像データの画素を第２の所定のサンプリングフォーマットに従って間引いて低周波成分のカラーノイズ除去処理を行わない場合の画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成する第２色差成分サンプリングステップである。

この間引き処理された色差成分画像データＣｂ、Ｃｒは、リサイズ部２８によって記録画素数に対応するサイズに変換され、ＪＰＥＧ圧縮処理が行なわれて（Ｓ．１９）、ヘッダ情報が付加されてＪＰＥＧファイルとしてメモリカード３３に保存される（Ｓ．２０）。

パーソナルコンピュータＰＣ等では、このＪＰＥＧファイルを表示する場合、通常、輝度成分画像データＹ、色差成分画像データＣｂ、ＣｒをＲＧＢ画像データに変換して表示を行っている。パーソナルコンピュータＰＣでは、各画素（各ピクセル）毎にＲＧＢ画像データが１つずつ割り当てられる。このＲＧＢ画像データを生成するために、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒを用いて補間を行うが、図４（Ｂ）、図４（Ｃ）に示すように、サンプリング比４２２とサンプリング比４２０とでは、色差成分画像データＣｂ、Ｃｒの縦方向（垂直方向）のデータ量が異なるため、垂直方向について、１個の色差成分画像データＣｂ，Ｃｒがカラーノイズに影響を及ぼす範囲が広くなる。つまり、ローパスフィルタ効果が得られたことになり、色に関して、通常よりも広い範囲にローパスフィルタが施されたことと等価となる。ＬＣＤ５の表示についても同様の効果が得られる。

表示I/F部２６は、サンプリング比４２０に間引かれたデータを、線形補間等の補間処理によってサンプリング比４２２に変換してから、表示データの生成を行う。つまり、色差成分画像データについて、通常撮影動作のサンプリング比４２２よりも１回多くローパスフィルタが施されることになり、カラーノイズ軽減が行われたことになる。

ハードウェアを用いて、ローパスフィルタの範囲（ウィンドウサイズ）を大きくする場合、回路規模が大きくなり、その分コストアップとなる。更に、処理データ量の増加は、処理時間を増加させると共に、消費電力を増加させるが、本発明によれば、ノイズ軽減モードで、間引き率を上げる処理を追加するのみで、専用の特別なハードウェアを追加することなく、低周波数のカラーノイズの軽減効果が得られる。

図１３は本発明に係わるノイズ軽減モードの実行を含む撮影時のフローチャートの他の例を示している。

この図１３に示すノイズ軽減モードの撮影処理では、間引き処理よって色差成分画像データの間引き率を変更するが、記録時にはノイズ軽減モードのＯＮ／ＯＦＦのいずれの場合も同じ間引き率で記録することにしたものである。

モニタリング映像がＬＣＤ５に表示された状態で、レリーズボタン８が押されると、その際に検出されたＲＧＢ画像データの積算値を用いて、静止画露光用のＡＥ処理が実行される（Ｓ．２１）。次に、通常撮影動作と同様に、ＡＦ処理が実行され（Ｓ．２２）、ノイズ軽減モードを実行する必要があるか否かの判定が、露光開始直前に図８に示すフローチャートの処理手順に従って行われる（Ｓ．２３）。

次に、露光処理（Ｓ．２４）、ＣＣＤ１５からＲＧＢ画像データの読み出しが行われ、フレームメモリＳＤＲＡＭにＲＧＢ画像データ（ＲＡＷデータ）が取り込まれる（Ｓ．２５）。このＲＡＷデータはＹＵＶ変換される（Ｓ．２６）。

次に、マイコン１４はノイズ軽減モードで動作するか否かの判断を行う。ここでは、「ノイズ軽減モードＯＮ」が選択されているものとして説明する（Ｓ．２７）。

通常撮影動作（ノイズ軽減ＯＦＦ）では、図１０に示すように第１のサンプリングフォーマットであるサンプリング比４２２フォーマットになるように間引きが行われるが、ここでは、「ノイズ軽減ＯＮ時」では、図１４に示すように第２のサンプリングフォーマットであるサンプリング比４２０フォーマットになるように間引きが行われる。

すなわち、フレームメモリＳＤＲＡＭに取り込まれたＲＧＢ画像データは、図２に示す画像現像処理部２３に送られ、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換される。この画像現像処理部２３によって変換された時点では、図４（Ａ）に示すように輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒは未だ間引かれていない。

続いて、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒはフィルタ部２４によってローパスフィルタ処理され、間引き処理部２５に送られる。輝度成分画像データＹについては，間引きは行われない。間引き処理部２５によって、図５（Ａ）、図５（Ｃ）に示す間引き方法によってサンプリング比４２０の間引き処理が行われる。

例えば、図１４に示すように、縦４８０×横６４０の画像サイズのＲＧＢ画像データは、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換された後、サンプリング比４２０フォーマットの間引き処理によって、輝度成分画像データＹについては、輝度成分画像データＹを間引かずに縦４８０×横６４０の画像サイズ、色差成分画像データＣｂ、Ｃｒについては、縦２４０×横３２０の画像サイズに相当する少ないデータ量にデータ量が縮小される（Ｓ．２８）。

ついで、この間引き処理された色差成分画像データＣｂ、Ｃｒ（ＵＶデータ）は、フィルタ部２４によって縦横のウィンドウサイズ５×５のフィルタを用いてローパスフィルタ処理がされ、リサイズ部２８によって元の縦４８０×横３２０の画像サイズに拡大される（Ｓ．２９）。これが、画像リサイズステップである。

ついで、輝度成分画像データＹ、リサイズ部２８によって縦４８０×横３２０の画像サイズに拡大された色差成分画像データＣｂ、ＣｒはＪＰＥＧ圧縮処理されて（Ｓ．３０）、ヘッダ情報が付加されてＪＰＥＧファイルとしてメモリカード３３に保存される（Ｓ．３１）。

ノイズ軽減ＯＮ時に、色差成分画像データＣｂ、Ｃｒはサンプリング比４２０になるような間引かれているので、この色差成分画像データＣｂ、Ｃｒの拡大は垂直方向を２倍にする処理となり、縦横のウインドウサイズ（水平×垂直）が５×５のローパスフィルタ処理後に垂直方向が２倍にされているので、垂直方向が１０画像データ分に相当するフィルタ処理が行われたことになり、低周波数のカラーノイズ（粒状性が大きいカラーノイズ）の削減効果をより一層得ることができることになる。

すなわち、この実施例によれば、ノイズ軽減モードで間引き率を上げる処理と、色差成分画像データの拡大処理を追加するのみで、専用の特別なハードウェアを追加する必要なく、低周波数のカラーノイズの軽減効果が得られる。

また、図１１に示す実施例のノイズ軽減処理の場合には、記録処理は高速であるが、再生装置側の再生方法いかんによってノイズリダクション効果が変化する可能性があったが、この図１３に示す実施例によれば、再生装置側の再生方法いかんにかかわらず図１１に示す実施例のノイズ軽減処理と同様の効果が得られるというメリットがある。

図１５は本発明に係わるノイズ軽減モードの実行を含む撮影時のフローチャートの更に他の例を示している。

この図１５に示すノイズ軽減モードの撮影処理も、画像サイズ縮小処理よって色差成分画像データの画素数を変更するが、記録時にはノイズ軽減モードのＯＮ／ＯＦＦのいずれの場合も同じ画素数で記録することにしたものである。

モニタリング映像がＬＣＤ５に表示された状態で、レリーズボタン８が押されると、その際に検出されたＲＧＢ画像データの積算値を用いて、静止画露光用のＡＥ処理が実行される（Ｓ．４１）。次に、通常撮影動作と同様に、ＡＦ処理が実行され（Ｓ．４２）、ノイズ軽減モードを実行する必要があるか否かの判定が、露光開始直前に図８に示すフローチャートの処理手順に従って行われる（Ｓ．４３）。

次に、露光処理（Ｓ．４４）、ＣＣＤ１５からＲＧＢ画像データの読み出しが行われ、フレームメモリＳＤＲＡＭにＲＧＢ画像データ（ＲＡＷデータ）が取り込まれる（Ｓ．４５）。このＲＡＷデータはＹＵＶ変換される（Ｓ．４６）。

次に、マイコン１４はノイズ軽減モードで動作するか否かの判断を行う。ここでは、「ノイズ軽減モードＯＮ」が選択されているものとして説明する（Ｓ．４７）。

ここでは、「ノイズ軽減ＯＮ時」では、図１６に示すようにサンプリング比４２２フォーマットになるように間引きが行われる。すなわち、ノイズ軽減モードのＯＮ・ＯＦＦいかんにかかわらず間引き率は同じである。

すなわち、フレームメモリＳＤＲＡＭに取り込まれたＲＧＢ画像データは、図２に示す画像現像処理部２３に送られ、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換される。すなわち、この画像現像処理部２３によって変換された時点では、図４（Ａ）に示すように輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒは未だ間引かれていない。

続いて、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒはフィルタ部２４によってローパスフィルタ処理され、間引き処理部２５に送られる。輝度成分画像データＹについては，間引きが行われない。間引き処理部２５によって、図５（Ｂ）に示す間引き方法によってサンプリング比４２２の間引き処理が行われる。

例えば、図１６に示すように、縦４８０×横６４０の画像サイズのＲＧＢ画像データは、輝度成分画像データＹ、色差成分画像データＣｂ、Ｃｒに変換された後、サンプリング比４２２フォーマットの間引き処理によって、輝度成分画像データＹについては、輝度成分画像データＹを間引かずに縦４８０×横６４０の画像サイズ、色差成分画像データＣｂ、Ｃｒについては、縦４８０×横３２０の画像サイズに相当する少ないデータ量にデータ量が縮小される。この縦４８０×横３２０の画像サイズに相当する少ないデータ量の色差成分画像データＣｂ、ＣｒはフレームメモリＳＤＲＡＭにいったん送られる。

ついで、ノイズ軽減モードでは、フレームメモリＳＤＲＡＭから読み出された色差成分画像データＣｂ、Ｃｒのみをフィルタ部２４によって縦横のウィンドウサイズ５×５のフィルタを用いてローパスフィルタ処理を行う。この後、図５（Ａ）、（Ｃ）に示すサンプリング方法に従って色差成分画像データＣｂ、Ｃｒをリサイズ部２８によってリサンプリングし、水平方向、垂直方向共に１／２に縮小された縦２４０×横１６０の画像サイズに相当する少ないデータ量の縮小画像データを一度フレームメモリＳＤＲＡＭに書き込む。ついで、フレームメモリＳＤＲＡＭに書き込まれた縮小画像サイズに相当する少ないデータ量の縮小画像データを読み出して縦横のウィンドウサイズ５×５のフィルタを用いてローパスフィルタ処理を行い、リサイズ部２８によって垂直方向・水平方向共に２倍に拡大する（Ｓ．４８）。

その後、通常撮影と同様に、間引き率４２２のＪＰＥＧ圧縮（Ｓ．４９）されたファイルとしてメモリカード３３等に保存される（Ｓ．５０）。

この実施例によれば、拡大時に、水平×垂直方向に５×５のローパスフィルタ処理を行って、水平方向・垂直方向を共に２倍にしているので、１０×１０データ分に相当するフィルタ処理が行われたことになり、５×５ウィンドウでは除去することができなかった低周波数（粒状性の大きい）のカラーノイズの削減効果を得ることができることになる。

すなわち、この実施例によれば、ノイズ軽減モードで、間引き率を上げなくとも、色データ拡大縮小処理を追加するのみで、専用の特別なハードウェアを追加する必要がなく、低周波数のカラーノイズの軽減効果が得られる。

また、図１１に示すノイズ軽減処理の場合には、記録処理が高速であるが、再生装置側の再生方法によってノイズリダクション効果が変化する可能性があったが、この図１５に示す実施例によれば、再生装置側の再生方法いかんにかかわらず図１１に示すノイズ軽減処理と同様の効果が得られるというメリットがある。

本発明の低周波数のカラーノイズの除去方法に使用するデジタルカメラの一例を示す図であって、（Ａ）はそのデジタルカメラの正面図、（Ｂ）はそのデジタルカメラの背面図、（Ｃ）がそのデジタルカメラの上面図である。 図１に示すデジタルカメラの回路構成を示すブロック図である。 図２に示すローパスフィルタ部に使用するフィルタの説明図であって、（Ａ）は注目画素に対する近傍の関連画素の配列状態を示す図、（Ｂ）は（Ａ）に示す関連画素に用いるフィルタ係数の配列状態を示す図である。 本発明に係わる輝度成分画素データ、色差成分画素データのサンプリングの説明図であって、（Ａ）はサンプリング前の輝度成分画素データ、色差成分画素データの配列図、（Ｂ）はサンプリング比４２２の輝度成分画素データ、色差成分画素データの配列図、（Ｃ）はサンプリング比４２０の輝度成分画素データ、色差成分画素データの配列図、（Ｄ）はサンプリング比４１１の輝度成分画素データ、色差成分画素データの配列図である。 本発明に係わる輝度成分画素データ、色差成分画素データのサンプリング方法の説明図であって、（Ａ）はサンプリング比４２０の輝度成分画素データ、色差成分画素データを単純間引き方法によってサンプリングする場合の説明図、（Ｂ）はサンプリング比４２２の輝度成分画素データ、色差成分画素データを単純間引き方法によってサンプリングする場合の説明図、（Ｃ）はサンプリング比４２０の輝度成分画素データ、色差成分画素データを平均することによる間引いてサンプリングする場合の説明図、（Ｄ）はサンプリング比４２２の輝度成分画素データ、色差成分画素データを平均することによる間引いてサンプリングする場合の説明図である。 サンプリング比４２０によって間引かれた色差成分画像データからサンプリング比４２２の色差成分画像データを生成する場合の一例を示す説明図である。 輝度分布作成するための画面分割の一例を示す説明図である。 本発明に係わるノイズ軽減モードの一例を示すフローチャートである。 本発明に係わるデジタルカメラの静止画記録の動作を説明するためのタイミングチャートである。 本発明に係わるデジタルカメラの通常撮影時の処理方法を説明するための図である。 本発明に係わるデジタルカメラの通常撮影時の手順とノイズ軽減処理時の手順とを示すフローチャートである。 本発明に係わるデジタルカメラのノイズ軽減処理時の処理方法を説明するための図である。 本発明に係わるデジタルカメラの他の例を示し、通常撮影時の手順とノイズ軽減処理時の手順とを示すフローチャートである。 本発明に係わるデジタルカメラのノイズ軽減処理時の他の処理方法を説明するための図である。 本発明に係わるデジタルカメラの更に他の例を示し、通常撮影時の手順とノイズ軽減処理時の手順とを示すフローチャートである。 本発明に係わるデジタルカメラのノイズ軽減処理時の更に他の処理方法を説明するための図である。

符号の説明

１４…マイコン（判断手段、サンプリング率変更手段）
１５…ＣＣＤ（撮像素子）
２３…画像現像処理部（変換手段）
２５…間引き処理部（サンプリング手段）
２９…カードコントローラ部（記録手段）

Claims (11)

1. 撮像素子により取り込まれて輝度成分画像データと色差成分画像データとに変換された画像データのうち色差成分画像データに含まれる低周波成分のカラーノイズを除去するカラーノイズ除去方法であって、
   低周波成分のカラーノイズ除去処理を行わない場合に前記色差成分画像データについての画素を第１の所定のサンプリングフォーマットに従って間引いてサンプリングする第１色差成分サンプリングステップと、
   低周波成分のカラーノイズ除去処理を行うか否かを判断する判断ステップと、
   前記低周波成分のカラーノイズ除去処理を行う場合には、前記色差成分画像データの画素を第２の所定のサンプリングフォーマットに従って間引いて前記低周波成分のカラーノイズ除去処理を行わない場合の画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成する第２色差成分サンプリングステップと、
   該第２色差成分サンプリングステップにより生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データと前記輝度成分画像データとを記録する記録ステップと、
   を備えていることを特徴とするカラーノイズ除去方法。
2. 前記第２色差成分サンプリングステップが、第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち対象とする画素を残して該対象とする画素の周辺の画素を間引く間引き処理ステップであることを特徴とする請求項１に記載のカラーノイズ除去方法。
3. 前記第２色差成分サンプリングステップが、第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち複数の画素の色差成分画像データを用いて対象とする画素を生成することにより対象とする画素を残して該対象とする画素の周辺の画素を間引くのと等価な間引きを行う間引き処理ステップであることを特徴とする請求項１に記載のカラーノイズ除去方法。
4. 前記間引き処理ステップと前記記録ステップとの間に、前記縮小画像サイズに相当する少ないデータ量の色差成分画像データを前記カラーノイズ除去処理を行わない場合の色差成分画像データの画像サイズに拡大する画像リサイズステップを備えていることを特徴とする請求項２又は請求項３に記載のカラーノイズ除去方法。
5. 前記間引き処理ステップと前記画像リサイズステップとの間に、前記間引き処理ステップにより生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理ステップを備えていることを特徴とする請求項４に記載のカラーノイズ除去方法。
6. 撮像素子により取り込まれて輝度成分画像データと色差成分画像データとに変換された画像データのうち色差成分画像データに含まれる低周波成分のカラーノイズを除去するカラーノイズ除去方法であって、
   低周波成分のカラーノイズ除去処理を行わない場合に前記色差成分画像データについての画素を所定のサンプリングフォーマットに従って間引いてサンプリングする第１色差成分サンプリングステップと、
   低周波成分のカラーノイズ除去処理を行うか否かを判断する判断ステップと、
   前記低周波成分のカラーノイズ除去処理を行う場合には、該低周波成分のカラーノイズ除去処理を行わない場合と同一のサンプリングフォーマットに従って前記低周波成分のカラーノイズ除去処理を行わない場合の画素に対応する画素を間引いてサンプリングする第２色差成分サンプリングステップと、
   前記低周波成分のカラーノイズ除去処理を行う場合には低周波成分のカラーノイズ除去処理を行わない場合の色差成分画像データの画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成する縮小画像生成ステップと、
   該縮小画像生成ステップにより生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理ステップと、
   該フィルタ処理が施された縮小画像サイズに相当する少ないデータ量の色差成分画像データを元の画像サイズの色差成分画像データに拡大する縮小画像拡大ステップと、
   を備えていることを特徴とするカラーノイズ除去方法。
7. 撮像素子により取り込まれた映像信号を輝度成分画像データと色差成分画像データとに変換する変換手段と、
   前記色差成分画像データの画素を水平方向と垂直方向との少なくとも一方について第１の所定のサンプリングフォーマットに従って間引いてサンプリングするサンプリング手段と、
   低周波成分のカラーノイズ除去処理を行うか否かを判断する判断手段と、
   前記低周波成分のカラーノイズ除去処理を行う場合には、前記色差成分画像データの画素を第２の所定のサンプリングフォーマットに従って間引いて前記カラーノイズ処理を行わない場合の画像サイズよりも小さな縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成するように前記サンプリング手段のサンプリング率を変更するサンプリング率変更手段と、
   前記輝度成分画像データと前記色差成分画像データとを記録する記録手段と、
   を備えていることを特徴とする撮像装置。
8. 前記低周波成分のカラーノイズ除去処理によって生成された縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理手段と、
   前記低周波カラー成分除去用フィルタ処理が施された縮小画像サイズに相当する少ないデータ量の色差成分画像データを、前記カラーノイズ除去処理を行わない場合の色差成分画像データの画像サイズに拡大する画像リサイズ手段とを更に備えていることを特徴とする請求項７に記載の撮像装置。
9. 前記サンプリング手段は、前記第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち対象とする画素を残して該対象とする画素の周辺の画素を間引く間引き処理手段であることを特徴とする請求項７又は請求項８に記載の撮像装置。
10. 前記サンプリング手段は、前記第２の所定のサンプリングフォーマットに従って前記色差成分画像データの画素のうち複数の画素の色差成分画像データを用いて対象とする画素を生成することにより対象とする画素を残して該対象とする画素の周辺の画素を間引くのと等価な間引きを行う間引き処理手段であることを特徴とする請求項７又は請求項８に記載の撮像装置。
11. 撮像素子により取り込まれた映像信号を輝度成分画像データと色差成分画像データとに変換する変換手段と、
    前記色差成分画像データの画素を水平方向と垂直方向との少なくとも一方について所定のサンプリングフォーマットに従って間引いてサンプリングするサンプリング手段と、
    低周波成分のカラーノイズ除去処理を行うか否かを判断する判断手段と、
    前記低周波成分のカラーノイズ除去処理を行う場合には、該低周波成分のカラーノイズ除去処理を行わない場合と同一のサンプリングフォーマットに従って生成された色差成分の画像データの画像サイズを縮小して縮小画像サイズに相当する少ないデータ量の色差成分画像データを生成すると共に該縮小画像サイズに相当する少ないデータ量の色差成分画像データを元の画像サイズの色差成分画像データに拡大するリサイズ手段と、
    前記縮小画像サイズに相当する少ないデータ量の色差成分画像データに低周波カラー成分ノイズ除去用フィルタ処理を施すフィルタ処理手段と、
    前記輝度成分画像データと前記色差成分画像データとを記録する記録手段と、
    を備えていることを特徴とする撮像装置。

Images