JP2012169700A - 画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法 - Google Patents

Abstract

【課題】平滑化によるノイズ除去を効果的かつ効率的に行う。
【解決手段】画像処理装置は、互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、前記第２画素群が離散的位置に配列した画像を入力する画像入力部と、前記第１画素群の各々が有する色成分データである第１色成分データに基づき、離散的な前記第２画素群の各々の位置における第１色成分データを推測する色推測部３０１と、前記第１色成分データと第２色成分データとに基づき、離散的な前記第２画素群の各々の位置における色差データを算出する算出部３０２と、離散的な前記第２画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部３０３と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第２画素群以外の画素群の各々の位置における色差データを推測する色差推測部３０４とを備える。
【選択図】図６

Description

本発明は、単板式カラーイメージセンサで取得されたＲＡＷ画像（色補間前の画像）を処理する画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法に関する。

従来、ディジタルカメラや画像処理ソフトウエアなどの平滑化によるノイズ除去処理は、ＲＡＷ画像ではなく色補間後の画像に対して施されるのが一般的である（特許文献１、２、３等を参照。）。

また、特許文献１、２、３には開示されていないものの、ノイズ除去処理をＲＡＷ画像の各色成分へ施す技術も既に提案されている。

特開平６−１４１８９号公報 特許第３６８９６０７号公報 特開２００９−１０８２３号公報

通常、色補間処理の過程では、各画素の輝度と色差とが既知になるので、色補間後の画像に対しては、画像に含まれる構造のエッジを鈍らせることなく積極的なノイズ除去処理を施すことも可能だが、色補間後の画像は画素数が多いため、ノイズ除去処理に要する演算量は膨大になる。

一方、ＲＡＷ画像は画素数が少ないので、ＲＡＷ画像に対しては、少ない演算量でノイズ除去処理を施すことが可能だが、色補間前では各画素の輝度と色差とが分離されていないので、画像に含まれる構造のエッジを維持しようとすると、あまり積極的なノイズ除去処理を施すことはできない。
そこで、本発明は上記問題を解決し、平滑化によるノイズ除去を効果的かつ効率的に行うことのできる画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法を提供することを目的とする。

本発明の画像処理装置の一態様は、互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を入力する画像入力部と、前記第１画素群の各々が有する色成分データである第１色成分データに基づき、離散的な前記第２画素群の各々の位置における第１色成分データを推測する色推測部と、前記第２画素の各々について推測された前記第１色成分データと、前記第２画素群の各々が有する色成分データである第２色成分データとに基づき、離散的な前記第２画素群の各々の位置における色差データを算出する算出部と、離散的な前記第２画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第２画素群以外の画素群の各々の位置における色差データを推測する色差推測部とを備える。

また、本発明の撮像装置の一態様は、互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を取得する単板式カラー撮像素子と、前記画像を入力して処理する、本発明の画像処理装置の一態様とを備える。

また、本発明の画像処理プログラムの一態様は、互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を入力する画像入力手順と、前記第１画素群の各々が有する色成分データである第１色成分データに基づき、離散的な前記第２画素群の各々の位置における第１色成分データを推測する色推測手順と、前記第２画素の各々について推測された前記第１色成分データと、前記第２画素群の各々が有する色成分データである第２色成分データとに基づき、離散的な前記第２画素群の各々の位置における色差データを算出する算出手順と、離散的な前記第２画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第２画素群以外の画素群の各々の位置における色差データを推測する色差推測手順とをコンピュータに実行させる。

また、本発明の画像処理方法の一態様は、互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を入力する画像入力手順と、前記第１画素群の各々が有する色成分データである第１色成分データに基づき、離散的な前記第２画素群の各々の位置における第１色成分データを推測する色推測手順と、前記第２画素の各々について推測された前記第１色成分データと、前記第２画素群の各々が有する色成分データである第２色成分データとに基づき、離散的な前記第２画素群の各々の位置における色差データを算出する算出手順と、離散的な前記第２画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、平滑化後の前記離散色差画像に基づき、前記画像上で前記第２画素群以外の画素群の各々の位置における色差データを推測する色差推測手順とを含む。

本発明によれば、平滑化によるノイズ除去を効果的かつ効率的に行うことのできる画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法が実現する。

電子カメラ１０１の全体構成を示すブロック図である。 画像処理部１０７の構成を示すブロック図である。 ベイヤ配列を説明する図である。 輝度画像の生成手順を説明する図である。 輝度画像の生成手順を説明する図である。 第１実施形態の色差画像生成部２５２の構成を示すブロック図である。 Ｇ補間部３０１の動作を説明する図である。 離散色差画像を説明する図である。 第２実施形態の色差画像生成部２５２の構成を示すブロック図である。 第２実施形態の平滑化部３０３の処理（ｄ）を説明する図である。

［第１実施形態］
以下、本発明の第１実施形態として電子カメラを説明する。

図１は、電子カメラ１０１の全体構成を示すブロック図である。図１に示すとおり電子カメラ１０１には、撮影光学系１０２と、メカニカルシャッタ１０３と、カラー撮像素子１０４と、信号処理部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、不揮発性メモリ１０９と、表示部１１０と、操作部材１１１と、カードインタフェース（カードＩ／Ｆ）１１２が備えられる。なお、電子カメラ１０１は、可搬の記憶媒体であるメモリカード１１２ａを着脱することができる。

撮影光学系１０２は、被写界から射出した光束（被写界光束）を、カラー撮像素子１０４の撮像面上に結像する。撮影光学系１０２は、レンズ、絞り、レンズ駆動部などを備えており、レンズ駆動部は、カメラ制御部１０８からの指示に応じて、レンズのポジション、絞りの径などを調整する。

メカニカルシャッタ１０３は、被写界光束の光路を開閉する。メカニカルシャッタ１０３による光路の開放期間は、カメラ制御部１０８によって制御される。

カラー撮像素子１０４は、カラーフィルタアレイを有した単板型カラーイメージセンサであって、互いに異なる色に対して感度を有した複数種類の画素を複数ずつ、同一面上に混在させて（モザイク状に）配列している。このカラー撮像素子１０４の各画素で生成された画素信号は、カメラ制御部１０８から与えられた駆動信号に応じて順次に読み出される。以下、カラーフィルタアレイのフィルタ配列にベイヤ配列が採用されたと仮定する。

信号処理部１０５は、カラー撮像素子１０４から順次に読み出される画素信号に対して各種の信号処理を施す。その信号処理には、画像信号を増幅する増幅処理や、画素信号をディジタル信号（ディジタル画素信号）へと変換するＡ／Ｄ変換処理などが含まれる。このうち増幅処理の増幅率は、カメラ制御部１０８によって適宜に設定され、この増幅率が、電子カメラ１０１の撮影感度を決めている。なお、信号処理部１０５における各種の信号処理のタイミングは、カメラ制御部１０８によって制御される。

画像バッファ１０６は、揮発性の高速メモリであって、信号処理部１０５から出力されるディジタル画素信号を順次に蓄積する。よって、カラー撮像素子１０４から１フレーム分の画素信号が読み出されると、１フレーム分のディジタル画素信号が画像バッファ１０６に蓄積される。以下、このようにして画像バッファ１０６に蓄積された１フレーム分のディジタル画素信号を「ＲＡＷ画像」と称す。なお、画像バッファ１０６は、カメラ制御部１０８からの指示に応じて、ＲＡＷ画像以外の画像を格納することもできる。

ここで、ＲＡＷ画像は、互いに異なる色成分の強度を示す複数種類の画素を複数ずつ、モザイク状に配列した画像であって、互いに異なる種類の画素は、互いに異なる色成分のデータ（色成分データ）を有している。前述したとおりカラーフィルタアレイのフィルタ配列にベイヤ配列が採用された場合は、このＲＡＷ画像における画素の配列もベイヤ配列となる。この場合、ＲＡＷ画像は、Ｒ成分データのみを有するＲ画素と、Ｇ成分データのみを有するＧ画素と、Ｂ成分データのみを有するＢ画素とを、図３に示すような規則性で繰り返し配列した画像となる。

画像処理部１０７は、カメラ制御部１０８からの指示に応じて、画像バッファ１０６上のＲＡＷ画像に対し、色補間処理を含む各種の画像処理を施す。また、画像処理部１０７は、カメラ制御部１０８からの指示に応じて、画像処理後の画像に対してデータ圧縮処理を施すこともできる。

操作部材１１１は、モード選択ダイヤル、レリーズボタンなどを含んでいる。ユーザは、この操作部材１１１を介してカメラ制御部１０８へ各種の指示を入力することができる。

表示部１１０は、例えば、電子カメラ１０１の背面に設けられた液晶モニタである。表示部１１０は、カメラ制御部１０８から指定された画像を適宜に表示する。

不揮発性メモリ１０９は、例えば、半導体メモリの一種であるフラッシュメモリで構成されている。不揮発性メモリ１０９には、カメラ制御部１０８が参照すべき各種のパラメータが格納されており、これらのパラメータは、ユーザによって適宜に更新される。

カードＩ／Ｆ１１２は、カメラ制御部１０８から指定されたデータをメモリカード１１２ａへ書き込んだり、カメラ制御部１０８から指定されたデータをメモリカード１１２ａから読み出したりする。

カメラ制御部１０８は、ＣＰＵ、ＲＯＭなどを備えており、ＣＰＵは、ＲＯＭに予め格納されたプログラム（撮像に関するプログラムや画像処理に関するプログラムを含む）と、ユーザから入力された指示とに従って、電子カメラ１０１の各部を制御する。

例えば、カメラ制御部１０８は、ユーザから撮影指示が入力されると、撮影光学系１０２、メカニカルシャッタ１９３、カラー撮像素子１０４、及び信号処理部１０５を駆動することにより、ＲＡＷ画像を取得して画像バッファ１０６へ蓄積させる。

その後、カメラ制御部１０８は、画像バッファ１０６上のＲＡＷ画像に対して前述した各種の画像処理を施すよう画像処理部１０７に指示を与え、画像処理後の画像を表示部１１０へ送出する。

さらに、カメラ制御部１０８は、画像処理後の画像に対してデータ圧縮するよう画像処理部１０７に指示を与え、データ圧縮後の画像の画像ファイル（ＪＰＥＧファイル）を作成すると、その画像ファイルをメモリカード１１２ａへ書き込むようカードＩ／Ｆ１１２へ指示を出す。

また、カメラ制御部１０８は、必要に応じてＲＡＷ画像の画像ファイル（ＲＡＷ画像ファイル）を作成すると、そのＲＡＷ画像ファイルを、ＪＰＥＧファイルと共にメモリカード１１２ａへ書き込むようカードＩ／Ｆ１１２へ指示を出す。

図２は、画像処理部１０７の構成を示すブロック図である。図２に示すとおり画像処理部１０７には、ホワイトバランス処理部（ＷＢ処理部）２０１と、ホワイトバランスゲイン算出部（ＷＢゲイン算出部）２０２と、ガンマ変換部２０３と、色補間処理部２０４と、ガンマ補正処理部２０５と、彩度強調処理部２０６と、輪郭強調処理部２０７と、圧縮処理部２０８とが備えられる。

ホワイトバランスゲイン算出部２０２は、被写界を照明する環境光の特性に依らず無彩色の被写体を無彩色で表わすためのホワイトバランスゲイン（Ｒ画素用のゲイン、Ｂ画素用のゲイン）を、例えばＲＡＷ画像に基づき算出する。算出されたホワイトバランスゲイン（Ｒ画素用のゲイン、Ｂ画素用のゲイン）は、ホワイトバランス処理部２０１へ与えられる。

ホワイトバランス処理部２０１は、与えられたホワイトバランスゲイン（Ｒ画素用のゲイン、Ｂ画素用のゲイン）をＲＡＷ画像の各Ｒ画素及び各Ｂ画素に対して乗算する。これによって、ＲＡＷ画像に対してホワイトバランス処理が施される。

ガンマ変換部２０３は、ホワイトバランス処理後のＲＡＷ画像に対して予め決められた特性の階調変換処理（ガンマ変換）を施す。このガンマ変換は、色補間処理の前処理に相当し、色補間に適した階調のＲＡＷ画像を生成するものである。

色補間処理部２０４は、輝度画像生成部２５１と、色差画像生成部２５２と、輝度色差変換部２５３とを備え、ガンマ変換後のＲＡＷ画像に対して色補間処理を施し、色補間後の画像を作成する。

色補間処理部２０４の輝度画像生成部２５１は、色補間後の画像の各画素位置における輝度データＹを生成する。つまり、輝度画像生成部２５１は、色補間後の画像の輝度成分（すなわち輝度画像）を生成する。

色補間処理部２０４の色差画像生成部２５２は、色補間後の画像の各画素位置における第１色差データＣｒを生成すると共に、色補間後の画像の各画素位置における第２色差データＣｂを生成する。つまり、色差画像生成部２５２は、色補間後の画像の第１色差成分（すなわち第１色差画像）と、色補間後の画像の第２色差成分（すなわち第２色差画像）とを生成する。

輝度色差変換部２５３は、色補間後の画像の各画素に対して画素毎にマトリクス演算（下式参照）を施すことにより、色補間後の画像の色座標を、ＹＣｂＣｒ座標からＲＧＢ座標へと色座標変換する（ＹＣｂＣｒ−ＲＧＢ変換を行う。）。

色座標変換後の画像は、ＲＡＷ画像の各画素において欠落していた色成分データがそれぞれ補間されている。

つまり、図２の色補間処理部２０４は、全ての画素が全ての色成分データ（Ｒ、Ｇ、Ｂ）を欠落なく有している画像（色座標変換後の画像）を、色補間後の画像として出力する。

ガンマ補正処理部２０５は、色座標変換後の画像に対して色成分毎に階調変換処理を施す。この階調変換により、出力媒体に適した階調の画像が得られる。

彩度強調処理部２０６は、彩度を強調するための色変換処理を、階調変換後の画像に対して施す。なお、この色変換処理には、各画素の属する色空間を出力媒体に適した色空間へと変換する処理が含まれていても構わない。

輪郭強調処理部２０７は、エッジを強調するための処理を、色変換後の画像に対して施す。エッジとは、画像中の構造のエッジのことである。この輪郭強調処理は、例えば、画像に対してラプラシアンフィルタなどの差分フィルタ処理を施すことによってエッジ成分を抽出し、そのエッジ成分をその画像へ加えるものである。

圧縮処理部２０８は、ＪＰＥＧ規格など所定の方式によるデータ圧縮処理を、輪郭強調後の画像に対して施す。

次に、輝度画像生成部２５１の処理の一例を、図４、図５に基づき説明する。

輝度画像生成部２５１は、ＲＡＷ画像の各Ｇ画素位置における輝度データＹと、ＲＡＷ画像の各Ｒ画素位置における輝度データＹと、各Ｒ画素位置における輝度データＹと、各Ｂ画素位置における輝度データＹとを、例えば以下のとおり生成する。

（Ｇ画素位置における輝度データ生成）
輝度画像生成部２５１は、ＲＡＷ画像（図３参照）上のＧ画素位置の各々について以下の処理を実行する。

すなわち、輝度画像生成部２５１は、図４（Ａ）又は図４（Ｂ）に示すとおり、着目したＧ画素位置におけるＧ画素のＧ成分データＧと、そのＧ画素位置の上下左右に隣接する４つの画素の色成分データとを重み付け平均することにより、そのＧ画素位置の輝度データＹを生成する。なお、この重み付け平均では、Ｇ成分データの重みと、Ｒ成分データの重みと、Ｂ成分データの重みとの比は、２：１：１に設定される。そのＧ画素位置の周辺の配列が図４（Ａ）、図４（Ｂ）の何れであったとしても、重み付け平均の式は、Ｙ＝（４Ｇ＋Ｂ１＋Ｂ２＋Ｒ１＋Ｒ２）／８となる。

（Ｒ画素位置の輝度データ生成）
輝度画像生成部２５１は、ＲＡＷ画像上のＲ画素位置の各々について以下の処理を実行する。

先ず、輝度画像生成部２５１は、着目したＲ画素位置の上下に隣接する２つのＧ画素のＧ成分データの差分の絶対値を、垂直方向のコントラスト評価値として算出する。

また、輝度画像生成２５１は、そのＲ画素位置の左右に隣接する２つのＧ画素のＧ成分データの差分の絶対値を、水平方向のコントラスト評価値として算出する。

また、輝度画像生成部２５１は、そのＲ画素位置の上及び左に隣接する２つのＧ画素のＧ成分データの差分の絶対値と、そのＲ画素位置の右及び下に隣接する２つのＧ画素のＧ成分データの差分の絶対値との和を、第１斜線方向（右上から左下に向かう方向）のコントラスト評価値として算出する。

また、輝度画像生成部２５１は、そのＲ画素位置の上及び右に隣接する２つのＧ画素のＧ成分データの差分の絶対値と、そのＲ画素位置の左及び下に隣接する２つのＧ画素のＧ成分データの差分の絶対値との和を、第２斜線方向（左上から右下に向かう方向）のコントラスト評価値として算出する。

続いて、輝度画像生成部２５１は、垂直方向のコントラスト評価値と、水平方向のコントラスト評価値と、第１斜線方向のコントラスト評価値と、第２斜線方向のコントラスト評価値とを比較する。

そして、垂直方向のコントラスト評価値が最も小さかった場合、輝度画像生成部２５１は、Ｒ画素位置における輝度構造が垂直線構造であったとみなし、図５（Ａ）に示すとおり、そのＲ画素位置を中心とした９画素のうち、そのＲ画素位置の左右に隣接する２つの画素以外の７画素の色成分データを重み付け平均することによって、そのＲ画素位置の輝度データＹを算出する。なお、この重み付け平均では、Ｒ成分データの重みと、Ｂ成分データの重みと、Ｇ成分データの重みとの比が１：１：２に設定される。つまり、重み付け平均は、Ｙ＝（４Ｇ＋Ｒ１＋Ｒ２＋Ｂ１＋Ｂ２）／８の式によって行われる。

また、水平方向のコントラスト評価値が最も小さかった場合、輝度画像生成部２５１は、Ｒ画素位置における輝度構造が水平線構造であったとみなし、図５（Ｂ）に示すとおり、そのＲ画素位置を中心とした９画素のうち、そのＲ画素位置の上下に隣接する２つの画素以外の７画素の色成分データを重み付け平均することによって、そのＲ画素位置の輝度データＹを算出する。なお、この重み付け平均でも、Ｒ成分データの重みと、Ｂ成分データの重みと、Ｇ成分データの重みとの比が１：１：２に設定される。

また、第１斜線方向のコントラスト評価値が最も小さかった場合、輝度画像生成部２５１は、Ｒ画素位置における輝度構造が第１斜線構造であったとみなし、図５（Ｃ）に示すとおり、そのＲ画素位置を中心とした９画素のうち、そのＲ画素位置の左上及び右下の２画素以外の７画素の色成分データを重み付け平均することによって、そのＲ画素位置の輝度データＹを算出する。なお、この重み付け平均でも、Ｒ成分データの重みと、Ｂ成分データの重みと、Ｇ成分データの重みとの比が１：１：２に設定される。

また、第２斜線方向のコントラスト評価値が最も小さかった場合、輝度画像生成部２５１は、Ｒ画素位置における輝度構造が第２斜線構造であったとみなし、図５（Ｄ）に示すとおり、そのＲ画素位置を中心とした９画素のうち、そのＲ画素位置の右上及び左下の２画素以外の７つの画素の色成分データを重み付け平均することによって、そのＲ画素位置の輝度データＹを算出する。なお、この重み付け平均でも、Ｒ成分データの重みと、Ｂ成分データの重みと、Ｇ成分データの重みとの比が１：１：２に設定される。

但し、輝度画像生成部２５１は、上記した４種類のコントラスト評価値のばらつきが閾値未満であった場合には、Ｒ画素位置における輝度構造は一様であったとみなし、図５（Ｅ）に示すとおり、そのＲ画素位置と中心とした９画素の全色成分データを重み付け平均することによって、そのＲ画素位置の輝度データＹを算出する。なお、この重み付け平均でも、Ｒ成分データの重みと、Ｂ成分データの重みと、Ｇ成分データの重みとの比が１：１：２に設定される。

（Ｂ画素位置の輝度データ生成）
輝度画像生成部２５１は、ＲＡＷ画像上のＢ画素位置の各々について上述した処理（Ｒ画素位置の輝度データ生成）と同様の処理を実行することで、各Ｂ画素位置の輝度データＹを生成する（以上が、輝度画像生成部２５１の動作である。）。

次に、色差画像生成部２５２の処理の詳細を、図６、図７、図８に基づき説明する。

図６に示すとおり色差画像生成部２５２は、Ｇ補間部３０１と、離散色差生成部３０２と、平滑化部３０３と、色差補間部３０４とを備える。

色差画像生成部２５２のＧ補間部３０１及び離散色差生成部３０２及び平滑化部３０３は、ＲＡＷ画像上の各Ｒ画素位置における第１色差データＣｒを生成すると共に、ＲＡＷ画像上の各Ｂ画素位置における第２色差データＣｂを生成する。また、色差画像生成部２５２の色差補間部３０４は、ＲＡＷ画像の各Ｒ画素位置における第１色差データＣｒに基づき、ＲＡＷ画像の他の画素位置における第１色差データＣｒを生成すると共に、ＲＡＷ画像の各Ｂ画素位置における第２色差データＣｂに基づき、ＲＡＷ画像の他の画素位置における第２色差データＣｂを生成する。

このうち、第１色差データＣｒの生成時における色差画像生成部２５２の処理手順と、第２色差データＣｂの生成時における色差画像生成部２５２の処理手順とは同じであって、それらの処理手順の間の相違点は、前者はＲ画素に関する処理であるのに対して後者はＢ画素に関する処理であるという点のみである。よって、ここでは、第１色差データＣｂの生成時における色差画像生成部２５２の動作のみを代表して説明する。

（Ｇ補間部３０１の動作）
Ｇ補間部３０１は、ＲＡＷ画像上のＲ画素位置の各々について以下の処理を実行することで、Ｒ画素位置の各々における仮のＧ成分データを生成する。

先ず、Ｇ補間部３０１は、着目したＲ画素位置の上下に隣接する２つのＧ画素のＧ成分データの差分の絶対値を、垂直方向のコントラスト評価値として算出する。また、Ｇ補間部３０１は、そのＲ画素位置の左右に隣接する２つのＧ画素のＧ成分データの差分の絶対値を、水平方向のコントラスト評価値として算出する。

その後、Ｇ補間部３０１は、垂直方向のコントラスト評価値と、水平方向のコントラスト評価値とを比較する。

そして、垂直方向のコントラスト評価値の方が小さかった場合、Ｇ補間部３０１は、 Ｒ画素位置における輝度構造が垂直線構造であったとみなし、図７（Ａ）に示すとおり、そのＲ画素位置の上下に隣接する２つのＧ画素のＧ成分データの平均値を、そのＲ画素位置のＧ成分データとする。なお、ここで生成されるＧ成分データは、第１色差データＣｒの生成に用いられる仮のＧ成分データである。

また、水平方向のコントラスト評価値の方が小さかった場合、Ｇ補間部３０１は、Ｒ画素位置における輝度構造が水平線構造であったとみなし、図７（Ｂ）に示すとおり、そのＲ画素位置の左右に隣接する２つのＧ画素のＧ成分データの平均値を、そのＲ画素位置のＧ成分データとする。なお、ここで生成されるＧ成分データは、第１色差データＣｒの生成に用いられる仮のＧ成分データである。

但し、上記した２種類のコントラスト評価値のばらつきが閾値未満であった場合、Ｇ補間部３０１は、Ｒ画素位置における輝度構造は一様であったとみなし、図７（Ｃ）に示すとおり、そのＲ画素位置の上下左右に隣接する４つのＧ画素のＧ成分データの平均値を、そのＲ画素位置のＧ成分データとする。なお、ここで生成されるＧ成分データは、第１色差データＣｒの生成に用いられる仮のＧ成分データである。

（離散色差生成部３０２の動作）
離散色差生成部３０２は、ＲＡＷ画像上のＲ画素位置の各々について次の処理を実行する。すなわち、離散色差生成部３０２は、着目したＲ画素位置のＲ成分データＲから、そのＲ画素位置についてＧ補間部３０１が生成したＧ成分データを差し引くことにより、そのＲ画素位置における第１色差データＣｒを算出する。

ここで、個々のＲ画素位置は、ＲＡＷ画像上に点在しているので、離散色差生成部３０２が個々のＲ画素位置について生成した第１色差データＣｒは、図８に示すとおり、ＲＡＷ画像上に離散的に分布するデータとなる。よって、以下では、第１色差データＣｒのＲＡＷ画像上の分布（＝各Ｒ画素位置について生成された第１色差データＣｒで構成される画像）を、「離散色差画像」と称す。

（平滑化部３０３の動作）
平滑化部３０３は、離散色差画像（図８）上の各画素について以下の処理（ａ）〜（ｃ）を実行することで、離散色差画像に発生しているノイズ（色差ノイズ）を除去する。

（ａ）平滑化部３０３は、離散色差画像上で着目画素に隣接する８つの周辺画素の第１色差データＣｒ（１）〜Ｃｒ（８）を参照し、それらの最大値ＭＡＸ及び最小値ＭＩＮを算出する。

（ｂ）平滑化部３０３は、最大値ＭＡＸと、最小値ＭＩＮと、着目画素の第１色差データＣｒとを以下の式（１）へ当てはめることにより、着目画素の仮の第１色差データＣｒ_ｔｍｐを生成する。

この式（１）によると、着目画素の第１色差データは、８つの周辺画素の第１色差データの値範囲内に収められる。よって、この式（１）によると、着目画素の第１色差データＣｒに突出ノイズ成分（周辺画素と比較して著しく値の突出していた成分）が含まれていた場合、その突出ノイズ成分は除去される。よって、この式（１）は、離散色差画像に発生している突出ノイズを除去するための式である。

（ｃ）平滑化部３０３は、着目画素の仮の第１色差データＣｒ_ｔｍｐと、８つの周辺画素の第１色差データＣｒ（１）〜Ｃｒ（８）とを、以下の式（２）へ当てはめることにより、着目画素の平滑化後の第１色差データＣｒ_ｎｒを生成する。

この式（２）によると、着目画素の第１色差データは、８つの周辺画素の第１色差データによって平滑化されるが、８つの周辺画素のうち着目画素から一定以上値の離れたものは、平滑化の参照対象から外される。したがって、この式（２）によると、離散色差画像に含まれる構造（色差構造）のエッジが鈍るのを避けながら、離散色差画像を平滑化することができる。これによって、離散色差画像に含まれる色差構造のエッジは保持され、離散色差画像に発生していたノイズ（色差ノイズ）のみが除去される。なお、このような式（２）の処理は、イプシロンフィルタ処理とも呼ばれている。

ここで、式（２）におけるｔｈは、着目画素と周辺画素との間に色差構造のエッジが存在していた場合に、その周辺画素を平滑化の参照対象から外すための閾値であって、全ての着目画素に対して共通の閾値である。この閾値ｔｈが大きいと、色差ノイズの除去強度は強まるが、色差構造のエッジの鈍る可能性が高まってしまう。一方、この閾値ｔｈが小さいと、色差構造のエッジを維持できる可能性は高まるが、色差ノイズの除去強度は弱まる。

このため、閾値ｔｈは、離散色差画像に発生している色差ノイズの標準偏差に応じた値（例えば、標準偏差の３倍程度）に設定されることが望ましい。よって、平滑化部３０３は、撮影条件又は離散色差画像に基づき、離散色差画像に発生している色差ノイズの標準偏差を推定してから、その標準偏差に応じて閾値ｔｈを設定することが望ましい。なお、撮影条件とは、ＲＡＷ画像の取得時の撮影条件であって、シャッタースピード、絞り値、レンズポジション、撮影感度などである。

（色差補間部３０４の動作）
色差補間部３０４は、ノイズ除去後の離散色差画像（すなわち、各Ｒ画素位置における第１色差データＣｒ）にアップサンプリング処理を施すことにより、ＲＡＷ画像のＢ画素位置の各々における第１色差データＣｒと、ＲＡＷ画像のＧ画素位置の各々における第１色差データＣｒとを生成する。

アップサンプリングの方法には公知の何れかの方法が適用できるが、例えば、次のとおりである。すなわち、色差補間部３０４は、着目したＢ画素位置の左上、右上、右下、左下に位置する４つのＲ画素の第１色差データＣｒの平均値を算出し、その平均値を、そのＢ画素位置における第１色差データＣｒとする。また、色差補間部３０４は、着目したＧ画素位置の上下又は左右に隣接する２つのＲ画素の第１色差データＣｒの平均値を算出し、その平均値を、そのＧ画素位置における第１色差データＣｒとする（以上が、色差補間部３０４の動作である。）。

以上説明したとおり、本実施形態の色差画像生成部２５２（図６参照）は、ＲＡＷ画像上の各Ｒ画素位置における第１色差データＣｒを生成し、それら第１色差データＣｒのＲＡＷ画像上の分布である離散色差画像に対して平滑化によるノイズ除去処理を施してから、Ｒ画素位置以外の画素位置（Ｂ画素位置及びＧ画素位置）における第１色差データＣｒをアップサンプリングする。

同様に、本実施形態の色差画像生成部２５２は、ＲＡＷ画像上の各Ｂ画素位置における第２色差データＣｂを生成し、それら第２色差データＣｂのＲＡＷ画像上の分布である離散色差画像に対して平滑化によるノイズ除去処理を施してから、Ｂ画素位置以外の画素位置（Ｒ画素位置及びＧ画素位置）における第２色差データＣｂをアップサンプリングする。

したがって、本実施形態の色補間処理部２０４は、ノイズ除去処理の対象を、色補間後の画像でも、色補間前の画像（ＲＡＷ画像）でもなく、色補間処理の過程で生成された離散色差画像とする。

この離散色差画像は、色補間後の画像よりもデータ量が少ない。よって、本実施形態では、ノイズ除去処理の対象を色補間後の画像とする場合よりも、ノイズ除去処理に要する演算量を抑えることができる。

また、その離散色差画像は、アップサンプリング前の色差画像であるので、アップサンプリング後の色差画像よりも、画像に発生した色差ノイズを正確に反映している。よって、本実施形態では、ノイズ除去処理の対象をアップサンプリング後の色差画像とする場合よりも、高いノイズ除去効果を得ることができる。

また、その離散色差画像は、画像の輝度構造の情報を含んでいない（画像の色差構造の情報しか含まない）。よって、本実施形態では、そのノイズ除去処理の強度を高めたとしても、画像に含まれる輝度構造のエッジを鈍らせることなく、画像に含まれる色差ノイズのみを積極的に除去できる。

ここで、通常、画像に含まれる輝度構造のエッジは、画像に含まれる色差構造のエッジと比較すると、画像の見た目のコントラストを左右する重要な要素と考えられる。また、画像に発生する色差ノイズは、画像に発生する輝度ノイズと比較すると、目立ち易いと考えられる。

したがって、輝度構造のエッジを保持しつつ色差ノイズのみを積極的に除去できる本実施形態は、極めて有用性が高いと考えられる。

［第１実施形態の変形例］
なお、第１実施形態では、離散色差画像に対する空間的な平滑化処理として、突出ノイズ除去処理（式（１））とイプシロンフィルタ処理（式（２））との組み合わせを適用したが、離散色差画像に発生している突出ノイズの量が少ない場合などは、突出ノイズ除去処理（式（１））を省略してもよい。なお、離散色差画像に発生する突出ノイズの量は、離散色差画像から推定してもよいし、ＲＡＷ画像の取得時の撮影条件（シャッタースピード、絞り値、レンズポジション、撮影感度など）から推定してもよい。

また、第１実施形態では、離散色差画像上の個々の着目画素に関する平滑化の参照範囲を、着目画素を中心とした３×３の９画素範囲（図８参照）に設定したが、更に広範囲に設定してもよい。

また、第１実施形態では、離散色差画像に対する空間的な平滑化処理として、突出ノイズ除去処理（式（１））とイプシロンフィルタ処理（式（２））との組み合わせを適用したが、ノイズ除去効果のある空間的な平滑化処理であるならば、公知の他の平滑化処理を適用してもよい。

また、第１実施形態では、離散色差画像に対するノイズ除去処理（つまり色差ノイズの除去処理）を説明したが、色差ノイズの除去処理に、輝度ノイズの除去処理（公知）を併用してもよい。輝度ノイズの除去処理は、輝度画像の生成後又は輝度画像の生成過程において輝度画像生成部２５１が実行すればよい。

また、第１実施形態では、電子カメラ１０１について説明したが、電子カメラ１０１の色補間処理機能の一部又は全部は、撮像機能を有しない他の画像処理装置に搭載されてもよく、コンピュータが実行可能な画像処理ソフトウエアに搭載されてもよい。

なお、その画像処理ソフトウエアは、記憶媒体又は通信網を介してコンピュータへインストールされる画像処理ソフトウエアであって、電子カメラ１０１又は他の電子カメラが作成したＲＡＷ画像ファイルを読み込み、そのＲＡＷ画像ファイルに格納されたＲＡＷ画像に対して色補間処理を施すことのできる画像処理ソフトウエアである。

［第２実施形態］
以下、本発明の第２実施形態として電子カメラを説明する。本実施形態は第１実施形態の変形例なので、ここでは第１実施形態との相違点のみ説明する。

図９は、本実施形態の色差画像生成部２５２の構成を示すブロック図である。図９に示すとおり、本実施形態における色差画像生成部２５２の平滑化部３０３は、離散色差画像に対する平滑化処理に、輝度画像生成部２５１（図２参照）が生成した輝度画像（輝度データＹ）を使用する。

なお、第１色差データＣｒの生成時における平滑化部３０３の処理手順と、第２色差データＣｂの生成時における平滑化部３０３の処理手順との間の相違点は、前者はＲ画素に関する処理であるのに対して後者がＢ画素に関する処理であるという点のみである。よって、ここでは、第１色差データＣｂの生成時における平滑化部３０３の動作のみを代表して説明する。

（平滑化部３０３の動作）
平滑化部３０３は、離散色差生成部３０２が生成した離散色差画像（図８）上の各画素について以下の処理（ｄ）〜（ｇ）を実行することで、離散色差画像に発生しているノイズ（色差ノイズ）を除去する。

（ｄ）平滑化部３０３は、輝度画像生成部２５１（図２参照）が生成した輝度画像の画像サイズを、離散色差画像の画像サイズに合わせ込むために、輝度画像に対してサイズ縮小処理を施す。具体的に、平滑化部３０３は、離散色差画像上の着目画素に対応する、輝度画像上の画素ブロック（４画素）を参照し、その画素ブロックに位置する４画素の輝度データＹの平均値を、着目画素の輝度データＹｓとする（この輝度データＹｓが、サイズ縮小後の輝度画像の輝度データである。）。さらに、平滑化部３０３は、このような輝度データＹｓの生成を、着目画素に隣接する８つの周辺画素の各々についても行う。これによって、図１０（Ａ）→図１０（Ｂ）に示すとおり、着目画素の輝度データｓＹ（０）と、８つの周辺画素の輝度データＹｓ（１）〜Ｙｓ（８）とが生成される。

（ｅ）平滑化部３０３は、それら８つの周辺画素の第１色差データＣｒ（１）〜Ｃｒ（８）を参照し、それらの最大値ＭＡＸ及び最小値ＭＩＮを算出する。

（ｆ）平滑化部３０３は、最大値ＭＡＸと、最小値ＭＩＮと、着目画素の第１色差データＣｒとを上述した式（１）へ当てはめることにより、着目画素の仮の第１色差データＣｒ_ｔｍｐを生成する。

（ｇ）平滑化部３０３は、着目画素の仮の第１色差データＣｒ_ｔｍｐと、８つの周辺画素の第１色差データＣｒ（１）〜Ｃｒ（８）と、着目画素の輝度データＹｓ（０）と、８つの周辺画素の輝度データＹｓ（１）〜Ｙｓ（８）とを、以下の式（２’）へ当てはめることにより、着目画素の平滑化後の第１色差データＣｒ_ｎｒを生成する。

この式（２’）の処理は、上述した式（２）と同様、イプシロンフィルタ処理であるが、色差構造のエッジを維持するための閾値（ｔｈ２−｜Ｙｓ（０）−Ｙｓ（ｉ）｜）は、着目画素及び周辺画素の輝度データＹｓ（０）〜Ｙｓ（８）に応じて変化する。

このような可変の閾値によると、着目画素と周辺画素との間に輝度構造のエッジが存在していた場合には、その周辺画素は平滑化の参照対象から外され、輝度構造のエッジが存在していなかった場合には、その周辺画素は平滑化の参照対象に含まれる。

したがって、例えば、画像に発生している色差ノイズのコントラストが高く、画像の色差構造が色差ノイズに埋もれるような場合であっても、色差構造のエッジを維持しつつ色差ノイズのみを除去することができる。

なお、式（２’）におけるｔｈ２（閾値の基準値）は、離散色差画像に発生している色差ノイズの標準偏差と、輝度画像に発生している輝度ノイズの標準偏差との和に応じた値（例えば、和の３倍程度）に設定されることが望ましい。よって、平滑化部３０３は、撮影条件又は離散色差画像に基づき離散色差画像に発生している色差ノイズの標準偏差を推定すると共に、撮影条件又は輝度画像に基づき輝度画像に発生している輝度ノイズの標準偏差を推定してから、それらの標準偏差に応じて基準値ｔｈ２を設定することが望ましい。なお、撮影条件とは、ＲＡＷ画像の取得時の撮影条件であって、シャッタースピード、絞り値、レンズポジション、撮影感度などである（以上が、平滑化部３０３の動作である。）。

以上説明したとおり、本実施形態の色差画像生成部２５２（図９）は、離散色差画像に対する平滑化処理のパラメータ（具体的には、平滑化の参照対象）を、画像の輝度構造に応じて適切に設定するので、様々なコントラストの色差ノイズに対処することができる。したがって、本実施形態では、第１実施形態よりも更に効果的なノイズ除去処理を行うことができる。

なお、本実施形態における輝度画像のサイズ縮小方法としては、上記した方法に限定されず、公知の他の方法を適用してもよい。

また、本実施形態も、第１実施形態と同様に変形することが可能である。

２５２…色差画像生成部、３０１…Ｇ補間部、３０２…離散色差生成部３０２、３０３…平滑化部、３０４…色差補間部

Claims (6)

1. 互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を入力する画像入力部と、
   前記第１画素群の各々が有する色成分データである第１色成分データに基づき、離散的な前記第２画素群の各々の位置における第１色成分データを推測する色推測部と、
   前記第２画素の各々について推測された前記第１色成分データと、前記第２画素群の各々が有する色成分データである第２色成分データとに基づき、離散的な前記第２画素群の各々の位置における色差データを算出する算出部と、
   離散的な前記第２画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化部と、
   平滑化後の前記離散色差画像に基づき、前記画像上で前記第２画素群以外の画素群の各々の位置における色差データを推測する色差推測部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記平滑化処理には、
   突出ノイズの除去処理が含まれる
   ことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記第１画素群の各々の前記第１色成分データと前記第２画素群の各々の前記第２色成分データとに基づき、前記画像上の全画素群の各々の位置における輝度データを推測する輝度生成部と、
   前記全画素群の各々の位置に推測された前記輝度データで構成される連続輝度画像に対して、その連続輝度画像の画像サイズを前記離散色差画像の画像サイズに合わせ込むためのサイズ縮小処理を施す縮小部とを更に備え、
   前記平滑化部は、
   サイズ縮小後の前記連続輝度画像に基づき前記平滑化処理のパラメータを設定する
   ことを特徴とする画像処理装置。
4. 互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を取得する単板式カラー撮像素子と、
   前記画像を入力して処理する請求項１〜請求項３の何れか一項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
5. 互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を入力する画像入力手順と、
   前記第１画素群の各々が有する色成分データである第１色成分データに基づき、離散的な前記第２画素群の各々の位置における第１色成分データを推測する色推測手順と、
   前記第２画素の各々について推測された前記第１色成分データと、前記第２画素群の各々が有する色成分データである第２色成分データとに基づき、離散的な前記第２画素群の各々の位置における色差データを算出する算出手順と、
   離散的な前記第２画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、
   平滑化後の前記離散色差画像に基づき、前記画像上で前記第２画素群以外の画素群の各々の位置における色差データを推測する色差推測手順と
   をコンピュータに実行させることを特徴とする画像処理プログラム。
6. 互いに異なる色成分の強度を表す第１画素群と第２画素群とが混在して配列し、少なくとも前記第２画素群が離散的位置に配列した画像を入力する画像入力手順と、
   前記第１画素群の各々が有する色成分データである第１色成分データに基づき、離散的な前記第２画素群の各々の位置における第１色成分データを推測する色推測手順と、
   前記第２画素の各々について推測された前記第１色成分データと、前記第２画素群の各々が有する色成分データである第２色成分データとに基づき、離散的な前記第２画素群の各々の位置における色差データを算出する算出手順と、
   離散的な前記第２画素群の位置に算出された前記色差データで構成される離散色差画像に対して空間的な平滑化処理を施す平滑化手順と、
   平滑化後の前記離散色差画像に基づき、前記画像上で前記第２画素群以外の画素群の各々の位置における色差データを推測する色差推測手順と
   を含むことを特徴とする画像処理方法。

Images