JP2012239133A - 画像処理装置および画像処理プログラム並びに電子カメラ - Google Patents

Abstract

【課題】
従来の色補間処理では、不自然なリンギングが発生するという問題があった。
【解決手段】
本発明では、第一色成分，第二色成分，第三色成分のいずれかに対応する複数の画素のうち、第一色成分だけが既知の第一種画素と、第二色成分だけが既知の第二種画素と、第三色成分だけが既知の第三種画素とで構成される画像データを入力する画像入力部と、第一色成分が未知の対象画素近傍の第一種画素により第一色成分の第一補間値を求める第一色成分補間部と、対象画素及び対象画素近傍の第二種画素と第三種画素の少なくとも一方により第一の凹凸構造を求める第一凹凸構造算出部と、第一の凹凸構造を第一補間値に加算して第二補間値を求める第一凹凸加算部と、対象画素近傍の第一種画素により第一色成分の範囲を求める第一色範囲算出部と、第二補間値を範囲内にクリップして第三補間値を求めるクリップ部とを備える。
【選択図】図３

Description

本発明は、画像処理装置および画像処理プログラム並びに電子カメラに関する。

一般的な電子カメラでは、単板イメージセンサーの各画素にＲＧＢのいずれか１つの色成分を有するカラーフィルタを配置してカラー情報を取得する。この場合、ＲＡＷ画像の各画素はＲＧＢのいずれか１つの色成分しか持たないため、周辺画素の他の色成分から色補間処理を行って全画素にＲＧＢ３つの色成分を生成する。ところが、例えばＲ画素位置のＧ成分を補間生成する場合、Ｒ画素周囲のＧ画素のみに基づいて補間すると、画像構造が先鋭に解像されないという問題がある。この問題を解決するために、Ｇ画素に基づいて補間生成したＧ成分にＲ画素やＢ画素に基づいて算出した凹凸成分を加えることにより、画像構造を先鋭に解像する色補間方法が提案されている（例えば、特許文献１参照）。

特開２０００−２４４９３４号公報

しかしながら、画像構造を先鋭に解像させるためにＲ画素やＢ画素に基づいて算出した凹凸成分を加えた場合、画像構造が先鋭になり過ぎて不自然なリンギングが発生するという問題が生じる。

本発明の目的は、不自然なリンギングを抑制することができる画像処理装置および画像処理プログラム並びに電子カメラを提供することである。

本発明に係る画像処理装置は、二次元状に配列された第一色成分，第二色成分および第三色成分のいずれかに対応する複数の画素のうち、第一色成分が既知であり第二色成分と第三色成分が未知である第一種画素と、第二色成分が既知であり第一色成分と第三色成分が未知である第二種画素と、第三色成分が既知であり第一色成分と第二色成分が未知である第三種画素とで構成される画像データを入力する画像入力部と、前記第一色成分が未知の対象画素について、前記対象画素近傍の前記第一種画素を参照して第一色成分の第一補間値を求める第一色成分補間部と、前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第一の凹凸構造を算出する第一凹凸構造算出部と、前記第一の凹凸構造を前記第一補間値に加算して第二補間値を求める第一凹凸加算部と、前記対象画素近傍の前記第一種画素を参照して前記対象画素における第一色成分の範囲を求める第一色範囲算出部と、前記第二補間値を前記範囲内にクリップして第三補間値を求めるクリップ部とを備えることを特徴とする。

さらに、前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第二の凹凸構造を算出する第二凹凸構造算出部と、前記第二の凹凸構造を前記第一補間値に加算して第四補間値を求める第二凹凸加算部と、前記第三補間値と前記第四補間値のどちらか一方を前記第一色範囲算出部が設定した前記範囲に基づいて選択する補間値選択部とを備えることを特徴とする。

本発明に係る画像処理プログラムは、二次元状に配列された第一色成分，第二色成分および第三色成分のいずれかに対応する複数の画素のうち、第一色成分が既知であり第二色成分と第三色成分が未知である第一種画素と、第二色成分が既知であり第一色成分と第三色成分が未知である第二種画素と、第三色成分が既知であり第一色成分と第二色成分が未知である第三種画素とで構成される画像データを入力して、各画素毎に第一色成分，第二色成分および第三色成分が含まれる画像データを生成する色補間処理をコンピュータで実行する画像処理プログラムであって、前記入力された画像データに対して、前記第一色成分が未知の対象画素について、対象画素近傍の前記第一種画素を参照して第一色成分の第一補間値を求める第一色成分補間ステップと、前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第一の凹凸構造を算出する第一凹凸構造算出ステップと、前記第一の凹凸構造を前記第一補間値に加算して第二補間値を求める第一凹凸加算ステップと、前記対象画素近傍の前記第一種画素を参照して前記対象画素における第一色成分の範囲を求める第一色範囲算出ステップと、前記第二補間値を前記範囲内にクリップして第三補間値を求めるクリップステップとを有することを特徴とする。

さらに、前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第二の凹凸構造を算出する第二凹凸算出ステップと、前記第二の凹凸構造を前記第一補間値に加算して第四補間値を求める第二凹凸加算ステップと、前記第三補間値と前記第四補間値のどちらか一方を前記第一色範囲算出部が設定した前記範囲に基づいて選択する補間値選択ステップとを更に設けたことを特徴とする。

本発明に係る電子カメラは、前記画像処理装置を搭載する電子カメラであって、光学系を介して入射する被写体光を各画素毎に複数の色成分のいずれか１つの色成分を有する複数画素で構成される画像を撮影して前記画像処理装置に出力する撮像部と、前記画像処理装置が出力する画像を記憶媒体に記録する記録部とを有することを特徴とする。

本発明に係る画像処理装置および画像処理プログラム並びに電子カメラでは、画像構造を先鋭に解像させるとともに、不自然なリンギングを抑制することができる。

各実施形態に係る電子カメラ１０１の構成を示すブロック図である。 電子カメラ１０１の画像処理部１０７の構成を示すブロック図である。 第一実施形態に係る電子カメラ１０１の色補間部２０２の構成および処理の流れを示すブロック図である。 各データの画素配置例を示す図である。 画像構造の方向判定方法を示す図である。 対象画素と近傍画素の配置例を示す図である。 第一実施形態に係る電子カメラ１０１の効果を説明するための図である。 第一実施形態に係る電子カメラ１０１の効果を説明するための図である。 第一実施形態に係る電子カメラ１０１の効果を説明するための図である。 第一実施形態に係る電子カメラ１０１の効果を説明するための図である。 第二実施形態に係る電子カメラ１０１の色補間部２０２ａの構成および処理の流れを示すブロック図である。 第二実施形態に係る電子カメラ１０１の効果を説明するための図である。 第二実施形態に係る電子カメラ１０１の効果を説明するための図である。 第二実施形態に係る電子カメラ１０１の効果を説明するための図である。

以下、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラの実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係る画像処理プログラムにより動作する画像処理装置が搭載された電子カメラの例を挙げて説明するが、撮影済みの画像データを入力して画像処理を行うパソコンのプログラムや単体の画像処理装置であっても構わない。

［電子カメラ１０１の構成および基本動作］
先ず、各実施形態に共通の電子カメラ１０１の全体構成および基本動作について説明する。図１は電子カメラ１０１の構成を示すブロック図で、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。ここで、画像処理部１０７は、本発明に係る画像処理プログラムが搭載された画像処理装置に相当するブロックである。

図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、カメラ制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが撮影条件に応じて制御される。

撮像素子１０４は、単板イメージセンサで構成され、受光面には光電変換部を有する複数の画素が二次元状に配置されている。そして、カラー情報を取得するために、例えば各画素にはＲＧＢ３色のいずれか１色のカラーフィルタが所定の配列で配置されており、撮像素子１０４は各画素毎にＲＧＢ３色のいずれか１色の色成分を有する画像信号を出力する。尚、本実施形態では、ベイヤー配列のカラーフィルタアレイが配置されているものとする。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像データを画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が１０００画素×１０００画素である場合、１００万画素分の画像データが画像バッファ１０６に取り込まれる。この時、画像バッファ１０６に取り込まれた画像データはＲＡＷデータと呼ばれ、各画素にＲＧＢいずれか１つの色成分を有するべイヤー配列の画像データである。

画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷデータに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭強調処理などを行う。さらに電子カメラ１０１の設定に応じて、ＪＰＥＧ規格などに準拠した画像圧縮方法で撮影画像の圧縮処理を行いＪＰＥＧデータを出力する。尚、画像処理部１０７の構成については後で詳しく説明する。

カメラ制御部１０８は、内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、カメラ制御部１０８は、操作部１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉して、撮像素子１０４で被写体画像を撮像する。そして、カメラ制御部１０８は、撮像素子１０４からアナログの画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像データ（ＲＡＷデータ）を画像バッファ１０６に取り込む。さらに、カメラ制御部１０８は、画像バッファ１０６に取り込まれたＲＡＷデータに対してホワイトバランス処理や色補間処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像データ（例えばＪＰＥＧデータ）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。

メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータが記憶され、カメラ制御部１０８はこれらのパラメータを参照して電子カメラ１０１の動作を制御する。尚、これらのパラメータは、操作部１１１を介して行われるユーザー操作に応じて適宜更新される。

表示部１１０は、液晶モニタなどで構成され、カメラ制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などが表示される。

操作部１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報はカメラ制御部１０８に出力され、カメラ制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、カメラ制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａとの間で画像データを読み書きする。

以上が電子カメラ１０１の構成および基本動作である。

［画像処理部１０７の構成および動作］
次に、画像処理部１０７の構成および動作について詳しく説明する。図２は画像処理部１０７の構成例を示すブロック図である。図２において、画像処理部１０７は、ホワイトバランス部（ＷＢ部）２０１と、色補間部２０２と、ガンマ補正部２０３と、彩度強調部２０４と、輪郭強調部２０５と、画像圧縮部２０６とで構成される。尚、図２において、図１と同符号のものは同じものを示す。以下、画像処理部１０７の各部について詳しく説明する。

ホワイトバランス部２０１は、被写体の無彩色部分が無彩色の画像として撮影されるように、ＲＧＢ各色のバランスを調整する係数（ホワイトバランスゲイン）を求め、ＲＡＷデータに乗算してホワイトバランス調整を行う。尚、ホワイトバランス処理後のＲＡＷデータに対して、次の色補間処理に適した階調特性（ガンマ特性）に変換する処理を行う場合もある。また、図２において、ＲＡＷデータとは、各画素にＲＧＢ３色の中のいずれか１色の値を有するベイヤー配列の画像データを意味するものとし、例えば画像バッファ１０６から読み出すＲＡＷデータとＷＢ部２０１の処理前後のＲＡＷデータは同じものではない。同様に、図２において、ＲＧＢデータとは、各画素にＲＧＢ３色の色成分の値を有する画像データを意味するものとし、例えば色補間部２０２が出力するＲＧＢデータと輪郭強調部２０５が出力するＲＧＢデータは同じものではない。

色補間部２０２は、画素毎にＲＧＢ３色のいずれか１色の値しか持たないＲＡＷデータを画素毎にＲＧＢ３色の値を有するＲＧＢデータに変換する処理を行う。

ガンマ補正部２０３は、色補間部２０２が出力するＲＧＢデータに対して階調変換処理を行う。

彩度強調部２０４は、撮影画像が鮮やかな色彩の画像になるようにＲＧＢデータの彩度を強調する処理を行う。

輪郭強調部２０５は、彩度強調部２０４が出力するＲＧＢデータの画像の輪郭を強調する処理を行う。

画像圧縮部２０６は、輪郭強調部２０５が出力する画像に対して、ＪＰＥＧ規格など所定の方式で画像圧縮処理を行う。画像圧縮処理後の画像データ（例えばＪＰＥＧデータ）は、カメラ制御部１０８を介してメモリカードＩＦ１１２に接続されているメモリカード１１２ａに撮影画像として保存される。尚、画像圧縮処理を行わない場合は、画像圧縮処理前の画像データがメモリカード１１２ａに保存される。

このように、画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷデータに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭強調処理、或いは画像圧縮処理を施してカメラ制御部１０８に出力する。

ここで、本願発明の特徴は画像処理部１０７の中の色補間部２０２の処理にあり、他の処理は省略したり上記以外の方法を用いても構わない。例えば、彩度強調部２０４の処理を省略したり、画像圧縮部２０６で画像圧縮処理を行わないようにしても構わない。

次に、色補間部２０２の構成および処理について、いくつかの例を挙げて説明する。

（第一実施形態）
図３は、第一実施形態に係る電子カメラ１０１における色補間部２０２の構成および処理の流れを示すブロック図である。色補間部２０２は、図２のＷＢ部２０１から入力するＲＡＷデータを処理して各画素にＲＧＢデータを生成する。

図３において、色補間部２０２は、ＲＡＷ画像入力部３０１と、方向判定部３０２と、Ｇ範囲設定部３０３と、Ｇ補間部３０４と、凹凸構造算出部３０５と、凹凸加算部３０６と、リンギングクリップ部３０７と、色変換部３０８とで構成される。

ここで、色補間部２０２に入力されるＲＡＷデータについて説明する。このＲＡＷデータは、例えば図４（ａ）に示すようなベイヤー配列の画像データで、各画素はＲＧＢ３色の内のいずれか１色の画素値を有している。尚、図４（ａ）は、分かり易いように５×５画素のベイヤー配列の例を示した図で、縦方向（行方向（ｊ））の５行と、横方向（列方向（ｉ））の５列が配置されている。例えば、（ｊ−２）行目、（ｊ）行目および（ｊ＋２）行目はＲ画素とＧ画素が交互に配置され、（ｊ−１）行目および（ｊ＋１）行目はＧ画素とＢ画素が交互に配置されている。尚、図４（ａ）において、ｉおよびｊは座標位置を示す整数で、例えばＲ（ｉ，ｊ）はｊ行ｉ列目のＲ画素（ｉ，ｊ）のＲ成分値を示し、Ｂ（ｉ−１，ｊ−１）は（ｊ−１）行（ｉ−１）列目のＢ画素（ｉ−１，ｊ−１）のＢ成分値を示し、Ｇ（ｉ，ｊ＋１）は（ｊ＋１）行（ｉ）列目のＧ画素（ｉ，ｊ＋１）のＧ成分値を示す。また、以降の各図の説明においても、図４（ａ）と同様に（ｉ，ｊ）の表記は画素座標を示す。尚、本実施形態では、ベイヤー配列のＲＡＷデータを用いるが、デルタ配列など他の配列のＲＡＷデータについても同様の処理を行うことにより、本実施形態に係る画像処理装置と同じ効果が得られる。

図３において、色補間部２０２には画像バッファ１０６からＲＡＷデータが入力され、色補間部２０２は以下の処理を行う。

ＲＡＷ画像入力部３０１は、画像バッファ１０６から図４（ａ）に示したようなベイヤー配列のＲＡＷデータを入力する。そして、ＲＡＷ画像入力部３０１は、Ｇ画素位置の画素値（Ｇ画素値と称する）を、方向判定部３０２と、Ｇ範囲設定部３０３と、Ｇ補間部３０４とに出力し、Ｒ画素位置の画素値（Ｒ画素値と称する）およびＢ画素位置の画素値（Ｂ画素値と称する）を、凹凸構造算出部３０５と、色変換部３０８の色差生成部３５１とに出力する。

方向判定部３０２は、ＲＡＷ画像の各Ｒ画素位置（または各Ｂ画素位置）について、公知の方法により画像構造の方向判定処理を行う。例えば図４のＲ画素（ｉ，ｊ）を対象画素とした場合、以下のようにＲ画素（ｉ，ｊ）における方向判定処理を行う。ここで、縦・横・右下斜め（左上から右下方向）・右上斜め（左下から右上方向）の各方向の隣接画素差分値をそれぞれＣＶ，ＣＨ，ＣＤ１，ＣＤ２と称する。

（式１）は、図５（ａ）に示したように、対象画素のＲ画素（ｉ，ｊ）を中心とする左右の列の８つのＧ画素を用いて、縦方向の隣接画素差分値ＣＶを求める。尚、図５の各図における矢印は差分値を求めるためのペアとなる２つの画素を示している。

CV=(|G(i-1,j-2)-G(i-1,j)|+|G(i-1,j)-G(i-1,j+2)|
+|G(i,j-1)-G(i,j+1)|+|G(i+1,j-2)-G(i+1,j)|
+|G(i+1,j)-G(i+1,j+2)|)/5 …（式１）
（式２）は、図５（ｂ）に示したように、対象画素のＲ画素（ｉ，ｊ）を中心とする上下の行の８つのＧ画素を用いて、横方向の隣接画素差分値ＣＨを求める。

CH=(|G(i-2,j-1)-G(i,j-1)|+|G(i,j-1)-G(i+2,j-1)|
+|G(i-1,j)-G(i+1,j)|+|G(i-2,j+1)-G(i,j+1)|
+|G(i,j+1)-G(i+2,j+1)|)/5 …（式２）
（式３）は、図５（ｃ）に示したように、対象画素のＲ画素（ｉ，ｊ）を中心とする左下から右上方向の８つのＧ画素を用いて、右下斜め（左上から右下）方向の隣接画素差分値ＣＤ１を求める。

CD1=(|G(i,j-1)-G(i+1,j)|+|G(i-1,j)-G(i,j+1)|
+|G(i-2,j+1)-G(i-1,j+2)|+|G(i+1,j-2)-G(i+2,j-1)|)/4 …（式３）
（式４）は、図５（ｄ）に示したように、対象画素のＲ画素（ｉ，ｊ）を中心とする左上から右下方向の８つのＧ画素を用いて、右上斜め（左下から右上）方向の隣接画素差分値ＣＤ２を求める。

CD2=(|G(i,j-1)-G(i-1,j)|+|G(i+1,j)-G(i,j+1)|
+|G(i-1,j-2)-G(i-2,j-1)|+|G(i+2,j+1)-G(i+1,j+2)|)/4 …（式４）
ここで、隣接画素差分値ＣＶ，ＣＨ，ＣＤ１，ＣＤ２を求める式は上記に限定されず、またＧ画素だけでなくＲ画素やＢ画素を参照して求めてもよい。尚、いずれの方法であっても、画像構造の方向を判断することができればよい。

そして、（式５）および（式６）により、縦横方向判定結果ＨＶ（ｉ，ｊ）と、斜め方向判定結果ＤＩ（ｉ，ｊ）をＲＡＷ画像の各Ｒ画素位置（または各Ｂ画素位置）について算出する。具体的には、隣接画素差分値ＣＶ，ＣＨ，ＣＤ１，ＣＤ２を用いて画像構造の方向を判定する。例えば、縦方向の隣接画素差分値ＣＶと横方向の隣接画素差分値ＣＨの差が予め設定した閾値ＴＨより大きいか否かに応じて縦横方向判定結果ＨＶ（ｉ，ｊ）を求める。ＣＶがＣＨよりも大きい場合は横方向の画像構造、ＣＶがＣＨよりも小さい場合は縦方向の画像構造であるが、例えばＲＡＷ画像のノイズによる画素値の揺らぎによる判定誤りを防止するために閾値ＴＨを設定して、ＣＶとＣＨの差が閾値ＴＨ以下の場合は縦でも横でもないと判定する。同様に、ＣＤ１がＣＤ２よりも大きい場合は画像構造がＣＤ２、ＣＤ１がＣＤ２よりも小さい場合は画像構造がＣＤ１となるが、判定誤りを防止するために閾値ＴＨを設定して、ＣＤ１とＣＤ２の差が閾値ＴＨ以下の場合はＣＤ１でもＣＤ２でもないと判定する。

ここで、ＴＨは予め設定された閾値であり、例えばＲＡＷ画像のノイズによる画素値の揺らぎの標準偏差の３倍程度に設定する。

このようにして、画像構造の判定を行うことができる。尚、縦横方向判定結果ＨＶ（ｉ，ｊ）および斜め方向判定結果ＤＩ（ｉ，ｊ）のー１，０，１は方向判定結果を示すフラグである。

Ｇ範囲設定部３０３は、ＲＡＷ画像の各Ｒ画素位置（または各Ｂ画素位置）について、（式７）と（式８）により、Ｇ値の最大値ｍａＧ（ｉ，ｊ）と、Ｇ値の最小値ｍｉＧ（ｉ，ｊ）とを算出する。具体的には、（式５）および（式６）で求めた画像構造が縦の場合は、対象画素（ｉ，ｊ）の上下のＧ画素の最大値または最小値を対象画素（ｉ，ｊ）の最大値ｍａＧ（ｉ，ｊ）または最小値ｍｉＧ（ｉ，ｊ）とし、画像構造が横の場合は、対象画素（ｉ，ｊ）の左右のＧ画素の最大値または最小値を対象画素（ｉ，ｊ）の最大値ｍａＧ（ｉ，ｊ）または最小値ｍｉＧ（ｉ，ｊ）とする。また、画像構造が縦でも横でもない場合は、対象画素（ｉ，ｊ）の上下左右のＧ画素の最大値または最小値を対象画素（ｉ，ｊ）の最大値ｍａＧ（ｉ，ｊ）または最小値ｍｉＧ（ｉ，ｊ）とする。

ここで、ｍａｘ（ ）は（ ）内の最大値を表し、ｍｉｎ（ ）は（ ）内の最小値を表す。

Ｇ補間部３０４は、ＲＡＷ画像の各Ｒ画素位置（または各Ｂ画素位置）について、例えば（式９）により、Ｇ補間値Ｇ＿ｉｔｐｌ（ｉ，ｊ）を算出する。具体的には、（式５）および（式６）で求めた画像構造が縦の場合は、対象画素（ｉ，ｊ）の上下の２つのＧ画素の平均値をＧ補間値Ｇ＿ｉｔｐｌ（ｉ，ｊ）とし、画像構造が横の場合は、対象画素（ｉ，ｊ）の左右の２つのＧ画素の平均値をＧ補間値Ｇ＿ｉｔｐｌ（ｉ，ｊ）とする。また、画像構造が縦でも横でもない場合は、対象画素（ｉ，ｊ）の上下左右の４つのＧ画素の平均値をＧ補間値Ｇ＿ｉｔｐｌ（ｉ，ｊ）とする。

凹凸構造算出部３０５は、例えば（式１１）により、凹凸構造Δ（ｉ，ｊ）を算出する。尚、Δ（ｉ，ｊ）は、図６（ｄ）に示すように、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）における凹凸成分値である。

ここで、Ｚ２（ｉ，ｊ）は、図６（ｃ）に示すように、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）において、（式１０）で算出される値であり、Ｚ（ｉ，ｊ）は、図６（ｂ）に示すように、画素位置（ｉ，ｊ）におけるＲＡＷ画像のＲ画素値またはＢ画素値である。尚、図６（ａ）は図４（ａ）と同じベイヤー配列のＲＡＷ画像を示す。

凹凸加算部３０６が、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）について、例えば（式１２）により、Ｇ補間値（G_itpl(i,j)）に凹凸成分（Δ(i,j)）を加算し、先鋭化された第二のＧ補間値Ｇ＿ｉｔｐｌ２（ｉ，ｊ）を算出する。
G_itpl2(i,j)=G_itpl(i,j)+k×Δ(i,j) …（式１２）
ここで、ｋは凹凸加算の強さを制御するパラメータであり、例えばｋ＝１程度に設定すればよい。

リンギングクリップ部３０７は、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）について、（式１３）により、リンギングがクリップされた第３のＧ補間値Ｇ＿ｉｔｐｌ３（ｉ，ｊ）を算出する。具体的には、先に（式７）と（式８）により求めたＧ値の最大値ｍａＧおよびＧ値の最小値ｍｉＧと、第２のＧ補間値Ｇ＿ｉｔｌｐ２とを比較して、第２のＧ補間値Ｇ＿ｉｔｌｐ２がｍｉＧ以下の場合はｍｉＧを第３のＧ補間値Ｇ＿ｉｔｐｌ３とし、第２のＧ補間値Ｇ＿ｉｔｌｐ２がｍａＧ以上の場合はｍａＧを第３のＧ補間値Ｇ＿ｉｔｐｌ３とする。また、第２のＧ補間値Ｇ＿ｉｔｌｐ２がｍａＧとｍｉＧの間にある場合は第２のＧ補間値Ｇ＿ｉｔｌｐ２を第３のＧ補間値Ｇ＿ｉｔｐｌ３とする。

このようにして、色補間部２０２は、図４（ａ）のＲＡＷ画像を入力して、図４（ｂ）に示すようにＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）における第３のＧ補間値Ｇ＿ｉｔｐｌ３を得ることができる。尚、図４（ｂ）において、ＧｒはＲ画素位置の第３のＧ補間値Ｇ＿ｉｔｐｌ３を示し、ＧｂはＢ画素位置の第３のＧ補間値Ｇ＿ｉｔｐｌ３を示す。また、図４（ｃ）および図４（ｄ）においても同様に表記する。

以降で説明する色変換部３０８の処理は、一般に行われているＲＧＢデータを生成する公知技術の一つである。

色変換部３０８は、リンギングクリップ部３０７が出力するＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）の第３のＧ補間値Ｇ＿ｉｔｐｌ３と、ＲＡＷ画像入力部３０１が出力するＲ画素値およびＢ画素値とを用いて、全画素のＲＧＢデータを求める。図３の例では、色変換部３０８は、色差生成部３５１と、色差補間部３５２と、ＲＧＢ変換部３５３とを有する。

色差生成部３５１は、リンギングクリップ部３０７が出力するＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）の第３のＧ補間値Ｇ＿ｉｔｐｌ３と、ＲＡＷ画像入力部３０１が出力するＲ画素値およびＢ画素値とを用いて、次の式により、Ｒ画素位置（またはＢ画素位置）（ｉ，ｊ）の色差Ｃｒ，Ｃｂをそれぞれ生成する。
Ｒ画素位置のＣｒ（ｉ，ｊ）の場合
Cr(i,j)=R(i,j)-G_itpl3(i,j)
Ｂ画素位置のＣｂ（ｉ，ｊ）の場合
Cb(i,j)=B(i,j)-G_itpl3(i,j)
ここで、Ｒ（ｉ，ｊ），Ｂ（ｉ，ｊ）は、図４（ｂ）に示すように、Ｒ画素位置（またはＢ画素位置）（ｉ，ｊ）におけるＲＡＷ画像入力部３０１が出力するＲ画素値およびＢ画素値である。このようにして、色差生成部３５１は、図４（ｃ）に示すように、Ｒ画素位置（またはＢ画素位置）（ｉ，ｊ）の色差Ｃｒ（ｉ，ｊ），Ｃｂ（ｉ，ｊ）をそれぞれ生成する。

色差補間部３５２は、色差生成部３５１が求めたＲ画素位置（またはＢ画素位置）の色差Ｃｒ，Ｃｂをアップサンプリングして全画素に対するＣｂ２（ｉ，ｊ），Ｃｒ２（ｉ，ｊ）を生成する。例えばＲ画素位置では色差Ｃｒは既に求められているので色差Ｃｂを求め、Ｂ画素位置では色差Ｃｂは既に求められているので色差Ｃｒを求め、Ｇ画素位置では色差Ｃｒおよび色差Ｃｂを求める。尚、この方法は公知の補間方法を用いることができるが、例えば以下の各式のように線形補間により求めることができる。
・ＲＡＷ画像のＲ画素位置（ｉ，ｊ）の場合
Cb2(i,j)=(Cb(i-1,j-1)+Cb(i-1,j+1)+Cb(i+1,j-1)+Cb(i+1,j+1))/4
Cr2(i,j)=Cr(i,j)
・ＲＡＷ画像のＢ画素位置（ｉ，ｊ）の場合
Cr2(i,j)=(Cr(i-1,j-1)+Cr(i-1,j+1)+Cr(i+1,j-1)+Cr(i+1,j+1))/4
Cb2(i,j)=Cb(i,j)
・ＲＡＷ画像のＲ画素位置の横に隣接するＧ画素位置(i,j)の場合
Cr2(i,j)=(Cr(i-1,j)+Cr(i+1,j))/2
Cb2(i,j)=(Cb(i,j-1)+Cb(i,j+1))/2
・ＲＡＷ画像のＢ画素位置の横に隣接するＧ画素位置(i,j)の場合
Cb2(i,j)=(Cb(i-1,j)+Cb(i+1,j))/2
Cr2(i,j)=(Cr(i,j-1)+Cr(i,j+1))/2
このようにして、色差補間部３５２は、図４（ｄ）に示すように、全画素に対するＣｂ２（ｉ，ｊ），Ｃｒ２（ｉ，ｊ）をそれぞれ生成する。

ＲＧＢ変換部３５３は、全画素（ｉ，ｊ）について、次の各式によりＲ値（Ｒrgb(i,j)），Ｇ値（Ｇrgb(i,j)）およびＢ値（Ｂrgb(i,j)）を生成する。
・ＲＡＷ画像のＲ画素位置（ｉ，ｊ）の場合は、実質的にＢrgb(i,j)の計算だけを行えばよい。
Ｒrgb(i,j)=G_itpl3(i,j)+Cr(i,j)=R(i,j)
Ｂrgb(i,j)=G_itpl3(i,j)+Cb2(i,j)
Ｇrgb(i,j)=G_itpl3(i,j)
・ＲＡＷ画像のＢ画素位置（ｉ，ｊ）の場合、実質的にＲrgb(i,j)の計算だけを行えばよい。
Ｒrgb(i,j)=G_itpl3(i,j)+Cr2(i,j)
Ｂrgb(i,j)=G_itpl3(i,j)+Cb(i,j)=B(i,j)
Ｇrgb(i,j)=G_itpl3(i,j)
・ＲＡＷ画像のＧ画素位置（ｉ，ｊ）の場合、実質的にＲrgb(i,j)とＢrgb(i,j)の計算だけを行えばよい。
Ｒrgb(i,j)=G(i,j)+Cr2(i,j)
Ｂrgb(i,j)=G(i,j)+Cb2(i,j)
Ｇrgb(i,j)=G(i,j)
このようにして、ＲＧＢ変換部３５３は、図４（ｅ）に示すように、全画素に対するＲＧＢデータを生成することができる。

以上、説明してきたように、色補間部２０２は、ＲＡＷ画像入力部３０１が入力するＲＡＷデータをＲＧＢデータに変換して出力する。特に本実施形態では、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）におけるＧ値を画像構造に従って補間を行うことにより、画像構造を先鋭に解像させるとともに、リンギングクリップ部３０７でリンギング成分をクリップすることにより、不自然なリンギングを抑制することができる。

尚、色補間部２０２で生成されたＲＧＢデータは、図２で説明したように、画像処理部１０７において、ガンマ補正、彩度強調、輪郭強調或いはノイズ除去などの画像処理を行った後、カメラ制御部１０８により表示部１１０に表示したり、ＪＰＥＧなどの画像圧縮処理後のＪＰＥＧデータをメモリカード１１２ａに保存する。

ここで、本実施形態の各部と請求項との関係について説明する。本実施形態ではベイヤー配列の例を示しているので、ベイヤー配列のＧ成分は第一色成分に対応し、Ｒ成分およびＢ成分は第二色成分および第三色成分にそれぞれ対応する。この場合、第一色成分が既知で第二色成分と第三色成分が未知である第一種画素はＧ画素に対応し、第二色成分が既知で第一色成分と第三色成分が未知である第二種画素はＲ画素、第三色成分が既知で第一色成分と第二色成分が未知である第三種画素はＢ画素にそれぞれ対応する。そして、第一色成分が未知の対象画素はＲ画素またはＢ画素に対応する。そして、Ｇ補間部３０４は第一色成分補間部に対応し、対象画素近傍のＧ画素を参照して対象画素におけるＧ成分の補間値Ｇ＿ｉｔｐｌを第一補間値として生成する。凹凸構造算出部３０５は第一凹凸構造算出部に対応し、対象画素及び近傍のＲ画素またはＢ画素の少なくともどちらかを参照して第一の凹凸構造を算出する。凹凸加算部３０６は第一凹凸加算部に対応し、第一の凹凸構造ΔをＧ成分補間値Ｇ＿ｉｔｐｌに加算することによりＧ成分の第二補間値（Ｇ＿ｉｔｐｌ２）を生成する。Ｇ範囲設定部３０３は第一色範囲算出部に対応し、対象画素近傍のＧ画素を参照して対象画素におけるＧ成分の範囲を求める。リンギングクリップ部３０７はクリップ部に対応し、Ｇ成分の第二補間値（Ｇ＿ｉｔｐｌ２）をＧ成分の範囲内にクリップすることによりＧ成分の第三補間値（Ｇ＿ｉｔｐｌ３）を生成する。

ここで、上記の実施形態では、色変換部３０８は、ＲＧＢデータを生成して出力するようにしたが、輝度色差画像データを出力するようにしてもよいし、色差を生成せずに図４（ｂ）の画像データから図４（ｅ）のＲＧＢデータを生成してもよい。或いは、様々な公知の色変換式によって変換可能な他の画像データフォーマットに変換して出力するようにしてもよい。いずれの場合であっても、図４（ｂ）に示したように、本実施形態では、画像構造に従って補間を行うことにより、画像構造を先鋭に解像させるとともに、不自然なリンギングを抑制して、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）におけるＧ値を求めているので、以降の色変換部３０８で行われる処理に拘らず、上記の実施形態と同様の効果が得られる。

また、上記の実施形態では、凹凸構造算出部３０３が凹凸成分Δ（ｉ，ｊ）を求める際に、Ｚ２（Ｒ画素位置のＲ値とＢ画素位置のＢ値の加算値）を用いたが、代わりにＺ（Ｒ画素位置のＲ値とＢ画素位置のＢ値のどちらか一方の値）を使用してもよい。一般に、色収差がある場合にはＺ２を用いる方が画質が安定するが、Ｚを用いる方が処理が簡易になり、ＣＰＵの処理能力が低いカメラの場合や連写撮影など高速処理が求められる場合などに適している。

［効果］
次に、第一実施形態に係る電子カメラ１０１の効果について説明する。ここでは、リンギングクリップ部３０７の処理が無効な画像例と有効な画像例について説明し、第一実施形態に係る電子カメラ１０１では、どちらの場合でも良好な結果が得られることを説明する。
（リンギングクリップが無効な画像例）
図７は、ある画像の左上方向に立ち上がる輪郭線と交差する横方向の行４０１（Ｒ画素とＧ画素の行）におけるＲＡＷ画像のＧ画素値（●印）と、●印を通る実線は光学系１０２により撮像素子１０４の受光面に結像される本当のＧ成分の画像構造を示している。同様に、行４０１のＲ画素値（▲印）と、▲印を通る実線は光学系１０２により撮像素子１０４の受光面に結像される本当のＲ成分の画像構造を示している。尚、図７では、わかり易いように、Ｇ画素値とＲ画素値の値（光量）が行４０１において一定値だけ異なる場合の様子を描いてある。また、ベイヤー配列なので行４０１において、Ｒ画素とＧ画素は交互に配置され、それぞれの画素値もＲ値とＧ値とが交互に得られる。

図８（ａ）は、図７の座標８におけるＧ補間部３０５のＧ補間値（■印）を示した図である。■印は、左上方向に立ち上がる輪郭線付近のＲ画素位置に補間生成されたＧ補間値Ｇ＿ｉｔｐｌである。図８（ａ）からわかるように、■印は本当のＧ成分を示す実線からずれており、Ｇ補間値Ｇ＿ｉｔｐｌはボケた画像になる。

ここで、左上方向に立ち上がる輪郭線が行４０１方向と為す角度が４５度未満の場合は、方向判定部３０２による方向判定で画像構造がＣＨ（横）方向と判定され、ＣＨ方向の補間処理が行われるので、図８（ａ）に示すような補間結果になる。図８（ａ）の場合、座標８に示した下方向の矢印４０２は、凹凸構造Δに相当し、Ｇ補間値Ｇ＿ｉｔｐｌのボケを正しく推定していることがわかる。

図８（ｂ）は、図８（ａ）のＧ補間値Ｇ＿ｉｔｐｌのずれを凹凸構造Δ分だけ補正した第二のＧ補間値Ｇ＿ｉｔｐｌ２（◆印）を示した図である。Ｇ補間値Ｇ＿ｉｔｐｌに矢印４０２の凹凸構造Δを加算することにより、ボケが解消した◆印の第二のＧ補間値Ｇ＿ｉｔｐｌ２が得られている。

図９（ａ）は、図８（ｂ）の第二のＧ補間値Ｇ＿ｉｔｐｌ２にリンギングクリップ部３０７の処理を行った場合の様子を描いた図である。リンギングクリップ部３０７が第二のＧ補間値Ｇ＿ｉｔｐｌ２をクリップして、第三のＧ補間値Ｇ＿ｉｔｐｌ３を生成する処理を行うが、図９（ａ）の画像例では、ｍｉＧ≦Ｇ＿ｉｔｐｌ２≦ｍａＧなので、リンギングクリップ部３０７は、第二のＧ補間値Ｇ＿ｉｔｐｌ２をそのまま第３のＧ補間値Ｇ＿ｉｔｐｌ３とする。これにより、ボケが解消した良好な第二のＧ補間値Ｇ＿ｉｔｐｌ２と同様にリンギングクリップ部３０７が出力する第３のＧ補間値Ｇ＿ｉｔｐｌ３もボケが解消した良好な値である。

このように、リンギングクリップが無効となる画像例では、ボケが解消した良好な画像が得られることがわかる。
（リンギングクリップが有効な画像例）
次に、リンギングクリップが有効な場合について説明する。図９（ｂ）は、先の例と同様に、画像の左上方向に立ち上がる輪郭線と交差する横方向の行４０１（Ｒ画素とＧ画素の行）におけるＲＡＷ画像のＧ画素値（●印）とＲ画素値（▲印）、および本当のＧ成分を示す●印を通る実線と、本当のＲ成分を示す▲印を通る実線とを描いた図である。先の例と異なるのは、輪郭線に対するＲ画素とＧ画素のサンプリング位置が横に１画素ずれており、輪郭線が座標７の位置で左上方向に立ち上がっている。これにより、補間処理の対象画素がある座標８に位置では変化が殆どない。

図９（ｂ）の場合、凹凸構造算出部３０３は、矢印４０４で示したように、凹凸構造Δにより、Ｇ補間値Ｇ＿ｉｔｐｌのボケを誤って推定している。このため、図１０（ａ）に示すように、Ｇ補間値Ｇ＿ｉｔｐｌの■印を矢印４０５だけ加算して◆印の第二のＧ補間値Ｇ＿ｉｔｐｌ２に補正している。このように、■印のＧ補間値Ｇ＿ｉｔｐｌに、誤って推定された矢印４０５の凹凸構造Δを加算することにより、◆印の第二のＧ補間値Ｇ＿ｉｔｐｌ２にはリンギングが発生してしまう。これが従来技術の問題点である。

そこで、本実施形態では、図１０（ｂ）に示すように、リンギングクリップ部３０７は、第二のＧ補間値Ｇ＿ｉｔｐｌ２をクリップした第３のＧ補間値Ｇ＿ｉｔｐｌ３を求める。この場合、リンギングクリップ部３０７は、Ｇ＿ｉｔｐｌ２≦ｍｉＧなのでＧ＿ｉｔｐｌ３＝ｍｉＧにクリップし、リンギングが解消された★印のＧ＿ｉｔｐｌ３が生成される。

以上で説明したように、第一実施形態に係る電子カメラ１０１では、凹凸構造Δを加算することによって画像構造を先鋭に解像させるとともに、誤って補正し過ぎた場合の不自然なリンギングを抑制することができる。

（第二実施形態）
図１１は、第二実施形態に係る電子カメラ１０１における色補間部２０２ａの構成および処理の流れを示すブロック図である。尚、電子カメラ１０１の構成自体は第一実施形態で説明した図１と同じである。また、本実施形態における色補間部２０２ａは、第一実施形態の色補間部２０２ａと同様に、図２のＷＢ部２０１から入力するＲＡＷデータを処理して各画素にＲＧＢデータを生成する。

図１１において、色補間部２０２ａは、図３の色補間部２０２と同じ処理を行うブロック（ＲＡＷ画像入力部３０１、方向判定部３０２、Ｇ範囲設定部３０３、Ｇ補間部３０４、凹凸構造算出部３０５、凹凸加算部３０６、リンギングクリップ部３０７および色変換部３０８）に加えて、第二凹凸構造算出部３０９と、第二凹凸加算部３１０と、Ｇ補間値選択部３１１とで構成される。

ここで、色補間部２０２ａに入力されるＲＡＷデータは、図４（ａ）で説明したようにベイヤー配列の画像データである。

第二凹凸構造算出部３０９は、第二の凹凸構造Δ２（ｉ，ｊ）を算出する。尚、Δ２（ｉ，ｊ）は、図６（ｄ）のΔ（ｉ，ｊ）と同様に、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）（ｉ，ｊ）における第二の凹凸成分値である。また、Ｚ２（ｉ，ｊ）およびＺ（ｉ，ｊ）は、第一実施形態と同様である。先ず、第二凹凸構造算出部３０９は、ＲＡＷ画像の各Ｒ画素位置（または各Ｂ画素位置）について、近傍のＺ２の範囲の最大値（ｍａＺ２）と最小値（ｍｉＺ２）を（式１４）と（式１５）によって算出する。具体的には、（式５）および（式６）で求めた画像構造が縦の場合は、対象画素（ｉ，ｊ）の上下のＲ画素（またはＢ画素）のＺ２の最大値または最小値を対象画素（ｉ，ｊ）の最大値（ｍａＺ２）または最小値（ｍｉＺ２）とし、画像構造が横の場合は、対象画素（ｉ，ｊ）の左右のＲ画素（またはＢ画素）のＺ２の最大値または最小値を対象画素（ｉ，ｊ）の最大値（ｍａＺ２）または最小値（ｍｉＺ２）とする。また、画像構造が縦でも横でもない場合は、対象画素（ｉ，ｊ）の上下左右のＲ画素（またはＢ画素）のＺ２の最大値または最小値を対象画素（ｉ，ｊ）の最大値（ｍａＺ２）または最小値（ｍｉＺ２）とする。

ここで、ｍａｘ（ ）は（ ）内の最大値を表し、ｍｉｎ（ ）は（ ）内の最小値を表す。

次に、（式１６）により、対象画素（ｉ，ｊ）においてＺ２が上記範囲から突出している大きさ（突出量：第二の凹凸成分値）であるΔ２（ｉ，ｊ）を求める。具体的には、対象画素（ｉ，ｊ）のＺ２と、（式１４）または（式１５）で求めた対象画素（ｉ，ｊ）におけるＺ２（ｉ，ｊ）の最大値（ｍａＺ２）または最小値（ｍｉＺ２）と比較して、対象画素（ｉ，ｊ）のＺ２（ｉ，ｊ）が最小値（ｍｉＺ２）より小さい場合はＺ２（ｉ，ｊ）と最小値（ｍｉＺ２）の差の１／２をΔ２（ｉ，ｊ）とする。同様に、対象画素（ｉ，ｊ）のＺ２（ｉ，ｊ）が最大値（ｍａＺ２）より大きい場合はＺ２（ｉ，ｊ）と最大値（ｍａＺ２）の差の１／２をΔ２（ｉ，ｊ）とする。対象画素（ｉ，ｊ）のＺ２（ｉ，ｊ）が最小値（ｍｉＺ２）と最大値（ｍａＺ２）の間にある場合は突出量は無いものとし、Δ２（ｉ，ｊ）を０とする。

第二凹凸加算部３１０は、ＲＡＷ画像の各Ｒ画素位置（または各Ｂ画素位置）について、例えば（式１７）によりＧ補間値Ｇ＿ｉｔｐｌに第二の凹凸成分値Δ２を付加して第４のＧ補間値Ｇ＿ｉｔｐｌ４（ｉ，ｊ）を算出する。
G_itpl4(i,j) = G_itpl(i,j) + k2 ×Δ2(i,j) …（式１７）
ここで、係数ｋ２は第二の凹凸成分値Δ２を加算する際の強さを制御する重み付けパラメータであり、例えばｋ２＝１程度に設定する。

Ｇ補間値選択部３１１は、ＲＡＷ画像の各Ｒ画素位置（または各Ｂ画素位置）について、（式１８）により第３のＧ補間値Ｇ＿ｉｔｌｐ３と第４のＧ補間値Ｇ＿ｉｔｐｌ４のどちらか一方を選択して第５のＧ補間値Ｇ＿ｉｔｐｌ５とする。具体的には、先に（式７）と（式８）により求めたＧ値の最大値ｍａＧおよびＧ値の最小値ｍｉＧと、第４のＧ補間値Ｇ＿ｉｔｌｐ４とを比較して、第４のＧ補間値Ｇ＿ｉｔｌｐ４がｍａＧとｍｉＧの間にある場合は第３のＧ補間値Ｇ＿ｉｔｌｐ３を選択して第５のＧ補間値Ｇ＿ｉｔｐｌ５とし、それ以外の場合は第４のＧ補間値Ｇ＿ｉｔｌｐ４を選択して第５のＧ補間値Ｇ＿ｉｔｐｌ５とする。

以降の色変換部３０８の処理については、第一実施形態の図３と同じなので重複する説明は省略する。但し、色変換部３０８は、第３のＧ補間値Ｇ＿ｉｔｌｐ３の代わりに第５のＧ補間値Ｇ＿ｉｔｐｌ５を用いる。そして、色変換部３０８は、図４（ｅ）に示すように、全画素に対するＲＧＢデータを生成する。

以上、説明してきたように、色補間部２０２ａは、ＲＡＷ画像入力部３０１が入力するＲＡＷデータをＲＧＢデータに変換して出力する。特に本実施形態では、ＲＡＷ画像のＲ画素位置（またはＢ画素位置）におけるＧ値を画像構造に従って補間を行うことにより、画像構造を先鋭に解像させるとともに、リンギングクリップ部３０７でリンギング成分をクリップすることにより、不自然なリンギングを抑制することができる。さらに、Ｇ補間値選択部３１１は、Ｇ範囲設定部３０４が設定したＧ範囲に応じて、第二凹凸構造算出部３０９および第二凹凸加算部３１０が求めた第４のＧ補間値Ｇ＿ｉｔｌｐ４を選択するので、リンギングクリップ部３０７で誤って補正された補間値を適正値に戻すことができる。

尚、色補間部２０２ａで生成されたＲＧＢデータは、図２で説明したように、画像処理部１０７において、ガンマ補正、彩度強調、輪郭強調或いはノイズ除去などの画像処理を行った後、カメラ制御部１０８により表示部１１０に表示したり、ＪＰＥＧなどの画像圧縮処理後のＪＰＥＧデータをメモリカード１１２ａに保存する。

ここで、本実施形態の各部と請求項との関係について説明する。尚、第一実施形態で説明したように、ベイヤー配列のＧ成分、Ｒ成分およびＢ成分は第一色成分、第二色成分および第三色成分にそれぞれ対応し、第一種画素、第二種画素および第三種画素は、Ｇ画素、Ｒ画素およびＢ画素にそれぞれ対応する。また、第一色成分が未知の対象画素はＲ画素またはＢ画素に対応する。そして、第二実施形態で追加されたブロックの第二凹凸構造算出部３０９は第二凹凸構造算出部に対応し、対象画素及び近傍のＲ画素またはＢ画素の少なくともどちらかを参照して第二の凹凸構造を算出する。第二凹凸加算部３１０は第二凹凸加算部に対応し、第二の凹凸構造Δ２をＧ成分補間値Ｇ＿ｉｔｐｌに加算することによりＧ成分の第四補間値（Ｇ＿ｉｔｐｌ４）を生成する。Ｇ補間値選択部３１１は補間値選択部に対応し、Ｇ成分の第三補間値（Ｇ＿ｉｔｐｌ３）とＧ成分の第四補間値（Ｇ＿ｉｔｐｌ４）のうちどちらか一方を選択する。

尚、本実施形態では、第一実施形態と同様に、色変換部３０８はＲＧＢデータを生成して出力するようにしたが、輝度色差画像データを出力するようにしてもよいし、色差を生成せずにＲＧＢデータを生成してもよい。或いは、他の画像データフォーマットに変換して出力するようにしてもよい。

このように、本実施形態に係る電子カメラ１０１では、撮像したＲＡＷ画像のＲ画素位置（またはＢ画素位置）におけるＧ値を求める際に、画像構造に従って適切な補間を行うことにより、画像構造を先鋭に解像させるとともに、不自然なリンギングを抑制することができる。特に本実施形態では、リンギングクリップ部３０７で誤って補正された補間値を適正値に戻すことにより、高周波成分の高い画像構造でも精度良く再現することができる。

また、上記の実施形態では、凹凸構造算出部３０３が凹凸成分Δ（ｉ，ｊ）を求める際に、Ｚ２（Ｒ画素位置のＲ値とＢ画素位置のＢ値の加算値）を用いたが、代わりにＺ（Ｒ画素位置のＲ値とＢ画素位置のＢ値のどちらか一方の値）を使用してもよい。一般に、色収差がある場合にはＺ２を用いる方が画質が安定するが、Ｚを用いる方が処理が簡易になり、ＣＰＵの処理能力が低いカメラの場合や連写撮影など高速処理が求められる場合などに適している。

また、Ｇ補間値選択部３１１の判定条件を次の変形例１および変形例２のように設定してもよい。

［変形例１］
Ｇ補間値選択部３１１の判定条件の変形例１として、第３のＧ補間値Ｇ＿ｉｔｌｐ３または第４のＧ補間値Ｇ＿ｉｔｌｐ４のうち、（式１９）によってＧ補間値Ｇ＿ｉｔｐｌに対して大きく変更された方を選択する。

［変形例２］
Ｇ補間値選択部３１１の判定条件の変形例２として、（式２０）に示すように、第３のＧ補間値Ｇ＿ｉｔｌｐ３と第二のＧ補間値Ｇ＿ｉｔｌｐ２の差分値と、第４のＧ補間値Ｇ＿ｉｔｌｐ４と第二のＧ補間値Ｇ＿ｉｔｌｐ２の差分値のうち小さい方を選択する。

［効果］
次に、第二実施形態に係る電子カメラ１０１の効果について説明する。図１２（ａ）は、繊細な高周波の画像構造（例えば縦筋など）の一例を示している。尚、図１２（ａ）は、図７と同様に、横方向の行４０１（Ｒ画素とＧ画素の行）におけるＲＡＷ画像のＧ画素値（●印）と、●印を通る実線は光学系１０２により撮像素子１０４の受光面に結像される本当のＧ成分の画像構造を示している。同様に、行４０１のＲ画素値（▲印）と、▲印を通る実線は光学系１０２により撮像素子１０４の受光面に結像される本当のＲ成分の画像構造を示している。尚、図１２（ａ）では、図７と同様に、Ｇ画素値とＲ画素値の値（光量）が行４０１において一定値だけ異なる場合の様子を描いてある。また、ベイヤー配列なので行４０１において、Ｒ画素とＧ画素は交互に配置され、それぞれの画素値もＲ値とＧ値とが交互に得られる。

図１２（ａ）は、図７の座標８におけるＧ補間部３０５のＧ補間値（■印）を示した図である。■印は、高周波成分の高い縦筋付近のＲ画素位置に補間生成されたＧ補間値Ｇ＿ｉｔｐｌである。図１２（ａ）からわかるように、■印は本当のＧ成分を示す実線からずれており、Ｇ補間値Ｇ＿ｉｔｐｌはボケた画像になる。

ここで、図１２（ａ）の矢印５０１は凹凸成分Δであり、Ｇ補間値Ｇ＿ｉｔｐｌのボケを少し補正する方向を再現している。従って、図１２（ｂ）に示すように、Ｇ補間値Ｇ＿ｉｔｐｌに凹凸成分Δを加算することにより、繊細な構造をある程度再現した◆印の第二のＧ補間値Ｇ＿ｉｔｐｌ２を生成することができる。

しかしながら、図１３（ａ）において、リンギングクリップ部３０７の処理により、◆印の第二のＧ補間値Ｇ＿ｉｔｐｌ２がクリップされて★印の第３のＧ補間値Ｇ＿ｉｔｐｌ３（＝ｍｉＧ）に補正され、縦筋などの繊細な構造を再現しなくなってしまう。

そこで、図１３（ｂ）に示すように、第二凹凸構造算出部３０９が矢印５０４の第二の凹凸成分Δ２を算出している。第二の凹凸成分Δ２は、対象画素近傍のＺ２の値の範囲に対して対象画素位置のＺ２が突出する量を表しており、図１３（ｂ）に示すような縦筋の繊細な画像構造を再現できる。

そして、図１４（ａ）に示すように、第二凹凸加算部３１０は、Ｇ補間値Ｇ＿ｉｔｐｌに第二凹凸成分Δ２を加算した×印の第４のＧ補間値Ｇ＿ｉｔｐｌ４を生成する。

さらに、図１４（ｂ）に示すように、Ｇ補間値選択部３１１は、第３のＧ補間値Ｇ＿ｉｔｐｌ３と第４のＧ補間値Ｇ＿ｉｔｐｌ４のうち、近傍のＧ画素の範囲に比べてより突出している方を選択する。同図の例では、第４のＧ補間値Ｇ＿ｉｔｐｌ４が第５のＧ補間値Ｇ＿ｉｔｐｌ５として選択される。このようにして、縦筋のような高周波成分の高い画像構造を精度良く再現することができる。

尚、図４で説明したような高周波成分が高くない通常の輪郭線に対して、本実施形態の処理を適用する場合、Ｚ２が０に近い値になるので第二凹凸成分Δ２は０となり、本実施形態の処理結果は第一実施形態の結果と同じになる。

以上、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、画像処理部１０７の処理を単独の画像処理装置やパソコンの画像処理プログラムで実現しても構わない。この場合は、例えば画像バッファ１０６の代わりに撮影済みのＲＡＷデータが記憶されたメモリカードなどの記憶媒体をパソコンに装着して画像処理部１０７の各処理を実行し、再びメモリカードに処理後の画像データを記憶する。或いは、色補間部２０２の処理だけを実行して、ＲＡＷデータをＲＧＢデータなどに変換するようにしても構わない。

尚、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・カメラ制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１２・・・メモリカードＩＦ；１１２ａ・・・メモリカード；２０１・・・ホワイトバランス部（ＷＢ部）；２０２・・・色補間部；２０２ａ・・・色補間部；２０３・・・ガンマ補正部；２０４・・・彩度強調部；２０５・・・輪郭強調部；２０６・・・画像圧縮部；３０１・・・ＲＡＷ画像入力部；３０２・・・方向判定部；３０３・・・Ｇ範囲設定部；３０４・・・Ｇ補間部；３０５・・・凹凸構造算出部；３０６・・・凹凸加算部；３０７・・・リンギングクリップ部；３０８・・・色変換部；３０９・・・第二凹凸構造算出部；３１０・・・第二凹凸加算部；３１１・・・Ｇ補間値選択部；３５１・・・色差生成部；３５２・・・色差補間部；３５３・・・ＲＧＢ変換部

Claims (11)

1. 二次元状に配列された第一色成分，第二色成分および第三色成分のいずれかに対応する複数の画素のうち、第一色成分が既知であり第二色成分と第三色成分が未知である第一種画素と、第二色成分が既知であり第一色成分と第三色成分が未知である第二種画素と、第三色成分が既知であり第一色成分と第二色成分が未知である第三種画素とで構成される画像データを入力する画像入力部と、
   前記第一色成分が未知の対象画素について、前記対象画素近傍の前記第一種画素を参照して第一色成分の第一補間値を求める第一色成分補間部と、
   前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第一の凹凸構造を算出する第一凹凸構造算出部と、
   前記第一の凹凸構造を前記第一補間値に加算して第二補間値を求める第一凹凸加算部と、
   前記対象画素近傍の前記第一種画素を参照して前記対象画素における第一色成分の範囲を求める第一色範囲算出部と、
   前記第二補間値を前記範囲内にクリップして第三補間値を求めるクリップ部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第一凹凸構造算出部は、前記対象画素近傍の前記参照する画素の平均値と前記対象画素の値との差を求めることにより、前記対象画素における凹凸構造を算出する
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第二の凹凸構造を算出する第二凹凸構造算出部と、
   前記第二の凹凸構造を前記第一補間値に加算して第四補間値を求める第二凹凸加算部と、
   前記第三補間値と前記第四補間値のどちらか一方を前記第一色範囲算出部が設定した前記範囲に基づいて選択する補間値選択部と
   を備えることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記第二凹凸構造算出部は、前記対象画素近傍において前記第一凹凸算出部が参照した色成分の範囲を求め、前記対象画素の値が前記色成分の範囲に対する突出量を求めることにより、前記第二の凹凸構造を算出する
   ことを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記補間値選択部は、前記第四補間値が前記第一色範囲算出部が求めた第一色成分の範囲内にある場合には前記第三補間値を選択し、前記範囲外にある場合には前記第四補間値を選択する
   ことを特徴とする画像処理装置。
6. 請求項３に記載の画像処理装置において、
   前記補間値選択部は、前記第三補間値と前記第四補間値のうち、前記第一補間値との差異が大きい方を選択する
   ことを特徴とする画像処理装置。
7. 請求項３に記載の画像処理装置において、
   前記補間値選択部は、前記第三補間値と前記第四補間値のうち、前記第二補間値との差異が大きい方を選択する
   ことを特徴とする画像処理装置。
8. 請求項１から７のいずれか一項に記載の画像処理装置において、
   前記配列はベイヤー配列に対応し、前記第一色成分，前記第二色成分および前記第三色成分はＧ成分，Ｒ成分およびＢ成分にそれぞれ対応し、前記第一種画素，前記第二種画素および前記第三種画素はＧ画素，Ｒ画素およびＢ画素にそれぞれ対応する
   ことを特徴とする画像処理装置。
9. 二次元状に配列された第一色成分，第二色成分および第三色成分のいずれかに対応する複数の画素のうち、第一色成分が既知であり第二色成分と第三色成分が未知である第一種画素と、第二色成分が既知であり第一色成分と第三色成分が未知である第二種画素と、第三色成分が既知であり第一色成分と第二色成分が未知である第三種画素とで構成される画像データを入力して、各画素毎に第一色成分，第二色成分および第三色成分が含まれる画像データを生成する色補間処理をコンピュータで実行する画像処理プログラムであって、
   前記入力された画像データに対して、前記第一色成分が未知の対象画素について、前記対象画素近傍の前記第一種画素を参照して第一色成分の第一補間値を求める第一色成分補間ステップと、
   前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第一の凹凸構造を算出する第一凹凸構造算出ステップと、
   前記第一の凹凸構造を前記第一補間値に加算して第二補間値を求める第一凹凸加算ステップと、
   前記対象画素近傍の前記第一種画素を参照して前記対象画素における第一色成分の範囲を求める第一色範囲算出ステップと、
   前記第二補間値を前記範囲内にクリップして第三補間値を求めるクリップステップと
   を有することを特徴とする画像処理プログラム。
10. 請求項９に記載の画像処理装置において、
    前記対象画素及び前記対象画素近傍の前記第二種画素と前記第三種画素の少なくとも一方の画素を参照して、前記対象画素における第二の凹凸構造を算出する第二凹凸算出ステップと、
    前記第二の凹凸構造を前記第一補間値に加算して第四補間値を求める第二凹凸加算ステップと、
    前記第三補間値と前記第四補間値のどちらか一方を前記第一色範囲算出部が設定した前記範囲に基づいて選択する補間値選択ステップと
    を更に設けたことを特徴とする画像処理プログラム。
11. 請求項１から８に記載の画像処理装置を搭載する電子カメラであって、
    光学系を介して入射する被写体光を各画素毎に複数の色成分のいずれか１つの色成分を有する複数画素で構成される画像を撮影して前記画像処理装置に出力する撮像部と、
    前記画像処理装置が出力する画像を記憶媒体に記録する記録部と
    を有することを特徴とする電子カメラ。

Images