JP2018107682A - 輝度信号生成装置、輝度信号生成方法、およびプログラム - Google Patents

Abstract

【課題】 輝度信号の品位を向上させる。【解決手段】 輝度信号生成回路２１０は、有彩色判定信号Ｄｃおよびエッジ判定信号Ｄｅに応じて、ＯＧ信号およびＳＷＹ信号の合成比率を決定し、決定した合成比率に従ってＯＧ信号およびＳＷＹ信号を合成してベース輝度信号を生成する。また、輝度信号生成回路２１０は、赤色判定信号Ｄｒ、低周波判定信号Ｄｌ、およびエッジ判定信号Ｄｅに応じて、ＯＧ信号およびＳＷＹ信号の合成比率を決定し、決定した合成比率に従ってＯＧ信号およびＳＷＹ信号を合成して高域用の輝度信号を生成する。【選択図】 図３

Description

本発明は、輝度信号生成装置、輝度信号生成方法、およびプログラムに関し、特に、撮像素子から出力される色信号から輝度信号を生成するために用いて好適なものである。

一般に、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのように、光量を検出可能な撮像素子を用いてカラー画像を生成する際、色フィルタを透過させた光を撮像装置に入射させる。色フィルタには、色の種類および画素ごとに割り当てる色の配列などによって様々な種類が存在する。色の種類としては原色（赤、緑、青）または補色（シアン、マゼンタ、イエロー）が広く用いられる。色の配列についてはベイヤー配列が広く用いられている。

図１６は、原色ベイヤー配列の１単位を示す図である。図１６において、Ｒは赤色、Ｇ１およびＧ２は緑色、Ｂは青色であることを示す。実際には、図１６に示す配列と同様の配列が撮像素子の画素数に応じて繰り返されることになる。
撮像素子から出力される色信号に応じて輝度信号を生成する手法として２つの方式が知られている。

第１の方式では、図１６に示す原色ベイヤー配列の色フィルタを用いて輝度信号を作成する際、赤、緑、および青の各色の信号を独立して処理する。これをＯｕｔ Ｏｆ Ｇｒｅｅｎ方式と言うこととする。Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式は、緑（Ｇ）信号を中心として輝度信号を作成する方式である。例えば、緑信号を処理する場合、輝度信号生成装置は、撮像素子から出力される色信号をデジタル化したＲＡＷ信号のうち緑色に対応する画素以外の画素に０（ゼロ）挿入する。そして、輝度信号生成装置は、画素値として０（ゼロ）が挿入されたＲＡＷ信号に対して、垂直方向の帯域を制限するローパスフィルタ（Ｖ−ＬＰＦ）処理および水平方向の帯域を制限するローパスフィルタ（Ｈ−ＬＰＦ）処理を行う。輝度信号生成装置は、赤信号および青信号についても同様に処理をして、各画素に赤信号、緑信号、および青信号の全ての信号を持たせる。そして、輝度信号生成装置は、以上のようにして作成した緑信号、赤信号、および青信号から輝度Ｙを、例えば、次の式（１）を用いて求める。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・ （１）

さらに、輝度信号生成装置は、緑信号のみから高域強調信号を生成し、生成した高域強調信号を輝度Ｙに加算する（以下、ＯＧ信号と呼ぶ）。
尚、輝度信号生成装置は、各画素に赤信号、緑信号、および青信号の全ての信号を持たせる代わりに、ローパスフィルタ処理を施した緑信号を輝度信号Ｙとして用いるようにしてもよい。この場合は、ＯＧ信号は緑信号のみから生成される。

一方、第２の方式では、図１６に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する際、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の全ての画素を用いて輝度信号を作成する。これをＳＷＹ方式と言うこととする。ＳＷＹ方式では、撮像素子から出力される色信号をデジタル化したＲＡＷ信号を色で区別することなくそのまま輝度信号とみなす。
図１７は、ＳＷＹ方式によって得られる輝度信号の概念を示す図である。図１７において、輝度Ｙに付加されたサフィックス（添字）は、画素の位置を示す。通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数において出力が０（ゼロ）となるローパスフィルタ（ＬＰＦ）を水平方向および垂直方向に適用した結果をベース信号とする。例えば、ＬＰＦのフィルタ係数を水平方向および垂直方向とも［１ ２ １］とすると、輝度信号生成装置は、Ｙ２２の画素に対応するＬＰＦからの出力Ｙ２２を、次の式（２）で求めることができる。

Ｙ２２＝（Ｙ１１＋２×Ｙ１２＋Ｙ１３＋２×Ｙ２１＋４×Ｙ２２＋２×Ｙ２３＋Ｙ３１＋２×Ｙ３２＋Ｙ３３）／１６ ・・・（２）
さらに、ベース信号から高域強調信号を生成して、この高域強調信号に元のベース信号を加算すると、高域が補償された信号を得ることが可能である。（以下、ＳＷＹ信号と呼ぶ）。

図１８は、ＯＧ信号およびＳＷＹ信号において解像可能な空間周波数特性を示す図である。図１８において、ｘ軸は被写体の水平（Ｈ）方向の周波数空間を表し、ｙ軸は垂直（Ｖ）方向の周波数空間を表す。図１８では、原点から遠ざかるほど空間周波数が高いことを示す。

Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式では、緑（Ｇ）信号を中心として輝度信号を生成する。このため、ＯＧ信号における、水平方向および垂直方向の解像可能な限界の空間周波数は、ナイキスト周波数（図１８の軸上のπ／２）に等しい。しかしながら、斜め方向においては画素が存在しないラインが存在する。このため、ＯＧ信号における、斜め方向の解像可能な限界の空間周波数は、水平及び垂直方向に比べて低く、結果的に、図１８に示す菱形領域１８００の内部が、ＯＧ信号で解像可能な空間周波数となる。

一方、ＳＷＹ方式では、全ての画素を用いて輝度信号を生成する。このため、被写体が無彩色の場合、図１８に示す正方形領域１８０１が、ＳＷＹ信号で解像可能な空間周波数となる。しかしながら、例えば、赤い被写体においては、赤色（Ｒ）に対応する画素以外からの画素からは輝度信号がほとんど出力されない。このため、赤い被写体の場合、無彩色の被写体に比べ、４分の１の範囲の正方形領域１８０２のみがＳＷＹ方式で解像可能な空間周波数となる。

このように、Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式およびＳＷＹ方式ともに、解像可能な空間周波数について不利な点がある。
また、一般的に赤信号および青信号は、緑信号に対してホワイトバランス処理により高いゲインが乗算される。このため、赤信号および青信号では緑信号よりノイズ成分が強調される。従って、ＯＧ信号に比べ赤信号、青信号の構成比が高いＳＷＹ信号の方がノイズ成分による劣化が目立つ。そこで、特許文献１には、画像信号について低周波数領域である否かを判別し、低周波数領域である場合にはＯＧ信号を用いる技術が開示されている。

特開２００８−７２３７７号公報

しかしながら、特許文献１に記載の技術では、低周波数領域として正方形領域１８０２よりも高い周波数領域が判別されるように設定した場合、赤信号、青信号で解像できない領域が含まれる。このため、赤信号、青信号に含まれる折り返し（モアレ）信号の影響を受ける。このため、輝度信号の品位が低下する虞がある。また、低周波数領域として正方形領域１８０２よりも低い周波数領域が判別されるように設定した場合、赤信号、青信号に含まれる折り返し（モアレ）信号の影響は軽減できる。しかしながら、この場合、緑信号で解像可能な示す菱形領域１８００内で低周波数領域に含まれない領域がＳＷＹ信号に置き換えられ、この領域における輝度信号の品位がノイズによって低下する虞がある。
本発明は、このような問題点に鑑みてなされたものであり、輝度信号の品位を向上させることを目的とする。

本発明の輝度信号生成装置は、色フィルタと撮像素子とを有する撮像手段で撮像された画像信号であり、第１の色信号を含む複数の色信号で構成された画像信号に基づいて輝度信号を生成する輝度信号生成装置であって、前記画像信号における前記複数の色信号の色を区別して少なくとも前記第１の色信号を用いて第１の輝度信号を生成する第１の生成手段と、前記複数の色信号の色を区別せずに前記撮像素子の画素に入力された前記色信号を当該画素の輝度信号として第２の輝度信号を生成する第２の生成手段と、前記第１の輝度信号と前記第２の輝度信号との合成比率を、前記画像信号に基づく第１の情報に基づいて決定し、当該決定した合成比率と、前記第１の輝度信号および前記第２の輝度信号の少なくとも何れか一方とに基づいて第３の輝度信号を生成する第３の生成手段と、前記第１の輝度信号と前記第２の輝度信号との合成比率を、前記画像信号に基づく第２の情報に基づいて決定し、当該決定した合成比率と、前記第１の輝度信号および前記第２の輝度信号の少なくとも何れか一方とに基づいて前記第３の輝度信号よりも高周波の輝度信号である第４の輝度信号を生成する第４の生成手段と、を有し、前記第１の情報は、前記画像信号のエッジに関する情報を含み、前記第２の情報は、前記画像信号のエッジに関する情報と、前記画像信号の空間周波数に関する情報とを含むことを特徴とする。

本発明によれば、輝度信号の品位を向上させることができる。

撮像装置の構成を示す図である。 画像処理部の構成を示す図である。 輝度信号生成回路の構成を示す図である。 有彩色判定部の処理を示すフローチャートである。 第１の彩度信号と有彩色判定信号との関係を示す図である。 赤色判定部の処理を示すフローチャートである。 第２の彩度信号と赤色判定信号との関係を示す図である。 エッジ領域判定部の構成を示す図である。 エッジ領域判定部の処理を示すフローチャートである。 エッジ判定信号とエッジ振幅信号との関係を示す図である。 低周波領域判定部の構成を示す図である。 低周波領域判定部の処理を示すフローチャートである。 低周波検出用信号と低周波判定信号との関係の一例を示す図である。 輝度信号合成処理部の処理を示すフローチャートである。 高域用輝度信号合成処理部の処理を示すフローチャートである。 原色ベイヤー配列の１単位を示す図である。 ＳＷＹ方式によって得られた輝度信号Ｙの概念を示す図である。 ＯＧ信号およびＳＷＹ信号において解像可能な範囲を示す図である。

以下、本発明の一実施形態について図面を参照して詳細に説明する。本実施形態では、輝度生成装置が撮像装置に適用される場合を例に挙げて説明する。
図１は、撮像装置１００の構成の一例を示すブロック図である。
レンズ群１０１は、フォーカスレンズを含むズームレンズである。シャッター１０２は、絞り機能を備える。シャッター１０２は、システム制御部５０の制御に応じて撮像部１０３に含まれる撮像素子を露光する。撮像部１０３は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどの撮像素子を含む。撮像素子は、レンズ群１０１を通して得られる光学像を光電変換により電気信号に変換する。本実施形態では、撮像部１０３は、原色ベイヤー配列の色フィルタを備える。Ａ／Ｄ変換部１０４は、撮像部１０３から読み出されたアナログ信号をデジタル信号に変換して画像処理部１０５に画像信号を出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像信号またはメモリ制御部１０７から出力された画像信号に対して、所謂現像処理などの信号処理を行う信号処理回路を有する。画像処理部１０５は、ホワイトバランスの調整、輝度信号の生成、およびガンマ補正などの各種画像処理を行う。

画像メモリ１０６は、画像処理部１０５が各種画像処理を行う際に一時的に画像信号を記憶する。また、画像メモリ１０６は、記録媒体インターフェース（Ｉ／Ｆ）１１１を介して記録媒体１１２から読み込まれた画像信号や、表示部１０９に表示するための画像信号を記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、デジタル信号をアナログ信号に変換する。Ｄ／Ａ変換器１０８は、例えば、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に出力する。

表示部１０９は、液晶ディスプレイなどの表示装置を有する。表示部１０９は、撮像装置１００で撮像された画像、記録媒体１１２から読み出された画像、ライブビュー画像などを表示する。また、表示部１０９は、撮像装置１００に対する操作をユーザが行うためのユーザインターフェースを表示する。コーデック部１１０は、画像信号を圧縮符号化・復号化する。コーデック部１１０は、画像メモリ１０６に記録された画像信号を例えばＭＰＥＧなどの規格に準拠した形式で符号化または復号化する。

記録媒体Ｉ／Ｆ１１１は、記録媒体１１２を、撮像装置１００と機械的および電気的に接続する。記録媒体１１２は、例えば、半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体である。システム制御部５０は、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）を含む。システム制御部５０は、不揮発性メモリ１２１に記憶されているプログラムをシステムメモリ１２２の作業領域に展開することにより実行して、撮像装置１００全体の各機能を制御する。例えば、システム制御部５０は、画像処理部１０５による処理の結果などに基づいて、露光制御および測距制御を行う。これにより、システム制御部５０は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＡＷＢ（オートホワイトバランス）処理などを行う。

操作部１２０は、前述した表示部１０９で表示されるインターフェースとしてのタッチパネルと、ボタンおよびスイッチとを含む。操作部１２０は、操作部１２０に対するユーザによる操作の内容をシステム制御部５０に通知する。不揮発性メモリ１２１は、補助記憶装置として、プログラムやパラメータなどを格納する不揮発性の半導体メモリを有する。具体的に不揮発性メモリ１２１は、例えば、ＥＥＰＲＯＭを有する。システムメモリ１２２は、主記憶装置であり、不揮発性メモリ１２１から読み出されたプログラムなどを展開する他、システム制御部５０の動作用の定数、変数を記憶する。

図２は、画像処理部１０５の構成の一例を示すブロック図である。
画像信号生成回路２０１は、Ａ／Ｄ変換部１０４から出力された画像信号を入力する。本実施形態では、画像信号は、原色ベイヤー配列で構成されたＲＧＢの画像信号であるものとする。

ＷＢ回路２０２は、画像信号生成回路２０１により出力された画像信号の情報に基づいてＷＢ補正値を算出する。ＷＢ回路２０２は、算出したＷＢ補正値を用いて、画像信号のホワイトバランスを補正する。
色変換マトリックス（ＭＴＸ）回路２０３は、ＷＢ回路２０２でホワイトバランスが補正された画像信号が最適な色で再現されるように、当該画像信号に色ゲインを乗じ、当該画像信号を２つの色差信号に変換する。
ローパスフィルタ（ＬＰＦ）回路２０４は、色差信号の帯域を制限する。ＣＳＵＰ（Chroma Suppress）回路２０５は、ＬＰＦ回路２０４で帯域制限された色差信号の飽和部分の偽色信号を抑圧する。

ＷＢ回路２０２でホワイトバランスが補正された画像信号は輝度信号生成回路２１０にも供給される。輝度信号生成回路２１０は、ＷＢ回路２０２でホワイトバランスが補正された画像信号に基づいて輝度信号を生成する。また、輝度信号生成回路２１０は、エッジ強調処理を適用した輝度信号を生成する。
ＣＳＵＰ回路２０５から出力される色差信号と、輝度信号生成回路２１０から出力される輝度信号は、ＲＧＢ変換回路２０６にてＲＧＢ信号に変換される。
ガンマ（γ）補正回路２０７は、ＲＧＢ信号に対し、予め定められたガンマ特性に従ったガンマ補正（階調補正）を行う。ガンマ補正されたＲＧＢ信号は、色輝度変換回路２０８によってＹＵＶ信号に変換された後、ＪＰＥＧ圧縮回路２０９にて圧縮符号化され、画像メモリ１０６などに画像データファイルとして記録される。

図３は、輝度信号生成回路２１０の構成の一例を示す図である。尚、以下の説明では、ＷＢ回路２０２でホワイトバランスが補正された画像信号を必要に応じてＲＡＷ信号と称する。
ＲＡＷ信号３００は、ＯＧ信号生成部３０２、ＳＷＹ信号生成部３０３、有彩色判定部３０４、赤色判定部３０５、エッジ領域判定部３０６、低周波領域判定部３０７へそれぞれ入力される。
ＯＧ信号生成部３０２は、ＲＡＷ信号３００からＯＧ信号を生成する。ＯＧ信号は、輝度信号合成処理部３０８、高域用輝度信号合成処理部３０９へそれぞれ入力される。輝度信号合成処理部３０８へ入力されるＯＧ信号は、緑信号、赤信号、および青信号から式（１）を用いて求めた輝度信号とし、高域用輝度信号合成処理部３０９へ入力されるＯＧ信号は、緑信号のみから生成した輝度信号とする。必ずしもこのようにする必要はないが、このようにすれば、高域用輝度信号合成処理部３０９による処理で折り返し（モアレ）信号が強調されることを抑制することができるので好ましい。

本実施形態では、例えば、ＲＡＷ信号３００を用いることにより、第１の色信号を含む複数の色信号で構成された画像信号の一例が実現される。また、例えば、ＯＧ信号生成部３０２を用いることにより、第１の生成手段の一例が実現される。また、例えば、ＯＧ信号を用いることにより、第１の輝度信号の一例が実現される。また、例えば、緑信号を用いることにより、第１の色信号が実現される。

ＳＷＹ信号生成部３０３は、ＲＡＷ信号３００からＳＷＹ信号を生成する。ＳＷＹ信号は、輝度信号合成処理部３０８、高域用輝度信号合成処理部３０９へそれぞれ入力される。
本実施形態では、ＳＷＹ信号生成部３０３を用いることにより、第２の生成手段の一例が実現される。また、例えば、ＳＷＹ信号を用いることにより、第２の輝度信号の一例が実現される。

有彩色判定部３０４は、ＲＡＷ信号３００に基づいて被写体が有彩色であるか否かを判定する。ここで、有彩色判定部３０４における処理の一例について、図４のフローチャートを用いて説明する。尚、図６のフローチャートは、画素ごとに実行される。まず、有彩色判定部３０４は、ＲＡＷ信号３００から次の式（３）〜式（６）に従って第１の彩度信号Ｃ１を算出する（ステップＳ４０１）。尚、Ｒ、Ｇ、Ｂは、それぞれ、赤信号、緑信号、青信号の値である。
Ｃ１＝｜Ｃｒ｜＋｜Ｃｂ｜ ・・・（３）
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（４）
Ｃｒ＝０．７１３（Ｒ−Ｙ） ・・・（５）
Ｃｂ＝０．５６４（Ｂ−Ｙ） ・・・（６）

次に、有彩色判定部３０４は、第１の彩度信号Ｃ１が閾値Ｔｈ１未満であるか否かを判定する（ステップＳ４０２）。この判定の結果、第１の彩度信号Ｃ１が閾値Ｔｈ１未満である場合（ステップＳ４０２でＹＥＳの場合）、有彩色判定部３０４は、処理対象の画素が無彩色であると判定する。この場合、有彩色判定部３０４は、有彩色判定信号Ｄｃとして１．０を設定する（ステップＳ４０３）。一方、第１の彩度信号Ｃ１が閾値Ｔｈ１以上である場合（ステップＳ４０２でＮＯの場合）、有彩色判定部３０４は、第１の彩度信号Ｃ１が閾値Ｔｈ２を上回るか否かを判定する（ステップＳ４０４）。尚、閾値Ｔｈ２は閾値Ｔｈ１を上回る値である。この判定の結果、第１の彩度信号Ｃ１が閾値Ｔｈ２を上回る場合（ステップＳ４０４でＹＥＳの場合）、有彩色判定部３０４は、有彩色判定信号Ｄｃとして０．０を設定する（ステップＳ４０５）。

一方、第１の彩度信号Ｃ１が閾値Ｔｈ１および閾値Ｔｈ２の間にある場合（ステップＳ４０４でＮＯの場合）、有彩色判定部３０４は、有彩色判定信号Ｄｃとして、０．０〜１．０の間の数値を設定する（ステップＳ４０６）。具体的に有彩色判定部３０４は、第１の彩度信号Ｃ１の閾値Ｔｈ１およびＴｈ２からの距離に応じて線形的に有彩色判定信号Ｄｃが０．０〜１．０の間の数値をとるようにする。図５は、第１の彩度信号Ｃ１と有彩色判定信号Ｄｃとの関係の一例を示す図である。第１の彩度信号Ｃ１が閾値Ｔｈ１、Ｔｈ２の間にある場合、有彩色判定信号Ｄｃは、図５に示す斜め方向の直線における、第１の彩度信号Ｃ１に対応する値になる。図５に示すように、この直線は、有彩色判定信号Ｄｃが１．０であり且つ第１の彩度信号Ｃ１が閾値Ｔｈ１であるときの点と、有彩色判定信号Ｄｃが０．０であり且つ第１の彩度信号Ｃ１が閾値Ｔｈ２であるときの点とを結ぶ直線である。

尚、有彩色判定部３０４は、有彩色であるか否かを判定する領域を調整してもよい。例えば、有彩色判定部３０４は、第１の彩度信号Ｃ１に対して、例えば３×３の最大値フィルタを適用して、有彩色であるか否かを判定する領域の敏感度を下げることができる。尚、最大値フィルタに代えて例えばローパスフィルタを用いて敏感度を下げるようにしてもよい。また、有彩色判定部３０４は、第１の彩度信号Ｃ１を明るさで正規化して暗い部分も検出されるようにしてもよい。明るさでの正規化は、例えば、第１の彩度信号Ｃ１（彩度）を輝度Ｙで除算することで行うことができる。
有彩色判定部３０４から出力される有彩色度判定信号Ｄｃは、輝度信号合成処理部３０８に入力される。

本実施形態では、例えば、有彩色判定部３０４を用いることにより第１の導出手段の一例が実現される。また、本実施形態では、例えば、有彩色度判定信号Ｄｃを用いることにより、画像信号に基づく第１の情報の一例が実現される。本実施形態では、有彩色度判定信号Ｄｃは、画像信号における第１の色に関する情報の一例でもある。また、本実施形態では、有彩色度判定信号Ｄｃは、画像信号における色が有彩色であることと、画像信号における色が無彩色であることと、画像信号における色の、無彩色に対する近さの程度との何れかを示す情報の一例でもある。

図３の説明に戻り、赤色判定部３０５は、ＲＡＷ信号３００に基づいて被写体が赤色であるか否かを判定する。ここで、赤色判定部３０５における処理の一例について、図６のフローチャートを用いて説明する。尚、図６のフローチャートは、画素ごとに実行される。まず、赤色判定部３０５は、ＲＡＷ信号３００から次の式（７）〜式（９）に従って第２の彩度信号Ｃ２を算出する（ステップＳ６０１）。尚、ｍａｘ（Ｃｒ，０）は、Ｃｒと０（ゼロ）のうち大きい方を採用することを示す。
Ｃ２＝ｍａｘ（Ｃｒ，０） ・・・（７）
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（８）
Ｃｒ＝０．７１３（Ｒ−Ｙ） ・・・（９）

次に、赤色判定部３０５は、第２の彩度信号Ｃ２が閾値Ｔｈ３未満であるか否かを判定する（ステップＳ６０２）。この判定の結果、第２の彩度信号Ｃ２が閾値Ｔｈ３未満である場合（ステップＳ６０２でＹＥＳの場合）、赤色判定部３０５は、処理対象の画素の値が赤色を示すものではないと判定する。この場合、赤色判定部３０５は、赤色判定信号Ｄｒとして１．０を設定する（ステップＳ６０３）。一方、第２の彩度信号Ｃ２が閾値Ｔｈ３以上である場合（ステップＳ６０２でＮＯの場合）、赤色判定部３０５は、第２の彩度信号Ｃ２が閾値Ｔｈ４を上回るか否かを判定する（ステップＳ６０４）。尚、閾値Ｔｈ４は閾値Ｔｈ３を上回る値である。この判定の結果、第２の彩度信号Ｃ２が閾値Ｔｈ４を上回る場合（ステップＳ６０４でＹＥＳの場合）、赤色判定部３０５は、赤色判定信号Ｄｒとして０．０を設定する（ステップＳ６０５）。

一方、第２の彩度信号Ｃ２が閾値Ｔｈ３および閾値Ｔｈ４の間にある場合（ステップＳ６０４でＮＯの場合）、赤色判定部３０５は、赤色判定信号Ｄｒとして、０．０〜１．０の間の数値を設定する（ステップＳ６０６）。具体的に赤色判定部３０５は、第２の彩度信号Ｃ２の閾値Ｔｈ３およびＴｈ４からの距離に応じて線形的に赤色判定信号Ｄｒが０．０〜１．０の間の数値をとるようにする。図７は、第２の彩度信号Ｃ２と赤色判定信号Ｄｒとの関係の一例を示す図である。

尚、赤色判定部３０５でも、有彩色判定部３０４と同様に、赤色であるか否かを判定する領域を調整してもよい。例えば、赤色判定部３０５は、第２の彩度信号Ｃ２に対して、３×３の最大値フィルタを適用して赤色であるか否かを判定する領域の敏感度を下げたり、第２の彩度信号Ｃ２を明るさで正規化して暗い部分も検出したりしてもよい。

さらに、赤色判定部３０５は、ＲＡＷ信号３００から次の式（１０）〜式（１３）に従って第２の彩度信号Ｃ２を算出してもよい。
Ｃ２＝ｍａｘ（Ｃｒ，０）＋ｍａｘ（Ｃｂ，０） ・・・（１０）
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（１１）
Ｃｒ＝０．７１３（Ｒ−Ｙ） ・・・（１２）
Ｃｂ＝０．５６４（Ｂ−Ｙ） ・・・（１３）

式（１０）〜式（１３）に従って第２の彩度信号Ｃ２を算出することで、赤色の被写体だけでなく、青色の被写体も判定することが可能となる。このようにすれば原色フィルタにおいて青色に対応する画素以外の画素からは輝度信号がほとんど出力さない青色の被写体も判定することが可能となる。また、被写体が赤色であるか青色の何れであるかを判定してもよい。色フィルタの分光感度特性に応じて、被写体が赤色であるか否かを判定することと、被写体が青色であるか否かを判定することとの何れかを選択してもよい。
赤色判定部３０５から出力される赤色判定信号Ｄｒは、高域用輝度信号合成処理部３０９へ入力される。

本実施形態では、赤色判定部３０５を用いることにより第２の導出手段の一例が実現される。また、本実施形態では、例えば、赤色判定信号Ｄｒを用いることにより、画像信号に基づく第２の情報として第１の情報と少なくとも一部が異なる情報の一例が実現される。本実施形態では、赤色判定信号Ｄｒは、画像信号における第２の色に関する情報の一例でもある。また、赤色判定信号Ｄｒは、画像信号における色が、第２の色信号の色であることと、画像信号における色が、第２の色信号の色とは異なる色であることと、画像信号における色の、第２の色信号の色に対する近さの程度との何れかを示す情報の一例でもある。

図３の説明に戻り、エッジ領域判定部３０６は、ＲＡＷ信号３００に基づいて、被写体がエッジ領域を有するか否かを判定する。エッジ領域判定部３０６は、ＲＡＷ信号３００から、ＳＷＹ信号、ＯＧ信号に対応する信号を生成し、当該信号に対し、バンドパスフィルタ等のエッジを検出するフィルタを適用することでエッジ領域を検出することが可能である。ここで、本実施形態では、フィルタ処理後の画像信号におけるオーバーシュートおよびアンダーシュートの振幅を用いてエッジの程度を評価する場合を例に挙げて説明する。図８は、エッジ領域判定部３０６の構成の一例を示すブロック図である。図９は、エッジ領域判定部３０６の処理の一例を説明するフローチャートである。尚、図９のフローチャートは、画素ごとに実行される。

垂直方向のローパスフィルタ（Ｖ−ＬＰＦ）８００は、ＲＡＷ信号３００に対してフィルタ処理を行い、ＲＡＷ信号３００の垂直方向の高周波の周波数帯域を制限する（ステップＳ９０１）。次に、水平方向のローパスフィルタ（Ｈ−ＬＰＦ）８０１は、ステップＳ９０１で垂直方向の高周波の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行い、当該ＲＡＷ信号の水平方向の高周波の周波数帯域を制限する（ステップＳ９０２）。水平方向のローパスフィルタ（Ｈ−ＬＰＦ）８０１から出力される信号は、ＳＷＹ信号と同様に正方形領域１８０１が解像可能な空間周波数の信号とするのが望ましい。次に、水平方向のバンドパスフィルタ（Ｈ−ＢＰＦ）８０４は、ステップＳ９０１、Ｓ９０２で垂直方向および水平方向の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行い、当該ＲＡＷ信号の水平方向の周波数帯域を制限する（ステップＳ９０３）。

次に、絶対値回路（ＡＢＳ）８０５は、水平方向のバンドパスフィルタ（Ｈ−ＢＰＦ）８０４から出力された信号の絶対値をとり、垂直方向のエッジの振幅を出力する（ステップＳ９０４）。次に、垂直方向のバンドパスフィルタ（Ｈ−ＢＰＦ）８０６は、ステップＳ９０１、Ｓ９０２で垂直方向および水平方向の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行い、当該ＲＡＷ信号の垂直方向の周波数帯域を制限する（ステップＳ９０５）。そして、絶対値回路（ＡＢＳ）８０７は、垂直方向のバンドパスフィルタ（Ｈ−ＢＰＦ）８０６から出力された信号の絶対値をとり、水平方向のエッジの振幅を出力する（ステップＳ９０６）。そして、加算器８０８は、絶対値回路８０５および８０７から出力された信号を加算する（ステップＳ９０７）。

また、０挿入回路８０９は、ＲＡＷ信号３００の緑色に対応する画素以外の画素の値を０（ゼロ）に置き換える（ステップＳ９０８）。垂直方向のローパスフィルタ（Ｖ−ＬＰＦ）８１０は、０挿入回路８０９から出力された信号に対してフィルタ処理を行い、当該信号の垂直方向の高周波の周波数帯域を制限する（ステップＳ９０９）。次に、水平方向のローパスフィルタ（Ｈ−ＬＰＦ）８１１は、ステップＳ９０１で垂直方向の高周波の周波数帯域が制限された信号に対してフィルタ処理を行い、当該信号の水平方向の高周波の周波数帯域を制限する（ステップＳ９１０）。水平方向のローパスフィルタ（Ｈ−ＬＰＦ）８１１から出力される信号は、ＯＧ信号と同様に菱形領域１８００が解像可能な空間周波数の信号とするのが望ましい。

次に、水平方向のバンドパスフィルタ（Ｈ−ＢＰＦ）８１２は、ステップＳ９０９、Ｓ９１０で垂直方向および水平方向の周波数帯域が制限された信号に対してフィルタ処理を行い、当該信号の水平方向の周波数帯域を制限する（ステップＳ９１１）。そして、絶対値回路（ＡＢＳ）８１３は、水平方向のバンドパスフィルタ（Ｈ−ＢＰＦ）８１２から出力された信号の絶対値をとり、垂直方向のエッジの振幅を出力する（ステップＳ９１２）。同様に、垂直方向のバンドパスフィルタ（Ｖ−ＢＰＦ）８１４は、ステップＳ９０９、Ｓ９１０で垂直方向および水平方向の周波数帯域が制限された信号に対してフィルタ処理を行い、当該信号の垂直方向の周波数帯域を制限する（ステップＳ９１３）。そして、絶対値回路（ＡＢＳ）８１５は、垂直方向のバンドパスフィルタ（Ｖ−ＢＰＦ）８１４から出力された信号の絶対値をとり、水平方向のエッジの振幅を出力する（ステップＳ９１４）。そして、加算器８１６は、絶対値回路８１３および８１５から出力された信号を加算する。

ＭＡＸ器８１７は、加算器８０８から出力された信号と加算器８１６から出力された信号とのうち、絶対値が大きい方の信号をエッジ振幅信号ＥｄｇｅＦとして出力する。
次に、エッジ領域判定処理部８１８は、エッジ振幅信号ＥｄｇｅＦが閾値Ｔｈ５未満であるか否かを判定する（ステップＳ９１７）。この判定の結果、エッジ振幅信号ＥｄｇｅＦが閾値Ｔｈ５未満である場合（ステップＳ９１７でＹＥＳの場合）、エッジ領域判定処理部８１８は、処理対象の画素がエッジ領域ではないと判定する。この場合、エッジ領域判定処理部８１８は、エッジ判定信号Ｄｅとして０．０を設定する（ステップＳ９１８）。一方、エッジ振幅信号ＥｄｇｅＦが閾値Ｔｈ５以上である場合（ステップＳ９１７でＮＯの場合）、エッジ領域判定処理部８１８は、エッジ振幅信号ＥｄｇｅＦが閾値Ｔｈ６を上回るか否かを判定する（ステップＳ９１９）。尚、閾値Ｔｈ６は閾値Ｔｈ５を上回る値である。この判定の結果、エッジ振幅信号ＥｄｇｅＦが閾値Ｔｈ６を上回る場合（ステップＳ９１９でＹＥＳの場合）、エッジ領域判定処理部８１８は、処理対象の画素がエッジ領域であると判定する。この場合、エッジ領域判定処理部８１８は、エッジ判定信号Ｄｅとして１．０を設定する（ステップＳ９２０）。

一方、エッジ振幅信号ＥｄｇｅＦが閾値Ｔｈ５および閾値Ｔｈ６の間にある場合（ステップＳ９１９でＮＯの場合）、エッジ領域判定処理部８１８は、エッジ判定信号Ｄｅとして、０．０〜１．０の間の数値を設定する（ステップＳ９２１）。具体的にエッジ領域判定処理部８１８は、エッジ振幅信号ＥｄｇｅＦの閾値Ｔｈ５およびＴｈ６からの距離に応じて線形的にエッジ判定信号Ｄｅが０．０〜１．０の間の数値をとるようにする。図１０は、エッジ振幅信号ＥｄｇｅＦとエッジ判定信号Ｄｅとの関係の一例を示す図である。

尚、エッジ領域判定処理部８１８でも、有彩色判定部３０４および赤色判定部３０５と同様に、エッジであるか否かを判定する領域を調整してもよい。例えば、エッジ領域判定処理部８１８は、エッジ振幅信号ＥｄｇｅＦに対して、３×３の最大値フィルタを適用してエッジ領域であるか否かを判定する領域の敏感度を下げたり、エッジ振幅信号ＥｄｇｅＦを明るさで正規化して暗い部分も検出したりしてもよい。
エッジ領域判定部３０６から出力されるエッジ判定信号Ｄｅは、輝度信号合成処理部３０８、高域用輝度信号合成処理部３０９へそれぞれ入力される。

本実施形態では、例えば、エッジ領域判定部３０６を用いることにより第１の導出手段、第２の導出手段の一例が実現される。また、本実施形態では、例えば、エッジ判定信号Ｄｅを用いることにより、画像信号に基づく第１の情報、第２の情報の一例が実現される。また、本実施形態では、例えば、エッジ判定信号Ｄｅを用いることにより、エッジの程度を示す情報の一例が実現される。例えば、エッジ判定信号Ｄｅが大きいほど（１．０に近いほど）エッジの程度が高くなる。

図３の説明に戻り、低周波領域判定部３０７は、ＲＡＷ信号３００に基づいて、画像が低周波の被写体の画像であるか否かを判定する。低周波領域判定部３０７は、ＲＡＷ信号３００に対して低周波領域を検出するフィルタを適用することで低周波の領域を検出することが可能である。図１１は、低周波領域判定部３０７の構成の一例を示すブロック図である。図１２は、低周波領域判定部３０７の処理の一例を説明するフローチャートである。尚、図１２のフローチャートは、画素ごとに実行される。

垂直方向のローパスフィルタ（Ｖ−ＬＰＦ）１１００は、ＲＡＷ信号３００に対してフィルタ処理を行い、ＲＡＷ信号３００の垂直方向の高周波の周波数帯域を制限する（ステップＳ１２０１）。次に、水平方向のローパスフィルタ（Ｈ−ＬＰＦ）１１０１は、ステップＳ１２０１で垂直方向の高周波の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行い、当該ＲＡＷ信号の水平方向の高周波の周波数帯域を制限する（ステップＳ１２０２）。次に、垂直方向のローパスフィルタ（Ｖ−ＬＰＦ）１１０２は、ステップＳ１２０１、Ｓ１２０２で垂直方向および水平方向の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行う（ステップＳ１２０３）。これにより、当該ＲＡＷ信号の垂直方向の高周波の周波数帯域が制限される。また、水平方向のバンドパスフィルタ（Ｈ−ＢＰＦ）１１０４は、当該垂直方向の高周波の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行い、水平方向の周波数帯域を制限する（ステップＳ１２０３）。

同様に、水平方向のローパスフィルタ（Ｈ−ＬＰＦ）１１０３は、ステップＳ１２０１、Ｓ１２０２で垂直方向および水平方向の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行う（ステップＳ１２０４）。これにより、当該ＲＡＷ信号の水平方向の高周波の周波数帯域が制限される。また、垂直方向のバンドパスフィルタ（Ｖ−ＢＰＦ）１１０５は、当該水平方向の高周波の周波数帯域が制限されたＲＡＷ信号に対してフィルタ処理を行い、垂直方向の周波数帯域を制限する（ステップＳ１２０４）。

次に、加算器１１０６は、水平方向のバンドパスフィルタ（Ｈ−ＢＰＦ）１１０４から出力された信号と、垂直方向のバンドパスフィルタ（Ｖ−ＢＰＦ）１１０５から出力された信号とを加算する（ステップＳ１２０５）。次に、絶対値回路（ＡＢＳ）１１０７は、加算器１１０６から出力された信号の絶対値をとり、当該絶対値を示す信号を低周波検出用信号ＬｏｗＦとして出力する（ステップＳ１２０６）。次に、低周波判定処理部１１０８は、低周波検出用信号ＬｏｗＦが閾値Ｔｈ７未満であるか否かを判定する（ステップＳ１２０７）。この判定の結果、低周波検出用信号ＬｏｗＦが閾値Ｔｈ７未満である場合（ステップＳ１２０７でＹＥＳの場合）、低周波判定処理部１１０８は、処理対象の画素が低周波領域でないと判定する。そして、低周波判定処理部１１０８は、低周波判定信号Ｄｌとして１．０を設定する（ステップＳ１２０８）。一方、低周波検出用信号ＬｏｗＦが閾値Ｔｈ７以上である場合（ステップＳ１２０７でＮＯの場合）、低周波判定処理部１１０８は、低周波検出用信号ＬｏｗＦが閾値Ｔｈ８を上回るか否かを判定する（ステップＳ１２０９）。尚、閾値Ｔｈ８は閾値Ｔｈ７を上回る値である。この判定の結果、低周波検出用信号ＬｏｗＦが閾値Ｔｈ８を上回る場合（ステップＳ１２０９でＹＥＳの場合）、低周波判定処理部１１０８は、処理対象の画素が低周波領域であると判定する。そして、低周波領域低周波判定信号Ｄｌとして０．０を設定する（ステップＳ１２１０）。

一方、低周波検出用信号ＬｏｗＦが閾値Ｔｈ７および閾値Ｔｈ８の間にある場合（ステップＳ１２０９でＮＯの場合）、低周波判定処理部１１０８は、低周波判定信号Ｄｌとして、０．０〜１．０の間の数値を設定する（ステップＳ１２１１）。具体的に低周波判定処理部１１０８は、低周波検出用信号ＬｏｗＦの閾値Ｔｈ７およびＴｈ８からの距離に応じて線形的に低周波判定信号Ｄｌが０．０〜１．０の間の数値をとるようにする。図１３は、低周波検出用信号ＬｏｗＦと低周波判定信号Ｄｌとの関係の一例を示す図である。低周波領域判定部３０７から出力される低周波判定信号Ｄｌは、高域用輝度信号合成処理部３０９へ入力される。本実施形態では、例えば、低周波検出用信号ＬｏｗＦを用いることにより、第２の情報の一例が実現される。また、例えば、低周波検出用信号ＬｏｗＦは、画像信号における空間周波数に関する情報の一例でもある。

尚、低周波判定処理部１１０８でも、有彩色判定部３０４、赤色判定部３０５、およびエッジ領域判定処理部８１８と同様に、低周波領域であるか否かを判定する領域を調整してもよい。例えば、低周波判定処理部１１０８は、低周波検出用信号ＬｏｗＦに対して、３×３の最大値フィルタを適用して低周波領域であるか否かを判定する領域の敏感度を下げたり、低周波検出用信号ＬｏｗＦを明るさで正規化して暗い部分も検出したりしてもよい。

次に、輝度信号合成処理部３０８における処理の一例について、図１４のフローチャートを用いて説明する。尚、図１４のフローチャートは、画素ごとに実行される。輝度信号合成処理部３０８は、前述したようにして得た有彩色判定信号Ｄｃとエッジ判定信号Ｄｅとを用いて、ＯＧ信号生成部３０２から出力されるＯＧ信号とＳＷＹ信号生成部３０３から出力されるＳＷＹ信号とを合成し、ベース輝度信号を生成する。

まず、輝度信号合成処理部３０８は、有彩色判定信号Ｄｃとエッジ判定信号Ｄｅとに基づいて、次の式（１４）に従って合成率αを算出する（ステップＳ１４０１）。
α＝Ｄｃ×Ｄｅ ・・・（１４）
つまり、合成率αは、被写体が有彩色の被写体である場合、または、エッジ領域のない被写体である場合に０．０の値をとる。一方、被写体が無彩色の被写体であり、且つ、エッジ領域がある被写体の場合に１．０の値をとる。合成率αは、被写体が有彩色に近いほど０．０に近い値（小さな値）になると共に、被写体におけるエッジの程度が低いほど、０に近い値（小さな値）になる。

次に、輝度信号合成処理部３０８は、合成率αが０．０であるか否かを判定する（ステップＳ１４０２）。この判定の結果、合成率αが０．０である場合（ステップＳ１４０２でＹＥＳの場合）、輝度信号合成処理部３０８は、ベース輝度信号としてＯＧ信号を選択する（ステップＳ１４０３）。一方、合成率αが０．０でない場合（ステップＳ１４０２でＮＯの場合）、輝度信号合成処理部３０８は、合成率αが１．０であるか否かを判定する（ステップＳ１４０４）。この判定の結果、合成率αが１．０である場合（ステップＳ１４０４でＹＥＳの場合）、輝度信号合成処理部３０８は、ベース輝度信号としてＳＷＹ信号を選択する（ステップＳ１４０５）。

また、合成率αが０．０と１．０との間の値になる場合（ステップＳ１４０４でＮＯの場合）、輝度信号合成処理部３０８は、次の式（１５）に従ってＯＧ信号とＳＷＹ信号とを合成した信号をベース輝度信号として生成する（ステップＳ１４０６）。
［ベース輝度信号]＝α×［ＳＷＹ信号］＋（１．０−α）×［ＯＧ信号］ ・・・（１５）
式（１５）のようにしてベース輝度信号を生成することにより、ベース輝度信号の切り替えを滑らかにすることができる。

以上の手法でＯＧ信号とＳＷＹ信号とを合成することで、ＯＧ信号に対してＳＷＹ信号の解像可能な空間周波数が広くなる無彩色の被写体に対しては、ＳＷＹ信号をベース輝度信号として使用することが可能になる。また、有彩色判定信号Ｄｃを参照し、ＳＷＹ信号を使用する被写体を無彩色の被写体に限定することで、ＳＷＹ信号を使用した場合であっても、緑信号、赤信号、および青信号の構成比の違いに伴う、輝度信号のレベル差を発生しにくくすることができる。また、エッジ判定信号Ｄｅを参照し、ＳＷＹ信号を使用する被写体をエッジ領域に限定することで、エッジのない領域ではＯＧ信号を使用することで、ＳＷＹ信号を使用することによって発生するノイズの劣化を軽減することができる。

本実施形態では、例えば、有彩色判定部３０４、エッジ領域判定部３０６、および輝度信号合成処理部３０８を用いることにより、第３の生成手段の一例が実現される。また、例えば、（１５）式の係数（α、（１．０−α））を用いることにより、第３の輝度信号を生成する際の合成比率の一例が実現される。また、例えば、ベース輝度信号を用いることにより、第３の輝度信号の一例が実現される。

次に、高域用輝度信号合成処理部３０９における処理の一例について、図１５のフローチャートを用いて説明する。尚、図１５のフローチャートは、画素ごとに実行される。高域用輝度信号合成処理部３０９は、前述したようにして得た赤色判定信号Ｄｒと、エッジ判定信号Ｄｅと、低周波判定信号Ｄｌとを用いて、ＯＧ信号生成部３０２から出力されるＯＧ信号とＳＷＹ信号生成部３０３から出力されるＳＷＹ信号とを合成する。このようにして合成された信号が、高域用の輝度信号になる。ここで、高域用輝度信号合成処理部３０９におけるＯＧ信号は緑信号のみから作成したものとする。
まず、高域用輝度信号合成処理部３０９は、赤色判定信号Ｄｒと、エッジ判定信号Ｄｅと、低周波判定信号Ｄｌとに基づいて、次の式（１６）に従って合成率βを算出する。
β＝Ｄｒ×Ｄｅ×Ｄｌ ・・・（１６）

つまり、合成率βは、被写体が、赤い被写体である場合、エッジ領域のない被写体である場合、または、低周波の被写体である場合に０．０の値をとる。一方、被写体が、赤い被写体ではなく、且つ、エッジ領域がある被写体であり、且つ、低周波の被写体でない場合に１．０の値をとる。合成率βは、被写体が赤いほど０．０に近い値（小さな値）になり、被写体におけるエッジの程度が低いほど０．０に近い値（小さな値）になり、空間周波数が低周波の被写体ほど０．０に近い値（小さな値）になる。

次に、高域用輝度信号合成処理部３０９は、合成率βが０．０であるか否かを判定する（ステップＳ１５０２）。この判定の結果、合成率βが０，０である場合（ステップＳ１５０２でＹＥＳの場合）、高域用輝度信号合成処理部３０９は、高域用の輝度信号として、ＯＧ信号を選択する（ステップＳ１５０３）。一方、合成率βが０，０でない場合（ステップＳ１５０２でＮＯの場合）、高域用輝度信号合成処理部３０９は、合成率βが１．０であるか否かを判定する（ステップＳ１５０４）。この判定の結果、合成率βが１．０である場合、高域用輝度信号合成処理部３０９は、高域用の輝度信号として、ＳＷＹ信号を選択する（ステップＳ１５０５）。

また、合成率βが０．０と１．０との間の値になる場合（ステップＳ１５０４でＮＯの場合）、高域用輝度信号合成処理部３０９は、次の式（１７）に従ってＯＧ信号とＳＷＹ信号を合成した信号を高域用の輝度信号として生成する（ステップＳ１５０６）。
［高域用の輝度信号]＝β×［ＳＷＹ信号］＋（１．０−β）×［ＯＧ信号］ ・・・（１７）
式（１７）のようにして高域用の輝度信号を生成することにより、高域用の輝度信号の切り替えを滑らかにすることができる。

以上の手法でＯＧ信号とＳＷＹ信号とを合成することで、ＳＷＹ信号の方がＯＧ信号よりも解像可能な空間周波数が狭くなる赤色の被写体に対しては、ＯＧ信号を高域用の輝度信号として使用することが可能になる。この場合、最終的にバンドパスフィルタを適用して高域用の輝度信号から高域信号のみが取り出される。このため、ＯＧ信号とＳＷＹ信号とを合成した場合でも、緑信号、赤信号、および青信号の構成比の違いに伴う、赤色などを除く有彩色の被写体における輝度信号のレベル差は問題となり難い。

また、エッジ判定信号Ｄｅを参照し、ＳＷＹ信号を使用する被写体をエッジ領域に限定することで、エッジのない被写体においてはＯＧ信号を使用することで、ＳＷＹ信号を使用することによって発生するノイズの劣化を軽減することが可能である。
さらに、低周波判定信号Ｄｌを参照し、低周波領域にはＯＧ信号を使用することで、エッジ領域であっても、ＯＧ信号で解像可能な空間周波数の領域においては、ＯＧ信号を選択することが可能である。

本実施形態では、例えば、赤色判定部３０５、エッジ領域判定部３０６、低周波領域判定部３０７、および高域用輝度信号合成処理部３０９を用いることにより、第４の生成手段の一例が実現される。また、例えば、（１７）式の係数（β、（１．０−β））を用いることにより、第４の輝度信号を生成する際の合成比率の一例が実現される。また、例えば、高域用の輝度信号を用いることにより、第４の輝度信号の一例が実現される。

図３の説明に戻り、高域信号生成部３１０は、高域用輝度信号合成処理部３０９から出力される高域用の輝度信号に対してバンドパスフィルタを適用して高域信号を取り出し、高域信号加算部３１１に出力する。
高域信号加算部３１１は、輝度信号合成処理部３０８で生成されたベース輝度信号と高域信号生成部３１０で生成された高域信号とを加算して最終的な輝度信号を出力する。ここで、高域信号加算部３１１は、ベース輝度信号と、高域信号と、ＯＧ信号とを用いて最終的な輝度信号を導出してもよい。

以上のように本実施形態では、輝度信号生成回路２１０は、有彩色判定信号Ｄｃおよびエッジ判定信号Ｄｅに応じて、ＯＧ信号およびＳＷＹ信号の合成比率を決定し、決定した合成比率に従ってＯＧ信号およびＳＷＹ信号を合成してベース輝度信号を生成する。また、輝度信号生成回路２１０は、赤色判定信号Ｄｒ、低周波判定信号Ｄｌ、およびエッジ判定信号Ｄｅに応じて、ＯＧ信号およびＳＷＹ信号の合成比率を決定し、決定した合成比率に従ってＯＧ信号およびＳＷＹ信号を合成して高域用の輝度信号を生成する。従って、ベース輝度信号と高域用の輝度信号でそれぞれＯＧ信号とＳＷＹ信号のそれぞれの利点のみを活用することが可能になる。おって、解像可能な空間周波数の領域の広い輝度信号を生成することと、赤信号、青信号に含まれる折り返し（モアレ）信号の影響を軽減した上で、ノイズによる輝度信号の劣化を軽減することとを両立することができる。

本実施形態では、撮像装置に画像処理装置（輝度信号生成装置）が搭載される場合を例に挙げて説明した。撮像装置は、例えば、デジタルスチルカメラ、デジタルムービーカメラ、工業用カメラ、車載用カメラ、または医療用カメラなどである。ただし、撮像手段で撮像された画像に対する画像処理を行う機能を有する装置であれば、以下の各実施形態で説明する画像処理装置（輝度信号生成装置）が搭載される装置は、撮像装置に限定されない。例えば、携帯端末（携帯電話やタブレット端末など）に、本実施形態で説明した画像処理装置を搭載してもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２１０：輝度信号生成回路、３０４：有彩色判定部、３０５：赤色判定部、３０６：エッジ領域判定部、３０７：低周波領域判定部、３０８：輝度信号合成処理部、３０９：高域用輝度信号合成処理部

Claims (14)

1. 色フィルタと撮像素子とを有する撮像手段で撮像された画像信号であり、第１の色信号を含む複数の色信号で構成された画像信号に基づいて輝度信号を生成する輝度信号生成装置であって、
   前記画像信号における前記複数の色信号の色を区別して少なくとも前記第１の色信号を用いて第１の輝度信号を生成する第１の生成手段と、
   前記複数の色信号の色を区別せずに前記撮像素子の画素に入力された前記色信号を当該画素の輝度信号として第２の輝度信号を生成する第２の生成手段と、
   前記第１の輝度信号と前記第２の輝度信号との合成比率を、前記画像信号に基づく第１の情報に基づいて決定し、当該決定した合成比率と、前記第１の輝度信号および前記第２の輝度信号の少なくとも何れか一方とに基づいて第３の輝度信号を生成する第３の生成手段と、
   前記第１の輝度信号と前記第２の輝度信号との合成比率を、前記画像信号に基づく第２の情報に基づいて決定し、当該決定した合成比率と、前記第１の輝度信号および前記第２の輝度信号の少なくとも何れか一方とに基づいて前記第３の輝度信号よりも高周波の輝度信号である第４の輝度信号を生成する第４の生成手段と、を有し、
   前記第１の情報は、前記画像信号のエッジに関する情報を含み、
   前記第２の情報は、前記画像信号のエッジに関する情報と、前記画像信号の空間周波数に関する情報とを含むことを特徴とする輝度信号生成装置。
2. 前記画像信号のエッジに関する情報は、前記エッジの程度を示す情報を含み、
   前記第３の生成手段は、前記エッジの程度が高いほど、前記第２の輝度信号の前記合成比率が高くなるように前記合成比率を決定することを特徴とする請求項１に記載の輝度信号生成装置。
3. 前記画像信号のエッジに関する情報は、前記エッジの程度を示す情報を含み、
   前記第４の生成手段は、前記エッジの程度が低く、前記画像信号が低周波の信号であるほど前記第１の輝度信号の前記合成比率が高くなるように前記合成比率を決定することを特徴とする請求項１または２に記載の輝度信号生成装置。
4. 前記第４の生成手段は、前記空間周波数が低い領域であるか否かを示す情報が閾値よりも低い場合には、前記エッジの程度にかかわらず前記第２の輝度信号が合成されないように前記合成比率を決定することを特徴とする請求項１〜３の何れか１項に記載の輝度信号生成装置。
5. 前記第１の情報は、前記画像信号における第１の色に関する情報を更に含み、
   前記第２の情報は、前記画像信号における第２の色に関する情報を更に含むことを特徴とする請求項１〜４の何れか１項に記載の輝度信号生成装置。
6. 前記第１の色に関する情報は、前記画像信号における色が有彩色であることと、前記画像信号における色が無彩色であることと、前記画像信号における色の、無彩色に対する近さの程度との何れかを示し、
   前記第３の生成手段は、前記エッジの程度が高く、前記画像信号における色が無彩色に近いほど、前記第２の輝度信号の前記合成比率が高くなるように前記合成比率を決定することを特徴とする請求項５に記載の輝度信号生成装置。
7. 前記第３の生成手段は、前記画像信号の色が有彩色である場合、前記エッジの程度にかかわらず前記第２の輝度信号が合成されないように前記合成比率を決定することを特徴とする請求項６に記載の輝度信号生成装置。
8. 前記第２の色の関する情報は、前記画像信号における色が、前記第２の色信号の色であることと、画像信号における色が、前記第２の色信号の色とは異なる色であることと、前記画像信号における色の、前記第２の色信号の色に対する近さの程度との何れかを示し、
   前記第４の生成手段は、前記エッジの程度が低く、前記空間周波数が低い領域であり、前記画像信号における色が前記第２の色信号に近いほど、前記第１の輝度信号の前記合成比率が高くなるように前記合成比率を決定することを特徴とする請求項１〜３の何れか１項に記載の輝度信号生成装置。
9. 前記第１の色信号の色とは異なる色は、赤色または青色であることを特徴とする請求項８に記載の輝度信号生成装置。
10. 前記第３の生成手段および前記第４の生成手段の少なくとも何れか一方で処理される前記画像信号の領域を調整する調整手段を更に有し、
    前記調整手段は、前記領域における敏感度を下げることと、前記領域を明るさで正規化することとの少なくとも何れか一方を行うことを特徴とする請求項１〜９の何れか１項に記載の輝度信号生成装置。
11. 前記第１の色信号は、緑色の信号であることを特徴とする請求項１〜１０の何れか１項に記載の輝度信号生成装置。
12. 前記第１の情報を導出する第１の導出手段と、
    前記第２の情報を導出する第２の導出手段とを更に有することを特徴とする請求項１〜１１の何れか１項に記載の輝度信号生成装置。
13. 色フィルタと撮像素子とを有する撮像手段で撮像された画像信号であり、第１の色信号を含む複数の色信号で構成された画像信号に基づいて輝度信号を生成する輝度信号生成方法であって、
    前記画像信号における前記複数の色信号の色を区別して少なくとも前記第１の色信号を用いて第１の輝度信号を生成する第１の生成工程と、
    前記複数の色信号の色を区別せずに前記撮像素子の画素に入力された前記色信号を当該画素の輝度信号として第２の輝度信号を生成する第２の生成工程と、
    前記第１の輝度信号と前記第２の輝度信号との合成比率を、前記画像信号に基づく第１の情報に基づいて決定し、当該決定した合成比率と、前記第１の輝度信号および前記第２の輝度信号の少なくとも何れか一方とに基づいて第３の輝度信号を生成する第３の生成工程と、
    前記第１の輝度信号と前記第２の輝度信号との合成比率を、前記画像信号に基づく第２の情報に基づいて決定し、当該決定した合成比率と、前記第１の輝度信号および前記第２の輝度信号の少なくとも何れか一方とに基づいて前記第３の輝度信号よりも高周波の輝度信号である第４の輝度信号を生成する第４の生成工程と、を有し、
    前記第１の情報は、前記画像信号のエッジに関する情報を含み、
    前記第２の情報は、前記画像信号のエッジに関する情報と、前記画像信号の空間周波数に関する情報とを含むことを特徴とする輝度信号生成方法。
14. 請求項１〜１２の何れか１項に記載の輝度信号生成装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images