JP2008109233A - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Abstract

【課題】映像信号が無彩色領域に属しているか否かに応じた高品位かつ高精度な色変換処理を行うことができる画像処理装置等を提供する。
【解決手段】カラーのＣＣＤ１０２から得られた映像信号に対して色変換処理を行う画像処理装置であって、ＣＣＤ１０２から得られた信号のノイズ量をＩＳＯ感度やホワイトバランス係数に応じて推定し、推定したノイズ量に基づき、信号が属する色空間の無彩色領域を、彩度が０となる無彩色軸を中心とする領域として適応的に規定する領域規定部１１０と、ＣＣＤ１０２から得られた信号が無彩色領域に属しているか否かを判定し、属していない場合には色変換処理を行わないかまたは信号を無彩色軸上に射影する色変換処理を行い、属している場合には目標色信号と色変換処理後の色信号との数値上の誤差が最小となるような色変換処理を行う色変換部１１１と、を備えた画像処理装置。
【選択図】図１

Description

本発明は、カラー撮像素子から得られた映像信号に色変換処理を行う画像処理装置、画像処理プログラム、画像処理方法に関する。

現在製造されているデジタルカメラやビデオカメラなどにおける撮像系の多くには、原色系、または補色系のカラーフィルタを前面に配置した撮像素子が用いられている。この撮像素子から得られる映像信号は、色変換処理、階調補正処理、エッジ強調処理などの幾つかの処理が施された後に、最終的な画像として出力される。

ところで、撮像系に用いられるカラーフィルタには分光特性が異なる複数種類のものがあり、さらに、撮像素子自体も機種に応じて分光特性が異なっている。従って、映像信号を処理する回路が同一であっても、色に係わる特性が異なる撮像系を用いる場合には、最終的に出力される画像の色再現性が異なってしまうことになる。

このような点を解決する技術として、カラーマネージメント技術（以下ＣＭＳ）が提案されており、この技術の導入は必要とされている。このＣＭＳにおいては、色信号が一致するように、一般的に、マトリクス演算やＬＵＴを用いた色変換処理が行われている。これらの内のＬＵＴを用いて色変換処理を行う場合には、高精度な処理を行うことが可能であるという利点がある一方で、大きなメモリ容量を必要とするために、ハードウェア規模の増大を招いてしまうことになる。

これに対して、マトリクス演算により色変換処理を行う場合には、色変換の精度がＬＵＴに比べて幾らか劣ってしまうものの、メモリ容量を大幅に削減することができて、ハードウェア規模も小さくて済むという利点がある。

そして、製品開発においては、現実的な手法として、マトリクスを用いた色変換処理が広く行われている。

しかし、上述したようなＣＭＳを用いる技術では、特に低彩色領域において良好な色再現を得られないことがある。例えば、ＣＭＳにおけるマトリクス演算を用いた色変換は、あらゆる色を平均的に合わせ込むような処理を行うものとなっている。これにより各有彩色が平均的に良好な色再現を行うことができるようにして、つまり有彩色に対する色変換処理精度を保持するようにしている。しかし、このような技術を用いると、本来は無彩色であるべき色信号が有彩色に変換されてしまうことがあり、無彩色領域に対する色再現精度が犠牲になることがある。

また、人間の視覚特性は、有彩色領域よりも無彩色領域においてノイズに敏感であるために、大きな係数を用いてマトリクス変換を行うことはノイズ増大の副作用を招くことになり、好ましくない。

このようなＣＭＳの課題を解決するために、無彩色領域に対して特定の色変換処理を行う技術が提案されている。

例えば、特開平８−７９５５０号公報には、入力画像データが無彩色近傍範囲に属するか否かを判定して、無彩色近傍範囲に属すると判定された画像データに対しては無彩色近傍範囲に適した色調整を行い、無彩色近傍範囲以外の領域に属すると判定された画像データに対しては一般的な有彩色に適した色彩になるように色調整を行う技術が開示されている。

また、特開平９−２７９１５号公報には、色変換前の色が無彩色であるか否かを判定して、無彩色であると判定された場合には色変換後の有彩色成分を取り除き、無彩色でないと判定された場合にはマトリクスによる色変換処理の結果を採用する技術が記載されている。

このように、特開平８−７９５５０号公報、特開平９−２７９１５号公報に記載された技術は、無彩色と有彩色とに、それぞれ独立かつ最適な色変換処理を行うことにより、無彩色と有彩色との両方に高精度な色変換処理を行うものとなっている。

ところで、特開２００４−７２４２２号公報および特開２００４−２６６３２３号公報には、映像信号中に含まれるノイズの量を推定する技術が記載されている。
特開平８−７９５５０号公報 特開平９−２７９１５号公報 特開２００４−７２４２２号公報 特開２００４−２６６３２３号公報

しかしながら、上記特開平８−７９５５０号公報に記載の技術は、無彩色近傍範囲をユーザーが入力するようになっているために、無彩色領域を最適に設定することが困難である。

また、上記特開平９−２７９１５号公報に記載の技術は、無彩色領域が予め固定的な領域として与えられるものとなっている。このために、無彩色領域がもし小さな領域として規定されていると、実際には無彩色領域であるにも関わらず無彩色でないと判定されてしまった領域は、色変換処理が行われることになる。例えば高いＩＳＯ感度で撮影された映像信号のような信号増幅の処理が行われた映像信号の場合には、ノイズ成分も増幅されるが、無彩色でないと判定されてしまった領域は、色変換処理が行われることにより、ノイズ成分がさらに増幅してしまうことになる。また、ホワイトバランス補正処理においても、色信号に１以上のゲインが乗算される場合があるが、このような場合にはノイズ成分が増幅されることになるために、その後に色変換処理が行われるとノイズ成分がさらに増幅することがあるのは上述と同様である。従って、無彩色領域を規定する際には、このような副作用の影響を考慮することが本来は望ましい。

さらに、上記特開２００４−７２４２２号公報および特開２００４−２６６３２３号公報には、上述したように映像信号中に含まれるノイズ量を推定する技術が記載されているが、このノイズ量推定技術は、色変換処理と組み合わせて用いられたものではなかった。

本発明は上記事情に鑑みてなされたものであり、映像信号が無彩色領域に属しているか否かに応じた高品位かつ高精度な色変換処理を行うことができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

上記の目的を達成するために、本発明による画像処理装置は、カラー撮像素子から得られた映像信号に対して色変換処理を行う画像処理装置であって、上記カラー撮像素子から得られた信号が属する色空間に関して無彩色領域を適応的に規定する領域規定手段と、上記カラー撮像素子から得られた信号が上記領域規定手段により規定された無彩色領域に属しているか否かを判定する判定手段と、上記判定手段の判定結果に応じて上記信号に対して適応的に色変換処理を行う色変換手段と、を具備したものである。

また、本発明による画像処理プログラムは、コンピュータに、カラー撮像素子から得られた映像信号に対して色変換処理を行わせるための画像処理プログラムであって、コンピュータに、上記カラー撮像素子から得られた信号が属する色空間に関して無彩色領域を適応的に規定する領域規定ステップと、上記カラー撮像素子から得られた信号が上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定する判定ステップと、上記判定ステップの判定結果に応じて上記信号に対して適応的に色変換処理を行う色変換ステップと、を行わせるためのプログラムである。

さらに、本発明による画像処理方法は、カラー撮像素子から得られた映像信号に対して色変換処理を行う画像処理方法であって、上記カラー撮像素子から得られた信号が属する色空間に関して無彩色領域を適応的に規定する領域規定ステップと、上記カラー撮像素子から得られた信号が上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定する判定ステップと、上記判定ステップの判定結果に応じて上記信号に対して適応的に色変換処理を行う色変換ステップと、を有する方法である。

本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、映像信号が無彩色領域に属しているか否かに応じた高品位かつ高精度な色変換処理を行うことが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１０は本発明の実施形態１を示したものであり、図１は画像処理装置の構成を示すブロック図である。

図１に示すように、この画像処理装置は、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、ＡＦモータ１０３と、Ａ／Ｄ変換部１０４と、バッファ１０５と、測光評価部１０６と、合焦点検出部１０７と、補間部１０８と、ＷＢ部１０９と、領域規定部１１０と、色変換部１１１と、信号処理部１１２と、圧縮部１１３と、出力部１１４と、制御部１１５と、外部Ｉ／Ｆ部１１６と、を備えている。すなわち、本実施形態の画像処理装置は、レンズ系１００、絞り１０１、ＣＣＤ１０２、ＡＦモータ１０３、Ａ／Ｄ変換部１０４、測光評価部１０６、合焦点検出部１０７等の撮像部を備える撮像装置として構成されたものとなっている。

レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影し出力されたアナログの映像信号は、Ａ／Ｄ変換部１０４によってデジタル信号へ変換される。

このＡ／Ｄ変換部１０４からの映像信号は、バッファ１０５を介して測光評価部１０６と合焦点検出部１０７と補間部１０８とへ転送される。

測光評価部１０６は、絞り１０１とＣＣＤ１０２とへ接続されている。また、合焦点検出部１０７は、ＡＦモータ１０３へ接続されている。

補間部１０８は、ＷＢ部１０９へ接続されている。ＷＢ部１０９は、領域規定部１１０と色変換部１１１とへ接続されている。領域規定部１１０は、色変換部１１１へ接続されている。

色変換部１１１は、信号処理部１１２へ接続されている。信号処理部１１２は、圧縮部１１３へ接続されている。圧縮部１１３は、出力部１１４へ接続されている。

制御部１１５は、例えばマイクロコンピュータなどにより構成されていて、Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，補間部１０８，ＷＢ部１０９，領域規定部１１０，色変換部１１１，信号処理部１１２，圧縮部１１３，出力部１１４と双方向に接続されており、これらを制御するようになっている。

また、外部Ｉ／Ｆ部１１６も制御部１１５と双方向に接続されている。この外部Ｉ／Ｆ部１１６は、電源スイッチ，シャッタボタン，撮影時の各種モードの切り替えを行うためのモードボタン等を備えたインタフェースである。

次に、図１に示したような画像処理装置の作用を、映像信号の流れに沿って説明する。

ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１１６を介してＩＳＯ感度やシャッタ速度などの撮影条件を設定する。

その後、ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを半押しにすると、撮像装置であるこの画像処理装置がプリ撮影モードに入る。

レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像する。

絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更する。

ＣＣＤ１０２は、カラー撮像素子として構成されていて、結像される光学像を光電変換して、アナログのカラー映像信号として出力する。

なお、本実施形態においては、ＣＣＤ１０２として、ベイヤー（Bayer）型の原色カラーフィルタを前面に配置した単板ＣＣＤを想定している。

ここに、図２は、ベイヤー型原色カラーフィルタの構成を示す図である。

ベイヤー型の原色フィルタは、２×２画素を基本単位として、この基本単位内の対角する画素位置に赤（Ｒ），青（Ｂ）フィルタが１つずつ、残りの対角する画素位置に緑（Ｇ）フィルタがそれぞれ、配置されたものとなっている。

また、ここではカラー撮像素子としてＣＣＤ１０２を用いているが、もちろんこれに限るものではなく、ＣＭＯＳやその他のカラー撮像素子を用いても構わない。

こうしてＣＣＤ１０２から出力されたアナログ信号は、Ａ／Ｄ変換部１０４によってデジタル信号へ変換されてバッファ１０５へ転送される。ここで、本実施形態においては、デジタル化された映像信号の階調幅が、例えば１２ビット（bit）であるものとする。

このバッファ１０５内に記憶された映像信号は、測光評価部１０６と、合焦点検出部１０７と、へそれぞれ転送される。

測光評価部１０６は、映像信号中の輝度レベルを求めて、設定されたＩＳＯ感度やシャッタ速度を加味しながら、画像が適正露光となるように、上述した絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度などを制御する。

また、合焦点検出部１０７は、映像信号中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１０３を制御して、合焦画像を得る。

こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１６の２段式スイッチでなるシャッタボタンを全押しにすると、撮像装置であるこの画像処理装置が本撮影モードに入る。

すると、プリ撮影と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１５へ転送される。

本撮影によって得られたバッファ１０５内の映像信号は、補間部１０８へ転送される。

補間部１０８は、制御部１１５の制御に基づき、公知の補間処理が行われた三板状態の映像信号を生成して、ＷＢ部１０９へ転送する。

ＷＢ部１０９は、制御部１１５の制御に基づき、各色信号毎に所定のホワイトバランス係数を乗算することにより、ホワイトバランス処理を行う。ＷＢ部１０９は、ホワイトバランス処理後の映像信号を、領域規定部１１０と色変換部１１１とへそれぞれ転送する。

領域規定部１１０は、領域規定手段と無彩色領域規定手段とを兼ねたものであり、制御部１１５の制御に基づき、映像信号中に含まれるノイズ量を推定し、推定したノイズ量に基づいて、ＲＧＢ色空間内における無彩色領域を適応的に規定する。

色変換部１１１は、色変換手段と線形変換手段とを兼ねたものであり、制御部１１５の制御に基づき、領域規定部１１０から得られた無彩色領域を規定する情報に基づき、各画素が無彩色領域に属しているか否かを判定する。そして、色変換部１１１は、無彩色領域に属していると判定した画素に対しては、無彩色領域に対応する色変換処理を該画素のＲＧＢ信号に対して行う。一方、色変換部１１１は、無彩色領域に属していないと判定した画素、つまり有彩色領域に属していると判定した画素に対しては、有彩色領域に対応する色変換処理を該画素のＲＧＢ信号に対して行う。色変換部１１１は、こうして色変換処理を行った後のＲＧＢ信号を、信号処理部１１２へ転送する。

信号処理部１１２は、制御部１１５の制御に基づき、ＲＧＢ信号に公知の階調変換処理やエッジ強調処理などを行い、処理後の信号を圧縮部１１３へ転送する。

圧縮部１１３は、制御部１１５の制御に基づき、信号処理部１１２からの映像信号に公知のＪＰＥＧ等の圧縮処理を行い、圧縮処理後の映像信号を出力部１１４へ転送する。

出力部１１４は、制御部１１５の制御に基づき、圧縮部１１３から出力される圧縮処理後の映像信号を、メモリカードなどの記録媒体に記録して保存する。

次に、図３は、領域規定部１１０の構成の一例を示すブロック図である。

この領域規定部１１０は、平均値算出部２００と、ノイズ算出部２０１と、ノイズ関数ＲＯＭ２０２と、係数算出部２０３と、係数算出関数ＲＯＭ２０４と、を有して構成されている。

ＷＢ部１０９は、平均値算出部２００へ接続されている。平均値算出部２００は、ノイズ算出部２０１へ接続されている。ノイズ関数ＲＯＭ２０２は、ノイズ算出部２０１へ接続されている。ノイズ算出部２０１は、係数算出部２０３へ接続されている。係数算出関数ＲＯＭ２０４は、係数算出部２０３へ接続されている。係数算出部２０３は、色変換部１１１へ接続されている。

制御部１１５は、平均値算出部２００，ノイズ算出部２０１，係数算出部２０３と双方向に接続されており、これらを制御するようになっている。

平均値算出部２００は、制御部１１５の制御に基づき、ＷＢ部１０９から転送された映像信号の１つの色信号、本実施形態においてはＲＧＢ色信号の内のＧ色信号の、画像全体に対する平均値ＡｖｅＧを算出して、ノイズ算出部２０１へ転送する。

ノイズ算出部２０１は、ノイズ量推定手段であって、ＩＳＯ感度やホワイトバランス係数などの撮影情報を制御部１１５から受信する。そして、ノイズ算出部２０１は、これらの撮影情報に対応するノイズ関数を、ノイズ関数ＲＯＭ２０２から読み込む。次に、ノイズ算出部２０１は、読み込んだノイズ関数を用いて、平均値算出部２００から転送される平均値ＡｖｅＧに対応するノイズ量Ｎを推定する。このノイズ量の推定は、例えば上述した特開２００４−７２４２２号公報および特開２００４−２６６３２３号公報に記載されたような技術を用いることができる。ノイズ算出部２０１は、このようにして推定したノイズ量Ｎを、係数算出部２０３へ転送する。なお、ここでは、ＩＳＯ感度とホワイトバランス係数との両方を用いているが、何れか一方のみを用いることも可能である。あるいは、ＩＳＯ感度やホワイトバランス係数に加えて、さらにＣＣＤ１０２の温度情報を用いるようにしても良い。

係数算出部２０３は、線形関数手段と非線形関数手段との何れとしても機能し得るものであり、係数算出関数ＲＯＭ２０４から無彩色領域規定係数を算出するための関数の定数項を読み込んで、ノイズ算出部２０１から転送されたノイズ量Ｎに応じた無彩色領域規定係数を算出する。

ここに、本実施形態においては、図４に示すように、ＲＧＢ色空間におけるＲ，Ｇ，Ｂの比率が１：１：１になる直線を無彩色軸として、この無彩色軸を中心とする半径ｒａｄｉｕｓの円柱状の領域を無彩色領域としている。このとき、この円柱状の無彩色領域の無彩色軸に対する半径ｒａｄｉｕｓを、無彩色領域規定係数としている。ここに、図４は、ＲＧＢ色空間に設定された無彩色領域の一例を示す図である。

そして、係数算出部２０３は、推定されたノイズ量Ｎに基づいて、図６または図７などに示すような単調増加関数を用いて、無彩色領域規定係数ｒａｄｉｕｓを算出するようになっている。ここに、図６は無彩色領域規定係数ｒａｄｉｕｓをノイズ量Ｎに応じて算出するための線形な係数算出関数の例を示す図、図７は無彩色領域規定係数ｒａｄｉｕｓをノイズ量Ｎに応じて算出するための非線形な係数算出関数の例を示す図である
図６に示すような係数算出関数は、例えば次の数式１に示すように表される。
［数１］

ここに、α，βは定数項である。

また、図７に示すような係数算出関数は、例えば次の数式２に示すように表される。
［数２］

ここに、γ，δ，εは定数項である。

なお、図６に示す係数算出関数は、α＞０かつβ＝０であるときの例となっている。また、図７に示す係数算出関数は、γ＜０かつδ＞０かつε＝０であるときの例となっている（ただし、γ＜０としたときには極大点以降は半径ｒａｄｉｕｓが減少に転じてしまうために、極大点で関数をクリップするものとする）。

係数算出関数ＲＯＭ２０４は、上述したような係数算出関数の定数項α，βあるいは定数項γ，δ，ε等が予め記録されている。そして、係数算出部２０３は、係数算出関数ＲＯＭ２０４から所定の関数の定数項を読み込んで、数式１または数式２等に示したように関数演算を行う。

係数算出部２０３は、このように算出した無彩色領域規定係数ｒａｄｉｕｓを、色変換部１１１へ転送する。

なお、上述では、係数算出関数として、数式１に示したような１次関数、または数式２に示したような２次関数を用いる例を示したが、これらに限定されるものではなく、連続な関数であって、ノイズ量Ｎの増加に従って半径ｒａｄｉｕｓが増加する（減少しなければ良く、一定値でも可）ような、任意の非線形関数、または任意の折れ線関数等を適用することも可能である。

さらに、上述では関数を用いてノイズ量Ｎから無彩色領域規定係数ｒａｄｉｕｓを求めているが、これに限るものではなく、任意のノイズ量Ｎと無彩色領域規定係数ｒａｄｉｕｓとの関係が予め記録されているテーブルを用いて求めるようにすることも可能である。

次に、図８は、色変換部１１１の構成の一例を示すブロック図である。

この色変換部１１１は、バッファ３００と、距離算出部３０１と、判定部３０２と、転送部３０３と、第１色変換部３０４と、第１係数ＲＯＭ３０５と、第２色変換部３０６と、第２係数ＲＯＭ３０７と、第１画像バッファ３０８と、第２画像バッファ３０９と、合成部３１０と、を有して構成されている。

ＷＢ部１０９は、バッファ３００へ接続されている。バッファ３００は、距離算出部３０１と転送部３０３とへ接続されている。距離算出部３０１は、判定部３０２へ接続されている。領域規定部１１０は、判定部３０２へ接続されている。判定部３０２は、転送部３０３へ接続されている。転送部３０３は、第１色変換部３０４と第２色変換部３０６とへ接続されている。第１係数ＲＯＭ３０５は、第１色変換部３０４へ接続されている。第２係数ＲＯＭ３０７は、第２色変換部３０６へ接続されている。第１色変換部３０４は、第１画像バッファ３０８へ接続されている。第２色変換部３０６は、第２画像バッファ３０９へ接続されている。第１画像バッファ３０８および第２画像バッファ３０９は、合成部３１０ヘ接続されている。合成部３１０は、信号処理部１１２へ接続されている。

制御部１１５は、距離算出部３０１，判定部３０２，転送部３０３，第１色変換部３０４，第２色変換部３０６，合成部３１０と双方向に接続されており、これらを制御するようになっている。

ＷＢ部１０９から転送される映像信号は、バッファ３００に保存される。

距離算出部３０１は、バッファ３００に保存されているＲＧＢ信号を画素単位で読み込んで、ＲＧＢ信号により示されるＲＧＢ色空間上の画素点と、ＲＧＢ色空間における無彩色軸と、の間の距離（すなわち、画素点と無彩色軸上における任意の点との距離の最小値）を算出する。

より詳しくは、距離算出部３０１は、ＲＧＢ色空間における任意の色信号を（ｒi，ｇi，ｂi）により表し、さらにＲＧＢ色空間における無彩色軸（ここに、無彩色軸は、ＲＧＢ色空間の原点を通るものとする）を次の数式３に示すような直線式
［数３］

により表したときに、任意の点（ｒi，ｇi，ｂi）と無彩色軸との間の距離ｄｉｓｔは、次の数式４により計算される。
［数４］

ここに、ｌ，ｍ，ｎは定数項であり、（ｌ，ｍ，ｎ）は無彩色軸の方向ベクトルを表している。

従って、Ｒ，Ｇ，Ｂの比率が１：１：１になる直線を無彩色軸とすることができる場合には、ｌ＝ｍ＝ｎ＝１（あるいは、方向ベクトルを正規化する場合には、ｌ＝ｍ＝ｎ＝（１／√３））とおくことができ、数式３、数式４はそれぞれ次の数式５および数式６に示すようになる。
［数５］

［数６］

そして、距離算出部３０１は、算出した距離ｄｉｓｔを判定部３０２へ転送する。

判定部３０２は、判定手段、色相領域判定手段、比較判別手段を兼ねたものであって、距離算出部３０１から転送された距離ｄｉｓｔと、領域規定部１１０を介して得られる無彩色領域規定係数ｒａｄｉｕｓと、を比較して、比較結果に応じた次の数式７に示すようなフラグ信号ｆｌａｇを転送部３０３へ転送する。
［数７］

すなわち、判定部３０２は、距離ｄｉｓｔが無彩色領域規定係数ｒａｄｉｕｓ以下である場合にはフラグ信号ｆｌａｇを１とし、距離ｄｉｓｔが無彩色領域規定係数ｒａｄｉｕｓよりも大きい場合にはフラグ信号ｆｌａｇを０とする。つまり、フラグ信号ｆｌａｇが１となる映像信号は無彩色領域の信号であることになり、フラグ信号ｆｌａｇが０の映像信号は有彩色領域の信号であることになる。

転送部３０３は、判定部３０２から転送されたフラグ信号ｆｌａｇに基づいて、フラグ信号ｆｌａｇが１である場合には注目画素の映像信号を第１色変換部３０４へ、フラグ信号ｆｌａｇが０である場合には注目画素の映像信号を第２色変換部３０６へ、それぞれ転送する。

第１の色変換部である第１色変換部３０４と第２の色変換部である第２色変換部３０６とは、注目画素の映像信号に対してそれぞれ異なる色変換処理を行う。第１色変換部３０４および第２色変換部３０６は、本実施形態においては、入力ＲＧＢ信号ｒi，ｇi，ｂiに対して、例えば次の数式８に示すようなマトリクス演算を行うことにより、色変換処理後のＲＧＢ信号ｒi’，ｇi’，ｂi’を算出する。
［数８］

ここに、右辺の行列におけるａ〜ｉは、変換マトリクスのパラメータ（マトリクス係数）である。

すなわち、第１係数ＲＯＭ３０５には、第１色変換部３０４が用いるための変換マトリクス係数が予め記録され、第２係数ＲＯＭ３０７には、第２色変換部３０６が用いるための変換マトリクス係数が予め記録されている。そして、第１色変換部３０４は、第１係数ＲＯＭ３０５から所定のマトリクス係数を読み込んで数式８に示したようにマトリクス演算を行い、第２色変換部３０６は第２係数ＲＯＭ３０７から所定のマトリクス係数を読み込んで数式８に示したようにマトリクス演算を行う。

ここで、色変換処理は正確な色再現を目指すために行われるものであって、第１係数ＲＯＭ３０５と第２係数ＲＯＭ３０７とには、それぞれ以下に説明するようなマトリクス係数が具体例として記録される。

まず、第１係数ＲＯＭ３０５に記録される変換マトリクス係数は、転送部３０３から転送された無彩色領域に属するＲＧＢ信号を、色変換処理を行うことなくそのまま通過させるマトリクス係数（単位行列のマトリクス係数）や、あるいは無彩色軸上に射影するマトリクス係数などとなっている。ここに、単位行列は、次の数式９に示すように表され、数式５に示した無彩色軸上への射影を行うマトリクスは、次の数式１０に示すように表される。
［数９］

［数１０］

また、第２係数ＲＯＭ３０７に記録される変換マトリクス係数は、正確な色再現の目標となる色信号と色変換処理後の色信号との数値上の誤差が最小となるように、例えば最小二乗法等により算出されたマトリクス係数などが用いられる。

なお、無彩色領域と有彩色領域とで異なる色変換処理を行うと、無彩色領域と有彩色領域との境界において色の連続性が失われてしまうことになる。そこで、色の連続性を保持するようにした色変換部１１１の構成例を示すのが図９である。

ここに、図９は、色変換部１１１の構成の他の例を示すブロック図である。この図９に示す色変換部１１１は、例えばマトリクス係数に対して信号に応じた重み係数（０〜１．０）を乗算することにより、色変換処理を制御するようにしたものとなっている。

この図９に示す色変換部は、図８に示した色変換部１１１に、重み係数算出部３１１を追加した構成となっている。その他の基本的な構成は図８に示した色変換部１１１と同様であるために、同一の構成には同一の名称と参照符号とを付して適宜説明を省略し、主として異なる部分についてのみ説明する。

領域規定部１１０は、重み係数算出部３１１へも接続されている。距離算出部３０１は、重み係数算出部３１１へも接続されている。重み係数算出部３１１は、第２色変換部３０６へ接続されている。また、制御部１１５は、重み係数算出部３１１とも双方向に接続されており、これも制御するようになっている。

まず、第１色変換部３０４が、転送部３０３から転送された無彩色領域に属するＲＧＢ信号を、数式９に示したような単位行列を用いて変換する場合（色変換処理を行うことなくそのまま通過させる場合）について説明する。このときには、重み係数算出部３１１は、例えば、領域規定部１１０からの情報（無彩色領域規定係数ｒａｄｉｕｓ）と距離算出部３０１からの情報（距離ｄｉｓｔ）とに基づいて、無彩色領域と有彩色領域との境界と、任意の色信号座標と、の間の距離ｔ＿ｄｉｓｔ（例えば図４に示したような無彩色領域を採用する場合には、ｆｌａｇ＝０（つまり、ｒａｄｉｕｓ＞ｄｉｓｔ）の有彩色領域に対して、「ｔ＿ｄｉｓｔ＝ｄｉｓｔ−ｒａｄｉｕｓ」により算出することができる。）を算出する。そして、重み係数算出部３１１は、算出した距離ｔ＿ｄｉｓｔに応じてマトリクス係数に乗算するための重み係数ｗ（ｔ＿ｄｉｓｔ）（ここに、０≦ｗ（ｔ＿ｄｉｓｔ）≦１．０）を算出する。なお、重み係数ｗ（ｔ＿ｄｉｓｔ）の最も簡単な関数形の一例としては、次の数式１１に示す例が挙げられる。
［数１１］

ここに、無彩色領域と有彩色領域との境界の近傍となる、有彩色領域内の領域（無彩色領域の外側に位置する殻状の領域）を境界近傍領域とするとき、この境界近傍領域をｒａｄｉｕｓ＜ｄｉｓｔ≦（ｒａｄｉｕｓ＋Δｒａｄｉｕｓ）の範囲（つまり、０＜ｔ＿ｄｉｓｔ≦Δｒａｄｉｕｓの範囲）と規定している。そして、この境界近傍領域のさらに外側となる有彩色領域については、通常の色変換処理を行うようにしている。

その後、重み係数算出部３１１は、算出した重み係数ｗを第２色変換部３０６へ出力する。第２色変換部３０６は、重み係数算出部３１１から受信した重み係数ｗに基づき、第２係数ＲＯＭ３０７から読み出した数式８の右辺に示したマトリクス（色領域全体の信号とそれに対する目標信号との誤差が最小となるようにして設計されたマトリクス）と、数式９に示した単位行列と、の重み付け演算を次の数式１２に示すように行うことにより、補正された色変換マトリクスを算出する。
［数１２］

一方、第１色変換部３０４が無彩色領域に属する信号を数式１０に示したような行列を用いて無彩色軸に射影する処理を行う場合には、第２色変換部３０６は、重み係数算出部３１１から受信した重み係数ｗに基づき、第２係数ＲＯＭ３０７から読み出した数式８の右辺に示したマトリクス（色領域全体の信号とそれに対する目標信号との誤差が最小となるようにして設計されたマトリクス）と、数式１０に示した無彩色軸上への射影を行うマトリクスと、の重み付け演算を次の数式１３に示すように行うことにより、補正された色変換マトリクスを算出する。
［数１３］

その後、第２色変換部３０６は、数式１２または数式１３に示すような補正された色変換マトリクスを用いて数式８に示したような演算を行うことにより、有彩色領域に対する色変換処理を行う。

このように、境界の近傍となる有彩色領域（境界近傍領域）に対しては、色変換処理が境界からの距離に応じた程度しか行われないようにすることにより、無彩色領域と有彩色領域との境界における色の連続性を保つことができる。

図８および図９に共通する説明に戻って、第１色変換部３０４により色変換処理が行われた各画素の色信号は第１画像バッファ３０８へ、第２色変換部３０６により色変換処理が行われた各画素の色信号は第２画像バッファ３０９へ、それぞれ転送される。

そして、全映像信号に対して色変換処理が行われたら、その後に、第１画像バッファ３０８に保存された映像信号と、第２画像バッファ３０９に保存された映像信号とが、合成部３１０へ転送される。

合成部３１０は、転送された色変換処理後の映像信号を合成する。そして、合成部３１０は、合成した映像信号を信号処理部１１２へ転送する。

なお、上述では、色変換部３０４および第２色変換部３０６が、数式８に示したようなマトリクス演算を行うことにより色変換処理を行う例を説明したが、これに限定される必要はない。例えば、入力信号と出力信号との対応関係を予め記録したＬＵＴ（色変換テーブル）を適用することにより、色変換処理を行うようにしても構わない。この場合は、第１係数ＲＯＭ３０５にテーブル演算手段たる第１色変換部３０４が用いる所定のＬＵＴ（色変換テーブル）係数が保存され、第２係数ＲＯＭ３０７にテーブル演算手段たる第２色変換部３０６が用いる所定のＬＵＴ（色変換テーブル）係数が保存されることになる。

なお、上述ではレンズ系１００、絞り１０１、ＣＣＤ１０２、ＡＦモータ１０３、Ａ／Ｄ変換部１０４、測光評価部１０６、合焦点検出部１０７を含む撮像部を一体化した構成の画像処理装置について説明したが、画像処理装置としてはこのような構成に限定される必要はなく、撮像部が別体であっても構わない。すなわち、別体の撮像部により撮像され、未処理のロー（ＲＡＷ）データの形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理する画像処理装置であっても構わない。ただし、このときには、撮影時の情報（ＩＳＯ感度やホワイトバランス係数など）が、ヘッダ部等に記録されているものとする。なお、別体の撮像部から画像処理装置への各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのロー（ＲＡＷ）データとしてメモリカード等の記録媒体に記録するとともに、制御部１１５からの撮影時の情報（ＩＳＯ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、上述と同様に、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図１０は、画像処理プログラムによる色変換処理を示すフローチャートである。

この処理を開始すると、まず、未処理の映像信号を読み込むとともに、ＩＳＯ感度やホワイトバランス係数などの撮像条件に関する付随情報を含むヘッダ情報を読み込む（ステップＳ１）。

次に、読み込んだ未処理の映像信号に補間処理を行うことにより、三板の映像信号を生成する（ステップＳ２）。

続いて、読み込んだホワイトバランス係数に基づき、三板の映像信号にホワイトバランス処理を行う（ステップＳ３）。

さらに、ホワイトバランス処理後の全画素のＧ信号の平均値を算出する（ステップＳ４）。

その後に、ＩＳＯ感度やホワイトバランス係数などの撮影情報に対応するノイズ関数を読み込んで（ステップＳ５）、読み込んだノイズ関数に基づきノイズ量Ｎを推定する（ステップＳ６）。

次に、図６または図７等に示したような無彩色領域規定係数ｒａｄｉｕｓを算出するための関数を読み込んで（ステップＳ７）、読み込んだ関数に基づき、ステップＳ６において推定したノイズ量Ｎに対応する無彩色領域規定係数ｒａｄｉｕｓを算出する（ステップＳ８）。

そして、ステップＳ８において算出された無彩色領域規定係数ｒａｄｉｕｓに基づき、各画素の映像信号が無彩色領域に属しているか否かを判定する（ステップＳ９）。

ここで、無彩色領域に属していると判定した場合には、ステップＳ３により得られた映像信号に対して、例えばマトリクス演算により無彩色領域に適した色変換処理を行う（ステップＳ１０）。

また、ステップＳ９において無彩色領域に属していないと判定した場合には、ステップＳ３により得られた映像信号に対して、例えばマトリクス演算により有彩色領域に適した色変換処理を行う（ステップＳ１１）。

ステップＳ１０またはステップＳ１１の処理を行ったら、次に、全画素についての色変換処理が完了したか否かを判定する（ステップＳ１２）。

ここで、まだ全画素についての処理が完了していないと判定した場合には、ステップＳ９へ戻って、未処理の画素について上述したような処理を行う。

一方、ステップＳ１２において、全画素についての処理が完了したと判定した場合には、ステップＳ１０の処理により得られた映像信号と、ステップＳ１１の処理により得られた映像信号と、を合成する（ステップＳ１３）。

次に、合成後の映像信号に、公知の階調変換処理やエッジ強調処理などの信号処理を行う（ステップＳ１４）。

そして、映像信号に公知のＪＰＥＧなどの圧縮処理を行い（ステップＳ１５）、処理後の信号を出力して（ステップＳ１６）、この処理を終了する。

また、上述では画像処理装置、画像処理プログラムについて説明したが、これらに限らず、上述したような処理を行うための画像処理方法であっても構わない。

なお、上述では、ベイヤー型の原色カラーフィルタを前面に配置した単板ＣＣＤを例に挙げて説明しているが、カラー撮像素子はこれに限定されるものではなく、補色カラーフィルタを前面に配置した単板ＣＣＤや、三板ＣＣＤであっても構わない。例えば、補色カラーフィルタを配置した単板ＣＣＤを採用する場合には、Ｃｙ，Ｍｇ，Ｙｅ，Ｇの各信号から擬似的に輝度信号Ｙを生成して、この輝度信号Ｙに基づき、映像信号中に含まれるノイズ量を推定するようにすれば良い。

また、上述では、三板状態の映像信号を基準にして映像信号中に含まれるノイズ量を推定しているが、これに限定されるものでもない。例えば、三板状態の映像信号に補間する前のベイヤー時の映像信号に基づいて、ノイズ量を推定するようにしても良い。このときには、カラー撮像素子が例えば原色の単板ＣＣＤである場合には、ベイヤー時のＧ信号を基準にしてノイズ量を推定することが可能である。

さらに、上述では、無彩色軸を中心とする円柱状の領域を無彩色領域としているが、これに限定されるものではない。例えば図５に示すように、映像信号の明るさに応じて無彩色となる範囲が適応的に変化するように無彩色領域を規定することも可能である。ここに、図５はＲＧＢ色空間に設定された無彩色領域の他の例を示す図である。この図５に示す例は、例えば、輝度レベルの中央値において半径ｒａｄｉｕｓが最大値をとり、中央値から輝度レベルが下がるかまたは上がるかするにつれて半径ｒａｄｉｕｓが次第に減少し、最大輝度または最小輝度において半径ｒａｄｉｕｓが０に収束するように設定される無彩色領域の例となっている。

加えて、上述では、画像全体に対して無彩色領域を設定していたが、これに限るものではなく、画像を複数の部分領域に分割して、各部分領域毎に無彩色領域を設定し、各部分領域毎に無彩色領域と有彩色領域とで異なる色変換処理を行うようにしても構わない。これにより、部分領域に応じたより適切な色変換処理を行うことができ、高品質な映像信号を得ることが可能となる。

このような実施形態１によれば、ノイズ量を推定して、推定したノイズ量に基づき無彩色領域を適応的に規定し、無彩色領域と有彩色領域とで異なる色変換処理を行うようにしたために、低彩度の色を適切にかつ高精度に色変換することができる。

また、マトリクス演算処理により色変換を行う構成は従来と同一であって、単にマトリクス演算処理により色変換を行う構成を１つ追加するだけで良いために、従来の画像処理装置との親和性が高く、実装が容易であるという利点がある。このとき、マトリクス演算処理に代えてＬＵＴを適用する場合についても、同様に、従来の画像処理装置との親和性が高く、実装が容易であるという利点があるといえる。

こうして、本実施形態によれば、映像信号が無彩色領域に属しているか否かに応じた高品位かつ高精度な色変換処理を行うことが可能となる。

［実施形態２］
図１１から図１５は本発明の実施形態２を示したものであり、図１１は画像処理装置の構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の参照符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の画像処理装置は、上述した実施形態１の図１に示したような構成に、色空間変換手段たる色空間変換部１１７を付加したものとなっている。

ＷＢ部１０９は、色空間変換部１１７へ接続されている。色空間変換部１１７は、領域規定部１１０と色変換部１１１とへ接続されている。また、制御部１１５は、色空間変換部１１７とも双方向に接続されており、これも制御するようになっている。

さらに、本実施形態における外部Ｉ／Ｆ部１１６は、後述するように、色空間を複数の色相領域に分割するための色相分割手段を兼ねたものとなっている。

次に、図１１に示したような画像処理装置の作用は、実施形態１の図１に示したものと基本的に同様であるために、異なる部分についてのみ信号の流れに沿って説明する。

ＷＢ部１０９によりホワイトバランス処理された映像信号は、色空間変換部１１７へ転送される。色空間変換部１１７は、転送された映像信号を、所定の色空間の映像信号、本実施形態においては例えばＹＣｂＣｒ色空間の映像信号に変換する。色空間変換部１１７は、変換したＹＣｂＣｒ信号を、領域規定部１１０と色変換部１１１とへ転送する。

領域規定部１１０は、ノイズ量を推定し、推定した映像信号のノイズ量に基づいて、ＹＣｂＣｒ色空間において無彩色領域となる領域を規定する。

色変換部１１１は、各画素のＹＣｂＣｒ信号が、規定した無彩色領域に属しているか否かを判定して、判定結果に応じた色変換処理を行う。そして、色変換部１１１は、色変換処理後のＹＣｂＣｒ信号を信号処理部１１２へ転送する。

これ以降の処理は、上述した実施形態１とほぼ同様である。

次に、図１２は、色空間変換部１１７の構成の一例を示すブロック図である。

この色空間変換部１１７は、マトリクス変換部４００と、バッファ４０１と、を有して構成されている。

ＷＢ部１０９は、マトリクス変換部４００へ接続されている。マトリクス変換部４００は、バッファ４０１へ接続されている。バッファ４０１は、領域規定部１１０と色変換部１１１とへ接続されている。また、制御部１１５は、マトリクス変換部４００と双方向に接続されており、これを制御するようになっている。

マトリクス変換部４００は、ＷＢ部１０９から転送されるＲＧＢ信号を画素単位で読み込んで、次の数式１４に示すようなマトリクス演算を行うことにより、ＹＣｂＣｒ信号へ変換する。
［数１４］

こうして算出されたＹＣｂＣｒ信号は、バッファ４０１へ保存される。

なお、上述では、色空間変換部１１７により変換される色空間として、ＹＣｂＣｒ色空間を例に挙げたが、これに限定されるものではない。例えば、ＣＩＥ−Ｌａｂ色空間、ＣＩＥ−Ｌｕｖ色空間などの任意の色空間へ変換するようにしても構わない。

続いて、図１３は、領域規定部１１０の構成の一例を示すブロック図である。

この領域規定部１１０は、図３に示す領域規定部１１０の構成に、画像用バッファ２０５と、色相算出部２０６と、色相用バッファ２０７と、ノイズ用バッファ２０８と、を追加した構成になっている。その他の基本的な構成は図３に示した領域規定部１１０と同様であるために、主として異なる部分についてのみ説明する。

色空間変換部１１７は、画像用バッファ２０５へ接続されている。画像用バッファ２０５は、平均値算出部２００と色相算出部２０６とへ接続されている。色相算出部２０６は、色相用バッファ２０７へ接続されている。色相用バッファ２０７は、係数算出部２０３へ接続されている。ノイズ算出部２０１は、ノイズ用バッファ２０８へ接続されている。ノイズ用バッファ２０８は、係数算出部２０３へ接続されている。また、制御部１１５は、色相算出部２０６とも双方向に接続されており、これも制御するようになっている。

色空間変換部１１７から転送される映像信号は、画像用バッファ２０５に保存される。

平均値算出部２００は、画像用バッファ２０５から転送された映像信号、本実施形態においては注目画素を中心とした所定の局所領域内の輝度信号Ｙの平均値ＡｖｅＹを画素毎に算出して、ノイズ算出部２０１へ転送する。なお、上述した実施形態１においては、平均値ＡｖｅＧを画像全体のＧ色信号に基づき求めていたが、ここでは、平均値ＡｖｅＹを局所領域毎（局所領域の中心に位置する注目画素毎）に求めている。また、ここでは平均値算出部２００が輝度信号Ｙの平均値ＡｖｅＹを求める例について説明したが、これに限らず、色差信号Ｃｒ，Ｃｂの平均値を求めるようにすることも可能である。

色相算出部２０６は、画像用バッファ２０５からＹＣｂＣｒ信号を画素単位で読み込んで、色相信号Ｈを次の数式１５により画素毎に算出する。
［数１５］

なお、上述では、色相算出部２０６が数学的演算により色相信号を算出する例を説明しているが、これに限定されるものではない。例えば、ＣｒとＣｂとの比率と、色相角度と、の関係をテーブルとして第１係数ＲＯＭ３０５および第２係数ＲＯＭ３０７に予め保存しておく。そして、原点と注目画素のＣｒ，Ｃｂ信号とを結ぶ直線のなす傾きを算出して、この傾きが示すＣｒとＣｂとの比率に基づき、第１色変換部３０４と第２色変換部３０６とがテーブルを参照して色相信号Ｈを求めるようにすることも可能である。

そして、色相算出部２０６は、算出した色相信号Ｈを色相用バッファ２０７へ転送する。

ノイズ算出部２０１は、ＩＳＯ感度やホワイトバランス係数などの撮影情報を制御部１１５から受信する。そして、ノイズ算出部２０１は、これらの撮影情報に対応するノイズ関数を、ノイズ関数ＲＯＭ２０２から読み込む。次に、ノイズ算出部２０１は、ノイズ関数を用いて、平均値算出部２００から転送される平均値ＡｖｅＹに対応するノイズ量Ｎを画素毎に推定する。そして、ノイズ算出部２０１は、推定したノイズ量Ｎをノイズ用バッファ２０８へ転送する。

係数算出部２０３は、色相用バッファ２０７から色相信号Ｈを読み出すとともに、ノイズ用バッファ２０８からノイズ量Ｎを読み出して、例えば図１４に示すようなＲ１〜Ｒ４（これらをまとめてＲｊと表記することにする。ここにｊは色相領域を指定する変数であり、ｊ＝１〜４である。）の複数の色相領域毎に、平均ノイズ量ＡｖｅＮjを算出する。ここに、図１４は、色相領域に応じて規定される無彩色領域の様子を示す図である。

なお、図１４に示すような、ＣｒＣｂ平面を複数の色相領域に分割するための分割軸は、色相分割手段たる外部Ｉ／Ｆ部１１６を介してユーザから手動により入力された情報に基づき制御部１１５が決定し、該係数算出部２０３へ転送するものとする。

また、ここでは、色相領域を分割するための分割軸に係る情報をユーザが手動で入力するようにしたが、これに限るものではない。例えば、撮像装置には種々の撮影モード（例えば、プログラム撮影モードや夜景撮影モードなど）が備えられていることが多いが、こうした撮影モードに対応する分割軸を予め設定しておく。そして、ユーザが撮影モードを指定すると、その指定した撮影モードに対応する分割軸に自動的に切り替えられるようにすることも可能である。

そして、係数算出部２０３は、係数算出関数ＲＯＭ２０４から所定の関数の定数項を読み込んで関数演算を行うことにより、色相領域Ｒｊの平均ノイズ量ＡｖｅＮjに応じた無彩色領域規定係数ｒａｄｉｕｓjを、各色相領域Ｒｊに対して算出する。

ここに、無彩色領域は、両端に位置する２つの分割軸上に等しい長さの２辺をもつ２等辺三角形状をなすように規定されるものとする（後述する数式１７を参照）。このとき、上述したように算出した無彩色領域規定係数ｒａｄｉｕｓjは、ＣｒＣｂ平面の原点から、色相領域Ｒｊの両端の分割軸のなす角度の１／２の角度方向（中心角度方向）における無彩色領域と有彩色領域との境界までの距離を表している（例えば図１４に示す色相領域Ｒ１の無彩色領域規定係数ｒａｄｉｕｓ1参照）。

なお、ここでは、各色相領域Ｒｊの無彩色領域を２等辺三角形状をなすように定めるとともに、複数の色相領域Ｒｊ毎に無彩色領域規定係数ｒａｄｉｕｓjをそれぞれ別個に求めているために、このままでは、分割軸を挟んで隣接する無彩色領域が、該分割軸上で不連続になる（ＣｒＣｂ平面において無彩色領域と有彩色領域とを区分する境界線が、分割軸上で不連続になる）ことが考えられる。このときには、該分割軸上で連続性が保たれるように、規定する無彩色領域を分割軸上で丸め込むことが考えられる。あるいは、例えば、各色相領域Ｒｊの中心角度方向の無彩色領域規定係数ｒａｄｉｕｓjだけＣｒＣｂ平面の原点から離れた位置の端点同士を直線で連結して、無彩色領域と有彩色領域とを区分する境界線とすることも考えられる。またあるいは、色相領域Ｒｊの中心角度方向の無彩色領域規定係数ｒａｄｉｕｓjだけＣｒＣｂ平面の原点から離れた位置の端点と、色相領域Ｒ（ｊ＋１）の中心角度方向の無彩色領域規定係数ｒａｄｉｕｓ(j+1)だけＣｒＣｂ平面の原点から離れた位置の端点と、を通り、ＣｒＣｂ平面の原点を中心とする楕円を用いて、色相領域Ｒｊの上記端点と色相領域Ｒ（ｊ＋１）の上記端点とを結ぶ、等を行うことにより、複数の楕円を各端点で接続した形状の無彩色領域を規定することも考えられる。これらの例に限らず、ＣｒＣｂ平面において無彩色領域と有彩色領域とを区分する境界線を連続させる手段は種々のものを採用することが可能であるが、演算処理の負荷が小さいことが望ましい。

係数算出部２０３は、このようにして算出した各色相領域Ｒｊの無彩色領域規定係数ｒａｄｉｕｓjを、色変換部１１１へ転送する。

次に、図１５は、色変換部１１１の構成の一例を示すブロック図である。

この色変換部１１１は、図８に示す色変換部１１１の構成に、色相算出部３１２を追加した構成になっている。その他の基本的な構成は図８に示した色変換部１１１と同様であるために、主として異なる部分についてのみ説明する。

色空間変換部１１７は、バッファ３００へ接続されている。バッファ３００は、距離算出部３０１と転送部３０３とへ接続されるとともに、さらに、色相算出部３１２へも接続されている。色相算出部３１２は、判定部３０２へ接続されている。制御部１１５は、色相算出部３１２とも双方向に接続されており、これも制御するようになっている。

距離算出部３０１は、バッファ３００に保存されているＹＣｂＣｒ信号を画素単位で読み込んで、ＹＣｂＣｒ信号により示されるＹＣｒＣｂ色空間上の注目画素Ｐ（この注目画素ＰのＹＣｒＣｂ色空間における座標を（Ｙp，Ｃｒp，Ｃｂp）とする。）と、ＹＣｒＣｂ色空間における無彩色軸であるＹ軸との間の距離ｄｉｓｔを、次の数式１６に示すように算出する。
［数１６］

そして、距離算出部３０１は、算出した距離を判定部３０２へ転送する。

一方、色相算出部３１２は、バッファ３００に保存されているＹＣｂＣｒ信号を画素単位で読み込んで、上述した数式１５に基づき、色相信号Ｈを算出する。色相算出部３１２は、算出した色相信号Ｈを判定部３０２へ転送する。

判定部３０２は、色相算出部３１２から転送された各画素の色相信号Ｈに基づいて、各画素の映像信号（注目画素Ｐ）が属する色相領域を判定し、例えば図１４に示すように、注目画素Ｐが属する色相領域Ｒｊ（図１４に示す例では色相領域Ｒ１）の中心角度と、該注目画素Ｐの色相信号（Ｃｒp，Ｃｂp）の角度と、の角度差分θpを算出する。

次に、判定部３０２は、領域規定部１１０を介して得られる注目画素Ｐの映像信号が属する色相領域Ｒｊの無彩色領域規定係数ｒａｄｉｕｓjと、距離算出部３０１から転送された距離ｄｉｓｔにｃｏｓθpを乗算した値とを比較し、この比較結果に応じて、注目画素Ｐが無彩色領域に属するか否かを示すフラグ信号ｆｌａｇを次の数式１７に示すように出力する。
［数１７］

判定部３０２は、このような処理により出力したフラグ信号ｆｌａｇを、転送部３０３へ転送する。

その後は、図８に示したような色変換部１１１と同様の処理を行うことにより、無彩色領域に属するＹＣｂＣｒ信号と有彩色領域に属するＹＣｂＣｒ信号とに対して異なる色変換処理を行う。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、色空間を複数の色相領域に分割して、色相領域毎にノイズ量を推定し、推定したノイズ量に基づき、色相領域毎の無彩色領域を適応的に規定することができる。このために、色相領域に応じて、低彩度の色をより高精度に色変換処理することが可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

［付記］
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。

［付記１］
第１の発明による画像処理装置は、カラー撮像素子から得られた映像信号に対して色変換処理を行う画像処理装置であって、上記カラー撮像素子から得られた信号が属する色空間に関して無彩色領域を適応的に規定する領域規定手段と、上記カラー撮像素子から得られた信号が上記領域規定手段により規定された無彩色領域に属しているか否かを判定する判定手段と、上記判定手段の判定結果に応じて上記信号に対して適応的に色変換処理を行う色変換手段と、を具備したものである。

（対応する発明の実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。領域規定手段は、図１，図３，図１１，図１３に示される領域規定部１１０が、判定手段は、図８，図９，図１５に示される判定部３０２が、色変換手段は、図１，図８，図９，図１１，図１５に示される色変換部１１１が、それぞれ該当する。

この発明の好ましい適用例は、Ａ／Ｄ変換部１０４を介して得られた信号を基に、領域規定部１１０によって上記信号が属する色空間に関して無彩色領域を適応的に規定し、判定部３０２によって上記信号が無彩色領域に属しているか否かを判定し、色変換部１１１により上記判定結果に応じて上記信号に対し適応的に色変換処理を行う画像処理装置である。

（作用）
信号が属する色空間に関して無彩色領域を適応的に規定し、規定された無彩色領域に信号が属しているか否かを判定し、判定結果に応じて信号に対し適応的に色変換処理を行う。

（効果）
信号が無彩色領域に属しているか否かに応じて適応的に色変換処理を行うことにより、高精度な色変換処理が可能となり、高品位な信号を得ることができる。

［付記２］
第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記カラー撮像素子から得られた信号を所定の色空間の信号に変換する色空間変換手段をさらに具備し、上記領域規定手段は、上記色空間変換手段により変換された信号が属する色空間に関して無彩色領域を適応的に規定するものであり、上記判定手段は、上記色空間変換手段により変換された信号が上記領域規定手段により規定された無彩色領域に属しているか否かを判定するものであり、上記色変換手段は、上記判定手段の判定結果に応じて上記色空間変換手段により変換された信号に対して適応的に色変換処理を行うものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態２が対応する。

色空間変換手段は、図１１，図１２に示される色空間変換部１１７が、領域規定手段は、図１１，図１３に示される領域規定部１１０が、判定手段は、図１５に示される判定部３０２が、色変換手段は、図１１，図１５に示される色変換部１１１が、それぞれ該当する。

この発明の好ましい適用例は、Ａ／Ｄ変換部１０４を介して得られた信号を色空間変換部１１７によって所定の色空間の信号に変換し、領域規定部１１０によって上記変換後の信号が属する色空間に関して無彩色領域を適応的に規定し、判定部３０２によって上記変換後の信号が無彩色領域に属しているか否かを判定し、色変換部１１１によって上記判定結果に応じて上記変換後の信号に適応的な色変換処理を行う画像処理装置である。

（作用）
信号を所定の色空間の信号に変換し、所定の色空間に関して無彩色領域を適応的に規定し、規定された無彩色領域に信号が属しているか否かを判定し、判定結果に信号に対し適応的に色変換処理を行う。

（効果）
多様な色空間に応じた高精度な色変換処理を行うことが可能となり、高品位な信号を得ることができる。また、色空間を変換するようにしたために、無彩色領域の規定や色変換処理を容易に行うことが可能となる。

［付記３］
第３の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記色空間変換手段が、ＹＣｂＣｒ色空間と、ＣＩＥ−Ｌａｂ色空間と、ＣＩＥ−Ｌｕｖ色空間と、の内の何れか１つを、上記所定の色空間とするものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態２が対応する。

この発明の好ましい適用例は、信号を、ＹＣｂＣｒ色空間と、ＣＩＥ−Ｌａｂ色空間と、ＣＩＥ−Ｌｕｖ色空間と、の内の何れか１つの色空間に変換する画像処理装置である。

（作用）
信号を、輝度信号と色差信号とが分離した色空間へ変換する。

（効果）
信号を輝度成分と色差成分とに分離するようにしたために、無彩色領域をより高精度に規定することが可能となる。このとき、ＹＣｂＣｒ色空間は変換が容易であるために、高速な処理を行い得るシステムを低コストに構築することができる。また、ＣＩＥ−Ｌａｂ色空間またはＣＩＥ−Ｌｕｖ色空間は、高精度な輝度信号と色信号とを得ることができるために、より適切な精度で色変換処理を行うことが可能となる。

［付記４］
第４の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記信号のノイズ量を推定するノイズ量推定手段をさらに具備し、上記領域規定手段は、上記ノイズ量推定手段から得られたノイズ量に基づき上記無彩色領域を適応的に規定する無彩色領域規定手段を有して構成されたものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。ノイズ量推定手段は、図３，図１３に示されるノイズ算出部２０１が、無彩色領域規定手段は、図１，図３，図１１，図１３に示される領域規定部１１０が、それぞれ該当する。

この発明の好ましい適用例は、ノイズ算出部２０１によって信号中に含まれるノイズ量を推定し、領域規定部１１０によって推定されたノイズ量に基づき無彩色領域を適応的に規定する画像処理装置である。

（作用）
信号中に含まれるノイズ量を推定し、ノイズ量に基づき無彩色領域を適応的に規定する。

（効果）
ノイズ量に応じて無彩色領域を規定しているために、無彩色領域を容易に規定することが可能となる。

［付記５］
第５の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記ノイズ量推定手段が、上記信号が上記カラー撮像素子から得られたときに設定されていたＩＳＯ感度とホワイトバランス係数との少なくとも一方に基づき上記信号のノイズ量を推定するものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。

この発明の好ましい適用例は、信号中に含まれるノイズ量の推定を、信号がカラー撮像素子から得られたときに設定されていたＩＳＯ感度とホワイトバランス係数との少なくとも一方に基づき行う画像処理装置である。

（作用）
ＩＳＯ感度とホワイトバランス係数との少なくとも一方に基づき、信号中に含まれるノイズ量を推定する。

（効果）
ノイズ量を推定する際に、ＩＳＯ感度とホワイトバランス係数との少なくとも一方を用いているために、ノイズ量の推定精度を向上することができる。

［付記６］
第６の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記領域規定手段が、上記無彩色領域を、上記信号が属する色空間において彩度が０となる無彩色軸を中心とする領域として規定するものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。

この発明の好ましい適用例は、信号が属する色空間において彩度が０となる無彩色軸を中心とする領域を無彩色領域として規定する画像処理装置である。

（作用）
信号が属する色空間において、彩度が０となる無彩色軸を中心とする領域を無彩色領域として規定する。

（効果）
無彩色領域の規定が容易になるとともに、高速な処理や、低コストでの実装が可能となる。

［付記７］
第７の発明による画像処理装置は、上記第６の発明による画像処理装置において、上記領域規定手段が、線形な関数に基づき領域規定定数を算出する線形関数手段を有して構成され、該領域規定定数に基づき、上記無彩色軸を中心とする無彩色領域を規定するものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。線形関数手段は、図３，図１３に示される係数算出部２０３が該当する。

この発明の好ましい適用例は、係数算出部２０３によって線形な関数に基づき領域規定定数を算出し、領域規定部１１０によって領域規定定数に基づき無彩色軸を中心とする無彩色領域を規定する画像処理装置である。

（作用）
線形な関数に基づき領域規定定数を算出し、算出した領域規定定数に基づき無彩色軸を中心とする無彩色領域を規定する。

（効果）
関数演算は実装が容易であるために、低コストなシステムを構築することができる。このとき、線形関数を用いることにより、処理を高速に行うことが可能となる。

［付記８］
第８の発明による画像処理装置は、上記第６の発明による画像処理装置において、上記領域規定手段が、非線形な関数に基づき領域規定定数を算出する非線形関数手段を有して構成され、該領域規定定数に基づき、上記無彩色軸を中心とする無彩色領域を規定するものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。非線形関数手段は、図３，図１３に示される係数算出部２０３が該当する。

この発明の好ましい適用例は、係数算出部２０３によって非線形な関数に基づき領域規定定数を算出し、領域規定部１１０によって領域規定定数に基づき無彩色軸を中心とする無彩色領域を規定する画像処理装置である。

（作用）
非線形な関数に基づき領域規定定数を算出し、算出した領域規定定数に基づき無彩色軸を中心とする無彩色領域を規定する。

（効果）
関数演算は実装が容易であるために、低コストなシステムを構築することができる。このとき、非線形関数を用いることにより、無彩色領域をより高精度に規定することが可能となる。

［付記９］
第９の発明による画像処理装置は、上記第４の発明による画像処理装置において、上記領域規定手段が、上記信号が属する色空間を複数の色相領域に分割する色相分割手段をさらに有して構成され、上記無彩色領域規定手段は、上記色相分割手段により分割された複数の色相領域のそれぞれに対して上記ノイズ量推定手段から得られたノイズ量に基づき上記無彩色領域を適応的に規定するものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態２が対応する。色相分割手段は、図１１に示される外部Ｉ／Ｆ部１１６が該当する。

この発明の好ましい適用例は、外部Ｉ／Ｆ部１１６によって信号が属する色空間を複数の色相領域に分割し、領域規定部１１０によって分割された複数の色相領域のそれぞれに対してノイズ量に基づき無彩色領域を適応的に規定する画像処理装置である。

（作用）
分割した複数の色相領域毎に信号中に含まれるノイズ量を推定し、推定したノイズ量に基づいて各色相領域の無彩色領域を適応的に規定する。

（効果）
各々の色相領域に適した無彩色領域を規定することが可能となり、ノイズ成分の増加を抑制したり、色再現の破綻を抑制したりすることが可能となる。

［付記１０］
第１０の発明による画像処理装置は、上記第９の発明による画像処理装置において、上記判定手段が、上記信号の色相情報に基づき該信号が上記色相分割手段により分割された複数の色相領域の内の何れに属するかを判定する色相領域判定手段と、上記無彩色領域規定手段により上記複数の色相領域のそれぞれに対して規定された無彩色領域の内の上記色相領域判定手段により上記信号が属すると判定された色相領域に対する無彩色領域に該信号が属しているか否かを判別する比較判別手段と、を有して構成されたものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態２が対応する。色相領域判定手段および比較判別手段は、図１５に示される判定部３０２が該当する。

この発明の好ましい適用例は、判定部３０２により、信号が複数の色相領域の内の何れに属するかを判定し、さらに、信号が属すると判定された色相領域に対する無彩色領域に信号が属しているか否かを判別する画像処理装置である。

（作用）
信号が属する色相領域を判定し、判定した色相領域に応じて規定された無彩色領域に信号が属しているか否かを判別する。

（効果）
色相領域に応じて無彩色領域に属しているか否かを判定するようにしたために、高精度な判定を容易に行うことが可能となる。

［付記１１］
第１１の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記色変換手段が、上記色変換処理を線形変換により行う線形変換手段を有して構成されたものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。線形変換手段は、図１，図８，図９，図１１，図１５に示される色変換部１１１が該当する。

この発明の好ましい適用例は、色変換部１１１により信号に対して線形変換により色変換処理を行う画像処理装置である。

（作用）
入力信号に対して線形変換により色変換処理を行う。

（効果）
線形変換は実装が容易であるために、高速な処理を行い得るシステムを低コストに構築することが可能となる。

［付記１２］
第１２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記色変換手段が、第１の色変換処理を行う第１の色変換部と、上記第１の色変換処理とは異なる第２の色変換処理を行う第２の色変換部と、を有して構成され、上記判定手段により無彩色領域に属していないと判定された信号に対しては上記第１の色変換部により第１の色変換処理を行い、該判定手段により無彩色領域に属していると判定された信号に対しては上記第２の色変換部により第２の色変換処理を行うことによって、上記適応的な色変換処理を行うものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。第１の色変換部は図８，図９，図１５に示される第１色変換部３０４が、第２の色変換部は図８，図９，図１５に示される第２色変換部３０６が、それぞれ該当する。

この発明の好ましい適用例は、無彩色領域に属していないと判定された信号に対しては第１色変換部３０４により第１の色変換処理を行い、無彩色領域に属していると判定された信号に対しては第２色変換部３０６により第２の色変換処理を行う画像処理装置である。

（作用）
無彩色領域に属していない信号に対しては第１の色変換部により第１の色変換処理を行い、無彩色領域に属している信号に対しては第２の色変換部により第２の色変換処理を行う。

（効果）
信号が無彩色領域に属するか否かに応じて異なる色変換処理を行うようにしたために、適応的な色変換処理が可能となり、色変換処理を高精度に行って高品位な信号を得ることができる。

［付記１３］
第１３の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記第１の色変換部が、上記第１の色変換処理として、上記信号を変化させない処理を行うものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。

この発明の好ましい適用例は、第１色変換部３０４により第１の色変換処理として信号を変化させない処理を行う画像処理装置である。

（作用）
無彩色領域に属する信号に対しては、信号を変化させない処理を行う。

（効果）
無彩色領域の信号に対して、ノイズ成分の増加を防止したり、色再現の破綻を防止したりすることができる。また、信号を変化させない処理であるために、高速な処理を行い得るシステムを低コストに構築することができる。

［付記１４］
第１４の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記第１の色変換部が、上記第１の色変換処理として、上記信号を、該信号が属する色空間における彩度が０となる無彩色軸上に射影する処理を行うものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。

この発明の好ましい適用例は、第１色変換部３０４により第１の色変換処理として信号を無彩色軸上に射影する処理を行う画像処理装置である。

（作用）
無彩色領域に属する信号を無彩色軸上に射影する。

（効果）
無彩色領域の信号に関して、色ノイズを低減することが可能となる。

［付記１５］
第１５の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記色変換手段が、上記第１の色変換部による処理結果と上記第２の色変換部による処理結果とに不連続性が生じることがないように、上記第１の色変換処理と上記第２の色変換処理とを重み付け加算することにより補正された第２の色変換処理を、上記第２の色変換部による第２の色変換処理として行うようにするものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１が対応する。

この発明の好ましい適用例は、第１色変換部３０４による処理結果と第２色変換部３０６による処理結果とに不連続性が生じることがないように、第１の色変換処理と第２の色変換処理とを重み付け加算することにより補正された第２の色変換処理を、第２色変換部３０６による第２の色変換処理として行うようにする画像処理装置である。

（作用）
第１の色変換処理と第２の色変換処理とを重み付け加算することにより補正された第２の色変換処理を、第２の色変換部による第２の色変換処理として行う。

（効果）
第１色変換部３０４による処理結果と第２色変換部３０６による処理結果とに不連続性が生じることがないために、無彩色領域と有彩色領域との境界の色の連続性に破綻を生じさせることがなく、高品位な信号を得ることができる。

［付記１６］
第１６の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記色変換手段が、上記信号と任意の基準点との間の距離に応じた重み係数を用いることにより上記重み付け加算を行うものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１が対応する。

この発明の好ましい適用例は、色変換部１１１により、信号と任意の基準点との間の距離に応じた重み係数を用いて、第１の色変換処理と第２の色変換処理との重み付け加算を行う画像処理装置である。

（作用）
信号と任意の基準点との間の距離に応じた重み係数を用いて、第１の色変換処理と第２の色変換処理との重み付け加算を行う。

（効果）
重み付け加算を信号と任意の基準点との間の距離に応じた重み係数を用いて行うようにしたために、無彩色領域と有彩色領域との境界の連続性を滑らかに保つことができ、より高品位な信号を得ることができる。

［付記１７］
第１７の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記色変換手段が、上記信号と色変換処理後の信号との関係を記録する色変換テーブルと、上記信号に基づき上記色変換テーブルを参照することにより色変換処理後の信号を取得するテーブル演算手段と、を有して構成されたものである。

（対応する実施形態と好ましい適用例）
この発明には実施形態１および実施形態２が対応する。色変換テーブルは、図８，図９，図１５に示される第１係数ＲＯＭ３０５および第２係数ＲＯＭ３０７が、テーブル演算手段は、図８，図９，図１５に示される第１色変換部３０４および第２色変換部３０６が、それぞれ該当する。

この発明の好ましい適用例は、第１係数ＲＯＭ３０５および第２係数ＲＯＭ３０７が色変換テーブルを記録しており、第１色変換部３０４および第２色変換部３０６により、記録されている色変換テーブルを参照して色変換処理後の信号を取得する画像処理装置である。

（作用）
色変換テーブルを用いて色変換処理を行う。

（効果）
色変換テーブルを用いるようにしたために、高精度な色変換処理を行うことが可能となる。

［付記１８］
第１８の発明による画像処理プログラムは、コンピュータに、カラー撮像素子から得られた映像信号に対して色変換処理を行わせるための画像処理プログラムであって、コンピュータに、上記カラー撮像素子から得られた信号が属する色空間に関して無彩色領域を適応的に規定する領域規定ステップと、上記カラー撮像素子から得られた信号が上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定する判定ステップと、上記判定ステップの判定結果に応じて上記信号に対して適応的に色変換処理を行う色変換ステップと、を行わせるためのプログラムである。

（対応する実施形態と好ましい適用例および効果）
第１の発明と同様である。

［付記１９］
第１９の発明による画像処理プログラムは、上記第１８の発明による画像処理プログラムにおいて、コンピュータに、上記カラー撮像素子から得られた信号を所定の色空間の信号に変換する色空間変換ステップをさらに行わせるための画像処理プログラムであって、上記領域規定ステップは、上記色空間変換ステップにより変換された信号が属する色空間に関して、無彩色領域を適応的に規定するステップであり、上記判定ステップは、上記色空間変換ステップにより変換された信号が上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定するステップであり、上記色変換ステップは、上記判定ステップの判定結果に応じて上記色空間変換ステップにより変換された信号に対して適応的に色変換処理を行うステップである。

（対応する実施形態と好ましい適用例および効果）
第２の発明と同様である。

［付記２０］
第２０の発明による画像処理方法は、カラー撮像素子から得られた映像信号に対して色変換処理を行う画像処理方法であって、上記カラー撮像素子から得られた信号が属する色空間に関して無彩色領域を適応的に規定する領域規定ステップと、上記カラー撮像素子から得られた信号が上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定する判定ステップと、上記判定ステップの判定結果に応じて上記信号に対して適応的に色変換処理を行う色変換ステップと、を有する方法である。

（対応する実施形態と好ましい適用例および効果）
第１の発明と同様である。

［付記２１］
第２１の発明による画像処理方法は、上記第２０の発明による画像処理方法において、上記カラー撮像素子から得られた信号を所定の色空間の信号に変換する色空間変換ステップをさらに有し、上記領域規定ステップは、上記色空間変換ステップにより変換された信号が属する色空間に関して無彩色領域を適応的に規定するステップであり、上記判定ステップは、上記色空間変換ステップにより変換された信号が上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定するステップであり、上記色変換ステップは、上記判定ステップの判定結果に応じて上記色空間変換ステップにより変換された信号に対して適応的に色変換処理を行うステップである。

（対応する実施形態と好ましい適用例および効果）
第２の発明と同様である。

本発明は、カラー撮像素子から得られた映像信号に色変換処理を行う画像処理装置、画像処理プログラム、画像処理方法に好適に利用することができる。

本発明の実施形態１における画像処理装置の構成を示すブロック図。 上記実施形態１において、ベイヤー型原色カラーフィルタの構成を示す図。 上記実施形態１における領域規定部の構成の一例を示すブロック図。 上記実施形態１において、ＲＧＢ色空間に設定された無彩色領域の一例を示す図。 上記実施形態１において、ＲＧＢ色空間に設定された無彩色領域の他の例を示す図。 上記実施形態１において、無彩色領域規定係数ｒａｄｉｕｓをノイズ量Ｎに応じて算出するための線形な係数算出関数の例を示す図。 上記実施形態１において、無彩色領域規定係数ｒａｄｉｕｓをノイズ量Ｎに応じて算出するための非線形な係数算出関数の例を示す図。 上記実施形態１における色変換部の構成の一例を示すブロック図。 上記実施形態１における色変換部の構成の他の例を示すブロック図。 上記実施形態１における画像処理プログラムによる色変換処理を示すフローチャート。 本発明の実施形態２における画像処理装置の構成を示すブロック図。 上記実施形態２における色空間変換部の構成の一例を示すブロック図。 上記実施形態２における領域規定部の構成の一例を示すブロック図。 上記実施形態２において、色相領域に応じて規定される無彩色領域の様子を示す図。 上記実施形態２における色変換部の構成の一例を示すブロック図。

符号の説明

１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…ＡＦモータ
１０４…Ａ／Ｄ変換部
１０５…バッファ
１０６…測光評価部
１０７…合焦点検出部
１０８…補間部
１０９…ＷＢ部
１１０…領域規定部（領域規定手段、無彩色領域規定手段）
１１１…色変換部（色変換手段、線形変換手段）
１１２…信号処理部
１１３…圧縮部
１１４…出力部
１１５…制御部
１１６…外部Ｉ／Ｆ部（色相分割手段）
１１７…色空間変換部（色空間変換手段）
２００…平均値算出部
２０１…ノイズ算出部（ノイズ量推定手段）
２０２…ノイズ関数ＲＯＭ
２０３…係数算出部（線形関数手段、非線形関数手段）
２０４…係数算出関数ＲＯＭ
２０５…画像用バッファ
２０６…色相算出部
２０７…色相用バッファ
２０８…ノイズ用バッファ
３００…バッファ
３０１…距離算出部
３０２…判定部（判定手段、色相領域判定手段、比較判別手段）
３０３…転送部
３０４…第１色変換部（第１の色変換部、テーブル演算手段）
３０５…第１係数ＲＯＭ（色変換テーブル）
３０６…第２色変換部（第２の色変換部、テーブル演算手段）
３０７…第２係数ＲＯＭ（色変換テーブル）
３０８…第１画像バッファ
３０９…第２画像バッファ
３１０…合成部
３１１…重み係数算出部
３１２…色相算出部
４００…マトリクス変換部
４０１…バッファ

Claims (21)

1. カラー撮像素子から得られた映像信号に対して色変換処理を行う画像処理装置であって、
   上記カラー撮像素子から得られた信号が属する色空間に関して、無彩色領域を適応的に規定する領域規定手段と、
   上記カラー撮像素子から得られた信号が、上記領域規定手段により規定された無彩色領域に属しているか否かを判定する判定手段と、
   上記判定手段の判定結果に応じて、上記信号に対して適応的に色変換処理を行う色変換手段と、
   を具備したことを特徴とする画像処理装置。
2. 上記カラー撮像素子から得られた信号を所定の色空間の信号に変換する色空間変換手段をさらに具備し、
   上記領域規定手段は、上記色空間変換手段により変換された信号が属する色空間に関して、無彩色領域を適応的に規定するものであり、
   上記判定手段は、上記色空間変換手段により変換された信号が、上記領域規定手段により規定された無彩色領域に属しているか否かを判定するものであり、
   上記色変換手段は、上記判定手段の判定結果に応じて、上記色空間変換手段により変換された信号に対して適応的に色変換処理を行うものであることを特徴とする請求項１に記載の画像処理装置。
3. 上記色空間変換手段は、ＹＣｂＣｒ色空間と、ＣＩＥ−Ｌａｂ色空間と、ＣＩＥ−Ｌｕｖ色空間と、の内の何れか１つを、上記所定の色空間とするものであることを特徴とする請求項２に記載の画像処理装置。
4. 上記信号のノイズ量を推定するノイズ量推定手段をさらに具備し、
   上記領域規定手段は、上記ノイズ量推定手段から得られたノイズ量に基づき、上記無彩色領域を適応的に規定する無彩色領域規定手段を有して構成されたものであることを特徴とする請求項１に記載の画像処理装置。
5. 上記ノイズ量推定手段は、上記信号が上記カラー撮像素子から得られたときに設定されていたＩＳＯ感度とホワイトバランス係数との少なくとも一方に基づき、上記信号のノイズ量を推定するものであることを特徴とする請求項４に記載の画像処理装置。
6. 上記領域規定手段は、上記無彩色領域を、上記信号が属する色空間において彩度が０となる無彩色軸を中心とする領域として規定するものであることを特徴とする請求項１に記載の画像処理装置。
7. 上記領域規定手段は、線形な関数に基づき領域規定定数を算出する線形関数手段を有して構成され、該領域規定定数に基づき、上記無彩色軸を中心とする無彩色領域を規定するものであることを特徴とする請求項６に記載の画像処理装置。
8. 上記領域規定手段は、非線形な関数に基づき領域規定定数を算出する非線形関数手段を有して構成され、該領域規定定数に基づき、上記無彩色軸を中心とする無彩色領域を規定するものであることを特徴とする請求項６に記載の画像処理装置。
9. 上記領域規定手段は、上記信号が属する色空間を複数の色相領域に分割する色相分割手段をさらに有して構成され、
   上記無彩色領域規定手段は、上記色相分割手段により分割された複数の色相領域のそれぞれに対して、上記ノイズ量推定手段から得られたノイズ量に基づき、上記無彩色領域を適応的に規定するものであることを特徴とする請求項４に記載の画像処理装置。
10. 上記判定手段は、
    上記信号の色相情報に基づき、該信号が上記色相分割手段により分割された複数の色相領域の内の何れに属するかを判定する色相領域判定手段と、
    上記無彩色領域規定手段により上記複数の色相領域のそれぞれに対して規定された無彩色領域の内の、上記色相領域判定手段により上記信号が属すると判定された色相領域に対する無彩色領域に、該信号が属しているか否かを判別する比較判別手段と、
    を有して構成されたものであることを特徴とする請求項９に記載の画像処理装置。
11. 上記色変換手段は、上記色変換処理を線形変換により行う線形変換手段を有して構成されたものであることを特徴とする請求項１に記載の画像処理装置。
12. 上記色変換手段は、
    第１の色変換処理を行う第１の色変換部と、
    上記第１の色変換処理とは異なる第２の色変換処理を行う第２の色変換部と、
    を有して構成され、上記判定手段により無彩色領域に属していないと判定された信号に対しては上記第１の色変換部により第１の色変換処理を行い、該判定手段により無彩色領域に属していると判定された信号に対しては上記第２の色変換部により第２の色変換処理を行うことによって、上記適応的な色変換処理を行うものであることを特徴とする請求項１に記載の画像処理装置。
13. 上記第１の色変換部は、上記第１の色変換処理として、上記信号を変化させない処理を行うものであることを特徴とする請求項１２に記載の画像処理装置。
14. 上記第１の色変換部は、上記第１の色変換処理として、上記信号を、該信号が属する色空間における彩度が０となる無彩色軸上に射影する処理を行うものであることを特徴とする請求項１２に記載の画像処理装置。
15. 上記色変換手段は、上記第１の色変換部による処理結果と上記第２の色変換部による処理結果とに不連続性が生じることがないように、上記第１の色変換処理と上記第２の色変換処理とを重み付け加算することにより補正された第２の色変換処理を、上記第２の色変換部による第２の色変換処理として行うようにするものであることを特徴とする請求項１２に記載の画像処理装置。
16. 上記色変換手段は、上記信号と任意の基準点との間の距離に応じた重み係数を用いることにより、上記重み付け加算を行うものであることを特徴とする請求項１５に記載の画像処理装置。
17. 上記色変換手段は、
    上記信号と色変換処理後の信号との関係を記録する色変換テーブルと、
    上記信号に基づき上記色変換テーブルを参照することにより色変換処理後の信号を取得するテーブル演算手段と、
    を有して構成されたものであることを特徴とする請求項１に記載の画像処理装置。
18. コンピュータに、カラー撮像素子から得られた映像信号に対して色変換処理を行わせるための画像処理プログラムであって、コンピュータに、
    上記カラー撮像素子から得られた信号が属する色空間に関して、無彩色領域を適応的に規定する領域規定ステップと、
    上記カラー撮像素子から得られた信号が、上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定する判定ステップと、
    上記判定ステップの判定結果に応じて、上記信号に対して適応的に色変換処理を行う色変換ステップと、
    を行わせるための画像処理プログラム。
19. コンピュータに、上記カラー撮像素子から得られた信号を所定の色空間の信号に変換する色空間変換ステップをさらに行わせるための画像処理プログラムであって、
    上記領域規定ステップは、上記色空間変換ステップにより変換された信号が属する色空間に関して、無彩色領域を適応的に規定するステップであり、
    上記判定ステップは、上記色空間変換ステップにより変換された信号が、上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定するステップであり、
    上記色変換ステップは、上記判定ステップの判定結果に応じて、上記色空間変換ステップにより変換された信号に対して適応的に色変換処理を行うステップであることを特徴とする請求項１８に記載の画像処理プログラム。
20. カラー撮像素子から得られた映像信号に対して色変換処理を行う画像処理方法であって、
    上記カラー撮像素子から得られた信号が属する色空間に関して、無彩色領域を適応的に規定する領域規定ステップと、
    上記カラー撮像素子から得られた信号が、上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定する判定ステップと、
    上記判定ステップの判定結果に応じて、上記信号に対して適応的に色変換処理を行う色変換ステップと、
    を有することを特徴とする画像処理方法。
21. 上記カラー撮像素子から得られた信号を所定の色空間の信号に変換する色空間変換ステップをさらに有し、
    上記領域規定ステップは、上記色空間変換ステップにより変換された信号が属する色空間に関して、無彩色領域を適応的に規定するステップであり、
    上記判定ステップは、上記色空間変換ステップにより変換された信号が、上記領域規定ステップにより規定された無彩色領域に属しているか否かを判定するステップであり、
    上記色変換ステップは、上記判定ステップの判定結果に応じて、上記色空間変換ステップにより変換された信号に対して適応的に色変換処理を行うステップであることを特徴とする請求項２０に記載の画像処理方法。

Images