JP2009272746A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】 ダイナミックレンジが拡張された撮像素子を用いて得られた画像に対してノイズ増幅特性が大きく異なる複数の階調変換を行う場合に、ノイズが大きく増幅される。
【解決手段】画像処理装置は、光学像を電気信号に変換する撮像素子１１３を用いて得られた信号に対して階調変換を行う。該画像処理装置は、階調変換特性を選択する階調変換特性選択部１１９と、階調変換特性選択部により選択された階調変換特性によるノイズ増幅作用を抑制する色変換処理を選択する色変換処理選択部１２１と、撮像素子の出力信号に対して、色変換処理選択部により選択された色変換処理を行って色信号を生成する色信号生成部１２２と、色信号生成部により生成された色信号に対して、階調変換特性選択部により選択された階調変換特性による階調変換を行う階調変換部１２４とを有する。
【選択図】図２

Description

本発明は、撮像素子からの出力信号に対して階調変換を行う画像処理技術に関する。

撮像素子を用いたデジタルスチルカメラにおいて、撮像素子のダイナミックレンジを拡張する方法として、特許文献１〜６に開示された方法がある。

特許文献１，２には、同色で透過率が異なる複数のカラーフィルタを用い、該複数のカラーフィルタの透過率差を利用する方法が開示されている。撮像素子への入射光の強度が弱い場合には、透過率の高いカラーフィルタを通した撮像素子の受光値を用い、入射光の強度が強い場合には、透過率の低いカラーフィルタを通した撮像素子の受光値（又は両者の加算値）を用いる。

特許文献３には、原色フィルタと補色フィルタを使用し、入射光の強度の強弱に対応させて、原色フィルタ及び補色フィルタにより形成される２つの像を切り替える方式が開示されている。

特許文献４には、補色系のカラーフィルタを用い、同色の透過率を指数関数的に４段階に減衰させることで、急激な輝度変化を抑える方法が開示されている。

特許文献５には、撮像素子の開口サイズを変えることで該撮像素子の受光感度を制御できる特性を利用し、複数の開口形状を用いてダイナミックレンジを拡張する方法が開示されている。

特許文献６には、同一の受光部あるいは近傍の受光部における電荷蓄積時間を変化させて受光感度を制御できる特性を利用した方法が開示されている。

一方、ダイナミックレンジの拡張によってノイズが増幅される問題が知られている。透過率の異なるカラーフィルタを用いてダイナミックレンジを拡張する場合を例として説明する。入射光の強度がやや強い場合（透過率の高いカラーフィルタを通した受光値が飽和し、透過率の低いカラーフィルタを通した受光値が小さい場合）は、透過率の低いカラーフィルタを通した受光値を用いて出力信号を生成しなければならない。

受光値のＳ／Ｎ比は、光電変換に寄与する光子数の平方根に比例することが知られており（これを光ショットノイズの影響という）、光子数が多いほどＳ／Ｎ比が増加する。その結果、透過率の低いカラーフィルタを通した受光値は、透過率が高いカラーフィルタを通した受光値に比べてＳ／Ｎ比が低くなり、ノイズの多い出力信号が生成される。

このようなダイナミックレンジの拡張により増幅されるノイズを抑制する方法が特許文献７，８に開示されている。特許文献７にて開示された方法では、電荷蓄積量の多い信号と少ない信号を、それぞれ異なる周波数強調処理を施した上で合成し、電荷蓄積量の少ない信号に混入するノイズを抑制する。また、特許文献８にて開示された方法では、Ｒ，Ｇ，Ｂの原色系のカラーフィルタとＣｙ，Ｙｅの補色系カラーフィルタを用い、中及び低輝度域では上記５色の全てから色信号を生成することでノイズを抑制する。
特開２０００−０６９４９１号公報 特開２０００−２５３４１２号公報 特開２０００−３１５７８４号公報 特開２００３−１７９８１９号公報 特開２００５−２８６１０４号公報 特開２００６−０１４１１７号公報 特開２００１−３５２４８６号公報 特開２００６−２１１４７８号公報

撮像素子のダイナミックレンジを拡張して取得した画像情報には、通常、表示系の輝度範囲に合うように階調変換が行われる。被写体の輝度域は１：１０^４と広い範囲に及ぶのに比べて、表示系の輝度域は広くても１：１０^３程度であるため、階調を圧縮する必要がある。

図１（ａ）には、階調変換特性を表わす調子再現曲線の例として曲線１０１，１０２及び１０３を示す。横軸は被写体面上での照度の対数を表し、縦軸は変換後に得られる表示輝度の対数を表わす。デジタルカメラで用いられる調子再現曲線は、実際は完全な直線ではないが、ここでは分かりやすいように直線で表わしている。

被写体の輝度範囲を全て視覚化する場合には、調子再現曲線１０２に近い特性を用いて入射光強度の全範囲を表示輝度に変換する。この変換は、入射光強度に対して強いγを掛けることと同じであるため、彩度を低下させる欠点を持つ。視覚的に好ましい像を得るには、調子再現曲線１０１，１０３のように、一部の入射光強度範囲が表示輝度範囲に変換される曲線を用いる必要がある。

調子再現曲線１０１〜１０３のように、異なる階調変換特性を選択して画像に適用する場合、ノイズの増幅特性の違いが問題となる。ノイズ増幅特性の違いを図１（ｂ）を用いて説明する。

図１（ｂ）に示す曲線１０４，１０５及び１０６は、調子再現曲線１０１，１０２及び１０３の座標軸を実数に変換して得られる曲線である。座標軸が実数であるので、曲線１０４〜１０６は、被写体面と表示面での明るさの関係を直接表現していると考えてよい。

被写体照度が８００ｌｘの場合に相当する入射光は、曲線１０４により、表示輝度１３０ｃｄ／ｍ^２付近の表示輝度に変換され、曲線１０５により約１３ｃｄ／ｍ^２に変換される。図から分かるように、被写体照度８００ｌｘ付近において、標準偏差がδ／２の照度揺らぎが生じた場合、曲線１０４，１０５により、照度揺らぎが大きく異なる（標準偏差がθ_１／２，θ_２／２の）ノイズに変換される。このように、調子再現曲線によってノイズの増幅量が異なる。

ダイナミックレンジを拡張していない撮像装置においても、階調変換によりソフトウェア的に露光量補正を行うときには、ノイズの増幅の違いが問題となる場合がある。

上記特許文献７，８には、ダイナミックレンジを拡大した撮像装置におけるノイズ抑制方法が記載されているが、階調変換によるノイズ増幅効果が考慮されていないため、充分な抑制効果が得られない場合がある。

本発明は、ダイナミックレンジを拡張した撮像素子を用いて得られた画像の階調変換を行う場合に、ノイズが増幅されにくい画像処理装置、撮像装置、及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、光学像を電気信号に変換する撮像素子を用いて得られた信号に対して階調変換を行う。該画像処理装置は、階調変換特性を選択する階調変換特性選択部と、階調変換特性選択部により選択された階調変換特性によるノイズ増幅作用を抑制する色変換処理を選択する色変換処理選択部と、撮像素子の出力信号に対して、色変換処理選択部により選択された色変換処理を行って色信号を生成する色信号生成部と、色信号生成部により生成された色信号に対して、階調変換特性選択部により選択された階調変換特性による階調変換を行う階調変換部とを有することを特徴とする。

なお、上記画像処理装置を備えた撮像装置も、本発明の他の一側面を構成する。

また、本発明のさらに他の一側面としての画像処理方法は、光学像を電気信号に変換する撮像素子を用いて得られた信号に対して階調変換を行う。該方法は、階調変換特性を選択する階調変換特性選択ステップと、階調変換特性選択ステップで選択された階調変換特性によるノイズ増幅作用を抑制する色変換処理を選択する色変換処理選択ステップと、撮像素子の出力信号に対して、色変換処理選択ステップで選択された色変換処理を行って色信号を生成する色信号生成ステップと、色信号生成ステップで生成された色信号に対して、階調変換特性選択ステップで選択された階調変換特性による階調変換を行う階調変換ステップとを有することを特徴とする。

本発明によれば、ダイナミックレンジが拡張された撮像素子を用いて得られた信号（画像）に対して階調変換を行う場合でも、階調変換によるノイズ増幅作用を抑制することで、ノイズが増幅されにくい画像処理装置及び撮像装置を実現することができる。

以下、本発明の実施例について図面を参照しながら説明する。

図２には、本発明の実施例１である画像処理装置を含む撮像装置の概略構成を示している。

不図示の被写体からの光束は、レンズ系１１１によって集光される。該光束は、低域通過フィルタ１１２によって高周波成分が抑制された後、画素（受光素子）ごとにカラーフィルタと集光用マイクロレンズアレイを備えた単板式のイメージセンサ（撮像素子）１１３上に光学像を形成する。

イメージセンサ１１３におけるカラーフィルタの配列としては、図３に示す補色系配列（Ｃｙ，Ｍｇ，Ｙｅ）と、補色系配列の最大透過率を１に正規化したときに最大透過率が０．５以下の原色系配列（ＤＲ，ＤＧ，ＤＢ）とを組み合わせた配列が用いられる。言い換えれば、イメージセンサ１１３は、波長に対して均一な分光強度分布を有する白色光が入射したときに電荷蓄積量が２倍以上異なる複数の画素を含む。カラーフィルタ配列は、図３に示すものに限らず、透過率が高いフィルタと低いフィルタの組み合せであって、各々のフィルタが備えられた受光素子間での電荷蓄積量に２倍以上の差があればよい。

イメージセンサ１１３上に形成された光学像は、該イメージセンサ１１３によって電気信号に変換（光電変換）される。光電変換の際に、リードノイズや光ショットノイズ等のノイズがイメージセンサ１１３の出力信号に加えられる。

イメージセンサ１１３の出力信号は、Ａ／Ｄ変換処理部１１４により濃度量子化され、受光値（画素値ともいう）としてメインメモリ１１５に保持される。受光値は、電荷蓄積量に対応する（例えば、比例する）値である。これ以後、後述する各処理部における情報（又は信号）の送受信は、システムバス１１６を通して行われる。送受信状態の制御は、コントローラ１１７により行われる。

補間処理部１１８は、受光値に対して補間処理を実行する。補間処理は、各画素位置に対して、各カラーフィルタに対応する受光値を推定できれば任意の処理方法で実行することができるが、本実施例では、図４に示す処理方法を用いる。

図４においては、まず、図３に示すカラーフィルタ配列における受光値分布を、補色系カラーフィルタと該補色系カラーフィルタよりも透過率が低い原色系カラーフィルタとにそれぞれ対応する２つの受光値分布に分割する。該２つの受光値分布に対応するカラーフィルタを、図５（ａ）に示す。右側の図が補色系カラーフィルタを、左側の図が原色系カラーフィルタを示す。

次に、補間処理部１１８は、補色系カラーフィルタに対応する受光値分布において値がない領域に対し、補間処理を行う。この補間処理は、値がない領域の近傍に位置する値を有する複数の画素を含むブロックでの平均受光値とする。

次に、補間処理部１１８は、原色系カラーフィルタに対応する受光値分布に対しても、同様の補間処理を行う。補間処理の結果として得られる２つの受光値分布のそれぞれに対応するカラーフィルタ配列は、図５（ｂ）に示すように、通常の単板式イメージセンサで用いられる補色系及び原色系のカラーフィルタ配列となる。

次に、補間処理部１１８は、各画素において取得できていない色（例えば、Ｃｙフィルタに対応する画素では、Ｍｇ，Ｙｅ）の受光値を補間処理により求める。このようして最終的に得られた２つの受光値分布を組み合わせることで、各画素に対して全カラーフィルタに対応する受光値分布が得られる。補間処理部１１８で得られた受光値分布は、メインメモリ１１５に格納される。

さらに、補間処理部１１８は、メインメモリ１１５に格納された受光値分布を走査して、各画素に対応する受光値の集合（補間処理により生成された色ごとの信号値の集合）を取得し、順番に階調変換特性選択部１１９に送信する。受光値分布を走査する様子を図６に示す。

受光値分布は、各カラーフィルタに対する受光値がマトリクス状に配置された面により構成される。画素（ｉ，ｊ）における受光値集合は、各面の要素で構成されるベクトルであり、以下のように示される。

(s⁽¹⁾ _i,j, s⁽²⁾ _i,j, s⁽³⁾ _i,j, s⁽⁴⁾ _i,j, s⁽⁵⁾ _i,j, s⁽⁶⁾ _i,j)
画素（１，１）から画素（ｎ，ｍ）まで走査して、対応する受光値集合を順番に階調変換特性選択部１１９に送信する。

以下、本実施例の画像処理装置を構成する階調変換特性選択部１１９、色変換処理選択部１２１、領域検出部１２０、色信号生成部１２２及び階調変換部１２４について説明する。なお、画像処理装置は、上記各部に対応する階調変換特性選択ステップ、色変換処理選択ステップ、領域検出ステップ、色信号生成ステップ及び階調変換部ステップをコンピュータプログラムに従って実行する画像処理方法を実施する装置としても構成できる。

階調変換特性選択部１１９は、送信されてきた受光値（集合）の輝度成分のヒストグラムを求め、輝度成分ごとの画素の出現頻度の高さに応じて、受光値に対して適用する階調変換特性を示す階調変換識別コードを選択（生成）する。受光値の輝度成分の計算方法は、入射光強度と相関があるのであれば任意に選択でき、複数の方法を用いてもよい。本実施例では、式１のように、透過率の高いカラーフィルタＣｙ，Ｍｇ，Ｙｅに対する受光値の線形結合Ｔ_１と、透過率の低いカラーフィルタＤＲ，ＤＧ，ＤＢの線形結合Ｔ_２を輝度成分とする。

ただし、式１では、カラーフィルタの色記号（ＤＲ，ＤＧ等）を各色に対応する受光値を表記するために用いている。

ヒストグラムは、上記輝度成分Ｔ_１，Ｔ_２がとり得る数値範囲を対数で記述し、該数値範囲を等分割して得られる各区間内に収まる画素の出現頻度を調べることで計算できる。

図７（ａ），（ｂ）に上記輝度成分Ｔ_１，Ｔ_２に関するヒストグラムの例を示す。輝度成分Ｔ_１に関連しているカラーフィルタは補色系であるので、透過率が高い。一方、輝度成分Ｔ_２に関連するカラーフィルタは透過率が低い。このため、強度範囲が広い入射光を撮影すると、輝度成分Ｔ_１に関するヒストグラムには飽和する輝度Ｓにおいてピークが出現し、輝度Ｔ_２に関するヒストグラムには輝度０の近辺でピークが出現する。

階調変換識別コードは、ヒストグラムの特徴値に対応付けられて、階調変換特性選択部１１９内のバッファにテーブル（以下、階調変換識別コードテーブルという）として保持されている。特徴値として、各ヒストグラムにおいて画素の出現頻度が高い輝度範囲の上限値及び下限値を用いる。特徴値の算出方法について以下に説明する。

ヒストグラムをｙ＝ｆ（ｚ）（ｚは輝度成分Ｔ_１又はＴ_２の対数であり、ｙは輝度成分ごとの画素の出現頻度であり、連続関数で表記している）とする。このとき、式２に示すような輝度領域の端から積分して、出現頻度の総和で正規化した分布ｇを生成する。

ただし、ｘ_ｍｉｎは対数輝度の下限値を示す。特徴値は、式３を満たす最大の対数輝度ａと、式４を満たす最小の対数輝度ｂとする。

ここで、ｔ_１は表示時に表示輝度を０にする画素数の割合であり、ｔ_２は表示時に表示輝度を飽和させる画素数の割合であり、それぞれ任意に決められる。例えば、全画素の５％の画素の輝度が０になるのを許容する場合には、ｔ_１を０．０５とする。

上記特徴値と階調変換識別コードの対応関係、及び階調変換識別コードテーブルの作成手順の例を説明する。輝度成分Ｔ_１，Ｔ_２と入射光強度のと関係は、ダイナミックレンジ内にある場合にはほぼ比例関係となる。このため、両者は、図８に示すような２つの直線の関係で表わされる。

ここでは、輝度成分Ｔ_１，Ｔ_２に関するヒストグラム（図７（ａ），（ｂ））に対し、特徴値（ａ_１，ｂ_１），（ａ_２，ｂ_２）が得られる状況を考える。図８に示すように、入射光強度と輝度との関係から、特徴値（ａ_１，ｂ_１），（ａ_２，ｂ_２）で区切られる輝度領域ｘ_１，ｘ_２はそれぞれ、入射光強度領域ｙ_１，ｙ_２に対応する。このため、真の入射光強度領域（入射光の強度範囲）は、入射光強度領域ｙ_１，ｙ_２で覆われる入射光強度領域ｙ_３であると推定できる。

入射光強度領域が輝度成分Ｔ_１，Ｔ_２で対応可能な領域のうちどちらか一方にのみに分布している場合には、該一方の入射光強度領域（ｙ_１又はｙ_２）を推定結果としてもよい。

階調変換識別コードテーブルを作成する際には、特徴値に関連付けられる対象として、互いに異なる入射光領域に対応する複数の階調変換と階調変換識別コードとを準備する。

例えば、図１に示す調子再現曲線（階調変換特性）１０１〜１０３に基づいた階調変換を検討対象とするときには、識別コードとしてそれぞれに番号１〜３を割り当てる。既に特徴値（ａ_１，ｂ_１），（ａ_２，ｂ_２）に対応する入射光強度領域ｙ_３が得られているため、入射光強度領域がｙ_３に近い階調変換と、これに付属する階調変換識別コードとを選択することができる。

このようにして特徴値と階調変換識別コードとの対応関係を得ることが可能であるため、可能性のある特徴値と階調変換識別コードの組を事前に調べ、階調変換識別コードテーブルを作成することができる。

各画素に対する受光値集合は、領域検出部１２０に順次送信され、階調変換識別コードは、色変換処理選択部１２１に送信される。

領域検出部１２０は、受光値が飽和領域、有効領域及びノイズ領域のいずれにあるかを判定する。判定基準等は任意に決められる。本実施例では、図９に示すように、Ａ以上の強度を飽和領域とし、Ａ〜Ｂの強度を有効領域として区分する。また、Ｂ未満の強度をノイズ領域として区分する。

領域検出部１２０での判定結果は、ビット列（以下、カラーフィルタ識別コードという）としてまとめた後に、色変換処理選択部１２１に順次送信される。また、受光値集合は、カラーフィルタ識別コードの生成後に、色信号生成部１２２に送信される。以下、カラーフィルタ識別コードの生成方法について説明する。

本実施例におけるカラーフィルタは、全部で６種類である。これに対し、受光値（イメージセンサ１１３の出力信号の値）の状態は、飽和領域、有効領域及びノイズ領域の３つであるため、該状態を表わすために２ビット必要である。このため、カラーフィルタごとに２ビットを割り当てることで、カラーフィルタ識別コードの長さは１２ビットとなる。

図９に示すように、Ｃｙ，Ｙｅ，ＤＲ，ＤＢフィルタに対する受光値が有効領域にあり、ＤＧフィルタに対する受光値がノイズ領域にあり、Ｍｇフィルタに対する受光値が飽和領域にある場合のカラーフィルタ識別コードは、以下のようになる。Ｃｙ，Ｙｅ，ＤＲ，ＤＢフィルタに対する２ビットを０１とし、ＤＧフィルタに対する２ビットを１０とし、Ｍｇフィルタに対する２ビットを００とする。これにより、カラーフィルタ識別コードは、（０１０００１０１１００１）となる。

色変換処理選択部１２１は、階調変換識別コードとカラーフィルタ識別コードとに基づいて、色変換マトリクス識別コードを選択し、色信号生成部１２２に送信する。色変換マトリクス識別コードの選択は、階調変換識別コードとカラーフィルタ識別コードを入力とした色変換情報テーブル１２３により行う。

この色変換情報テーブル１２３を作成するには、階調変換のノイズ増幅特性に応じて、ノイズ増幅作用が抑制されるカラーマトリクス（色変換処理）を生成し、階調変換識別コードとカラーマトリクスを対応付ける必要がある。カラーマトリクスの生成例として、一般逆行列を用いた逆問題の解法を用いる方法を以下に示す。一般逆行列を用いた逆問題の解法については、以下の文献に詳細が説明されている。ここでは、概略のみを説明する。

W.Menke, Geophysical data analysis: discrete inverse theory, Academic Press (1989)
一般逆行列により解ける問題は、式５で示される線形方程式によって表現できる。

ただし、ｍは未知のモデルパラメータを表わすＭ次元ベクトルであり、ｄは観測値を表わすＮ次元ベクトルである。Ｇはデータ核と呼ばれるＮ×Ｍ行列である。観測値ｄとデータ核Ｇが既知の場合に、モデルパラメータｍを推定できる。

モデルパラメータｍの推定結果ｍ_ｅｓｔは、式６により与えられる。

ただし、Ｇ^−ｇはデータ核Ｇの一般逆行列である。一般逆行列には、式７で表わされる予測誤差ベクトルｅの各要素ｅ_ｉの二乗和Ｅを最小にする性質がある。

また、観測値ベクトルｄとデータ核Ｇを式８で示すように座標変換してから、推定結果ｍ_ｅｓｔを求めることで、予測誤差の性質を変えることが可能である。

ただし、Λは長さＮの重みベクトルｗを対角成分とした対角行列である。予測誤差の二乗和Ｅ′は式９で表わされるような重み付き二乗和となる。

ただし、ｗ_ｉは重みベクトルｗの要素を示す。ここまでが一般逆行列の概略説明である。

カラーチャートを撮影して得られる受光値と、その理想値と、カラーマトリクスとの関係は以下の式１０で表わされる。

ただし、ＱはＳ個の理想値ベクトルｑ_ｉを列ベクトルとした行列（理想値行列）であり、ＰはＳ個の受光値ベクトルｐ_ｉを列ベクトルとした行列（受光値行列）である。Ｋはカラーマトリクスである。

理想値ベクトルＱは、カラーチャートの一色を理想的な系で撮影して得られる受光値を要素としたベクトルである。例えば、イメージセンサの分光感度を等色関数とし、撮像素子の飽和電荷蓄積量を実際よりも増加させた理想的な撮像系から得られる受光値（ＸＹＺ表色系の三刺激値に相当）を要素とする３次元ベクトルを用いることができる。イメージセンサ出力で想定している色再現範囲が狭い場合や、イメージセンサの内部処理に忠実に合わせたい場合には、目的に合った別の表色系における数値を理想値ベクトル要素とする。

また、受光値ベクトルＰは、カラーチャートの一色を実際の撮像系で撮影して得られる受光値を要素とするベクトルである。本実施例では、事前に複数のカラーチャートに対し、被写体照度を変化させて撮影したときの受光値を計算により求め、補間により得られた画素ごとの受光値集合のうち、有効領域にある数値を要素とする。該受光値計算では、ショットノイズ等のノイズを加えて現実に近い受光値を求める必要がある。

カラーマトリクスＫは、理想値ベクトル長がＵで、受光値ベクトル長がＶであるとき、Ｕ×Ｖ行列となる。

式５で表わされる方程式に、式１０を当てはめるには、以下のように行列を転置する。

式１１では、行列Ｐ^Ｔがデータ核Ｇに、行列Ｋ^Ｔの列ベクトルがモデルパラメータベクトルｍに、行列Ｑ^Ｔの列ベクトルが観測値ベクトルｄにそれぞれ相当する。

さらに、式８を応用して、階調変換によるノイズ増幅特性に応じた重みベクトルを用いて、予測誤差を制御する。上記重みベクトルの決定手順を図１０を用いて説明する。

図１０には、対象とする調子再現曲線（ただし、ｘ，ｙ軸は実数とする）を示す。まず、色票に対する理想出力値から、図１０に示す調子再現曲線のｘ軸に対応する入射光強度を推定する。理想出力値として、ｘｙｚ表色系の三刺激値を用いる場合には、輝度成分に相当する刺激値ｙが入射光強度に比例するとして入射光強度を推定すればよい。図１０には、色票からの反射光Ａ，Ｂに対する推定入射光強度ｉ_Ａ，ｉ_Ｂと、変換後の表示輝度ｂ_Ａ，ｂ_Ｂを示している。

次に、推定入射光強度に対するノイズ増幅量を計算する。ここで、ノイズ増幅量は、調子再現曲線上の点での傾きとなる。図１０に示す調子再現曲線で言えば、点（ｉ_Ａ，ｂ_Ａ）での傾きｋ_Ａがノイズ増幅量に相当する。

重みベクトル要素ｗ_ｉを以下のように設定する。

ただし、ｍは上記理想値行列に組み込む理想出力値に対応する傾きの平均値を表し、ｋ_ｉは対象とする理想出力値（全体の中のｉ番目の理想出力値）に対する傾きを表わす。重みｗ_ｉは、平均値が１になるように正規化されたノイズ増幅量であると言える。

図１０に示す例において、反射光Ａ，Ｂのみを扱うとき、重みベクトルは以下のようになる。

重みベクトルを用いて一般逆行列を計算した場合、最小化される予測誤差の総和は式９で表わされる。二乗和を最小化するため、上記総和内の各項（ｗ_ｉｅ_ｉ）^２がほぼ同程度に小さくなると考えてよい。このため、重みベクトルｗ_ｉが大きい場合には、各予測誤差ｅ_ｉはｗ_ｉに反比例して小さく抑えられ、ｗ_ｉが小さい場合には逆になる。重みベクトルの要素はノイズの相対的増幅量であるので、ノイズの増幅量が大きい場合には、予測誤差は反比例して小さく抑えられ、増幅量が小さい場合には逆になる。

このように得られた重みベクトルｗを用いて、式８に示す座標変換を式１１に示す方程式に適用する。こうして最終的に、カラーマトリクスＫの係数が決定され、行列を用いた演算としての色変換処理が可能となる。

色信号生成部１２２では、色変換情報テーブル１２３を用いてカラーフィルタ識別コードに対応するカラーマトリクスを検索（選択）して、受光値のうち有効領域の信号値に対する色変換処理を実行し、色信号を生成する。色信号生成部１２２により生成された色信号と、上記階調変換識別コードは、階調変換部１２４に送信される。

階調変換部１２４では、階調変換情報テーブル１２５を用いて階調変換識別コードに対応する調子再現曲線を検索（選択）し、色信号に対して階調変換を実行する。

階調変換部１２４での変換後の色信号は出力部１２６に送信される。出力部１２６は、入力された色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。

本実施例によれば、複数の階調変換を行う場合であって各階調変換によるノイズ増幅特性が異なる場合に、ノイズ増幅作用を抑制してノイズ増幅量を低減することができる。

次に、本発明の実施例２である画像処理装置を含む撮像装置について説明する。実施例１では、複数の調子再現曲線を事前に準備し、受光値のヒストグラムに従って１つの調子再現曲線を選択したが、本実施例では、対象となるイメージセンサとは別に階調測定器２１７を用いて正確な階調を測定する。階調測定器２１７の実装方法は任意であるが、本実施例では、画素数の少ない小型でダイナミックレンジが広いセンサを用いる。図１１には、本実施例の撮像装置の概略構成を示している。

被写体からの光束がイメージセンサ２０３上に光学像を形成するまでは、実施例１の撮像装置と同じである。

本実施例では、図１２に示すように、原色系カラーフィルタＲ，Ｇ，Ｂと、通常よりも透過率が高い原色系カラーフィルタＬＧとにより構成されるカラーフィルタ配列を用いる。このようなカラーフィルタ配列を用いることで、実施例１と比較して、カラーフィルタ数が減り、同色のサンプル点数が増えるため、空間解像力が向上する。

光学像がイメージセンサ２０３で電気信号に変換され、イメージセンサ２０３からの出力信号がＡ／Ｄ変換部２０４及びメインメモリ２０５を介して、受光値として補間処理部２０８に送信されるまでの処理も実施例１の撮像装置と同じである。

補間処理部２０８では、イメージセンサ２０３の画素（受光素子）が保持しているカラーフィルタ以外のカラーフィルタの受光値を補間処理によって推定し、受光値分布を生成する。補間処理方法は任意であるが、本実施例では、補間対象の画素の受光値を、該画素に最も近い同色の画素値（受光値）を用いて補間することで推定する方法を採用する。補間処理の結果、各画素（受光素子）に対して、Ｒ，Ｇ，Ｂ，ＬＧの４色のカラーフィルタに対する数値を備えた画像データが生成される。

補間処理部２０８で得られた受光値分布を走査して、各画素に対応する受光値集合を取得し、順番に色信号生成部２１２に送信する。

一方、上述した画像取得過程とは独立に、階調測定器２１７で得られた光学像を光電変換して階調変換特性選択部２０９に送信し、該光電変換像に基づいて階調変換識別コードを選択する。階調測定器２１７の光学系は、イメージセンサ２０３に結像する被写体領域とほぼ同じ領域の光学像を形成するように調整されている。

なお、図１１では、階調測定器２１７の光学系が撮像系を構成するレンズ系２０１と別に構成されているように示しているが、同一の光学系を用いて、イメージセンサ２０３からの出力を撮像系と階調測定系とに分岐させてもよい。

階調測定器２１７からの光電変換像は、イメージセンサ２０３上で得られる輝度分布と同じ輝度分布を有した縮小像に相当する。そこで、該光電変換像を拡大して、イメージセンサ２０３上での輝度分布に換算した後にヒストグラムを作成する。ヒストグラムの作成後に、階調変換特性選択部２０９にて階調変換識別コードを選択する過程は、実施例１と同じである。

なお、本実施例では、階調測定器２１７から光電変換像を出力する場合について説明するが、ヒストグラムや実施例１にて説明した特徴量に変換してから出力してもよい。

以下、本実施例の画像処理装置を構成する階調変換特性選択部２０９、色変換処理選択部２１１、色信号生成部２１２及び階調変換部２１４について説明する。なお、画像処理装置は、上記各部に対応する、階調変換特性選択ステップ、色変換処理選択ステップ、色信号生成ステップ及び階調変換部ステップをコンピュータプログラムに従って実行する画像処理方法を実施する装置でもある。

階調変換特性選択部２０９で選択された階調変換識別コードは、色変換処理選択部２１１に送信される。また、上記ヒストグラムは、調子再現曲線を生成するために階調変換部２１４に送信される。

色変換処理選択部２１１は、階調変換特性選択部２０９で選択された階調変換識別コードに対応するカラーマトリクス（色変換処理）を選択する。選択されるカラーマトリクスは２種類とし、２つのカラーフィルタ組（Ｒ，Ｇ，ＢとＲ，ＬＧ，Ｂ）に対して係数が決められる。係数の決定方法は任意であるが、本実施例では、複数のカラーチャートを被写体としたときに得られる測定値と理想値の色差が０に近づくように上記係数を決定する。

各階調変換識別コードと上記カラーマトリクスとの関連情報は、色変換情報テーブル２１３内に保持される。該色変換情報テーブル２１３の作成方法について説明する。

まず、カラーチャートのような被写体を撮影したときに得られる信号を計算する。信号には少なくとも光ショットノイズを加える必要がある。

次に、上記２つのカラーマトリクスにより色変換処理を行い、各階調変換識別コードに対応する調子再現曲線を用いて階調変換を実行し、受光値集合を得る。

次に、同じ階調変換を行った受光値集合を抜き出し、抜き出した各受光値集合に含まれるノイズ量を比較して、平均的にノイズが増幅されにくい（ノイズ増幅作用が抑制される）カラーマトリクスを選択する。こうして、全階調変換に対してカラーマトリクスを選択し、階調変換識別コードとカラーマトリクスの対をテーブル化する。

色信号生成部２１２では、色変換処理選択部２１１により選択されたカラーマトリクスを用いて、受光値に対する色変換処理を行い、色信号を生成する。生成された色信号は、階調変換部２１４に送信される。

階調変換部２１４では、階調変換特性選択部２０９から送られてきたヒストグラムを用いて調子再現曲線（階調変換特性）を作成し、色信号生成部２１２から送られてきた色信号の階調を変換する。ヒストグラムから調子再現曲線を生成する方法は任意であるが、本実施例では、実施例１で説明した式３，４で与えられる対数輝度ａ，ｂを上記ヒストグラムに対して計算し、以下の式１４で表わされる変換曲線を調子再現曲線とする。

ただし、ｙ_ｍｉｎ，ｙ_ｍａｘはそれぞれ、対数輝度ａ，ｂに対応する表示輝度であり、表示輝度範囲の下限値及び上限値に相当する。調子再現曲線は、階調変換特性選択部２０９において選択された階調変換識別コードに対応する調子再現曲線とは厳密には一致しない。しかし、ノイズ増幅に最も影響する式１４中のγ（調子再現曲線を両対数グラフで表わしたときの直線の傾き）は、対数輝度ａ，ｂ及び表示輝度ｙ_ｍｉｎ，ｙ_ｍａｘがほぼ同じであれば大きくは変わらない。このため、式１４に基づいて生成した調子再現曲線を用いても、階調変換識別コードに対応する調子再現曲線と同様にノイズが抑制される。

式１４に示す調子再現曲線は、対数輝度ａ，ｂが求まれば作成できる。本実施例では、階調測定器２１７により得られたヒストグラムから対数輝度ａ，ｂを算出しているが、イメージセンサ２０３から得られた信号から対数輝度ａ，ｂを算出してもよい。

調子再現曲線は、最初の画素を階調変換する前に生成し、テーブル化して階調変換部２１４内のバッファに保持する。バッファ内の変換テーブルに基づいて、順番に色信号の階調を変換する。

階調変換部２１４による変換後の色信号は出力部２１５に送信される。送信部２１５は、入力された色信号をｓＲＧＢ等の表色系の色信号に変換して出力する。

本実施例によれば、測定した階調特性を用いて階調変換を実行する場合において、階調変換に起因するノイズ増幅作用を抑制し、ノイズ増幅量を低減することができる。

次に、本発明の実施例３である撮像装置及び画像処理装置について説明する。本実施例の撮像装置は、実施例１の撮像装置とほぼ同じ構成を有する。このため、本実施例における実施例１と共通する又は同様な機能を有する構成要素には、実施例１と同符号を付す。相違点は、イメージセンサが備えるカラーフィルタ配列と受光時の電荷蓄積時間である。また、ＲＡＷデータを出力するモードで動作する点も異なる。実施例１の撮像装置のうち画像処理装置の部分はなくてもよい。

図１３には、本実施例におけるカラーフィルタ配列を示す。本実施例では、実施例１とは異なり、透過率が抑制されていない通常の原色系カラーフィルタの組合せを用いる。透過率を抑制する代わりに、電荷蓄積時間を短くした画素（カラーフィルタをＦＲ，ＦＧ， ＦＢと表記する）と、相対的に電荷蓄積時間が長い画素（カラーフィルタをＳＲ，ＳＧ， ＳＢと表記する）とを用いている。

電荷蓄積時間ｔと、入射光の強度Ｐと、光電変換により発生する電子数（言い換えれば、電荷蓄積量）Ｎとの関係は以下の式１５で表わされる。

ただし、Ｃはイメージセンサの開口面積や入射光の波長で決定される比例定数である。実施例１においてカラーフィルタの透過率を低くした目的は、入射光強度Ｐを低下させて、受光素子（画素）での電子の飽和を防ぐことである。これに対し、本実施例では、入射光強度Ｐを抑制する代わりに、受光素子での電荷蓄積時間を減らし、電子数Ｎを抑制することで飽和を防ぐ。

電荷蓄積時間の制御方法は任意であるが、本実施例では、ＦＲ，ＦＧ，ＦＢフィルタに対応する受光素子に対して、フレームレートのｋ倍の速度でリセット信号を送る。ｋは撮影状況（露出範囲等）に応じて設定される定数である。ｋ倍速でリセットすることで、電荷蓄積時間を１／ｋにすることができる。

電荷蓄積時間を短縮する場合、イメージセンサ上の処理が複雑になる欠点はあるが、電子数の制御性が向上し、撮影状況に応じて適切な光電変換特性が得られるという利点がある。

ＲＡＷデータ出力モードについて図２を用いて説明する。レンズ系１１１により形成された光学像をイメージセンサ１１３により電気信号に変換し、該電気信号（出力信号）をＡ／Ｄ変換した後にメインメモリ１１５に保持するまでは実施例１と同じである。

メインメモリ１１５に保持された受光値の情報は、イメージセンサ情報（カラーフィルタ配列と受光値配列との関係、電荷蓄積時間等）と共に出力部１２６に送られる。これらの情報は、撮影時の情報（シャッター速度やＦナンバー等）とともにＲＡＷ画像データとしてまとめられ、メモリカード等の記録媒体に記録されたり、通信により後述する画像処理装置に送信されたりする。

ＲＡＷ画像データ処理のシーケンスについて、図１４に示すフローチャートを用いて説明する。この処理は、コンピュータプログラム（以下、単にプログラムという）に従って、該プログラムがインストールされた画像処理装置としてのパーソナルコンピュータによって実行される。基本的な処理の流れは、実施例１で説明した処理手順と同じであるが、メモリ容量が大幅に増えるので、処理の詳細な場合分けが可能となっている。

記録媒体又は撮像装置との通信によりプログラムに入力されたＲＡＷ画像データは、復号処理３０１により、上記受光値情報と、イメージセンサ情報と、撮影時情報とに分けられ、それぞれの情報（数値）にプログラムがアクセスできる状態とされる。

次に、補間処理３０２は、各カラーフィルタに対する受光値が画素ごとに得られるように補間処理を行う。電荷蓄積時間が異なる画素同士については、透過率差のあるカラーフィルタが設けられた画素同士と同様の結果が得られることから、別のカラーフィルタとして取り扱う。つまり、本実施例では、６種類の受光値（電荷蓄積時間が長い場合と短い場合のＲＧＢ画素に対応する）を得ることになる。補間処理方法は任意であるが、本実施例では実施例１と同じ方法（２種類のベイヤー配列に変換した後に、近傍同色画素の平均値を求める）を用いる。

階調変換特性選択処理３０３は、補間処理３０２により生成された画像データから階調変換識別コードを選択する。選択方法は、実施例１で用いた階調変換特性選択部１１９における処理を用いる。

画素抽出処理３０３は、補間処理３０２により生成された画像データを画素ごとに分割し、６種類の受光値の組を抽出する。領域検出処理３０５は、抽出された受光値の組に対し、カラーフィルタ識別コードを生成する。生成方法は、実施例１と同じである。

色変換検出処理３０６は、実施例１と同様に、階調変換特性選択処理３０３により生成された階調変換識別コードと、領域検出処理３０５により生成されたカラーフィルタ識別コードに対応したカラーマトリクスを選択する。

色信号生成処理３０７は、上記受光値の組をカラーマトリクスにより変換し、色信号を生成する。

次に、階調変換処理３０８は、色信号の階調変換を行う。処理の内容は、実施例１で説明したものと同じである。

次に、画素番号判定処理３０９は、全画素に対して上記処理を行ったか否かを確認し、未処理の画素がある場合は、該未処理画素に対して画素抽出処理３０３からの処理を行う。全画素に対して処理が終了した場合は、画像化処理３１０においてｊｐｅｇ等の一般的な画像形式で出力する。

本実施例によれば、電荷蓄積時間が異なる受光素子を備えたイメージセンサを用いて得られたＲＡＷ画像に対する階調変換を、ノイズ増幅作用を抑制しつつ行う画像処理装置を実現できる。撮像装置は、電荷蓄積時間が異なる受光素子を備えたイメージセンサを用いることにより、高強度の光が入射した場合でも飽和せずに受光値情報を取得できる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

調子再現曲線を説明する図。 本発明の実施例１である画像処理装置を含む撮像装置の概略構成図。 実施例１の撮像装置が備えるカラーフィルタ配列を説明する図。 実施例１における補間処理を説明する図。 実施例１における補間処理の中間データが対応するカラーフィルタについて説明する図。 実施例１において補間処理結果から受光値集合を走査する過程について説明する図。 実施例１において階調変換識別コードを生成するためのヒストグラムを説明する図。 実施例１において受光値から求めた２つの輝度と入射光強度との関係を説明する図。 実施例１における領域検出処理を説明する図。 実施例１におけるカラーマトリクスの生成に用いる重み係数の算出を説明する図。 本発明の実施例２である画像処理装置を含む撮像装置の概略構成図。 実施例２の撮像装置が備えるカラーフィルタ配列を説明する図。 本発明の実施例３における撮像装置のカラーフィルタ配列を説明する図。 実施例３である画像処理装置における処理手順を説明するフローチャート。

符号の説明

１０１〜１０６ 調子再現曲線
１１１，２０１ レンズ系
１１２，２０２ 低域通過フィルタ
１１３，２０３ イメージセンサ
１１４，２０４ Ａ／Ｄ変換処理部
１１５，２０５ メインメモリ
１１６，２０６ システムバス
１１７，２０７ コントローラ
１１８，２０８ 補間処理部
１１９，２０９ 階調変換特性選択部
１２０ 領域検出部
１２１，２１１ 色変換処理選択部
１２２，２１２ 色信号生成部
１２３，２１３ 色変換情報テーブル
１２４，２１４ 階調変換部
１２５ 階調変換情報テーブル
１２６，２１５ 出力部
２１７ 階調測定器

Claims (8)

1. 光学像を電気信号に変換する撮像素子を用いて得られた信号に対して階調変換を行う画像処理装置であって、
   階調変換特性を選択する階調変換特性選択部と、
   前記階調変換特性選択部により選択された階調変換特性によるノイズ増幅作用を抑制する色変換処理を選択する色変換処理選択部と、
   前記撮像素子の出力信号に対して、前記色変換処理選択部により選択された色変換処理を行って色信号を生成する色信号生成部と、
   前記色信号生成部により生成された色信号に対して、前記階調変換特性選択部により選択された階調変換特性による階調変換を行う階調変換部とを有することを特徴とする画像処理装置。
2. 前記撮像素子は、波長に対して均一な分光強度分布を有する白色光が入射したときに電荷蓄積量が２倍以上異なる複数の受光素子を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記階調変換特性選択部は、互いに異なる複数の階調変換特性の中から、前記色信号に対する階調変換で用いられる階調変換特性を選択することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記階調変換特性選択部は、前記撮像素子への入射光の強度範囲を推定し、該入射光の強度範囲に対応する階調変換特性を選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記色変換処理選択部により選択される色変換処理は、行列を用いた演算であることを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
6. 前記撮像素子の出力信号における有効領域を検出する領域検出部を有し、
   前記色変換処理選択部は、前記有効領域にある信号値に対して、前記階調変換特性選択部により選択された階調変換特性によるノイズ増幅作用を抑制する色変換処理を選択することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
7. 光学像を電気信号に変換する撮像素子と、
   請求項１から６のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
8. 光学像を電気信号に変換する撮像素子を用いて得られた信号に対して階調変換を行う画像処理方法であって、
   階調変換特性を選択する階調変換特性選択ステップと、
   前記階調変換特性選択ステップで選択された階調変換特性によるノイズ増幅作用を抑制する色変換処理を選択する色変換処理選択ステップと、
   前記撮像素子の出力信号に対して、前記色変換処理選択ステップで選択された色変換処理を行って色信号を生成する色信号生成ステップと、
   前記色信号生成ステップで生成された色信号に対して、前記階調変換特性選択ステップで選択された階調変換特性による階調変換を行う階調変換ステップとを有することを特徴とする画像処理方法。