JP2007088913A - 撮像装置 - Google Patents

Abstract

【課題】 階調変換における伸張度合いの違いによりノイズが目立つことのないようにする。
【解決手段】 デジタルカメラ１において、複数の異なる光電変換特性を有する固体撮像素子３と、固体撮像素子３による撮影画像の階調変換における伸張度合いに応じて、この撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去を行うノイズ除去部６とを備える。
【選択図】 図１

Description

本発明は、複数の異なる光電変換特性を有する固体撮像素子を用いた撮像装置であって、特に、この固体撮像素子により得られた撮影画像に対するノイズ除去が可能な撮像装置に関するものである。

従来、デジタルカメラ等の撮像装置は、所定の固体撮像素子（撮像センサ）を備え、この固体撮像素子による撮像によって撮影画像を取得する。一般的に、撮影画像（画像信号）にはノイズ成分が含まれるが、近年における更なる高画質化の要請にも伴い、このノイズ成分を好適に除去することが求められる。ところで、固体撮像素子には、該固体撮像素子の光電変換特性が複数の異なる光電変換特性からなるものがある。例えば、入射光量に対して電気信号が線形的に変換されて出力される線形の光電変換特性（線形特性という）と、入射光量に対して電気信号が対数的に変換されて出力される対数の光電変換特性（対数特性という）とからなる光電変換特性を有する固体撮像素子（リニアログセンサという）が知られている。なお、この線形特性及び対数特性（線形／対数特性という）を有するリニアログセンサによる撮影画像のことを線形／対数画像という。

このように複数の異なる光電変換特性を有する固体撮像素子を備える撮像装置に対し、上記ノイズ除去を行う方法として、例えば特許文献１には、光電変換特性が異なる領域ではパラメータ（コアリング係数等）を変化させ、この異なるパラメータを用いてノイズ除去を行うという技術が開示されている。また、例えば特許文献２には、撮影画像の階調変換処理の前にノイズ除去を行い、このノイズ除去後の画像から照明成分と反射率成分とを抽出して階調変換（照明成分を圧縮することによって局所的なコントラストを保存したまま全体のダイナミックレンジ（ＤＲ）を圧縮するＤＲ圧縮）を行うという技術が開示されている。
特開２００５−１１０２３５号公報 特開２００１−２７５０１５号公報

上記固体撮像素子のように複数の光電変換特性を有する撮像素子を用いた撮像によって得られる画像を階調変換すると、この階調変換による画像データの伸張度合い（データ圧縮度合い）が大きな画素においては、コントラスト成分だけでなくノイズ成分も伸張されてしまい、一律のノイズ除去を行うだけでは伸張度合いの大きな領域でのノイズが目立ってしまっていた。

特許文献１においては、上述したように光電変換特性が異なる領域ではパラメータを変化させ、この異なるパラメータを用いてノイズ除去を行うことにより、一律のノイズ除去の場合と比べてノイズは軽減されるものの、階調変換による伸張度合いの違いで目立つノイズ成分は除去しきれていなかった。また、特許文献２においては、階調変換処理のために照明成分及び反射率成分は抽出しているものの、階調変換前に一律のノイズ除去を行っているだけで、それぞれの成分に対して異なるノイズ除去処理を行うことはなく、また、階調変換による伸張度合いの違いで目立つノイズ成分は除去しきれていなかった。

本発明は、上記事情に鑑みてなされたもので、階調変換による伸張度合いの違いによってノイズが目立つということのないようにすることができ、ひいては高画質な撮影画像を得ることができる撮像装置を提供することを目的とする。

本発明の請求項１に係る撮像装置は、複数の異なる光電変換特性を有する固体撮像素子と、前記固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去を行うノイズ除去手段とを備えることを特徴とする。

上記構成によれば、ノイズ除去手段によって、固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去が行われる。

また、上記構成において、前記ノイズ除去手段は、前記撮影画像の前記伸張度合いに相当する輝度レベルに応じて前記ノイズ除去量に関するパラメータとしてのコアリング係数を算出する係数算出手段と、前記係数算出手段により算出したコアリング係数に基づいて、前記撮影画像からノイズ成分を除去するコアリング処理を行うコアリング処理手段とを備えることが好ましい。

これによれば、撮影画像の輝度レベルに応じて階調変換時の伸張度合いが変化するので、係数算出手段によって撮影画像の輝度レベルに応じて、すなわち例えば低輝度部の画像であるか高輝度部の画像であるかに応じてノイズ除去量に関するパラメータとしてのコアリング係数が算出され、コアリング処理手段によって係数算出手段により算出したコアリング係数に基づいて、撮影画像からノイズ成分が除去されるコアリング処理が行われる。

また、上記構成において、前記ノイズ除去手段は、前記撮影画像から低周波成分を抽出する低周波成分抽出手段と、前記撮影画像から高周波成分を抽出する高周波成分抽出手段とをさらに備え、前記係数算出手段は、前記輝度レベルに相当する前記低周波成分のレベルに応じて前記コアリング係数を算出し、前記コアリング処理手段は、前記低周波成分のレベルに応じて算出されたコアリング係数に基づいて前記高周波成分に対するコアリング処理を行うことが好ましい。

これによれば、低周波成分抽出手段によって撮影画像から低周波成分が抽出され、高周波成分抽出手段によって撮影画像から高周波成分が抽出される。そして、係数算出手段によって輝度レベルに相当する低周波成分のレベルに応じてコアリング係数が算出され、コアリング処理手段によって低周波成分のレベルに応じて算出されたコアリング係数に基づいて高周波成分に対するコアリング処理が行われる。

また、上記構成において、前記撮影画像から照明成分を抽出する照明成分抽出手段と、前記撮影画像から反射率成分を抽出する反射率成分抽出手段とをさらに備え、前記係数算出手段は、前記輝度レベルに相当する前記照明成分のレベルに応じて前記コアリング係数を算出し、前記コアリング処理手段は、前記照明成分のレベルに応じて算出されたコアリング係数に基づいて前記反射率成分に対するコアリング処理を行うことが好ましい。

これによれば、照明成分抽出手段によって撮影画像から照明成分が抽出され、反射率成分抽出手段によって撮影画像から反射率成分が抽出される。そして、係数算出手段によって、輝度レベルに相当する照明成分のレベルに応じてコアリング係数が算出され、コアリング処理手段によって、照明成分のレベルに応じて算出されたコアリング係数に基づいて反射率成分に対するコアリング処理が行われる。

また、上記構成において、前記複数の異なる光電変換特性において、前記係数算出手段は、高輝度側特性に対する前記コアリング係数として、前記階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数を算出することが好ましい。

これによれば、係数算出手段によって、階調変換後のノイズ量が高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数が算出される。

また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものとすることができる。

また、上記構成において、前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものとすることができる。

また、上記構成において、所定のデータ授受手段を用いて撮像装置本体と撮影画像データの授受が可能に構成された所定の情報処理装置をさらに備え、当該情報処理装置によって前記撮影画像に対する前記ノイズ除去を行うことができる。

これによれば、所定のデータ授受手段を用いて撮像装置本体と撮影画像データの授受が可能に構成された所定の情報処理装置によって、撮影画像に対するノイズ除去が行われる。

請求項１に係る撮像装置によれば、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる（伸張度合いに応じて異なるノイズ除去量を設定する）ことが可能となるので、例えば伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つといったように、伸張度合いの違いによってノイズ（ノイズ成分）が目立つことのないようにすることができ、ひいては高画質な撮影画像を得ることができる。

請求項２に係る撮像装置によれば、係数算出手段により算出したコアリング係数に基づいてコアリング処理手段によりコアリング処理を行うという一般的なノイズ除去手法を利用して、すなわち簡易な構成によって、当該伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになる。

請求項３に係る撮像装置によれば、一般的なローパスフィルタ等の低周波成分抽出手段を用いて撮影画像から抽出された低周波成分の情報（レベル情報）を利用して、コアリング係数の算出を容易に行うことができるとともに、当該算出されたコアリング係数に基づくノイズ除去を、撮影画像から抽出された高周波成分に対するコアリング処理を行うことで容易に行うことができる。

請求項４に係る撮像装置によれば、ノイズ除去に際して、照明成分及び反射率成分の情報を用いる、すなわち本願発明の如く、複数の光電変換特性を持つセンサを用いて広ダイナミックレンジ画像を撮像する撮像装置に好適に用いられる階調変換処理であるＤＲ圧縮処理の過程で生成される照明成分及び反射率成分を用いる構成であるので、階調変換処理手段内（階調変換処理）に、ノイズ除去手段（ノイズ除去処理）を含めることが可能となり、ノイズ除去専用の処理装置を別途設けることなく、処理構成を簡略化することができる。また、ノイズ除去処理における演算量（計算量）が少なくなり、処理時間を短縮することができる。

請求項５に係る撮像装置によれば、高輝度側特性における低輝度部と高輝度部とのノイズ量が等しくなるようなコアリング係数を算出するので、階調変換による伸張度合いが異なる高輝度側特性に対するコアリング係数を容易に（より簡易な演算方法で）求めることができるとともに、この算出したコアリング係数に基づいて、低輝度部及び高輝度部でノイズ量に違いが生じないようにする、すなわち、高輝度部のノイズ量が低輝度部のノイズ量よりも大きくなって高輝度部のノイズが目立つといったことのないようにすることができる。

請求項６に係る撮像装置によれば、線形光電変換特性及び対数光電変換特性を有する固体撮像素子によって得られる撮影画像（線形／対数画像）に対し、階調変換における伸張度合いに応じて、すなわち対数光電変換特性画像の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。

請求項７に係る撮像装置によれば、第１の線形光電変換特性及び第２の線形光電変換特性を有する固体撮像素子によって得られる撮影画像（線形／線形画像）に対し、階調変換における伸張度合いに応じて、すなわち第２の線形光電変換特性の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。

請求項８に係る撮像装置によれば、撮像装置本体と撮影画像データの授受が可能に構成された情報処理装置において当該ノイズ除去を行うことができ、ノイズ除去を行う場所に関する自由度が大きくなるとともに、ＰＣ等の情報処理装置を用いて、より高速な演算処理（ノイズ除去処理）が行える構成を容易に実現することができる。

（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラ１を示し、このデジタルカメラ１の主に撮像処理に関するブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、固体撮像素子３、アンプ４、Ａ／Ｄ変換部５、ノイズ除去部６、階調変換部７、画像メモリ８、全体制御部９、モニタ部１０及び操作部１１を備えている。

レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている固体撮像素子３へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、全体制御部９によってこの絞りやシャッタの駆動制御がなされる構成となっている。

固体撮像素子３は、レンズ部２により結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂの各色成分の画像信号に光電変換して後段のアンプ４へ出力する撮像センサである。本実施形態においては、固体撮像素子３として、図４に示すような入力輝度（センサ入射輝度）が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性と、輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性とからなる光電変換特性、換言すれば、低輝度側が線形の光電変換特性、高輝度側が対数特性の光電変換特性を有するものが用いられる。ただし、固体撮像素子３は、上記線形／対数特性からなる光電変換特性だけでなく、線形特性のみ、或いは対数特性のみからなる光電変換特性に任意に切り替えることが可能である。また、線形特性と対数特性との切り替わり点（以降、この切り替わり点のことを「変曲点」という）は、固体撮像素子３の各画素回路に対する所定の制御信号に基づいて任意に変化させることが可能である。なお、光電変換特性における上記線形特性に示すような低輝度側の特性を「低輝度側特性」、対数特性に示すような高輝度側の特性を「高輝度側特性」と表現するものとする。

図２は、固体撮像素子３の一例である二次元のＭＯＳ型固体撮像装置（ＣＭＯＳイメージセンサ）の概略構成図である。同図において、Ｇ１１〜Ｇｍｎは、行列（マトリクス）配列された画素を示している。この画素Ｇ１１〜Ｇｍｎからなる画素部の外周縁部近傍には、垂直走査回路３０１と水平走査回路３０２とが配設されている。垂直走査回路３０１は、行のライン（信号線）３０４−１、３０４−２、・・・３０４−ｎ（これらを纏めて行ライン３０４という）を順次走査する。水平走査回路３０２は、各画素から出力信号線３０６−１、３０６−２、・・・３０６−ｍ（これらを纏めて出力信号線３０６という）に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン３０５により電力供給がなされている。各画素には、上記各ラインや出力信号線だけでなく、他のライン（例えばクロックライン）も接続されているが、図２では図示を省略している。

出力信号線３０６−１、３０６−２、・・・３０６−ｍには、それぞれ、後述のトランジスタＴ１２と対になって増幅回路を構成する定電流源３０７−１、３０７−２、・・・３０７−ｍ（これらを纏めて定電流源３０７という）が設けられている。ただし、この増幅回路として、定電流源３０７に代えて抵抗やトランジスタを設けてもよい。この出力信号線３０６を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路（サンプルホールド回路）３０８−１、３０８−２、・・・３０８−ｍ（これらを纏めて選択回路３０８という）に出力される。この選択回路３０８に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路３０９に出力され、補正回路３０９において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路３０９から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。

図３は、図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。同図に示すように、固体撮像素子３の各画素は、フォトダイオードＰＤ１、ＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）としてのトランジスタＴ１０〜Ｔ１３、及びＦＤ（Floating Diffusion）から構成されている。トランジスタＴ１０〜Ｔ１３は、ここではＮチャンネルＭＯＳＦＥＴが採用されている。ＶＤＤ、φＲＳＢ、φＲＳＴ、φＴＸ及びφＶは、各トランジスタに対する信号（電圧）を示し、ＧＮＤは接地を示している。

フォトダイオードＰＤ１は、感光部（光電変換部）であり、被写体からの入射光量に応じた電気信号（光電流ＩＰＤ１）を出力する。トランジスタＴ１２は、図２に示す定電流源３０７と対になってソースフォロワ増幅用の増幅回路（ソースフォロワアンプ）を構成するものであり、後述する電圧Ｖ１ＯＵＴに対する増幅（電流増幅）を行う。トランジスタＴ１３は、ゲートに印加する電圧（信号φＶ）に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ（行選択トランジスタ）である。トランジスタＴ１３のソースは、図２に示す出力信号線３０６に接続されており、トランジスタＴ１３がオンした場合、トランジスタＴ１２で増幅された電流を出力電流として出力信号線３０６へ導出する。

トランジスタＴ１０は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードＰＤ１で発生した光電流ＩＰＤ１（電荷）のＦＤに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードＰＤ１で発生した光電流ＩＰＤ１はフォトダイオードＰＤ１の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタＴ１０がオン状態であれば、この寄生容量に蓄積された電荷（負電荷）がＦＤへ向けて移動する。ＦＤは、電荷（信号電荷）を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える（電荷電圧変換を行う）所謂キャパシタの役割を担うものである。

トランジスタＴ１１（リセットゲートトランジスタ）は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてＦＤに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに（例えばトランジスタＴ１１がオン状態の場合、トランジスタＴ１０もオン状態となっており、トランジスタＴ１１、ＦＤ、トランジスタＴ１０及びフォトダイオードＰＤ１を挟んだφＲＳＢ及びＧＮＤ間にリセットバイアスがかけられた状態となる）、ゲート電圧をＭｉｄ電位（中間レベル）とすることで、フォトダイオードＰＤ１からＦＤに移動する電荷（ＦＤを流れる電流）のＦＤ及びトランジスタＴ１１による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。

この場合、トランジスタＴ１１には上記Ｍｉｄ電位に応じた電流（リセット電流）が流れ、トランジスタＴ１１のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードＰＤ１から移動してくる電荷による電位が、Ｍｉｄ電位に応じたトランジスタＴ１１のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードＰＤ１に入射される入射光量が少ない場合には、ＦＤにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードＰＤ１に入射される入射光量が多い場合には、トランジスタＴ１１において対数変換としての電荷電圧変換が行われる。

これにより、ＦＤとトランジスタＴ１２との接続ノード（出力Ｖ１ＯＵＴ）には、ＦＤにおける光電流ＩＰＤ１の積分値による線形出力としての電圧、或いはトランジスタＴ１１における光電流ＩＰＤ１に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はＦＤにおける光電流ＩＰＤ１の積分値となるが、対数特性領域については、ＦＤ部に蓄えられた電荷による電位がトランジスタＴ１１（リセットゲート）のソース電流を超えた領域において、光電流ＩＰＤ１と等しい電流がトランジスタＴ１１に流れ、トランジスタＴ１１において光電流ＩＰＤ１が電流−電圧変換された値（電圧）が当該出力値としてＦＤ部に現れる（信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される）。このトランジスタＴ１１での電流−電圧変換が上記対数変換に相当する。そして、トランジスタＴ１３がオンされると、これら各電圧に応じたトランジスタＴ１２による増幅電流が、トランジスタＴ１３を介して出力電流として出力信号線３０６に導出される。このように固体撮像素子３により、被写体輝度（センサ入射輝度）に応じて線形変換又は対数変換された出力信号が得られる。

なお、ここでは、固体撮像素子３の各画素において上記ＮチャンネルＭＯＳＦＥＴを採用しているが、ＰチャンネルＭＯＳＦＥＴを採用してもよい。また、固体撮像素子３として、上述のようにＦＤを用いて線形変換及び対数変換を行うＣＭＯＳイメージセンサに限らず、例えばＭＯＳＦＥＴ（Ｐ型又はＮ型）の所謂サブスレッショルド特性（ゲート電圧が閾値以下の時にサブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用することで当該線形変換及び対数変換を行うＣＭＯＳイメージセンサを採用してもよい。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。

アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路を備え、固体撮像素子３から入力されるアナログ画像信号がＡ／Ｄ変換部５の入力電圧範囲に合うように、適切な増幅率で増幅するものである。アンプ４は、ＡＧＣ回路の他、画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路等を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は全体制御部９によって設定される。

Ａ／Ｄ変換部５は、アンプ４にて増幅（ゲイン調整）されたアナログ画像信号をデジタル画像信号に変換するものであり、固体撮像素子３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

ノイズ除去部６は、Ａ／Ｄ変換部５から入力される画像信号のノイズを除去するものである。このノイズ除去の詳細については後述する。

階調変換部７は、ノイズ除去部６から入力される画像信号が適切な出力レベルとなるように、画像信号に対して所定の階調変換処理を行い、該画像信号の階調特性を変化させるものである。

画像メモリ８は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、ノイズ除去部６や階調変換部７においてデータ処理される前のＲＡＷ画像データ、或いはノイズ除去部６、階調変換部７又は全体制御部９での各種データ処理時又は処理後の画像データ等を格納するものである。

全体制御部９は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。全体制御部９は、固体撮像素子３や操作部１１等の各処理部から送信されてくる情報（信号）と装置の動作状態とに基づき、各処理部が必要とするパラメータ等の動作情報を算出し、これを送信することで各処理部の動作を制御する。

モニタ部１０は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）等からなり、固体撮像素子３による撮影画像、すなわちノイズ除去部６や階調変換部７で処理された画像や画像メモリ８に格納されている画像等を表示するものである。モニタ部１０は、後述のノイズ除去処理（コアリング処理）等の各種処理結果が反映された画像を表示してもよい。

操作部１１は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えば、上記レリーズスイッチが押下（オン）されることで、撮像動作すなわち固体撮像素子３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ８等に記録されるといった一連の撮影動作が実行される。

ここで、上記ノイズ除去部６について詳述する。ノイズ除去部６は、画像信号からノイズ成分を除去するためのコアリング処理を行うことで、画像のシャープネスを良好な状態に補正する。この際、ノイズ除去部６は、コアリング係数（上記画像信号のノイズ成分を除去するための係数）を変化させることで適正なノイズ除去を行う。ここでは、特に、高輝度側特性、つまり入力輝度レベルに応じて対数圧縮によるデータ圧縮度合いが異なる対数特性領域での画像（対数画像）に対するコアリング処理において、ローパスフィルタ（ＬＰＦ）を用いて画像から抽出した低周波成分のレベルに応じて（適応的に）コアリング係数を変化させることで、当該対数画像の階調変換による伸張度合い（局所的な伸張度合いの違い；対数圧縮によるデータ圧縮度合い）に応じた、換言すれば、この対数画像の伸張に伴うノイズ成分の伸張度合いに応じたノイズ除去量を設定してからノイズ除去を行う。

図５は、ノイズ除去部６のブロック構成図である。同図に示すようにノイズ除去部６は、領域判定部６１、ＬＰＦ部６２、コアリング処理部６３及び係数算出部６４を備えている。領域判定部６１は、Ａ／Ｄ変換部５から入力された画像（この入力画像を基画像Ｉと表現する）の低輝度側特性及び高輝度側特性、すなわち線形特性領域の画像であるか対数特性領域の画像であるかを判定するものである。領域判定部６１は、入力画像の各画素値から撮像時の光電変換特性、つまり後述の(1-1)式又は(1-2)式に示す特性であるかを判定し、当該判定結果（領域判定情報）を係数算出部６４に出力する。

ＬＰＦ部６２は、基画像Ｉに対してガウシアンフィルタ等の線形のＬＰＦによるフィルタ処理を行い、基画像Ｉから低周波成分を抽出（生成）するとともに、当該低周波成分の情報（低周波成分情報）を係数算出部６４に出力するものである。ただし、このＬＰＦは上記線形フィルタに限らず、メディアンフィルタ等の非線形フィルタであってもよい。

コアリング処理部６３は、後述する係数算出部６４からのコアリング係数情報に基づいてコアリング処理を行うものである。コアリング処理部６３は、ＬＰＦ部６２により抽出された低周波成分を基画像Ｉから減算して得た高周波成分に対して、図６に示す入出力関係を有する特性（以降、コアリング特性６３０という）に基づくコアリング処理を行う。コアリング特性６３０における「ｔｈ」は、係数算出部６４において算出されるコアリング係数ｔｈを示す。このコアリング処理では、入力が−ｔｈより大きくｔｈより小さいときは出力がゼロ（０）となり、入力が−ｔｈ以下であるときには出力が、入力に対してｔｈを加えた値となり、入力がｔｈ以上であるときには出力が、入力に対してｔｈを減じた値となるように変換処理を行う。なお、上記基画像Ｉからの低周波成分の減算、すなわち基画像Ｉからの高周波成分の抽出は、減算部６５１による減算処理によって行われる。また、コアリング処理後の高周波数成分と、上記ＬＰＦ部６２からの低周波成分は加算部６５２による加算処理によって合成され、合成画像Ｏとして後段の処理部へ出力される。

係数算出部６４は、領域判定部６１からの領域判定情報及びＬＰＦ部６２からの低周波成分情報に基づいて、コアリング処理部６３のコアリング処理におけるコアリング係数（ｔｈ）を算出（設定）するものである。係数算出部６４は、最終的な出力画像、ここでは階調変換部７における階調変換処理後に出力される画像において、当該画像の高輝度部が低輝度部と同等のノイズ量となるようにコアリング係数を算出する。具体的には、係数算出部６４は、領域判定部６１により低輝度側特性の画像であると判定された場合、この低輝度側特性の画像に対して一律のノイズ除去処理を行うべく、低輝度側特性のコアリング係数（このコアリング係数値を「ｔｈ０」とする）を出力する。ただし、コアリング係数ｔｈ０は、低輝度側特性の画像全体に対して一律に与えられた或る１つの値（例えば固定値）である。なお、このコアリング係数ｔｈ０は、コアリング処理部６３内に予め記憶（設定）されたものが用いられてもよい。係数算出部６４によって算出されたコアリング係数の情報（コアリング係数情報）は、コアリング処理部６３に出力される。

また、領域判定部６１により高輝度側特性の画像であると判定された場合には、係数算出部６４は、画像の伸張度合いに応じたコアリング係数の算出を行う。ところで、階調変換部７で階調変換される前のノイズ量は、高輝度側特性領域の中でもその高輝度部及び低輝度部で同じレベルとなっている。しかしながら、階調変換において線形特性に戻された場合には、この高輝度側特性領域において、高輝度部のノイズ量が低輝度部のノイズ量に比べて大きくなり高輝度部のノイズ（ノイズ成分）が目立つようになる。そこで、階調変換後において、低輝度部及び高輝度部でノイズ量が異なったものとならないよう高輝度部のノイズレベルを低輝度部のノイズレベルと同等にするべく、コアリング係数（ノイズ除去量）を輝度レベルに適応（対応）させて制御し、高輝度部のノイズ量が低輝度部のノイズ量と等しくなる（高輝度ノイズ量＝低輝度ノイズ量）ようにする。具体的には、階調変換後（ＤＲ圧縮後）において、ノイズ除去部６によるノイズ除去後のノイズ量が高輝度側特性領域において一定となるようにしたいので、該高輝度側特性領域の低輝度部及び高輝度部に注目して、それぞれのノイズ量が同じ（一定）になるようなコアリング係数を算出する。

（コアリング係数算出の考え方）
ここで、上記コアリング係数の算出の考え方について具体的に説明する。
固体撮像素子３による線形／対数画像の光電変換特性は、以下の(1-1)、(1-2)式に示す入力輝度Ｘ（対数値ではない）に対する画素値Ｙ（出力）の関係式で表される。
Ｙ＝ａ＊Ｘ＋ｂ（０≦Ｘ≦Ｘｔｈ） …(1-1)
Ｙ＝α＊Ｌｎ（Ｘ）＋β（Ｘ＞Ｘｔｈ） …(1-2)
但し、記号「ａ、ｂ、α及びβ」は係数を示し、記号「＊」は乗算を示す（以降も同じ）。また、Ｘｔｈ（及びこのＸｔｈに対応するＹｔｈ）は、上記変曲点のＸ座標（及びＹ座標）を示す。このような光電変換特性を有する撮影画像は、０≦Ｘ≦Ｘｔｈ及びＸ＞Ｘｔｈの各場合でコアリング係数の算出方法が異なる。

［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数ｔｈは、上述したように低輝度側特性領域に対して一律に設定した値ｔｈ０を用いる（以下(1-3)式参照）。
ｔｈ＝ｔｈ０ …(1-3)

［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(1-2)式より、以下の(1-4)式となる。
Ｙ＝α＊Ｌｎ（Ｘ）＋β＋Ｎ …(1-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）

上記(1-4)式を線形特性（Ｙ＝Ｘ）に変換すると、以下の(1-5)式となる。但し、記号「／」は除算を示す（以降も同じ）。
Ｙ＿ＬＩＮ＝ｅｘｐ（（Ｙ−β）／α）
＝ｅｘｐ（（α＊Ｌｎ（Ｘ）＋β＋Ｎ−β）／α）
＝ｅｘｐ（Ｌｎ（Ｘ）＋Ｎ／α）
＝ｅｘｐ（Ｌｎ（Ｘ））＊ｅｘｐ（Ｎ／α）
＝Ｘ＊ｅｘｐ（Ｎ／α） …(1-5)
低周波成分をＬとすると、ノイズ除去処理を行うための高周波成分Ｈは、上記(1-5)式より、以下の(1-6)式となる。
Ｈ＝Ｙ＿ＬＩＮ−Ｌ
＝Ｘ＊ｅｘｐ（Ｎ／α）−Ｌ …(1-6)

高周波成分に対してノイズ除去量ΔＮのノイズ除去を行うと、ノイズ除去後の高周波成分Ｈ’は、上記(1-6)式より、以下の(1-7)式となる。
Ｈ’＝Ｘ＊ｅｘｐ（Ｎ／α）−Ｌ−ΔＮ …(1-7)
この高周波成分Ｈ’に低周波成分Ｌを加えることで、ノイズ除去後の線形特性出力Ｙ’＿ＬＩＮを算出する。すなわち、Ｙ’＿ＬＩＮは以下の(1-8)式で与えられる。
Ｙ’＿ＬＩＮ＝Ｌ＋Ｈ’
＝Ｌ＋Ｘ＊ｅｘｐ（Ｎ／α）−Ｌ−ΔＮ
＝Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ …(1-8)

上記線形特性出力Ｙ’＿ＬＩＮを照明成分Ｂと反射率成分Ｄとに分割して階調変換出力Ｙ’＿ｄｒｃを算出する。
Ｙ’＿ＬＩＮ＝Ｂ＊Ｄ
よって、Ｄ＝Ｙ’＿ＬＩＮ／Ｂ
また、照明成分Ｂを圧縮して階調変換を行う。階調変換後の照明成分をＢ’とすると、
Ｙ’＿ｄｒｃ＝Ｂ’＊Ｄ
＝Ｂ’＊Ｙ’＿ＬＩＮ／Ｂ（この式に上記(1-8)式を代入）
＝Ｂ’＊（Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ）／Ｂ
したがって、階調変換後のノイズ量Ｎ’は、以下の(1-9)式で与えられる。
Ｎ’＝Ｙ’＿ｄｒｃ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’＊（Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ）／Ｂ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’／Ｂ＊（Ｘ＊ｅｘｐ（Ｎ／α）−ΔＮ−Ｘ）
＝Ｂ’／Ｂ＊（Ｘ＊（ｅｘｐ（Ｎ／α）−１）−ΔＮ） …(1-9)

ここで、階調変換後の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とし、これら照明成分Ｌ１、Ｌ２に対する階調変換後（ＤＲ圧縮後）の照明成分をＬ１’、Ｌ２’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２とすると、上記(1-9)式より、以下の(1-10-1)式及び(1-10-2)式が得られる。
Ｎ１’＝Ｌ１’／Ｌ１＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１） …(1-10-1)
Ｎ２’＝Ｌ２’／Ｌ２＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ２） …(1-10-2)

これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(1-10-1)式及び(1-10-2)式とＮ１’＝Ｎ２’の関係とより、以下の(1-11)式が得られる。
Ｌ１’／Ｌ１＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１）＝Ｌ２’／Ｌ２＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ２） …(1-11)
これを変形すると、
（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１）＝（ｅｘｐ（Ｎ／α）−１）−ΔＮ２となり、
さらにΔＮ２について整理すると、以下の(1-12)式となる。
ΔＮ２＝（ｅｘｐ（Ｎ／α）−１）／（（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（（ｅｘｐ（Ｎ／α）−１）−ΔＮ１）） …(1-12)

したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(1-12)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(1-13)式で与えられるものとなる。
ｔｈ＝（ｅｘｐ（Ｎ／α）−１）／（（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（（ｅｘｐ（Ｎ／α）−１）−ｔｈ０）） …(1-13)

このように、デジタルカメラ１は、ノイズ除去部６によって、撮影画像（高輝度側特性の画像）の階調変換における伸張度合いに応じてノイズ除去量に関するパラメータ（コアリング係数）を変化させて、すなわち上記（1-13)式に示すように伸張度合いの違いに対応する例えば低輝度部及び高輝度部の情報（上記低輝度部及び高輝度部の照明成分Ｌ１、Ｌ２やＬ１’、Ｌ２’）に応じて決定されるコアリング係数ｔｈを用いて、撮影画像に対するノイズ除去を行う。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる（伸張度合いに応じて異なるノイズ除去量を設定し、詳しくは伸張度合いが大きいほど大きく、伸張度合いが小さいほど小さくなるようにノイズ除去量を設定する）ことが可能となるので、伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つというように、伸張度合いの違いによってノイズ（ノイズ成分）が目立つことのないようにすることができる。

図８は、第１の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ１）。この撮影画像（基画像Ｉ）がノイズ除去部６に入力される（ステップＳ２）。領域判定部６１によって、この入力された基画像Ｉに対する低輝度側特性領域（線形特性領域）であるか高輝度側特性領域（対数特性領域）であるかの領域判定が行われる（ステップＳ３）。次に、ＬＰＦ部６２によるＬＰＦ処理によって基画像Ｉから低周波成分が抽出され（ステップＳ４）、係数算出部６４によって、領域判定部６１からの領域判定情報及びＬＰＦ部６２からの低周波成分情報に基づいて、対数画像の階調変換における伸張度合いに応じたコアリング係数が算出さる（ステップＳ５）。この算出されたコアリング係数に基づいて、上記低周波成分が基画像Ｉから減算されてなる高周波成分に対するコアリング処理がコアリング処理部６３によって行われる（ステップＳ６）。このコアリング処理が施された高周波成分と上記ＬＰＦ部６２からの低周波成分が加算部６５２によって合成され、合成画像Ｏとして後段の階調変換部７へ出力される（ステップＳ７）。そして、階調変換部７によってこの合成画像Ｏに対する所定の階調変換処理が行われる（ステップＳ８）。

（実施形態２）
上記第１の実施形態におけるノイズ除去部６は、図７に示すノイズ除去部６ａの機能ブロック図の構成であってもよい。すなわち、第２の実施形態に係るノイズ除去部６ａは、上記領域判定部６１を領域分割抽出部６６に変更して、低輝度側特性及び高輝度側特性（線形特性及び対数特性）の光電変換特性毎に異なる処理を行うようにしたものである。ノイズ除去部６ａは、領域分割抽出部６６、高輝度側特性処理部６１０ｍ、低輝度側特性処理部６１０ｎ及び画像合成部６７を備えている。領域分割抽出部６６は、基画像Ｉから対数画像（画像Ｉ１とする）と線形画像（画像Ｉ２とする）とを分割抽出するものである。この分割抽出された画像Ｉ１、Ｉ２はそれぞれ高輝度側特性処理部６１０ｍ及び低輝度側特性処理部６１０ｎに入力される。

高輝度側特性処理部６１０ｍは、ＬＰＦ部６２ｍ、コアリング処理部６３ｍ及び係数算出部６４ｍを備えている。ＬＰＦ部６２ｍは、入力された画像Ｉ１に対してＬＰＦ処理を施して低周波成分を生成する。係数算出部６４ｍは、ＬＰＦ部６２ｍからの低周波成分情報に基づいて、上述したように高輝度側特性（画像Ｉ１）において高輝度部が低輝度部と同等のノイズ量となるコアリング係数ｔｈを算出する。コアリング処理部６３ｍは、係数算出部６４ｍにより算出されたコアリング係数情報（高輝度側特性におけるコアリング係数ｔｈ（高輝度側特性の低輝度部でのコアリング係数ｔｈ０の情報も含む））に基づいて、減算部６５１ｍによって画像Ｉ１から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。当該コアリング処理が施された画像は、加算部６５２ｍによる加算処理によってＬＰＦ部６２ｍからの低周波成分と合成された後、画像Ｉ１’（ノイズ除去画像Ｉ１’）として画像合成部６７に入力される。

一方、低輝度側特性処理部６１０ｎは、ＬＰＦ部６２ｎ及びコアリング処理部６３ｎを備えている。ＬＰＦ部６２ｎは、入力された画像Ｉ２に対してＬＰＦ処理を施して低周波成分を生成する。コアリング処理部６３ｎは、減算部６５１ｎによって画像Ｉ２から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。ただし、この場合、コアリング処理に用いるコアリング係数情報（低輝度側特性に対して一律に設定されたコアリング係数ｔｈ０）は、例えばコアリング処理部６３ｎ内に記憶されている。当該コアリング処理が施された画像は、加算部６５２ｎによる加算処理によってＬＰＦ部６２ｎからの低周波成分と合成された後、画像Ｉ２’（ノイズ除去画像Ｉ２’）として画像合成部６７に入力される。画像合成部６７は、高輝度側特性処理部６１０ｍ及び低輝度側特性処理部６１０ｎから入力されたノイズ除去画像Ｉ１’及びＩ２’を合成（加算処理）して合成画像Ｏとして後段の処理部へ出力する。

このように、入力されてきた基画像Ｉを最初に領域分割しておいて、分割したそれぞれの画像に対して処理を行う構成のノイズ除去部６ａとすることで、係数算出部６４ｍでのコアリング係数算出において、都度、各画素に対して光電変換特性（低輝度側特性及び高輝度側特性）の違いによる場合分けの処理を行うことなく（都度、場合分けを行う手間が省けて）、そのまま高輝度側特性の全ての画素に対してのコアリング係数を算出することができるようになり、より高速な演算（ノイズ除去処理）が可能となる。

図９は、第２の実施形態におけるデジタルカメラ１の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ２１）。この撮影画像（基画像Ｉ）がノイズ除去部６ａに入力される（ステップＳ２２）。この入力された基画像Ｉから高輝度側特性領域（画像Ｉ１；対数画像）と低輝度側特性領域（画像Ｉ２；線形画像）とが領域分割抽出部６６によって分割抽出される（ステップＳ２３）。この分割抽出された画像が高輝度側特性領域の画像である場合には（ステップＳ２４のＹＥＳ）、ＬＰＦ部６２ｍによるＬＰＦ処理によって画像Ｉ１から低周波成分が抽出され（ステップＳ２５）、ＬＰＦ部６２ｍからの低周波成分情報に基づいて、係数算出部６４ｍによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される（ステップＳ２６）。この算出されたコアリング係数に基づいて、上記低周波成分が画像Ｉ１から減算されてなる高周波成分に対するコアリング処理がコアリング処理部６３ｍによって行われ（ステップＳ２７）、このコアリング処理が施された高周波成分と上記ＬＰＦ部６２ｍからの低周波成分が加算部６５２ｍによって合成されて画像Ｉ１’が得られる（ステップＳ２８）。

上記ステップＳ２４において、分割抽出された画像が低輝度側特性領域の画像である場合には（ステップＳ２４のＮＯ）、ＬＰＦ部６２ｎによるＬＰＦ処理によって画像Ｉ２から低周波成分が抽出され（ステップＳ２９）、この低周波成分が画像Ｉ２から減算されてなる高周波成分に対するコアリング処理がコアリング処理部６３ｎによって行われる（ステップＳ３０）。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部６３ｎ内に固定値として予め記憶されている値（上述のｔｈ０）が用いられる。このコアリング処理が施された高周波成分と上記ＬＰＦ部６２ｎからの低周波成分が加算部６５２ｎによって合成されて画像Ｉ２’が得られる（ステップＳ３１）。そして、この低輝度側特性領域の画像Ｉ２’と上記高輝度側特性領域の画像Ｉ１’とが画像合成部６７によって合成されて合成画像Ｏとして後段の階調変換部７へ出力される（ステップＳ３２）。そして、階調変換部７によってこの合成画像Ｏに対する所定の階調変換処理が行われる（ステップＳ３３）。

（実施形態３）
図１０は、第３の実施形態に係る撮像装置の一例であるデジタルカメラ１ａの主に撮像処理に関するブロック構成図である。デジタルカメラ１ａは、第１の実施形態におけるデジタルカメラ１と比べて、先の実施形態で説明したノイズ除去部６を備えずに、当該ノイズ除去の機能を兼ね備えた階調変換部７ａを備える点が異なる。その他の構成については第１の実施形態と同じであり、その説明を省略する。

階調変換部７ａは、所定の変換特性に基づいて撮影画像（線形／対数画像）に対する階調変換処理を行うものである。階調変換部７ａは、この階調変換処理において、撮影画像全体のコントラスト性は保存したまま局所的にコントラスト改善が図られるように、具体的には、線形／対数画像における線形特性領域でのコントラストを維持しつつ（線形特性領域でのコントラストが強調され過ぎたり失われてしまわないようにして）、対数特性領域におけるコントラストを改善（向上）するようにＤＲ圧縮を行う機能を備えている。階調変換部７ａは、入力された線形／対数画像を線形画像と対数画像との画像データに分割し、この線形画像及び対数画像から照明成分及び反射率成分を取り出した後、照明成分を圧縮することで上記ＤＲ圧縮を行う。このＤＲ圧縮技術は、人間の視覚特性すなわち明るさに対する色恒常性に着目したＲｅｔｉｎｅｘ理論（Multi-scale Retinex）に基づくものである。階調変換部７ａは、このＤＲ圧縮処理の過程で得られる反射率成分に対してノイズ除去を行う。このような階調変換部７ａについて以下、詳述する。

図１１は、階調変換部７ａにおけるＤＲ圧縮及びノイズ除去に関する機能ブロック図である。同図に示すように階調変換部７ａは、領域分割抽出部７１、高輝度側特性変換部７２ｍ、低輝度側特性変換部７２ｎ及び画像合成部７３を備えている。領域分割抽出部７１は、階調変換部７ａに入力された基画像Ｉ（線形／対数画像）から対数画像（画像Ｉ１）と線形画像（画像Ｉ２）とを分割抽出（分離）するものである。具体的には、基画像Ｉが上記(1-1)式及び(1-2)式で表されるとすると、領域分割抽出部７１は、以下の(2-0)式に示す関係式に基づいて基画像Ｉの画素値を判別することで画像Ｉ１と画像Ｉ２とに分ける。なお、この画像Ｉ１、Ｉ２はそれぞれ高輝度側特性変換部７２ｍ及び低輝度側特性変換部２ｎに入力される。
ｉｆ（Ｉ≧Ｙｔｈ）
Ｉ１＝（Ｉ−β）／α、Ｉ２＝０ （高輝度側特性）
ｅｌｓｅ
Ｉ１＝０、Ｉ２＝（Ｉ−ｂ）／ａ （低輝度側特性） …(2-0)

高輝度側特性変換部７２ｍは、高輝度側特性領域の画像の階調変換（ＤＲ圧縮）を行うものであり、第１照明成分抽出部７４ｍ、第１照明成分圧縮部７５ｍ、第１ノイズ除去部７６ｍ及び加算・線形変換部７７ｍを備えている。

ところで上記Ｒｅｔｉｎｅｘ理論によると、基画像Ｉは照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の(2-1)式で表される。
Ｉ＝Ｌ＊Ｒ …(2-1)
ただし、(2-1)式は、線形画像としての基画像Ｉに対するものであり、対数画像としての基画像Ｉに対しては、以下の(2-2)式に示す変形式で表される。
Ｌｏｇ（Ｉ）＝Ｌｏｇ（Ｌ）＋Ｌｏｇ（Ｒ） …(2-2)

第１照明成分抽出部７４ｍは、画像Ｉ１から該画像Ｉ１の照明成分Ｌ１の対数値であるＬｏｇ（Ｌ１）を抽出する。このＬｏｇ（Ｌ１）の抽出は、以下の(2-3)式に示す変換によって行われる。
Ｌｏｇ（Ｌ１）＝Ｌｏｇ（Ｆ（Ｉ１）） …(2-3)
なお、Ｌｏｇ（Ｆ（Ｉ１））を近似的にＦ（Ｌｏｇ（Ｉ１））としてもよい（以下の(2-3)’式参照）。
Ｌｏｇ（Ｌ１）＝Ｆ（Ｌｏｇ（Ｉ１）） …(2-3)’
但し、上記各式中の“Ｆ”は、照明成分抽出用の変換を示している。照明成分は画像の低周波成分で近似できるため、当該変換においてローパスフィルタ（ＬＰＦ；線形フィルタ）やメディアンフィルタ（非線形フィルタ）等の低周波抽出用のフィルタを用いる。

第１照明成分圧縮部７５ｍは、第１照明成分抽出部７４ｍにより抽出された照明成分Ｌｏｇ（Ｌ１）に対する圧縮処理を行い、照明成分Ｌ１を圧縮してなる照明成分Ｌ１’の対数値Ｌｏｇ（Ｌ１’）を出力する。ＤＲ圧縮における所定の圧縮率（ＤＲ圧縮率）を「ｃ１」とすると、Ｌｏｇ（Ｌ１’）は以下の(2-4)式で示される。
Ｌｏｇ（Ｌ１’）＝Ｌｏｇ（Ｌ１）＊ｃ１ …(2-4)

第１ノイズ除去部７６ｍは、第１照明成分抽出部７４ｍからの照明成分の情報（照明成分情報）に基づいて、画像Ｉ１の反射率成分Ｒ１の対数値Ｌｏｇ（Ｒ１）に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分Ｒ１’（ノイズ除去反射率成分画像Ｒ１’）の対数値Ｌｏｇ（Ｒ１’）を出力する。なお、このＬｏｇ（Ｒ１）は、減算部７８１ｍによって画像Ｉ１からＬｏｇ（Ｌ１）を減算することで得られる。このノイズ除去処理の詳細については後述する。

加算・線形変換部７７ｍは、第１照明成分圧縮部７５ｍから入力されたＬｏｇ（Ｌ１’）と、第１ノイズ除去部７６ｍから入力されたＬｏｇ（Ｒ１’）とを加算処理により合成するとともに、当該合成してなる対数画像を線形画像に変換して出力する。すなわち、画像Ｉ１に対する階調変換（ＤＲ圧縮及びノイズ除去）後の画像を画像Ｉ１’（ノイズ除去画像Ｉ１’）とすると、加算・線形変換部７７ｍは、以下(2-5)式の関係から求められる以下(2-6)式で示す画像Ｉ１’を出力する。なお、この画像Ｉ１’は画像合成部７３へ出力される。
Ｌｏｇ（Ｉ１’）＝Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１’） …(2-5)
Ｉ１’＝ｅｘｐ（Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１）） …(2-6)

一方、低輝度側特性変換部７２ｎは、低輝度側特性領域の画像の階調変換（ＤＲ圧縮）を行うものであり、第２照明成分抽出部７４ｎ、第２照明成分圧縮部７５ｎ及び第２ノイズ除去部７６ｎを備えている。第２照明成分抽出部７４ｎは、画像Ｉ２から照明成分Ｌ２を抽出する。この画像Ｉ２からの照明成分Ｌ２の抽出処理は以下の(2-7)式で示される。
Ｌ２＝Ｆ（Ｉ２） …(2-7)
但し、上記式中の“Ｆ”は、照明成分抽出用の変換を示しており、上述と同様、この変換にはローパスフィルタやメディアンフィルタ等の低周波抽出用のフィルタが用いられる。なお、画像Ｉ２の反射率成分Ｒ２は、上記(2-1)式からＲ２＝Ｉ２／Ｌ２で求められる。

第２照明成分圧縮部７５ｎは、第２照明成分抽出部７４ｎにより抽出された上記照明成分Ｌ２の対数値に対する圧縮処理を行い、照明成分Ｌ２を圧縮してなる照明成分Ｌ２’を出力する。この場合のＤＲ圧縮において上記第１照明成分圧縮部７５ｍと同じ圧縮率「ｃ１」を用いると、照明成分Ｌ２’は、以下(2-8)式で与えられる。
Ｌ２’＝ｅｘｐ（Ｌｏｇ（Ｌ２）＊ｃ１） …(2-8)

第２ノイズ除去部７６ｎは、第２照明成分抽出部７４ｎからの照明成分情報に基づいて、画像Ｉ２の反射率成分Ｒ２に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分Ｒ２’（ノイズ除去反射率成分画像Ｒ２’）を出力する。なお、この反射率成分Ｒ２は、除算部７８１ｎによって画像Ｉ２からＬ２を除算することで得られる。このノイズ除去処理の詳細については後述する。

第２ノイズ除去部７６ｎにおいてノイズ除去処理が施された画像は、乗算部７８２ｎによる乗算処理によって第２照明成分圧縮部７５ｎからの照明成分Ｌ２’と合成された後、画像Ｉ２’（ノイズ除去画像Ｉ２’）として画像合成部７３に入力される。画像合成部７３は、高輝度側特性変換部７２ｍ及び低輝度側特性変換部７２ｎから入力されたノイズ除去画像Ｉ１’及びＩ２’を合成（加算処理）して合成画像Ｏとして後段の処理部へ出力する。

ここで、上記第１及び第２ノイズ除去部７６ｍ、７６ｎについて詳述する。本実施形態では、階調変換処理においてノイズ除去を行うが、コアリング処理に必要な高周波成分が反射率成分として既に抽出されているので、その反射率成分に対してノイズ除去を行えばよい。したがって、第１及び第２ノイズ除去部７６ｍ、７６ｎは、それぞれ図１２、１３のブロック図に示すように、コアリング処理によってノイズ除去を行う機能部分だけで構成されるものとなる。この第１及び第２ノイズ除去部７６ｍ、７６ｎでは、入力された反射率成分に対し、それぞれコアリング処理部７６２ｍ、７６２ｎによって図６に示すコアリング特性６３０に基づくコアリング処理を行う。ただし、第１及び第２ノイズ除去部７６ｍ、７６ｎでは、それぞれコアリング処理におけるコアリング係数の設定方法が異なっており、第１ノイズ除去部７６ｍでは、係数算出部７６１ｍを備え、該係数算出部７６１ｍによって階調変換の伸張度合いに応じて算出されるコアリング係数（ｔｈ）を使用するが、第２ノイズ除去部７６ｎでは当該階調変換の伸張度合いに応じた算出処理を行うことなく低輝度側特性のコアリング係数（ｔｈ０）を使用する。

また、第１の実施形態におけるノイズ除去部６の係数算出部６４（第２の実施形態におけるノイズ除去部６ａの係数算出部６４ｍ）では、ＬＰＦを用いて抽出した低周波成分を入力としてコアリング係数を算出する構成としているが、第１ノイズ除去部７６ｍの係数算出部７６１ｍでは、照明成分Ｌ１の対数値Ｌｏｇ（Ｌ１）が低周波成分に相当するので、このＬｏｇ（Ｌ１）を入力としてコアリング係数を算出する構成となっている。

（コアリング係数算出の考え方）
ここで、第３の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。固体撮像素子３による線形／対数画像の光電変換特性は、第１の実施形態と同様、以下の(3-1)、(3-2)式で表され、上記と同様、０≦Ｘ≦Ｘｔｈ及びＸ＞Ｘｔｈの各場合でコアリング係数の算出方法が異なる。
Ｙ＝ａ＊Ｘ＋ｂ（０≦Ｘ≦Ｘｔｈ） …(3-1)
Ｙ＝α＊Ｌｎ（Ｘ）＋β（Ｘ＞Ｘｔｈ）…(3-2)
但し、座標（Ｘｔｈ、Ｙｔｈ）はこの光電変換特性の変曲点である。

［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数ｔｈは、第１の実施形態と同様、低輝度側特性領域に対して一律に設定した値ｔｈ０を用いる（以下(3-3)式参照）。
ｔｈ＝ｔｈ０ …(3-3)

［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(3-2)式より、以下の(3-4)式となる。
Ｙ＝α＊Ｌｎ（Ｘ）＋β＋Ｎ …(3-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）

上記(3-4)式を線形特性（Ｙ＝Ｘ）に変換すると、以下の(3-5)となる。
Ｙ＿ＬＩＮ＝ｅｘｐ（（Ｙ−β）／α）
＝ｅｘｐ（（α＊Ｌｎ（Ｘ）＋β＋Ｎ−β）／α）
＝ｅｘｐ（Ｌｎ（Ｘ）＋Ｎ／α）
＝ｅｘｐ（Ｌｎ（Ｘ））＊ｅｘｐ（Ｎ／α）
＝Ｘ＊ｅｘｐ（Ｎ／α） …(3-5)
低周波成分をＬとすると、ノイズ除去処理を行うための反射率成分Ｒは、上記(3-5)式より、以下の(3-6)式で与えられる。
Ｒ＝Ｙ＿ＬＩＮ／Ｌ
＝Ｘ／Ｌ＊ｅｘｐ（Ｎ／α） …(3-6)

ここでのノイズ除去処理においては、対数画像に対してノイズ除去を行うので、上記(3-6)式を対数特性に変換すると、以下の(3-7)式となる。
Ｌｎ（Ｒ）＝Ｌｎ（Ｘ／Ｌ＊ｅｘｐ（Ｎ／α））
＝Ｌｎ（Ｘ／Ｌ）＋Ｌｎ（ｅｘｐ（Ｎ／α））
＝Ｌｎ（Ｘ／Ｌ）＋Ｎ／α …(3-7)
また、ノイズ除去量ΔＮによってノイズ除去を行い、当該ノイズ除去後の反射率成分Ｒ’を求める。ノイズ除去後の反射率成分Ｒ’は、上記(3-7)より、以下の(3-8)式で与えられる。
Ｌｎ（Ｒ’）＝Ｌｎ（Ｘ／Ｌ）＋Ｎ／α−ΔＮ …(3-8)

上記(3-8)式を線形特性に変換すると、以下の(3-9)式となる。
Ｒ’＝ｅｘｐ（Ｌｎ（Ｘ／Ｌ）＋Ｎ／α−ΔＮ）
＝ｅｘｐ（Ｌｎ（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ）
＝（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ） …(3-9)
この反射率成分Ｒ’と、照明成分Ｌが圧縮された照明成分Ｌ’とを合成して、階調変換後の出力Ｙ’を算出する。出力Ｙ’は、上記(3-9)式より、以下の(3-10)式で与えられる。
Ｙ’＝Ｌ’＊Ｒ’
＝Ｌ’＊（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ） …(3-10)
したがって、階調変換後のノイズ量Ｎ’は、上記(3-10)式より、以下の(3-11)式で与えられる。
Ｎ’＝Ｙ’−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（Ｘ／Ｌ）＊ｅｘｐ（Ｎ／α−ΔＮ）−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（Ｘ／Ｌ）＊（ｅｘｐ（Ｎ／α−ΔＮ）−１） …(3-11)

ここで、ノイズ成分だけを考えるためにノイズ以外の反射率成分が「１」であるとすると、上記(3-11)式においてノイズ以外の反射率成分に該当する項のＸ／Ｌに値「１」を代入して、以下の(3-12)式となる。
Ｎ’＝Ｌ’＊（ｅｘｐ（Ｎ／α−ΔＮ）−１） …(3-12)

コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、また、階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とすると、上記(3-12)式より、以下の(3-13-1)式及び(3-13-2)式が得られる。
Ｎ１’＝Ｌ１＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１） …(3-13-1)
Ｎ２’＝Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ２）−１） …(3-13-2)

これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(3-13-1)式及び(3-13-2)式とＮ１’＝Ｎ２’の関係とより、以下の(3-14)式が得られる。
Ｌ１＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＝Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ２）−１） …(3-14)
この(3-14)式を変形してゆくと、
Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＝ｅｘｐ（Ｎ／α−ΔＮ２）−１
Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＋１＝ｅｘｐ（Ｎ／α）／ｅｘｐ（ΔＮ２）
ｅｘｐ（ΔＮ２）＝ｅｘｐ（Ｎ／α）／（Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＋１）となり、
ΔＮ２について整理すると、以下の(3-15)式が得られる。
ΔＮ２＝Ｌｎ（ｅｘｐ（ΔＮ２））
＝Ｌｎ（ｅｘｐ（Ｎ／α）／（Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ΔＮ１）−１）＋１））…(3-15)

したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(3-15)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(3-16)式で与えられるものとなる。
ｔｈ＝Ｌｎ（ｅｘｐ（Ｎ／α）／（Ｌ１／Ｌ２＊（ｅｘｐ（Ｎ／α−ｔｈ０）−１）＋１）） …(3-16)

図１４は、第３の実施形態におけるデジタルカメラ１ａの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ４１）。この撮影画像（基画像Ｉ）が階調変換部７ａに入力される（ステップＳ４２）。この入力された基画像Ｉから高輝度側特性領域（画像Ｉ１；対数画像）と低輝度側特性領域（画像Ｉ２；線形画像）とが領域分割抽出部７１によって分割抽出される（ステップＳ４３）。この分割抽出された画像が高輝度側特性領域の画像である場合には（ステップＳ４４のＹＥＳ）、第１照明成分抽出部７４ｍによって画像Ｉ１から照明成分（Ｌｏｇ（Ｌ１））が抽出され（ステップＳ４５）、第１照明成分抽出部７４ｍからの照明成分情報に基づいて、第１ノイズ除去部７６ｍにおける係数算出部７６１ｍによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される（ステップＳ４６）。この算出されたコアリング係数に基づいて、上記照明成分が画像Ｉ１から減算されてなる反射率成分（Ｌｏｇ（Ｒ１））に対するコアリング処理がコアリング処理部７６２ｍによって行われ（ステップＳ４７）、このコアリング処理が施された反射率成分（Ｌｏｇ（Ｒ１’））と、上記第１照明成分抽出部７４ｍにより抽出された照明成分が第１照明成分圧縮部７５ｍによって圧縮されてなる照明成分（Ｌｏｇ（Ｌ１’））とが、加算・線形変換部７７ｍによって合成されるとともに対数画像が線形変換されて線形画像としての画像Ｉ１’が得られる（ステップＳ４８、Ｓ４９）。ただし、ステップＳ４８及びＳ４９の動作は、どちらが先に行われてもよい。

上記ステップＳ４４において、分割抽出された画像が低輝度側特性領域の画像である場合には（ステップＳ４４のＮＯ）、第２照明成分抽出部７４ｎによって画像Ｉ２から照明成分（Ｌ２）が抽出され（ステップＳ５０）、この照明成分が画像Ｉ２から除算されてなる反射率成分（Ｒ２）に対するコアリング処理が第２ノイズ除去部７６ｎにおけるコアリング処理部７６２ｎによって行われる（ステップＳ５１）。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部７６２ｎ内に固定値として予め記憶されている値（上述のｔｈ０）が用いられる。このコアリング処理が施された反射率成分（Ｒ２’）と、上記第２照明成分抽出部７４ｎにより抽出された照明成分が第２照明成分圧縮部７５ｎによって圧縮されてなる照明成分（Ｌ２’）とが、乗算部７８２ｎによって合成されて画像Ｉ２’が得られる（ステップＳ５２）。そして、この低輝度側特性領域の画像Ｉ２’と上記高輝度側特性領域の画像Ｉ１’とが画像合成部７３によって合成され、階調変換部７ａから合成画像Ｏとして出力される（ステップＳ５３）。

（実施形態４）
上記デジタルカメラ１やデジタルカメラ１ａにおいては、ノイズ除去や階調変換（ＤＲ圧縮）などの各種信号処理を該デジタルカメラ内で行う構成としているが、これら信号処理をデジタルカメラ内でなく、デジタルカメラにより得られた撮像データが与えられるＰＣ（パーソナルコンピュータ）やＰＤＡ（携帯情報端末）等の情報処理装置（デジタルカメラに対する外部装置）内で行う構成としてもよい。このような構成を備えた撮像システムについて説明する。図１５に示すように、撮像システム１００は、デジタルカメラ１ｂと情報処理装置２００とを備えている。

デジタルカメラ１ｂは、デジタルカメラ１と比べて、ノイズ除去部６がなく、入出力Ｉ／Ｆ部１２を備えたものとなっている。その他の構成は同じでありその説明は省略する。入出力Ｉ／Ｆ部１２は、有線或いは無線による所定のネットワーク（例えばＬＡＮ）を介して接続された情報処理装置２００との間における種々のデータのやり取り（授受；送受信）を行うものである。入出力Ｉ／Ｆ部１２は、情報処理装置２００との回線確保処理を行うとともに、画像メモリ８に格納された画像信号を読み出して情報処理装置２００（後述の入出力Ｉ／Ｆ部２６０）へ送信する。なお、画像メモリ８は、固体撮像素子３によって得られた撮像データ（Ａ／Ｄ変換部５からの画像信号）を、情報処理装置２００に対する送信前に一時的に格納する場所として使用される。

情報処理装置２００は、ＣＰＵ等からなり情報処理装置２００全体の動作制御（データの演算処理）を司る全体制御部２１０と、デジタルカメラ１ｂから送信されてきた撮像データ等のデータを一時的に格納する画像メモリ２２０と、所定のアプリケーションや各種データが格納されるＨＤＤ（ハードディスク）２３０と、画像（映像）等を表示するディスプレイ２４０と、操作指示入力（データの入力）を行うキーボードやマウスからなる操作部２５０と、外部すなわちデジタルカメラ１ｂ（入出力Ｉ／Ｆ部１２）とのデータのやり取りを行う入出力Ｉ／Ｆ部２６０とを備えている。このような情報処理装置２００は、全体制御部２１０（例えばこの全体制御部２１０内に備えたノイズ除去部や階調変換部）によって、デジタルカメラ１ｂから送信されてきた撮像データに対し、上記各実施形態と同様にノイズ除去処理（コアリング処理）や階調変換処理（ＤＲ圧縮）を行う。この処理結果の情報（画像）はＨＤＤ２３０等に記録されるとともに、ディスプレイ２４０上に表示される。なお、撮像データをディスプレイ２４０に表示させて逐次その処理内容を確認しながらノイズ除去処理や階調変換処理を行う構成としてもよい。また、デジタルカメラ１ｂ及び情報処理装置２００間のデータのやり取りを行う構成は、上記構成に限らず、例えばメモリカード等の記録媒体（ストレージメディア）を介して行う構成であってもよい。

図１６は、第４の実施形態における撮像システム１００の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、情報処理装置２００からデジタルカメラ１ｂに対して画像取得の指示信号が送信される（逆に、デジタルカメラ１ｂから情報処理装置２００に当該指示信号が送信されてもよい）と（ステップＳ６１）、情報処理装置２００及びデジタルカメラ１ｂ（各入出力Ｉ／Ｆ部）により、相互の回線を確保するための処理が開始される（ステップＳ６２）。回線が確保されなければ（ステップＳ６３のＮＯ）、ディスプレイ２４０（又はモニタ部１０）にエラー表示がなされ（ステップＳ６４）、ステップＳ６２に戻って引き続き回線確保処理が行われる。回線が確保されると（ステップＳ６３のＹＥＳ）、情報処理装置２００からデジタルカメラ１ｂに対して撮影画像の信号出力を要求する信号が送信され（この逆でもよい）（ステップＳ６５）、デジタルカメラ１ｂから情報処理装置２００へ画像データが送信される（ステップＳ６６）。情報処理装置２００では、この画像データを受けて、コアリング係数等の各種パラメータの設定処理が行われ（ステップＳ６７）、このパラメータに基づいて、上記ノイズ除去処理（コアリング処理）や階調変換処理（ＤＲ圧縮）等の各種信号処理が行われる（ステップＳ６８）。そして、この処理結果がディスプレイ２４０（又はモニタ部１０）に表示されるとともに、処理後の画像データがＨＤＤ２３０に格納される（ステップＳ６９）。上記コアリング係数等の各種パラメータが変更される場合には（ステップＳ７０のＹＥＳ）、パラメータの再設定処理がなされ（ステップＳ７１）、上記ステップＳ６８に戻ってこの再設定されたパラメータに基づいて上記信号処理が行われる。パラメータが変更されない場合には（ステップＳ７０のＮＯ）、フロー終了となる。

ところで、上記各実施形態では、複数の異なる光電変換特性を有する固体撮像素子３として、低輝度側が線形特性であり高輝度側が対数特性である（線形／対数特性の）光電変換特性を有するイメージセンサを用いているが、これに限らず、例えば、可変蓄積時間型撮像センサや可変蓄積容量型撮像センサ（以降、これら撮像センサのことを、適応型撮像センサという）を用いてもよい。すなわち、この適応型撮像センサは、図１７に示すように低輝度側及び高輝度側共に線形の光電変換特性（第１線形特性１７１、第２線形特性１７２）を有しており（座標（Ｘｔｈ、Ｙｔｈ）は変曲点である）、輝度レベルに応じて各線形特性のグラフ上の傾きが変化する。この変化は所定の出力レベルにおいて行われ、上記線形／対数特性の撮像センサと同様、複数の異なる光電変換特性となる。この適応型撮像センサにおいても、上記各実施形態と同様のノイズ除去処理が可能であるものの、高輝度側特性が対数特性ではなく線形特性となっているので、これに伴い第１の実施形態（第２の実施形態を含む）、及び第３の実施形態について以下に示す変更が必要となる。この変更について、以下、実施形態５及び実施形態６において説明する。第４の実施形態については当該変更点が同様に適用されるので、その説明を省略する。

（実施形態５）
まず、第１の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、ノイズ除去部６（６ａ）におけるコアリング係数の算出の考え方の変更が必要となる。ただし、このノイズ除去部における構成（機能ブロック構成）については変更不要である。

（係数の算出の考え方）
ここで、第５の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。第１の実施形態の場合と異なり、本実施形態の適応型撮像センサの光電変換特性は、以下の(4-1)、(4-2)式に示す入力輝度Ｘに対する画素値Ｙ（出力）の関係式で表される（基画像Ｉの光電変換特性に相当）。
Ｙ＝ａ１＊Ｘ＋ｂ１（０≦Ｘ≦Ｘｔｈ） …(4-1)
Ｙ＝ａ２＊Ｘ＋ｂ２（Ｘ＞Ｘｔｈ） …(4-2)
但し、座標（Ｘｔｈ、Ｙｔｈ）がこの光電変換特性の変曲点である。なお、この(4-1)式及び(4-2)式の光電変換特性を有する固体撮像素子３によって得られる撮影画像のことを線形／線形画像という。

［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となり、第１の実施形態と同様、コアリング係数ｔｈは、値ｔｈ０となる（以下(4-3)式参照）。
ｔｈ＝ｔｈ０ …(4-3)

［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(4-2)式より、(4-4)式となる。
Ｙ＝ａ２＊Ｘ＋ｂ２＋Ｎ …(4-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）

上記(4-4)式を線形特性（Ｙ＝Ｘ）に変換し、線形特性出力Ｙ＿ＬＩＮを算出すると、以下の(4-5)式となる。
Ｙ＿ＬＩＮ＝（Ｙ−ｂ２）／ａ２
＝（ａ２＊Ｘ＋ｂ２＋Ｎ−ｂ２）／ａ２
＝Ｘ＋Ｎ／ａ２ …(4-5)
低周波成分をＬとすると、ノイズ除去処理を行うための高周波成分Ｈは、上記(4-5)式より、以下の(4-6)式で与えられる。
Ｈ＝Ｙ＿ＬＩＮ−Ｌ
＝Ｘ＋Ｎ／ａ２−Ｌ …(4-6)

高周波成分に対してノイズ除去量ΔＮのノイズ除去を行うと、ノイズ除去後の高周波成分Ｈ’は、上記(4-6)式より、以下の(4-7)式となる。
Ｈ’＝Ｘ＋Ｎ／ａ２−Ｌ−ΔＮ …(4-7)
この高周波成分Ｈ’に低周波成分Ｌを加えることで、ノイズ除去後の線形特性出力Ｙ’＿ＬＩＮを算出する。すなわち、Ｙ’＿ＬＩＮは以下の(4-8)式で与えられる。
Ｙ’＿ＬＩＮ＝Ｌ＋Ｈ’
＝Ｌ＋Ｘ＋Ｎ／ａ２−Ｌ−ΔＮ
＝Ｘ＋Ｎ／ａ２−ΔＮ …(4-8)

上記線形特性出力Ｙ’＿ＬＩＮを照明成分Ｂと反射率成分Ｄとに分割して階調変換出力Ｙ’＿ｄｒｃを算出する。
Ｙ’＿ＬＩＮ＝Ｂ＊Ｄ
よって、Ｄ＝Ｙ’＿ＬＩＮ／Ｂ
また、照明成分Ｂを圧縮して階調変換を行う。階調変換後の照明成分をＢ’とすると、
Ｙ’＿ｄｒｃ＝Ｂ’＊Ｄ
＝Ｂ’＊Ｙ’＿ＬＩＮ／Ｂ
したがって、階調変換後のノイズ量Ｎ’は、以下の(4-9)式で与えられる。
Ｎ’＝Ｙ’＿ｄｒｃ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’＊Ｙ’＿ＬＩＮ／Ｂ−Ｂ’＊Ｘ／Ｂ
＝Ｂ’／Ｂ＊（Ｙ’＿ＬＩＮ−Ｘ）
＝Ｂ’／Ｂ＊（Ｘ＋Ｎ／ａ２−ΔＮ−Ｘ）
＝Ｂ’／Ｂ＊（Ｎ／ａ２−ΔＮ） …(4-9)

ここで、階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とし、これら照明成分Ｌ１、Ｌ２に対する階調変換後（ＤＲ圧縮後）の照明成分をそれぞれＬ１’、Ｌ２’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２とすると、上記(4-9)式より、以下の(4-10-1)式及び(4-10-2)式が得られる。
Ｎ１’＝Ｌ１’／Ｌ１＊（Ｎ／ａ２−ΔＮ１） …(4-10-1)
Ｎ２’＝Ｌ２’／Ｌ２＊（Ｎ／ａ２−ΔＮ２） …(4-10-2)

これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(4-10-1)式及び(4-10-2)式とＮ１’＝Ｎ２’の関係とより、以下の(4-11)式が得られる。
Ｌ１’／Ｌ１＊（Ｎ／ａ２−ΔＮ１）＝Ｌ２’／Ｌ２＊（Ｎ／ａ２−ΔＮ２） …(4-11)
この(4-11)式を変形してゆくと、
（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（Ｎ／ａ２−ΔＮ１）＝Ｎ／ａ２−ΔＮ２となり、ΔＮ２について整理すると、以下の(4-12)式が得られる。
ΔＮ２＝Ｎ／ａ２−（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（Ｎ／ａ２−ΔＮ１） …(4-12)

したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(4-12)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(4-13)式で与えられるものとなる。
ｔｈ＝Ｎ／ａ２−（Ｌ１’／Ｌ１）／（Ｌ２’／Ｌ２）＊（Ｎ／ａ２−ｔｈ０） …(4-13)

なお、本第５の実施形態におけるノイズ除去に関する動作のフローは、上記図８に示すフローと同様であり、その説明を省略する。

（実施形態６）
次に、第３の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、階調変換部７ａにおける構成の変更及び第１ノイズ除去部７６ｍにおけるコアリング係数の算出の考え方の変更が必要となる。まず階調変換部７ａの構成が変更された階調変換部７ｂについて説明する。

図１８は、第３の実施形態において適応型撮像センサを用いる場合の階調変換部７ｂの機能ブロック図である。同図に示すように階調変換部７ｂは、第３の実施形態における階調変換部７ａと比べて、領域分割抽出部７１’、高輝度側特性変換部７２ｍ’及び画像合成部７３’が異なる。その他の構成については同じであり、その説明を省略する。

ここでの階調変換部７ｂに入力される基画像Ｉは、第５の実施形態と同様、(4-1)式及び(4-2)式の関係の光電変換特性を有する画像（線形／線形画像）である。領域分割抽出部７１’は、この基画像Ｉから高輝度側特性の線形画像（画像Ｉ１）と、低輝度側特性の線形画像（画像Ｉ２）とを分割抽出（分離）する。領域分割抽出部７１’は、以下の(5-1)式に示す関係式に基づいて基画像Ｉの画素値を判別することで画像Ｉ１と画像Ｉ２とに分ける。なお、この画像Ｉ１、Ｉ２はそれぞれ高輝度側特性変換部７２ｍ’及び低輝度側特性変換部２ｎに入力される。
ｉｆ（Ｉ≧Ｙｔｈ）
Ｉ１＝（Ｉ−ｂ２）／ａ２、Ｉ２＝０ （高輝度側特性）
ｅｌｓｅ
Ｉ１＝０、Ｉ２＝（Ｉ−ｂ１）／ａ１ （低輝度側特性） …(5-1)

高輝度側特性変換部７２ｍ’は、第１照明成分抽出部７４ｍ’、第１照明成分圧縮部７５ｍ’及び第１ノイズ除去部７６ｍ’を備えている。第１照明成分抽出部７４ｍ’は、線形画像としての画像Ｉ１から照明成分Ｌ１を抽出する。この画像Ｉ１からの照明成分Ｌ１の抽出処理は以下の(5-2)式で示される。
Ｌ１＝Ｆ（Ｉ１） …(5-2)
但し、上記式中の“Ｆ”は、第３の実施形態と同様、照明成分抽出用の変換であり、低周波抽出用のフィルタが用いられる。

第１照明成分圧縮部７５ｍ’は、第１照明成分抽出部７４ｍ’により抽出された照明成分Ｌ１に対する圧縮処理を行い、照明成分Ｌ１を圧縮してなる照明成分Ｌ１’を出力する。この場合のＤＲ圧縮における所定の圧縮率を「ｃ３」で表すと、照明成分Ｌ１’は以下(5-3)式で与えられる。
Ｌ１’＝ｅｘｐ（Ｌｏｇ（Ｌ１）＊ｃ３） …(5-3)

第１ノイズ除去部７６ｍ’は、第１照明成分抽出部７４ｍ’からの照明成分情報に基づいて、画像Ｉ１の反射率成分Ｒ１に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分Ｒ１’（ノイズ除去反射率成分画像Ｒ１’）を出力する。なお、この反射率成分Ｒ１は、除算部７８１ｍ’によって画像Ｉ１からＬ１を除算することで得られる。このノイズ除去処理の詳細については後述する。

第１ノイズ除去部７６ｍ’においてノイズ除去処理が施された画像は、乗算部７７ｍ’による乗算処理によって第１照明成分圧縮部７５ｍ’からの照明成分Ｌ１’と合成された後、画像Ｉ１’（ノイズ除去画像Ｉ１’）として画像合成部７３’に入力される。画像合成部７３’は、高輝度側特性変換部７２ｍ’及び低輝度側特性変換部７２ｎから入力された、いずれも線形画像としてのノイズ除去画像Ｉ１’及びＩ２’を合成（加算処理）して合成画像Ｏとして後段の処理部へ出力する。

ここで、上記第１ノイズ除去部７６ｍ’について詳述する。ノイズ除去処理の考え方は、第３の実施形態における第１ノイズ除去部７６ｍと同じであるが、反射率成分とコアリング係数算出用の入力が線形特性となる。すなわち、第１ノイズ除去部７６ｍ’は、図１９に示す構成となっており、照明成分Ｌ１の情報に基づいて係数算出部７６１ｍ’で算出されたコアリング係数を用いて、コアリング処理部７６２ｍ’によって反射率成分Ｒ１に対するコアリング処理を行う構成となっている。

（係数の算出の考え方）
ここで、第６の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。本実施形態の適応型撮像センサの光電変換特性は、上記第５の実施形態と同様、以下の(6-1)、(6-2)式に示す入力輝度Ｘに対する画素値Ｙ（出力）の関係式で表される。
Ｙ＝ａ１＊Ｘ＋ｂ１（０≦Ｘ≦Ｘｔｈ） …(6-1)
Ｙ＝ａ２＊Ｘ＋ｂ２（Ｘ＞Ｘｔｈ） …(6-2)

［０≦Ｘ≦Ｘｔｈの場合］
低輝度側特性領域におけるコアリング係数の算出となり、第５の実施形態と同様、コアリング係数ｔｈは、値ｔｈ０となる（以下(6-3)式参照）。
ｔｈ＝ｔｈ０ …(6-3)

［Ｘ＞Ｘｔｈの場合］
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(6-2)式より、(6-4)式となる。
Ｙ＝ａ２＊Ｘ＋ｂ２＋Ｎ …(6-4)
但し、Ｎ：画像信号に含まれているノイズ（高輝度部、低輝度部共に同じ）

上記(6-4)式を線形特性（Ｙ＝Ｘ）に変換し、線形特性出力Ｙ＿ＬＩＮを算出すると、以下の(6-5)式となる。
Ｙ＿ＬＩＮ＝（Ｙ−ｂ２）／ａ２
＝（ａ２＊Ｘ＋ｂ２＋Ｎ−ｂ２）／ａ２
＝Ｘ＋Ｎ／ａ２ …(6-5)
低周波成分をLとすると、ノイズ除去処理を行うための反射率成分Ｒは、上記(6-5)式より、以下の(6-6)式で与えられる。
Ｒ＝Ｙ＿ＬＩＮ／Ｌ
＝（Ｘ＋Ｎ／ａ２）／Ｌ …(6-6)
ノイズ除去量ΔＮによってノイズ除去を行うと、ノイズ除去後の反射率成分Ｒ’は、上記(6-6)より、以下の(6-7)式で与えられる。
Ｒ’＝（Ｘ＋Ｎ／ａ２）／Ｌ−ΔＮ …(6-7)

この反射率成分Ｒ’と、照明成分Ｌが圧縮された照明成分Ｌ’とを合成して、階調変換後の出力Ｙ’を算出する。出力Ｙ’は、上記(6-7)式より、以下の(6-8)式で与えられる。
Ｙ’＝Ｌ’＊Ｒ’
＝Ｌ’＊（（Ｘ＋Ｎ／ａ２）／Ｌ−ΔＮ） …(6-8)
したがって、階調変換後のノイズ量Ｎ’は、上記(6-8)式より、以下の(6-9)式で与えられる。
Ｎ’＝Ｙ’−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（（Ｘ＋Ｎ／ａ２）／Ｌ−ΔＮ）−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（Ｘ／Ｌ）＋Ｌ’＊（Ｎ／ａ２）／Ｌ−Ｌ’＊ΔＮ−Ｌ’＊（Ｘ／Ｌ）
＝Ｌ’＊（（Ｎ／ａ２）／Ｌ−ΔＮ） …(6-9)

コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔＮ１、ΔＮ２として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後（ＤＲ圧縮後）の低輝度部及び高輝度部のノイズをそれぞれＮ１’、Ｎ２’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれＬ１、Ｌ２とし、これら照明成分Ｌ１、Ｌ２に対する階調変換後（ＤＲ圧縮後）の照明成分をそれぞれＬ１’、Ｌ２’とすると、上記(6-9)式より、以下の(6-10-1)式及び(6-10-2)式が得られる。
Ｎ１’＝Ｌ１’＊（（Ｎ／ａ２）／Ｌ１−ΔＮ１） …(6-10-1)
Ｎ２’＝Ｌ２’＊（（Ｎ／ａ２）／Ｌ２−ΔＮ２） …(6-10-2)

これらから、Ｎ１’＝Ｎ２’となるΔＮ１、ΔＮ２の関係を導き出す。すなわち、(6-10-1)式及び(6-10-2)式とＮ１’＝Ｎ２’の関係とより、以下の(6-11)式が得られる。
Ｌ１’＊（（Ｎ／ａ２）／Ｌ１−ΔＮ１）＝Ｌ２’＊（（Ｎ／ａ２）／Ｌ２−ΔＮ２） …(6-11)
この(6-11)式を変形すると、
Ｌ１’／Ｌ２’*（（Ｎ／ａ２）／Ｌ１−ΔＮ１）＝ （Ｎ／ａ２）／Ｌ２−ΔＮ２となり、ΔＮ２について整理すると、以下の(6-12)式が得られる。
ΔＮ２＝（Ｎ／ａ２）／（Ｌ２*（Ｌ１’／ Ｌ２’）＊（（Ｎ／ａ２）／Ｌ１−ΔＮ１）） …(6-12)

したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(6-12)式により、高輝度側特性領域におけるコアリング係数ｔｈは、以下の(6-13)式で与えられるものとなる。
ｔｈ＝（Ｎ／ａ２）／（Ｌ２*（Ｌ１’／ Ｌ２’）＊（（Ｎ／ａ２）／Ｌ１−ｔｈ０）） …(6-13)

図２０は、第６の実施形態におけるデジタルカメラ１ａの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子３による撮像によって撮影画像が得られる（ステップＳ８１）。この撮影画像（基画像Ｉ）が階調変換部７ｂに入力される（ステップＳ８２）。この入力された基画像Ｉから高輝度側特性領域（画像Ｉ１；線形画像）と低輝度側特性領域（画像Ｉ２；線形画像）とが領域分割抽出部７１’によって分割抽出される（ステップＳ８３）。この分割抽出された画像が高輝度側特性領域の画像である場合には（ステップＳ８４のＹＥＳ）、第１照明成分抽出部７４ｍ’によって画像Ｉ１から照明成分（Ｌ１）が抽出され（ステップＳ８５）、第１照明成分抽出部７４ｍ’からの照明成分情報に基づいて、第１ノイズ除去部７６ｍ’における係数算出部７６１ｍ’によって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される（ステップＳ８６）。この算出されたコアリング係数に基づいて、上記照明成分が画像Ｉ１から除算されてなる反射率成分（Ｒ１）に対するコアリング処理がコアリング処理部７６２ｍ’によって行われ（ステップＳ８７）、このコアリング処理が施された反射率成分（Ｒ１’）と、上記第１照明成分抽出部７４ｍ’により抽出された照明成分が第１照明成分圧縮部７５ｍ’によって圧縮されてなる照明成分（Ｌ１’）とが、乗算部７７ｍ’によって合成されて画像Ｉ１’が得られる（ステップＳ８８）。

上記ステップＳ８４において、分割抽出された画像が低輝度側特性領域の画像である場合には（ステップＳ８４のＮＯ）、第２照明成分抽出部７４ｎによって画像Ｉ２から照明成分（Ｌ２）が抽出され（ステップＳ８９）、この照明成分が画像Ｉ２から除算されてなる反射率成分（Ｒ２）に対するコアリング処理が第２ノイズ除去部７６ｎにおけるコアリング処理部７６２ｎによって行われる（ステップＳ９０）。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部７６２ｎ内に固定値として予め記憶されている値（上述のｔｈ０）が用いられる。このコアリング処理が施された反射率成分（Ｒ２’）と、上記第２照明成分抽出部７４ｎにより抽出された照明成分が第２照明成分圧縮部７５ｎによって圧縮されてなる照明成分（Ｌ２’）とが、乗算部７８２ｎによって合成されて画像Ｉ２’が得られる（ステップＳ９１）。そして、この低輝度側特性領域の画像Ｉ２’と上記高輝度側特性領域の画像Ｉ１’とが画像合成部７３’によって合成され、階調変換部７ｂから合成画像Ｏとして出力される（ステップＳ９２）。

以上のように、上記各実施形態の撮像装置（デジタルカメラ１、１ａ）（撮像システム１００）によれば、ノイズ除去部６、６ａ（第１ノイズ除去部７６ｍ、７６ｍ’）によって、複数の異なる光電変換特性を有する固体撮像素子３による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去が行われる。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる（伸張度合いに応じて異なるノイズ除去量を設定する）ことが可能となるので、例えば伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つといったように、伸張度合いの違いによってノイズ（ノイズ成分）が目立つことのないようにすることができ、ひいては高画質な撮影画像を得ることができる。

また、ノイズ除去部６、６ａ（第１ノイズ除去部７６ｍ、７６ｍ’）は、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’と、コアリング処理部６３、６３ｍ、７６２ｍ、７６２ｍ’とを備えており、また、撮影画像の輝度レベルに応じて階調変換時の伸張度合いが変化することから、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’によって、撮影画像の伸張度合いに相当する輝度レベルに応じて、すなわち例えば低輝度部の画像であるか高輝度部の画像であるかに応じてノイズ除去量に関するパラメータとしてのコアリング係数（ｔｈ）が算出され、コアリング処理部６３、６３ｍ、７６２ｍ、７６２ｍ’によって、当該係数算出部により算出したコアリング係数に基づいて、撮影画像からノイズ成分が除去されるコアリング処理が行われるので、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’により算出したコアリング係数に基づいてコアリング処理部６３、６３ｍ、７６２ｍ、７６２ｍ’によりコアリング処理を行うという一般的なノイズ除去手法を利用して、すなわち簡易な構成によって、当該伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになる。

また、ノイズ除去部６、６ａは、ＬＰＦ部６２、６２ｍ（低周波成分抽出手段）と、減算部６５１、６５１ｍ（高周波成分抽出手段）とを備えており、ＬＰＦ部６２、６２ｍによって撮影画像から低周波成分が抽出され、減算部６５１、６５１ｍによって撮影画像から高周波成分が抽出される。そして、係数算出部６４、６４ｍによって輝度レベルに相当する低周波成分のレベルに応じてコアリング係数（ｔｈ）が算出され、コアリング処理部６３、６３ｍによって低周波成分のレベルに応じて算出されたコアリング係数に基づいて高周波成分に対するコアリング処理が行われるので、一般的なＬＰＦ等の低周波成分抽出手段を用いて撮影画像から抽出された低周波成分の情報（レベル情報）を利用して、コアリング係数の算出を容易に行うことができるとともに、当該算出されたコアリング係数に基づくノイズ除去を、撮影画像から抽出された高周波成分に対するコアリング処理を行うことで容易に行うことができる。

また、撮像装置は、撮影画像から照明成分を抽出する第１照明成分抽出部７４ｍ、７４ｍ’（照明成分抽出手段）と、撮影画像から反射率成分を抽出する減算部７８１ｍ、除算部７８１ｍ’（反射率成分抽出手段）とを備えており、第１ノイズ除去部７６ｍ、７６ｍ’が備える係数算出部７６１ｍ、７６１ｍ’によって、輝度レベルに相当する照明成分のレベルに応じてコアリング係数（ｔｈ）が算出され、同じく第１ノイズ除去部７６ｍ、７６ｍ’が備えるコアリング処理部７６２ｍ、７６２ｍ’によって、照明成分のレベルに応じて算出されたコアリング係数に基づいて反射率成分に対するコアリング処理が行われるので、ノイズ除去に際して、照明成分及び反射率成分の情報を用いる、すなわち本願発明の如く、複数の光電変換特性を持つ撮像センサを用いて広ダイナミックレンジ画像を撮像する撮像装置に好適に用いられる階調変換処理であるＤＲ圧縮処理の過程で生成される照明成分及び反射率成分を用いる構成であるので、階調変換部７ａ、７ｂ内（階調変換処理）に、第１ノイズ除去部７６ｍ、７６ｍ’（ノイズ除去処理）を含めることが可能となり、ノイズ除去専用の処理装置を別途設けることなく、処理構成を簡略化することができる。また、ノイズ除去処理における演算量（計算量）が少なくなり、処理時間を短縮することができる。

また、固体撮像素子３における複数の異なる光電変換特性において、係数算出部６４、６４ｍ、７６１ｍ、７６１ｍ’は、高輝度側特性に対するコアリング係数として、階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数（ｔｈ）を算出する。このように、高輝度側特性における低輝度部と高輝度部とのノイズ量が等しくなるようなコアリング係数を算出するので、階調変換による伸張度合いが異なる高輝度側特性に対するコアリング係数を容易に（より簡易な演算方法で）求めることができるとともに、この算出したコアリング係数に基づいて、低輝度部及び高輝度部でノイズ量に違いが生じないようにする、すなわち、高輝度部のノイズ量が低輝度部のノイズ量よりも大きくなって高輝度部のノイズが目立つといったことのないようにすることができる。

また、固体撮像素子３は、入射光量に対して電気信号が線形的に変換されて出力される線形特性（線形光電変換特性）と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性（対数光電変換特性）とからなる光電変換特性を有するものであるので、当該線形特性及び対数特性を有する固体撮像素子３によって得られる撮影画像（線形／対数画像）に対し、階調変換における伸張度合いに応じて、すなわち対数画像の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。

また、固体撮像素子３は、入射光量に対して電気信号が線形的に変換されて出力される第１線形特性１７１（第１の線形光電変換特性）と、該第１線形特性１７１とグラフ上の傾きが異なる第２線形特性１７２（第２の線形光電変換特性）とからなる光電変換特性を有するものであるので、当該第１線形特性１７１及び第２線形特性１７２を有する固体撮像素子３によって得られる撮影画像（線形／線形画像）に対し、階調変換における伸張度合いに応じて、すなわち第２線形特性１７２の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。

さらに、撮像システム１００において、データ授受手段（入出力Ｉ／Ｆ部１２、２６０）を用いてデジタルカメラ１ｂと撮影画像データの授受が可能に構成された情報処理装置２００によって、撮影画像に対する上記ノイズ除去処理を行うことができるので、ノイズ除去を行う場所に関する自由度が大きくなるとともに、ＰＣ等の情報処理装置２００を用いて、より高速な演算処理（ノイズ除去処理）が行える構成を容易に実現することが可能となる。

なお、本発明は、以下の態様をとることができる。
（Ａ）上記第１の実施形態においては、ノイズ除去部６によるノイズ除去処理、階調変換部７による階調変換処理の順で処理を行っているが、この順序を逆にして階調変換処理、ノイズ除去処理の順で処理を行ってもよい。ただしこの場合、ノイズ除去部６に入力される画像に含まれるノイズ成分は階調変換処理に応じて変動する（階調変換による伸張度合いの違いによってノイズ量が異なってくる）ので、ノイズ除去の際には、この階調変換による変動を考慮したノイズ除去量を設定して処理を行う必要がある。

（Ｂ）上記各実施形態においては、撮影画像を異なる光電変換特性に対応させて低輝度側特性領域と高輝度側特性領域との画像に分けておき、高輝度側特性領域における低輝度及び高輝度の輝度レベルの画像（部分画像）それぞれの伸張度合いに応じてコアリング係数を算出し、当該低輝度部及び高輝度部でのノイズ量に差が生じないようにしているが、これに限らず、高輝度側特性領域を上記２つより多い輝度部、例えば低輝度部、中輝度部及び高輝度部の３つの輝度レベルの画像において当該３つの輝度部全てにおける、或いは中輝度部及び高輝度部におけるノイズ量に差が生じないようにコアリング係数を算出するような構成としてもよい。また、低輝度側特性領域においても、例えば階調変換により伸張度合いの違いによりノイズが目立つような場合、上記高輝度側特性領域と同様のノイズ除去手法を適用することができる（高輝度側特性領域及び低輝度側特性領域の両方に対して適用してもよい）。

（Ｃ）上記各実施形態においては、固体撮像素子３の光電変換特性は、２つの異なる光電変換特性（線形特性及び対数特性、或いは第１線形特性及び第２線形特性）からなるが、３つ以上の異なる光電変換特性からなっていてもよい。この場合、各光電変換特性（例えば各光電変換特性のうちの、階調変換による伸張度合いの違いによりノイズが目立つ光電変換特性）に対しても上記と同様のノイズ除去手法が適用される。

（Ｄ）上記各実施形態においては、伸張度合いの大きい高輝度部のノイズ量を、この高輝度部よりも伸張度合いが小さい低輝度部のノイズ量と等しくするといったように、伸張度合いに応じてコアリング係数（ノイズ除去量）を変化させる（設定する）構成としているが、これに限らず、各部つまり局所的な伸張度合い（例えば伸張率；伸張量）に対応するノイズ量（ノイズ除去量）を設定するといったように、伸張度合いに対応させて（応じて）コアリング係数を謂わば段階的に変化させる構成としてもよい。

第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関するブロック構成図である。 上記固体撮像素子の一例である二次元のＭＯＳ型固体撮像装置の概略構成図である。 図２に示す各画素Ｇ１１〜Ｇｍｎの構成例を示す回路図である。 上記固体撮像素子の光電変換特性の一例を示すグラフ図である。 図１に示すノイズ除去部のブロック構成図である。 コアリング処理におけるコアリング特性を示すグラフ図である。 第２の実施形態に係るノイズ除去部のブロック構成図である。 第１の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。 第２の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。 第３の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関するブロック構成図である。 図１０に示す階調変換部におけるＤＲ圧縮及びノイズ除去に関する機能ブロック図である。 図１１に示す第１ノイズ除去部のブロック構成図である。 図１１に示す第２ノイズ除去部のブロック構成図である。 第３の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。 第４の実施形態に係る撮像装置の一例である撮像システムの主に撮像処理に関するブロック構成図である。 第４の実施形態における撮像システムの主にノイズ除去に関する動作の一例を示すフローチャートである。 第５及び第６の実施形態における適応型撮像センサの光電変換特性の一例を示すグラフ図である。 第６の実施形態に係る階調変換部のブロック構成図である。 図１８に示す第１ノイズ除去部のブロック構成図である。 第６の実施形態におけるデジタルカメラの主にノイズ除去に関する動作の一例を示すフローチャートである。

符号の説明

１、１ａ デジタルカメラ（撮像装置）
１ｂ デジタルカメラ
３ 固体撮像素子
６、６ａ ノイズ除去部（ノイズ除去手段）
６２、６２ｍ ＬＰＦ部（低周波成分抽出手段）
６３、６３ｍ、７６２ｍ、７６２ｍ’ コアリング処理部（コアリング処理手段）
６４、６４ｍ、７６１ｍ、７６１ｍ’ 係数算出部（係数算出手段）
６５１、６５１ｍ 減算部（高周波成分抽出手段）
７、７ａ、７ｂ 階調変換部
７４ｍ、７４ｍ’ 第１照明成分抽出部（照明成分抽出手段）
７６ｍ、７６ｍ’ 第１ノイズ除去部（ノイズ除去手段）
７８１ｍ 減算部（反射率成分抽出手段）
７８１ｍ’除算部（反射率成分抽出手段）
１２、２６０ 入出力Ｉ／Ｆ部（データ授受手段）
１７１ 第１線形特性（第１の線形光電変換特性）
１７２ 第２線形特性（第２の線形光電変換特性）
１００ 撮像システム（撮像装置）
２００ 情報処理装置
６３０ コアリング特性

Claims (8)

1. 複数の異なる光電変換特性を有する固体撮像素子と、
   前記固体撮像素子による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去を行うノイズ除去手段とを備えることを特徴とする撮像装置。
2. 前記ノイズ除去手段は、
   前記撮影画像の前記伸張度合いに相当する輝度レベルに応じて前記ノイズ除去量に関するパラメータとしてのコアリング係数を算出する係数算出手段と、
   前記係数算出手段により算出したコアリング係数に基づいて、前記撮影画像からノイズ成分を除去するコアリング処理を行うコアリング処理手段とを備えることを特徴とする請求項１記載の撮像装置。
3. 前記ノイズ除去手段は、
   前記撮影画像から低周波成分を抽出する低周波成分抽出手段と、
   前記撮影画像から高周波成分を抽出する高周波成分抽出手段とをさらに備え、
   前記係数算出手段は、前記輝度レベルに相当する前記低周波成分のレベルに応じて前記コアリング係数を算出し、
   前記コアリング処理手段は、前記低周波成分のレベルに応じて算出されたコアリング係数に基づいて前記高周波成分に対するコアリング処理を行うことを特徴とする請求項２記載の撮像装置。
4. 前記撮影画像から照明成分を抽出する照明成分抽出手段と、
   前記撮影画像から反射率成分を抽出する反射率成分抽出手段とをさらに備え、
   前記係数算出手段は、前記輝度レベルに相当する前記照明成分のレベルに応じて前記コアリング係数を算出し、
   前記コアリング処理手段は、前記照明成分のレベルに応じて算出されたコアリング係数に基づいて前記反射率成分に対するコアリング処理を行うことを特徴とする請求項２記載の撮像装置。
5. 前記複数の異なる光電変換特性において、
   前記係数算出手段は、高輝度側特性に対する前記コアリング係数として、前記階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数を算出することを特徴とする請求項２〜４のいずれかに記載の撮像装置。
6. 前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される線形光電変換特性と、該入射光量に対して電気信号が対数的に変換されて出力される対数光電変換特性とからなる光電変換特性を有するものであることを特徴とする請求項１〜５のいずれかに記載の撮像装置。
7. 前記固体撮像素子は、入射光量に対して電気信号が線形的に変換されて出力される第１の線形光電変換特性と、該第１の線形光電変換特性とグラフ上の傾きが異なる第２の線形光電変換特性とからなる光電変換特性を有するものであることを特徴とする請求項１〜５のいずれかに記載の撮像装置。
8. 所定のデータ授受手段を用いて撮像装置本体と撮影画像データの授受が可能に構成された所定の情報処理装置をさらに備え、
   当該情報処理装置によって前記撮影画像に対する前記ノイズ除去を行うことを特徴とする請求項１〜７のいずれかに記載の撮像装置。

Images