<撮像装置の構成>
本発明の実施形態である撮像装置の構成について、図1を参照して説明する。図1は、本発明の撮像装置の内部構成を示すブロック図である。
図1の撮像装置は、複数のレンズから構成される光学系1と、光学系1を通じて入射される光の入射光量を電気信号に変換する固体撮像素子2と、固体撮像素子2から出力される電気信号を増幅するアンプ3と、アンプ3で増幅された電気信号をデジタル信号に変換するAD変換回路4と、AD変換回路4からのデジタル信号の最低レベルを設定する黒基準補正回路5と、黒基準補正回路5で黒基準値により補正されたデジタル信号が固体撮像素子2の各画素の感度などによるFPN(固定パターンノイズ:Fixed Pattern Noise)を除去するFPN補正回路6と、FPN補正回路6でFPN除去されたデジタル信号より自動露出制御(AE)及びホワイトバランス(WB)を行うためのそれぞれの評価値を検出するAE・WB評価値検出回路7と、FPN補正回路6でFPN除去されたデジタル信号について色バランスがとれるように各色信号毎に補正を行うWB制御回路8と、WB制御回路8から出力される隣接する複数の画素の色信号に基づいて各色信号の補間を行う色補間回路9と、色補間回路9から出力される各色信号を他の色信号により色合いを各画素毎に補正する色補正回路10と、色補正回路10から出力されるデジタル信号の階調変換を行う階調変換回路11と、階調変換回路11から出力されるデジタル信号についてエッジ強調などの処理を施すコアリング回路12と、各ブロックの制御を行う全体制御部13と、光学系1に備えられる絞り1aによる露光量を制御する絞り制御部14と、固体撮像素子2及びAD変換回路4に動作タイミング用のクロックを与えるタイミング生成回路15と、を備える。
このように構成される撮像装置は、光学系1を介して光が各画素毎に異なる色フィルタを備えた固体撮像素子2に入射されると、各画素において光電変換動作が行われ、各画素毎に異なる色信号となるアナログ信号が出力される。即ち、図2のように、RGBによるベイヤ型配列となる色フィルタが固体撮像素子2に設けられるとき、Rとなる色フィルタが設けられた画素からは赤色を表すR信号が、Gとなる色フィルタが設けられた画素からは緑色を表すG信号が、Bとなる色フィルタが設けられた画素からは青色を表すB信号が、それぞれ出力される。尚、固体撮像素子2は、後述するように、全体制御部13によって駆動条件が変更されることにより、線形変換動作と対数変換動作とが切り替わる輝度位置が変更される。これによって、固体撮像素子2のダイナミックレンジが変化する。切換点が高輝度側になるほどダイナミックレンジが広くなる。
この固体撮像素子2からシリアルに出力されるR信号及びG信号及びB信号が、アンプ3において増幅された後、AD変換回路4においてデジタル信号に変換される。このようにデジタル信号に変換されたR信号及びG信号及びB信号が黒基準補正回路5に与えられると、全体制御部13から与えられるダイナミックレンジ制御信号に基づいて、最低輝度値となる黒レベルが基準値(0)に補正される。即ち、固体撮像素子2のダイナミックレンジによって黒レベルが異なるため、AD変換回路4から出力されるR信号及びG信号及びB信号それぞれの信号レベルに対して、黒レベルとなる信号レベルが減算されることで、基準値補正が行われる。
この黒基準補正が行われたR信号及びG信号及びB信号は、FPN補正回路6において格納しているFPN成分を減算することによって、FPN成分が除去される。このFPN成分は、固体撮像素子2内の各画素を構成するMOSトランジスタの閾値バラツキなどが原因となって生じるオフセットバラツキである。尚、このFPN成分を抽出する際、RGB信号それぞれについて、均一光照射時に固体撮像素子2から出力される各画素に対する画像信号から色フィルタの透過率の差異に基づくオフセットを減算する。このとき、このような各色フィルタの透過率に基づくオフセットを、均一光照射時のRGB信号それぞれの平均値により求めるものとし、この平均値を均一光照射時のRGB信号から減算することで、各画素のFPN成分を抽出するものとしても構わない。このようにFPN成分が除去されたR信号及びG信号及びB信号が、AE・WB評価値検出回路7及びWB制御回路8に与えられる。
AE・WB評価値検出回路7では、与えられたR信号及びG信号及びB信号より成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出し、露光量を設定するAE評価値として全体制御部13に送出する。このAE評価値に基づいて全体制御部13が絞り1aの開口度を制御することで、露光量が制御される。又、AE・WB評価値検出回路7では、与えられたR信号及びG信号及びB信号よりそれぞれの輝度比及び輝度差を確認し、ホワイトバランスを行うための基準値であるWB評価値を算出し、全体制御部13に送出する。そして、WB制御回路8では、全体制御部13より与えられるWB評価値及びダイナミックレンジ制御信号に基づいて、R信号及びG信号及びB信号が、同一の光電変換特性となるようにホワイトバランス処理が施される。
WB制御回路8でホワイトバランス処理が施されたR信号及びG信号及びB信号は、色補間回路9において色補間処理が施される。図2のようなRGBによるベイヤ型配列となる色フィルタが固体撮像素子2に設けられているとき、各画素から出力される色信号は、その画素に設けられる色フィルタによる色信号のみである。よって、色補間回路9において、他の色信号が隣接する画素の色信号により生成されることで、色補間処理が施される。
そして、RGBそれぞれの色フィルタが各画素G11〜G44に図2のように配列されているとき、画素G11,G31,G13,G33からR信号r11,r31,r13,r33が、画素G21,G41,G12,G32,G23,G43,G14,G34からG信号g21,g41,g12,g32,g23,g43,g14,g34が、画素G22,G42,G24,G44からB信号b22,b42,b24,b44が、出力される。このとき、画素G22,G23,G32,G33のRGB信号が、以下の式のように表される。
画素G22のR信号r22、G信号g22、B信号b22
r22=(r11+r31+r13+r33)/4
g22=(g21+g12+g32+g23)/4
b22=b22
画素G32のR信号r32、G信号g32、B信号b32
r32=(r31+r33)/2
g32=g32
b32=(b22+b42)/2
画素G23のR信号r23、G信号g23、B信号b23
r23=(r13+r33)/2
g23=g23
b23=(b22+b24)/2
画素G33のR信号r33、G信号g33、B信号b33
r33=r33
g33=(g32+g23+g43+g34)/4
b33=(b22+b42+b24+b44)/4。
このように色補間処理を行うことで、各画素毎にRGB信号が得られると、各画素のRGB信号が色補正回路10に与えられ、各画素の色合いを強調するための色補正処理が施される。このとき、RGB信号はそれぞれ、他の色信号の値により色補正が施される。即ち、画素GklのRGB信号rkl,gkl,bklを以下の式に代入することによって、色合い補正が施された画素GklのRGB信号rxkl,gxkl,bxklが生成される。この際、a1〜a3,b1〜b3,c1〜c3による色補正係数が、入力されるRGB信号の光電変換特性に基づいて切り換えられて、各画素のRGB信号による色合いが強調される。この色補正回路10における色補正係数a1〜a3,b1〜b3,c1〜c3の切換動作の詳細については、後述する。
rxkl=a1×rkl+a2×gkl+a3×bkl
gxkl=b1×rkl+b2×gkl+b3×bkl
bxkl=c1×rkl+c2×gkl+c3×bkl。
尚、この色補正回路10での色補正処理を行わない場合は、以下のような色補正係数a1〜a3,b1〜b3,c1〜c3が全体制御部13より与えられる。
(a1,a2,a3)=(1.0,0.0,0.0)
(b1,b2,b3)=(0.0,1.0,0.0)
(c1,c2,c3)=(0.0,0.0,1.0)。
色補正回路10で色補正が施されたRGB信号は、階調変換回路11に与えられて、適切な出力レベルとなるように、全体制御部13から入力されるダイナミックレンジ制御信号及びAE評価値に基づいて、γカーブに基づく変化やデジタルゲインの変化により階調特性を変化させる。そして、エッジ成分に対して図3のような関係のレベル変換特性を備えるコアリング回路12において、RGB信号それぞれに重畳したノイズ成分が除去されるとともに、エッジ成分が抽出されてエッジ強調処理が施される。尚、階調変換回路11及びコアリング回路12の動作については、後述する。
<固体撮像素子の構成例>
図1のように構成される撮像装置における固体撮像素子2の構成について、図面を参照して説明する。図4は、本例の固体撮像素子の一部の構成を概略的に示すブロック図であり、図5は、各画素の構成を示す回路図である。
固体撮像素子2は、図4に示すように、G11〜Gmnは行列配置(マトリクス配置)された画素を示している。21は垂直走査回路であり、各画素に信号φVを与える行(ライン)23−1,23−2,・・・,23−nを順次走査していくとともに、ライン24−1,24−2,・・・,24−nを介して各画素に信号φVDを、ライン25−1,25−2,・・・,25−nを介して各画素に信号φVPSを、それぞれ与える。22は水平走査回路であり、画素から出力信号線26−1,26−2,・・・,26−mに導出された光電変換信号を画素ごとに水平方向に順次読み出す。20は電源ラインである。各画素に対し、上記ライン23−1〜23−n,24−1〜24−n,25−1〜25−nや出力信号線26−1〜26−m、電源ライン20だけでなく、他のライン(例えば、クロックラインやバイアス供給ライン等)も接続されるが、図4ではこれらについて省略する。
又、出力信号線26−1〜26−mのそれぞれには、定電流源27−1〜27−mが接続されるとともに、信号線26−1〜26−mのそれぞれを介して与えられる画素G11〜Gmnから与えられる画像信号とノイズ信号をサンプルホールドする選択回路28−1〜28−mが設けられる。そして、補正回路29に選択回路28−1〜28−mから画像信号及びノイズ信号が順に送出されると、この補正回路29で補正処理が行われて、ノイズ除去された画像信号が外部に出力される。尚、定電流源27−1〜27−mの一端に直流電圧VPSが印加される。
このような固体撮像素子において、画素Gab(a:1≦a≦mの自然数、b:1≦b≦nの自然数)からの出力となる画像信号及びノイズ信号が、それぞれ、出力信号線26−aを介して出力されるとともに、この出力信号線26−aに接続された定電流源27−aによって増幅される。そして、画素Gabから出力された画像信号及びノイズ信号が順番に選択回路28−aに送出されるとともに、この選択回路28−aにおいて、送出された画像信号及びノイズ信号がサンプルホールドされる。その後、選択回路28−aより、サンプルホールドされた画像信号が補正回路29に送出された後、同じくサンプルホールドされたノイズ信号が補正回路29に送出される。補正回路29では、選択回路28−aより与えられた画像信号を、同じく選択回路28−aより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した画像信号をアンプ3に出力する。
このような構成の固体撮像素子2において、画素G11〜Gmnは、図5に示すように、カソードに直流電圧VPDが印加されたフォトダイオードPDのアノードにMOSトランジスタT1のドレインが接続され、MOSトランジスタT1のソースにMOSトランジスタT2のゲート及びドレインとMOSトランジスタT3のゲートが接続される。又、MOSトランジスタT3のソースにMOSトランジスタT4のゲート及びMOSトランジスタT5のドレインが接続され、MOSトランジスタT4のソースにMOSトランジスタT6のドレインが接続される。そして、MOSトランジスタT6のドレインが出力信号線26(図4の出力信号線26−1〜26−mに相当する)に接続される。尚、MOSトランジスタT1〜T6は、PチャネルのMOSトランジスタである。
MOSトランジスタT2のソースにはライン25(図4のライン25−1〜25−nに相当する)を介して信号φVPSが入力され、MOSトランジスタT3,T4のドレインに直流電圧VPDが印加される。又、MOSトランジスタT3のソースには、その一端にライン24(図4のライン24−1〜24−nに相当する)を介して信号φVDが与えられるキャパシタCの他端が接続される。又、MOSトランジスタT5のソースには直流電圧VRGが入力され、そのゲートに信号φRSが入力される。更に、MOSトランジスタT1,T6のゲートにはそれぞれ、信号φS,φVが入力される。
尚、信号φVPSは2値の電圧信号で、入射光量が所定値を超えたときにMOSトランジスタT2をサブスレッショルド領域で動作させるための電圧をVLとし、又、この電圧よりも高くMOSトランジスタT2を導通状態にする電圧をVHとする。又、信号φVDは、3値の電圧信号であり、キャパシタCを積分動作させる際の電圧値を最も高いVhとし、画像信号読み出し時の電圧値をVhよりも低いVmとし、ノイズ信号読み出し時の電圧値をVmよりも低いVlとする。
このように構成される固体撮像素子2における画素G11〜Gmnの動作について、図6のタイムチャートを参照して説明する。まず、電圧値Vmのパルス信号φVDとパルス信号φVが与えられて画像信号が出力されると、信号φVDをVhとした後、信号φSをハイにしてMOSトランジスタT1をOFFにして、リセット動作が始まる。次に、MOSトランジスタT2のソースに与える信号φVPSをVHにして、MOSトランジスタT2のソース電圧を高くすることで、MOSトランジスタT2のゲート及びドレイン、そしてMOSトランジスタT3のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φRSをローとして、MOSトランジスタT5をONにして、キャパシタCとMOSトランジスタT4のゲートとの接続ノードの電圧を初期化する。
そして、MOSトランジスタT2のソースに与える信号φVPSをVLにして、MOSトランジスタT2のポテンシャル状態を基の状態に戻した後、信号φRSをハイにして、MOSトランジスタT5をOFFにする。その後、キャパシタCが積分動作を行って、キャパシタCとMOSトランジスタT4のゲートとの接続ノードの電圧が、リセットされたMOSトランジスタT2のゲート電圧に応じたものとなる。そして、パルス信号φVをMOSトランジスタT6のゲートに与えてMOSトランジスタT6をONにするとともに信号φVDの電圧値をVlにする。このとき、MOSトランジスタT4がソースフォロワ型のMOSトランジスタとして動作するため、出力信号線26にはノイズ信号が電圧信号として現れる。その後、再び、パルス信号φRSをMOSトランジスタT5に与えて、キャパシタCとMOSトランジスタT4のゲートとの接続ノードの電圧をリセットした後、信号φSをローにしてMOSトランジスタT1を導通させて撮像動作が行える状態にする。
このようにノイズ信号が出力された後、MOSトランジスタT1がONとされると、撮像動作が開始される。このとき、信号φRSをハイとして、MOSトランジスタT5をOFFとする。又、MOSトランジスタT2のソースに与える信号φVPSをVLとするとともに、キャパシタCに与える信号φVDの電圧値をVhとして、積分動作を行うようにする。そして、フォトダイオードPDより入射光量に応じた光電荷がMOSトランジスタT2に流れ込むと、MOSトランジスタT2はカットオフ状態であるので、光電荷がMOSトランジスタT2のゲートに蓄積される。
よって、撮像する被写体の輝度が低くフォトダイオードPDに入射される入射光量が少ない場合は、MOSトランジスタT2のゲートに蓄積された光電荷量に応じた電圧がMOSトランジスタT2のゲートに現れるため、入射光量の積分値に対して線形的に比例した電圧がMOSトランジスタT3のゲートに現れる。又、撮像する被写体の輝度が高くフォトダイオードPDに入射される入射光量が多く、MOSトランジスタT2のゲートに蓄積された光電荷量に応じた電圧が高くなると、MOSトランジスタT2がサブスレッショルド領域で動作を行うため、入射光量に対して自然対数的に変化する電圧がMOSトランジスタT3のゲートに現れる。
この入射光量に対して線形的に又は自然対数的に変化する電圧がMOSトランジスタT3で電流増幅されたドレイン電流がキャパシタCから流れるため、MOSトランジスタT4のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に変化した電圧となる。そして、信号φVDの電圧値をVmとするとともに、MOSトランジスタT6にパルス信号φVを与えることで、MOSトランジスタT4のゲート電圧に応じたソース電流が、MOSトランジスタT6を介して出力信号線6へ流れる。このとき、MOSトランジスタT4がソースフォロワ型のMOSトランジスタとして動作するため、出力信号線6には画像信号が電圧信号として現れる。その後、信号φVをハイにしてMOSトランジスタT6をOFFにするとともに、信号φVDの電圧値をVhとする。
このように動作するとき、撮像時の信号φVPSの電圧値VLが低くなり、リセット時の信号φVPSの電圧値VHとの差を大きくするほど、MOSトランジスタT2のゲート・ソース間のポテンシャルの差が大きくなり、MOSトランジスタT2がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図7のように、電圧値VLが低いほど、線形変換する被写体輝度の割合が大きくなる。そこで、例えば、被写体の輝度範囲を検出し、被写体の輝度範囲が狭いと電圧値VLを低くして、線形変換する輝度範囲を広くし、又、被写体の輝度範囲が広いと電圧値VLを高くして、対数変換する輝度範囲を広くすることで、被写体の特性に合った光電変換特性とすることができる。尚、電圧値VLを最小とするとき、常に線形変換する状態とし、又、電圧値VLを最大とするとき、常に対数変換する状態とすることもできる。
このように動作する固体撮像素子2の画素G11〜Gmnに与える信号φVPSの電圧値VLの値を全体制御部13が切り換えることによって、被写体の輝度範囲などに応じてダイナミックレンジを切り換えられる固体撮像素子2とすることができる。即ち、全体制御部13が信号φVPSの電圧値VLの値を切り換えることで、固体撮像素子2の画素G11〜Gmnにおける線形変換動作から対数変換動作へ切り替わる変極点(輝度値)を設定することができる。尚、撮像時に対数変換動作に変わるときのMOSトランジスタT2のゲート電圧に至るまでにMOSトランジスタT2に流れ込む光電荷量が、全ての画素において等しい。
尚、本構成例では、図5のように構成される画素を備えた固体撮像素子としたが、このような構成に限られるものではなく、線形変換動作と対数変換動作を各画素において自動的に切り換えることが可能なものであれば、特許文献2に示されるような構成の画素などのような他の構成の画素より構成されるものとしても構わない。又、撮像時の信号φVPSの電圧値VLを変更することで線形変換動作と対数変換動作との変極点を変更するものとしたが、リセット時の信号φVPSの電圧値VHを変更することで線形変換動作と対数変換動作との変極点を変更するものとしても構わない。又、リセット時間を変更することで上記変極点を変更するものとしても構わない。又、リセット時間を変更することで上記変極点を変更するものとしても構わない。更に、各画素にRGBフィルタを備えるものとしたが、シアン(Cyan)、マゼンタ(Magenta)、イエロー(Yellow)などの他の色フィルタを備えるものとしても構わない。
<色補正回路>
図1のように構成される撮像装置における色補正回路の動作について、図面を参照して以下に詳細に説明する。図8は、色補正回路の内部構成を示すブロック図である。
色補正回路10は、図8に示すように、色補間回路9から入力される各画素のRGB信号それぞれの光電変換特性について確認するコンパレータ101r,101g,101bと、コンパレータ101r,101g,101bからの出力によりRGB信号それぞれに対する色補正係数を設定する係数設定部102r,102g,102bと、係数設定部102rで設定された色補正係数a1,a2,a3がそれぞれ与えられる乗算器103rr,103rg,103rbと、係数設定部102gで設定された色補正係数b1,b2,b3がそれぞれ与えられる乗算器103gr,103gg,103gbと、係数設定部102bで設定された色補正係数c1,c2,c3がそれぞれ与えられる乗算器103br,103bg,103bbと、乗算器103rr,103rgからの出力を加算する加算器104rと、乗算器103rb及び加算器104rからの出力を加算する加算器105rと、乗算器103gr,103ggからの出力を加算する加算器104gと、乗算器103gb及び加算器104gからの出力を加算する加算器105gと、乗算器103br,103bgからの出力を加算する加算器104bと、乗算器103bb及び加算器104bからの出力を加算する加算器105bと、を備える。
このような構成の色補正回路10において、コンパレータ101r,101g,101bでは、色補間回路9から入力されるRGB信号の信号レベルと閾値となる信号レベルを比較することによって、各信号の光電変換特性を確認する。以下に、コンパレータ101rを代表して、その動作について説明する。色補間回路9から出力されるR信号の信号レベルと被写体の輝度値との関係を表す光電変換特性が図9のように表されるとき、閾値となる信号レベルとして閾値レベルV1,V2が設定される。この閾値レベルV1,V2に対応する輝度値が図9のようにL1,L2となるとき、輝度値L1より低い輝度範囲では、その光電変換特性が線形変換特性となり、又、輝度値L2より高い輝度範囲では、その光電変換特性が対数変換特性となる。更に、輝度値L1,L2の間の輝度範囲では、光電変換特性が線形変換特性から対数変換特性に切り替わる両特性が混在した状態となる。以下では、輝度値L1より低い輝度範囲を線形領域、輝度値L1,L2の間の輝度範囲を線形/対数領域、輝度値L2より高い輝度範囲を対数領域とする。
コンパレータ101rでは、この閾値レベルV1,V2に基づいて、各画素毎に、R信号の光電変換特性が、線形領域、線形/対数領域、対数領域のいずれの領域のものであるかを確認する。即ち、信号レベルが閾値レベルV1より低いR信号が入力されたときは、線形領域のものであることが確認され、又、信号レベルが閾値レベルV1以上で且つ閾値レベルV2より低いR信号が入力されたときは、線形/対数領域のものであることが確認され、又、信号レベルが閾値レベルV2以上のR信号が入力されたときは、対数領域のものであることが確認される。尚、WB制御回路8においてRGB信号それぞれの光電変換特性が一致するようにホワイトバランス処理が施されているため、GB信号それぞれの光電変換特性についても、図9のように表される。よって、コンパレータ101rと同様に、コンパレータ101gでは、閾値レベルV1,V2に基づいて、各画素毎に、G信号の光電変換特性が、線形領域、線形/対数領域、対数領域のいずれの領域のものであるかを確認し、又、コンパレータ101bでは、閾値レベルV1,V2に基づいて、各画素毎に、B信号の光電変換特性が、線形領域、線形/対数領域、対数領域のいずれの領域のものであるかを確認する。
このコンパレータ101r,101g,101bそれぞれで確認された結果がそれぞれ、係数設定部102r,102g,102bに与えられて、その結果に基づいて、色補正係数a1〜a3,b1〜b3,c1〜c3が設定される。この色補正係数a1〜a3,b1〜b3,c1〜c3としてそれぞれ、線形領域、線形/対数領域、対数領域の3領域に応じた3種類の値が、全体制御部13より係数設定部102r,102g,102bに与えられ格納される。又、色補正係数a1〜a3,b1〜b3,c1〜c3の値はそれぞれ、a1+a2+a3=1、b1+b2+b3=1、c1+c2+c3=1を満たす値とされる。このような色補正係数a1〜a3,b1〜b3,c1〜c3の値が、線形領域、線形/対数領域、対数領域の3領域に対して、例えば、以下のように設定される。
線形領域
(a1,a2,a3)=( 1.2,-0.1,-0.1)
(b1,b2,b3)=(-0.1, 1.2,-0.1)
(c1,c2,c3)=(-0.1,-0.1, 1.2)
線形/対数領域
(a1,a2,a3)=( 1.35,-0.175,-0.175)
(b1,b2,b3)=(-0.175, 1.35,-0.175)
(c1,c2,c3)=(-0.175,-0.175, 1.35)
対数領域
(a1,a2,a3)=( 1.5,-0.25,-0.25)
(b1,b2,b3)=(-0.25, 1.5,-0.25)
(c1,c2,c3)=(-0.25,-0.25, 1.5)。
よって、係数設定部102rは、コンパレータ101rでR信号が線形領域の信号であることが確認されると、色補正係数(a1,a2,a3)を(1.2,-0.1,-0.1)として乗算器103rr,103rg,103rbに与え、又、コンパレータ101rでR信号が線形/対数領域の信号であることが確認されると、色補正係数(a1,a2,a3)を(1.35,-0.175,-0.175)として乗算器103rr,103rg,103rbに与え、又、コンパレータ101rでR信号が対数領域の信号であることが確認されると、色補正係数(a1,a2,a3)を(1.5,-0.25,-0.25)として乗算器103rr,103rg,103rbに与える。
同様に、係数設定部102gは、コンパレータ101gでG信号が線形領域の信号であることが確認されると、色補正係数(b1,b2,b3)を(-0.1,1.2,-0.1)として乗算器103gr,103gg,103gbに与え、又、コンパレータ101gでG信号が線形/対数領域の信号であることが確認されると、色補正係数(b1,b2,b3)を(-0.175,1.35,-0.175)として乗算器103gr,103gg,103gbに与え、又、コンパレータ101gでG信号が対数領域の信号であることが確認されると、色補正係数(b1,b2,b3)を(-0.25,1.5,-0.25)として乗算器103gr,103gg,103gbに与える。
同様に、係数設定部102bは、コンパレータ101bでB信号が線形領域の信号であることが確認されると、色補正係数(c1,c2,c3)を(-0.1,-0.1,1.2)として乗算器103br,103bg,103bbに与え、又、コンパレータ101bでB信号が線形/対数領域の信号であることが確認されると、色補正係数(c1,c2,c3)を(-0.175,-0.175,1.35)として乗算器103br,103bg,103bbに与え、又、コンパレータ101bでB信号が対数領域の信号であることが確認されると、色補正係数(c1,c2,c3)を(-0.25,-0.25,1.5)として乗算器103br,103bg,103bbに与える。
このように、同一の画素におけるRGB信号が、各信号毎に、コンパレータ101r,101g,101bでその光電変換特性が確認されるとともに、それぞれの信号に対する色補正係数が係数設定部102r,102g,102bで設定される。よって、コンパレータ101r,101g,101bで同一画素GklにおけるRGB信号rkl,gkl,bklそれぞれの光電変換特性が確認されたとき、それぞれ異なる領域の光電変換特性を備えるものとされ、係数設定部102r,102g,102bによってRGB信号それぞれに対して確認された異なる領域に対する色補正係数が設定される場合がある。
このように、係数設定部102rで設定された色補正係数a1,a2,a3がそれぞれ乗算器103rr,103rg,103rbに与えられると、乗算器103rrにおいてR信号に色補正係数a1が、乗算器103rgにおいてG信号に色補正係数a2が、乗算器103rbにおいてB信号に色補正係数a3がそれぞれ乗算される。同様に、係数設定部102gで設定された色補正係数b1,b2,b3がそれぞれ乗算器103gr,103gg,103gbに与えられると、乗算器103grにおいてR信号に色補正係数b1が、乗算器103ggにおいてG信号に色補正係数b2が、乗算器103gbにおいてB信号に色補正係数b3がそれぞれ乗算される。同様に、係数設定部102bで設定された色補正係数c1,c2,c3がそれぞれ乗算器103br,103bg,103bbに与えられると、乗算器103brにおいてR信号に色補正係数c1が、乗算器103bgにおいてG信号に色補正係数c2が、乗算器103bbにおいてB信号に色補正係数c3がそれぞれ乗算される。
そして、乗算器103rrで色補正係数a1が乗算されたR信号に乗算器103rgで色補正係数a2が乗算されたG信号が加算器104rで加算された後、更に、乗算器103rbで色補正係数a3が乗算されたB信号が加算器105rで加算され、色補正されたR信号が出力される。同様に、乗算器103grで色補正係数b1が乗算されたR信号に乗算器103ggで色補正係数b2が乗算されたG信号が加算器104gで加算された後、更に、乗算器103gbで色補正係数b3が乗算されたB信号が加算器105gで加算され、色補正されたG信号が出力される。同様に、乗算器103brで色補正係数c1が乗算されたR信号に乗算器103bgで色補正係数c2が乗算されたG信号が加算器104bで加算された後、更に、乗算器103bbで色補正係数c3が乗算されたB信号が加算器105bで加算され、色補正されたB信号が出力される。
よって、例えば、コンパレータ101rにおいて、画素GklのR信号rklの信号レベルが閾値レベルV1,V2の間の値となり、その光電変換特性が線形/対数領域におけるものであることが確認され、又、コンパレータ101gにおいて、画素GklのG信号gklの信号レベルが閾値レベルV1より低い値となり、その光電変換特性が線形領域におけるものであることが確認され、又、コンパレータ101bにおいて、画素GklのB信号bklの信号レベルが閾値レベルV2より高い値となり、その光電変換特性が対数領域におけるものであることが確認されるものとする。このとき、係数設定部102rが、色補正係数(a1,a2,a3)を(1.35,-0.175,-0.175)として乗算器103rr,103rg,103rbに与え、又、係数設定部102gが、色補正係数(b1,b2,b3)を(-0.1,1.2,-0.1)として乗算器103gr,103gg,103gbに与え、又、係数設定部102bが、色補正係数(c1,c2,c3)を(-0.25,-0.25,1.5)として乗算器103br,103bg,103bbに与える。
そして、乗算器103rrでR信号rklに1.35となる色補正係数a1が乗算され、乗算器103rgでG信号gklに-0.175となる色補正係数a2が乗算され、乗算器103rbでB信号bklに-0.175となる色補正係数a3が乗算される。又、乗算器103grでR信号rklに-0.1となる色補正係数b1が乗算され、乗算器103ggでG信号gklに1.2となる色補正係数b2が乗算され、乗算器103gbでB信号bklに-0.1となる色補正係数b3が乗算される。又、乗算器103brでR信号rklに-0.25となる色補正係数c1が乗算され、乗算器103bgでG信号gklに-0.25となる色補正係数c2が乗算され、乗算器103bbでB信号bklに1.5となる色補正係数c3が乗算される。
その後、加算器104rで1.35×rklとなるR信号に-0.175×gklとなるG信号が加算された後、加算器105rで-0.175×bklとなるB信号が加算されて、1.35×rkl-0.175×gkl-0.175×bklとなる色補正されたR信号rxklが出力される。又、加算器104gで-0.1×rklとなるR信号に1.2×gklとなるG信号が加算された後、加算器105gで-0.1×bklとなるB信号が加算されて、-0.1×rkl+1.2×gkl-0.1×bklとなる色補正されたG信号gxklが出力される。又、加算器104bで-0.25×rklとなるR信号に-0.25×gklとなるG信号が加算された後、加算器105bで1.5×bklとなるB信号が加算されて、-0.25×rkl-0.25×gkl+1.5×bklとなる色補正されたB信号bxklが出力される。
<階調変換回路>
図1のように構成される撮像装置における階調変換回路の動作について、図面を参照して以下に詳細に説明する。図10は、階調変換回路の内部構成を示すブロック図である。図12は、階調変換回路における入出力と光電変換特性との関係を示すグラフである。尚、以下の説明においては、説明を簡略化するために、光電変換特性が線形変換特性と対数変換特性の2つの変換特性を有する場合について説明する。
階調変換回路11は、図10に示すように、色補正回路10から入力される各画素のRGB信号それぞれの光電変換特性について確認するコンパレータ111r,111g,111bと、コンパレータ111r,111g,111bからの出力によりRGB信号それぞれを階調変換する際の演算式を設定する演算式設定部112r,112g,112bと、演算式設定部112r,112g,112bそれぞれから与えられる演算式に従って色補正回路10から入力される各画素のRGB信号それぞれの階調変換を行う階調変換部113r,113g,113bと、を備える。
このような構成の階調変換回路11において、コンパレータ111r,111g,111bでは、色補正回路10のコンパレータ101r,101g,101bと同様、色補正回路10から入力されるRGB信号の信号レベルと閾値となる信号レベルを比較することによって、各信号の光電変換特性を確認する。以下に、コンパレータ111rを代表して、その動作について説明する。色補正回路10から出力されるR信号の信号レベルと被写体の輝度値との関係を表す光電変換特性が図11のように表されるとき、閾値となる信号レベルとして閾値レベルV3が設定される。この閾値レベルV3に対応する輝度値が図11のようにL3となるとき、輝度値L3より低い輝度範囲において、その光電変換特性が線形変換特性であるものとし、又、輝度値L3より高い輝度範囲において、その光電変換特性が対数変換特性であるものとする。
又、以下では、輝度値L3より低い輝度範囲を線形領域、輝度値L3より高い輝度範囲を対数領域とする。更に、色補正回路10から出力されるGB信号それぞれについても、既にWB制御回路8でホワイトバランス処理が施された後なので、R信号と同様、図11のような光電変換特性となり、線形領域と対数領域とを識別するための閾値レベルが輝度値L3に対応する信号レベルV3となる。
よって、コンパレータ111rでは、この閾値レベルV3に基づいて、各画素毎に、R信号の光電変換特性が線形領域及び対数領域のいずれの領域のものであるかを確認する。即ち、信号レベルが閾値レベルV3より低いR信号が入力されたときは、線形領域のものであることが確認され、又、信号レベルが閾値レベルV3以上のR信号が入力されたときは、対数領域のものであることが確認される。同様に、コンパレータ111gでは、閾値レベルV3に基づいて、各画素毎に、G信号の光電変換特性が線形領域及び対数領域のいずれの領域のものであるかを、コンパレータ111bでは、閾値レベルV3に基づいて、各画素毎に、B信号の光電変換特性が線形領域及び対数領域のいずれの領域のものであるかを、それぞれ確認する。
このコンパレータ111r,111g,111bそれぞれで確認された結果がそれぞれ、演算式設定部112r,112g,112bに与えられて、その結果に基づいて、RGB信号それぞれの階調変換を行うための演算式fr,fg,fbが設定される。この演算式fr,fg,fbとしてそれぞれ、線形領域、対数領域の2領域に応じた2種類の演算式が、全体制御部13より演算式設定部112r,112g,112bに与えられ格納される。このとき、演算式fr,fg,fbは、図12のように、線形領域においては0〜V3の信号レベルが0〜Vx3(Vx3=V3/A,A>1)に変換されるような演算式とされ、又、対数領域においてはV3〜Vmaxの信号レベルがVx3〜Vmaxに変換されるような演算式とされる。即ち、演算式fr,fg,fbとして、線形領域では1より小さい係数で乗算して0〜Vx3の範囲の信号レベルの信号に変換する演算式が、対数領域では一部が逆関数となるとともにVx3〜Vmaxの範囲の信号レベルの信号に変換する演算式が、それぞれ格納される。
このように、演算式設定部112r,112g,112bで設定された演算式fr,fg,fbがそれぞれ階調変換部113r,113g,113bに与えられると、階調変換部113rにおいて演算式frに応じたR信号の階調変換が、階調変換部113gにおいて演算式fgに応じたG信号の階調変換が、階調変換部113bにおいて演算式fbに応じたB信号の階調変換がそれぞれ行われる。よって、階調変換部113r,113g,113bでは、図12のような階調変換を行うことで、RGB信号それぞれにおいて、線形領域の階調を下げるとともに、対数領域の階調を上げる。
よって、例えば、コンパレータ111r,111gそれぞれにおいて、画素GklのRG信号rxkl,gxklの信号レベルが閾値レベルV3より低い値となり、その光電変換特性が線形領域におけるものであることが確認され、又、コンパレータ111bにおいて、画素GklのB信号bklの信号レベルが閾値レベルV3より高い値となり、その光電変換特性が対数領域におけるものであることが確認されるものとする。このとき、演算式設定部112r,112gそれぞれによって線形領域による演算式fr,fgが階調変換部113r,113gそれぞれに与えられ、又、演算式設定部112bによって対数領域による演算式fbが階調変換部113bに与えられる。そして、階調変換部113rにおいて、信号レベルが0〜V3の範囲のR信号rxklが0〜Vx3の範囲の信号レベルのR信号ryklに、又、階調変換部113gにおいて、信号レベルが0〜V3の範囲のG信号gxklが0〜Vx3の範囲の信号レベルのG信号gyklに、信号レベルがV3〜Vmaxの範囲のB信号bxklがVx3〜Vmaxの範囲の信号レベルのB信号byklに、それぞれ変換されることで階調変換される。
この階調変化回路11の他の実施形態として、コンパレータ111r,111g,111b及び演算式設定部112r,112g,112bを設ける代わりに、図12の入出力特性が記憶されたLUT(ルックアップテーブル)により、階調変換を行うようにしても構わない。このLUTを用いることにより、コンパレータ111r,111g,111b及び演算式設定部112r,112g,112bを設ける必要がなく、階調変換回路11の構成をより簡略化することができる。このようなLUTを用いた場合、図12の入力(縦軸)がLUTの入力に相当し、図12の出力(横軸)がLUTにより階調変換された出力信号に相当する。従って、図12の入出力特性が記憶されたLUTによっても、線形領域の階調を下げるとともに、対数領域の階調を上げることができる。
<コアリング回路>
図1のように構成される撮像装置におけるコアリング回路の動作について、図面を参照して以下に詳細に説明する。図13は、コアリング回路の内部構成を示すブロック図である。
コアリング回路12は、図13に示すように、階調変換回路11で階調変換されたRGB信号それぞれのノイズ成分を除去するローパスフィルタ(LPF)121r,121g,121bと、階調変換回路11からのRGB信号からLPF121r,121g,121bそれぞれでノイズ成分が除去されたRGB信号を減算することでノイズ成分を抽出する減算器122r,122g,122bと、減算器122r,122g,122bそれぞれから出力されるRGB信号のノイズ成分をコアリング演算処理するコアリング部123r,123g,123bと、コアリング部123r,123g,123bでコアリング演算処理することで得られたRGB信号それぞれのエッジ成分にエッジ強調量βが乗算される乗算器124r,124g,124bと、乗算器124r,124g,124bそれぞれからのRGB信号のエッジ成分をLPF121r,121g,121bでノイズ成分が除去されたRGB信号それぞれに加算する加算器125r,125g,125bと、を備える。
このような構成のコアリング回路12において、ローパスフィルタ121r,121g,121bは、n画素×n画素のマトリックス演算を行うもので、そのn×nのマトリックス係数(LPF係数)が全体制御部13より与えられる。又、コアリング部123r,123g,123bでは、その入出力が図3のような関係となる。即ち、入力が−αより大きくαより小さいときは出力が0となり、入力が−α以下であるときは出力が入力に対してαを加えた値となり、又はα以上であるときは出力が入力に対してαを減じた値となる。尚、以下では、この値αをコアリング係数とし、このコアリング係数αが全体制御部13より与えられる。又、乗算器124r,124g,124bで乗算されるエッジ強調量βも全体制御部13より与えられる。
そして、LPF係数及びコアリング係数α及びエッジ強調量βは、階調変換回路11から入力されるRGB信号に対応する画素における光電変換特性によって設定される。このとき、全体制御部13において、色補間回路9において色補間処理が行われた後の画像信号に基づいて各画素の光電変換特性が確認される。又、LPF係数及びコアリング係数α及びエッジ強調量βは各画素毎に設定され、同一画素のRGB信号に対して同一のLPF係数及びコアリング係数α及びエッジ強調量βが設定されるものとしても構わない。このように同一画素のRGB信号に対して同一のLPF係数及びコアリング係数α及びエッジ強調量βが設定されるとき、更に、色補間処理前のRGB信号より各画素の光電変換特性が確認されても構わないし、又、色補間処理後のG信号より各画素の光電変換特性が確認されても構わない。いずれの場合においても、RGB信号が図11のような光電変換特性となる場合、上述の階調変換回路11と同様、RGB信号の信号レベルと閾値レベルV3とを比較することによって、線形領域及び対数領域のいずれの領域の光電変換特性であるかを確認する。
このとき、例えば、LPF係数を5×5のマトリックス係数とするとともに、LPF係数及びコアリング係数α及びエッジ強調量βを、線形領域及び対数領域に対して、以下のように設定する。
線形領域
LPF係数: 4 0 9 0 4
0 9 20 9 0
9 20 88 20 9
0 9 20 9 0
4 0 9 0 4
コアリング係数α: 2
エッジ強調量β: 2
対数領域
LPF係数: 1 2 4 2 1
2 6 11 6 2
4 11 24 11 4
2 6 11 6 2
1 2 4 2 1
コアリング係数α: 4
エッジ強調量β: 3。
このように構成されるコアリング回路12に、画素GklのR信号rykl及びG信号gykl及びB信号byklが階調変換回路11より入力されたとき、全体制御部13において確認された画素GklにおけるRGB信号それぞれの光電変換特性に基づくLPF係数及びコアリング係数α及びエッジ強調量βがそれぞれ、LPF121r,121g,121b及びコアリング部123r,123g,123b及び乗算器124r,124g,124bそれぞれにおいて設定される。そして、この設定されたLPF係数に従ってLPF121r,121g,121bが動作することで、LPF121rよりR信号ryklからノイズ成分が除去されたR信号rzklが、LPF121gよりG信号gyklからノイズ成分が除去されたG信号gzklが、LPF121bよりB信号byklからノイズ成分が除去されたB信号bzklが、それぞれ出力される。
その後、減算器122rにおいて階調変換回路11からのR信号ryklからLPF121rからのR信号rzklが減算され、減算器122gにおいて階調変換回路11からのG信号gyklからLPF121gからのG信号gzklが減算され、減算器122bにおいて階調変換回路11からのB信号byklからLPF121bからのB信号bzklが減算される。よって、減算器122rからR信号のノイズ成分nrkl(=rykl−rzkl)が、減算器122gからG信号のノイズ成分ngkl(=gykl−gzkl)が、減算器122bからB信号のノイズ成分nbkl(=bykl−bzkl)が、それぞれ出力される。
そして、コアリング部123rでは、入力されたノイズ成分nrklが図3の入出力関係によるコアリング処理が成されてエッジ成分erklに変換され、又、コアリング部123gでは、入力されたノイズ成分ngklが図3の入出力関係によるコアリング処理が成されてエッジ成分egklに変換され、又、コアリング部123bでは、入力されたノイズ成分nbklが図3の入出力関係によるコアリング処理が成されてエッジ成分ebklに変換される。即ち、コアリング部123rを代表して説明すると、ノイズ成分nrklが以下の式ようにエッジ成分erklに変換されて出力される。
erkl=nrkl+α (nrkl≦−α)
erkl=0 (−α<nrkl<α)
erkl=nrkl−α (α≦nrkl)
このようにしてコアリング部123r,123g,123bそれぞれでエッジ成分erkl,egkl,ebklが得られると、乗算部124rでエッジ成分erklにエッジ強調量βが、乗算部124gでエッジ成分egklにエッジ強調量βが、乗算部124bでエッジ成分ebklにエッジ強調量βが、それぞれ乗算される。そして、加算部125rにおいて、ノイズ除去されたR信号rzklにエッジ強調されたエッジ成分β×erklが加算され、加算部125gにおいて、ノイズ除去されたG信号gzklにエッジ強調されたエッジ成分β×egklが加算され、加算部125bにおいて、ノイズ除去されたB信号bzklにエッジ強調されたエッジ成分β×ebklが加算される。よって、加算部125r,125g,125bそれぞれからエッジ強調されたRGB信号が出力される。
このとき、コアリング回路12の各部におけるRGB信号の状態が、図14のように遷移する。即ち、図14(a)のようなRGB信号が入力されると、LPF121r,121g,121bでノイズ除去されることで、図14(b)のようなRGB信号が得られる。又、減算器122r,122g,122bそれぞれにおいて、階調変換回路11からのRGB信号をLPF121r,121g,121bからのRGB信号で減算することで、図14(c)のようなRGB信号のノイズ成分が得られる。そして、このRGB信号のノイズ成分がコアリング回路123r,123g,123bに入力されることで、図14(d)のようなエッジ成分が得られた後、乗算器124r,124g,124bでエッジ強調量βが乗算されて、図14(e)のようなエッジ成分に変換される。加算部125r,125g,125bで乗算器124r,124g,124bからのRGB信号のエッジ成分がLPF121r,121g,121bからのRGB信号に加算されることで、図14(f)のようにエッジ強調されたRGB信号が出力される。
尚、本実施形態において、階調変換回路11で、その光電変換特性が線形変換特性となる領域の階調性を下げるとともに、その光電変換特性が対数変換特性となる領域の階調性を上げることによって、全輝度範囲における光電変換特性の階調性が均一になるようにしたが、光電変換特性が線形変換特性となる領域の階調性を下げるだけで全輝度範囲における光電変換特性の階調性が均一になるようにしても構わないし、又、光電変換特性が対数変換特性となる領域の階調性を上げるだけで全輝度範囲における光電変換特性の階調性が均一になるようにしても構わない。
又、本実施形態において、色補正回路10における色補正係数が線形領域及び線形/対数領域及び対数領域の3領域に対して設定され、階調変換回路11における階調変換用の演算式が線形領域及び対数領域の2領域に対して設定され、コアリング回路12におけるLPF係数及びコアリング係数α及びエッジ強調量βが線形領域及び対数領域の2領域に対して設定されるものとしたが、このような領域分けに限定されるものではない。よって、色補正回路10における色補正係数が線形領域及び対数領域の2領域に対して設定されるものとしても構わないし、又、階調変換回路11における階調変換用の演算式が線形領域及び線形/対数領域及び対数領域の3領域に対して設定されるものとしても構わないし、又、コアリング回路12におけるLPF係数及びコアリング係数α及びエッジ強調量βが線形領域及び線形/対数領域及び対数領域の3領域に対して設定されるものとしても構わない。
又、コアリング回路12におけるLPF係数及びコアリング係数α及びエッジ強調量βが線形領域及び線形/対数領域及び対数領域の3領域に対して設定されるとき、線形/対数領域におけるLPF係数及びコアリング係数α及びエッジ強調量βを、線形領域及び対数領域におけるLPF係数及びコアリング係数α及びエッジ強調量βの平均値としても構わない。更に、LPF係数については、3×3のマトリックス係数としても構わない。
更に、全体制御部13からのダイナミックレンジ制御信号によって固体撮像素子2の光電変換特性が切り換えられるとき、このダイナミックレンジ制御信号に基づいて、色補正回路10における色補正係数や階調変換回路11における階調変換用の演算式やコアリング回路12におけるLPF係数及びコアリング係数α及びエッジ強調量βが設定されるものとしても構わない。よって、全体制御部13からのダイナミックレンジ制御信号によって固体撮像素子2の光電変換特性がm個の光電変換特性から選択されて設定される場合、選択されるm個の光電変換特性それぞれに対して、各領域の色補正係数及び階調変換用の演算式及びLPF係数及びコアリング係数α及びエッジ強調量βが設定される。
即ち、例えば、上述のように、色補正係数が線形領域及び線形/対数領域及び対数領域の3領域に対して設定され、階調変換用の演算式及びLPF係数及びコアリング係数α及びエッジ強調量βが線形領域及び対数領域の2領域に対して設定される場合、全体制御部13では、3領域に応じた色補正係数をm群備えるとともに、2領域に応じた階調変換用の演算式及びLPF係数及びコアリング係数α及びエッジ強調量βをm群備える。そして、ダイナミックレンジ制御信号に基づき選択された固体撮像素子2の光電変換特性に応じて3領域に応じた色補正係数と2領域に応じた階調変換用の演算式及びLPF係数及びコアリング係数α及びエッジ強調量βとを抽出して、色補正回路10及び階調変換回路11及びコアリング回路12に与える。更に、このとき、全体制御部13は、光電変換特性の領域を識別するための閾値レベルV1〜V3を、ダイナミックレンジ制御信号に基づき選択された固体撮像素子2の光電変換特性に応じて設定し、この設定した閾値レベルV1〜V3についても、色補正回路10及び階調変換回路11に対して与える。
又、本実施形態において、固体撮像素子2の光電変換特性が線形変換特性から対数変換特性に変化するものとしたが、高輝度側と低輝度側において異なる線形変換特性となるものとしても構わない。このとき、固体撮像素子2の各画素への露光量を切り換えることによって、光電変換特性を切り換える。即ち、絞りによるレンズの開口率や露光時間を切り換えることによって光電変換特性を切り換えることができる。
更に、本実施形態において、複数種類の色フィルタを1つの固体撮像素子に設けた単板の固体撮像素子としたが、例えば、RGBの色フィルタ毎に固体撮像素子を備えた三板の固体撮像素子のように、同一の色フィルタが備えられた固体撮像素子を色フィルタの種類毎に備える構成としても構わない。このとき、色補間回路を除去することができる。又、固体撮像素子を、色フィルタの備えられることのないモノクロの画像信号を出力する固体撮像素子としても構わない。
更に、上述の撮像装置及び撮像システムにおいて、複数種類の光電変換特性に応じて信号処理動作に用いる各パラメータが格納されるものとしたが、各パラメータ毎に基準となる光電変換特性に対する基準値を格納するとともに、この基準となる光電変換特性との関係に基づいて、各パラメータの値を格納した基準値より算出するものとしても構わない。
<撮像システム>
上述の撮像装置においては、ホワイトバランス処理を含む各種信号処理を撮像装置内で行うものとしたが、これらの各種信号処理を撮像装置において行うことなく、撮像装置で得られたデータが与えられたコンピュータにおいて上述の各種信号処理を行うような撮像システムを構成することもできる。以下では、このような撮像装置とコンピュータを含む撮像システムについて、図面を参照して説明する。
この撮像システムは、図15に示すように、被写体を撮像してRGB信号を生成する撮像装置200と、撮像装置200から出力されるRGB信号を受信してホワイトバランス処理を含む各種信号処理を施すコンピュータ250と、によって構成される。このとき、撮像装置200において、被写体を撮像して得たRGB信号に対して黒基準補正及びFPN補正を行うとともに、露光量設定を行うためのAE評価値の検出を行う。それに対して、コンピュータ250では、WB評価値の検出を行うとともに、撮像装置200から与えられたRGB信号に対してホワイトバランス処理以降の各種信号処理を施す。
このような撮像システムにおいて、撮像装置200が、光学系1、固体撮像素子2、アンプ3、AD変換回路4、黒基準補正回路5、FPN補正回路6、絞り制御部14、及びタイミング生成回路15と、AE評価値を検出するAE評価値検出回路7aと、各ブロックの制御を行う全体制御部13aと、FPN補正回路6でFPN補正されたRGB信号を一時的に格納するメモリ201と、メモリ201に一時的に格納したRGB信号を読み出して外部に送信する入出力インターフェース202と、を備える。
又、コンピュータ250は、PC(Personal Computer)やPDA(Personal Digital Assistant)などであり、データの処理演算を行うCPU(Central Processing Unit)251と、データを一時的に格納するメモリ252と、アプリケーションやデータが格納されるハードディスク253と、データの入力を行うキーボードやマウスなどの入力部254と、映像を表示するディスプレイ255と、外部とのデータのやりとりを行う入出力インターフェース256と、を備える。
このように、撮像装置200及びコンピュータ250がそれぞれ構成するとき、コンピュータ250において、RGB信号に対してホワイトバランス処理以降の各種信号処理を施すためのアプリケーションがハードディスク253に格納されている。このアプリケーションをハードディスク253より読み出して、メモリ252に格納させることで、WB評価値の検出動作とホワイトバランス処理以降の各種信号処理を行うことができる。又、このアプリケーションを起動することによって、ユーザが各種信号処理におけるパラメータを指定するためのユーザインターフェース(UI)がディスプレイ255に表示される。
以下では、この撮像システムにおける撮像装置200及びコンピュータ250それぞれの動作について、図面を参照して説明する。
まず、撮像装置200においては、図1の撮像装置と同様、固体撮像素子2に光が入射されると、アナログ信号となるRGB信号が生成されて、アンプ3で増幅された後、A/D変換回路4でデジタル信号に変換される。このデジタル信号となるRGB信号は、黒基準補正回路5において、最低輝度値となる黒レベルが基準値に補正された後、FPN補正回路6において格納しているFPN成分を減算することによって、FPN成分が除去される。そして、FPN成分が除去されたRGB信号がメモリ201に格納される。このように動作するとき、FPN成分が除去されたRGB信号がAE評価値検出回路7aに与えられると、被写体の輝度範囲を確認し、絞り制御部14によって設定される絞り1aの開口度を決めるAE評価値が検出される。
又、撮像装置200は、撮像動作を行う際に固体撮像素子2に対して設定された光電変換特性を示すダイナミックレンジ情報を、撮像した画像毎に確認し、その画像のRGB信号とともにメモリ201に格納する。このダイナミックレンジ情報は、以下の4つの情報の(1)、(2)の少なくともいずれか一方と、(3)、(4)の少なくともいずれか一方と、を備えるか、又は、(1)〜(4)の少なくともいずれか一方のみを備える。
(1)固体撮像素子2の光電変換特性の変極点Vth
(2)固体撮像素子2の光電変換特性を設定するためのモード番号M
(3)固体撮像素子2の光電変換特性を示す近似式の係数A,C,γ,δ(この近似式については後述する)
(4)撮像装置200の撮像条件
これらのダイナミックレンジ情報において、固体撮像素子2の光電変換特性の変極点Vthは、固体撮像素子2の光電変換特性対数変換特性から線形変換特性に変更する際のRGB信号の信号レベルを示す。又、固体撮像素子2の光電変換特性を設定するためのモード番号Mは、このモード番号Mがコンピュータ250側で設定されることで、撮像装置200の固体撮像素子2の光電変換特性が設定されるものである。又、固体撮像素子2の光電変換特性を示す近似式の係数は、線形変換特性を表す(イ)式 V=A×L+C における係数A,Cと、対数変換特性を表す(ロ)式 V=γ×ln(L)+δ における係数γ,δとによって構成される。又、撮像装置200の撮像条件とされるとき、信号φVPSの電圧値VH,VLの電圧差ΔVPSと、固体撮像素子2への露光時間txと、絞り1aの開口率rxと、固体撮像素子2の内部アンプ及びアンプ3での増幅率axが、ダイナミックレンジ情報となる。この撮像装置200の撮像条件をダイナミックレンジ情報としたときは、(イ)式における係数Aと(露光時間×絞り1aの開口率×増幅率)との関係が既知であるとともに、(ロ)式における係数δと信号φVPSの電圧差ΔVPS、及び、係数γと増幅率の関係が既知である。
又、コンピュータ250は、入力部254が操作されることで、ハードディスク253よりアプリケーションが読み出されて、アプリケーションによって指定される動作が開始されると、ディスプレイ255に、UIとして、図16のような画面が表示される。図16の画面には、撮像されて得られた画像を表示する画像表示領域X1と、画像の鮮鋭度や色の濃淡の設定などの画像処理条件の設定を行う画像処理条件設定領域X2と、撮像装置200で撮像された画像の取り込みの開始を指示するための画像取得ボタンX3と、ホワイトバランス処理を行う際に基準とする光電変換特性を設定するためのWB設定領域X4と、色補正されたRGB信号信号に対して施す階調変換後の階調特性を示す階調特性表示領域X5と、が表示される。
このとき、画像処理条件設定領域X2において、スクロールバーSB1が操作されて画像の鮮鋭度が変更されると、コアリング回路12におけるエッジ成分を設定するためのエッジ強調量βが変更され、又、スクロールバーSB2が操作されて画像の色の濃淡が変更されると、色補正処理におけるマトリックス係数a1〜a3,b1〜b3,c1〜c3が変更される。このとき、撮像装置200から与えられるダイナミックレンジ情報に基づいて得られるエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わないし、予め設定された所定値のエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わない。
又、画像処理条件設定領域X2において、3つのオプションボタンOb1〜Ob3が指定されることで、スクロールバーSB1,SB2それぞれによって指定されるエッジ強調量β及びマトリックス係数a1〜a3,b1〜b3,c1〜c3を用いる対象となる画像が指定される。即ち、スクロールバーSB1,SB2で指定されたエッジ強調量β及びマトリックス係数a1〜a3,b1〜b3,c1〜c3の使用が、オプションボタンOb1が指定された場合は、得られた画像が光電変換特性が線形変換特性及び対数変換特性のいずれの場合においても行われることを示し、又、オプションボタンOb2が指定された場合は、得られた画像が光電変換特性が線形変換特性の場合においてのみ行われることを示し、更に、オプションボタンOb3が指定された場合は、得られた画像が光電変換特性が対数変換特性の場合においてのみ行われることを示す。
又、WB設定領域X4において、5つのオプションボタンWb1〜Wb5が指定されることで、ホワイトバランス処理を行う際のWB評価値wr,wbが設定される。即ち、オプションボタンWb1が指定されると、撮像装置200から与えられるRGB信号に基づいて自動的に設定されたWB評価値wr,wbを用いてホワイトバランス処理を行うことが設定され、オプションボタンWb2〜Wb5が指定されると、予め設定された値となるWB評価値wr,wbを用いてホワイトバランス処理を行うことが設定される。尚、オプションボタンWb2〜WB5が指定される場合はそれぞれ、蛍光灯下での画像に応じたWB評価値wr,wb、白熱灯下での画像に応じたWB評価値wr,wb、屋外晴天時での画像に応じたWB評価値wr,wb、屋外曇天時での画像に応じたWB評価値wr,wbのそれぞれが設定される。
又、階調特性表示領域X5において、表示された階調特性が、色補正処理されたRGB信号それぞれに対して階調変換する際の変換前後の関係を示す。そして、表示された階調特性における線形変換特性からの対数変換特性に切りかわる変極点の位置を変更することで、そのダイナミックレンジにおいて、線形変換特性による信号となる線形領域における階調の大きさと、対数変換特性による信号となる対数領域における階調の大きさとを設定することができる。尚、階調特性の変極点の位置は、撮像装置200から与えられるダイナミックレンジ情報に基づいて得られた位置を基準として設定されるものとしても構わないし、予め設定された所定位置を基準として設定されるものとしても構わない。又、階調特性を示す複数のLUTを備え、このLUTを切り換えることで、階調特性表示領域X5に表示するLUTを変更するものとしても構わない。
このように、コンピュータ250においてアプリケーションが起動されて、図16のようなUIがディスプレイ255に表示されたとき、コンピュータ250が図17のフローチャートに従って動作することで、撮像装置200で撮像された画像がディスプレイ255に表示される。まず、コンピュータ250において、入力部254が操作されて、UI画面内の画像取得ボタンX3が押されると(STEP1)、入出力インターフェース256に入出力インターフェース202が接続された撮像装置200に対して、撮像装置200との回線を確保する(STEP2)。このとき、撮像装置200とコンピュータ250との間で、通信の要求と応答を繰り返すことで、回線を確保することができる。
そして、撮像装置200との回線が確保されたか否かを確認し(STEP3)、撮像装置200との回線が確保されたことを確認したとき(Yes)、撮像装置200に対して撮像して得られたRGB信号の出力を要求する(STEP4)。このとき、撮像装置200は、コンピュータ250からのRGB信号の出力要求を受信すると、メモリ201に格納している1フレーム分のRGB信号とダイナミックレンジ情報とを読み出して、入出力インターフェース202より出力する。このとき、1フレーム分のRGB信号によるフレームデータが生成されて出力されるとき、ダイナミックレンジ情報がフレームデータのヘッダ部分に付加されている。
そして、撮像装置200からのフレームデータを入出力インターフェース256で受信されて、ハードディスク253の一時記憶領域に格納されると(STEP5)、このフレームデータのヘッダ部分からダイナミックレンジ情報を取得する(STEP6)。この取得したダイナミックレンジ情報によって、各信号処理に用いるパラメータを設定するとともに、設定されたパラメータに応じた表示を、ディスプレイ255のUI画像に対して行う(STEP7)。
即ち、ホワイトバランス処理に対するWB検出値wr,wb、色補正処理に対するマトリックス係数a1〜a3,b1〜b3,c1〜c3、階調変換処理に対する階調特性、コアリング処理に対するエッジ強調量βをそれぞれ設定するとともに、設定された各パラメータに応じた表示を、画像処理条件設定領域X2、WB設定領域X4、WB設定領域X4それぞれにおいて行う。
又、このように各パラメータが設定されるとき、色補正処理で用いる色補正係数を各画素のRGB信号毎に設定するために、ダイナミックレンジ情報より得られる変極点Vth、モード番号M、係数A,C,γ,δ、又は、撮像装置200の撮像条件より、線形領域、線形/対数領域、対数領域の3領域に分割するために用いる閾値レベルV1,V2(図9参照)を求める。
このとき、変極点Vthがダイナミックレンジ情報に含まれるときは、この変極点Vthに所定のオフセット量を減算して閾値レベルV1を設定するとともに、変極点Vthに所定のオフセット量を加算して閾値レベルV2を設定する。又、モード番号Mがダイナミックレンジ情報に含まれるときは、予めハードディスク253のアプリケーションとともに格納されるモード番号Mに対応した変極点Vthを読み出し、この変極点Vthに所定のオフセット量を加減算して、閾値レベルV1,V2を設定する。又、係数A,C,γ,δがダイナミックレンジ情報に含まれるときは、まず、この係数A,C,γ,δより確認される光電変換特性より変極点Vthを設定した後、この変極点Vthに所定のオフセット量を加減算して、閾値レベルV1,V2を設定する。
又、撮影条件(電圧差ΔVPS、露光時間tx、開口率rx、増幅率ax)がダイナミックレンジ情報に含まれるときは、基準値となる係数A0,C0,γ0、露光時間tx0、開口率rx0、増幅率ax0が予めハードディスク253のアプリケーションとともに格納されている。そして、まず、光電変換特性を表す(イ)、(ロ)式の係数A,C,γ,δが、以下の、(ハ)〜(ヘ)式に基づいて算出されることで設定される。尚、δ0は、予めハードディスク253のアプリケーションとともに格納される信号φVPSの電圧差ΔVPSに対応した値である。その後、この係数A,C,γ,δより確認される光電変換特性より変極点Vthを設定した後、この変極点Vthに所定のオフセット量を加減算して、閾値レベルV1,V2を設定する。
A=A0×(tx/tx0)×(rx/rx0)×(ax/ax0) …(ハ)
C=C0 …(ニ)
γ=γ0×(tx/tx0) …(ホ)
δ=δ0×(tx/tx0) …(ヘ)
更に、階調変換処理において用いる階調特性を確認するために、ダイナミックレンジ情報より得られる変極点Vth、モード番号M、係数A,C,γ,δ、又は、撮像装置200の撮像条件より、各画素のRGB信号それぞれの光電変換特性を判別するための閾値レベルV3(図11参照)を設定する。このときも、上述の閾値レベルV1,V2を求めるときと同様にして変極点Vthを求めると、求めた変極点Vthをそのまま閾値レベルV3と設定する。
このように設定されたパラメータがメモリ252に格納されたアプリケーションに与えられると、このアプリケーションによって、STEP5で受信されたフレームデータより得られるRGB信号に対して、設定されたパラメータに応じた信号処理が行われる(STEP8)。即ち、フレームデータより得られるRGB信号に対して、ホワイトバランス処理、色補間処理、色補正処理、階調変換処理、コアリング処理の順に、各信号処理を施す。尚、この各信号処理については、図1に示す撮像装置内における信号処理と同一であるため、その詳細な説明は省略する。
このようにして信号処理されたRGB信号によるフレームデータがハードディスク253に格納されるとともに、このフレームデータによる画像が、ディスプレイ255の画像表示領域X1に表示される(STEP9)。そして、入力部254が操作されて、画像処理条件設定領域X2、WB設定領域X4、WB設定領域X4における操作が成されて、各パラメータの変更が指示されたか否かが確認される(STEP10)。そして、パラメータの変更が指示されている場合(Yes)、指示された変更量に応じて各パラメータを変更した後(STEP11)、STEP8に移行する。
又、STEP3において回線の確保が確認できなかったときは(No)、回線が接続されていないことを示す表示をディスプレイ255に行うとともに(STEP12)、STEP2に移行する。更に、STEP10において、各パラメータの変更の指示が確認されなかった場合(No)、動作を終了する。
このように、本システムによると、コンピュータ250側で、演算負荷のかかる各信号処理が行われるため、撮像装置200の構成が簡単になるとともに、その処理速度を速くすることができる。又、本システムにおいて、撮像装置200で、コンピュータ250に出力する信号を、上述の静止画像によるフレームデータだけでなく、動画像によるフレームデータやストリームデータとしても構わない。このとき、複数の静止画像のフレームデータにより動画像とされる場合、ダイナミックレンジ情報を各フレームデータのヘッダに記録するようにし、又、時間軸での画像圧縮も行うようなストリームデータにより動画像とされる場合、このストリームデータとは別の情報としてダイナミックレンジ情報を送信する。
更に、撮像装置200において、全体制御部13aで、コンピュータ250に送信するRGB信号によるフレームデータ又はストリームデータを、JPEGやモーションJPEG又はMPEGなどの圧縮画像にフォーマット変換して、入出力インターフェース202より出力するものとしても構わない。又、コンピュータ250において、ディスプレイ255に表示するUIに、画像表示領域X1に表示される画像のヒストグラムを表示したり、対数変換特性による画素領域と線形変換特性による画素領域とを識別するための表示を行うようにしても構わない。
又、図15の撮像システムにおいて、撮像装置200が、黒基準補正回路5及びFPN成分補正回路6を備えるものとしたが、撮像装置200が、図15の構成から黒基準補正回路5及びFPN成分補正回路6が除かれた構成とし、コンピュータ250において黒基準補正処理及びFPN補正処理が行われるものとしても構わない。このとき、黒基準補正処理を行うための黒レベルと、FPN補正処理を行うためのFPN成分と、がダイナミックレンジ情報とともに送信されるものとしても構わない。
更に、このようにコンピュータ250において黒基準補正処理及びFPN補正処理が行われるとき、この黒レベル及びFPN成分を、コンピュータ250が、アプリケーションとともにハードディスク253に格納するものとしても構わない。このとき、黒レベルについては、光電変換特性の変極点Vthに対しても複数格納され、この予め格納されている黒レベルより、上述のようにしてダイナミックレンジ情報によって得られる光電変換特性の変極点Vthに応じた黒レベルが選択される。又、FPN成分については、個々の撮像装置200における固体撮像素子2によって異なるため、個々の撮像装置200毎に格納される。
更に、コンピュータ250において、ホワイトバランス処理を行う際、RGB信号を、その光電変換特性が全て対数変換特性による信号や、その光電変換特性が全て線形変換特性による信号に変換した後に、ホワイトバランス処理を行うものとしても構わない。即ち、光電変換特性が全て対数変換特性による信号に変換する場合は、線形変換特性によって得られた信号値を対数変換特性による信号値に変換し、又、光電変換特性が全て線形変換特性による信号に変換する場合は、対数変換特性によって得られた信号値を線形変換特性による信号値に変換する。尚、このような変換処理についての演算については、LUTを参照して行われるものとしても構わないし、演算式によって行われるものとしても構わない。
又、図15の撮像システムにおいて、撮像装置200の入出力インターフェース202とコンピュータ250の入出力インターフェース256とが通信接続されることで、撮像装置200で撮像されて得られたフレームデータがコンピュータ250に送信されるものとしたが、撮像装置200がフレキシブルディスクやコンパクトフラッシュやメモリカードなどの記録メディアにフレームデータ又はストリームデータを記録する記録部を備えるとともに、コンピュータ250がこの記録メディアのフレームデータ又はストリームデータを読み出す再生部を備えるものとしても構わない。このようにすることで、記録メディアを介して、撮像装置200からコンピュータ250に、撮像して得られたフレームデータ又はストリームデータを転送することができる。