JP2004128653A - Imaging unit, sensitivity correction method, and correction coefficient calculation apparatus and method - Google Patents
Imaging unit, sensitivity correction method, and correction coefficient calculation apparatus and method Download PDFInfo
- Publication number
- JP2004128653A JP2004128653A JP2002286884A JP2002286884A JP2004128653A JP 2004128653 A JP2004128653 A JP 2004128653A JP 2002286884 A JP2002286884 A JP 2002286884A JP 2002286884 A JP2002286884 A JP 2002286884A JP 2004128653 A JP2004128653 A JP 2004128653A
- Authority
- JP
- Japan
- Prior art keywords
- correction coefficient
- correction
- imaging
- solid
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 130
- 230000035945 sensitivity Effects 0.000 title claims abstract description 44
- 238000004364 calculation method Methods 0.000 title claims description 30
- 238000000034 method Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000004907 flux Effects 0.000 abstract description 3
- 239000006185 dispersion Substances 0.000 abstract 3
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- QEIQEORTEYHSJH-UHFFFAOYSA-N Armin Natural products C1=CC(=O)OC2=C(O)C(OCC(CCO)C)=CC=C21 QEIQEORTEYHSJH-UHFFFAOYSA-N 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000000206 photolithography Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は撮像装置、感度補正方法、補正係数算出装置及び方法に関し、例えばディジタルスチルカメラに適用して好適なものである。
【0002】
【従来の技術】
近年、ビデオカメラやディジタルスチルカメラの撮像手段として、CCD(Charge Coupled Device )撮像素子やCMOS(Complementary Metal Oxide Semiconductor )撮像素子等の固体撮像素子が広く用いられている。かかる固体撮像素子においては、フォトダイオード等の光電変換素子を格子状に配置し、光電変換によって得られた各光電変換素子の信号電荷を順次読み出すことにより画像信号を生成する。固体撮像素子は小型軽量で可動部分が無く、また消費電力が少ない等、数々の利点を有している(例えば、特許文献1及び2参照。)。
【0003】
【特許文献1】
特開平5−191644号公報(第2〜3頁)
【0004】
【特許文献2】
特開平10−284708号公報(第2〜4頁)
【0005】
【発明が解決しようとする課題】
ここで固体撮像素子においては、その製造方法に起因する画素毎の感度ばらつきを有している。
【0006】
図7はCCD撮像素子100の断面を示し、複数のフォトダイオード101やトランジスタ(図示せず)等を配した基板102、絶縁層103及び遮光層104が層状に構成されているとともに、各フォトダイオード101に対応する位置に絶縁層103及び遮光層104を貫通して開口部105が設けられ、さらに各開口部105の外方にはそれぞれ集光レンズ106が設けられている。
【0007】
そしてCCD撮像素子100においては、撮像レンズ(図示せず)から到来する撮像光を各集光レンズ106で集光し、対応するフォトダイオード101に入射させることにより、各フォトダイオード101に入射する光量を増加してCCD撮像素子100の感度を向上させるようになされている。
【0008】
実際上CCD撮像素子100の製造工程においては、遮光層104に塗布したレジストに対して所定パターンを露光してエッチングマスクを形成した後エッチングを施すことにより(いわゆるフォトリソグラフィー処理)、遮光層104及び絶縁層103を開口して開口部105を形成する。
【0009】
そして、遮光層104の上面にガラス層を覆設した後、当該ガラス層に対してフォトリソグラフィー処理を施すことにより各開口部105をそれぞれ覆う複数のガラス円板を形成し、さらに当該ガラス円板を加熱して融溶することにより略半球状の集光レンズ106を形成する。
【0010】
これらの製造工程においては、開口部105の開口形状や集光レンズ106の形状が均一になるように制御されているが、実際には様々な要因によってその形状が不均一になり、これにより各フォトダイオード101に入射する光束形状にばらつきが生じる。そして、かかる光束形状のばらつきによって各フォトダイオード101に対する入射光量が増減し、これが画素毎の感度ばらつきの原因となる。この画素毎の感度ばらつきは画像信号におけるノイズとして現れ、画像の品位を低下させるという問題がある。
【0011】
本発明は以上の点を考慮してなされたもので、簡易な構成で、固体撮像素子の画素毎の感度のばらつきを確実に補正し得る撮像装置、感度補正方法、補正係数算出装置及び方法を提案しようとするものである。
【0012】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、撮像レンズ及び絞りを介して入射する撮像光を光電変換して画像信号を生成する固体撮像素子と、所定の均一な撮像対象を固体撮像素子で撮像して得られる画像信号の各画素値の平均値を当該各画素値でそれぞれ除算して得られた補正係数を記憶する補正係数記憶手段と、任意の撮像対象を撮像して得られた画像信号に補正係数記憶手段から読み出した補正係数を乗算することにより、固体撮像素子の各画素の感度ばらつきを補正する感度補正手段とを設けるようにした。
【0013】
そして、撮像レンズのレンズ位置及び絞りの絞り値の一方又は組み合わせで定められる複数の補正パターンにそれぞれ対応する複数の補正係数を補正係数記憶手段に記憶しておき、撮像時の撮像レンズのレンズ位置及び絞りの絞り値に対応する補正パターンの補正係数を画像信号に乗算するようにした。
【0014】
また、所定の均一な撮像対象を固体撮像素子で撮像して得られる画像信号の各画素値の平均値を当該各画素値でそれぞれ除算して、固体撮像素子の各画素の感度ばらつきを補正するための補正係数を算出する係数算出手段と、算出した補正係数を、固体撮像素子を有する撮像装置に設けられた補正係数記憶手段に格納する補正係数格納手段とを設けるようにした。
【0015】
そして、撮像装置が有する撮像レンズのレンズ位置及び絞りの絞り値を当該レンズ位置及び絞り値の一方又は組み合わせで定められる複数の補正パターン毎にそれぞれ設定された代表値に順次セットする光学系制御手段を設け、係数算出手段は複数の補正パターン毎に補正係数を算出し、補正係数格納手段は補正係数記憶手段に複数の補正パターン毎に補正係数を格納するようにした。
【0016】
均一な撮像対象を撮像して得られる画像信号に基づいて補正係数を算出し、当該補正係数を任意の撮像対象を撮像して得られた画像信号に乗算することにより、固体撮像素子の各画素の感度ばらつきを精密に補正することができる。
【0017】
また、撮像レンズのレンズ位置及び絞りの絞り値の一方又は組み合わせで定められる複数の補正パターン毎の補正係数をそれぞれ算出し、撮像時の撮像レンズのレンズ位置及び絞りの絞り値に対応する補正パターンの補正係数を画像信号に乗算することにより、固体撮像素子に入射する撮像光の光束形状に応じた補正係数を用いて感度ばらつきをより精密に補正することができる。
【0018】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【0019】
(1)本発明による感度補正方法の原理
まず、本発明による固体撮像素子の感度補正方法の原理について説明する。上述したように、固体撮像素子の画素毎の感度ばらつきは開口部形状の不均一によって生ずる光束形状のばらつきが原因であるので、画素毎の信号値は入射する光量に対して直線的な特性を有する。このため、感度の補正もまた、直線的な演算(画素毎の信号値に対する画素毎の感度ばらつきの逆数(補正係数)の乗算)によって行うことができる。
【0020】
かかる画素毎の補正係数を算出するには、予め均一な光量を有する被写体を撮影し(以下、これをキャリブレーションと呼ぶ)、このとき得られた固体撮像素子の各画素毎の信号値(以下、これをキャリブレーション信号値と呼ぶ)の平均値を、各画素のキャリブレーション信号値で除算することにより求めることができる。
【0021】
(1−1)モノクロ固体撮像素子の補正
まず、モノクロ固体撮像素子における補正について説明する。固体撮像素子の画素数をn個とし、各画素pi(i=0、1、……n−1)のキャリブレーション信号値をaiとすると、平均キャリブレーション信号値Aは次式で求められる。
【0022】
A=(a0+a1+……+an−1)/n ……(1)
【0023】
更に、各画素piに対する補正係数kiは次式で求められる。
【0024】
ki=A/ai (i=0、1、……n−1) ……(2)
【0025】
そして、実際の撮影時における各画素の信号値をSiとすると、次式に示すように、各画素の信号値Siにそれぞれ補正係数kiを乗算することによって、補正後の信号値Sciを得ることができる。
【0026】
Sci=Si*ki (i=0、1、……n−1) ……(3)
【0027】
(1−2)カラー固体撮像素子の補正
次に、カラー固体撮像素子における補正について説明する。カラー固体撮像素子は、固体撮像素子の前面に、例えばR(赤)、G(緑)及びB(青)のようなカラーフィルタをドット状に配置して構成される。この場合、光源のスペクトルと各カラーフィルターの分光透過特性、さらに固体撮像素子の分光感度特性によって、RGB各色の画素の平均キャリブレーション信号値に差異が生じる。
【0028】
このためカラー固体撮像素子の補正においては、RGB各色の画素のキャリブレーション信号値ari、agi及びabiから、次式を用いてRGB各色の平均キャリブレーション信号値Ar、Ag及びAbを求める。
【0029】
Ar=(ar0+ar1+……+arn−1)/n
Ag=(ag0+ag1+……+agn−1)/n
Ab=(ab0+ab1+……+abn−1)/n ……(4)
【0030】
そして、RGB各色の画素pri、pgi及びpbiに対する補正係数kri、kgi及びkbiは次式で求められる。
【0031】
kri=Ar/ari
kgi=Ag/agi
kbi=Ab/abi (i=0、1、……n−1) ……(5)
【0032】
更に、実際の撮影時におけるRGB各色の画素の信号値をそれぞれSri、Sgi及びSbiとすると、次式に示すように、各色の画素の信号値Sri、Sgi及びSbiにそれぞれ対応する補正係数kri、kgi及びkbiを乗算することによって、補正後の信号値Scri、Scgi及びScbiを得ることができる。
【0033】
Scri=Sri*kri
Scgi=Sgi*kgi
Scgi=Sri*kri (i=0、1、……n−1) ……(6)
【0034】
(2)ディジタルスチルカメラの全体構成
次に、本発明を用いたディジタルスチルカメラの構成を説明する。図1において、1は全体として撮像装置としてのディジタルスチルカメラを示し、被写体から入射する撮像光Lをレンズ2A、2B及び2Cからなる撮像レンズ2を介してカラーCCD4に導光する。
【0035】
このときディジタルスチルカメラ1のMCU(Micro Control Unit)7は、ユーザによる操作あるいは自動露出制御処理に従って絞り3の絞り値を制御することによりカラーCCD4に入射する撮像光Lの光量を調整するとともに、ユーザによるズーム操作及びオートフォーカス制御処理に従って各レンズ2A、2B及び2Cの位置を制御することにより撮像レンズ2の焦点距離及びフォーカス位置を制御する。
【0036】
カラーCCD4は、撮像光Lを光電変換して得られる各画素毎の信号電荷をクロック発生器8から供給される読出クロックに従って順次読み出すことにより画像信号S1を生成し、これをアナログ/ディジタル変換部5に供給する。アナログ/ディジタル変換部5は画像信号S1をディジタル変換してディジタル映像信号D1を生成し、係数乗算部6に供給する。
【0037】
ここで補正係数記憶手段としての補正係数EEPROM10には、当該ディジタルスチルカメラ1の製造工程において補正係数算出装置(後述)によって算出された、カラーCCD4の各画素pri、pgi及びpbiに対する補正係数kri、kgi及びkbiを記憶した補正係数テーブルが格納されている。
【0038】
実際上ディジタルスチルカメラ1においては、カラーCCD4の各画素に入射する撮像光Lの光束形状は、図2に示すように撮像光Lの入射角、撮像レンズ2の焦点距離及び絞り3の絞り値に応じて様々に変化する。
【0039】
このためディジタルスチルカメラ1においては、図3に示すように、撮像レンズ2の焦点距離及び絞り3の絞り値の組み合わせでなる補正パターンを複数設定し(すなわち補正パターンa〜i)、各補正パターン毎の補正係数テーブルを補正係数ROM10に格納している。
【0040】
ROMアドレス発生器9は、撮像レンズ2の焦点距離及び絞り3の絞り値をMCU7から取得し、当該焦点距離及び絞り値に基づいて、現在の撮像レンズ2及び絞り3の状態に対応する補正係数テーブルを補正係数ROM10から選択する。そして感度補正手段としてのROMアドレス発生器9は、信号電荷を読み出し中の画素pri、pgi及びpbiに対応するROMアドレスを感度係数EEPROM10に順次供給することにより、当該読み出し中の画素Piに対する補正係数kri、kgi及びkbiを補正係数EEPROM10から順次読み出して係数乗算部6に供給する。そして感度補正手段としての係数乗算部6は、補正係数EEPROM10から順次供給される感度補正係数kri、kgi及びkbiを画像信号S1に乗算して補正し外部に出力し、かくしてディジタルスチルカメラ1はカラーCCD4の画素毎の感度ばらつきを補正する。
【0041】
(3)補正係数の算出
次に、補正係数算出装置による補正係数の算出を説明する。図4に示すようにディジタルスチルカメラ1の製造工程において、まず当該ディジタルスチルカメラ1に補正係数算出装置20を接続するとともに、その撮像レンズ2の前面に所定距離を隔てて散光板21を配置する。なお、図4においてはROMアドレス発生器9は省略してある。
【0042】
続いて、散光板21の背面を照明装置22で照明することにより撮像レンズ2に対して均一な拡散光を照射する。この状態において補正係数算出装置20のCPU(図示せず)は、図5に示す補正係数算出処理を実行する。
【0043】
すなわち係数算出手段としての補正係数算出装置20のCPUは、ルーチンRT1の開始ステップから入ってステップSP1に移り、図3に示す補正パターンa〜iのうちの一つを選択した後次のステップSP2に移る。
【0044】
ここで図3に示すように、各補正テーブルにはそれぞれ焦点距離及び絞り値の代表値が設定されている。ステップSP2において、補正係数算出装置20のCPUはディジタルスチルカメラ1のMCU7を制御し、撮像レンズ2の焦点距離及び絞り3の絞り値を選択した補正パターンの代表値にセットして次のステップSP3に移る。
【0045】
ステップSP3において補正係数算出装置20のCPUは、ディジタルスチルカメラ1のクロック発生器8を制御して散光板21の撮影を開始し、これによりアナログ/ディジタル変換部5から出力されるディジタル映像信号D1をキャリブレーション信号値ari、agi及びabiとしてRAM(図示せず)に格納し次のステップSP4に移る。
【0046】
ステップSP4において補正係数算出装置20のCPUは、RAMに格納したキャリブレーション信号値ari、agi及びabiを読み出し、式(4)を用いて、平均キャリブレーション信号値Ar、Ag及びAbを算出して次のステップSP5に移る。
【0047】
ステップSP5において補正係数算出装置20のCPUは式(5)を用い、キャリブレーション信号値ari、agi及びabiと、算出した平均キャリブレーション信号値Ar、Ag及びAbとからカラーCCD4についての補正係数kri、kgi及びkbiを算出する。そして補正係数算出装置20のCPUは、補正係数格納手段としてのEEPROMインターフェース(図示せず)を介して、当該算出した補正係数kri、kgi及びkbiをディジタルスチルカメラ1の補正係数EEPROM10に書き込み、次のステップSP6に移る。
【0048】
ステップSP6において補正係数算出装置20のCPUは、全ての補正パターンについて補正係数kri、kgi及びkbiを算出したか否かを判断する。そして、ステップSP6において全ての補正パターンについて補正係数kri、kgi及びkbiを算出していないと判断した場合、補正係数算出装置20のCPUはステップSP1に戻り、次の補正パターンを選択してステップSP2以降を実行する。
【0049】
これに対し、ステップSP6において全ての補正パターンについて補正係数kri、kgi及びkbiを算出したと判断した場合、補正係数算出装置20のCPUはステップSP7に移って補正係数算出処理を終了する。
【0050】
(4)動作及び効果
以上の構成において、補正係数算出装置20は、ディジタルスチルカメラ1の撮像レンズ2の焦点距離及び絞り3の絞り値を各補正パターンa〜iの代表値に順次セットして均一光を撮影し、このとき得られたキャリブレーション信号値ari、agi及びabiに基づいてカラーCCD4の各画素の感度ばらつきの逆数である補正係数kri、kgi及びkbiを各補正パターンa〜i毎に算出し、これをディジタルスチルカメラ1の補正係数EEPROM10に書き込む。
【0051】
そして、撮影時においてディジタルスチルカメラ1のMCU7は、撮像レンズ2の焦点距離及び絞り3の絞り値に対応する補正パターンを選択し、当該選択した補正パターンに対応する補正係数kri、kgi及びkbiを補正係数EEPROM10内の補正係数テーブルから読み出して画像信号S1に乗算することにより、カラーCCD4の各画素の感度ばらつきを補正することができる。
【0052】
ここで、撮像レンズ2の焦点距離及び絞り3の絞り値の組み合わせでなる補正パターンa〜i毎に補正係数を求めておき、撮影時の焦点距離及び絞り値に対応した補正係数を用いて画像信号S1を補正することにより、カラーCCD4に入射する実際の光束形状に適応した補正係数を用いて感度ばらつきを精密に補正することができる。
【0053】
(5)他の実施の形態
なお上述の実施の形態においては、撮像レンズ2の焦点距離及び絞り3の絞り値の組み合わせで補正パターンを構成して補正係数を求めるようにしたが、本発明はこれに限らず、焦点距離、絞り値に加えて撮像レンズ2のフォーカス位置の組み合わせで補正パターンを構成して補正係数を求めるようにしてもよい。この場合、実際の光束形状に更に適応した補正係数が得られ、感度ばらつきをより精密に補正することができる。
【0054】
また、撮像レンズ2の焦点距離及びフォーカス位置の組み合わせ、あるいはフォーカス位置と絞り3の絞り値の組み合わせで補正パターンを構成してもよく、さらには焦点距離、フォーカス位置、絞り値のいずれか一つに基づいて補正パターンを構成してもよい。要はCCDに入射する光束形状に応じた補正係数を用いることで、感度ばらつきを精密に補正することができる。
【0055】
また上述の実施の形態においては、ディジタルスチルカメラ1の製造工程において補正係数を算出して補正係数EEPROM10に書き込んでおくようにしたが、本発明はこれに限らず、撮影の直前に補正係数を算出するようにしてもよい。
【0056】
すなわち図1との共通部分に同一符号を付して示す図6において、30は全体として他の実施の形態のディジタルスチルカメラを示し、補正係数算出部31を有することと、補正係数EEPROM10に代えて補正係数RAM31を有すること以外は、図1に示したディジタルスチルカメラ1と同一の構成を有している。
【0057】
この場合ディジタルスチルカメラ30を用いた撮影の直前に、撮像レンズ2の前面に所定距離を隔てて散光板21を配置し、当該散光板21の背面を照明装置22で照明することにより撮像レンズ2に対して均一な拡散光を照射する。
【0058】
この状態において、補正係数算出部31は図3に示す補正パターンを順次選択し、撮像レンズ2の焦点距離及び絞り3の絞り値を選択した補正パターンの代表値にセットする。そして補正係数算出部31は、クロック発生器8を制御して散光板21の撮影を開始し、アナログ/ディジタル変換部5から出力されるディジタル映像信号D1をキャリブレーション信号値ari、agi及びabiとして、補正係数kri、kgi及びkbiを算出する。
【0059】
ただしこの場合、リアルタイムで平均キャリブレーション信号値Ar、Ag及びAbを求めることは困難であるため、これに代えて、予想される最小信号強度Armin、Agmin及びAbminを予め設定しておく。補正係数算出部31は、最小信号強度Armin、Agmin及びAbminをそれぞれキャリブレーション信号値ari、agi及びabiで除算することにより補正係数kri、kgi及びkbiを算出し、これを補正係数RAM32に格納する。
【0060】
そして実際の撮影時において、ディジタルスチルカメラ30は補正係数RAM32から読み出した補正係数kri、kgi及びkbiを画像信号S1に乗算することにより、カラーCCD4の各画素の感度ばらつきを補正することができる。
【0061】
さらに上述の実施の形態においては、CCDの画素毎の感度ばらつきをディジタルスチルカメラの内部で補正するようにしたが、本発明はこれに限らず、ディジタルスチルカメラの外部、例えばパーソナルコンピュータ等の情報処理装置で画素毎の感度ばらつきを補正するようにしてもよい。
【0062】
この場合、まずディジタルスチルカメラで均一な光量の被写体を撮影し、これにより得られる画像データをパーソナルコンピュータ上で処理することにより補正係数を算出する。そしてパーソナルコンピュータ上で、当該補正係数を用いて実際の撮影によって得られた画像データを補正すれば、上述の実施の形態と同様にCCDの画素毎の感度ばらつきを補正することができる。なおこの場合、ディジタルスチルカメラから出力される画像データは、RAWデータやロスレス圧縮方式等の各画素毎のデータがそのまま記録されるデータ形式である必要があり、JPEG(Joint Picture Coding Experts Group)等の非可逆圧縮方式のデータ形式は不適である。
【0063】
さらに上述の実施の形態においては、本発明をディジタルスチルカメラに適用した場合について述べたが、本発明はこれに限らず、ディジタルビデオカメラやスキャナ等、固体撮像素子を用いた各種撮像装置に適用することができる。
【0064】
【発明の効果】
上述のように本発明によれば、均一な撮像対象を撮像して得られる画像信号に基づいて補正係数を算出し、当該補正係数を任意の撮像対象を撮像して得られた画像信号に乗算することにより、固体撮像素子の各画素の感度ばらつきを精密に補正することができる。
【0065】
また、撮像レンズのレンズ位置及び絞りの絞り値の一方又は組み合わせで定められる複数の補正パターン毎の補正係数をそれぞれ算出し、撮像時の撮像レンズのレンズ位置及び絞りの絞り値に対応する補正パターンの補正係数を画像信号に乗算することにより、固体撮像素子に入射する撮像光の光束形状に応じた補正係数を用いて感度ばらつきをより精密に補正することができる。
【図面の簡単な説明】
【図1】本発明によるディジタルスチルカメラの全体構成を示すブロック図である。
【図2】CCDに入射する光束形状の変化の説明に用いる略線図である。
【図3】焦点距離と絞り値に応じた補正テーブル選択の説明に用いるグラフである。
【図4】補正係数の算出の説明に用いるブロック図である。
【図5】補正係数算出処理を示すフローチャートである。
【図6】他の実施の形態のデジタルスチルカメラの全体構成を示すブロック図である。
【図7】CCDの構造を示す略線図である。
【符号の説明】
1、30……ディジタルスチルカメラ、2……撮像レンズ、3……絞り、4……CCD、5……アナログ/ディジタル変換部、6……係数乗算部、7……MCU、8……クロック発生器、9……ROMアドレス発生器、10……補正係数EEPROM、20……補正係数算出装置、31……補正係数算出部、32……補正係数RAM。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging apparatus, a sensitivity correction method, and a correction coefficient calculation apparatus and method, and is suitably applied to, for example, a digital still camera.
[0002]
[Prior art]
2. Description of the Related Art In recent years, solid-state imaging devices such as a CCD (Charge Coupled Device) imaging device and a CMOS (Complementary Metal Oxide Semiconductor) imaging device have been widely used as an imaging unit of a video camera and a digital still camera. In such a solid-state imaging device, an image signal is generated by arranging photoelectric conversion elements such as photodiodes in a lattice pattern and sequentially reading signal charges of each photoelectric conversion element obtained by photoelectric conversion. The solid-state imaging device has many advantages such as small size, light weight, no moving parts, and low power consumption (for example, see
[0003]
[Patent Document 1]
JP-A-5-191644 (pages 2-3)
[0004]
[Patent Document 2]
JP-A-10-284708 (
[0005]
[Problems to be solved by the invention]
Here, the solid-state imaging device has a sensitivity variation for each pixel due to the manufacturing method.
[0006]
FIG. 7 shows a cross section of the CCD
[0007]
In the CCD
[0008]
Actually, in the manufacturing process of the CCD
[0009]
Then, after a glass layer is provided on the upper surface of the light-shielding layer 104, a plurality of glass disks covering each of the
[0010]
In these manufacturing steps, the opening shape of the
[0011]
The present invention has been made in consideration of the above points, and has an imaging apparatus, a sensitivity correction method, a correction coefficient calculation apparatus and a method capable of reliably correcting a variation in sensitivity of each pixel of a solid-state imaging device with a simple configuration. It is something to propose.
[0012]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, a solid-state imaging device that photoelectrically converts imaging light incident through an imaging lens and an aperture to generate an image signal, and an image of a predetermined uniform imaging target is captured by the solid-state imaging device. Correction coefficient storage means for storing a correction coefficient obtained by dividing the average value of each pixel value of the obtained image signal by each pixel value, and an image signal obtained by imaging an arbitrary imaging target. There is provided a sensitivity correction means for correcting a variation in sensitivity of each pixel of the solid-state imaging device by multiplying the correction coefficient read from the correction coefficient storage means.
[0013]
Then, a plurality of correction coefficients respectively corresponding to a plurality of correction patterns determined by one or a combination of the lens position of the imaging lens and the aperture value of the aperture are stored in the correction coefficient storage means, and the lens position of the imaging lens at the time of imaging is stored. The image signal is multiplied by a correction coefficient of a correction pattern corresponding to the aperture value of the aperture.
[0014]
In addition, the sensitivity variation of each pixel of the solid-state imaging device is corrected by dividing the average value of each pixel value of an image signal obtained by imaging a predetermined uniform imaging target with the solid-state imaging device by the pixel value. And a correction coefficient storage unit for storing the calculated correction coefficient in a correction coefficient storage unit provided in an imaging apparatus having a solid-state imaging device.
[0015]
Optical system control means for sequentially setting the lens position of the imaging lens and the aperture value of the aperture of the imaging device to representative values respectively set for a plurality of correction patterns determined by one or a combination of the lens position and the aperture value. The coefficient calculating means calculates a correction coefficient for each of the plurality of correction patterns, and the correction coefficient storing means stores the correction coefficients in the correction coefficient storing means for each of the plurality of correction patterns.
[0016]
By calculating a correction coefficient based on an image signal obtained by imaging a uniform imaging target, and multiplying the correction coefficient by an image signal obtained by imaging an arbitrary imaging target, each pixel of the solid-state imaging device Can be precisely corrected.
[0017]
Further, a correction coefficient for each of a plurality of correction patterns determined by one or a combination of the lens position of the imaging lens and the aperture value of the aperture is calculated, and a correction pattern corresponding to the lens position of the imaging lens and the aperture value of the aperture at the time of imaging. By multiplying the image signal by the correction coefficient, the sensitivity variation can be more precisely corrected using a correction coefficient corresponding to the shape of the light beam of the imaging light incident on the solid-state imaging device.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0019]
(1) Principle of Sensitivity Correcting Method According to the Present Invention First, the principle of the sensitivity correcting method for a solid-state imaging device according to the present invention will be described. As described above, since the variation in sensitivity of each pixel of the solid-state imaging device is caused by the variation of the light beam shape caused by the non-uniform aperture shape, the signal value of each pixel has a linear characteristic with respect to the amount of incident light. Have. For this reason, the sensitivity correction can also be performed by a linear operation (multiplication of the signal value of each pixel by the reciprocal (correction coefficient) of the sensitivity variation of each pixel).
[0020]
In order to calculate such a correction coefficient for each pixel, a subject having a uniform light amount is photographed in advance (hereinafter, this is referred to as calibration), and a signal value for each pixel of the solid-state image sensor (hereinafter, referred to as calibration) is obtained. , This is referred to as a calibration signal value) by dividing the average value by the calibration signal value of each pixel.
[0021]
(1-1) Correction of Monochrome Solid-State Image Sensor First, correction in a monochrome solid-state image sensor will be described. Assuming that the number of pixels of the solid-state imaging device is n and the calibration signal value of each pixel pi (i = 0, 1,..., N−1) is ai, the average calibration signal value A is obtained by the following equation.
[0022]
A = (a0 + a1 +... + An-1) / n (1)
[0023]
Further, the correction coefficient ki for each pixel pi is obtained by the following equation.
[0024]
ki = A / ai (i = 0, 1,..., n−1) (2)
[0025]
Assuming that the signal value of each pixel at the time of actual photographing is Si, as shown in the following equation, the corrected signal value Sci is obtained by multiplying the signal value Si of each pixel by a correction coefficient ki. Can be.
[0026]
Sci = Si * ki (i = 0, 1,..., N−1) (3)
[0027]
(1-2) Correction of Color Solid-State Image Sensor Next, correction of the color solid-state image sensor will be described. A color solid-state imaging device is configured by arranging color filters such as R (red), G (green), and B (blue) in a dot shape on the front surface of the solid-state imaging device. In this case, the average calibration signal value of each pixel of RGB varies depending on the spectrum of the light source, the spectral transmission characteristics of each color filter, and the spectral sensitivity characteristics of the solid-state imaging device.
[0028]
Therefore, in the correction of the color solid-state imaging device, the average calibration signal values Ar, Ag, and Ab of each of the RGB colors are obtained from the calibration signal values ari, agi, and abi of the pixels of each of the RGB colors using the following equation.
[0029]
Ar = (ar0 + ar1 +... + Arn-1) / n
Ag = (ag0 + ag1 +... + Agn-1) / n
Ab = (ab0 + ab1 +... + Abn-1) / n (4)
[0030]
The correction coefficients kri, kgi, and kbi for the pixels pri, pgi, and pbi of each of the RGB colors are obtained by the following equations.
[0031]
kri = Ar / ari
kgi = Ag / agi
kbi = Ab / abi (i = 0, 1,..., n−1) (5)
[0032]
Further, assuming that the signal values of the pixels of each of the RGB colors at the time of actual shooting are Sri, Sgi, and Sbi, respectively, the correction coefficients kri, which correspond to the signal values of the pixels of each color, Sri, Sgi, and Sbi, respectively, as shown in the following equations: By multiplying kgi and kbi, corrected signal values Scri, Scgi, and Scbi can be obtained.
[0033]
Scri = Sri * kri
Scgi = Sgi * kgi
Scgi = Sri * kri (i = 0, 1,..., N−1) (6)
[0034]
(2) Overall Configuration of Digital Still Camera Next, the configuration of a digital still camera using the present invention will be described. In FIG. 1,
[0035]
At this time, an MCU (Micro Control Unit) 7 of the digital
[0036]
The
[0037]
Here, a
[0038]
In practice, in the digital
[0039]
For this reason, in the digital
[0040]
The
[0041]
(3) Calculation of Correction Coefficient Next, calculation of the correction coefficient by the correction coefficient calculation device will be described. As shown in FIG. 4, in the manufacturing process of the digital
[0042]
Subsequently, the back surface of the
[0043]
That is, the CPU of the correction
[0044]
Here, as shown in FIG. 3, representative values of the focal length and the aperture value are set in each correction table. In step SP2, the CPU of the correction
[0045]
In step SP3, the CPU of the correction
[0046]
In step SP4, the CPU of the correction
[0047]
In step SP5, the CPU of the correction
[0048]
In step SP6, the CPU of the correction
[0049]
On the other hand, if it is determined in step SP6 that the correction coefficients kri, kgi, and kbi have been calculated for all the correction patterns, the CPU of the correction
[0050]
(4) Operation and Effect In the configuration described above, the correction
[0051]
Then, at the time of shooting, the MCU 7 of the digital
[0052]
Here, a correction coefficient is obtained for each of the correction patterns a to i, which is a combination of the focal length of the
[0053]
(5) Other Embodiments In the above-described embodiment, the correction coefficient is obtained by forming a correction pattern by combining the focal length of the
[0054]
Further, a correction pattern may be configured by a combination of the focal length and the focus position of the
[0055]
In the above-described embodiment, the correction coefficient is calculated in the manufacturing process of the digital
[0056]
That is, in FIG. 6 in which the same parts as in FIG. 1 are denoted by the same reference numerals,
[0057]
In this case, immediately before photographing using the digital
[0058]
In this state, the correction
[0059]
However, in this case, since it is difficult to obtain the average calibration signal values Ar, Ag, and Ab in real time, the expected minimum signal strengths Armin, Agmin, and Abmin are set in advance instead. The correction
[0060]
Then, at the time of actual photographing, the digital
[0061]
Furthermore, in the above-described embodiment, the sensitivity variation for each pixel of the CCD is corrected inside the digital still camera. However, the present invention is not limited to this. The sensitivity variation for each pixel may be corrected by the processing device.
[0062]
In this case, first, a digital still camera is used to photograph a subject having a uniform light amount, and the obtained image data is processed on a personal computer to calculate a correction coefficient. Then, if the image data obtained by actual photographing is corrected on the personal computer using the correction coefficient, the sensitivity variation for each pixel of the CCD can be corrected in the same manner as in the above-described embodiment. In this case, the image data output from the digital still camera needs to be in a data format in which data for each pixel such as RAW data or a lossless compression method is recorded as it is, such as JPEG (Joint Picture Coding Experts Group). The data format of the lossy compression method is inappropriate.
[0063]
Further, in the above-described embodiment, a case has been described in which the present invention is applied to a digital still camera. However, the present invention is not limited to this, and is applicable to various imaging devices using solid-state imaging devices, such as digital video cameras and scanners. can do.
[0064]
【The invention's effect】
As described above, according to the present invention, a correction coefficient is calculated based on an image signal obtained by imaging a uniform imaging target, and the correction coefficient is multiplied by an image signal obtained by imaging an arbitrary imaging target. By doing so, it is possible to precisely correct the sensitivity variation of each pixel of the solid-state imaging device.
[0065]
Further, a correction coefficient for each of a plurality of correction patterns determined by one or a combination of the lens position of the imaging lens and the aperture value of the aperture is calculated, and a correction pattern corresponding to the lens position of the imaging lens and the aperture value of the aperture at the time of imaging. By multiplying the image signal by the correction coefficient, the sensitivity variation can be more precisely corrected using a correction coefficient corresponding to the shape of the light beam of the imaging light incident on the solid-state imaging device.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a digital still camera according to the present invention.
FIG. 2 is a schematic diagram used to describe a change in the shape of a light beam incident on a CCD.
FIG. 3 is a graph used for explaining a correction table selection according to a focal length and an aperture value.
FIG. 4 is a block diagram used for explaining calculation of a correction coefficient.
FIG. 5 is a flowchart illustrating a correction coefficient calculation process.
FIG. 6 is a block diagram illustrating an overall configuration of a digital still camera according to another embodiment.
FIG. 7 is a schematic diagram illustrating a structure of a CCD.
[Explanation of symbols]
1, 30 digital still camera, 2 imaging lens, 3 aperture, 4 CCD, 5 analog / digital conversion unit, 6 coefficient multiplication unit, 7 MCU, 8
Claims (6)
所定の均一な撮像対象を上記固体撮像素子で撮像して得られる画像信号の各画素値の平均値を当該各画素値でそれぞれ除算して得られた補正係数を記憶する補正係数記憶手段と、
任意の撮像対象を撮像して得られた上記画像信号に上記補正係数記憶手段から読み出した補正係数を乗算することにより、上記固体撮像素子の各画素の感度ばらつきを補正する感度補正手段と
を具えることを特徴とする撮像装置。A solid-state imaging device that photoelectrically converts imaging light incident through an imaging lens and an aperture to generate an image signal;
Correction coefficient storage means for storing a correction coefficient obtained by dividing an average value of each pixel value of an image signal obtained by imaging a predetermined uniform imaging target with the solid-state imaging device by each of the pixel values,
A sensitivity correction unit configured to correct a sensitivity variation of each pixel of the solid-state imaging device by multiplying the image signal obtained by imaging an arbitrary imaging target by a correction coefficient read from the correction coefficient storage unit. An imaging device, comprising:
上記感度補正手段は、上記任意の撮像対象の撮影時における上記撮像レンズのレンズ位置及び絞りの絞り値に対応する上記補正パターンの上記補正係数を上記画像信号に乗算する
ことを特徴とする請求項1に記載の撮像装置。The correction coefficient storage means stores a plurality of correction coefficients respectively corresponding to a plurality of correction patterns determined by one or a combination of the lens position of the imaging lens and the aperture value of the aperture,
The sensitivity correction means multiplies the image signal by the correction coefficient of the correction pattern corresponding to the lens position of the imaging lens and the aperture value of the aperture when the arbitrary imaging target is photographed. 2. The imaging device according to 1.
ことを特徴とする感度補正方法。For an image signal obtained by imaging an arbitrary imaging target with a solid-state imaging device, an average value of pixel values of an image signal obtained by imaging a predetermined uniform imaging target with the solid-state imaging device is calculated for each of the image signals. A sensitivity correction method, wherein a sensitivity variation of each pixel of the solid-state imaging device is corrected by multiplying a correction coefficient obtained by dividing each pixel value.
上記算出した補正係数を、上記固体撮像素子を有する撮像装置に設けられた補正係数記憶手段に格納する補正係数格納手段と
を具えることを特徴とする補正係数算出装置。In order to correct the sensitivity variation of each pixel of the solid-state imaging device, the average value of each pixel value of an image signal obtained by imaging a predetermined uniform imaging target with the solid-state imaging device is divided by the pixel value. Coefficient calculating means for calculating a correction coefficient of
A correction coefficient storage unit configured to store the calculated correction coefficient in a correction coefficient storage unit provided in an imaging device having the solid-state imaging device.
を具え、
上記係数算出手段は、上記複数の補正パターン毎に上記補正係数を算出し、
上記補正係数格納手段は、上記補正係数記憶手段に上記複数の補正パターン毎に上記補正係数を格納する
ことを特徴とする請求項4に記載の補正係数算出装置。Optical system control means for sequentially setting the lens position of the imaging lens and the aperture value of the aperture of the imaging device to representative values respectively set for a plurality of correction patterns determined by one or a combination of the lens position and the aperture value. With
The coefficient calculating means calculates the correction coefficient for each of the plurality of correction patterns,
5. The correction coefficient calculation device according to claim 4, wherein said correction coefficient storage means stores said correction coefficient for each of said plurality of correction patterns in said correction coefficient storage means.
上記算出した平均値を上記各画素値でそれぞれ除算することにより上記固体撮像素子の各画素の感度ばらつきを補正するための補正係数を算出する係数算出ステップと
を具えることを特徴とする補正係数算出方法。An average value calculation step of calculating an average value of each pixel value of an image signal obtained by imaging a predetermined uniform imaging target with a solid-state imaging device,
A coefficient calculating step of calculating a correction coefficient for correcting a sensitivity variation of each pixel of the solid-state imaging device by dividing the calculated average value by each of the pixel values. Calculation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002286884A JP2004128653A (en) | 2002-09-30 | 2002-09-30 | Imaging unit, sensitivity correction method, and correction coefficient calculation apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002286884A JP2004128653A (en) | 2002-09-30 | 2002-09-30 | Imaging unit, sensitivity correction method, and correction coefficient calculation apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004128653A true JP2004128653A (en) | 2004-04-22 |
Family
ID=32279843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002286884A Pending JP2004128653A (en) | 2002-09-30 | 2002-09-30 | Imaging unit, sensitivity correction method, and correction coefficient calculation apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004128653A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7812792B2 (en) | 2005-08-08 | 2010-10-12 | Samsung Sdi Co., Ltd. | Electron emission display device and control method of the same |
-
2002
- 2002-09-30 JP JP2002286884A patent/JP2004128653A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7812792B2 (en) | 2005-08-08 | 2010-10-12 | Samsung Sdi Co., Ltd. | Electron emission display device and control method of the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4025207B2 (en) | Solid-state image sensor and digital camera | |
EP1458183A2 (en) | Camera using a beam splitter with micro-lens array for image amplification | |
JP2004354581A (en) | Imaging apparatus | |
JP2003289474A (en) | Image processor, imaging apparatus, image processing method, program, and computer-readable storage medium | |
JP2007221209A (en) | Camera, imaging method, expose arithmetic unit and program | |
US6831687B1 (en) | Digital camera and image signal processing apparatus | |
JP2008271123A (en) | Imaging device | |
JP5272699B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
US7499088B2 (en) | Imaging apparatus, imaging method and imaging processing program | |
JP5896680B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
US7697043B2 (en) | Apparatus for compensating for color shading on a picture picked up by a solid-state image sensor over a broad dynamic range | |
JP4295149B2 (en) | Color shading correction method and solid-state imaging device | |
JP4121493B2 (en) | Digital camera, signal processing method and signal processing apparatus | |
JP2009141571A (en) | Imaging apparatus | |
JP2007013270A (en) | Imaging apparatus | |
JP5173664B2 (en) | Image processing apparatus and image processing method | |
US6943335B2 (en) | Signal processing apparatus having a specific limb darkening correction | |
JP4279562B2 (en) | Control method for solid-state imaging device | |
JP2004128653A (en) | Imaging unit, sensitivity correction method, and correction coefficient calculation apparatus and method | |
JP2007013269A (en) | Imaging apparatus | |
JP3546855B2 (en) | Digital camera | |
JP2000092383A (en) | Image input device, image input method, method for adjusting transmission filter, method for measuring transmission filter and image output method | |
JP2004201203A (en) | Imaging device and digital image pickup apparatus equipped with the same | |
US20040155972A1 (en) | Signal processing method, a signal processor circuit, and imaging apparatus | |
JP3867491B2 (en) | Electronic camera and gain setting method |