JP2008028623A - 撮像装置 - Google Patents

Abstract

【課題】画素ごとの出力ばらつきを補正する撮像装置において、ばらつき補正データメモリの容量を大幅に低減することを可能とする。
【解決手段】撮像装置１に、複数種類の変換特性により光電変換を行う複数の画素を有する撮像素子４と、出力ばらつき量Ｄを格納するばらつき補正データメモリ１２と、出力ばらつき量Ｄに基づきメモリ補正を行うメモリ補正部１４ａと、補間補正を行う補間補正部１４ｂとを設け、ばらつき補正データメモリ１２は補正手段判定ＩＤ以下の出力ばらつき量Ｄを格納できるビット数とされ、出力ばらつき量Ｄが補正手段判定ＩＤより大きい場合は補正手段判定ＩＤを出力ばらつき量Ｄとして格納し、出力ばらつき量Ｄが補正手段判定ＩＤ未満である場合はメモリ補正を行うと判定し、補正手段判定ＩＤと一致する場合は補間補正を行うと判定して、その判定結果に従って補正手段を切り換える。
【選択図】図１

Description

本発明は、複数の光電変換特性により入射光を電気信号に変換する撮像素子を有する撮像装置に関する。

従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が備えられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサが提案されている。

しかし、複数の画素を有する撮像素子では、画素ごとの感度の相違に起因して、出力にばらつきが生じるという問題があった。この画素ごとの感度の相違は、複数種類の変換特性の切換点における出力信号値の画素ごとのばらつきによるものであるが、撮影画像にはざらつきノイズとして現れることから、高画質化を実現するためには最も解決しなければならない問題だった。

そこで、撮像素子の画素ごとの出力ばらつきを解消するために、画素ごとのばらつき量を予めメモリに保持させておき、信号処理を行う際に、この画素ごとのばらつき量をメモリから読み出して演算処理によりばらつき補正を行う撮像装置が提案されている（特許文献１）。
特開平５−０３０３５０号公報

しかしながら、上記の補正では全画素のばらつき量を予めメモリに保持させておく必要があるという問題があった。また、画素ごとのばらつき量が大きくなるほど大容量のメモリが必要となるが、大容量メモリの実装にはコストがかかるという問題があった。

本発明の課題は、画素ごとの出力ばらつきを補正する撮像装置において、ばらつき補正データを格納するメモリの容量を大幅に低減することを可能とする撮像装置を提供することにある。

上記課題を解決するために請求項１記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、前記複数の画素の出力ばらつき量を格納するばらつき補正データメモリと、前記出力ばらつき量に基づいてメモリ補正を行うことにより前記複数の画素の出力ばらつきを低減する補正手段としてのメモリ補正部と、前記複数の画素の出力信号間で補間補正を行うことにより前記複数の画素の出力ばらつきを低減する補正手段としての補間補正部とを備え、前記ばらつき補正データメモリは前記所定の閾値以下の前記出力ばらつき量を格納することができるビット数とされ、前記出力ばらつき量が前記所定の閾値より大きい場合は前記所定の閾値を前記出力ばらつき量として格納し、前記出力ばらつき量が所定の閾値未満である場合は前記メモリ補正部によるメモリ補正を行うと判定し、前記所定の閾値と一致する場合は前記補間補正部による補間補正を行うと判定して、その判定結果に従って補正手段を切り換える補正手段判定部を備えることを特徴とする。

請求項１記載の発明によれば、各画素の出力ばらつき量に応じ、所定の閾値を基準としてメモリ補正と補間補正とを切り換えることにより、メモリ補正に用いるばらつき補正データを格納するばらつき補正データメモリは、前記所定の閾値以下の出力ばらつき量を格納することができるビット数とすればよいことから、全画素の出力ばらつき量をそのまま格納する場合と比較して、ばらつき補正データメモリの容量を大幅に低減することが可能となる。

請求項２記載の発明は、請求項１記載の撮像装置であって、前記メモリ補正の対象となる前記出力ばらつき量の閾値は前記出力ばらつき量の分布の平均値をＤ_ａｖｅ、前記分布の標準偏差をσとしてＤ_ａｖｅ±２σとされ、前記所定の閾値は８ビットのメモリの最大容量である２５５とされ、前記ばらつき補正データメモリのビット数は８ビットとされていることを特徴とする。

請求項２記載の発明によれば、メモリ補正の対象となる出力ばらつき量の閾値をＤ_ａｖｅ±２σとすることにより、例えば、Ｄ_ａｖｅ＝２００、２σ＝５４の場合、メモリ補正の対象となる上記所定範囲の閾値は「２００±５４」となり、補正手段判定ＩＤを８ビットのメモリの最大容量である２５５として、ばらつき補正データメモリを８ビットとすることが可能となる。これにより、市販のメモリを無駄なく使用してばらつき補正データメモリの容量を低減することが可能となる。また、出力ばらつき量の閾値をＤ_ａｖｅ±２σとすれば、メモリ補正の対象となる画素数は全体の９５％となり、出力ばらつきの発生頻度が高い範囲についてはメモリ補正を行いつつ、発生頻度が低い範囲は補間補正で代替して、ばらつき補正データメモリの容量を低減することが可能となる。

請求項３記載の発明は、請求項１又は請求項２記載の撮像装置であって、前記複数の画素の前記メモリ補正後又は前記補間補正後における出力信号値の特性を判定し、その判定結果に応じて、補正後の出力信号値を出力させ又は補正前の出力信号値を出力させる出力特性判定部を備えることを特徴とする。

請求項３記載の発明によれば、撮像素子の複数種類の変換特性による出力信号のうち、画素ごとの感度の相違による影響が撮影画像に顕著に表れる領域を出力ばらつき補正の対象とすることにより、信号処理を容易化しつつ高精度な出力ばらつき補正を行うことが可能となる。

請求項４記載の発明は、請求項１〜請求項３いずれか一項に記載の撮像装置であって、前記撮像素子は前記複数種類の変換特性の切換点を制御する出力特性制御回路を備えることを特徴とする。

請求項４記載の発明によれば、複数種類の変換特性の切換点を制御することができる撮像装置において、上記と同様の作用を得ることが可能となる。

請求項５記載の発明は、請求項１〜請求項４いずれか一項に記載の撮像装置であって、前記複数種類の変換特性は線形特性及び対数特性であることを特徴とする。

請求項５記載の発明によれば、複数種類の変換特性として線形特性及び対数特性を有する撮像素子を備える撮像装置において、上記と同様の作用を得ることが可能となる。

請求項６記載の発明は、請求項１〜請求項５いずれか一項に記載の撮像装置であって、前記複数種類の変換特性は複数の線形特性であることを特徴とする。

請求項６記載の発明によれば、複数種類の変換特性として複数の線形特性を有する撮像素子を備える撮像装置において、上記と同様の作用を得ることが可能となる。

請求項７記載の発明は、請求項１〜請求項６いずれか一項に記載の撮像装置であって、前記複数種類の変換特性は複数の対数特性であることを特徴とする。

請求項７記載の発明によれば、複数種類の変換特性として複数の対数特性を有する撮像素子を備える撮像装置において、上記と同様の作用を得ることが可能となる。

請求項１記載の発明によれば、ばらつき補正データメモリの容量を低減して、コスト削減及び装置の小型化を実現することが可能となる。

請求項２記載の発明によれば、市販のメモリを無駄なく使用してばらつき補正データメモリの容量を低減することが可能となる。また、出力ばらつきの発生頻度が高い範囲についてはメモリ補正を行いつつ、発生頻度が低い範囲は補間補正で代替して、ばらつき補正データメモリの容量を低減することが可能となる。

請求項３記載の発明によれば、信号処理を容易化しつつ高精度な出力ばらつき補正を行うことが可能となる。

請求項４記載の発明によれば、上記と同様の効果を得ることが可能となる。

請求項５記載の発明によれば、上記と同様の効果を得ることが可能となる。

請求項６記載の発明によれば、上記と同様の効果を得ることが可能となる。

請求項７記載の発明によれば、上記と同様の効果を得ることが可能となる。

以下、本発明に係る撮像装置の実施形態について図面を参照して説明する。

図１に、本実施形態に係る撮像装置１の全体構成を示す。図１に示すように、撮像装置１はレンズ系２及び絞り３を介して、撮像素子４の撮像面で入射光を受光するようになっている。これらレンズ系２及び絞り３としては、従来から公知のものが用いられている。

ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が切換点を介して連続的に変化するようになっている。

本実施形態の撮像素子４は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されており、撮像素子４の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「切換点」の下位概念となる語である。

なお、複数種類の変換特性を有する撮像素子４としては、出力信号がリニア領域からログ領域に連続的に変化するリニアログ変換型センサに限られるものではなく、出力信号がログ領域からリニア領域に連続的に変化するものや、出力信号に傾きが異なる複数の線形領域を有するもの、３種類以上の出力特性を有する撮像素子であってもよい。

撮像素子４は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ₁₁〜Ｇ_mn（但し、ｎ，ｍは１以上の整数）を有している。

各画素Ｇ₁₁〜Ｇ_mnは、入射光を光電変換して電気信号を出力するものである。これら画素Ｇ₁₁〜Ｇ_mnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。

これら画素Ｇ₁₁〜Ｇ_mnのレンズ系２側には、ベイヤ配列のＲＧＢ原色フィルタが実装されている。なお、色フィルタの種類はこれに限定されず、各画素Ｇ₁₁〜Ｇ_mnにシアン（Cyan）、マゼンタ（Magenta）及びイエロー（Yellow）などの他の色フィルタを設けることとしてもよい。また、色フィルタを実装しない構成としてもよい。

また、画素Ｇ₁₁〜Ｇ_mnには、図２に示すように、電源ライン５や信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cn、信号読出ラインＬ_D1〜Ｌ_Dmが接続されている。なお、画素Ｇ₁₁〜Ｇ_mnには、クロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。

信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnは、画素Ｇ₁₁〜Ｇ_mnに信号φ_v，φ_VPS（図３参照）を与えるようになっている。これら信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnには、垂直走査回路６が接続されている。この垂直走査回路６は、後述のタイミング生成回路２２（図１参照）からの信号に基づいて信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_CnをＸ方向に順次切り換えるようになっている。

信号読出ラインＬ_D1〜Ｌ_Dmには、各画素Ｇ₁₁〜Ｇ_mnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬ_D1〜Ｌ_Dmには定電流源Ｄ₁〜Ｄ_m及び選択回路Ｓ₁〜Ｓ_mが接続されている。

定電流源Ｄ₁〜Ｄ_mの一端（図中下側の端部）には、直流電圧Ｖ_PSが印加されるようになっている。

選択回路Ｓ₁〜Ｓ_mは、各信号読出ラインＬ_D1〜Ｌ_Dmを介して画素Ｇ₁₁〜Ｇ_mnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ₁〜Ｓ_mには水平走査回路７及び補正回路８が接続されている。水平走査回路７は、電気信号をサンプルホールドして補正回路８に送信する選択回路Ｓ₁〜Ｓ_mを、Ｙ方向に順次切り換えるものである。また、補正回路８は、選択回路Ｓ₁〜Ｓ_mから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

なお、選択回路Ｓ₁〜Ｓ_m及び補正回路８としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施形態においては、選択回路Ｓ₁〜Ｓ_mの全体に対して補正回路８を１つのみ設けることとして説明するが、選択回路Ｓ₁〜Ｓ_mの各々に対して補正回路８を１つずつ設けることとしてもよい。

続いて、本実施形態における画素Ｇ₁₁〜Ｇ_mnについて説明する。

各画素Ｇ₁₁〜Ｇ_mnは、図３に示すように、フォトダイオードＰ及びトランジスタＴ₁〜Ｔ₃を備えている。なお、トランジスタＴ₁〜Ｔ₃は、バックゲートの接地されたＮチャネルのＭＯＳトランジスタである。

フォトダイオードＰには、レンズ系２及び絞り３を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰ_kには直流電圧Ｖ_PDが印加されており、アノードＰ_AにはトランジスタＴ₁のドレインＴ_1D及びゲートＴ_1Gと、トランジスタＴ₂のゲートＴ_2Gとが接続されている。

トランジスタＴ₁のソースＴ_1Sには信号印加ラインＬ_C（図２のＬ_C1〜Ｌ_Cnに相当）が接続されており、この信号印加ラインＬ_Cから信号φ_VPSが入力されるようになっている。ここで、信号φ_VPSは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたときにトランジスタＴ₁をサブスレッショルド領域で動作させるための電圧値ＶＨと、トランジスタＴ₁を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。

本実施形態の撮像素子４は、入射光量が所定の閾値を超えたときは各画素Ｇ_ｍ１〜Ｇ_mnのトランジスタＴ₁をサブスレッショルド領域で動作させることによって、入射光を自然対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子４の出力信号は、図４に示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。

また、図３に示すように、トランジスタＴ₂のドレインＴ_2Dには直流電圧Ｖ_PDが印加されており、トランジスタＴ₂のソースＴ_2Sは行選択用のトランジスタＴ₃のドレインＴ_3Dに接続されている。

更に、トランジスタＴ₃のゲートＴ_3Gには信号印加ラインＬ_A（図２のＬ_A1〜Ｌ_Anに相当）が接続されており、信号印加ラインＬ_Aから信号φ_Vが入力されるようになっている。また、トランジスタＴ₃のソースＴ_3Sは信号読出ラインＬ_D（図２のＬ_D1〜Ｌ_Dmに相当）に接続されている。

なお、以上のような画素Ｇ₁₁〜Ｇ_mnとしては、特開２００２−７７７３３号公報に開示のものを用いることができる。

以上の構成により、各画素Ｇ₁₁〜Ｇ_mnは入射光を光電変換して電気信号を出力するようになっている。本実施形態の画素Ｇ₁₁〜Ｇ_mnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、図４に実線で示すように、所定入射光量ｔｈ未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量ｔｈ以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。

また、線形変換動作と対数変換動作とが切り換えられる境界、いわゆる変曲点は、撮像素子４における画素Ｇ₁₁〜Ｇ_mnの駆動条件、例えば撮影時の露光時間や制御電圧などにより変化するようになっている。本実施形態では、後述する出力特性制御回路２１（図１参照）により電圧調整などの制御を行い、変曲点を変化させて線形領域と対数領域との割合を変更することができるようになっている。なお、電圧調整機能が内蔵されており外部から設定可能なレジスタが実装された撮像素子４を使用することも可能であり、この場合は撮像素子４の外部からレジスタ設定を行うことにより変曲点を変化させることができる。

例えば、露光時間を短くすると、トランジスタＴ₂のゲートＴ_2GとソースＴ_2Sとの間のポテンシャルの差が大きくなり、トランジスタＴ₂がカットオフ状態で動作する被写体輝度の割合、つまり線形変換する被写体輝度の割合が大きくなる。すなわち、露光時間を短くするほど線形変換動作の割合は大きくなる。また、撮像素子４に対する制御電圧、つまり信号φ_VPSの電圧値ＶＬ、電圧値ＶＨの差を大きくした場合又は温度を低くした場合にも、線形変換する被写体輝度の割合は大きくなる。このように、制御電圧や露光時間、温度などを変化させることにより、画像信号のダイナミックレンジや、切換点すなわち変曲点での前記所定入射光量ｔｈ、切換点での出力信号値（切換わり点信号値）すなわち変曲点での出力信号値（変曲出力信号値Ｈ）を変化させることが可能となっている。

具体的には、被写体の輝度範囲が狭い場合には電圧値ＶＬを低くして線形変換する輝度範囲を広くすると共に、被写体の輝度範囲が広い場合には電圧値ＶＬを高くして対数変換する輝度範囲を広くすることで、画素Ｇ₁₁〜Ｇ_mnの光電変換特性を被写体の特性に合わせることができる。更に、電圧値ＶＬを最小とするときには常に画素Ｇ₁₁〜Ｇ_mnを線形変換する状態とし、電圧値ＶＬを最大とするときには常に画素Ｇ₁₁〜Ｇ_mnを対数変換する状態とすることもできる。

例えば、図５に示すように、露光時間が「ｔ₁」〜「ｔ₃」の順に短くなるほど、変曲出力信号値Ｈと前記所定入射光量ｔｈとは「Ｉ」〜「III」の順に大きくなる。また、図６に示すように、制御電圧が「Ｖ₁」〜「Ｖ₃」の順に小さくなるほど、画素Ｇ₁₁〜Ｇ_mnの変曲出力信号値Ｈは「ＩＶ」〜「ＶＩ」の順に大きくなる。

図１に戻り、撮像素子４には、アンプ９及びＡ／Ｄコンバータ１０が電気的に接続されており、Ａ／Ｄコンバータ１０には判定回路１１、近接画素メモリ１３及びばらつき補正部１４が各々電気的に接続されている。これら判定回路１１、近接画素メモリ１３及びばらつき補正部１４は相互に電気的に接続されている。また、判定回路１１及びばらつき補正部１４の各々にはばらつき補正データメモリ１２が電気的に接続されている。

アンプ９は、従来から公知のものが用いられるようになっており、撮像素子４により光電変換された信号を増幅するようになっている。

Ａ／Ｄコンバータ１０は、アンプ９において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。

判定回路１１は、各画素Ｇ₁₁〜Ｇ_mnの出力信号の補正手段を判定する補正手段判定部１１ａ、各画素Ｇ₁₁〜Ｇ_mnの出力信号値の特性を判定する出力特性判定部１１ｂ及び各画素Ｇ₁₁〜Ｇ_mnの出力信号値の色を判定する色判定部１１ｃを備えて構成されている。

このうち補正手段判定部１１ａは、各画素Ｇ₁₁〜Ｇ_mnの出力信号のばらつきを補正するために、後述するメモリ補正又は補間補正のいずれを行うかを判定し、その判定結果に従って、補正手段としてのメモリ補正部１４ａと補間補正部１４ｂとを切り換えるようになっている。具体的には、後述するばらつき補正データメモリ１２から各画素Ｇ₁₁〜Ｇ_mnに対応する「出力ばらつき量Ｄ」を読み出し、ばらつき補正データメモリ１２に記憶された「補正手段判定ＩＤ」を基準として、出力ばらつき量Ｄが補正手段判定ＩＤ未満の画素の出力についてはメモリ補正を行わせ、出力ばらつき量Ｄが補正手段判定ＩＤと一致する画素の出力については補間補正を行わせるようになっている。

ここで「補正手段判定ＩＤ」とは、所定のビット数のばらつき補正データメモリ１２に格納することができる出力ばらつき量Ｄの最大値である。本実施形態では、各画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄの分布の平均値をＤ_ａｖｅ、出力ばらつき量Ｄの分布の標準偏差をσとして、メモリ補正の対象となる画素の出力ばらつき量Ｄの閾値を「Ｄ_ａｖｅ±２σ」とし、０〜Ｄ_ａｖｅ＋２σの出力ばらつき量Ｄを格納することができるビット数のメモリ容量の最大値を補正手段判定ＩＤとしている。後述するばらつき補正データメモリ１２のビット数は、この補正手段判定ＩＤに応じて決定されるようになっている。

また、「出力ばらつき量Ｄ」とは、各画素Ｇ₁₁〜Ｇ_mnの出力信号のばらつきを示す値であり、具体的には、所定の基準出力信号値と各画素Ｇ₁₁〜Ｇ_mnの出力信号値との差の絶対値である。本実施形態では、後述のように、出力ばらつき量Ｄが補正手段判定ＩＤより大きい画素については、出力ばらつき量Ｄ＝補正手段判定ＩＤとしてばらつき補正データメモリ１２に格納されるようになっている。

また、出力特性判定部１１ｂは、ばらつき補正部１４によりメモリ補正又は補間補正された各画素Ｇ₁₁〜Ｇ_mnの出力信号値の特性を判定し、その判定結果に応じて、メモリ補正又は補間補正された各画素Ｇ₁₁〜Ｇ_mnの出力信号値を黒基準補正部１５（図１参照）に出力させ又は補正前の出力信号値をそのまま黒基準補正部１５に出力させるようになっている。具体的には、各画素Ｇ₁₁〜Ｇ_mnの補正後の出力信号値が所定の基準切換点における出力信号値（基準切換出力信号値）より大きい場合は補正後の出力信号値を出力させ、補正後の出力信号値が基準切換出力信号値未満である場合は補正前の出力信号値をそのまま出力させるようになっている。基準切換出力信号値としては、例えば、各画素Ｇ₁₁〜Ｇ_mnの切換点における出力信号の平均値などを用いることができる。

なお、各画素Ｇ₁₁〜Ｇ_mnの出力信号値が基準切換出力信号値と一致する場合は、補正後の出力信号値又は補正前の出力信号値のいずれを出力してもよいが、本実施形態では補正後の出力信号値を出力するようになっている。また、ばらつき補正データメモリ１２から読み出した出力ばらつき量Ｄが補正手段判定ＩＤと一致する場合は、その画素においては正確な基準切換出力信号値を判定することができないため、画素の出力信号値に関わらず基準切換出力信号値より大きいと判定するようになっている。

本実施形態の出力特性判定部１１ｂは、各画素Ｇ₁₁〜Ｇ_mnの出力信号値が線形領域にあるか対数領域にあるかを判定するようになっており、各画素Ｇ₁₁〜Ｇ_mnの補正後の出力信号値が所定の基準変曲点における出力信号値（基準変曲出力信号値）以上である場合は対数領域と判定して補正後の出力信号値を出力させ、補正後の出力信号値が基準変曲出力信号値未満である場合は線形領域と判定して補正前の出力信号値をそのまま出力させるようになっている。

また、色判定部１１ｃは、撮像素子４に色フィルタが実装されている場合に、近接画素メモリ１３から読み出した画素Ｇ₁₁〜Ｇ_mnの出力信号が何色であるかを判定するようになっている。なお、撮像素子４に色フィルタが実装されていない場合は、色判定部１１ｃによる判定は不要である。色判定部１１ｃは、タイミング生成回路２２からの指示信号により、近接画素メモリ１３から読み出した画素の出力信号と同期して現在読み出している画素の出力信号が何色であるかを判定する。色の判定は、撮像素子４に実装されている色フィルタの情報と、現在読み出している画素座標値から判定する。本実施形態では、原色ベイヤ配列の色フィルタが実装されており、色判定部１１ｃはＲ、Ｇ、Ｂのうちどの色かを判定して、判定結果をばらつき補正部１４の補間補正部１４ｂに出力するようになっている。

図１に戻り、ばらつき補正データメモリ１２には、全画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄが撮像素子４における各画素Ｇ₁₁〜Ｇ_mnの位置と対応付けて格納されると共に、補正手段判定部１１ａにおける補正手段の判定基準としての補正手段判定ＩＤが予め格納されるようになっている。

ばらつき補正データメモリ１２のビット数は、上記補正手段判定ＩＤに応じて決定されており、出力ばらつき量Ｄが補正手段判定ＩＤより大きい画素については、出力ばらつき量Ｄ＝補正手段判定ＩＤとして、全画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄがばらつき補正データメモリ１２に記憶されるようになっている。これにより、補正手段判定ＩＤより大きい出力ばらつき量Ｄを含めて全画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄを格納する場合と比較して、ばらつき補正データメモリ１２の容量を大幅に低減することが可能となっている。

例えば、出力ばらつき量Ｄの範囲が０〜５００であった場合、すなわち出力ばらつき量の最大値Ｄ_ｍａｘ−最小値Ｄ_ｍｉｎ＝５００であった場合、全画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄをそのままの値でメモリに格納しようとすると、９ビットの容量が必要となっていた。一方、市販されている一般的なメモリは、８ビット、１６ビットなど８ビット単位である。したがって、９ビットを確保するためには、１６ビットのメモリを使用する必要があり、この場合は１６ビット−９ビット＝７ビット分のビット幅が使用されず無駄な領域となっていた。

これに対し、補正手段判定ＩＤ以下の出力ばらつき量Ｄをばらつき補正データメモリ１２に格納することとすれば、市販のメモリを無駄なく使用してばらつき補正データメモリ１２の容量を低減することが可能となる。例えば、Ｄ_ａｖｅ＝２００、２σ＝５４の場合、メモリ補正の対象となる上記所定範囲の閾値は「２００±５４」となり、補正手段判定ＩＤは８ビットのメモリの最大容量を２５５として、ばらつき補正データメモリ１２を８ビットとすることが可能となる。

ここで、出力ばらつき量の平均値Ｄ_ａｖｅ及び標準偏差σは、予め測定により求めておく。図７に示すように、一般に、出力ばらつきの発生頻度は正規分布で表される。このように一般的な特性では、平均値Ｄ_ａｖｅに近いほど出力ばらつきの発生頻度が高く、平均値Ｄ_ａｖｅから離れるほど出力ばらつきの発生頻度が低くなる。

図７の正規分布において、出力ばらつき量が平均値Ｄ_ａｖｅ±標準偏差σの範囲内となる画素数は、全体の６８％である。更に、出力ばらつき量が平均値Ｄ_ａｖｅ±標準偏差２σの範囲内となる画素数は、全体の９５％である。したがって、補正手段判定ＩＤをＤ_ａｖｅ＋２σとすると、全体の９５％の画素がメモリ補正の対象となり、全体の５％の画素が補間補正の対象となる。

このように本発明では、出力ばらつきの発生頻度が高い範囲についてはメモリ補正を行いながら、発生頻度が低い範囲は補間補正で代替することにより、ばらつき補正データメモリ１２の容量を低減することが可能となっている。

図１に戻り、近接画素メモリ１３には、近接画素間の補間処理を行うための画素データが一時的に格納されるようになっている。本実施形態では、図８に示すように、ベイヤ配列された一列分のＲ、Ｇ、Ｂデータについて一次元的に補間処理を行うことができるように、近接画素メモリ１３に５画素分の画素データを格納することができるようになっている。図８の例において、ベイヤ配列されたＤ_１〜Ｄ_５の５画素のうちＤ_３について補間処理を行うには、Ｒ、Ｇ、ＢのうちＤ_３と同色のＤ_１、Ｄ_５を用いて、（Ｄ_１＋Ｄ_５）÷２を補間補正後の出力信号値とする。また、複数列にわたる画素分の画素データを格納できる構成とすることにより、複数列分のＲ、Ｇ、Ｂデータを用いて二次元的に補間処理を行うことも可能である。

ばらつき補正部１４は、各画素Ｇ₁₁〜Ｇ_mn間の出力のばらつきを補正するものであり、メモリ補正部１４ａ及び補間補正部１４ｂを備えて構成されている。

このうちメモリ補正部１４ａは、判定回路１１の補正手段判定部１１ａにおいて、出力ばらつき量Ｄが補正手段判定ＩＤ未満であり、メモリ補正を行うと判定された場合に、補正対象となる画素についてメモリ補正を行うようになっている。このメモリ補正は、ばらつき補正データメモリ１２から読み出した各画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄに基づいて、その画素の出力信号値に対して加減算などの演算処理を行うことにより行う。

一方、補間補正部１４ｂは、判定回路１１の補正手段判定部１１ａにおいて、出力ばらつき量Ｄが補正手段判定ＩＤと一致し、補間補正を行うと判定された場合に、補正対象となる画素について補間補正を行うようになっている。この補間補正は、近接画素メモリ１３から近接画素の画素データを読み出し、複数の同色画素の出力信号値を加算平均することなどにより行う。

また、ばらつき補正部１４には、黒基準補正部１５、線形化部１６及び画像処理部１７がこの順に電気的に接続されている。

黒基準補正部１５は、デジタル信号の最低レベルを設定するものである。

線形化部１６は、特性変換部としての機能を果たすものであり、複数種類の変換特性を有する撮像素子４の出力信号を一つの変換特性により統一的に変換された状態に変換するようになっている。本実施形態の線形化部１６は、後述する出力特性制御回路２１から制御装置１９を介して送信される変曲点情報に基づき、撮像素子４の出力信号のうち対数領域を線形変換された状態の電気信号に変換するようになっている。

画像処理部１７は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体により構成される画像データに対して、ホワイトバランス処理、色補間処理、色補正処理、階調変換及び色空間変換などの画像処理を行うようになっている。

また、線形化部１６には評価値算出部１８を介して制御装置１９が電気的に接続されている。

評価値算出部１８は、画像処理部１７でのホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、後述する露光制御処理部２０での（ＡＥ処理）に用いられるＡＥ評価値を算出するようになっている。

制御装置１９は、ＣＰＵ及びＲＡＭなどを備えて構成されており、撮像装置１の各構成部分を制御するようになっている。制御装置１９には、判定回路１１、ばらつき補正データメモリ１２、近接画素メモリ１３、ばらつき補正部１４及び線形化部１６が電気的に接続されている。

また、制御装置１９には、露光制御処理部２０を介して絞り３が電気的に接続されている。更に、制御装置１９には、出力特性制御回路２１を介して撮像素子４及び判定回路１１の各々が電気的に接続されていると共に、タイミング生成回路２２を介して撮像素子４及び判定回路１１の各々が電気的に接続されている。

露光制御処理部２０は、絞り制御機構などにより構成され、評価値算出部１８の出力信号などのフィードバックを受けながら制御装置１９からの制御信号により絞り３を制御するようになっている。

出力特性制御回路２１は、撮像素子４の出力信号の線形領域及び対数領域の割合（変曲点の位置）を決定するようになっている。この変曲点情報は、出力特性判定部１１ｂに出力されると共に、制御装置１９を介して線形化部１６に出力される。線形領域及び対数領域の割合は、上記のように撮像素子４の各画素Ｇ₁₁〜Ｇ_mnに印加する電圧（出力特性制御電圧）の調整や出力特性制御用のレジスタ設定により変更することが可能となっている。

タイミング生成回路２２は、撮像素子４の撮影動作を制御するようになっている。すなわち、制御装置１９からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子４に出力するようになっている。また、タイミング生成回路２２はＡＤ変換用のタイミング信号も生成するようになっている。

続いて、撮像装置１の撮像動作について、図９及び図１０を参照して説明する。

まず、撮像装置１の製造段階において、撮像素子４の各画素Ｇ₁₁〜Ｇ_mnの出力信号値を測定し、ばらつき補正データメモリ１２のビット数を決定する。すなわち、図９に示すように、撮像素子４の撮像面において光を受光させ（ステップＳ１）、各画素Ｇ₁₁〜Ｇ_mnの出力信号値を読み出すと（ステップＳ２）、出力ばらつき量の平均値Ｄ_ａｖｅ及び標準偏差σを算出して（ステップＳ３）、メモリ補正の対象とする画素の出力ばらつき量Ｄの閾値「Ｄ_ａｖｅ±２σ」を決定する（ステップＳ４）。そして、０〜Ｄ_ａｖｅ＋２σの出力ばらつき量Ｄを格納することができるビット数のメモリの最大値を補正手段判定ＩＤとし、この補正手段判定ＩＤに応じてばらつき補正データメモリ１２のビット数を決定する（ステップＳ５）。本実施形態では、補正手段判定ＩＤ＝２５５とし、ばらつき補正データメモリ１２を８ビットとする。そして、全画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄ及び補正手段判定ＩＤを予めばらつき補正データメモリ１２に格納しておく。この際、出力ばらつき量Ｄが補正手段判定ＩＤより大きい画素については、出力ばらつき量Ｄ＝補正手段判定ＩＤとして、全画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄをばらつき補正データメモリ１２に格納する。

次に、撮像装置１による撮像動作を開始する。

図１０に示すように、撮像素子４の撮像面において光を受光させ（ステップＳ１１）、各画素Ｇ₁₁〜Ｇ_mnの出力信号値を読み出すと（ステップＳ１２）、判定回路１１の補正手段判定部１１ａは、ばらつき補正データメモリ１２から各画素Ｇ₁₁〜Ｇ_mnに対応する出力ばらつき量Ｄを読み出す（ステップＳ１３）。一方、近接画素メモリ１３は近接画素間の補間処理を行うための画素データを一時的に格納する。

続いて、補正手段判定部１１ａは、ばらつき補正データメモリ１２から読み出した補正手段判定ＩＤを基準として、各画素の出力信号についてメモリ補正を行うか否かを判定する（ステップＳ１４）。すなわち、出力ばらつき量Ｄが補正手段判定ＩＤ未満の場合はメモリ補正を行うと判定し、出力ばらつき量Ｄが補正手段判定ＩＤと一致する場合は補間補正を行うと判定して、その判定結果に従い、補正手段としてのメモリ補正部１４ａと補間補正部１４ｂとを切り換える。

次に、ばらつき補正部１４は、各画素Ｇ₁₁〜Ｇ_mnの出力信号が入力されると、補正手段判定部１１ａの判定結果に従い、出力ばらつき補正を行う。すなわち、メモリ補正部１４ａは、ばらつき補正データメモリ１２から補正対象の画素に対応する出力ばらつき量Ｄを読み出し、画素の出力信号値に対して加減算などの演算処理を行うことによりメモリ補正を行う（ステップＳ１５）。一方、補間補正部１４ｂは、近接画素メモリ１３から補正対象の画素に近接する画素の画素データを読み出し、複数の同色画素の出力信号値を加算平均することなどにより補間補正を行う（ステップＳ１６）。

次に、出力特性判定部１１ｂは、ばらつき補正部１４による出力ばらつき補正後の出力信号値の特性を判定する（ステップＳ１７）。そして、各画素Ｇ₁₁〜Ｇ_mnの出力信号値が基準変曲出力信号値未満である場合は、線形領域と判定し（ステップＳ１８：Ｙｅｓ）、各画素Ｇ₁₁〜Ｇ_mnからの出力信号値をそのまま黒基準補正部１５に出力させる（ステップＳ１９）。一方、各画素Ｇ₁₁〜Ｇ_mnの出力信号値が基準変曲出力信号値以上である場合は、対数領域と判定し（ステップＳ１８：Ｎｏ）、ばらつき補正部１４による出力ばらつき補正後の出力信号値を黒基準補正部１５に出力させる（ステップＳ２０）。

続いて、図示しない入力部からの指示入力などにより制御装置１９が撮影終了か否かを判断し（ステップＳ２１）、撮影続行の場合はステップＳ１２〜ステップＳ１８の工程を繰り返し、撮影終了の場合は処理を終了する。

以上のように、本実施形態の撮像装置１によれば、各画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄに応じ、補正手段判定ＩＤを基準としてメモリ補正と補間補正とを切り換えることにより、メモリ補正に用いる出力ばらつき量Ｄを格納するばらつき補正データメモリ１２は、補正手段判定ＩＤ以下の出力ばらつき量Ｄを格納することができるビット数とすればよいことから、全画素Ｇ₁₁〜Ｇ_mnの出力ばらつき量Ｄをそのまま格納する場合と比較して、ばらつき補正データメモリ１２の容量を大幅に低減することが可能となる。

また、メモリ補正の対象となる出力ばらつき量の閾値をＤ_ａｖｅ±２σとすることによって、補正手段判定ＩＤを８ビットのメモリの最大容量である２５５として、ばらつき補正データメモリ１２を８ビットとすることが可能となる。これにより、市販のメモリを無駄なく使用してばらつき補正データメモリ１２の容量を低減することが可能となる。また、出力ばらつき量Ｄの閾値をＤ_ａｖｅ±２σとすれば、メモリ補正の対象となる画素数は全体の９５％となり、出力ばらつきの発生頻度が高い範囲についてはメモリ補正を行いつつ、発生頻度が低い範囲は補間補正で代替して、ばらつき補正データメモリの容量を低減することが可能となる。

また、撮像素子４の複数種類の変換特性による出力信号のうち、画素Ｇ₁₁〜Ｇ_mnごとの感度の相違による影響が撮影画像に顕著に表れる領域、すなわち本実施形態では対数領域を出力ばらつき補正の対象とすることにより、信号処理を容易化しつつ高精度な出力ばらつき補正を行うことが可能となる。

以上詳細に説明したように、本発明に係る撮像装置によれば、画素ごとの出力ばらつきを補正する撮像装置において、ばらつき補正データを格納するメモリの容量を大幅に低減することが可能となる。

本実施形態の撮像装置の全体構成を示すブロック図である。 本実施形態の撮像素子の構成を示すブロック図である。 本実施形態の画素の構成を示す回路図である。 本実施形態の撮像素子の出力信号を示すグラフである。 本実施形態の撮像素子の露光時間に応じた出力信号を示すグラフである。 本実施形態の撮像素子の制御電圧に応じた出力信号を示すグラフである。 本実施形態の画素ごとの出力ばらつき分布を示すグラフである。 本実施形態のベイヤ配列された画素の一部を示す平面図である。 ばらつき補正データメモリのメモリサイズを決定する工程を示すフローチャートである。 本実施形態の撮像方法を示すフローチャートである。

符号の説明

１ 撮像装置
２ レンズ系
３ 絞り
４ 撮像素子
９ アンプ
１０ Ａ／Ｄコンバータ
１１ 判定回路
１１ａ 補正手段判定部
１１ｂ 出力特性判定部
１１ｃ 色判定部
１２ ばらつき補正データメモリ
１３ 近接画素メモリ
１４ ばらつき補正部
１４ａ メモリ補正部
１４ｂ 補間補正部
１５ 黒基準補正部
１６ 線形化部
１７ 画像処理部
１８ 評価値算出部
１９ 制御装置
２０ 露光制御処理部
２１ 出力特性制御回路
２２ タイミング生成回路

Claims (7)

1. 複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、
   前記複数の画素の出力ばらつき量を格納するばらつき補正データメモリと、
   前記出力ばらつき量に基づいてメモリ補正を行うことにより前記複数の画素の出力ばらつきを低減する補正手段としてのメモリ補正部と、
   前記複数の画素の出力信号間で補間補正を行うことにより前記複数の画素の出力ばらつきを低減する補正手段としての補間補正部とを備え、
   前記ばらつき補正データメモリは前記所定の閾値以下の前記出力ばらつき量を格納することができるビット数とされ、前記出力ばらつき量が前記所定の閾値より大きい場合は前記所定の閾値を前記出力ばらつき量として格納し、
   前記出力ばらつき量が所定の閾値未満である場合は前記メモリ補正部によるメモリ補正を行うと判定し、前記所定の閾値と一致する場合は前記補間補正部による補間補正を行うと判定して、その判定結果に従って補正手段を切り換える補正手段判定部を備えることを特徴とする撮像装置。
2. 前記メモリ補正の対象となる前記出力ばらつき量の閾値は前記出力ばらつき量の分布の平均値をＤ_ａｖｅ、前記分布の標準偏差をσとしてＤ_ａｖｅ±２σとされ、前記所定の閾値は８ビットのメモリの最大容量である２５５とされ、前記ばらつき補正データメモリのビット数は８ビットとされていることを特徴とする請求項１記載の撮像装置。
3. 前記複数の画素の前記メモリ補正後又は前記補間補正後における出力信号値の特性を判定し、その判定結果に応じて、補正後の出力信号値を出力させ又は補正前の出力信号値を出力させる出力特性判定部を備えることを特徴とする請求項１又は請求項２記載の撮像装置。
4. 前記撮像素子は前記複数種類の変換特性の切換点を制御する出力特性制御回路を備えることを特徴とする請求項１〜請求項３いずれか一項に記載の撮像装置。
5. 前記複数種類の変換特性は線形特性及び対数特性であることを特徴とする請求項１〜請求項４いずれか一項に記載の撮像装置。
6. 前記複数種類の変換特性は複数の線形特性であることを特徴とする請求項１〜請求項５いずれか一項に記載の撮像装置。
7. 前記複数種類の変換特性は複数の対数特性であることを特徴とする請求項１〜請求項６いずれか一項に記載の撮像装置。

Images