JP2008028634A - 撮像装置 - Google Patents

Abstract

【課題】画素毎のばらつきを低減させることが可能な撮像装置の提供。
【解決手段】 入射光に応じて複数の変換特性で電気信号に光電変換する画素Ｇ_１１〜Ｇ_ｍｎを有する撮像素子６と、線形変換と対数変換との特性切換点の平均値を基準切換点として算出する出力特性制御回路１４と、基準画素とその周辺の周辺画素からの出力信号値を保持するメモリ９と、基準画素からの出力信号値が前記基準切換点を超えているか否かを判定する出力特性判定手段１３と、出力特性判定手段１３で前記基準切換点を超えていると判定された基準画素からの出力信号値を、その周辺画素からの出力信号値の低周波成分を取り出した値に補正する演算手段１２と、補正された出力信号に対して信号処理を行う画像処理部１９と、を備えることを特徴とする。
【選択図】図１

Description

本発明は撮像装置に係り、特に入射光を電気信号に変換する撮像素子を備えた撮像装置に関する。

従来、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また近年では、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換える撮像素子（線形対数変換型センサ）が提案されている。この線形対数変換型センサによれば、電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することができる。

このような線形対数変換型センサにおいては、線形信号のみ、対数信号のみ又は線形信号と対数信号とが混在した信号等を出力するようになっている。線形信号は入射光量に正比例した信号値を出力し、対数信号は入射光量の対数に比例した信号値を出力するようになっている。そして、線形信号と対数信号の切換は、入射光量が変曲点を超えているか否かで判断するようになっている。

ここで、変曲点は画素毎に異なるため、同じ入射光量であっても、ある画素は線形出力、ある画素は対数出力、となってしまうことがある。そのため、一様な輝度の被写体を撮影したとしても、出力画像としては画素毎にばらつきのある不均一な画像となってしまう。そこで、画素毎のばらつきを低減させるために、ある画素の変曲点を基準値として画素毎の変曲点の基準値との相違量（以下、「画素ばらつき量」とする）をあらかじめメモリ等に保存しておき、信号処理の際に画素ばらつき量を読み出して加減算等の演算を行う方法が知られている（例えば、特許文献１参照）。
特開平５−３０３５０号公報

しかしながら、特許文献１に記載の方法では、全画素分の画素ばらつき量のデータを保持する必要があるため、大容量のメモリが必要となるという問題があった。そして、メモリ実装の分コスト高につながるという問題もあった。また、近年、撮像素子の画素数は増大しており、メモリ容量がますます増加するという問題もあった。

本発明はこのような点に鑑みてなされたものであり、画素毎のばらつきを低減させることが可能な撮像装置の提供を目的とするものである。

前記課題を解決するために、請求項１に記載の発明は、撮像装置において
入射光に応じて複数の変換特性で電気信号に光電変換する複数の画素を有する撮像素子と、
少なくとも第一の変換特性と第二の変換特性との特性切換点に基づいて基準切換点を算出する切換点制御部と、
基準となる基準画素とその周辺に配置された周辺画素からの出力信号値を一時的に保持するデータ保持部と、
前記基準画素からの出力信号値が前記基準切換点を超えているか否かを判定する判定部と、
前記判定部で前記基準切換点を超えていると判定された前記基準画素からの出力信号値を、前記周辺画素からの出力信号値の低周波成分を取り出した値に補正する信号補正部と、
を備えることを特徴とする。

請求項１に記載の発明によれば、切換点制御部が変換特性の切換点を設定し、撮像素子に備えられた画素が入射光を電気信号に変換して出力する。ある基準画素とその周辺に配置された周辺画素からの出力信号値はデータ保持部に一時的に保持され、判定部が基準画素からの出力信号値が基準切換点を超えているか否かを判定する。基準画素からの出力信号値が基準切換点を超えている場合、信号補正部は演算によりその周辺画素からの出力信号値の低周波成分を取り出した値を補正後の値として出力する。信号処理部は、補正後の出力信号値に基づいて各信号処理を行う。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記切換点制御部は、変換特性の切換点を設定することを特徴とする。

請求項２に記載の発明によれば、切換点制御部は、変換特性の数や組み合わせ等の条件に応じて画素毎に変換特性の切換点を設定することが可能である。

請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、
前記複数の変換特性は、複種類の線形変換特性であることを特徴とする。

請求項３に記載の発明によれば、撮像素子に備えられた各画素は、係数の異なる複数の線形変換特性によって入射光を電気信号に変換する。

請求項４に記載の発明は、請求項１又は２に記載の撮像装置において、
前記複数の変換特性は、複種類の対数変換特性であることを特徴とする。

請求項４に記載の発明によれば、撮像素子に備えられた各画素は、複種類の対数変換特性によって入射光を電気信号に変換する。

請求項５に記載の発明は、請求項１又は２に記載の撮像装置において、
前記複数の変換特性は、線形変換特性と対数変換特性の組み合わせであることを特徴とする。

請求項５に記載の発明によれば、撮像素子に備えられた各画素は、線形変換特性と対数変換特性とによって入射光を電気信号に変換する。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、
前記信号補正部は、加算平均により前記低周波成分を取り出すことを特徴とする。

請求項６に記載の発明によれば、信号補正部は、基準画素とその周辺画素からの出力信号値を用いた加算平均により低周波成分を取り出し、基準切換点以上の出力信号値の補正を行う。

請求項７に記載の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、
前記信号補正部は、重み付けした加算平均により前記低周波成分を取り出すことを特徴とする。

請求項７に記載の発明によれば、信号補正部は、基準画素とその周辺画素からの出力信号値を用いて重み付けした加算平均により低周波成分を取り出し、基準切換点以上の出力信号値の補正を行う。

請求項８に記載の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、
前記信号補正部は、ローパスフィルタを用いて前記低周波成分を取り出すことを特徴とする。

請求項８に記載の発明によれば、信号補正部は、基準画素とその周辺画素からの出力信号値にローパスフィルタを用いて低周波成分を取り出し、基準切換点以上の出力信号値の補正を行う。

請求項９に記載の発明は、請求項４〜８のいずれか一項に記載の撮像装置において、
前記信号補正部は、前記基準画素と前記周辺画素からの出力信号値のうち、対数変換特性のものを用いて前記低周波成分を取り出すことを特徴とする。

請求項９に記載の発明によれば、基準画素とその周辺画素からの出力信号値のうち、対数変換特性のもののみを用いて低周波成分を取り出して補正を行う。

請求項１０に記載の発明は、請求項１〜９のいずれか一項に記載の撮像装置において、
前記入射光の光路に配置される一定配列の色フィルタと、
前記基準画素と同色のフィルタが配置された前記周辺画素を判定する色判定手段とを備え、
前記信号補正部は、前記基準画素と同色のフィルタが配置された前記周辺画素からの出力信号値を用いて前記低周波成分を取り出すことを行うことを特徴とする。

請求項１０に記載の発明によれば、色判定手段は基準画素の色を判定して信号補正部に出力し、信号補正部は基準画素と同色の周辺画素からの出力信号値から低周波成分を取り出して補正を行う。

請求項１に記載の発明よれば、周辺画素からの出力信号値の低周波成分を取り出した値を補正後の出力信号値とするので、画素毎の変曲点にばらつきがあっても周辺画素からの出力信号値との均衡をとることが可能である。また、周辺画素からの出力信号値との均衡をとることにより、一様な輝度の被写体を撮影した際にも画素毎のばらつきを抑えることが可能である。

請求項２に記載の発明によれば、画素毎の変換特性に応じて切換点を容易に設定することが可能である。

請求項３に記載の発明によれば、係数の異なる複数の線形変換特性とすることで、電気信号のダイナミックレンジを広くすることが可能である。

請求項４に記載の発明によれば、複種類の対数変換特性とすることで、電気信号のダイナミックレンジを広くすることが可能である。

請求項５に記載の発明によれば、線形変換特性と対数変換特性とを組み合わせることによって、電気信号のダイナミックレンジを広くすることが可能である。

請求項６に記載の発明によれば、信号補正部は加算平均により出力信号値の補正を行うので、容易に周辺画素との均衡をとり、ばらつきを補正することが可能である。

請求項７に記載の発明によれば、信号補正部は重み付けした加算平均により出力信号値の補正を行うので、容易に周辺画素との均衡をとり、画素毎のばらつきを補正することが可能である。

請求項８に記載の発明によれば、信号補正部はローパスフィルタを用いて出力信号値の補正を行うので、容易に周辺画素との均衡をとり、画素毎のばらつきを補正することが可能である。

請求項９に記載の発明によれば、対数変換特性の出力信号値のみを用いて低周波成分を取り出すことにより、画素間のばらつきをより精確に補正することが可能である。

請求項１０に記載の発明によれば、色フィルタを備えることにより色毎の感度が異なっても、同色の画素からの出力信号値を用いて低周波成分を取り出すので、効率的に画素間のばらつきを補正することが可能である。

以下に、本発明に係る撮像装置の一実施形態について、図面を参照して説明する。ただし、発明の範囲を図示例に限定するものではない。

図１は、本発明に係る撮像装置１の概略構成を示すブロック図である。

図１に示すように、撮像装置１は、制御装置２、レンズ系３、絞り４、露光制御処理部５、撮像素子６、アンプ７、Ａ／Ｄコンバータ８、メモリ９、メモリ読み出し手段１０、色判定手段１１、演算手段１２、出力特性判定手段１３、出力特性制御回路１４、タイミング生成回路１５、黒基準設定部１６、線形化部１７、評価値算出部１８及び画像処理部１９を備えて構成されている。

制御装置２はＣＰＵ（Central Processing Unit）、書き換え可能な半導体素子で構成されるＲＡＭ（Random Access Memory）及び不揮発性の半導体メモリで構成されるＲＯＭ（Read Only Memory）から構成されている。

制御装置２には露光制御処理部５を介して絞り４が接続されており、また、タイミング生成回路１５を介して撮像素子６、出力特性制御回路１４及びＡ／Ｄコンバータ８が接続されている。また、制御装置２には黒基準設定部１６、評価値算出部１８及び画像処理部１９がそれぞれ接続されている。そして、制御装置２はＲＯＭに記録された処理プログラムをＲＡＭに展開してＣＰＵによりこの処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになっている。

レンズ系３及び絞り４としては、従来から公知のものが用いられている。

露光制御処理部５は、レンズ系３により集光される光の量を調整する絞り４を駆動制御するようになっている。すなわち、露光制御処理部５は、制御装置２から入力される制御値に基づき、撮像素子６の撮像動作開始直前に絞り４を開口させてから所定の露光時間の経過後に絞り４を閉塞させ、また、非撮像時は撮像素子６への入射光を遮断することによって、入射光量を制御するようになっている。

撮像素子６は、レンズ系３を透過した入射光を電気信号に光電変換して取り込むようになっている。

ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が特性切換点を介して連続的に変化するようになっている。

本実施形態の撮像素子６は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。すなわち、撮像素子６の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「特性切換点」の下位概念となる語である。

このように本実施形態の撮像素子６はリニアログ変換型センサとして構成されているが、本発明の撮像装置は、複数種類の変換特性のうち少なくとも一つが対数変換特性又は線形変換特性である撮像素子を備えており、例えば、変換係数が異なる複種類の線形変換特性を有する撮像素子や、複種類の対数変換特性を有する撮像素子を備えた構成とすることも可能である。

本実施形態の撮像素子６は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ₁₁〜Ｇ_mn（但し、ｎ，ｍは１以上の整数）を有している。

また、画素Ｇ₁₁〜Ｇ_mnの入射光の光路には、ベイヤ配列の色（ＲＧＢ）フィルタ（図示省略）が配置されている。すなわち、画素Ｇ₁₁〜Ｇ_mnのレンズ系３側には、それぞれレッド（Red）、グリーン（Green）及びブルー（Blue）のうち何れか１色のフィルタが配設されている。なお、本実施形態では色フィルタの配置をベイヤ配列としているが、色フィルタの配置は一定配列であればよくこれに限られるものではない。また、色フィルタはシアン（Cyan）、マゼンタ（Magenta）及びイエロー（Yellow）などの他の色フィルタであってもよい。

また、画素Ｇ₁₁〜Ｇ_mnには、電源ライン２０や信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cn、信号読出ラインＬ_D1〜Ｌ_Dmが接続されている。なお、画素Ｇ₁₁〜Ｇ_mnにはクロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。

信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnは、画素Ｇ₁₁〜Ｇ_mnに対して信号φ_v，φ_VPS（図３参照）を与えるようになっている。これら信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnには、垂直走査回路２１が接続されている。この垂直走査回路２１は、タイミング生成回路１５（図１参照）からの信号に基づいて信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_CnをＸ方向に順次切り換えるようになっている。

信号読出ラインＬ_D1〜Ｌ_Dmには、各画素Ｇ₁₁〜Ｇ_mnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬ_D1〜Ｌ_Dmには定電流源Ｄ₁〜Ｄ_m及び選択回路Ｓ₁〜Ｓ_mが接続されている。

定電流源Ｄ₁〜Ｄ_mの一端（図中下側の端部）には、直流電圧Ｖ_PSが印加されるようになっている。

選択回路Ｓ₁〜Ｓ_mは、各信号読出ラインＬ_D1〜Ｌ_Dmを介して画素Ｇ₁₁〜Ｇ_mnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ₁〜Ｓ_mには水平走査回路２２及び補正回路２３が接続されている。水平走査回路２２は、電気信号をサンプルホールドして補正回路２３に送信する選択回路Ｓ₁〜Ｓ_mを、Ｙ方向に順次切り換えるものである。また、補正回路２３は、選択回路Ｓ₁〜Ｓ_mから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

なお、選択回路Ｓ₁〜Ｓ_m及び補正回路２３としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施形態においては、選択回路Ｓ₁〜Ｓ_mの全体に対して補正回路２３を１つのみ設けることとして説明するが、選択回路Ｓ₁〜Ｓ_mのそれぞれに対して補正回路２３を１つずつ設けることとしてもよい。

続いて、本実施形態における画素Ｇ₁₁〜Ｇ_mnについて説明する。

各画素Ｇ₁₁〜Ｇ_mnは、図３に示すように、フォトダイオードＰ及びトランジスタＴ₁〜Ｔ₃を備えている。なお、トランジスタＴ₁〜Ｔ₃は、バックゲートの接地されたＮチャネルのＭＯＳトランジスタである。

フォトダイオードＰには、レンズ系３及び絞り４を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰ_kには直流電圧Ｖ_PDが印加されており、アノードＰ_AにはトランジスタＴ₁のドレインＴ_1D及びゲートＴ_1Gと、トランジスタＴ₂のゲートＴ_2Gとが接続されている。

トランジスタＴ₁のソースＴ_1Sには信号印加ラインＬ_C（図２のＬ_C1〜Ｌ_Cnに相当）が接続されており、この信号印加ラインＬ_Cから信号φ_VPSが入力されるようになっている。ここで、信号φ_VPSは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたときにトランジスタＴ₁をサブスレッショルド領域で動作させるための電圧値ＶＨと、トランジスタＴ₁を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。

本実施形態の撮像素子６は、入射光量が所定の閾値を超えたときは各画素Ｇ_ｍ１〜Ｇ_mnのトランジスタＴ₁をサブスレッショルド領域で動作させることによって、入射光を自然対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子６の出力信号は、図４に実線で示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。ここで、各画素Ｇ_ｍ１〜Ｇ_mnによって変曲点は異なっており、所定の閾値付近の入射光量については線形変換する画素と対数変換する画素とが混在することとなる。そのため、一定の入射光量であっても、画素毎に出力信号値が異なっている。

また、図３に示すように、トランジスタＴ₂のドレインＴ_2Dには直流電圧Ｖ_PDが印加されており、トランジスタＴ₂のソースＴ_2Sは行選択用のトランジスタＴ₃のドレインＴ_3Dに接続されている。

更に、トランジスタＴ₃のゲートＴ_3Gには信号印加ラインＬ_A（図２のＬ_A1〜Ｌ_Anに相当）が接続されており、信号印加ラインＬ_Aから信号φ_Vが入力されるようになっている。また、トランジスタＴ₃のソースＴ_3Sは信号読出ラインＬ_D（図２のＬ_D1〜Ｌ_Dmに相当）に接続されている。

なお、以上のような画素Ｇ₁₁〜Ｇ_mnとしては、特開２００２−７７７３３号公報に開示のものを用いることができる。

図１に戻り、撮像素子６にはアンプ７及びＡ／Ｄコンバータ８がこの順に接続されていると共に、出力特性制御回路１４が接続されている。また、撮像素子６、Ａ／Ｄコンバータ８及び出力特性制御回路１４にはタイミング生成回路１５が接続されている。Ａ／Ｄコンバータ８にはメモリ９、演算手段１２、黒基準設定部１６、線形化部１７及び画像処理部１９がこの順に接続されている。

アンプ７は、撮像素子６から出力された電気信号を所定の規定レベルに増幅して撮影画像のレベル不足を補償するようになっている。

Ａ／Ｄコンバータ８は、アンプ７において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。

タイミング生成回路１５は、撮像素子６の撮影動作を制御するようになっている。すなわち、制御装置２からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子６に出力するようになっている。また、タイミング生成回路１５はＡＤ変換用のタイミング信号も生成するようになっている。さらに、タイミング生成回路１５は出力特性制御用のタイミング信号も生成するようになっている。

出力特性制御回路１４は切換点制御部として機能し、撮像素子６の出力信号における線形特性と対数特性の割合（変曲点の値）を撮影前に制御するようになっている。変曲点を制御する手段としては、電圧による調整方法やレジスタ設定による調整方法等がある。電圧による調整方法の場合、撮像素子６の出力特性制御電圧を調整するようになっている。レジスタ設定による調整方法の場合、外部からのデジタル信号により電圧調整が可能なレジスタを撮像素子６に実装することにより、撮像素子６自体に電圧調整機能を備えさせるようになっている。

また、出力特性制御回路１４は、設定した画素毎の変曲点の平均値を基準変曲点として算出するようになっている。基準変曲点とは、特性切換点に基づいて算出される基準切換点の下位概念となる語である。図４に示すように、画素毎の変曲点のばらつき量σは、対数領域における基準変曲点での出力値との差で表されるようになっている。出力特性制御回路１４には出力特性判定手段１３が接続されており、基準変曲点情報が送信されるようになっている。

メモリ９はデータ保持部として機能し、撮像素子６の基準となる画素とその周辺に配置された周辺画素からの出力信号値を画素データとして一時的に保持するようになっている。保持される周辺画素の画素データの数に特に制限はなく、色フィルタの構成等に応じて設定可能である。本実施形態においては、メモリ９はライン単位で画素データを保持するようになっており、図５に示すように、そのライン数は５となっている。

メモリ９には、基準画素の画素データが線形変換によるデータであるか対数変換によるデータであるかを判定する判定部としての出力特性判定手段１３が接続されている。出力特性判定手段１３は、出力特性制御回路１４からの基準変曲点情報とメモリ９からの画素データとを比較して判定を行うようになっている。本実施形態においては、出力特性判定手段１３は、基準変曲点より大きい値をとる画素データを対数変換によるデータとして判定するようになっている。また、出力特性判定手段１３は、基準変曲点より小さい値をとる画素データを線形変換によるデータとして判定するようになっている。なお、基準変曲点と画素データとが同値である場合、線形変換によるものと判定しても対数変換によるものと判定しても良いが、本実施形態においては対数変換によるものとして判定するようになっている。また、出力特性判定手段１３は演算手段１２に接続されており、判定結果を出力するようになっている。

また、メモリ９には、メモリ９に保持されている画素データのなかから基準画素の画素データを読み出すメモリ読み出し手段１０が接続されている。メモリ読み出し手段１０には、基準画素の色を判定し、同色フィルタを配置された周辺画素の座標（図５参照）を判定する色判定手段１１が接続されている。色判定手段１１には演算手段１２が接続されており、基準画素と同色の周辺画素の座標を判定結果として出力するようになっている。

演算手段１２は信号補正部として機能し、色判定手段１１による判定結果と出力特性判定手段１３による出力特性判定結果とに基づいて、基準画素の画素データを補正するようになっている。ここで、演算手段１２は、基準変曲点以上の基準画素の画素データについて補正を行うようになっている。つまり、本実施形態においては、演算手段１２は基準画素の画素データが対数変換されていた場合のみ補正を行い、線形変換されていた場合は補正を行わずにそのまま黒基準設定部１６に出力するようになっている。

演算手段１２は、出力特性判定手段１３により基準画素の画素データが対数変換によるものと判定された場合、メモリ９に保持されている５ライン分の周辺画素の画像データを読み出し、出力信号値の低周波成分を取り出すようになっている。本実施形態においては、演算手段１２は、周辺画素の画素データのなかから基準画素と同色の周辺画素の画素データを用い、それらの画素データの加算平均をとる補正演算により低周波成分を取り出すようになっている。

色フィルタがベイヤ配列であることから、基準画素の色がＲ，Ｂの場合、図６及び図７に示すように同色の周辺画素が配置され、その座標が色判定手段１１から出力されるため、演算手段１２は下記式（１）より基準画素の補正後の画素データＤ_{３３ｎｅｗ}を算出する。

また、基準画素の色がＧの場合、図８に示すような同色の周辺画素の座標が色判定手段１１から出力され、演算手段１２は下記式（２）より基準画素の補正後の画素データＤ_{３３ｎｅｗ}を算出する。

なお、演算手段１２は、周辺画素の加算数をＲＧＢで一致させるため、基準画素の色がＧの場合、図９に示すように基準画素により近い画素から加算することとし、下記式（３）より基準画素の補正後の画素データＤ_{３３ｎｅｗ}を算出することとしてもよい。

黒基準設定部１６は、デジタル信号の最低レベルを最低輝度値として基準値に設定するものである。すなわち、撮像素子６の黒レベルが変動するため、Ａ／Ｄコンバータ８から出力されるＲＧＢ各信号の信号レベルに対して、黒レベルとなる基準信号レベルとの差分を減算することで黒基準補正を行うようになっている。

また、線形化部１７は、注目画素の出力信号における変曲点以上の領域の変換特性を、変曲点以下の領域の変換特性に統一するものである。すなわち、本実施形態の線形化部１７は、撮像素子６からの出力信号のうち対数変換された部分を特性変換Ｚ（図４参照）により線形化するようになっている。

線形化部１７には、図１に示すように、画像処理部１９が接続されている。画像処理部１９は、線形化された出力信号に対してホワイトバランス処理、色補間処理、色補正処理、ガンマ補正処理等の画像処理を行うようになっている。また、線形化部１７には、前記各画像処理に用いられる評価値を算出する評価値算出部１８が接続されている。

続いて、図１０を参照して撮像装置１の撮像動作について説明する。

まず、出力特性制御回路１４が撮像素子６の変曲点を制御し（ステップＳ１）、露光制御処理部５が絞り４を調整することによりレンズ系３の受光が行われる（ステップＳ２）。すると、撮像素子６の各画素Ｇ₁₁〜Ｇ_mnは、タイミング生成回路１５からの制御信号により、レンズ系３を透過した入射光を電気信号に光電変換し、線形変換又は対数変換された電気信号をアナログ信号として出力する。具体的には、上述のように各画素Ｇ₁₁〜Ｇ_mnが信号読出ラインＬ_Dに電気信号を出力すると、この電気信号を定電流源Ｄが増幅し、選択回路Ｓが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路Ｓから補正回路２３に送出されると、補正回路２３がノイズを除去して電気信号を出力する。

次に、撮像素子６から出力されたアナログ信号をアンプ７が増幅し、Ａ／Ｄコンバータ８がデジタル信号に変換する。Ａ／Ｄコンバータ８から出力された信号は順次、メモリ９に保持される。すると、出力特性判定手段１３により、メモリ９に保持されている５×５画素分の画素データのうち中心に位置する基準画素の画素データが読み出される（ステップＳ３）。出力特性判定手段１３は、基準画素からの画素データが線形変換されたものか対数変換されたものかを判定し（ステップＳ４）、判定結果を演算手段１２に出力する。

演算手段１２は、出力特性判定手段１３により基準画素の画素データが対数変換されたものと判定された場合（ステップＳ５；ＮＯ）、基準画素の画素データの補正後の値として、周囲画素の画素データの低周波成分を取り出す補正を行う。すなわち、メモリ読み出し手段１０がメモリ９から基準画素の画素データを読み出して色判定手段１１に出力し、色判定手段１１は基準画素の色を判定するとともに周辺画素で同色の画素の座標を演算手段１２に出力する（ステップＳ６）。演算手段１２は加算平均を求める補正演算処理により補正を行い、補正後の出力電気信号を黒基準設定部１６に出力する（ステップＳ７）。

一方、演算手段１２は、出力特性判定手段１３により基準画素が線形変換されたものと判定された場合（ステップＳ５；ＹＥＳ）、その画素データに補正を施さずに黒基準設定部１６に出力する（ステップＳ８）。このような補正を全ての画素に対して行い、本発明に係る補正が終了する（ステップＳ９；ＹＥＳ）。

次に、黒基準設定部１６がデジタル信号の最低レベルを設定した後、そのデジタル信号を線形化部１７に送信する。線形化部１７は、図４に矢印Ｚで示すように、対数変換された出力信号を線形化して、撮像素子６の出力信号を線形変換動作由来の状態に統一して画像処理部１９に出力する。その後、画像処理部１９は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体によって構成される画像データに対して画像処理を行う。

以上のように本実施形態の撮像装置１によれば、補正演算処理により周辺画素からの出力信号値の低周波成分を取り出した値を補正後の基準画素の画素データとするので、画素毎の変曲点にばらつきがあっても周辺画素からの画素データとの均衡をとることが可能である。ここで、画素毎の変曲点の基準変曲点との相違量（画素ばらつき量）は、補正前は±σの範囲内であるが、本発明に係る補正を行うことにより、画素ばらつき量は±σ_ｎｅｗの範囲内におさまるようになっている。演算処理における周辺画素の加算数をｎとすると、σ_ｎｅｗは下記式（４）で表される。

また、画素ばらつき量を上記式（４）の範囲内とすることができるため、基準画素と周辺画素の画素データの均衡をとることにより、一様な輝度の被写体を撮影した際にも画素毎のばらつきを抑えることが可能である。

また、出力特性制御回路１４を備えることにより、画素毎の変換特性に応じて切換点を容易に設定することが可能である。

また、各画素Ｇ_１１〜Ｇ_ｍｎが複数の変換特性を備えることにより、電気信号のダイナミックレンジを広くすることが可能である。

また、演算手段１２は加算平均により基準画素の画素データの補正を行うので、容易に周辺画素との均衡をとり、ばらつきを補正することが可能である。

さらに、色フィルタを備えることにより色毎の感度が異なっても、演算手段１２は同色の周辺画素からの画素データを用いて補正演算処理を行うので、効率的に画素間のばらつきを補正することが可能である。

なお、色フィルタを備えない場合、色判定手段１１を備える必要が無いとともに周辺画素の数を少なくすることができる。例えば、図１１に示すように、メモリ９は３ライン分の画素データを保持し、演算手段１２は下記式（５）を用いて補正演算処理を行う。

また、演算手段１２は補正演算処理において重み付けして加算平均を取り出すこととしてもよく、公知のローパスフィルタを用いて低周波成分を取り出すこととしてもよい。重み付けは、周辺画素それぞれに対して重み付け係数を設定し（図１２参照）、画素値に乗算して下記式（６）を用いて補正演算処理を行う。例えば、図１３に示すように、基準画素に近付くほど重み付け係数を大きくし、下記式（７）を用いて補正演算処理を行う。

また、演算手段１２は周辺画素のうち対数変換特性の画素データのみを用いて補正演算処理を行うこととしてもよい。このように、対数変換の画素データのみを用いて補正演算処理を行うことにより、画素間のばらつきをより精確に補正することが可能である。

本実施形態に係る撮像装置の概略構成を示すブロック図である。 本実施形態に係る撮像素子の構成を示すブロック図である。 本実施形態に係る画素の構成を示す回路図である。 本実施形態に係る撮像素子の出力信号を示すグラフである。 メモリに保持される周辺画素の座標値の説明図である。 基準画素の色がＲの場合に補正演算処理に用いられる周辺画素の説明図である。 基準画素の色がＢの場合に補正演算処理に用いられる周辺画素の説明図である。 基準画素の色がＧの場合に補正演算処理に用いられる周辺画素の説明図である。 基準画素の色がＧの場合に補正演算処理に用いられる周辺画素の説明図である。 本実施形態における撮像動作を示すフローチャートである。 メモリに保持される周辺画素の座標値の説明図である。 各周辺画素に対応する重み付け係数の説明図である。 各周辺画素に対応する重み付け係数の一例を示す説明図である。

符号の説明

１ 撮像装置
２ 制御装置
３ レンズ系
５ 露光制御処理部
６ 撮像素子
７ アンプ
８ Ａ／Ｄコンバータ
９ メモリ
１０ メモリ読み出し手段
１１ 色判定手段
１２ 演算手段
１３ 出力特性判定手段
１４ 出力特性制御回路
１５ タイミング生成回路
１６ 黒基準設定部
１７ 線形化部
１８ 評価値算出部
１９ 画像処理部

Claims (10)

1. 入射光に応じて複数の変換特性で電気信号に光電変換する複数の画素を有する撮像素子と、
   少なくとも第一の変換特性と第二の変換特性との特性切換点に基づいて基準切換点を算出する切換点制御部と、
   基準となる基準画素とその周辺に配置された周辺画素からの出力信号値を一時的に保持するデータ保持部と、
   前記基準画素からの出力信号値が前記基準切換点を超えているか否かを判定する判定部と、
   前記判定部で前記基準切換点を超えていると判定された前記基準画素からの出力信号値を、前記周辺画素からの出力信号値の低周波成分を取り出した値に補正する信号補正部と、
   を備えることを特徴とする撮像装置。
2. 前記切換点制御部は、変換特性の切換点を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記複数の変換特性は、複種類の線形変換特性であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記複数の変換特性は、複種類の対数変換特性であることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記複数の変換特性は、線形変換特性と対数変換特性の組み合わせであることを特徴とする請求項１又は２に記載の撮像装置。
6. 前記信号補正部は、加算平均により前記低周波成分を取り出すことを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
7. 前記信号補正部は、重み付けした加算平均により前記低周波成分を取り出すことを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
8. 前記信号補正部は、ローパスフィルタを用いて前記低周波成分を取り出すことを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
9. 前記信号補正部は、前記基準画素と前記周辺画素からの出力信号値のうち、対数変換特性のものを用いて前記低周波成分を取り出すことを特徴とする請求項４〜８のいずれか一項に記載の撮像装置。
10. 前記入射光の光路に配置される一定配列の色フィルタと、
    前記基準画素と同色のフィルタが配置された前記周辺画素を判定する色判定手段とを備え、
    前記信号補正部は、前記基準画素と同色のフィルタが配置された前記周辺画素からの出力信号値を用いて前記低周波成分を取り出すことを行うことを特徴とする請求項１〜９のいずれか一項に記載の撮像装置。

Images