JP2009027220A - 撮像装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、および画像処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2009027220A
JP2009027220A JP2007185274A JP2007185274A JP2009027220A JP 2009027220 A JP2009027220 A JP 2009027220A JP 2007185274 A JP2007185274 A JP 2007185274A JP 2007185274 A JP2007185274 A JP 2007185274A JP 2009027220 A JP2009027220 A JP 2009027220A
Authority
JP
Japan
Prior art keywords
dark current
imaging
image
area
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007185274A
Other languages
English (en)
Other versions
JP2009027220A5 (ja
JP4462299B2 (ja
Inventor
Daisuke Kuruma
大介 来馬
Nobuyuki Sato
伸行 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007185274A priority Critical patent/JP4462299B2/ja
Priority to TW097123256A priority patent/TWI379589B/zh
Priority to US12/145,926 priority patent/US8111306B2/en
Priority to KR1020080068716A priority patent/KR20090008139A/ko
Priority to CN2008101323989A priority patent/CN101350886B/zh
Publication of JP2009027220A publication Critical patent/JP2009027220A/ja
Publication of JP2009027220A5 publication Critical patent/JP2009027220A5/ja
Application granted granted Critical
Publication of JP4462299B2 publication Critical patent/JP4462299B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】暗電流特性が異なる複数の撮像面を有する撮像素子の撮影信号から高精度な暗電流除去を行い品質の高い画像を生成する。
【解決手段】暗電流特性が異なる複数の撮像面の各々において発生する暗電流を撮像面各々個別に算出し、各撮像面に対応する暗電流除去を実行する。各撮像面における有効画像領域の上段および下段領域における有効画像領域とOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルの記録データと、各撮像面対応のOPB領域から計測される暗電流とに基づいて、複数の撮像面の各々において発生すると推定される暗電流を算出し除去する。本構成により、撮像面の各々に対応した暗電流除去が可能となり、品質の高い画像データを生成できる。
【選択図】図5

Description

本発明は、撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばデジタルカメラなどの撮像素子の暗電流成分の除去処理を行う撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
例えば、デジタルカメラなどの撮像装置は、CMOS(Complememtary metal oxide semiconductor)やCCD(Charge coupled device)などの撮像素子を有し、これらの撮像素子により光信号を電気信号に変換する処理により撮影画像の生成を行う構成となっている。
多くの一般的なカメラに備えられた撮像素子は、例えば35mmフィルム(36×24mm)よりも小さな小型の撮像素子である。しかし、昨今、有効画素数を増加させた大型の撮像素子を備え高品位な画像を撮影可能としたカメラが開発されている。例えば、35mmフィルム(36×24mm)と同じサイズの大型のCMOSやCCDなどの撮像素子を備えたカメラがある。
CMOSやCCDなどの撮像素子は半導体によって構成されており、露光処理を含む半導体製造プロセスによって緻密な集積回路をシリコン基盤上に形成することが必要となる。具体的には、ステッパーを利用して半導体集積回路のマスクパターンを縮小してシリコン基盤に焼き付ける処理が行われる。しかし、ステッパーはその大きさに限界があり、上述したような35mmフィルム(36×24mm)と同じサイズを有するような大型のCMOSやCCDなどの撮像素子を製造する場合は、撮像素子を複数の領域に分割して、各分割領域単位で露光処理を行い、複数回の露光処理により撮像素子全体の集積回路を完成させるという処理が行われる。このように大型の撮像素子を製造する場合には、分割領域ごとの露光処理が必要となる。
しかし、このような分割露光処理によって製造された撮像素子は、各露光処理を行った分割領域各々の特性が異なってしまうという問題が発生する。例えば受光の有無に関係なく発生する暗電流レベルに差異が発生する。例えば撮像素子を左半分と右半分に2分割して製造した場合、左側の撮像素子の暗電流と右側の撮像素子の暗電流に差が生じ、左右の画像が明らかに異なる画像になってしまうという問題が発生する。
一般に1回の露光処理によって製造される小型の撮像素子では、暗電流の除去処理として撮像素子の周辺領域に設けられたOPB(Optical Black)領域の暗電流を計測して、計測値に基づく暗電流除去を行う。
撮像素子は、画像データを取得するための有効画像領域と、その有効画像領域の周囲の光を受光しないOPB(Optical Black)領域を有する構成となっており、このOPB領域における暗電流値を計測して、撮影画像に対応する光を受光する有効画像領域の暗電流を推定して暗電流除去を行うものである。このような構成は、例えば特許文献1(特開2005−312805号公報)に記載されている。
また、暗電流の発生量は温度によっても異なるものとなり、この温度特性を考慮した暗電流除去処理についても研究されている。例えば、特許文献2(特開2005−130045号公報)では、OPB領域を使って暗電流値もしくは暗電流ノイズを測定し、予め作成した温度特性を考慮した暗電流値データと比較することで撮像素子の温度を推定し、推定温度に応じた画像補正処理(ゲイン設定など)を行う構成を開示している。
しかし、従来の暗電流除去による画像補正処理は、基本的に1回の製造プロセスで製造された小型の撮像素子に対応する処理であり、上述したような複数回の製造プロセスにより特性の異なる素子領域を有する大型の撮像素子に対応する補正処理を実現するものとはなっていない。
特開2005−312805号公報 特開2005−130045号公報
本発明は、上述の問題点に鑑みてなされたものであり、例えば分割された領域単位の製造処理が行われて特性の異なる領域を持つ撮像素子によって撮影されたデータから、各分割領域に応じた暗電流の除去を行い高品質な画像を生成することを可能とした撮像装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
各々が異なる暗電流特性を持つ複数の撮像面によって構成された撮像素子と、
前記撮像素子からの信号を入力して、画像生成処理を実行する画像処理部を有し、
前記画像処理部は、
前記複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行する構成であることを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、分割露光処理によって製造され、各露光領域単位に対応する複数の撮像面によって構成された撮像素子であり、前記画像処理部は、各露光領域単位に対応する複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、各々が異なる暗電流特性を持つ複数の撮像面の各々に、撮影画像データを取得する有効画像領域と、前記有効画像領域を構成する各行の対応行を有するOPB(Optical Black)領域を有し、前記画像処理部は、各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域とOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、前記画像処理部は、前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、前記画像処理部は、撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像素子はCMOSによって構成され、前記画像処理部は、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記画像処理部は、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記画像処理部は、各行のOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、各々が異なる暗電流特性を持つ複数の撮像面の各々に形成された撮影画像データを取得する有効画像領域と、少なくとも1つの撮像面と同一の面に前記有効画像領域を構成する各行の対応行を有するHOPB(H−Optical Black)領域と、前記複数の撮像面の各々を含む領域に設定されたVOPB(V−Optical Black)領域を有し、前記画像処理部は、前記VOPB領域を、前記複数の撮像面の各々に対応する領域に区分して、各区分VOPB領域における暗電流を計測し、複数の撮像面対応の複数のVOPB領域対応の暗電流値と、前記少なくとも1つのHOPB領域において計測される暗電流値を適用して、各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域と前記HOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、前記画像処理部は、前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、前記画像処理部は、撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像素子はCMOSによって構成され、前記画像処理部は、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、前記HOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記画像処理部は、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のHOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記画像処理部は、各行のHOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得する構成であることを特徴とする。
さらに、本発明の第2の側面は、
画像処理装置において実行される画像処理方法であり、
画像処理部が、各々が異なる暗電流特性を持つ複数の撮像面によって構成された撮像素子によって取得された信号を入力して、画像生成処理を実行する画像処理ステップを有し、
前記画像処理ステップは、
前記複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行するステップであることを特徴とする画像処理方法にある。
さらに、本発明の画像処理方法の一実施態様において、前記撮像素子は、分割露光処理によって製造され、各露光領域単位に対応する複数の撮像面によって構成された撮像素子であり、前記画像処理ステップは、各露光領域単位に対応する複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記撮像素子は、各々が異なる暗電流特性を持つ複数の撮像面の各々に、撮影画像データを取得する有効画像領域と、前記有効画像領域を構成する各行の対応行を有するOPB(Optical Black)領域を有する構成であり、前記画像処理ステップは、各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理装置は、暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域とOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、前記画像処理ステップは、前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、前記画像処理ステップは、撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記撮像素子はCMOSによって構成され、前記画像処理ステップは、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理ステップは、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理ステップは、各行のOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記撮像素子は、各々が異なる暗電流特性を持つ複数の撮像面の各々に形成された撮影画像データを取得する有効画像領域と、少なくとも1つの撮像面と同一の面に前記有効画像領域を構成する各行の対応行を有するHOPB(H−Optical Black)領域と、前記複数の撮像面の各々を含む領域に設定されたVOPB(V−Optical Black)領域を有する構成であり、前記画像処理ステップは、前記VOPB領域を、前記複数の撮像面の各々に対応する領域に区分して、各区分VOPB領域における暗電流を計測し、複数の撮像面対応の複数のVOPB領域対応の暗電流値と、前記少なくとも1つのHOPB領域において計測される暗電流値を適用して、各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理装置は、暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域と前記HOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、前記画像処理ステップは、前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、前記画像処理ステップは、撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記撮像素子はCMOSによって構成され、前記画像処理ステップは、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、前記HOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理ステップは、CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のHOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理ステップは、各行のHOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得するステップであることを特徴とする。
さらに、本発明の第3の側面は、
画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
画像処理部に、各々が異なる暗電流特性を持つ複数の撮像面によって構成された撮像素子によって取得された信号を入力して、画像生成処理を実行させる画像処理ステップを有し、
前記画像処理ステップは、
前記複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例構成によれば、例えば大型の撮像素子など、製造工程において分割露光が施され各露光領域単位で暗電流特性が異なる複数の撮像面を有する撮像素子を利用して撮影された信号から暗電流を除去する構成において、複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行する。具体的には、例えば、暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域とOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルの記録データと、各撮像面対応のOPB領域から計測される暗電流とに基づいて、複数の撮像面の各々において発生すると推定される暗電流を算出して暗電流除去処理を実行する。本構成により、特性の異なる撮像面の各々に対応した暗電流除去が可能となり、品質の高い画像データを生成することが可能となる。
以下、図面を参照しながら、本発明の撮像装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
まず、図1を参照して本発明の撮像装置の一例であるデジタルスチルカメラ(DSC)の構成例について説明する。図1に示す撮像装置(デジタルスチルカメラ)100は、カメラブロック101、画像処理部102、LCD(Liquid Crystal Display)やEVF(Electronic View Finder)などによって構成される画像表示部103、データバッファなどとして利用されるSDRAM(DDR SDRAM)などによって構成されるメモリ104、プログラム、パラメータなどの記憶領域として用いられる例えばフラッシュメモリなどによって構成される記憶部105、シャッター、モード設定部など各種操作ボタン類によって構成される操作部106、プログラム実行部としてのCPUを含む制御部(Mai IC)107、ファイルシステムに従ったデータ記録再生制御を実行するメモリ制御部108、リムーバブルメモリ109を有する。
カメラブロック101は、CMOS(Complememtary metal oxide semiconductor)やCCD(Charge coupled device)などの撮像素子、撮像素子を駆動するためのTG(Timing Generator)、撮像素子から得られた電荷を信号に変換するAFE(Analog Front End)、さらにレンズやレンズを駆動するレンズドライバなどから構成される。
本発明の撮像装置100のカメラブロック101に備えられたCMOSまたはCCDから構成される撮像素子は、例えば1000万画素以上の画素数を持つ大型の撮像素子である。具体的には例えば、35mmフィルム(36×24mm)と同じサイズを有するような大型のCMOSやCCDなどの撮像素子である。
撮影時には、操作部106に含まれるシャッターの操作により、操作情報が、制御部107に入力され、制御部が、予め記憶部105に格納されたプログラムに従った制御により、カメラブロック101から入力する信号を画像処理部102において処理を行い、メモリ制御部108の制御の下、予め定められたファイルシステムに従ったフォーマットでリムーバブルメモリ109に記録する。カメラブロック101から得られた画像信号は画像処理部102において、補間処理や画素混合などの信号処理が実行され、例えばYCbCrなどの画像信号に変換されて記録ファイル用の画像が作成される。なお、これらの画像処理に必要なプログラム、パラメータなどのデータは基本的にフラッシュメモリ(FLASH Memory)等によって構成される記憶部105に記録されている。また画像処理部102における画像処理に際しては、必要に応じてメモリ(SDRAM)104がバッファとして用いられる。
なお、シャッターを操作しない状態においても、カメラブロック101から入力する信号は、画像処理部102において処理がなされ、処理画像がLCDやEVFなどによって構成される表示部103に表示される。
本発明にかかる撮像装置100のカメラブロック101内のCMOSまたはCCDによって構成される撮像素子は、前述したように、例えば、35mmフィルム(36×24mm)と同じサイズのCMOSやCCDなどの大型の撮像素子である。前述したように、このような大型の撮像素子を製造する場合は、撮像素子を複数の領域に分割して、各分割領域単位で露光処理を行い、複数回の露光処理により撮像素子全体の集積回路を完成させるという処理が行われる。
すなわち、半導体製造装置いわゆるステッパーの関係から、一度の露光処理では撮像素子全体の集積回路の形成ができないため。撮像素子の領域を分割して製造処理がなされる。具体的には、半導体層、オンチップカラーフィルタ層、オンチップマイクロレンズ層などを、撮像素子全体で一括して形成するこができず、2分割、または3分割した分割領域単位で露光処理を行って集積回路を形成し、これらを接続して1つの撮像素子としている。この撮像素子の製造プロセスはつなぎ露光と呼ばれる。
このようなつなぎ露光で製造された固体撮像素子は、露光単位となる分割領域各々に感度差や暗電流の差が発生する。従って、分割領域を考慮した信号処理、例えば、それぞれの分割領域単位で暗電流の除去処理を行って黒レベル補正を行うなどの各分割領域単位の処理を行わないと、撮影画像の1画面上で異なる画質の領域が発生してしまう。特に暗電流ノイズの除去が不完全な場合、画像全体の明度が上がり、画像の黒レベルが0にならない「黒浮き」と呼ばれる現象が発生するが、1つの画像中に領域単位の異なる「黒浮き」が発生すると写真としての品質が著しく低下することになる。
本発明の撮像装置の画像処理部102では、各分割領域において暗電流の発生量が異なる撮像素子からの信号を入力して、それぞれの領域の特性に応じた処理を行い高品質な画像を生成して、処理画像をリムーバブルメモリ109に格納し、また、表示部103に表示する。なお、CMOSやCCDの半導体製造プロセスにおける各露光領域を分割領域、あるいは撮像面と呼ぶ。湾発明に係る撮像装置は、複数の異なる特性を持つ撮像面(分割領域)によって構成される撮像素子を有し、画像処理部102において、複数の異なる特性を持つ撮像面(分割領域)によって構成される撮像素子からの入力信号に対する処理に際して、各撮像面(分割領域)の特性を考慮した処理を実行する。具体的には、各撮像面(分割領域)の特性を考慮した暗電流除去処理を実行して均一な品質の高い画像を生成する。
以下、画像処理部102において実行する暗電流除去処理の具体例について説明する。
本発明に係る撮像装置において利用される撮像素子は、例えばアレイ状に配列された1000万以上の画素を有し、水平ラインおよび垂直カラムに画素が配列された構成を持つ。最近の大判イメージャーに多く利用されるCMOSの場合は、信号読み出しは、撮像素子の上段のラインから線順次で読み出される。例えば最上段のラインの画素を左から右に読み出し、次に2番目のラインの画素を左から右に読み出し、以下、最下段のラインまで読み出しを行う。
このような信号読み出しを行う構成では、画像の上部と下部で暗電流ノイズの量に差が発生する。すなわち、信号読み出しまでの時間が長くなると時間経過に伴う暗電流の発生量が大きくなり、画像下部側の暗電流が上部に比較して相対的に多くなる。この暗電流の傾向も、撮像面(分割領域)各々に異なることが予測され、暗電流の除去処理を行う場合、各撮像面(分割領域)ごとに、それぞれの特性に応じて実行することが好ましい。
暗電流の除去処理として従来から知られる手法には、例えば画像の撮影に際して、画像撮影後、撮影画像と全く同じ条件(露光時間)でシャッターを閉めた全黒画像を続けて撮影し、先に撮影した画像データから対応する画素の全黒画像のデータを引く手法がある。この処理によって撮影画像から暗電流ノイズを除去できることが知られている。しかしこの手法では撮影に倍の時間がかかってしまい、また、メモリに蓄積するデータ量が増大し、メモリアクセス、画像処理に多大の時間を要することになり、例えば連続撮影を行うような場合には、各撮影画像の間隔が長くなるなどの不都合が発生する。
以上の点を踏まえ、本発明の撮像装置100の画像処理部102においては、全黒画像を用いることなく、撮影画像のみから各撮像面(分割領域)ごとに、それぞれの特性に応じた信号処理を行い、バランスのとれた品質の高い画像を生成する。具体的には、つなぎ露光による面による黒レベルの差とCMOSの撮像面の上下における暗電流ノイズ差を同時にリアルタイムに精度良く除去する処理を行う。
以下、本発明に従った複数の実施例について順次、説明する。
[第1実施例]
図2に、本発明の撮像装置に用いる撮像素子200の構成例を示す。撮像素子200は、製造段階で複数回の露光処理による回路形成が実行されたつなぎ露光により製造された撮像素子である。従って、特性の異なる複数の撮像面(分割領域)を有する。図2に示す撮像素子200は、つなぎ露光により2分割で作成されたCMOSであり、以下、撮像素子200の右面を第1撮像面211、左面を第2撮像面212と呼ぶ。各撮像面211,212は、製造段階における露光処理の単位領域に対応しており特性が異なる。
撮像素子200には、撮影処理において入力する光を受光し、画像形成要の信号を蓄積する有効画像領域201と、有効画像領域201の周辺に設定され、基本的に撮影処理に際して光を入力しない領域としてのOPB(OPtical Black)領域221,222,231が存在する。有効画像領域201の上部にあるOPB領域をVOPB領域231、横にあるOPB領域をHOPB領域221,222と呼ぶ。第1撮像面211側のHOPB領域を第1HOPB領域221と呼び、第2撮像面212側のHOPB領域を第2HOPB領域222と呼ぶ。
なお、有効画像領域201、第1HOPB領域221、第2HOPB領域222、VOPB領域のいずれにも同一サイズの画素がアレイ上に配列されている。有効画像領域201に含まれる画素対応の信号に基づいて撮影画像が生成される。図2に示す撮像素子200はCMOSであり信号読み取りは、上段のライン(行)から線順次で行われる。
本実施例の撮像装置における暗電流除去処理は、第1撮像面211の暗電流除去に第1HOPB領域221の暗電流データを適用し、第2撮像面212の暗電流除去に第2HOPB領域222の暗電流データを適用する処理である。これは、左右の素子、すなわち、第1撮像面211と第2撮像面212との特性の差異を考慮した処理である。
具体的には第1撮像面211と第2撮像面212で暗電流の蓄積特性が異なるため、第1撮像面211に含まれる有効画像領域201aの暗電流除去には、同じ第1撮像面211に含まれる第1HOPB領域221の暗電流データを適用し、第2撮像面212に含まれる有効画像領域201bの暗電流除去には、同じ第2撮像面212に含まれる第2HOPB領域222の暗電流データを適用する処理を行う。
撮像面に発生する暗電流は、前述したようにCMOSの場合、信号読み出しが撮像素子の上段ライン(行)から線順次で読み出されるので、画像の上部と下部で暗電流ノイズの量に差が発生する。さらに、シャッタースピードに対応する露光時間や温度によっても異なる値となる。
本発明の撮像装置においては、撮像面のライン(行)位置場所、シャッタースピードに対応する露光時間や温度に応じて発生すると予測される暗電流の値を、第1撮像面211と第2撮像面212各々について予め算出し、算出した暗電流の値をデータテーブル(暗電流データテーブル)として記憶部、例えば図1に示す記憶部105に格納しておく。
図3を参照して、暗電流データテーブルの生成処理について説明する。図3は、暗電流データテーブルの生成処理において、暗電流データを計測する領域の設定例を示している。なお、暗電流データの取得処理は、撮像装置の製造プロセスにおいて、シャッタースピードや温度を変化させて光を入射することなく撮影を実行して、各撮影状態において発生する暗電流を計測する処理として実行される。
図3は暗電流データテーブルの生成処理に必要となる暗電流データの取得領域を示す図である。図3に示す領域1_0〜1_4、領域2_0〜2_4を暗電流の取得領域として設定する。すなわち、以下の領域である。
領域1_0:第1HOPB内の、先頭行からVOPB最終行までのエリア
領域1_1:第1HOPB内の、有効画像領域の開始行と同じ行から数行のエリア
領域1_2:第1撮像面の有効画像領域内の有効画像領域の開始行から数行のエリア
領域1_3:第1HOPB内の、有効画像領域の終了行と同じ行までの数行のエリア
領域1_4:第1撮像面の有効画像領域内の有効画像領域の終了行と同じ行までの数行のエリア
領域2_0:第2HOPB内の、先頭行からVOPB最終行までのエリア
領域2_1:第2HOPB内の、有効画像領域の開始行と同じ行から数行のエリア
領域2_2:第2撮像面の有効画像領域内の有効画像領域の開始行から数行のエリア
領域2_3:第2HOPB内の、有効画像領域の終了行と同じ行までの数行のエリア
領域2_4:第2撮像面の有効画像領域内の有効画像領域の終了行と同じ行までの数行のエリア
これら、図3に示す領域1_0〜1_4、領域2_0〜2_4を暗電流の取得領域として設定し、シャッタースピードやセンサ温度などを変更して複数の条件下において、光を入射することなく撮影を実行して、各領域に発生する暗電流値を計測する。
なお、各領域における暗電流の計測は、例えばIIR(infinite impulse responce)フィルタを適用した積分器による計測として実行することができる。IIRフィルタを適用して、様々な条件下での撮影において、上記の各領域において発生した暗電流量を[IIR積分結果]として算出する。
すなわち、シャッタースピードや温度を変化させた様々な条件下で、撮影を行い上記の各領域において発生した[IIR積分結果]を各領域、すなわち、図3に示す領域1_0〜1_4、領域2_0〜2_4に対応する暗電流量として計測する。さらに、各領域におけるIIR積分結果から、以下のデータ:α0,α〜1,β0,β1,a0,b0を算出して、算出したデータを記録した暗電流データテーブルを生成して記憶部に格納する。
領域p_qに対応して計測されるIIR積分結果としての暗電流量をIIR(領域p_q)として、以下のデータ:α0,α〜1,β0,β1,a0,b0を算出する。
α0=IIR(領域1_1)−IIR(領域1_2)、
α1=IIR(領域1_3)−IIR(領域1_4)、
β0=IIR(領域2_1)−IIR(領域2_2)、
β1=IIR(領域2_3)−IIR(領域2_4)、
a0=IIR(領域1_0)、
b0=IIR(領域2_0)、
上記のデータ:α0,α〜1,β0,β1,a0,b0を算出して、算出したデータを記録した暗電流データテーブルを生成して記憶部に格納する。暗電流データテーブルのデータ構成例を図4に示す。
図4に示す暗電流データテーブルは、温度(T)を3つの異なる条件、すなわち、
T=0〜20℃
T=20〜40℃
T=40〜60℃
として、シャッタースピードを7つの設定条件、すなわち、
シャッタースピード=1/8000〜1/100s、
シャッタースピード=1/100〜1s、
シャッタースピード=1〜4s、
シャッタースピード=4〜8s、
シャッタースピード=8〜16s、
シャッタースピード=16〜24s、
シャッタースピード=24〜30s、
これらの7つの異なる条件に設定し、計3×7=21種類の異なる条件で撮影を行って、上記のデータ:α0,α〜1,β0,β1,a0,b0を算出した結果を記録したテーブルである。
例えば、最上段左のデータセットは、
シャッタースピード=1/8000〜1/100s、
T=0〜20℃、
として光が入射しない条件下で撮影を行い、先に図3を参照して説明した各領域1_0〜1_4、領域2_0〜2_4の暗電流量の総和に相当するIIR積分結果[IIR(領域p_q)]を算出し、算出した結果に基づいて、
α0=IIR(領域1_1)−IIR(領域1_2)=50、
α1=IIR(領域1_3)−IIR(領域1_4)=80、
β0=IIR(領域2_1)−IIR(領域2_2)=20、
β1=IIR(領域2_3)−IIR(領域2_4)=40、
a0=IIR(領域1_0)=170、
b0=IIR(領域2_0)=150、
これらの結果を得て、テーブルに記録したデータである。
図4に示す暗電流データテーブルには、このデータセットを含め、計3×7=21種類の異なる条件で撮影を行って、上記のデータ::α0,α〜1,β0,β1,a0,b0を算出した結果が記録されている。基本的な傾向としては、暗電流量は、シャッタースピードが長くなるに従って大きくなり、また温度が高くなるに従って大きくなる傾向にある。
実際の撮影画像に対する暗電流除去処理を行う際は、この暗電流データテーブルから、撮影条件に応じたデータセットを選択して、選択したデータセットに含まれるデータ:α0,α〜1,β0,β1,a0,b0を適用した処理を実行する。
なお、先に説明したように、暗電流の除去処理として従来から知られる手法として画像撮影後、撮影画像と全く同じ条件(露光時間)でシャッターを閉めた全黒画像を続けて撮影し、先に撮影した画像データから対応する画素の全黒画像のデータを減算することで暗電流の除去を行う手法があるが、このような処理を行う場合は、撮像素子の全画素に対応する暗電流量(全黒画像のデータ)を、一旦メモリに蓄積する必要があり、例えば1000万画素以上の大型の撮像素子を領する場合などには、非常に大きなメモリの記憶容量が必要となる。
一方、本願発明の構成では、図4に示すように、1つの条件で撮影したデータにおいて、α0,α1,β0,β1,a0,b0のみの6データのみをメモリにテーブルとして記録しておけばよい。異なる条件における撮影処理に対応する複数のデータセットを格納する場合でも、上記の1000万画素対応のデータを格納する場合と比較して格段に記憶データ量を小さくすることが可能となる。
記憶部に保存するデータは、各条件につき6点のデータ:α0,α〜1,β0,β1,a0,b0でよいため、全画素の暗電流データを保持しておく方法などに比べて必要なメモリの容量は著しく小さくできる。
次に、図4に示すような暗電流データテーブルを利用した暗電流除去処理の具体例について図5以下を参照して説明する。暗電流除去処理は、図1に示す撮像装置の画像処理部102において実行される。
図5(1)に示すグラフは、撮像素子において発生する暗電流量について、横軸に撮像素子の上段ラインから下段ラインの位置、縦軸に暗電流量を示したグラフである。4つのラインの各々は、図5(2)に示す撮像素子の各位置に対応する。すなわち図5(1)の4つのラインの最上段から、
(P)第1撮像面の第1HOPBの上部から下部に至る暗電流量、
(Q)第1撮像面の有効画像領域の上部から下部に至る暗電流量、
(S)第2撮像面の第2HOPBの上部から下部に至る暗電流量、
(R)第2撮像面の有効画像領域の上部から下部に至る暗電流量、
これらの暗電流量を示している。なお、(Q),(R)のVOPB領域の暗電流量は、図には示していないが、それぞれ(P),(S)と重なるラインとなる。
右肩上がりの直線型のグラフとなるのは、前述したように、CMOSの場合、信号読み出しが撮像素子の上段ライン(行)から線順次で読み出されるためであり、画像の上部より下部の方が暗電流量が増加する。グラフの横軸(Vq)は、撮像素子の上段ラインから下段ラインの位置でもあり、信号の読み出し処理における経過時間にも対応する。
なお、暗電流量は、シャッタースピードに対応する露光時間や温度によっても異なる値となり、図5(1)に示す暗電流量は、ある1つのシャッタースピード、温度におけるデータ例を示している。ただし、シャッタースピードに対応する露光時間や温度が変化した場合にも各グラフの傾きは変化するが、図5(1)に示すように右肩上がりの直線となる。
有効画像領域では、水素アニールなど有効画像領域の暗電流量を抑制する対応がとられているため暗電流量がOPB領域より少なくなることが知られている。さらに暗電流は時間に比例するため撮像素子の垂直方向に線形に増えていくと考えられる。またつなぎ露光により作成された各素子面では、同じ時間や温度でも、暗電流ノイズの量は異なる。すなわち、図5(1)に示すライン(P)(Q)は、第1撮像面のHOPBと有効画像領域のデータであり、ライン(S)(R)は、第2撮像面のHOPBと有効画像領域のデータである。なお、第1撮像面と第2撮像面の特性(暗電流特性)が全く同じであれば、ライン(P)と(S)は重なり、ライン(Q)と(R)は重なることになる。
図1に示すカメラブロック101内の撮像素子において撮りこまれた信号は、CMOSの場合、前述したように上段ラインからデータが順次水平方向に読み取られ、順次、下段ラインに移行して信号読み取りが行われる。従って下段ラインに行くほど読み取りまでの時間が経過し、経過時間に比例して暗電流量が大きくなる。この時間経過に伴う暗電流量の増加がグラフの傾きとして現れている。第1撮像面のHOPBと有効画像領域のデータ(P),(Q)では、有効画像領域の暗電流量(Q)のほうがHOPBの暗電流量(P)より小さくなっており、同様に、第2撮像面のHOPBと有効画像領域のデータ(S),(R)では、有効画像領域の暗電流量(R)のほうがHOPBの暗電流量(S)より小さくなっている。これは、前述したように、有効画像領域では、水素アニールなど有効画像領域の暗電流量を抑制する対応がとられ、暗電流量がOPB領域より少なくなるためである。
図5(1)に示す暗電流量を示すグラフ中に記載しているα0,α1,β0,β1は、先に図4を参照して説明した暗電流データテーブルに記録したデータに対応するデータである。すなわち、
α0=IIR(領域1_1)−IIR(領域1_2)、
α1=IIR(領域1_3)−IIR(領域1_4)、
β0=IIR(領域2_1)−IIR(領域2_2)、
β1=IIR(領域2_3)−IIR(領域2_4)
これらのデータに対応する。
図5(1)に示す暗電流量を示すグラフ中、第1撮像面の第1HOPBの暗電流データ(P)と、第2撮像面の第2HOPBの暗電流データ(S)は、撮影画像の解析によって取得できる。すなわち、HOPB領域には光は入射されず、各HOPB領域の暗電流量は、IIRフィルタを用いた積分処理によって得られるIIR積分結果として求められる。一方、図5(1)に示すグラフ中、第1撮像面の有効画像領域の暗電流データ(Q)と、第2撮像面の有効画像領域の暗電流データ(R)は、撮影画像から直接求めることはできない。すなわち、有効画像領域には撮影データに対応する光が入射して入射光に応じた電流が発生しており、この有効画像領域の暗電流量を直接求めることはできない。
そこで、本発明の撮像装置では、画像処理部102においてカメラブロック101からの入力信号から暗電流を除去する場合、図5(1)に示す第1HOPBの暗電流データ(P)と、第2HOPBの暗電流データ(S)を求め、第1HOPBの暗電流データ(P)を利用して第1撮像面の有効画像領域の暗電流データ(Q)を算出し、第2HOPBの暗電流データ(S)を利用して第2撮像面の有効画像領域の暗電流データ(R)を算出する。このように特性の異なる撮像面各々について個別にHOPBから基準となる案電流量を求めて、それぞれの基準暗電流量を適用して、各撮像面の有効画像領域の暗電流量を算出する構成としている。
画像処理部102における具体的な暗電流除去処理について説明する。画像処理部102は、カメラブロック101に構成された撮像素子の信号を入力すると、図3を参照して説明した領域1_0の暗電流量総和と、領域2_0の暗電流量の総和に対応するそれぞれの領域のIIR積分結果、すなわち、
a0=IIR(領域1_0)
b0=IIR(領域2_0)
これらのデータを算出し、さらに、撮影実行時の条件(シャッタースピード値やセンサ温度)から、補正に使用するパラメータセット(α0、α1、β0、β1)を選択する。
すなわち、図4を参照して説明した暗電流データテーブルの複数のデータセットから、
領域1_0の暗電流量総和に相当するa0=IIR(領域1_0)
領域2_0の暗電流量総和に相当するb0=IIR(領域2_0)
撮影時のシャッタースピード、
撮影時の温度条件、
これらの値が一致するものまたは最も近いデータセットを選択する。
なお、暗電流データテーブルには、様々なシャッタースピードと所定の温度条件で事前に計測した値として以下のデータ、すなわち、
a0=IIR(領域1_0)
b0=IIR(領域2_0)
このデータが記録されており、基本的に、撮影時のシャッタースピードと、撮影時の温度条件が得られている場合、そのシャッタースピードと、温度条件によって選択されるデータセット中の[a0],[b0]の値と撮影画像から計測した[a0],[b0]の値はほぼ等しくなるはずであるので、撮影時のシャッタースピードと、温度条件のみを利用してこれらの条件に対応するデータセットを図4に示すデータテーブルから選択してもよい。また、撮影画像から、
領域1_0の暗電流量総和に相当するa0=IIR(領域1_0)
領域2_0の暗電流量総和に相当するb0=IIR(領域2_0)
これらの値を計測して、計測値と最も近い、
a0=IIR(領域1_0)
b0=IIR(領域2_0)
これらの値を持つデータセットをデータテーブルから選択する構成としてもよい。
すなわち、
(1)領域1_0の暗電流量総和に相当するa0=IIR(領域1_0)
(2)領域2_0の暗電流量総和に相当するb0=IIR(領域2_0)
(3)撮影時のシャッタースピード、
(4)撮影時の温度条件、
これら(1)〜(4)の全てを用いて暗電流データテーブルから利用するデータセットを選択してもよいし、(1),(2)のみ、あるいは(3),(4)のみを用いて暗電流データテーブルから利用するデータセットを選択する構成としてもよい。
画像処理部102は適用するデータセット[α0,α1,β0,β1]を暗電流データテーブルから選択した後、これらのデータセットを利用した暗電流除去処理を実行する。図5(2)に示す撮像素子の構成において、
有効画像領域の最上ラインをA、
有効画像領域の最下段ラインをB、
A−B間の垂直方向の画素数をvqmax,
Aから、現在読み出している行までの垂直方向の画素数をvq、
としたとき、先頭行から第1HOPBと、第2HOPB各々においてIIRフィルタを適用した積分、すなわちIIR積分を行った場合、現在読み出しラインにおけるIIR積分結果を、
IIR1(vq),
IIR2(vq)
とする。
このIIR1(vq),IIR2(vq)は、図5(1)に示すIIR1(vq)、IIR2(vq)に対応する。すなわち、
IIR1(vq):第1HOPB領域における現在の読み出し行(vq)における暗電流量、
IIR2(vq):第2HOPB領域における現在の読み出し行(vq)における暗電流量、
に対応する。
このIIR1(vq),IIR2(vq)と、暗電流データテーブルから取得したデータ[α0、α1、β0、β1]の各値を用いて、第1撮像面と第2撮像面の有効画像領域の各々に対応するクランプ値(黒レベルを合わせるために各画素データから減算する値、すなわち暗電流量)clamp1(vq)とclamp2(vq)は以下の式(式1)、(式2)によって算出することができる。
clamp1(vq)=IIR1(vq−1)−Δ1(vq−1)
=IIR1(vq−1)−((α1−α0)×(vq−1)/vqmax+α0)
・・・(式1)
clamp2(vq)=IIR2(vq)−Δ2(vq)
=IIR2(vq)−((β1−β0)×(vq)/vqmax+β0)
・・・(式2)
上記式(式1)において、
IIR1(vq−1):現在読み出し行の1つの前の行(vq−1)における第1HOPB領域における暗電流量、
Δ1(vq−1):現在読み出し行の1つの前の行(vq−1)における第1HOPB領域における暗電流量IIR1(vq−1)と、第1撮像面の有効画像領域の行(vq−1)における暗電流量との差分、
である。なお、撮像素子の左上からデータを取り込んだ場合、第1HOPBのデータの読み取り処理は同じ行の有効画像領域のデータの読み取り後に行われることになるので、先行する読み取りデータとして得られる前の行(vq−1)のデータ、IIR1(vq−1),Δ1(vq−1)を便宜的に用いている。隣り合う行でのHOPB領域のIIR積分結果の差分はきわめて小さいと考えられるため、1つ上の行vq−1のIIR積分結果を用いても処理結果に大きな違いは発生しない。
もちろん、現在行(vq)のデータを取得してデータIIR1(vq)と、Δ1(vq)を用いる構成としてもよい。
Δ1(vq−1)は、上記式(式1)に示すように、
Δ1(vq−1)=(α1−α0)×(vq−1)/vqmax+α0
と置き換えることができる。
上記式において、α0,α1は図4に示す暗電流データテーブルから取得される値であり、
α0=IIR(領域1_1)−IIR(領域1_2)、
α1=IIR(領域1_3)−IIR(領域1_4)、
vqmax:有効画像領域A〜B間の画素数(行数)
である。α0,α1は、図5に示すように、
α0:有効画像領域の最下段行(B)における第1撮像面側の第1HOPB領域における暗電流量IIR1(B)と有効画像領域の対応行(B)の暗電流量との差分、
α1:有効画像領域の最上段行(A)における第1撮像面側の第1HOPB領域における暗電流量IIR1(A)と有効画像領域の対応行(A)の暗電流量との差分、
に対応する。
図5(1)に示すα0,α1,Δ1(vq−1)の対応から理解されるように、Δ1(vq−1)は、
Δ1(vq−1)=(α1−α0)×(vq−1)/vqmax+α0
として示される。
なお、Δ1(vq−1)の代わりに、実際の読み出し行(vq)に対応する差分値、
Δ1(vq)=(α1−α0)×(vq)/vqmax+α0
上記式によって、Δ1(vq)を算出して、
clamp1(vq)=IIR1(vq−1)−Δ1(vq)
=IIR1(vq−1)−((α1−α0)×(vq)/vqmax+α0)
として、第1撮像面の現在行の暗電流値を算出する処理を行ってもよい。
第2撮像面の有効画像領域の現在行(vq)の暗電流値に相当するクランプ値は、前述したように、以下の式によって算出される。
clamp2(vq)=IIR2(vq)−Δ2(vq)
=IIR2(vq)−((β1−β0)×(vq)/vqmax+β0)
・・・(式2)
上記式(式2)によって第2撮像面の有効画像領域の現在行(vq)の暗電流値に相当するクランプ値を求めることができる。第2撮像面の有効画像領域のクランプ値の算出式は、
IIR2(vq):現在読み出し行(vq)における第2HOPB領域における暗電流量、
Δ2(vq):現在読み出し行(vq)における第2HOPB領域における暗電流量IIR2(vq)と、第2撮像面の有効画像領域の行(vq)における暗電流量との差分を用いた式である。信号の読み取りは左から右に行われ、第2撮像面の場合は、先行して第2HOPB領域のデータ読み取りが実行され、先行してIIR2(vq)が算出可能であり、前の行のデータを利用する必要がないからである。もちろん、処理速度を考慮して前の行のデータを利用しても処理結果に大きな差は生じない。
Δ2(vq)は、上記式(式2)に示すように、
Δ2(vq)=(β1−β0)×(vq)/vqmax+β0
と置き換えることができる。
上記式において、β0,β1は図4に示す暗電流データテーブルから取得される値であり、
β0=IIR(領域2_1)−IIR(領域2_2)、
αβ=IIR(領域2_3)−IIR(領域2_4)、
vqmax:有効画像領域A〜B間の画素数(行数)
である。β0,β1は、図5に示すように、
β0:有効画像領域の最下段行(B)における第2撮像面側の第2HOPB領域における暗電流量IIR2(B)と有効画像領域の対応行(B)の暗電流量との差分、
β1:有効画像領域の最上段行(A)における第2撮像面側の第2HOPB領域における暗電流量IIR2(A)と有効画像領域の対応行(A)の暗電流量との差分、
に対応する。
図5(1)に示すβ0,β1,Δ2(vq)の対応から理解されるように、Δ2(vq)は、
Δ2(vq)=(β1−β0)×(vq)/vqmax+β0
として示される。
以上、説明した処理によりそれぞれが異なる暗電流特性を持つ第1撮像面と第2撮像面において、それぞれの撮像面に形成された第1HOPB領域、第2HOPB領域を基準にしてそれぞれの撮像面の有効画像領域の画面内の任意の行におけるクランプ値、すなわち減算すべき暗電流値を、各撮像面の特性に応じた値として算出できる。
画像処理部102は、これら、各撮像面各々個別に求めた暗電流値(クランプ値)をそれぞれその行の画像データから減算することで、黒レベルのあった(暗電流ノイズ成分が補正された)画像を生成して、生成画像をリムーバブルメモリ109に格納し、また画像表示部103に出力する。
なお、画像処理部102における暗電流除去処理に際して、各設定領域における暗電流を算出するためIIRフィルタを適用した積分値算出を行うが、各領域のIIR積分処理を行う際に、予め設定した下限閾値[ThLow]に満たない電流値レベルの画素や、予め設定した上限閾値[THHi]を越える電流値レベルを持つ画素については欠陥と認められるため、積分処理に含めない設定としてもよい。
また、上記処理においては、各領域の暗電流を算出するため、IIRフィルタを用いた積分を行う例を説明したが、暗電流の算出は、IIRフィルタによる積分に限るものではない。例えば各設定領域の暗電流値の平均を算出して各領域の平均暗電流値を利用して、各撮像面の各行に含まれる暗電流値を算出する構成としてもよい。なお、このように平均の暗電流値を用いる場合は、上記実施例で説明した第1HOPBにおけるIIR積分値[IIR1(vq)]の代わりに、第1HOPBのvq行の画素平均値を適用し、第21HOPBにおけるIIR積分値[IIR2(vq)]の代わりに、第2HOPBのvq行の画素平均値を用いる構成とする。さらに、記憶部に記録する暗電流データテーブルの記録データ:α0、α1、β0、β1,a1,b1についても、該当エリアのデータの平均値を用いる構成とする。
すなわち、領域p_qの画素平均値をave(領域p_q)として、図3に示す領域1_0〜1_3、領域2_0〜2_3の各々の画素値の平均を求めて、α0、α1、β0、β1、a1、b1を以下のようにして算出する。
α0=ave(領域1_1)−ave(領域1_2)、
α1=ave(領域1_3)−ave(領域1_4)、
β0=ave(領域2_1)−ave(領域2_2)、
β1=ave(領域2_3−ave(領域2_4)
a0=ave(領域1_0)
b0=ave(領域2_0)
これらのデータを各シャッタースピード、温度を変更して計測、算出して、暗電流データテーブルとして記憶部に格納し、これらのデータを撮影条件に従って選択して各撮像面の暗電流を算出して暗電流除去処理を実行する構成としてもよい。
[第2実施例]
上述した第1実施例は、特性の異なる撮像面に対応する個別のHOPB領域が設定された構成であり、各撮像面に対応してHOPBが設定されている構成であることが必要である。しかし、実際に撮像素子を構成する場合、有効画像領域を大きく設定するためにHOPB領域を小さく設定するという要請がある。例えば、異なる特性を持つ2つの撮像面に対して1つのHOPB領域を設定する構成である。また、例えば3つ以上の異なる特性を持つ撮像面を持つ場合、各撮像面に対してHOPB領域を設けることは有効画像領域の面積を少なくすることになり好ましくない。以下、第2実施例として、特性の異なる撮像面に対応する個別のHOPB領域が設定せず、異なる特製を持つ撮像面数より少ないHOPB領域を持つ撮像素子の構成とその撮像素子における暗電流除去処理例について説明する。
図6に本実施例における撮像素子300の構成例を示す。撮像素子300は、先の実施例1と同様、製造段階で複数回の露光処理による回路形成が実行されたつなぎ露光により製造された撮像素子である。従って、特性の異なる複数の撮像面(分割領域)を有する。図6に示す撮像素子300は、つなぎ露光により2分割で作成されたCMOSであり、右側の第1撮像面311、左側の第2撮像面312を有する。各撮像面311,312は、製造段階における露光処理の単位領域に対応しており特性が異なる。
撮像素子300には、撮影処理において入力する光を受光し、画像形成要の信号を蓄積する有効画像領域301と、有効画像領域301の周辺に設定され、基本的に撮影処理に際して光を入力しない領域としてのOPB(OPtical Black)領域321,331が存在する。有効画像領域301の上部にあるOPB領域がVOPB領域331である。本実施例では、有効画像領域301の横にあるOPB領域は第1撮像面311側の第1HOPB321のみであり、第2撮像面312側にはHOPB領域は設定されていない。
なお、有効画像領域301、第1HOPB領域321、VOPB領域331のいずれにも同一サイズの画素がアレイ上に配列されている。有効画像領域301に含まれる画素対応の信号に基づいて撮影画像が生成される。図3に示す撮像素子300はCMOSであり信号読み取りは、上段のライン(行)から線順次で行われる。
の構成例を示す。
本実施例の撮像装置における暗電流除去処理は、第1撮像面311および第2撮像面312の暗電流除去に第1HOPB領域321の暗電流データと、VOPB領域331の暗電流データを適用するものである。
本実施例においても、先に説明した実施例1と同様、撮像面のライン(行)位置場所、シャッタースピードに対応する露光時間や温度に応じて発生すると予測される暗電流の値を、第1撮像面311と第2撮像面312各々について予め算出し、算出した暗電流の値をデータテーブル(暗電流データテーブル)として記憶部、例えば図1に示す記憶部105に格納しておく。
図7を参照して、暗電流データテーブルの生成処理について説明する。図7は、暗電流データテーブルの生成処理において、暗電流データを計測する領域の設定例を示している。なお、暗電流データの取得処理は、撮像装置の製造プロセスにおいて、シャッタースピードや温度を変化させて光を入射することなく撮影を実行して、各撮影状態において発生する暗電流を計測する処理として実行される。
図7は暗電流データテーブルの生成処理に必要となる暗電流データの取得領域を示す図である。図7に示す領域0〜6を暗電流の取得領域として設定する。すなわち、以下の領域である。
領域0:第1HOPB内の、先頭行からVOPB最終行までのエリア
領域1:第1HOPB内の、有効画像領域の開始行と同じ行から数行のエリア
領域2:第1HOPB内の、有効画像領域の終了行と同じ行までの数行のエリア
領域3:第1撮像面の有効画像領域内の有効画像領域の開始行から数行のエリア
領域4:第1撮像面の有効画像領域内の有効画像領域の終了行と同じ行までの数行のエリア
領域5:第2撮像面の有効画像領域内の有効画像領域の開始行から数行のエリア
領域6:第2撮像面の有効画像領域内の有効画像領域の終了行と同じ行までの数行のエリア
これら、図7に示す領域0〜6を暗電流の取得領域として設定し、シャッタースピードやセンサ温度などを変更して複数の条件下において、光を入射することなく撮影を実行して、各領域に発生する暗電流値を計測する。
なお、各領域における暗電流の計測は、例えばIIR(infinite impulse responce)フィルタを適用した積分器による計測として実行することができる。IIRフィルタを適用して、様々な条件下での撮影において、上記の各領域において発生した暗電流量を[IIR積分結果]として算出する。
すなわち、シャッタースピードや温度を変化させた様々な条件下で、撮影を行い上記の各領域において発生した[IIR積分結果]を各領域、すなわち、図7に示す領域0〜6に対応する暗電流量として計測する。さらに、各領域におけるIIR積分結果から、以下のデータ:α0,α〜1,β0,β1,a0,b0を算出して、算出したデータを記録した暗電流データテーブルを生成して記憶部に格納する。
領域p_qに対応して計測されるIIR積分結果としての暗電流量をIIR(領域p_q)として、以下のデータ:α0,α〜1,β0,β1,a0,b0を算出する。
α0=IIR(領域1)−IIR(領域3)、
α1=IIR(領域2)−IIR(領域4)、
β0=IIR(領域1)−IIR(領域5)、
β1=IIR(領域2)−IIR(領域6)、
a0=IIR(領域0)、
上記のデータ:α0,α〜1,β0,β1,a0を算出して、算出したデータを記録した暗電流データテーブルを生成して記憶部に格納する。暗電流データテーブルのデータ構成例を図8に示す。
図8に示す暗電流データテーブルは、温度(T)を3つの異なる条件、すなわち、
T=0〜20℃
T=20〜40℃
T=40〜60℃
として、シャッタースピードを7つの設定条件、すなわち、
シャッタースピード=1/8000〜1/100s、
シャッタースピード=1/100〜1s、
シャッタースピード=1〜4s、
シャッタースピード=4〜8s、
シャッタースピード=8〜16s、
シャッタースピード=16〜24s、
シャッタースピード=24〜30s、
これらの7つの異なる条件に設定し、計3×7=21種類の異なる条件で撮影を行って、上記のデータ:α0,α〜1,β0,β1,a0を算出した結果を記録したテーブルである。
例えば、最上段左のデータセットは、
シャッタースピード=1/8000〜1/100s、
T=0〜20℃、
として光が入射しない条件下で撮影を行い、先に図7を参照して説明した各領域0〜6の暗電流量の総和に相当するIIR積分結果[IIR(領域p_q)]を算出し、算出した結果に基づいて、
α0=IIR(領域1)−IIR(領域3)=50、
α1=IIR(領域2)−IIR(領域4)=80、
β0=IIR(領域1)−IIR(領域5)=20、
β1=IIR(領域2)−IIR(領域6)=40、
a0=IIR(領域0)=170、
これらの結果を得て、テーブルに記録したデータである。
図7に示す暗電流データテーブルには、このデータセットを含め、計3×7=21種類の異なる条件で撮影を行って、上記のデータ::α0,α〜1,β0,β1,a0を算出した結果が記録されている。基本的な傾向としては、暗電流量は、シャッタースピードが長くなるに従って大きくなり、また温度が高くなるに従って大きくなる傾向にある。
実際の撮影画像に対する暗電流除去処理を行う際は、この暗電流データテーブルから、撮影条件に応じたデータセットを選択して、選択したデータセットに含まれるデータ:α0,α〜1,β0,β1,a0を適用した処理を実行する。
前述の実施例1と同様、保存するデータは1つの条件において上の5個のデータ:α0,α1,β0,β1,a0でよいため、従来の暗電流の除去処理として知られる全黒画像を適用した処理において必要とする全黒画像の画素対応データを保持する方法に比べて必要なメモリの容量はきわめて小さくすることができる。
次に、図8に示すような暗電流データテーブルを利用した暗電流除去処理の具体例について図9以下を参照して説明する。暗電流除去処理は、図1に示す撮像装置の画像処理部102において実行される。
図9(1)に示すグラフは、撮像素子において発生する暗電流量について、横軸に撮像素子の上段ラインから下段ラインの位置、縦軸に暗電流量を示したグラフである。4つのラインの各々は、図9(2)に示す撮像素子の各位置に対応する。すなわち図9(1)の4つのラインの最上段から、
(P)第1撮像面の第1HOPBの上部から下部に至る暗電流量、
(Q)第1撮像面の有効画像領域の上部から下部に至る暗電流量、
(S)第2撮像面の第2HOPBの上部から下部に至る暗電流量、
(R)第2撮像面の有効画像領域の上部から下部に至る暗電流量、
これらの暗電流量を示している。(S)第2撮像面の第2HOPBの上部から下部に至る暗電流量については実在しないが、説明のために示している。また、(Q),(R)のVOPB領域の暗電流量は、図には示していないが、それぞれ(P),(S)と重なるラインとなる。
右肩上がりの直線型のグラフとなるのは、前述したように、CMOSの場合、信号読み出しが撮像素子の上段ライン(行)から線順次で読み出されるためであり、画像の上部より下部の方が暗電流量が増加する。グラフの横軸(Vq)は、撮像素子の上段ラインから下段ラインの位置でもあり、信号の読み出し処理における経過時間にも対応する。
なお、暗電流量は、シャッタースピードに対応する露光時間や温度によっても異なる値となり、図9(1)に示す暗電流量は、ある1つのシャッタースピード、温度におけるデータ例を示している。ただし、シャッタースピードに対応する露光時間や温度が変化した場合にも各グラフの傾きは変化するが、図9(1)に示すように右肩上がりの直線となる。
有効画像領域では、水素アニールなど有効画像領域の暗電流量を抑制する対応がとられているため暗電流量がOPB領域より少なくなることが知られている。さらに暗電流は時間に比例するため撮像素子の垂直方向に線形に増えていくと考えられる。またつなぎ露光により作成された各素子面では、同じ時間や温度でも、暗電流ノイズの量は異なる。すなわち、図9(1)に示すライン(P)(Q)は、第1撮像面のHOPBと有効画像領域のデータであり、ライン(R)は、第2撮像面の有効画像領域のデータである。なお、第1撮像面と第2撮像面の特性(暗電流特性)が全く同じであれば、ライン(Q)と(R)は重なることになる。
図1に示すカメラブロック101内の撮像素子において撮りこまれた信号は、CMOSの場合、前述したように上段ラインからデータが順次水平方向に読み取られ、順次、下段ラインに移行して信号読み取りが行われる。従って下段ラインに行くほど読み取りまでの時間が経過し、経過時間に比例して暗電流量が大きくなる。この時間経過に伴う暗電流量の増加がグラフの傾きとして現れている。
図9(1)に示す暗電流量を示すグラフ中、第1撮像面の第1HOPBの暗電流データ(P)は、撮影画像の解析によって取得できる。すなわち、HOPB領域には光は入射されず、各HOPB領域の暗電流量は、IIRフィルタを用いた積分処理によって得られるIIR積分結果として求められる。一方、図9(1)に示すグラフ中、第1撮像面の有効画像領域の暗電流データ(Q)と、第2撮像面の有効画像領域の暗電流データ(R)は、撮影画像から直接求めることはできない。すなわち、有効画像領域には撮影データに対応する光が入射して入射光に応じた電流が発生しており、この有効画像領域の暗電流量を直接求めることはできない。しかも、本実施例では、図9(1)に示す第2HOPBの暗電流データ(S)は存在していない。
そこで、本実施例においては、画像処理部102においてカメラブロック101からの入力信号から暗電流を除去する場合、まず、第1撮像面と第2撮像面の暗電流の差分情報を取得する。具体的には、図10に示すように、各撮像面のVOPB領域、すなわち、
第1撮像面311側のVOPB領域を第1VOPB401、
第2撮像面312側のVOPB領域を第2VOPB402、
として設定し、それぞれの領域の暗電流値をIIR積分により算出する。各領域において、VOPB開始行から有効画像領域開始行(A)までのIIR積分結果を算出する。
第1VOPB401の暗電流に相当するIIR積分結果を[Ivopb1]、
第2VOPB402の暗電流に相当するIIR積分結果を[Ivopb2]、
とする。
第1撮像面311と第2撮像面312では特性が異なり、上記の2つのIIR積分結果は異なる値となる。[Ivopb1],[Ivopb2]の値は、図9(1)に示す有効画像領域の開始行(A)における暗電流量[Ivopb1],[Ivopb2]の値に対応する。
次に、第1VOPB401の暗電流に相当するIIR積分結果[Ivopb1]と、第2VOPB402の暗電流に相当するIIR積分結果[Ivopb2]、これらを用いて、有効画像領域301の開始行(A)において、第1撮像面311と第2撮像面312との暗電流量を仮想的に一致させる処理を行う。すなわち、図11に示すような設定とする。この設定のために以下の処理を行う。
第1撮像面311側の有効画像領域301aの画素値データから第1撮像面311側のVOPB領域である第1VOPB401の暗電流に相当する[Ivopb1]を減算し、第2撮像面312側の有効画像領域301bの画素値データから第2撮像面312側のVOPB領域である第2VOPB402の暗電流に相当する[Ivopb2]を減算する。この減算処理によって、図11に示す点[X]のように有効画像領域301の開始行(A)において、第1撮像面311と第2撮像面312との暗電流量を仮想的に一致させる。
この処理の後、画像処理部102は、第1撮像面311、第2撮像面312のおのおのの暗電流の除去処理を行う。この処理について、図12を参照して説明する。
図12に示す暗電流量を示すグラフ中に記載しているα0,α1,β0,β1は、先に図7、図8を参照して説明した暗電流データテーブルに記録したデータに対応するデータである。すなわち、
α0=IIR(領域1)−IIR(領域3)、
α1=IIR(領域2)−IIR(領域4)、
β0=IIR(領域1)−IIR(領域5)、
β1=IIR(領域2)−IIR(領域6)、
これらのデータに対応する。
画像処理部102における具体的な暗電流除去処理について説明する。画像処理部102は、カメラブロック101に構成された撮像素子の信号を入力すると、図7に示す第1HOPBの上部に設定された領域0の暗電流値としてのIIR積分結果、すなわち、
a0=IIR(領域0)
を算出する。[a0]は、同じ第1撮像面の同じ行に設定されている第1VOPB401の暗電流に相当する[Ivopb1]と同じ暗電流を持つはずである。
画像処理部102は、a0=IIR(領域1_0)を算出し、さらに、撮影実行時の条件(シャッタースピード値やセンサ温度)から、補正に使用するパラメータセット(α0、α1、β0、β1)を選択する。
すなわち、図8を参照して説明した暗電流データテーブルの複数のデータセットから、
領域0の暗電流量総和に相当するa0=IIR(領域0)
撮影時のシャッタースピード、
撮影時の温度条件、
これらの値が一致するものまたは最も近いデータセットを選択する。
なお、暗電流データテーブルには、様々なシャッタースピードと所定の温度条件で事前に計測した値として以下のデータ、すなわち、
a0=IIR(領域0)
このデータが記録されており、基本的に、撮影時のシャッタースピードと、撮影時の温度条件が得られている場合、そのシャッタースピードと、温度条件によって選択されるデータセット中の[a0]の値と撮影画像から計測した[a0]の値はほぼ等しくなるはずであるので、撮影時のシャッタースピードと、温度条件のみを利用してこれらの条件に対応するデータセットを図4に示すデータテーブルから選択してもよい。また、撮影画像から、
領域0の暗電流量総和に相当するa0=IIR(領域0)
この値を計測して、計測値と最も近い、
a0=IIR(領域0)
この値を持つデータセットをデータテーブルから選択する構成としてもよい。
すなわち、
(1)領域0の暗電流量総和に相当するa0=IIR(領域0)
(2)撮影時のシャッタースピード、
(3)撮影時の温度条件、
これら(1)〜(3)の全てを用いて暗電流データテーブルから利用するデータセットを選択してもよいし、(1)のみ、あるいは(2),(3)のみを用いて暗電流データテーブルから利用するデータセットを選択する構成としてもよい。
画像処理部102は適用するデータセット[α0,α1,β0,β1]を暗電流データテーブルから選択した後、これらのデータセットを利用した暗電流除去処理を実行する。図12(2)に示す撮像素子の構成において、
有効画像領域の最上ラインをA、
有効画像領域の最下段ラインをB、
A−B間の垂直方向の画素数をvqmax,
Aから、現在読み出している行までの垂直方向の画素数をvq、
とし、
現在読み出しラインにおけるIIR積分結果を、
IIR(vq)
とする。
このIIR(vq)は、図12(1)に示すIIR(vq)に対応する。すなわち、
IIR(vq):第1HOPB領域における現在の読み出し行(vq)における暗電流量、
に対応する。
このIIR(vq)と、暗電流データテーブルから取得したデータ[α0、α1、β0、β1]の各値を用いて、第1撮像面と第2撮像面の有効画像領域の各々に対応するクランプ値(黒レベルを合わせるために各画素データから減算する値、すなわち暗電流量)clamp1(vq)とclamp2(vq)は以下の式(式3)、(式4)によって算出することができる。
clamp1(vq)=Ivopb1+IIR(vq−1)−Δ1(vq−1)
=Ivopb1+IIR(vq−1)−((α1−α0)×(vq−1)/vqmax+α0)
・・・(式3)
clamp2(vq)=Ivopb2+IIR(vq−1)−Δ2(vq−1)
=Ivopb2+IIR(vq−1)−((β1−β0)×(vq−1)/vqmax+β0)
・・・(式4)
上記式(式3)において、
IIR(vq−1):現在読み出し行の1つの前の行(vq−1)における第1HOPB領域における暗電流量、
Δ1(vq−1):現在読み出し行の1つの前の行(vq−1)における第1HOPB領域における暗電流量IIR(vq−1)と、第1撮像面の有効画像領域の行(vq−1)における暗電流量との差分、
である。なお、撮像素子の左上からデータを取り込んだ場合、第1HOPBのデータの読み取り処理は同じ行の有効画像領域のデータの読み取り後に行われることになるので、先行する読み取りデータとして得られる前の行(vq−1)のデータ、IIR(vq−1),Δ1(vq−1)を便宜的に用いている。隣り合う行でのHOPB領域のIIR積分結果の差分はきわめて小さいと考えられるため、1つ上の行vq−1のIIR積分結果を用いても処理結果に大きな違いは発生しない。
また、上記式(式3)において、
Δ1(vq−1)は、
Δ1(vq−1)=(α1−α0)×(vq−1)/vqmax+α0
と置き換えることができる。
上記式において、α0,α1は図8に示す暗電流データテーブルから取得される値であり、
α0=IIR(領域1)−IIR(領域3)、
α1=IIR(領域2)−IIR(領域4)、
vqmax:有効画像領域A〜B間の画素数(行数)
である。α0,α1は、図12(1)に示すように、
α0:有効画像領域の最下段行(B)における第1撮像面側の第1HOPB領域における暗電流量IIR(B)と有効画像領域の対応行(B)の暗電流量との差分、
α1:有効画像領域の最上段行(A)における第1撮像面側の第1HOPB領域における暗電流量IIR(A)と有効画像領域の対応行(A)の暗電流量との差分、
に対応する。
図12(1)に示すα0,α1,Δ1(vq−1)の対応から理解されるように、Δ1(vq−1)は、
Δ1(vq−1)=(α1−α0)×(vq−1)/vqmax+α0
として示される。
なお、Δ1(vq−1)の代わりに、実際の読み出し行(vq)に対応する差分値、
Δ1(vq)=(α1−α0)×(vq)/vqmax+α0
上記式によって、Δ1(vq)を算出して、
clamp1(vq)=Ivopb1+IIR(vq)−Δ1(vq)
=Ivopb1+IIR(vq)−((α1−α0)×(vq)/vqmax+α0)
として、第1撮像面の現在行の暗電流値を算出する処理を行ってもよい。
第2撮像面の有効画像領域の現在行(vq)の暗電流値に相当するクランプ値は、前述したように、以下の式によって算出される。
clamp2(vq)=Ivopb2+IIR(vq−1)−Δ2(vq−1)
=Ivopb2+IIR(vq−1)−((β1−β0)×(vq−1)/vqmax+β0)
・・・(式4)
上記式(式4)によって第2撮像面の有効画像領域の現在行(vq)の暗電流値に相当するクランプ値を求めることができる。
Δ2(vq−1)は、上記式に示すように、
Δ2(vq−1)=(β1−β0)×(vq−1)/vqmax+β0
と置き換えることができる。
上記式において、β0,β1は図8に示す暗電流データテーブルから取得される値であり、
β0=IIR(領域1)−IIR(領域5)、
αβ=IIR(領域2)−IIR(領域6)、
vqmax:有効画像領域A〜B間の画素数(行数)
である。β0,β1は、図12(1)に示すように、
β0:有効画像領域の最下段行(B)における第1HOPB領域における暗電流量IIR(B)と第2撮像面の有効画像領域の対応行(B)の暗電流量との差分、
β1:有効画像領域の最上段行(A)における第1HOPB領域における暗電流量IIR(A)と第2撮像面の有効画像領域の対応行(A)の暗電流量との差分、
に対応する。
図12(1)に示すβ0,β1,Δ2(vq−1)の対応から理解されるように、Δ2(vq−1)は、
Δ2(vq−1)=(β1−β0)×(vq−1)/vqmax+β0
として示される。
以上、説明した処理によりそれぞれが異なる暗電流特性を持つ第1撮像面と第2撮像面において、一方の第1撮像面に形成された第1HOPB領域の暗電流値と、両撮像面に形成されたVOPB領域の暗電流値を適用して、それぞれの撮像面の有効画像領域の画面内の任意の行におけるクランプ値、すなわち減算すべき暗電流値を、各撮像面の特性に応じた値として算出できる。
画像処理部102は、これら、各撮像面各々個別に求めた暗電流値(クランプ値)をそれぞれその行の画像データから減算することで、黒レベルのあった(暗電流ノイズ成分が補正された)画像を生成して、生成画像をリムーバブルメモリ109に格納し、また画像表示部103に出力する。
なお、画像処理部102における暗電流除去処理に際して、各設定領域における暗電流を算出するためIIRフィルタを適用した積分値算出を行うが、各領域のIIR積分処理を行う際に、予め設定した下限閾値[ThLow]に満たない電流値レベルの画素や、予め設定した上限閾値[THHi]を越える電流値レベルを持つ画素については欠陥と認められるため、積分処理に含めない設定としてもよい。
また、上記処理においては、各領域の暗電流を算出するため、IIRフィルタを用いた積分を行う例を説明したが、暗電流の算出は、IIRフィルタによる積分に限るものではない。例えば先に説明した実施例1と同様、各設定領域の暗電流値の平均を算出して各領域の平均暗電流値を利用して、各撮像面の各行に含まれる暗電流値を算出する構成としてもよい。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例構成によれば、例えば大型の撮像素子など、製造工程において分割露光が施され各露光領域単位で暗電流特性が異なる複数の撮像面を有する撮像素子を利用して撮影された信号から暗電流を除去する構成において、複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行する。具体的には、例えば、暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域とOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルの記録データと、各撮像面対応のOPB領域から計測される暗電流とに基づいて、複数の撮像面の各々において発生すると推定される暗電流を算出して暗電流除去処理を実行する。本構成により、特性の異なる撮像面の各々に対応した暗電流除去が可能となり、品質の高い画像データを生成することが可能となる。
本発明の一実施例に係る撮像装置の構成と処理の概要について説明する図である。 本発明の一実施例に係る撮像装置に装着された撮像素子の構成例について説明する図である。 本発明の一実施例に係る撮像装置の暗電流除去処理において予め暗電流を計測すべき領域設定例について説明する図である。 本発明の一実施例に係る撮像装置の記憶部に格納する暗電流データテーブルのデータ構成例について説明する図である。 本発明の一実施例に係る撮像装置の実行する暗電流除去処理の詳細について説明する図である。 本発明の一実施例に係る撮像装置に装着された撮像素子の構成例について説明する図である。 本発明の一実施例に係る撮像装置の暗電流除去処理において予め暗電流を計測すべき領域設定例について説明する図である。 本発明の一実施例に係る撮像装置の記憶部に格納する暗電流データテーブルのデータ構成例について説明する図である。 本発明の一実施例に係る撮像装置の実行する暗電流除去処理において実行する処理について説明する図である。 本発明の一実施例に係る撮像装置の実行する暗電流除去処理において暗電流の計測を行う領域について説明する図である。 本発明の一実施例に係る撮像装置の実行する暗電流除去処理において実行する処理について説明する図である。 本発明の一実施例に係る撮像装置の実行する暗電流除去処理の詳細について説明する図である。
符号の説明
100 撮像装置
101 カメラブロック
102 画像処理部
103 画像表示部
104 メモリ
105 記憶部
106 操作部
107 制御部
108 メモリ制御部
109 リムーバブルメモリ
200 撮像素子
201 有効画像領域
211 第1撮像面
212 第2撮像面
221 第1HOPB
222 第2HOPB
231 VOPB
300 撮像素子
301 有効画像領域
311 第1撮像面
312 第2撮像面
321 第1HOPB
331 VOPB
401 第1VOPB
402 第2VOPB

Claims (29)

  1. 各々が異なる暗電流特性を持つ複数の撮像面によって構成された撮像素子と、
    前記撮像素子からの信号を入力して、画像生成処理を実行する画像処理部を有し、
    前記画像処理部は、
    前記複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行する構成であることを特徴とする撮像装置。
  2. 前記撮像素子は、分割露光処理によって製造され、各露光領域単位に対応する複数の撮像面によって構成された撮像素子であり、
    前記画像処理部は、
    各露光領域単位に対応する複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像素子は、
    各々が異なる暗電流特性を持つ複数の撮像面の各々に、
    撮影画像データを取得する有効画像領域と、
    前記有効画像領域を構成する各行の対応行を有するOPB(Optical Black)領域を有し、
    前記画像処理部は、
    各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項1に記載の撮像装置。
  4. 前記撮像装置は、
    暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域とOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、
    前記画像処理部は、
    前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項3に記載の撮像装置。
  5. 前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、
    前記画像処理部は、
    撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項4に記載の撮像装置。
  6. 前記撮像素子はCMOSによって構成され、
    前記画像処理部は、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項3に記載の撮像装置。
  7. 前記画像処理部は、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項6に記載の撮像装置。
  8. 前記画像処理部は、
    各行のOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得する構成であることを特徴とする請求項7に記載の撮像装置。
  9. 前記撮像素子は、
    各々が異なる暗電流特性を持つ複数の撮像面の各々に形成された撮影画像データを取得する有効画像領域と、
    少なくとも1つの撮像面と同一の面に前記有効画像領域を構成する各行の対応行を有するHOPB(H−Optical Black)領域と、
    前記複数の撮像面の各々を含む領域に設定されたVOPB(V−Optical Black)領域を有し、
    前記画像処理部は、
    前記VOPB領域を、前記複数の撮像面の各々に対応する領域に区分して、各区分VOPB領域における暗電流を計測し、複数の撮像面対応の複数のVOPB領域対応の暗電流値と、前記少なくとも1つのHOPB領域において計測される暗電流値を適用して、各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項1に記載の撮像装置。
  10. 前記撮像装置は、
    暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域と前記HOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、
    前記画像処理部は、
    前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項9に記載の撮像装置。
  11. 前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、
    前記画像処理部は、
    撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項10に記載の撮像装置。
  12. 前記撮像素子はCMOSによって構成され、
    前記画像処理部は、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、前記HOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項9に記載の撮像装置。
  13. 前記画像処理部は、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のHOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行う構成であることを特徴とする請求項12に記載の撮像装置。
  14. 前記画像処理部は、
    各行のHOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得する構成であることを特徴とする請求項13に記載の撮像装置。
  15. 画像処理装置において実行される画像処理方法であり、
    画像処理部が、各々が異なる暗電流特性を持つ複数の撮像面によって構成された撮像素子によって取得された信号を入力して、画像生成処理を実行する画像処理ステップを有し、
    前記画像処理ステップは、
    前記複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行するステップであることを特徴とする画像処理方法。
  16. 前記撮像素子は、分割露光処理によって製造され、各露光領域単位に対応する複数の撮像面によって構成された撮像素子であり、
    前記画像処理ステップは、
    各露光領域単位に対応する複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行するステップであることを特徴とする請求項15に記載の画像処理方法。
  17. 前記撮像素子は、
    各々が異なる暗電流特性を持つ複数の撮像面の各々に、
    撮影画像データを取得する有効画像領域と、
    前記有効画像領域を構成する各行の対応行を有するOPB(Optical Black)領域を有する構成であり、
    前記画像処理ステップは、
    各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項15に記載の画像処理方法。
  18. 前記画像処理装置は、
    暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域とOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、
    前記画像処理ステップは、
    前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項17に記載の画像処理方法。
  19. 前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、
    前記画像処理ステップは、
    撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項18に記載の画像処理方法。
  20. 前記撮像素子はCMOSによって構成され、
    前記画像処理ステップは、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、同一の撮像面に設定されたOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項17に記載の画像処理方法。
  21. 前記画像処理ステップは、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項20に記載の画像処理方法。
  22. 前記画像処理ステップは、
    各行のOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得するステップであることを特徴とする請求項21に記載の画像処理方法。
  23. 前記撮像素子は、
    各々が異なる暗電流特性を持つ複数の撮像面の各々に形成された撮影画像データを取得する有効画像領域と、
    少なくとも1つの撮像面と同一の面に前記有効画像領域を構成する各行の対応行を有するHOPB(H−Optical Black)領域と、
    前記複数の撮像面の各々を含む領域に設定されたVOPB(V−Optical Black)領域を有する構成であり、
    前記画像処理ステップは、
    前記VOPB領域を、前記複数の撮像面の各々に対応する領域に区分して、各区分VOPB領域における暗電流を計測し、複数の撮像面対応の複数のVOPB領域対応の暗電流値と、前記少なくとも1つのHOPB領域において計測される暗電流値を適用して、各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項15に記載の画像処理方法。
  24. 前記画像処理装置は、
    暗電流特性の異なる各撮像面における有効画像領域の上段および下段領域における有効画像領域と前記HOPB領域との暗電流の計測値に基づく差分データを含むデータを記録した暗電流データテーブルを格納した記憶部を有し、
    前記画像処理ステップは、
    前記暗電流データテーブルに記録されたデータを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項23に記載の画像処理方法。
  25. 前記暗電流データテーブルは、シャッタースピードまたは温度の少なくともいずれかを異ならせた複数の撮影条件での計測値に基づく複数のデータセットを記録したテーブルであり、
    前記画像処理ステップは、
    撮影処理時のシャッタースピードまたは温度情報に基づいて、前記暗電流データテーブルに記録された複数のデータセットから、撮影時の条件に近い条件に対応するデータセットを選択し、選択したデータセットを参照して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項24に記載の画像処理方法。
  26. 前記撮像素子はCMOSによって構成され、
    前記画像処理ステップは、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、読み取り信号に含まれる暗電流が撮像素子の上段から下段に移行するに従って比例して増加すると過程して、各撮像面の有効画像領域における暗電流値を、前記HOPB領域において計測される暗電流を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項23に記載の画像処理方法。
  27. 前記画像処理ステップは、
    CMOSによって構成された撮像素子の信号読み取りを上段行から下段行に線順次で実行し、信号読み取りを実行する有効画像領域の各行に対応する信号に含まれる暗電流を、同一行または前の行のHOPB領域の暗電流値を基準値として算出し、算出結果を利用して各撮像面の有効画像領域における暗電流の除去処理を行うステップであることを特徴とする請求項26に記載の画像処理方法。
  28. 前記画像処理ステップは、
    各行のHOPB領域の暗電流値をIIR(infinite impulse responce)フィルタを適用した積分器による計測結果を利用して取得するステップであることを特徴とする請求項27に記載の画像処理方法。
  29. 画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
    画像処理部に、各々が異なる暗電流特性を持つ複数の撮像面によって構成された撮像素子によって取得された信号を入力して、画像生成処理を実行させる画像処理ステップを有し、
    前記画像処理ステップは、
    前記複数の撮像面の各々において発生すると推定される暗電流を撮像面各々個別に算出し、各撮像面に対応して算出した暗電流値に基づく暗電流除去処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
JP2007185274A 2007-07-17 2007-07-17 撮像装置、および画像処理方法、並びにコンピュータ・プログラム Expired - Fee Related JP4462299B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007185274A JP4462299B2 (ja) 2007-07-17 2007-07-17 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
TW097123256A TWI379589B (en) 2007-07-17 2008-06-20 Image pickup apparatus, image processing method, and computer program product
US12/145,926 US8111306B2 (en) 2007-07-17 2008-06-25 Apparatus, method and computer-readable medium for eliminating dark current components of an image pickup device
KR1020080068716A KR20090008139A (ko) 2007-07-17 2008-07-15 촬상 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램
CN2008101323989A CN101350886B (zh) 2007-07-17 2008-07-16 图像拾取装置、图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007185274A JP4462299B2 (ja) 2007-07-17 2007-07-17 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2009027220A true JP2009027220A (ja) 2009-02-05
JP2009027220A5 JP2009027220A5 (ja) 2009-09-03
JP4462299B2 JP4462299B2 (ja) 2010-05-12

Family

ID=40264517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007185274A Expired - Fee Related JP4462299B2 (ja) 2007-07-17 2007-07-17 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Country Status (5)

Country Link
US (1) US8111306B2 (ja)
JP (1) JP4462299B2 (ja)
KR (1) KR20090008139A (ja)
CN (1) CN101350886B (ja)
TW (1) TWI379589B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016058771A (ja) * 2014-09-05 2016-04-21 リコーイメージング株式会社 撮像装置および撮像方法
US9349762B2 (en) 2012-07-13 2016-05-24 Samsung Electronics Co., Ltd. Pixel array, image sensor including the same, and method of compensating for local dark current
JP2017183659A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、撮像装置、および電子機器
JP2021505016A (ja) * 2017-11-24 2021-02-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アレイ内光学的黒画素のためのクロストーク補償を有する感光撮像システムおよびデバイス

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5335327B2 (ja) 2008-08-29 2013-11-06 キヤノン株式会社 欠陥検出補正装置及び欠陥検出補正方法
JP5397068B2 (ja) * 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
JP5379664B2 (ja) * 2009-12-11 2013-12-25 キヤノン株式会社 画像表示装置およびその制御方法
JP5627275B2 (ja) 2010-04-21 2014-11-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6110154B2 (ja) * 2013-02-13 2017-04-05 浜松ホトニクス株式会社 固体撮像装置及び固体撮像装置の製造方法
KR102072359B1 (ko) 2013-02-27 2020-02-03 삼성전자 주식회사 이미지 센서
EP2962451A1 (en) * 2013-02-28 2016-01-06 Raytheon Company Method and apparatus for gain and level correction of multi-tap ccd cameras
EP3481055B1 (en) * 2013-10-02 2022-07-13 Nikon Corporation Imaging element and imaging apparatus
US10267890B2 (en) * 2014-06-26 2019-04-23 Nantong Schmidt Opto-Electrical Technology Co. Ltd. Apparatus and methods for time-lapse astrophotography
US10026771B1 (en) 2014-09-30 2018-07-17 Apple Inc. Image sensor with a cross-wafer capacitor
US10205898B2 (en) * 2014-10-14 2019-02-12 Apple Inc. Minimizing a data pedestal level in an image sensor
US9560294B2 (en) * 2014-12-10 2017-01-31 Semiconductor Components Industries, Llc Systems and methods for pixel-level dark current compensation in image sensors
US10136086B2 (en) * 2015-11-12 2018-11-20 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
US10267928B2 (en) * 2015-11-26 2019-04-23 Koninklijke Philips N.V. Dark current compensation
JP2017183658A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、撮像装置、および電子機器
KR102351950B1 (ko) * 2017-06-30 2022-01-18 삼성전자주식회사 이미지 신호 프로세서를 포함하는 전자 장치
CN107465874B (zh) * 2017-09-07 2019-05-17 维沃移动通信有限公司 一种暗电流处理方法及移动终端
US11073712B2 (en) 2018-04-10 2021-07-27 Apple Inc. Electronic device display for through-display imaging
DE102019112626A1 (de) * 2019-05-14 2020-11-19 Leica Camera Aktiengesellschaft Verfahren zum Erzeugen eines Bildsignals
CN110545388B (zh) * 2019-08-28 2022-04-01 上海集成电路研发中心有限公司 一种去除图像暗电流的装置和方法
US11619857B2 (en) 2021-05-25 2023-04-04 Apple Inc. Electrically-tunable optical filter
CN113301222B (zh) * 2021-05-28 2022-09-30 东莞市小精灵教育软件有限公司 一种成像校正方法及装置、智能终端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2880026B2 (ja) 1992-08-28 1999-04-05 富士写真フイルム株式会社 Ccd撮像装置とその駆動方法
JP2001186419A (ja) * 1999-12-24 2001-07-06 Nec Corp イメージセンサ及び画素読出し方法
JP4655383B2 (ja) * 2001-02-23 2011-03-23 ソニー株式会社 イメージセンサの画像信号処理装置
JP3956719B2 (ja) * 2002-02-26 2007-08-08 日本ビクター株式会社 撮像装置
JP3937870B2 (ja) * 2002-02-27 2007-06-27 日本ビクター株式会社 撮像装置
US7218351B2 (en) * 2002-04-05 2007-05-15 Victor Company Of Japan, Limited Image-sensing apparatus for compensating video signal of a plurality of channels
JPWO2005004467A1 (ja) * 2003-07-01 2006-08-17 株式会社ニコン 電子カメラの映像信号補正装置
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
JP2005130331A (ja) 2003-10-27 2005-05-19 Victor Co Of Japan Ltd 撮像信号補正回路
JP3890333B2 (ja) 2004-02-06 2007-03-07 キヤノン株式会社 固体撮像装置
JP4264381B2 (ja) * 2004-04-30 2009-05-13 株式会社モリタ製作所 固体撮像素子の2次元画像処理方法及び医療用デジタルx線撮影装置
JP4379230B2 (ja) 2004-07-07 2009-12-09 ソニー株式会社 固体撮像素子装置及び信号処理方法
JP4410168B2 (ja) 2005-07-15 2010-02-03 三菱電機株式会社 画像処理装置
JP4468276B2 (ja) * 2005-09-30 2010-05-26 富士フイルム株式会社 ディジタルカメラ
JP4420004B2 (ja) 2006-09-29 2010-02-24 日本ビクター株式会社 撮像装置
JP5161706B2 (ja) * 2008-08-27 2013-03-13 キヤノン株式会社 撮像装置及びその制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349762B2 (en) 2012-07-13 2016-05-24 Samsung Electronics Co., Ltd. Pixel array, image sensor including the same, and method of compensating for local dark current
JP2016058771A (ja) * 2014-09-05 2016-04-21 リコーイメージング株式会社 撮像装置および撮像方法
JP2017183659A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、撮像装置、および電子機器
US11102434B2 (en) 2016-03-31 2021-08-24 Sony Corporation Synchronized solid-state imaging element, imaging device, and electronic device
US11431935B2 (en) 2016-03-31 2022-08-30 Sony Corporation Synchronized solid-state imaging element, imaging device, and electronic device
JP2021505016A (ja) * 2017-11-24 2021-02-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アレイ内光学的黒画素のためのクロストーク補償を有する感光撮像システムおよびデバイス
JP7052040B2 (ja) 2017-11-24 2022-04-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アレイ内光学的黒画素のためのクロストーク補償を有する感光撮像システムおよびデバイス

Also Published As

Publication number Publication date
CN101350886B (zh) 2012-04-18
TW200908720A (en) 2009-02-16
TWI379589B (en) 2012-12-11
KR20090008139A (ko) 2009-01-21
US8111306B2 (en) 2012-02-07
JP4462299B2 (ja) 2010-05-12
US20090021606A1 (en) 2009-01-22
CN101350886A (zh) 2009-01-21

Similar Documents

Publication Publication Date Title
JP4462299B2 (ja) 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009027220A5 (ja)
JP2009033321A (ja) 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP4640338B2 (ja) 撮像装置、撮像結果の処理方法及び集積回路
US8405744B2 (en) Image-capturing apparatus, image-capturing method, and program
JP5979961B2 (ja) 焦点検出装置、焦点検出方法及び撮像装置
JP5541718B2 (ja) 撮像装置及びその欠陥画素検出方法
JP5523065B2 (ja) 撮像装置及びその制御方法
JP5900194B2 (ja) 信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器
JP3854754B2 (ja) 撮像装置、画像処理装置及びその方法、並びにメモリ媒体
JP6351271B2 (ja) 画像合成装置、画像合成方法、およびプログラム
US8970747B2 (en) Imaging device
JPH11239298A (ja) 電子カメラ、画素信号補正方法及び記録媒体
JP6529109B2 (ja) 撮像装置、画像処理方法
JP5996418B2 (ja) 撮像装置および撮像方法
JP3839429B2 (ja) 撮像処理装置
JP3767188B2 (ja) 電子カメラ及び信号補正方法
JP5299159B2 (ja) 撮像装置およびプログラム
JP2006074172A (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
JP5371470B2 (ja) 画像処理装置及び画像処理方法
CN108496360B (zh) 图像处理装置、图像处理方法和记录了程序的介质
JP2010178384A (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
JP2010166479A (ja) 撮像装置及び撮像画像の補正方法
JP4481764B2 (ja) 撮像素子から出力される信号の補正方法およびそれを用いた画像処理装置
JP2003348456A (ja) デジタルスチルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees