JP2008236271A - ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置 - Google Patents

ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置 Download PDF

Info

Publication number
JP2008236271A
JP2008236271A JP2007071699A JP2007071699A JP2008236271A JP 2008236271 A JP2008236271 A JP 2008236271A JP 2007071699 A JP2007071699 A JP 2007071699A JP 2007071699 A JP2007071699 A JP 2007071699A JP 2008236271 A JP2008236271 A JP 2008236271A
Authority
JP
Japan
Prior art keywords
signal
streaking
level
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007071699A
Other languages
English (en)
Other versions
JP4329833B2 (ja
Inventor
Yukihiro Kinoshita
幸裕 木下
Kazunari Takahashi
和成 高橋
Manabu Hara
学 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007071699A priority Critical patent/JP4329833B2/ja
Priority to US12/074,476 priority patent/US7982785B2/en
Priority to EP08250958A priority patent/EP1973337B1/en
Priority to KR1020080025282A priority patent/KR20080085753A/ko
Priority to CN2008100841092A priority patent/CN101272453B/zh
Publication of JP2008236271A publication Critical patent/JP2008236271A/ja
Application granted granted Critical
Publication of JP4329833B2 publication Critical patent/JP4329833B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Endoscopes (AREA)

Abstract

【課題】ストリーキングのリアルタイム補正を可能とする。
【解決手段】遮光部波形検出部130は、イメージセンサの水平遮光部の出力信号を用いて当該水平遮光部の波形、つまり、当該水平遮光部における各ラインの信号レベルを求める。黒レベル検出部140は、イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する。減算部150は、水平遮光部における各ラインの信号レベルから黒レベルを減算して、各ラインのストリーキング補正信号Rst′を求める。コアリング部160は、各ラインのストリーキング補正信号Rst′に対してコアリング処理を施し、各ラインの最終的なストリーキング補正信号Rst″を得る。イメージセンサの遮光部の出力信号のみを用いてストリーキング補正信号を生成するため、有効画素部を遮光することなくストリーキング補正信号をリアルタイムで得ることができる。
【選択図】図4

Description

この発明は、例えば、CCD(ChargeCoupled Device)イメージセンサ、CMOS(Complementary Metal OxideSemiconductor)イメージセンサ等を用いて構成される固体撮像装置に適用して好適なストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置に関する。
詳しくは、この発明は、イメージセンサの水平遮光部の出力信号を用いて、各ラインの水平遮光部の信号レベルを求めると共に、イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出し、各ラインの水平遮光部の信号レベルから黒レベルを減算して各ラインのストリーキング補正信号を求めることにより、ストリーキングのリアルタイム補正が可能となるようにしたストリーキング補正信号生成回路等に係るものである。
従来、撮像装置として、例えCCDイメージセンサ、CMOSイメージセンサ等を用いて構成される固体撮像装置が知られている。この固体撮像装置で、高輝度な被写体を撮像した場合、撮像画像に水平方向に縞状のストリーキングが生じる。
例えば、特許文献2には、画素部を遮光したときと受光したときの直流レベルの差を補正することでストリーキング補正を行うことが記載されている。
特開2005−130331号公報
上述の特許文献1に記載される技術では、ストリーキング補正信号を得る際に受光部を遮光する必要があり、ストリーキングをリアルタイムで検出できず、従って、ストリーキングをリアルタイムで補正できない。また、撮影中にたびたび受光部を遮光することは、露光時間の損失につながり、また、映像信号の取得が非効率になる。
この発明の目的は、ストリーキングのリアルタイム補正を可能とすることにある。
この発明の概念は、
水平遮光部および垂直遮光部を持つイメージセンサと、
上記イメージセンサの出力信号に基づいて、各ラインのストリーキング補正信号を生成するストリーキング補正信号生成回路と、
上記イメージセンサの各ライン出力信号から、上記ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号を減算して、ストリーキング補正された出力信号を得る減算器とを備える撮像装置において、
上記ストリーキング補正信号生成回路は、
上記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
上記遮光部波形検出部で求められた水平遮光部における各ラインの信号レベルから上記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部とを有する
ことを特徴とする撮像装置にある。
この発明において、イメージセンサは水平遮光部および垂直遮光部を持っている。ストリーキング補正信号生成回路では、イメージセンサの出力信号に基づいて、各ラインのストリーキング補正信号が生成される。つまり、遮光部波形検出部では、イメージセンサの水平遮光部の出力信号が用いられ、各ラインの水平遮光部の信号レベルを求められる。また、黒レベル検出部では、イメージセンサの垂直遮光部の出力信号を用いて黒レベルが検出される。そして、減算部では、各ラインの水平遮光部の信号レベルから黒レベルが減算されて、各ラインのストリーキング補正信号が求められる。
この発明において、遮光部波形検出部は、例えば、ライン毎に水平遮光部を構成する各画素の値の平均値を求める平均値算出部と、この平均値算出部で求められる各ラインの画素平均値を時間方向に平均化するデジタルフィルタと、このデジタルフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するε(イプシロン)フィルタと、このεフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するメディアンフィルタとを有し、メディアンフィルタから各ラインの水平遮光部の信号レベルを得るようにされてもよい。
この場合、平均値算出部およびデジタルフィルタにより、水平方向の空間的、かつ時間的なランダムノイズが軽減される。また、εフィルタおよびメディアンフィルタにより、垂直方向の空間的なランダムノイズが軽減されると共にインパルス的なノイズが軽減される。
この発明において、例えば、ストリーキング補正信号生成回路は、減算部で求められた各ラインのストリーキング補正信号に対してコアリング処理を施すコアリング部をさらに有するようにされてもよい。このコアリング処理により、エッジ成分を残し、微小なノイズを取り除くことが可能となる。
この発明において、例えば、ストリーキング補正信号生成回路は、イメージセンサの出力信号の最下位ビット以下に所定数のビットを追加して処理を行うようにされてもよい。この場合、イメージセンサの出力信号の最下位ビット以下のレベルのストリーキング成分に対応したストリーキング補正信号の生成が可能となる。
この発明において、黒レベル検出部は、例えば、垂直遮光部を構成する各画素の値の平均値を求める平均値算出部と、この平均値算出部で求められる画素平均値を時間方向に平均化するデジタルフィルタとを有し、デジタルフィルタから黒レベルを得るようにされてもよい。この場合、平均値算出部およびデジタルフィルタにより、空間的、かつ時間的なランダムノイズが軽減される。また、垂直遮光部を構成する各画素の値から黒レベルを検出するものであり、受光部の状態に影響されることなく、黒レベルを安定して検出できる。
このようにストリーキング補正信号生成回路ではイメージセンサの遮光部(水平遮光部、垂直遮光部)の出力信号のみを用いてストリーキング補正信号が生成されるものであり、イメージセンサの受光部を遮光することなくストリーキング補正信号をリアルタイムで得ることができ、ストリーキングのリアルタイム補正が可能となる。この場合、撮影中に受光部を度々遮光するということは必要なく、映像信号の取得効率の低下を招くことはない。
減算器では、イメージセンサの各ライン出力信号から、ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号が減算されて、ストリーキング補正された出力信号が得られる。この減算器と上述したストリーキング補正信号生成回路で、ストリーキング補正回路が構成される。このストリーキング補正回路では、ストリーキング補正信号生成回路で生成されたストリーキング補正信号を用いることで、ストリーキングのリアルタイム補正が行われる。
この発明において、ストリーキング補正回路は、例えば、イメージセンサの出力信号の信号レベルに対して補正ゲインを発生する補正ゲイン発生部と、ストリーキング補正信号生成部で生成されたストリーキング補正信号に補正ゲイン発生部で発生される補正ゲインを乗算する乗算部とをさらに備え、減算器は、イメージセンサの出力信号から乗算部により補正ゲインが乗算されたストリーキング補正信号を減算するようにされてもよい。画素部におけるストリーキング成分は、信号レベルに応じて変化する。上述したようにストリーキング補正信号に信号レベルに応じた補正ゲインを乗算して用いることにより、ストリーキング補正の精度を高めることができる。
この発明において、補正ゲイン発生部は、例えば、イメージセンサの出力信号のレベルを検出する信号レベル検出部と、この信号レベル検出部の検出レベルに対応した補正ゲインを出力するメモリとを有するようにされてもよい。この場合、何ら演算処理をすることなく、メモリから信号レベルに対応した補正ゲインを得ることが可能となる。また、補正ゲイン発生部は、例えば、イメージセンサの出力信号のレベルを検出する信号レベル検出部と、この信号レベル検出部の検出レベルを含むレベル範囲の両端の補正ゲインを出力するメモリと、信号レベル検出部の検出レベルおよびメモリから出力される両端の補正ゲインに基づいて、信号レベル検出部の検出レベルに対応した補正ゲインを求める演算部とを有するようにされてもよい。この場合、メモリの容量を節約することが可能となる。
この発明によれば、イメージセンサの水平遮光部の出力信号を用いて、各ラインの水平遮光部の信号レベルを求めると共に、イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出し、各ラインの水平遮光部の信号レベルから黒レベルを減算して各ラインのストリーキング補正信号を求めるものであり、イメージセンサの受光部を遮光することなくストリーキング補正信号をリアルタイムで得ることができ、ストリーキングをリアルタイムで補正できる。
以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としての撮像装置100の構成例を示している。この撮像装置100は、3板式のカラー撮像装置である。この撮像装置100は、イメージセンサ101R,101G,101Bと、ビデオアンプ102R,102G,102Bと、A/D変換器103R,103
G,103Bと、補正回路104と、ゲイン調整回路105と、輝度調整回路106と、ガンマ補正回路107と、出力信号生成回路108とを有している。ここで、補正回路104、ゲイン調整回路105、輝度調整回路106、ガンマ補正回路107および出力信号生成回路108は、ビデオ処理部109を構成している。
イメージセンサ101R,101G,101Bは、それぞれ、赤、緑、青の各画像用のイメージセンサである。これらイメージセンサ101R,101G,101Bは、例えば、CCD、CMOS等のイメージセンサである。ビデオアンプ102R,102G,102Bは、それぞれ、イメージセンサ101R,101G,101Bから出力される赤、緑、青の撮像信号を適切なレベルに調節する。A/D変換器103R,103G,103Bは、それぞれ、ビデオアンプ102R,102G,102Bの出力信号をアナログ信号からデジタル信号に変換して、赤、緑、青の色データR,G,Bを出力する。
補正回路104は、A/D変換器103R,103G,103Bから出力される色データR,G,Bに対して、ストリーキング補正、欠陥補正等を行う。ゲイン調整回路105は、補正回路104で得られる各色データのゲインを調整し、ホワイトバランス調整、色調整等を行う。輝度調整回路106は、映像信号を規定の範囲内に納めるために、ゲイン調整回路105で得られる各色データに対して輝度圧縮を行う。
ガンマ補正回路107は、CRT(CathodeRay Tube)等のモニタガンマに対応させるために、ガンマ補正を行う。出力信号生成回路108は、ガンマ補正回路107で得られる赤、緑、青の色データを、最終的な映像出力形式に変換して出力する。例えば、出力信号生成回路108は、マトリクス回路を備え、赤、緑、青の色データを、輝度信号Y、赤色差信号Cr、青色差信号Cbの形式に変換して出力する。
図1に示す撮像装置100の動作を簡単に説明する。図示しない光学系により得られる被写体からの赤、緑、青の像光はそれぞれイメージセンサ101R,101G,101Bの撮像面に入射され、当該撮像面に赤、緑、青の各色画像が結像される。イメージセンサ101R,101G,101Bでは、上述したように撮像面に色画像が結像された状態で撮像処理が行われ、被写体に対応した赤、緑、青の色信号(撮像信号)が得られる。
イメージセンサ101R,101G,101Bで得られる赤、緑、青の各色信号は、ビデオアンプ102R,102G,102Bと、A/D変換器103R,103G,103Bとにより、適切なレベルに調節されて量子化される。そして、A/D変換器103R,103G,103Bから出力される赤、緑、青の色データR,G,Bはビデオ処理部109に供給される。
ビデオ処理部109では、赤、緑、青の色データR,G,Bに対して、補正回路104およびゲイン調整回路105により、ストリーキング補正、欠陥補正等の補正処理、ホワイトバランス調整、色調整等のゲイン調整処理が行われる。さらに、ビデオ処理回路109では、ゲイン調整回路105から出力される各色データに対して、輝度調整回路106およびガンマ補正回路107により、輝度圧縮、ガンマ補正等の処理が行われる。そして、ガンマ補正回路107で得られる各色データは出力信号生成回路108に供給されて最終的な映像信号出力形式(Y,Cr,Cb)に変換されて出力される。
上述したように補正回路104は、ストリーキング補正回路を含んでいる。ストリーキング補正回路をゲイン調整回路105以降の回路に含めることも考えられる。しかし、ゲイン調整された各色データからストリーキング成分を検出することは、誤検出につながり、ストリーキング補正に悪影響を及ぼすおそれがある。そのため、補正回路104にストリーキング補正回路を含める形態が最良である。
図2は、ストリーキング補正回路110の構成例を示している。この図2において、ストリーキング補正回路110は、赤、緑、青の補正信号生成回路111R,111G,111Bと、減算器112とを有している。このストリーキング補正回路110は、赤、緑、青の色データRin,Gin,Binを入力とし、ストリーキング補正された赤、緑、青の色データRout,Gout,Boutを出力する。
赤、緑、青の補正信号生成回路111R,111G,111Bは、それぞれ、入力される赤、緑、青の色データRin,Gin,Binに基づいて、赤、緑、青の各ラインのストリーキング補正信号Rst,Gst,Bstを生成する。減算器112は、入力される赤、緑、青の各ラインの色データRin,Gin,Binから、補正信号生成回路111R,111G,111Bで生成された赤、緑、青の各ラインのストリーキング補正信号Rst,Gst,Bstを減算し、ストリーキング補正された赤、緑、青の色データRout,Gout,Boutを出力する。
図2に示すストリーキング補正回路104の動作を説明する。入力される赤、緑、青の色データRin,Gin,Binは、それぞれ、赤、緑、青の補正信号生成回路111R,111G,111Bに供給されると共に、減算器112に供給される。赤、緑、青の補正信号生成回路111Rでは、それぞれ、赤、緑、青の色データRin,Gin,Binが処理されて、赤、緑、青の各ラインのストリーキング補正信号Rst,Gst,Bstが生成される。
赤、緑、青の補正信号生成回路111R,111G,111Bで生成された赤、緑、青のストリーキング補正信号Rst,Gst,Bstは減算器112に供給される。減算器112では、赤、緑、青の各ラインの色データRin,Gin,Binから赤、緑、青の各ラインのストリーキング補正信号Rst,Gst,Bstが減算され、ストリーキング補正された赤、緑、青の色データRout,Gout,Boutが得られる。
赤、緑、青の補正信号生成回路111R,111G,111Bの具体的な構成例について説明する。赤、緑、青の補正信号生成回路111R,111G,111Bは同様に構成されていることから、ここでは、赤補正信号生成回路111Rの構成例のみを説明する。赤補正信号生成回路111Rは、図2に示すように、補正信号生成部121と、信号レベル検出部122と、補正ゲイン生成部123と、乗算部124とを有している。
補正信号生成部121は、入力される赤色データRinに基づいて、各ラインのストリーキング補正信号Sstを生成する。この補正信号生成部121は、イメージセンサ101Rの水平遮光部(HOPB:Horizontal OPtical Black)および垂直遮光部(VOPB:VerticalOPtical Black)の出力信号を用いて、各ラインのストリーキング補正信号Sst″を生成する。
図3(a)は、イメージセンサ101Rの構造とストリーキングの発生例を示している。イメージセンサ101Rは、例えば、水平方向に2200画素、垂直方向に1125画素(1125ライン)を備えた構成となっている。そして、このイメージセンサ101Rは、水平方向に例えば36画素分の水平遮光部(HOPB)201と、垂直方向に例えば10〜20画素分の垂直遮光部(VOPB)202と、その他の受光部203とから構成されている。例えば、このイメージセンサ101Rで高輝度の被写体、例えば光源204を撮像した場合、水平方向に縞状のストリーキング205が発生する。
図4は、補正信号生成部121の構成例を示している。この補正信号生成部121は、遮光部波形検出部130と、黒レベル検出部140と、減算部150と、コアリング部160とを有している。
遮光部波形検出部130は、イメージセンサ101Rの水平遮光部201の出力信号を用いて、図3(b)に示すような、当該水平遮光部201の波形、つまり、当該水平遮光部201における各ラインの信号レベルを求める。この遮光部波形検出部130は、図4に示すように、平均値算出部131と、デジタルフィルタとしてのIIR(Infinite Impulse Response)フィルタ132と、ε(イプシロン)フィルタ133と、メディアンフィルタ134とが、この順に接続されて構成されている。
平均値算出部131は、ライン毎に、水平遮光部201を構成する各画素の値の平均値を求める。この平均値算出部131により水平方向の空間的なランダムノイズが軽減される。
IIRフィルタ132は、平均値算出部131で求められる各ラインの画素平均値を時間方向に平均化する。IIRフィルタは、現フレームの入力信号とそれ以前のフレームの出力信号をフィードバックループによって用いるフィルタである。このIIRフィルタ132により時間的なランダムノイズが軽減される。なお、IIRフィルタ132の代わりに、FIR(Finite Impulse Response)フィルタ等のその他のデジタルフィルタを用いることもできる。
図5は、IIRフィルタ132の構成例を示している。この図5において、IIRフィルタ132は、減算器132a、乗算器132b、加算器132c,132eおよび遅延器132dにより構成されている。つまり、入力信号Sinは減算器132aおよび加算器132cに供給される。また。減算器132aの出力信号は乗算器132bに供給され、係数が乗算される。係数によって、現フレームから何フレーム前までの出力信号を用いるかを調節できる。乗算器132bの出力信号は加算器132cに供給され、上述した入力信号Sinに加算される。
この加算器132cの出力信号は加算器132eおよび遅延器132dに供給される。遅延器132dは、1フレームの遅延時間を持っている。この遅延器132dの出力信号は加算器132eにおいて上述した加算器132cの出力信号に加算されて、出力信号Soutが得られる。また、遅延器132dの出力信号は減算器132aに供給され、入力信号Sinから減算される。
上述のIIRフィルタ132により時間的なランダムノイズが軽減される。なお、IIRフィルタ132の代わりに、FIR(Finite Impulse Response)フィルタ等のその他のデジタルフィルタを用いることもできる。
εフィルタ133は、小振幅なノイズを除去するための非線形フィルタである。このεフィルタ133は、IIRフィルタ132から出力される各ラインの画素平均値に対して、垂直方向に適用される。このεフィルタ133により垂直方向のランダムノイズが軽減される。
ここで、εフィルタ132の概要を説明する。図6(A)において、フィルタ長5(フィルタ係数は全て1)のフィルタを信号(画素平均値)P3に適用する場合を考える。フィルタ処理の対象となる信号P3の前後に存在する信号P1,P2,P4,P5の中で、信号P4は信号P3との差が閾値ΔE以上である。そのため、この信号P4を、図6(B)のように、信号P3と同じ値(信号P4′)に置き換えて、フィルタを適用する。
つまり、図6(C)のように、
N_P3 = (P1 + P2 + P3 +P4’(=P3) + P5)/5 = (1 + 4 + 3 + 3 + 2)/5 = 2.6
となる。
以上のようなフィルタを適用すると、図7に示すように、処理前の信号P1,P2,P3,P4,P5,・・・は、処理前の信号N_P1,N_P2,N_P3,N_P4,N_P5,・・・のように変わり、急峻に値が変化しない箇所のばらつきが抑えられる。つまり、εフィルタ133により、垂直方向の空間的なランダムノイズが軽減される。
メディアン(中央値)フィルタ134は、εフィルタ133から出力される各ラインの画素平均値に対して、垂直方向に適用される。このメディアンフィルタ134は、対象信号を中心とした奇数個の値を大きさ順に並べ替え、中央の値をとるフィルタである。このメディアンフィルタ134により、インパルス的なノイズ(例えば、図7の信号N_P4)が除去される。このメディアンフィルタ134から、上述した水平遮光部201における各ラインの信号レベル(水平遮光部201の波形)が得られる。
なお、図示していないが、IIRフィルタ132の係数、εフィルタ133の閾値ΔEは、リアルタイム性とノイズ除去とのトレードオフを考慮して外部から調整可能とされる。また、ノイズ量が小さいときは、リアルタイム性を重視し、空間フィルタのみを適用する等、ノイズ量に応じて回路構成が変更されるようにしてもよい。
図4に戻って、黒レベル検出部140は、イメージセンサ101Rの垂直遮光部202の出力信号を用いて黒レベルを検出する。図3に示すように、撮影中の水平遮光部201にはストリーキングが乗ってくるため、当該水平遮光部201の出力信号からは黒レベルを精度よく検出することができない。そのため、黒レベル検出部140では、上述したように垂直遮光部202の出力信号を用いて黒レベルを検出する。
この黒レベル検出部122は、図4に示すように、平均値算出部141と、デジタルフィルタとしてのIIRフィルタ142とが、この順に接続されて構成されている。黒レベル検出部140では、IIRフィルタ142を時間軸方向に適用することで、ノイズの影響を最小限に抑えながら、リアルタイム性が保持されるようにしている。
平均値算出部141は、垂直遮光部202を構成する各画素の値の平均値を求める。この平均値算出部141により水平方向および垂直方向の空間的なランダムノイズが軽減される。
IIRフィルタ142は、平均値算出部141で求められる画素平均値を時間方向に平均化する。IIRフィルタは、現フレームの入力信号とそれ以前のフレームの出力信号をフィードバックループによって用いるフィルタである(図5参照)。このIIRフィルタ142により時間的なランダムノイズが軽減される。なお、IIRフィルタ142の代わりに、FIR(Finite Impulse Response)フィルタ等のその他のデジタルフィルタを用いることもできる。このIIRフィルタ142から上述した黒レベルが得られる。
減算部150は、遮光部波形検出部130で求められた水平遮光部201における各ラインの信号レベルから、黒レベル検出部140で検出された黒レベルを減算して、各ラインのストリーキング補正信号Rst′、つまり各ラインのストリーキング成分を求める(図3(b)参照)。
コアリング部160は、減算部150で得られる各ラインのストリーキング補正信号Rst′に対してコアリング処理を施し、各ラインの最終的なストリーキング補正信号Rst″を出力する。コアリング部160は、εフィルタ161と、減算器162と、コアリング処理部163と、加算器164とを有している。
εフィルタ161は、小振幅なノイズを除去するための非線形フィルタである。このεフィルタ161は、上述した遮光部波形検出部130のεフィルタ133と同様に構成されている(図6、図7参照)。このεフィルタ161は、減算部150から出力される各ラインのストリーキング補正信号Rst′に対して、垂直方向に適用される。
減算器162は、減算部150で得られる各ラインのストリーキング補正信号から、εフィルタ161により生成された対応する信号を減算して、高周波成分Linを抽出する。例えば、あるラインのストリーキング補正信号から減算される信号は、εフィルタ161において、当該あるラインのストリーキング補正信号とその前後の所定個数のラインのストリーキング補正信号を用いて、生成された信号となる。
コアリング処理部163は、減算器162で得られる各ラインの高周波成分Linに対して、コアリング処理を行う。すなわち、コアリング処理部163は、入力信号Linの絶対値と、予め設定されているコアリングレベルとの大小を比較し、コアリングレベルより入力信号Linの絶対値の方が大きい場合には、入力信号Linをそのまま出力信号Loutとし、一方、入力信号Linの絶対値よりコアリングレベルの方が大きい場合には、出力信号Loutを0とする。つまり、このコアリング処理部163におけるコアリング処理は、エッジ等の比較的信号レベルの大きな成分は残し、それ以外の小さい信号レベルの成分は除くという処理である。
図8のフローチャートは、コアリング処理部163における、N番目のラインに対応したコアリング処理の手順を示している。
まず、コアリング処理部163は、ステップST1において、処理を開始し、その後に、ステップST2に移る。このステップST2において、コアリング処理部163は、N番目の入力信号Linの絶対値を計算する。そして、コアリング処理部163は、ステップST3において、ステップST2で得られる絶対値がコアリングレベルより大きいか否かを判定する。絶対値がコアリングレベルより大きいとき、コアリング処理部163は、ステップST4において、出力信号Loutとして入力信号Linをそのまま出力し、その後に、ステップST5において、処理を終了する。一方、ステップST3で、絶対値がコアリングレベルより大きくないとき、コアリング処理部163は、ステップST6において、出力信号Loutとして0を出力し、その後に、ステップST5において、処理を終了する。
加算器164は、εフィルタ161から出力される各ラインの信号に、コアリング処理部163の出力信号Loutを加算し、εフィルタ161の通過時に取り除かれた高周波成分の足し戻しを行う。この加算器164から出力される各ラインの信号が、各ラインの最終的なストリーキング補正信号Rst″となる。コアリング部160では、コアリング処理部163におけるコアリングレベルを調節することで、エッジ成分を残しつつ、微小なノイズを取り除くことができる。
なお、上述した遮光部波形検出部130、黒レベル検出部140、減算部150およびコアリング部160からなる補正信号生成部121においては、イメージセンサ101Rの出力信号、つまりA/D変換器103Rで得られる赤色データRinの最下位ビット(LSB)以下に所定数のビットが用意されて、処理が行われる。例えば、図9に示すように、イメージセンサ101Rの出力信号が12ビットの場合、補正信号生成部121では、イメージセンサ101Rの出力信号のLSB以下にさらに4ビットが追加(付加)されて演算が行われる。これにより、補正信号生成部121では、IIRフィルタ演算等で発生するLSB以下の成分の切り捨てを回避でき、LSB以下のレベルのストリーキング成分に対応したストリーキング補正信号の生成が可能となる。
図4に示す補正信号生成部121の動作を説明する。
イメージセンサ101Rの出力信号Rinは、遮光部波形検出部130の平均値算出部131に供給される。この平均値算出部131では、ライン毎に、イメージセンサ101Rの水平遮光部201を構成する各画素の値の平均値が算出される。そして、この平均値算出部131で算出された各ラインの画素平均値は、IIRフィルタ132、εフィルタ133およびメディアンフィルタ134を通される。メディアンフィルタ134からは、遮光部波形検出部130の出力として、時間的および空間的なランダムノイズが軽減され、さらに、インパルス的なノイズが除去された、水平遮光部201における各ラインの信号レベル(水平遮光部201の波形)が得られる。
また、イメージセンサ101Rの出力信号Rinは、黒レベル検出部140の平均値算出部141に供給される。この平均値算出部141では、イメージセンサ101Rの垂直遮光部202を構成する各画素の値の平均値が求められる。この平均値算出部141で算出された黒レベルはIIRフィルタ142を通される。IIRフィルタ142からは、黒レベル検出部140の出力として、時間的および空間的なランダムノイズが軽減された黒レベルが得られる。
遮光部波形検出部130で求められた水平遮光部201における各ラインの信号レベルは減算部150に供給される。また、黒レベル検出部140で求められた黒レベルは減算部150に供給される。この減算部150では、水平遮光部201における各ラインの信号レベルから黒レベルが減算されて、各ラインのストリーキング補正信号(各ラインのストリーキング成分)Rst′が得られる。
このように減算部150で得られる各ラインのストリーキング補正信号Rst′は、コアリング部160に供給される。すなわち、各ラインのストリーキング補正信号Rst′は、εフィルタ161および減算器162に供給される。εフィルタ161からは、各ラインのストリーキング補正信号Rst′に対応して、高周波成分の取り除かれた信号が得られる。εフィルタ161の出力信号は、減算器162および加算器164に供給される。
減算器162では、各ラインのストリーキング補正信号Rst′から、εフィルタ161の出力信号が減算されて、高周波成分Linが抽出される。この高周波成分Linはコアリング処理部163に供給される。コアリング処理部163では、入力信号Linの絶対値と、予め設定されているコアリングレベルとの大小が比較され、コアリングレベルより入力信号Linの絶対値の方が大きい場合には、入力信号Linがそのまま出力信号Loutとされ、一方、入力信号Linの絶対値よりコアリングレベルの方が大きい場合には、出力信号Loutが0とされる。
このコアリング処理部163の出力信号Loutは加算器164に供給される。加算器164では、εフィルタ161から出力される各ラインの信号に、コアリング処理部163の出力信号Loutが加算され、εフィルタ161の通過時に取り除かれた高周波成分の足し戻しが行われる。加算器164からは、コアリング部160の出力、さらには補正信号生成部121の出力として、エッジ成分を残しつつ、微小なノイズが取り除かれた、各ラインの最終的なストリーキング補正信号Rst″が得られる。
図2に戻って、信号レベル検出部122および補正ゲイン生成部123は、補正ゲイン発生部を構成している。ストリーキング成分は、赤色データRinのレベル(信号レベル)や温度の変化により、水平遮光部201で検出されるレベルと、受光部203で検出されるレベルが必ずしも一致しないことがある。図10は、受光部203で検出されるストリーキング量と水平遮光部201で検出されるストリーキング量とのレベル比(ストリーキング比)と信号レベルとの関係の一例を示している。
赤補正信号生成回路111Rでは、上述の補正信号生成部121で生成されたストリーキング補正信号Rst″に対して、信号レベル検出部122および補正ゲイン生成部123により発生される補正ゲインGrを乗算することで、ストリーキング補正信号Rstを得るようにしている。
信号レベル検出部122は、入力される赤色データRinのレベル(信号レベルLdet)を、画素毎に、検出する。この信号レベル検出部122において、例えば、検出対象の画素とその水平方向に隣接する画素に対してεフィルタを適用することによって、インパルス信号の影響を抑えつつ、精度よく信号レベルLdetを検出できる。補正ゲイン生成部123は、信号レベル検出部122で検出された信号レベルLdetに対応した補正ゲインGrを生成する。
例えば、補正ゲイン生成部123は、図11(a)に示すように、ルックアップテーブルを構成するメモリ123aにより構成される。この場合、メモリ123aには、各信号レベルに対応した補正ゲイン(ストリーキング比)が記憶されている。メモリ123aに信号レベルLdetが入力されるとき、当該メモリ123aからは信号レベルLdetに対応した補正ゲインGrが読み出されて出力される。このように補正ゲイン生成部123をメモリ123aのみで構成する場合には、何ら演算処理をすることなく、補正ゲインを容易に取得できる。
また、例えば、補正ゲイン生成部123は、図11(b)に示すように、ルックアップテーブルを構成するメモリ123bおよび演算部123cにより構成される。この場合、メモリ123bには、図12に黒丸で示すような離散的な信号レベルに対応した、図12に白丸で示すような補正ゲイン(ストリーキング比)が記憶されている。メモリ123aに信号レベルLdetが入力されるとき、当該メモリ123aからは信号レベルLdeを含むレベル範囲の両端の補正ゲインGL,GHが読み出されて出力される。演算部123cでは、メモリ123bからの補正ゲインGL,GHと信号レベルLdetを用いて、例えば、線形補間演算が行われて、信号レベルLdetに対応した補正ゲインGrが生成されて出力される。このように補正ゲイン生成部123をメモリ123bおよび演算部123cで構成する場合には、メモリ123bの容量を節約できる。
乗算部124は、上述したように補正信号生成部121で生成されたストリーキング補正信号Rst″に、補正ゲイン生成部123で得られる信号レベルに対応した補正ゲイン(ストリーキング比)Grを乗算し、赤補正信号生成回路111Rの出力となるストリーキング補正信号Rstを生成する。
図2に示す赤補正信号生成回路111Rの動作を説明する。
イメージセンサ101Rの出力信号としての赤色データRinは、補正信号生成部121に供給される。この補正信号生成部121では、水平遮光部201および垂直遮光部202の出力信号を用いて、各ラインのストリーキング補正信号Sst″が生成される。このストリーキング補正信号Sst″は乗算部124に供給される。
また、イメージセンサ101Rの出力信号としての赤色データRinは、信号レベル検出部122に供給される。信号レベル検出部122では、入力される赤色データRinのレベル(信号レベルLdet)が、画素毎に、検出される。信号レベル検出部122で検出される信号レベルLdetは補正ゲイン生成部123に供給される。補正ゲイン生成部123では、信号レベルLdetに対応した補正ゲインGrが生成される。この補正ゲインGrは乗算部124に供給される。
乗算部124では、上述したように補正信号生成部121で生成されたストリーキング補正信号Rst″に、補正ゲイン生成部123で得られる信号レベルLdetに対応した補正ゲイン(ストリーキング比)Grが乗算され、赤補正信号生成回路111Rの出力となるストリーキング補正信号Rstが生成される。
図13のフローチャートは、図2に示すストリーキング補正回路110における、ストリーキング補正の処理手順をまとめて示したものである。
まず、補正回路110は、ステップST11において、処理を開始、その後に、ステップST12およびステップST13に進む。
補正回路110は、ステップST12において、イメージセンサ101Rの水平遮光部201の出力信号を用いて、水平遮光部201の波形、つまり、当該水平遮光部201における各ラインの信号レベルを求める。
ここで、ステップST12は、ステップST12a〜12cからなっている。補正回路110は、ステップST12aにおいて、ライン毎に、水平遮光部201を構成する各画素の値の平均値を求め、水平方向のランダムノイズを軽減する。(遮光部波形検出部130の平均値算出部131)。そして、補正回路110は、ステップST12bにおいて、各ラインの画素平均値に対して、時間軸方向にフィルタリングし、時間方向のランダムノイズを軽減する(遮光部波形検出部130のIIRフィルタ132)。さらに、補正回路110は、ステップST12cにおいて、各ラインの画素平均値に対して、空間軸方向にフィルタリングし、垂直方向の空間的なランダムノイズを軽減し、さらにインパルス的なノイズを除去する(遮光部波形検出部130のεフィルタ133およびメディアンフィルタ134)。
また、補正回路110は、ステップST13において、イメージセンサ101Rの垂直遮光部202の出力信号を用いて黒レベルを検出する。ステップST13は、ステップST13aおよびステップST13bからなっている。
補正回路110は、ステップST13aにおいて、垂直遮光部202を構成する各画素の値の平均値を求め、空間軸方向のランダムノイズを軽減する(黒レベル検出部140の平均値算出部141)。そして、補正回路110は、ステップST13bにおいて、画素平均値に対して、時間軸方向にフィルタリングし、時間軸方向のランダムノイズを軽減する(黒レベル検出部140のIIRフィルタ142)。
補正回路110は、上述のステップST12の処理およびステップST13の処理の後、ステップST14において、ストリーキング補正処理を行う。このステップST14は、ステップST14a〜14dからなっている。
補正回路110は、ステップST14aにおいて、ステップST12で得られた水平遮光部201における各ラインの信号レベルから、ステップST13で得られた黒レベルを減算して、各ラインのストリーキング補正信号(各ラインのストリーキング成分)Rst′を生成する(減算部150)。
そして、補正回路110は、ステップST14bにおいて、各ラインのストリーキング補正信号Rst′に対してコアリング処理をして、エッジ成分を残しつつ、微小なノイズを取り除いた、各ラインの最終的なストリーキング補正信号Rst″を生成する(コアリング部160)。
そして、補正回路110は、ステップST14cにおいて、信号レベルLdetに対応した補正ゲインGrを発生し(信号レベル検出部122、補正ゲイン生成部123)、各ラインのストリーキング補正信号Rst″に補正ゲインGrを乗算して、ゲイン調整されたストリーキング補正信号Rstを生成する(乗算部124)。
さらに、補正回路110は、ステップST14dにおいて、各ラインの赤色データRinから、それぞれ対応するストリーキング補正信号Rstを減算して、ストリーキング補正された赤色データRoutを得る(減算器112)。
なお、図13のフローチャートは、赤色データRinに対するストリーキング補正の処理手順を示したものであるが、ストリーキング補正回路110においては、緑色データGinおよび青色データBinに対しても同様の処理手順で、ストリーキング補正が行われる。
上述したように、図2に示すストリーキング補正回路110においては、イメージセンサ101R,101G,101Bの遮光部(水平遮光部201、垂直遮光部202)の出力信号のみを用いてストリーキング補正信号Rst,Gst,Bstが生成されるものであり、イメージセンサ101R,101G,101Bの受光部203を遮光することなくストリーキング補正信号をリアルタイムで得ることができ、ストリーキングのリアルタイム補正が可能となる。この場合、撮影中に受光部203を度々遮光するということは必要なく、映像信号の取得効率の低下を招くことはない。
また、図2に示すストリーキング補正回路110においては、補正信号生成部121で生成されたストリーキング補正信号Rst″に信号レベルLdetに応じた補正ゲインGrを乗算して調整されたストリーキング補正信号Rst,Gst,Bst用いるものであり、ストリーキング補正の精度を高めることができる。
また、図2に示すストリーキング補正回路110において、補正信号生成部121は、イメージセンサ101R,101G,101Bの出力信号の最下位ビット(LSB)以下に所定数のビットを追加して処理が行われるものであり、補正信号生成部121では、IIRフィルタ演算等で発生するLSB以下の成分の切り捨てを回避でき、LSB以下のレベルのストリーキング成分に対応したストリーキング補正信号Rst″の生成が可能となり、ストリーキング補正の精度をより高めることができる。
この発明は、ストリーキングのリアルタイム補正が可能となるものであり、例えば、CCDイメージセンサ、CMOSイメージセンサ等を用いて構成される撮像装置に適用できる。
実施の形態としての撮像装置の構成例を示すブロック図である。 ストリーキング補正回路の構成例を示すブロック図である。 イメージセンサの構造とストリーキングを示す図である。 補正信号生成部の構成例を示すブロック図である。 IIRフィルタの構成例を示すブロック図である。 εフィルタの動作概要を説明するための図である。 εフィルタの適用例を示す図である。 コアリング処理部におけるコアリング処理の手順を示すフローチャートである。 イメージセンサの出力信号のビット構成と補正信号生成部内でのビット構成とを比較して示す図である。 信号レベルとストリーキング比(受光部でのストリーキング量/HOPBでのストリーキング量)の対応関係の一例を示す図である。 補正ゲイン生成部の構成例を示すブロック図である。 離散的な信号レベルとストリーキング比(受光部でのストリーキング量/HOPBでのストリーキング量)の対応関係の一例を示す図である。 ストリーキング補正回路における、ストリーキング補正の処理手順をまとめて示すフローチャートである。
符号の説明
100・・・撮像装置、101R,101G,101B・・・イメージセンサ、102R,102G,102B・・・ビデオアンプ、103R,103G,103B・・・A/D変換器、104・・・補正回路、105・・・ゲイン調整回路、106・・・輝度調整回路、107・・・ガンマ補正回路、108・・・出力信号生成回路、109・・・ビデオ処理部、110・・・ストリーキング補正回路、111R・・・赤補正信号生成回路、111G・・・緑補正信号生成回路、111B・・・青補正信号生成回路、112・・・減算器、121・・・補正信号生成部、122・・・信号レベル検出部、123・・・補正ゲイン生成部、124・・・乗算部、130・・・遮光部波形検出部、131・・・平均値算出部、132・・・IIRフィルタ、133・・・εフィルタ、134・・・メディアンフィルタ、140・・・黒レベル検出部、141・・・平均値算出部、142・・・IIRフィルタ、150・・・減算部、160・・・コアリング部、161・・・εフィルタ、162・・・減算器、163・・・コアリング処理部、164・・・加算器、201・・・水平遮光部、202・・・垂直遮光部、203・・・受光部、204・・・光源、205・・・ストリーキング

Claims (12)

  1. イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
    上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
    上記遮光部波形検出部で求められた水平遮光部における各ラインの信号レベルから上記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部と
    を備えることを特徴とするストリーキング補正信号生成回路。
  2. 上記減算部で求められた各ラインのストリーキング補正信号に対してコアリング処理を施すコアリング部をさらに備える
    を備えることを特徴とする請求項1に記載のストリーキング補正信号生成回路。
  3. 上記遮光部波形検出部は、
    ライン毎に上記水平遮光部を構成する各画素の値の平均値を求める平均値算出部と、
    上記平均値算出部で求められる各ラインの画素平均値を時間方向に平均化するデジタルフィルタと、
    上記デジタルフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するεフィルタと、
    上記εフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するメディアンフィルタとを有し、
    上記メディアンフィルタから上記水平遮光部における各ラインの信号レベルを得る
    ことを特徴とする請求項1に記載のストリーキング補正信号生成回路。
  4. 上記遮光部波形検出部、上記黒レベル検出部および上記減算部は、上記イメージセンサの出力信号の最下位ビット以下に所定数のビットを追加して処理を行う
    ことを特徴とする請求項1に記載のストリーキング補正信号生成回路。
  5. 上記黒レベル検出部は、
    上記垂直遮光部を構成する各画素の値の平均値を求める平均値算出部と、
    上記平均値算出部で求められる画素平均値を時間方向に平均化するデジタルフィルタとを有し、
    上記デジタルフィルタから上記黒レベルを得る
    ことを特徴とする請求項1に記載のストリーキング補正信号生成回路。
  6. イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出ステップと、
    上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出ステップと、
    上記遮光部波形検出ステップで求められた上記水平遮光部における各ラインの信号レベルから上記黒レベル検出ステップで検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算ステップと
    を備えることを特徴とするストリーキング補正信号生成方法。
  7. コンピュータを、
    イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出手段と、
    上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出手段と、
    上記遮光部波形検出ステップで求められた上記水平遮光部における各ラインの信号レベルから上記黒レベル検出ステップで検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算手段と
    して機能させるためのプログラム。
  8. イメージセンサの出力信号に基づいて各ラインのストリーキング補正信号を生成するストリーキング補正信号生成部と、
    上記イメージセンサの各ライン出力信号から、上記ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号を減算して、ストリーキング補正された出力信号を得る減算器とを備え、
    上記ストリーキング補正信号生成部は、
    上記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出手段と、
    上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出手段と、
    上記遮光部波形検出手段で求められた水平遮光部における各ラインの信号レベルから上記黒レベル検出手段で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算手段とを有する
    ことを特徴とするストリーキング補正回路。
  9. 上記イメージセンサの出力信号の信号レベルに対して補正ゲインを発生する補正ゲイン発生部と、
    上記ストリーキング補正信号生成部で生成されたストリーキング補正信号に上記補正ゲイン発生部で発生される補正ゲインを乗算する乗算部とをさらに備え、
    上記減算器は、上記イメージセンサの出力信号から、上記乗算部により上記補正ゲインが乗算された上記ストリーキング補正信号を減算する
    ことを特徴とする請求項8に記載のストリーキング補正回路。
  10. 上記補正ゲイン発生部は、
    上記イメージセンサの出力信号のレベルを検出する信号レベル検出部と、
    上記信号レベル検出部の検出レベルに対応した補正ゲインを出力するメモリとを有する
    ことを特徴とする請求項9に記載のストリーキング補正回路。
  11. 上記補正ゲイン発生部は、
    上記イメージセンサの出力信号のレベルを検出する信号レベル検出部と、
    上記信号レベル検出部の検出レベルを含むレベル範囲の両端の補正ゲインを出力するメモリと、
    上記信号レベル検出部の検出レベルおよび上記メモリから出力される両端の補正ゲインに基づいて、上記信号レベル検出部の検出レベルに対応した補正ゲインを求める演算部とを有する
    ことを特徴とする請求項9に記載のストリーキング補正回路。
  12. 水平遮光部および垂直遮光部を持つイメージセンサと、
    上記イメージセンサの出力信号に基づいて、各ラインのストリーキング補正信号を生成するストリーキング補正信号生成回路と、
    上記イメージセンサの各ライン出力信号から、上記ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号を減算して、ストリーキング補正された出力信号を得る減算器とを備える撮像装置において、
    上記ストリーキング補正信号生成回路は、
    上記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
    上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
    上記遮光部波形検出部で求められた上記水平遮光部における各ラインの信号レベルから上記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部とを有する
    ことを特徴とする撮像装置。
JP2007071699A 2007-03-20 2007-03-20 ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置 Expired - Fee Related JP4329833B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007071699A JP4329833B2 (ja) 2007-03-20 2007-03-20 ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置
US12/074,476 US7982785B2 (en) 2007-03-20 2008-03-04 Streaking correction signal generating circuit, streaking correction signal generating method, program, streaking correcting circuit, and imaging device
EP08250958A EP1973337B1 (en) 2007-03-20 2008-03-19 Streaking correction and imaging
KR1020080025282A KR20080085753A (ko) 2007-03-20 2008-03-19 스트리킹 보정 신호 생성 회로, 스트리킹 보정 신호 생성방법, 프로그램, 스트리킹 보정 회로 및 촬상 장치
CN2008100841092A CN101272453B (zh) 2007-03-20 2008-03-20 拖尾校正信号发生电路、方法、拖尾校正电路和成像器件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007071699A JP4329833B2 (ja) 2007-03-20 2007-03-20 ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置

Publications (2)

Publication Number Publication Date
JP2008236271A true JP2008236271A (ja) 2008-10-02
JP4329833B2 JP4329833B2 (ja) 2009-09-09

Family

ID=39591003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007071699A Expired - Fee Related JP4329833B2 (ja) 2007-03-20 2007-03-20 ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置

Country Status (5)

Country Link
US (1) US7982785B2 (ja)
EP (1) EP1973337B1 (ja)
JP (1) JP4329833B2 (ja)
KR (1) KR20080085753A (ja)
CN (1) CN101272453B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183188A (ja) * 2009-02-03 2010-08-19 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010193296A (ja) * 2009-02-19 2010-09-02 Nikon Corp 撮像装置及び補正量算出プログラム
CN102685375A (zh) * 2011-03-02 2012-09-19 佳能株式会社 摄像设备及其控制方法
JP2016163207A (ja) * 2015-03-03 2016-09-05 株式会社Jvcケンウッド 画像処理装置
WO2019216029A1 (ja) * 2018-05-08 2019-11-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器および駆動方法
US11463638B2 (en) 2018-07-27 2022-10-04 Sony Semiconductor Solutions Corporation Streaking correction circuit, imaging apparatus, and electronic equipment

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI449412B (zh) * 2009-05-27 2014-08-11 Altek Corp 影像資料補正方法
JP2011019135A (ja) * 2009-07-09 2011-01-27 Sony Corp 画像受信装置、画像受信方法および画像送信装置
JP5322816B2 (ja) * 2009-07-15 2013-10-23 キヤノン株式会社 撮像装置およびその制御方法
US20110069204A1 (en) * 2009-09-23 2011-03-24 Zoran Corporation Method and apparatus for image correction
JP5632703B2 (ja) 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5631153B2 (ja) * 2010-10-21 2014-11-26 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP5871496B2 (ja) * 2011-06-24 2016-03-01 キヤノン株式会社 撮像装置及びその駆動方法
CN102752607B (zh) * 2011-11-30 2016-06-22 新奥特(北京)视频技术有限公司 一种实现图像移动时拖尾特效的方法和装置
JP2015032842A (ja) * 2013-07-31 2015-02-16 ソニー株式会社 固体撮像素子、撮像装置、および補正方法
JP2015082732A (ja) 2013-10-22 2015-04-27 株式会社東芝 固体撮像装置
CN107669289B (zh) * 2017-11-07 2020-09-11 上海联影医疗科技有限公司 焦点拖尾校正装置、方法、成像方法及计算机可读媒质
CN111713097A (zh) * 2019-04-22 2020-09-25 深圳市大疆创新科技有限公司 图像数据处理方法、传输方法、传输装置及数据接口转换装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767038A (ja) 1993-08-24 1995-03-10 Sony Corp 固体撮像装置
JP3808349B2 (ja) 2001-01-12 2006-08-09 三菱電機株式会社 黒レベル補正装置
US7218351B2 (en) * 2002-04-05 2007-05-15 Victor Company Of Japan, Limited Image-sensing apparatus for compensating video signal of a plurality of channels
JP4328115B2 (ja) 2003-03-24 2009-09-09 パナソニック株式会社 固体撮像装置
JP4341297B2 (ja) * 2003-05-23 2009-10-07 株式会社ニコン 信号処理装置、および電子カメラ
JP4367910B2 (ja) * 2003-10-02 2009-11-18 キヤノン株式会社 固体撮像装置
JP2005130331A (ja) 2003-10-27 2005-05-19 Victor Co Of Japan Ltd 撮像信号補正回路
JP4529563B2 (ja) 2004-07-06 2010-08-25 ソニー株式会社 偽信号抑制処理方法および偽信号抑制処理回路並びに撮像装置
JP2006025148A (ja) * 2004-07-07 2006-01-26 Sony Corp 信号処理装置及び方法
JP4363308B2 (ja) * 2004-11-02 2009-11-11 ソニー株式会社 固体撮像素子の信号処理装置及び方法並びに撮像装置
JP4625685B2 (ja) * 2004-11-26 2011-02-02 株式会社東芝 固体撮像装置
JP4742652B2 (ja) * 2005-04-14 2011-08-10 富士フイルム株式会社 撮像装置
JP4742359B2 (ja) * 2005-05-19 2011-08-10 カシオ計算機株式会社 動画撮像装置及びそのプログラム
JP2007013292A (ja) * 2005-06-28 2007-01-18 Olympus Corp 撮像装置
WO2007020930A1 (ja) 2005-08-15 2007-02-22 Sony Corporation 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
JP2007053691A (ja) 2005-08-19 2007-03-01 Micron Technol Inc サブlsbを用いた拡張デジタルデータ路構造

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183188A (ja) * 2009-02-03 2010-08-19 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010193296A (ja) * 2009-02-19 2010-09-02 Nikon Corp 撮像装置及び補正量算出プログラム
CN102685375A (zh) * 2011-03-02 2012-09-19 佳能株式会社 摄像设备及其控制方法
US8913161B2 (en) 2011-03-02 2014-12-16 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
CN102685375B (zh) * 2011-03-02 2015-04-08 佳能株式会社 摄像设备及其控制方法
JP2016163207A (ja) * 2015-03-03 2016-09-05 株式会社Jvcケンウッド 画像処理装置
WO2019216029A1 (ja) * 2018-05-08 2019-11-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器および駆動方法
US11463638B2 (en) 2018-07-27 2022-10-04 Sony Semiconductor Solutions Corporation Streaking correction circuit, imaging apparatus, and electronic equipment

Also Published As

Publication number Publication date
JP4329833B2 (ja) 2009-09-09
EP1973337A3 (en) 2010-03-31
CN101272453A (zh) 2008-09-24
CN101272453B (zh) 2011-07-06
US20080231732A1 (en) 2008-09-25
KR20080085753A (ko) 2008-09-24
EP1973337B1 (en) 2012-02-22
US7982785B2 (en) 2011-07-19
EP1973337A2 (en) 2008-09-24

Similar Documents

Publication Publication Date Title
JP4329833B2 (ja) ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置
EP2053842B1 (en) Noise correction circuit, imaging apparatus, and noise correction method
JP4683994B2 (ja) 画像処理装置、画像処理方法、電子カメラ、スキャナ
JP4960309B2 (ja) 固体撮像装置
JP5060447B2 (ja) ノイズキャンセル処理回路および固体撮像装置
JP5523802B2 (ja) 画像処理装置
US7755681B2 (en) Apparatus and method of gamma correction in digital image processing device
JP2008153836A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5701640B2 (ja) 画像処理装置
JP2007088873A (ja) 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP2008103785A (ja) 輪郭強調回路、輪郭強調方法、撮像装置およびビューファインダ
JP2011151739A (ja) 画像処理装置
JPH11313336A (ja) 信号処理装置および撮像用信号処理方法
JP4224996B2 (ja) 撮像装置
JP2012175169A (ja) 画像処理装置
JP2006041687A (ja) 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ
JP5282306B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
JP2005354669A (ja) 画像処理装置及び画像処理方法
JP2009081526A (ja) 撮像装置
JP2005130241A (ja) 画像信号処理装置及び画像信号処理方法
JP4496931B2 (ja) 映像信号処理装置及び方法
JP2006238135A (ja) 画像処理装置及び画像処理プログラム
JP2006080767A (ja) 信号処理装置及び撮像装置
JP2008301080A (ja) 撮像装置
JP2008124882A (ja) 輝度信号処理回路

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees