JP2004112736A - 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ - Google Patents
半導体集積回路、欠陥画素補正方法、及び画像プロセッサ Download PDFInfo
- Publication number
- JP2004112736A JP2004112736A JP2002316077A JP2002316077A JP2004112736A JP 2004112736 A JP2004112736 A JP 2004112736A JP 2002316077 A JP2002316077 A JP 2002316077A JP 2002316077 A JP2002316077 A JP 2002316077A JP 2004112736 A JP2004112736 A JP 2004112736A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- interest
- unit
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 85
- 230000002950 deficient Effects 0.000 title claims abstract description 65
- 239000004065 semiconductor Substances 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 title claims description 28
- 230000007547 defect Effects 0.000 claims abstract description 78
- 230000002093 peripheral effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Input (AREA)
Abstract
【課題】本発明は、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても対応可能な欠陥補正回路を提供することを目的とする。
【解決手段】半導体集積回路は、イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との比較結果に応じて該着目画素が欠陥画素か否かを判定する判定回路と、該着目画素が欠陥画素であるとの該判定回路の判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する欠陥補正回路を含むことを特徴とする。
【選択図】 図２
【解決手段】半導体集積回路は、イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との比較結果に応じて該着目画素が欠陥画素か否かを判定する判定回路と、該着目画素が欠陥画素であるとの該判定回路の判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する欠陥補正回路を含むことを特徴とする。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に画像を撮像するＣＭＯＳイメージセンサからの画像信号の信号処理に関し、詳しくはＣＭＯＳイメージセンサからの画像信号の欠陥画素補正に関する。
【従来の技術】
ＣＭＯＳイメージセンサは、複数のホトダイオードが縦横に配列された受光部を備えており、これらのホトダイオードが撮像用の各画素（ピクセル）を構成する。この画素単位で入射光が光電変換され、光電変換された電荷が電荷蓄積部分に蓄積され読み出される。多数形成された画素の中には、欠陥により正常に動作しないものがあり、常に暗点（黒）として現れる欠陥画素や明点（白）として現れる欠陥画素等がある。
【０００２】
図１は、従来のＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【０００３】
図１の構成は、欠陥補正回路１１、欠陥箇所格納用記憶装置１２、及びＲＧＢ変換回路１３を含む。欠陥補正回路１１は、イメージセンサからの画像信号を入力として受け取る。欠陥補正回路１１は、画像信号中の欠陥画素のデータを処理して欠陥を補正し、補正後の画像信号をＲＧＢ変換回路１３に供給する。ＲＧＢ変換回路１３は、ＲＧＢベイヤ配列の色情報に基づいて、各画素に対する色データを求める。
【０００４】
図１の欠陥補正処理の構成においては、欠陥箇所格納用のＲＯＭである欠陥箇所格納用記憶装置１２が設けられる。この欠陥箇所格納用記憶装置１２には、出荷試験時に欠陥と判定された画素の位置情報が書き込まれている。欠陥補正回路１１は、欠陥箇所格納用記憶装置１２に書き込まれた位置情報に基づいて欠陥画素の位置を特定し、その周辺の画素の情報を用いて補間処理を行うことで欠陥画素のデータを補正する。
【０００５】
このようにして、暗点（黒）として現れる欠陥画素や明点（白）として現れる欠陥画素等を周辺の画素により補間することで、周囲の画像にとけこませることができる。
【０００６】
また欠陥画素から出力される電子データを高い精度で補正処理することができる画像処理として、欠陥画素の周囲にある近接画素から出力差が最小となる画素組を抽出し、この画素組の２つの画素からの出力値を平均し、この平均値により欠陥画素の値を近似する方法がある（特許文献１）。
【０００７】
【特許文献１】
特開２００１−３０７０７９号公報
【０００８】
【発明が解決しようとする課題】
欠陥はある確率（ウェハプロセスの欠陥の発生率等）で発生するが、ＲＯＭを使用する場合、ＲＯＭの容量に限度があるため、想定以上の個数の欠陥が発生すると補正を行うことが出来ないという問題がある。また出荷試験時に欠陥と判定した画素の位置情報をＲＯＭに書き込んでおくことを基本とするので、出荷試験後に経時変化によって欠陥が発生するような場合には、対応することが出来ないという問題がある。
【０００９】
以上を鑑みて、本発明は、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても対応可能な欠陥補正回路を提供することを目的とする。
【課題を解決するための手段】
本発明による半導体集積回路は、イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との比較結果に応じて該着目画素が欠陥画素か否かを判定する判定回路と、該着目画素が欠陥画素であるとの該判定回路の判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する欠陥補正回路を含むことを特徴とする。
【００１０】
上記の半導体集積回路における欠陥補正処理においては、着目画素の画素値と周辺画素の画素値との比較を行うことで、着目画素の画素値が周辺画素の画素値から所定の値以上離れているか否か、即ち着目画素の画素値が周辺画素の画素値と比較して突出しているか否かを判断する。この判断結果に応じて、画素値が突出しているときには着目画素が欠陥画素であると判定し、周辺画素の画素値に基づいて当該着目画素の画素値を補正する。従って、従来技術の構成のようにＲＯＭ等の欠陥箇所格納用記憶装置を用いる場合と異なり、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても適切に対応することが可能となる。
【００１１】
またイメージセンサからの画像信号の欠陥画素補正方法は、イメージセンサから読み出した画像信号に含まれる着目画素の画素値と周辺の画素の画素値とを比較する段階と、該比較の結果に応じて該着目画素が欠陥画素か否かを判定する段階と、該着目画素が欠陥画素であるとの判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する段階を含むことを特徴とする。
【００１２】
上記欠陥画素補正方法によっても同様に、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても適切に対応することが可能となる。
【発明の実施の形態】
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
【００１３】
図２は、本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【００１４】
図２の構成は、欠陥補正回路２１、判定回路２２、及びＲＧＢ変換回路２３を含む。欠陥補正回路２１は、イメージセンサからの画像信号を入力として受け取り、画像信号中の欠陥ピクセル（画素）のデータを処理して欠陥を補正し、補正後の画像信号をＲＧＢ変換回路２３に供給する。ＲＧＢ変換回路２３は、ＲＧＢベイヤ配列の色情報に基づいて、各ピクセルに対する色データを求める。
【００１５】
図２の欠陥補正処理の構成においては、判定回路２２が、着目ピクセル及びその周辺ピクセルのデータに基づいて当該着目ピクセルが欠陥ピクセルであるか否かの判定を行う。欠陥補正回路２１は、判定回路２２の判定結果に基づいて欠陥ピクセルの位置を特定し、その周辺のピクセルの情報を用いて補間処理を行うことで欠陥ピクセルのデータを補正する。
【００１６】
このようにして、暗点（黒）として現れる欠陥ピクセルや明点（白）として現れる欠陥ピクセル等を周辺のピクセルにより補間することで、周囲の画像にとけこませることが可能となる。
【００１７】
図３は、図２の欠陥補正回路２１及び判定回路２２の構成を示すブロック図である。
【００１８】
図３に示されるように、欠陥補正回路２１は、補正値生成ユニット３１及びスイッチユニット３２を含む。また判定回路２２は、横方向ピクセル比較ユニット３５、縦方向ピクセル比較ユニット３６、及び欠陥判定ユニット３７を含む。
【００１９】
図４は、図３に示される構成により実行される欠陥ピクセル補正処理の流れを示すフローチャートである。以下に、図３及び図４を用いて、本発明による欠陥ピクセル補正処理について詳細に説明する。
【００２０】
図４のステップＳＴ１において、横方向ピクセル比較を実行する。具体的には図３において、イメージセンサから欠陥補正回路２１に各ピクセルのデータが順次供給される。供給される各ピクセルのデータは、欠陥補正回路２１から判定回路２２の横方向ピクセル比較ユニット３５に供給されて、ここで横方向ピクセル比較が実行される。
【００２１】
図５は、比較対象となるピクセルを説明するための図である。（ａ）はＲＧＢベイヤ配列を示す。一般にイメージセンサの出力においては、各ピクセルがＲＧＢの３色のデータを有しているわけではなく、（ａ）に示されるように、個々のピクセルがＲＧＢのうちで所定の１色を表現する構成となっている。（ａ）に示されるＲＧＢの配列をＲＧＢベイヤ配列と呼ぶ。このＲＧＢベイヤ配列に基づいて、ＲＧＢ変換回路２３により、各ピクセルに対してＲＧＢの３色のデータを割り当てる処理が実行される。（ｂ）は、ＲＧＢベイヤ配列を用いた場合の同色隣接ピクセルの位置関係を示す図である。（ａ）から分かるように、ＲＧＢベイヤ配列において同色のピクセルは縦横１つおきに配置されている。従ってある特定の色（例えばＲ）に着目した場合、着目ピクセルｐ［ｘ，ｙ］に対して、縦横に隣接する４つの同色のピクセルはｐ［ｘ，ｙ−２］、ｐ［ｘ−２，ｙ］、ｐ［ｘ＋２，ｙ］、及びｐ［ｘ，ｙ＋２］となる。
【００２２】
図４のステップＳＴ１において、着目ピクセルｐ［ｘ，ｙ］に対して、横方向ピクセル比較を実行する対象は、ｐ［ｘ−２，ｙ］及びｐ［ｘ＋２，ｙ］となる。具体的には、
（ ｐ［ｘ−２，ｙ］ ≦ ｐ［ｘ，ｙ］ ≦ ｐ［ｘ＋２，ｙ］ ） ｏｒ （ ｐ［ｘ−２，ｙ］ ≧ ｐ［ｘ，ｙ］ ≧ ｐ［ｘ＋２，ｙ］ ） （１）
が満足するか否かを判断する。上記式（１）を満足する場合には、正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００２３】
この動作を図３の構成に対応させると、横方向ピクセル比較ユニット３５が正常ピクセルと判断するときには、例えば、縦方向ピクセル比較ユニット３６及び欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００２４】
式（１）を満足しない場合には、図４のステップＳＴ２で、横方向の不感帯との比較を行う。具体的には、判定回路２２の横方向ピクセル比較ユニット３５が、供給される各ピクセルのデータに基づいて、以下の比較判定を行う。
【００２５】
ｐ［ｘ，ｙ］ ＜ Ｗｌｉｍｉｔ ＊ （ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］）／２ ＋ Ｗｏｆｆｓｅｔ （２）
ｐ［ｘ，ｙ］ ＞ Ｂｌｉｍｉｔ ＊ （ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］）／２ − Ｂｏｆｆｓｅｔ （３）
ここでＷｌｉｍｉｔ及びＷｏｆｆｓｅｔは、不感帯の上限を定めるための係数であり、例えばＷｌｉｍｉｔは１．２程度、Ｗｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。またＢｌｉｍｉｔ及びＢｏｆｆｓｅｔは、不感帯の下限を定めるための係数であり、例えばＢｌｉｍｉｔは０．８程度、Ｂｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。なおＷｌｉｍｉｔ及びＢｌｉｍｉｔは同一の値でもよいし、それぞれ別の値を設定してもよい。またＷｏｆｆｓｅｔ及びＢｏｆｆｓｅｔは同一の値でもよいし、それぞれ別の値を設定してもよい。
【００２６】
図６は、不感帯による比較判定について説明するための図である。
【００２７】
図６において、横軸は着目ピクセルの位置Ｎ及びそれに隣接するピクセルの位置Ｎ−２及びＮ＋２を示し、縦軸は各ピクセルのピクセル値（コード）を示す。この例では、着目ピクセル４１が最もピクセル値が大きく、隣接ピクセル４２及び４３はそれぞれ図に示されるようなピクセル値を有する。範囲Ａは、隣接ピクセル４２のピクセル値と隣接ピクセル４３のピクセル値の間に挟まれる範囲であり、着目ピクセル４１がこの範囲Ａ内に存在する場合には、上記ステップＳＴ１の判断に対応する上記式（１）の条件が満たされることになる。範囲Ｃは、隣接ピクセル４２のピクセル値及び隣接ピクセル４３のピクセル値の平均値Ｂを基にして求められる不感帯の上限４４（式（２）右辺の値）及び不感帯の下限４５（式（３）の右辺の値）により画定される範囲である。この範囲Ｃの内部に着目ピクセル４１が存在する場合には、上記ステップＳＴ２の判断に対応する上記式（２）及び式（３）の条件を満たすことになる。
【００２８】
式（２）及び式（３）を満足する場合には、着目ピクセルが正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００２９】
この動作を図３の構成に対応させると、横方向ピクセル比較ユニット３５が正常ピクセルと判断するときには、例えば、縦方向ピクセル比較ユニット３６及び欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００３０】
式（２）又は式（３）を満足しない場合には、図４のステップＳＴ３で、縦方向ピクセル比較を実行する。具体的には図３において、イメージセンサから欠陥補正回路２１に各ピクセルのデータが順次供給されると、このデータが欠陥補正回路２１から横方向ピクセル比較ユニット３５を介して縦方向ピクセル比較ユニット３６に供給され、ここで縦方向ピクセル比較が実行される。
縦方向ピクセル比較を実行する対象は、ｐ［ｘ２，ｙ−２］及びｐ［ｘ，ｙ＋２］となる。具体的には、
（ ｐ［ｘ，ｙ−２］ ≦ ｐ［ｘ，ｙ］ ≦ ｐ［ｘ，ｙ＋２］ ） ｏｒ （ ｐ［ｘ，ｙ−２］ ≧ ｐ［ｘ，ｙ］ ≧ ｐ［ｘ，ｙ＋２］ ） （４）
が満足するか否かを判断する。上記式（４）を満足する場合には、正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００３１】
この動作を図３の構成に対応させると、縦方向ピクセル比較ユニット３６が正常ピクセルと判断するときには、例えば、欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００３２】
式（４）を満足しない場合には、図４のステップＳＴ４で、縦方向の不感帯との比較を行う。具体的には、判定回路２２の縦方向ピクセル比較ユニット３６が、供給される各ピクセルのデータに基づいて、以下の比較判定を行う。
【００３３】
ｐ［ｘ，ｙ］ ＜ Ｗｌｉｍｉｔ ＊ （ｐ［ｘ，ｙ−２］＋ｐ［ｘ，ｙ＋２］）／２ ＋ Ｗｏｆｆｓｅｔ （５）
ｐ［ｘ，ｙ］ ＞ Ｂｌｉｍｉｔ ＊ （ｐ［ｘ，ｙ−２］＋ｐ［ｘ，ｙ＋２］）／２ − Ｂｏｆｆｓｅｔ （６）
ここでＷｌｉｍｉｔ及びＷｏｆｆｓｅｔは、不感帯の上限を定めるための係数であり、例えばＷｌｉｍｉｔは１．２程度、Ｗｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。またＢｌｉｍｉｔ及びＢｏｆｆｓｅｔは、不感帯の下限を定めるための係数であり、例えばＢｌｉｍｉｔは０．８程度、Ｂｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。なおＷｌｉｍｉｔ及びＢｌｉｍｉｔは同一の値でもよいし、それぞれ別の値を設定してもよい。またＷｏｆｆｓｅｔ及びＢｏｆｆｓｅｔは同一の値でもよいし、それぞれ別の値を設定してもよい。
【００３４】
式（５）及び式（６）を満足する場合には、着目ピクセルが正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００３５】
この動作を図３の構成に対応させると、縦方向ピクセル比較ユニット３６が正常ピクセルと判断するときには、例えば、欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００３６】
式（５）又は式（６）を満足しない場合には、図４のステップＳＴ５で補正値を生成し、着目ピクセルに対して補正処理を実行する。具体的には、欠陥補正回路２１の補正値生成ユニット３１が、以下の処理を実行して、欠陥ピクセルである着目ピクセルに対する補正値を求める。即ち、式（５）を満足しない場合には、着目ピクセルが明点（白）の欠陥ピクセルと判断し、
ｐ［ｘ，ｙ］＝ ｐ［ｘ，ｙ］ ＊ Ｗｗｅｉｇｈｔ ＋（ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］＋ｐ［ｘ，ｙ−２］＋ｐ［２，ｙ＋２］）／４＊（１−Ｗｗｅｉｇｈｔ） （７）
を計算する。また式（６）を満足しない場合には、着目ピクセルが暗点（黒）の欠陥ピクセルと判断し、
ｐ［ｘ，ｙ］＝ ｐ［ｘ，ｙ］ ＊ Ｂｗｅｉｇｈｔ ＋（ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］＋ｐ［ｘ，ｙ−２］＋ｐ［２，ｙ＋２］）／４＊（１−Ｂｗｅｉｇｈｔ） （８）
を計算する。ここでＷｗｅｉｇｈｔ及びＢｗｅｉｇｈｔは、着目ピクセルを補正する際に、着目ピクセルと周囲４ピクセルとの間の重みを調整するための係数である。この係数が１に近いときには、比較的に着目ピクセルの元の画素値を尊重して補正値を求めることになり、また係数が０に近いときには、比較的に着目ピクセルの元の画素値を無視して周辺ピクセルの画素値により補正値を求めることになる。Ｗｗｅｉｇｈｔ及びＢｗｅｉｇｈｔは、同一の値でもよいし、それぞれ別の値を設定してもよい。
【００３７】
Ｗｗｅｉｇｈｔ及びＢｗｅｉｇｈｔに同一の値を用いる場合には、上記式（７）及び式（８）は同一の式となるので、補正値生成ユニット３１は条件判断の結果に関らず同一の処理を実行して補正値を生成すればよい。Ｗｗｅｉｇｈｔ及びＢｗｅｉｇｈｔに異なる値を用いる場合には、式（５）又は式（６）の何れの条件が満たされていないのかに応じて、補正値生成ユニット３１による補正値生成処理が異なることになる。従ってこの場合には、図３の構成において点線で示されるように、縦方向ピクセル比較ユニット３６からの判定結果を補正値生成ユニット３１で参照する必要がある。
【００３８】
図３において、補正値生成ユニット３１が補正値を生成すると共に、縦方向ピクセル比較ユニット３６により式（５）又は式（６）の条件が満たされていない旨の信号が欠陥判定ユニット３７に供給される。この信号に基づいて欠陥判定ユニット３７は、着目ピクセルが欠陥ピクセルであることを判定して、スイッチユニット３２の入力選択を補正値生成ユニット３１側に設定する。これにより、当該着目ピクセルに対して、補正値生成ユニット３１が生成した補正値が次段の処理に供給される。
【００３９】
以上のようにして、本発明による欠陥補正処理においては、着目画素の画素値と周辺画素の画素値との比較を横方向及び縦方向に行うことで、着目画素の画素値が周辺画素の画素値から所定の値以上離れているか否か、即ち着目画素の画素値が周辺画素の画素値と比較して突出しているか否かを判断する。この判断結果に応じて、画素値が突出しているときには着目画素が欠陥画素であると判定し、周辺画素の画素値に基づいて当該着目画素の画素値を補正する。従って、従来技術の構成のようにＲＯＭ等の欠陥箇所格納用記憶装置を用いる場合と異なり、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても対応することが可能となる。
【００４０】
本発明による欠陥補正処理においては、横方向の判定と縦方向の判定を独立に行ない、両方の判定が同時に欠陥ピクセルであると判断した場合にのみ、着目画像が欠陥ピクセルであると判定する。従って、例えば周囲の画素値と大きな差がある目立った縦線或いは横線が存在する場合であっても、横方向の判定と縦方向の判定との何れかは正常ピクセルであるとの判定結果になるので、画素値の補正は実行されない。このようにして本発明においては、目立った縦線或いは横線を正常な画像データであると判断して、これを誤って補正により消去してしまうことはない。
【００４１】
図７は、本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成の別の一例を示す図である。図７において、図３と同一の構成要素は同一の番号で参照し、必要な場合を除きその説明は省略する。
【００４２】
図７の構成においては、横方向ピクセル比較ユニット３５による横方向ピクセル比較と縦方向ピクセル比較ユニット３６による縦方向ピクセル比較とを並列に実行する構成となっている。即ち、イメージセンサから欠陥補正回路２１に順次供給される各ピクセルのデータは、判定回路２２Ａの横方向ピクセル比較ユニット３５及び縦方向ピクセル比較ユニット３６に並列に供給される。横方向ピクセル比較ユニット３５及び縦方向ピクセル比較ユニット３６は、それぞれの判定動作を並列に実行し、判定結果を欠陥判定ユニット３７Ａに供給する。欠陥判定ユニット３７Ａは、横方向ピクセル比較ユニット３５及び縦方向ピクセル比較ユニット３６が双方共に欠陥ピクセルであると判断した場合に、当該着目ピクセルが欠陥であると判定して、スイッチユニット３２の入力選択を補正値生成ユニット３１側に設定する。
【００４３】
上記の構成によっても、図３の場合と同一の欠陥判定結果が得られる。
【００４４】
図７の構成では、横方向ピクセル比較ユニット３５による比較と縦方向ピクセル比較ユニット３６による比較とを並列に実行したが、縦方向ピクセル比較ユニット３６による比較を実行した後に、横方向ピクセル比較ユニット３５による比較を行うように構成してもよい。即ち、図３の構成において、横方向ピクセル比較ユニット３５と縦方向ピクセル比較ユニット３６に位置を交換して、横方向の比較と縦方向の比較との順序を逆にしてもよい。このような構成としても、図３の場合と同一の欠陥判定結果が得られる。
【００４５】
図８は、本発明による欠陥補正処理を適用した画像プロセッサの構成を示すブロック図である。
【００４６】
図８の画像プロセッサは、欠陥補正ユニット５１、ＲＧＢ変換ユニット５２、ホワイトバランスユニット５３、輪郭強調ユニット５４、ガンマ補正ユニット５５、及びフォーマット変換ユニット５６を含む。
【００４７】
欠陥補正ユニット５１は、ＣＣＤ等のイメージセンサからの画像信号を受け取り本発明による欠陥補正処理を実行するユニットであり、例えば図３又は図７に示される構成を有する。欠陥画素に対して補正の施された補正後画像信号が、欠陥補正ユニット５１からＲＧＢ変換ユニット５２に供給される。ＲＧＢ変換ユニット５２は、ＲＧＢベイヤ配列の色情報に基づいて、各ピクセルに対する色データを求め画像信号として出力する。ＲＧＢ変換ユニット５２の出力画像信号は、ホワイトバランスユニット５３によりホワイトバランスが調整され、その後輪郭強調ユニット５４により輪郭を強調する処理が実行される。ガンマ補正ユニット５５は、出力機器に対してガンマ特性を補正する処理を実行し、最後にフォーマット変換ユニット５６が、次段で処理可能なフォーマットに画像信号を変換し、変換後の画像信号を出力する。
【００４８】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【発明の効果】
本発明における欠陥補正処理においては、着目画素の画素値と周辺画素の画素値との比較を行うことで、着目画素の画素値が周辺画素の画素値から所定の値以上離れているか否か、即ち着目画素の画素値が周辺画素の画素値と比較して突出しているか否かを判断する。この判断結果に応じて、画素値が突出しているときには着目画素が欠陥画素であると判定し、周辺画素の画素値に基づいて当該着目画素の画素値を補正する。
【００４９】
従って、従来技術の構成のようにＲＯＭ等の欠陥箇所格納用記憶装置を用いる場合と異なり、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても適切に対応することが可能となる。
【図面の簡単な説明】
【図１】従来のＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【図２】本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【図３】図２の欠陥補正回路２１及び判定回路２２の構成を示すブロック図である。
【図４】図３に示される構成により実行される欠陥ピクセル補正処理の流れを示すフローチャートである。
【図５】比較対象となるピクセルを説明するための図である。
【図６】不感帯による比較判定について説明するための図である。
【図７】本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成の別の一例を示す図である。
【図８】本発明による欠陥補正処理を適用した画像プロセッサの構成を示すブロック図である。
【符号の説明】
２１ 欠陥補正回路
２２ 判定回路
２３ ＲＧＢ変換回路
３１ 補正値生成ユニット
３２ スイッチユニット
３５ 横方向ピクセル比較ユニット
３６ 縦方向ピクセル比較ユニット
３７ 欠陥判定ユニット
５１ 欠陥補正ユニット
５２ ＲＧＢ変換ユニット
５３ ホワイトバランスユニット
５４ 輪郭強調ユニット
５５ ガンマ補正ユニット
５６ フォーマット変換ユニット
【発明の属する技術分野】
本発明は、一般に画像を撮像するＣＭＯＳイメージセンサからの画像信号の信号処理に関し、詳しくはＣＭＯＳイメージセンサからの画像信号の欠陥画素補正に関する。
【従来の技術】
ＣＭＯＳイメージセンサは、複数のホトダイオードが縦横に配列された受光部を備えており、これらのホトダイオードが撮像用の各画素（ピクセル）を構成する。この画素単位で入射光が光電変換され、光電変換された電荷が電荷蓄積部分に蓄積され読み出される。多数形成された画素の中には、欠陥により正常に動作しないものがあり、常に暗点（黒）として現れる欠陥画素や明点（白）として現れる欠陥画素等がある。
【０００２】
図１は、従来のＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【０００３】
図１の構成は、欠陥補正回路１１、欠陥箇所格納用記憶装置１２、及びＲＧＢ変換回路１３を含む。欠陥補正回路１１は、イメージセンサからの画像信号を入力として受け取る。欠陥補正回路１１は、画像信号中の欠陥画素のデータを処理して欠陥を補正し、補正後の画像信号をＲＧＢ変換回路１３に供給する。ＲＧＢ変換回路１３は、ＲＧＢベイヤ配列の色情報に基づいて、各画素に対する色データを求める。
【０００４】
図１の欠陥補正処理の構成においては、欠陥箇所格納用のＲＯＭである欠陥箇所格納用記憶装置１２が設けられる。この欠陥箇所格納用記憶装置１２には、出荷試験時に欠陥と判定された画素の位置情報が書き込まれている。欠陥補正回路１１は、欠陥箇所格納用記憶装置１２に書き込まれた位置情報に基づいて欠陥画素の位置を特定し、その周辺の画素の情報を用いて補間処理を行うことで欠陥画素のデータを補正する。
【０００５】
このようにして、暗点（黒）として現れる欠陥画素や明点（白）として現れる欠陥画素等を周辺の画素により補間することで、周囲の画像にとけこませることができる。
【０００６】
また欠陥画素から出力される電子データを高い精度で補正処理することができる画像処理として、欠陥画素の周囲にある近接画素から出力差が最小となる画素組を抽出し、この画素組の２つの画素からの出力値を平均し、この平均値により欠陥画素の値を近似する方法がある（特許文献１）。
【０００７】
【特許文献１】
特開２００１−３０７０７９号公報
【０００８】
【発明が解決しようとする課題】
欠陥はある確率（ウェハプロセスの欠陥の発生率等）で発生するが、ＲＯＭを使用する場合、ＲＯＭの容量に限度があるため、想定以上の個数の欠陥が発生すると補正を行うことが出来ないという問題がある。また出荷試験時に欠陥と判定した画素の位置情報をＲＯＭに書き込んでおくことを基本とするので、出荷試験後に経時変化によって欠陥が発生するような場合には、対応することが出来ないという問題がある。
【０００９】
以上を鑑みて、本発明は、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても対応可能な欠陥補正回路を提供することを目的とする。
【課題を解決するための手段】
本発明による半導体集積回路は、イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との比較結果に応じて該着目画素が欠陥画素か否かを判定する判定回路と、該着目画素が欠陥画素であるとの該判定回路の判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する欠陥補正回路を含むことを特徴とする。
【００１０】
上記の半導体集積回路における欠陥補正処理においては、着目画素の画素値と周辺画素の画素値との比較を行うことで、着目画素の画素値が周辺画素の画素値から所定の値以上離れているか否か、即ち着目画素の画素値が周辺画素の画素値と比較して突出しているか否かを判断する。この判断結果に応じて、画素値が突出しているときには着目画素が欠陥画素であると判定し、周辺画素の画素値に基づいて当該着目画素の画素値を補正する。従って、従来技術の構成のようにＲＯＭ等の欠陥箇所格納用記憶装置を用いる場合と異なり、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても適切に対応することが可能となる。
【００１１】
またイメージセンサからの画像信号の欠陥画素補正方法は、イメージセンサから読み出した画像信号に含まれる着目画素の画素値と周辺の画素の画素値とを比較する段階と、該比較の結果に応じて該着目画素が欠陥画素か否かを判定する段階と、該着目画素が欠陥画素であるとの判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する段階を含むことを特徴とする。
【００１２】
上記欠陥画素補正方法によっても同様に、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても適切に対応することが可能となる。
【発明の実施の形態】
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
【００１３】
図２は、本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【００１４】
図２の構成は、欠陥補正回路２１、判定回路２２、及びＲＧＢ変換回路２３を含む。欠陥補正回路２１は、イメージセンサからの画像信号を入力として受け取り、画像信号中の欠陥ピクセル（画素）のデータを処理して欠陥を補正し、補正後の画像信号をＲＧＢ変換回路２３に供給する。ＲＧＢ変換回路２３は、ＲＧＢベイヤ配列の色情報に基づいて、各ピクセルに対する色データを求める。
【００１５】
図２の欠陥補正処理の構成においては、判定回路２２が、着目ピクセル及びその周辺ピクセルのデータに基づいて当該着目ピクセルが欠陥ピクセルであるか否かの判定を行う。欠陥補正回路２１は、判定回路２２の判定結果に基づいて欠陥ピクセルの位置を特定し、その周辺のピクセルの情報を用いて補間処理を行うことで欠陥ピクセルのデータを補正する。
【００１６】
このようにして、暗点（黒）として現れる欠陥ピクセルや明点（白）として現れる欠陥ピクセル等を周辺のピクセルにより補間することで、周囲の画像にとけこませることが可能となる。
【００１７】
図３は、図２の欠陥補正回路２１及び判定回路２２の構成を示すブロック図である。
【００１８】
図３に示されるように、欠陥補正回路２１は、補正値生成ユニット３１及びスイッチユニット３２を含む。また判定回路２２は、横方向ピクセル比較ユニット３５、縦方向ピクセル比較ユニット３６、及び欠陥判定ユニット３７を含む。
【００１９】
図４は、図３に示される構成により実行される欠陥ピクセル補正処理の流れを示すフローチャートである。以下に、図３及び図４を用いて、本発明による欠陥ピクセル補正処理について詳細に説明する。
【００２０】
図４のステップＳＴ１において、横方向ピクセル比較を実行する。具体的には図３において、イメージセンサから欠陥補正回路２１に各ピクセルのデータが順次供給される。供給される各ピクセルのデータは、欠陥補正回路２１から判定回路２２の横方向ピクセル比較ユニット３５に供給されて、ここで横方向ピクセル比較が実行される。
【００２１】
図５は、比較対象となるピクセルを説明するための図である。（ａ）はＲＧＢベイヤ配列を示す。一般にイメージセンサの出力においては、各ピクセルがＲＧＢの３色のデータを有しているわけではなく、（ａ）に示されるように、個々のピクセルがＲＧＢのうちで所定の１色を表現する構成となっている。（ａ）に示されるＲＧＢの配列をＲＧＢベイヤ配列と呼ぶ。このＲＧＢベイヤ配列に基づいて、ＲＧＢ変換回路２３により、各ピクセルに対してＲＧＢの３色のデータを割り当てる処理が実行される。（ｂ）は、ＲＧＢベイヤ配列を用いた場合の同色隣接ピクセルの位置関係を示す図である。（ａ）から分かるように、ＲＧＢベイヤ配列において同色のピクセルは縦横１つおきに配置されている。従ってある特定の色（例えばＲ）に着目した場合、着目ピクセルｐ［ｘ，ｙ］に対して、縦横に隣接する４つの同色のピクセルはｐ［ｘ，ｙ−２］、ｐ［ｘ−２，ｙ］、ｐ［ｘ＋２，ｙ］、及びｐ［ｘ，ｙ＋２］となる。
【００２２】
図４のステップＳＴ１において、着目ピクセルｐ［ｘ，ｙ］に対して、横方向ピクセル比較を実行する対象は、ｐ［ｘ−２，ｙ］及びｐ［ｘ＋２，ｙ］となる。具体的には、
（ ｐ［ｘ−２，ｙ］ ≦ ｐ［ｘ，ｙ］ ≦ ｐ［ｘ＋２，ｙ］ ） ｏｒ （ ｐ［ｘ−２，ｙ］ ≧ ｐ［ｘ，ｙ］ ≧ ｐ［ｘ＋２，ｙ］ ） （１）
が満足するか否かを判断する。上記式（１）を満足する場合には、正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００２３】
この動作を図３の構成に対応させると、横方向ピクセル比較ユニット３５が正常ピクセルと判断するときには、例えば、縦方向ピクセル比較ユニット３６及び欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００２４】
式（１）を満足しない場合には、図４のステップＳＴ２で、横方向の不感帯との比較を行う。具体的には、判定回路２２の横方向ピクセル比較ユニット３５が、供給される各ピクセルのデータに基づいて、以下の比較判定を行う。
【００２５】
ｐ［ｘ，ｙ］ ＜ Ｗｌｉｍｉｔ ＊ （ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］）／２ ＋ Ｗｏｆｆｓｅｔ （２）
ｐ［ｘ，ｙ］ ＞ Ｂｌｉｍｉｔ ＊ （ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］）／２ − Ｂｏｆｆｓｅｔ （３）
ここでＷｌｉｍｉｔ及びＷｏｆｆｓｅｔは、不感帯の上限を定めるための係数であり、例えばＷｌｉｍｉｔは１．２程度、Ｗｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。またＢｌｉｍｉｔ及びＢｏｆｆｓｅｔは、不感帯の下限を定めるための係数であり、例えばＢｌｉｍｉｔは０．８程度、Ｂｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。なおＷｌｉｍｉｔ及びＢｌｉｍｉｔは同一の値でもよいし、それぞれ別の値を設定してもよい。またＷｏｆｆｓｅｔ及びＢｏｆｆｓｅｔは同一の値でもよいし、それぞれ別の値を設定してもよい。
【００２６】
図６は、不感帯による比較判定について説明するための図である。
【００２７】
図６において、横軸は着目ピクセルの位置Ｎ及びそれに隣接するピクセルの位置Ｎ−２及びＮ＋２を示し、縦軸は各ピクセルのピクセル値（コード）を示す。この例では、着目ピクセル４１が最もピクセル値が大きく、隣接ピクセル４２及び４３はそれぞれ図に示されるようなピクセル値を有する。範囲Ａは、隣接ピクセル４２のピクセル値と隣接ピクセル４３のピクセル値の間に挟まれる範囲であり、着目ピクセル４１がこの範囲Ａ内に存在する場合には、上記ステップＳＴ１の判断に対応する上記式（１）の条件が満たされることになる。範囲Ｃは、隣接ピクセル４２のピクセル値及び隣接ピクセル４３のピクセル値の平均値Ｂを基にして求められる不感帯の上限４４（式（２）右辺の値）及び不感帯の下限４５（式（３）の右辺の値）により画定される範囲である。この範囲Ｃの内部に着目ピクセル４１が存在する場合には、上記ステップＳＴ２の判断に対応する上記式（２）及び式（３）の条件を満たすことになる。
【００２８】
式（２）及び式（３）を満足する場合には、着目ピクセルが正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００２９】
この動作を図３の構成に対応させると、横方向ピクセル比較ユニット３５が正常ピクセルと判断するときには、例えば、縦方向ピクセル比較ユニット３６及び欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００３０】
式（２）又は式（３）を満足しない場合には、図４のステップＳＴ３で、縦方向ピクセル比較を実行する。具体的には図３において、イメージセンサから欠陥補正回路２１に各ピクセルのデータが順次供給されると、このデータが欠陥補正回路２１から横方向ピクセル比較ユニット３５を介して縦方向ピクセル比較ユニット３６に供給され、ここで縦方向ピクセル比較が実行される。
縦方向ピクセル比較を実行する対象は、ｐ［ｘ２，ｙ−２］及びｐ［ｘ，ｙ＋２］となる。具体的には、
（ ｐ［ｘ，ｙ−２］ ≦ ｐ［ｘ，ｙ］ ≦ ｐ［ｘ，ｙ＋２］ ） ｏｒ （ ｐ［ｘ，ｙ−２］ ≧ ｐ［ｘ，ｙ］ ≧ ｐ［ｘ，ｙ＋２］ ） （４）
が満足するか否かを判断する。上記式（４）を満足する場合には、正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００３１】
この動作を図３の構成に対応させると、縦方向ピクセル比較ユニット３６が正常ピクセルと判断するときには、例えば、欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００３２】
式（４）を満足しない場合には、図４のステップＳＴ４で、縦方向の不感帯との比較を行う。具体的には、判定回路２２の縦方向ピクセル比較ユニット３６が、供給される各ピクセルのデータに基づいて、以下の比較判定を行う。
【００３３】
ｐ［ｘ，ｙ］ ＜ Ｗｌｉｍｉｔ ＊ （ｐ［ｘ，ｙ−２］＋ｐ［ｘ，ｙ＋２］）／２ ＋ Ｗｏｆｆｓｅｔ （５）
ｐ［ｘ，ｙ］ ＞ Ｂｌｉｍｉｔ ＊ （ｐ［ｘ，ｙ−２］＋ｐ［ｘ，ｙ＋２］）／２ − Ｂｏｆｆｓｅｔ （６）
ここでＷｌｉｍｉｔ及びＷｏｆｆｓｅｔは、不感帯の上限を定めるための係数であり、例えばＷｌｉｍｉｔは１．２程度、Ｗｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。またＢｌｉｍｉｔ及びＢｏｆｆｓｅｔは、不感帯の下限を定めるための係数であり、例えばＢｌｉｍｉｔは０．８程度、Ｂｏｆｆｓｅｔは２５６段階の階調の場合に２０〜３０程度の数値である。なおＷｌｉｍｉｔ及びＢｌｉｍｉｔは同一の値でもよいし、それぞれ別の値を設定してもよい。またＷｏｆｆｓｅｔ及びＢｏｆｆｓｅｔは同一の値でもよいし、それぞれ別の値を設定してもよい。
【００３４】
式（５）及び式（６）を満足する場合には、着目ピクセルが正常ピクセルと判断する。この場合、図４のフローチャートでは、補正を行うことなく処理を終了する。従って、着目ピクセルの値は入力信号の値のままである。
【００３５】
この動作を図３の構成に対応させると、縦方向ピクセル比較ユニット３６が正常ピクセルと判断するときには、例えば、欠陥判定ユニット３７が動作しない。その結果、スイッチユニット３２が、デフォールトの入力選択としてイメージセンサからの入力画像信号を選択し、選択された信号をそのまま出力する。
【００３６】
式（５）又は式（６）を満足しない場合には、図４のステップＳＴ５で補正値を生成し、着目ピクセルに対して補正処理を実行する。具体的には、欠陥補正回路２１の補正値生成ユニット３１が、以下の処理を実行して、欠陥ピクセルである着目ピクセルに対する補正値を求める。即ち、式（５）を満足しない場合には、着目ピクセルが明点（白）の欠陥ピクセルと判断し、
ｐ［ｘ，ｙ］＝ ｐ［ｘ，ｙ］ ＊ Ｗｗｅｉｇｈｔ ＋（ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］＋ｐ［ｘ，ｙ−２］＋ｐ［２，ｙ＋２］）／４＊（１−Ｗｗｅｉｇｈｔ） （７）
を計算する。また式（６）を満足しない場合には、着目ピクセルが暗点（黒）の欠陥ピクセルと判断し、
ｐ［ｘ，ｙ］＝ ｐ［ｘ，ｙ］ ＊ Ｂｗｅｉｇｈｔ ＋（ｐ［ｘ−２，ｙ］＋ｐ［ｘ＋２，ｙ］＋ｐ［ｘ，ｙ−２］＋ｐ［２，ｙ＋２］）／４＊（１−Ｂｗｅｉｇｈｔ） （８）
を計算する。ここでＷｗｅｉｇｈｔ及びＢｗｅｉｇｈｔは、着目ピクセルを補正する際に、着目ピクセルと周囲４ピクセルとの間の重みを調整するための係数である。この係数が１に近いときには、比較的に着目ピクセルの元の画素値を尊重して補正値を求めることになり、また係数が０に近いときには、比較的に着目ピクセルの元の画素値を無視して周辺ピクセルの画素値により補正値を求めることになる。Ｗｗｅｉｇｈｔ及びＢｗｅｉｇｈｔは、同一の値でもよいし、それぞれ別の値を設定してもよい。
【００３７】
Ｗｗｅｉｇｈｔ及びＢｗｅｉｇｈｔに同一の値を用いる場合には、上記式（７）及び式（８）は同一の式となるので、補正値生成ユニット３１は条件判断の結果に関らず同一の処理を実行して補正値を生成すればよい。Ｗｗｅｉｇｈｔ及びＢｗｅｉｇｈｔに異なる値を用いる場合には、式（５）又は式（６）の何れの条件が満たされていないのかに応じて、補正値生成ユニット３１による補正値生成処理が異なることになる。従ってこの場合には、図３の構成において点線で示されるように、縦方向ピクセル比較ユニット３６からの判定結果を補正値生成ユニット３１で参照する必要がある。
【００３８】
図３において、補正値生成ユニット３１が補正値を生成すると共に、縦方向ピクセル比較ユニット３６により式（５）又は式（６）の条件が満たされていない旨の信号が欠陥判定ユニット３７に供給される。この信号に基づいて欠陥判定ユニット３７は、着目ピクセルが欠陥ピクセルであることを判定して、スイッチユニット３２の入力選択を補正値生成ユニット３１側に設定する。これにより、当該着目ピクセルに対して、補正値生成ユニット３１が生成した補正値が次段の処理に供給される。
【００３９】
以上のようにして、本発明による欠陥補正処理においては、着目画素の画素値と周辺画素の画素値との比較を横方向及び縦方向に行うことで、着目画素の画素値が周辺画素の画素値から所定の値以上離れているか否か、即ち着目画素の画素値が周辺画素の画素値と比較して突出しているか否かを判断する。この判断結果に応じて、画素値が突出しているときには着目画素が欠陥画素であると判定し、周辺画素の画素値に基づいて当該着目画素の画素値を補正する。従って、従来技術の構成のようにＲＯＭ等の欠陥箇所格納用記憶装置を用いる場合と異なり、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても対応することが可能となる。
【００４０】
本発明による欠陥補正処理においては、横方向の判定と縦方向の判定を独立に行ない、両方の判定が同時に欠陥ピクセルであると判断した場合にのみ、着目画像が欠陥ピクセルであると判定する。従って、例えば周囲の画素値と大きな差がある目立った縦線或いは横線が存在する場合であっても、横方向の判定と縦方向の判定との何れかは正常ピクセルであるとの判定結果になるので、画素値の補正は実行されない。このようにして本発明においては、目立った縦線或いは横線を正常な画像データであると判断して、これを誤って補正により消去してしまうことはない。
【００４１】
図７は、本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成の別の一例を示す図である。図７において、図３と同一の構成要素は同一の番号で参照し、必要な場合を除きその説明は省略する。
【００４２】
図７の構成においては、横方向ピクセル比較ユニット３５による横方向ピクセル比較と縦方向ピクセル比較ユニット３６による縦方向ピクセル比較とを並列に実行する構成となっている。即ち、イメージセンサから欠陥補正回路２１に順次供給される各ピクセルのデータは、判定回路２２Ａの横方向ピクセル比較ユニット３５及び縦方向ピクセル比較ユニット３６に並列に供給される。横方向ピクセル比較ユニット３５及び縦方向ピクセル比較ユニット３６は、それぞれの判定動作を並列に実行し、判定結果を欠陥判定ユニット３７Ａに供給する。欠陥判定ユニット３７Ａは、横方向ピクセル比較ユニット３５及び縦方向ピクセル比較ユニット３６が双方共に欠陥ピクセルであると判断した場合に、当該着目ピクセルが欠陥であると判定して、スイッチユニット３２の入力選択を補正値生成ユニット３１側に設定する。
【００４３】
上記の構成によっても、図３の場合と同一の欠陥判定結果が得られる。
【００４４】
図７の構成では、横方向ピクセル比較ユニット３５による比較と縦方向ピクセル比較ユニット３６による比較とを並列に実行したが、縦方向ピクセル比較ユニット３６による比較を実行した後に、横方向ピクセル比較ユニット３５による比較を行うように構成してもよい。即ち、図３の構成において、横方向ピクセル比較ユニット３５と縦方向ピクセル比較ユニット３６に位置を交換して、横方向の比較と縦方向の比較との順序を逆にしてもよい。このような構成としても、図３の場合と同一の欠陥判定結果が得られる。
【００４５】
図８は、本発明による欠陥補正処理を適用した画像プロセッサの構成を示すブロック図である。
【００４６】
図８の画像プロセッサは、欠陥補正ユニット５１、ＲＧＢ変換ユニット５２、ホワイトバランスユニット５３、輪郭強調ユニット５４、ガンマ補正ユニット５５、及びフォーマット変換ユニット５６を含む。
【００４７】
欠陥補正ユニット５１は、ＣＣＤ等のイメージセンサからの画像信号を受け取り本発明による欠陥補正処理を実行するユニットであり、例えば図３又は図７に示される構成を有する。欠陥画素に対して補正の施された補正後画像信号が、欠陥補正ユニット５１からＲＧＢ変換ユニット５２に供給される。ＲＧＢ変換ユニット５２は、ＲＧＢベイヤ配列の色情報に基づいて、各ピクセルに対する色データを求め画像信号として出力する。ＲＧＢ変換ユニット５２の出力画像信号は、ホワイトバランスユニット５３によりホワイトバランスが調整され、その後輪郭強調ユニット５４により輪郭を強調する処理が実行される。ガンマ補正ユニット５５は、出力機器に対してガンマ特性を補正する処理を実行し、最後にフォーマット変換ユニット５６が、次段で処理可能なフォーマットに画像信号を変換し、変換後の画像信号を出力する。
【００４８】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【発明の効果】
本発明における欠陥補正処理においては、着目画素の画素値と周辺画素の画素値との比較を行うことで、着目画素の画素値が周辺画素の画素値から所定の値以上離れているか否か、即ち着目画素の画素値が周辺画素の画素値と比較して突出しているか否かを判断する。この判断結果に応じて、画素値が突出しているときには着目画素が欠陥画素であると判定し、周辺画素の画素値に基づいて当該着目画素の画素値を補正する。
【００４９】
従って、従来技術の構成のようにＲＯＭ等の欠陥箇所格納用記憶装置を用いる場合と異なり、対処可能な欠陥個数に特に制限が無く、又経時変化で発生する欠陥に対しても適切に対応することが可能となる。
【図面の簡単な説明】
【図１】従来のＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【図２】本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成を示す図である。
【図３】図２の欠陥補正回路２１及び判定回路２２の構成を示すブロック図である。
【図４】図３に示される構成により実行される欠陥ピクセル補正処理の流れを示すフローチャートである。
【図５】比較対象となるピクセルを説明するための図である。
【図６】不感帯による比較判定について説明するための図である。
【図７】本発明によるＣＭＯＳイメージセンサの欠陥補正処理を実行する構成の別の一例を示す図である。
【図８】本発明による欠陥補正処理を適用した画像プロセッサの構成を示すブロック図である。
【符号の説明】
２１ 欠陥補正回路
２２ 判定回路
２３ ＲＧＢ変換回路
３１ 補正値生成ユニット
３２ スイッチユニット
３５ 横方向ピクセル比較ユニット
３６ 縦方向ピクセル比較ユニット
３７ 欠陥判定ユニット
５１ 欠陥補正ユニット
５２ ＲＧＢ変換ユニット
５３ ホワイトバランスユニット
５４ 輪郭強調ユニット
５５ ガンマ補正ユニット
５６ フォーマット変換ユニット
Claims (10)
- イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との比較結果に応じて該着目画素が欠陥画素か否かを判定する判定回路と、
該着目画素が欠陥画素であるとの該判定回路の判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する欠陥補正回路
を含むことを特徴とする半導体集積回路。 - 該判定回路は、該着目画素の画素値が周辺の画素の画素値から所定の値以上離れていることを検知すると該着目画素が欠陥画素であると判定することを特徴とする請求項１記載の半導体集積回路。
- 該判定回路は、
第１の画素配列方向において該着目画素の画素値が周辺の画素の画素値から所定の値以上離れているか否かを判断する第１の比較ユニットと、
第２の画素配列方向において該着目画素の画素値が周辺の画素の画素値から所定の値以上離れているか否かを判断する第２の比較ユニットと、
該第１の比較ユニットと該第２の比較ユニットとの双方が該着目画素の画素値が周辺の画素の画素値から所定の値以上離れていると判断する場合に該着目画素が欠陥画素であると判定する欠陥判定ユニット
を含むことを特徴とする請求項２記載の半導体集積回路。 - 該第１の比較ユニットは、該第１の画素配列方向において該着目画素の画素値が周辺の画素の画素値の平均値から所定の値以上離れているか否かを判断し、該第２の比較ユニットは、該第２の画素配列方向において該着目画素の画素値が周辺の画素の画素値の平均値から所定の値以上離れているか否かを判断することを特徴とする請求項３記載の半導体集積回路。
- 該欠陥補正回路は、
該着目画素の画素値を周辺画素の画素値の平均値に基づいて補正した補正値を生成する補正値生成ユニットと、
該判定回路の判定結果に応じて、該イメージセンサからの該画像信号と該補正値との何れかを選択して出力する切り換えユニット
を含むことを特徴とする請求項１記載の半導体集積回路。 - イメージセンサから読み出した画像信号に含まれる着目画素の画素値と周辺の画素の画素値とを比較する段階と、
該比較の結果に応じて該着目画素が欠陥画素か否かを判定する段階と、
該着目画素が欠陥画素であるとの判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する段階
を含むことを特徴とするイメージセンサからの画像信号の欠陥画素補正方法。 - 該判定する段階は、該着目画素の画素値が周辺の画素の画素値から所定の値以上離れていることを検知すると該着目画素が欠陥画素であると判定することを特徴とする請求項６記載の欠陥画素補正方法。
- 該判定する段階は、
第１の画素配列方向において該着目画素の画素値が周辺の画素の画素値から所定の値以上離れているか否かを判断する第１の比較段階と、
第２の画素配列方向において該着目画素の画素値が周辺の画素の画素値から所定の値以上離れているか否かを判断する第２の比較段階と、
該第１の比較段階と該第２の比較段階との双方が該着目画素の画素値が周辺の画素の画素値から所定の値以上離れていると判断する場合に該着目画素が欠陥画素であると判定する段階
を含むことを特徴とする請求項７記載の欠陥画素補正方法。 - イメージセンサからの画像信号に含まれる着目画素の画素値と周辺の画素の画素値との比較結果に応じて該着目画素が欠陥画素か否かを判定する判定回路と、
該着目画素が欠陥画素であるとの該判定回路の判定結果に応じて該着目画素の画素値を周辺画素の画素値に基づいて補正する欠陥補正回路と、
該欠陥補正回路から出力される欠陥補正された画像信号を処理する処理回路
を含むことを特徴とする画像プロセッサ。 - 該処理回路は、欠陥補正ユニット、ＲＧＢ変換ユニット、ホワイトバランスユニット、輪郭強調ユニット、ガンマ補正ユニット、及びフォーマット変換ユニットのうちの少なくとも１つを含むことを特徴とする請求項９記載の画像プロセッサ。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002316077A JP4194336B2 (ja) | 2002-07-25 | 2002-10-30 | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ |
| US10/626,539 US7263215B2 (en) | 2002-07-25 | 2003-07-25 | Circuit and method for correction of defect pixel |
| US11/892,842 US7715617B2 (en) | 2002-07-25 | 2007-08-28 | Circuit and method for correction of defect pixel |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002216848 | 2002-07-25 | ||
| JP2002316077A JP4194336B2 (ja) | 2002-07-25 | 2002-10-30 | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112736A true JP2004112736A (ja) | 2004-04-08 |
| JP4194336B2 JP4194336B2 (ja) | 2008-12-10 |
Family
ID=32300533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002316077A Expired - Fee Related JP4194336B2 (ja) | 2002-07-25 | 2002-10-30 | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7263215B2 (ja) |
| JP (1) | JP4194336B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006074172A (ja) * | 2004-08-31 | 2006-03-16 | Canon Inc | 画像信号処理回路、カメラ、及び画像信号処理方法 |
| US7864231B2 (en) | 2006-09-15 | 2011-01-04 | Ricoh Company, Ltd. | Imaging apparatus and defective pixel correcting method |
| US8212899B2 (en) | 2007-04-27 | 2012-07-03 | Kabushiki Kaisha Toshiba | Imaging apparatus capable of highly accurate defective pixel correction processing |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1463306B8 (en) * | 2003-03-25 | 2009-11-11 | Panasonic Corporation | Imaging device that prevents loss of shadow detail |
| JP3984936B2 (ja) * | 2003-08-08 | 2007-10-03 | キヤノン株式会社 | 撮像装置および撮像方法 |
| DE102004015876A1 (de) * | 2004-03-31 | 2005-10-27 | Siemens Ag | Verfahren zum Auslesen eines Flächendetektors |
| JP4759293B2 (ja) * | 2005-03-15 | 2011-08-31 | キヤノン株式会社 | 撮像素子 |
| JP4388909B2 (ja) * | 2005-04-25 | 2009-12-24 | イーストマン コダック カンパニー | 画素欠陥補正装置 |
| TWI283833B (en) * | 2005-07-07 | 2007-07-11 | Sunplus Technology Co Ltd | Color image dead pixel calibration method and its system |
| CN100425055C (zh) * | 2005-07-12 | 2008-10-08 | 凌阳科技股份有限公司 | 彩色影像的坏点校正方法及系统 |
| JP2007028008A (ja) * | 2005-07-13 | 2007-02-01 | Konica Minolta Photo Imaging Inc | 撮像装置、撮像システム及びその動作プログラム |
| US8630498B2 (en) * | 2006-03-02 | 2014-01-14 | Sharp Laboratories Of America, Inc. | Methods and systems for detecting pictorial regions in digital images |
| US8437054B2 (en) * | 2006-06-15 | 2013-05-07 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying regions of substantially uniform color in a digital image |
| US7864365B2 (en) * | 2006-06-15 | 2011-01-04 | Sharp Laboratories Of America, Inc. | Methods and systems for segmenting a digital image into regions |
| US7876959B2 (en) * | 2006-09-06 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying text in digital images |
| JP4916275B2 (ja) * | 2006-10-30 | 2012-04-11 | 富士通セミコンダクター株式会社 | 欠陥画素補正回路、それを用いた画像処理システムおよび欠陥画素補正方法 |
| US20090040343A1 (en) * | 2007-08-06 | 2009-02-12 | Mediatek Inc. | Methods and apparatuses for defective pixel detection and correction |
| JP2009159069A (ja) * | 2007-12-25 | 2009-07-16 | Panasonic Corp | 固体撮像装置およびカメラ |
| US8035704B2 (en) * | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
| JP2009302722A (ja) * | 2008-06-11 | 2009-12-24 | Nec Electronics Corp | 欠陥画素処理装置および欠陥画素処理方法 |
| US8237825B2 (en) * | 2008-12-11 | 2012-08-07 | Exelis, Inc. | Pixel replacement using five nearest neighbors |
| WO2010101945A2 (en) * | 2009-03-02 | 2010-09-10 | Flextronics Ap, Llc | Calibration techniques for camera modules |
| JP5169994B2 (ja) * | 2009-05-27 | 2013-03-27 | ソニー株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| CN106937064B (zh) * | 2015-12-29 | 2019-05-10 | 展讯通信（上海）有限公司 | 数字图像坏点的检测方法、校正方法及装置 |
| US10417747B2 (en) | 2017-11-22 | 2019-09-17 | Varex Imaging Corporation | Aberrant pixel detection and correction |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH077675A (ja) | 1993-06-21 | 1995-01-10 | Matsushita Electric Ind Co Ltd | 画素欠陥補正装置 |
| US6509927B1 (en) * | 1994-12-16 | 2003-01-21 | Hyundai Electronics America Inc. | Programmably addressable image sensor |
| WO1998059213A1 (fr) * | 1997-06-25 | 1998-12-30 | Matsushita Electric Works, Ltd. | Procede et dispositif de controle de motifs |
| US6618084B1 (en) * | 1997-11-05 | 2003-09-09 | Stmicroelectronics, Inc. | Pixel correction system and method for CMOS imagers |
| US6504572B2 (en) * | 1997-11-05 | 2003-01-07 | Stmicroelectronics, Inc. | Circuit for detecting leaky access switches in CMOS imager pixels |
| US6665009B1 (en) * | 1998-05-20 | 2003-12-16 | Omnivision Technologies, Inc. | On-chip dead pixel correction in a CMOS imaging sensor |
| JP2000101924A (ja) | 1998-09-21 | 2000-04-07 | Olympus Optical Co Ltd | 画像入力装置における欠陥検出補正装置 |
| KR100291186B1 (ko) * | 1998-12-30 | 2001-06-01 | 박종섭 | 이미지 센서에서의 불량 화소 검출 및 보정을위한 장치 및 그방법 |
| US6381357B1 (en) * | 1999-02-26 | 2002-04-30 | Intel Corporation | Hi-speed deterministic approach in detecting defective pixels within an image sensor |
| US7009644B1 (en) * | 1999-12-15 | 2006-03-07 | Logitech Europe S.A. | Dynamic anomalous pixel detection and correction |
| US6888568B1 (en) * | 1999-08-19 | 2005-05-03 | Dialog Semiconductor Gmbh | Method and apparatus for controlling pixel sensor elements |
| JP2001307079A (ja) | 2000-04-26 | 2001-11-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および記録媒体 |
| US7034873B2 (en) * | 2001-06-29 | 2006-04-25 | Vanguard International Semiconductor Corporation | Pixel defect correction in a CMOS active pixel image sensor |
| US7202894B2 (en) * | 2002-06-04 | 2007-04-10 | Micron Technology, Inc. | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays |
-
2002
- 2002-10-30 JP JP2002316077A patent/JP4194336B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-25 US US10/626,539 patent/US7263215B2/en active Active
-
2007
- 2007-08-28 US US11/892,842 patent/US7715617B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006074172A (ja) * | 2004-08-31 | 2006-03-16 | Canon Inc | 画像信号処理回路、カメラ、及び画像信号処理方法 |
| US7864231B2 (en) | 2006-09-15 | 2011-01-04 | Ricoh Company, Ltd. | Imaging apparatus and defective pixel correcting method |
| US8212899B2 (en) | 2007-04-27 | 2012-07-03 | Kabushiki Kaisha Toshiba | Imaging apparatus capable of highly accurate defective pixel correction processing |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040119856A1 (en) | 2004-06-24 |
| US7715617B2 (en) | 2010-05-11 |
| JP4194336B2 (ja) | 2008-12-10 |
| US20080252756A1 (en) | 2008-10-16 |
| US7263215B2 (en) | 2007-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4194336B2 (ja) | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ | |
| EP1389771B1 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
| US7593569B2 (en) | Pixel defect correction device | |
| US8131067B2 (en) | Image processing apparatus, image processing method, and computer-readable media for attaining image processing | |
| USRE44717E1 (en) | Edge detecting method | |
| JP5060535B2 (ja) | 画像処理装置 | |
| US8212899B2 (en) | Imaging apparatus capable of highly accurate defective pixel correction processing | |
| US9030579B2 (en) | Image processing apparatus and control method that corrects a signal level of a defective pixel | |
| US20120182452A1 (en) | Image processing device, image processing method, and program | |
| JP5306298B2 (ja) | 画像処理装置 | |
| JP2007201530A (ja) | 画素欠陥補正装置 | |
| TWI226196B (en) | Circuit for correction of white pixel defects and an image sensor using circuit for the correction of white pixel defects | |
| JP4104495B2 (ja) | データ処理装置、画像処理装置およびカメラ | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| JP4244969B2 (ja) | 画素の検査方法および画素の補正方法、並びに処理装置、プログラムおよび記録媒体 | |
| JP2004320128A (ja) | 欠陥画素補正装置 | |
| JP3721281B2 (ja) | 画像欠陥補正方法およびこの方法を記録した記録媒体 | |
| US8896731B2 (en) | Image processing apparatus, image processing method, and camera module | |
| JP2010258620A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR100967742B1 (ko) | 이미지센서의 색 보간 방법 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| JP2006229626A (ja) | 欠陥画素検出方法 | |
| JP2004112737A (ja) | 半導体集積回路 | |
| JP4255819B2 (ja) | 信号処理方法および画像取得装置 | |
| JPH077675A (ja) | 画素欠陥補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070928 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080922 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4194336 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |