JP2001197372A - 画像信号処理装置及び画素欠陥の検出方法 - Google Patents
画像信号処理装置及び画素欠陥の検出方法Info
- Publication number
- JP2001197372A JP2001197372A JP2000282166A JP2000282166A JP2001197372A JP 2001197372 A JP2001197372 A JP 2001197372A JP 2000282166 A JP2000282166 A JP 2000282166A JP 2000282166 A JP2000282166 A JP 2000282166A JP 2001197372 A JP2001197372 A JP 2001197372A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- pixel
- image signal
- circuit
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 296
- 238000000034 method Methods 0.000 title claims description 30
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000015654 memory Effects 0.000 claims abstract description 73
- 230000002093 peripheral effect Effects 0.000 claims abstract description 42
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 description 20
- 230000002950 deficient Effects 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14806—Structural or functional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/10—Dealing with defective pixels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Input (AREA)
- Facsimile Heads (AREA)
- Image Processing (AREA)
Abstract
する。 【解決手段】 欠陥検出回路12で目標画素の画像信号
を周辺画素の画像信号と対比して画素欠陥候補を検出
し、画素欠陥候補のアドレス情報を位置メモリ回路13
に記憶する。位置メモリ回路13に記憶されたアドレス
情報に基づいて欠陥判定回路14が画素欠陥の判定を繰
り返し、その判定結果の連続性から画素欠陥のアドレス
情報を決定し、欠陥登録回路15に登録する。登録され
た画素欠陥のアドレス情報に応じて欠陥補正回路16が
画像信号Y(n)を補正して、画像信号Y'(n)を生成す
る。
Description
る欠陥を検出して補正する画像信号処理装置及び画素欠
陥を検出する検出方法に関する。
においては、画素の受光レベルには関係なく、常に一定
の電荷が蓄積されて固定レベルを出力するようになる、
いわゆる画素欠陥を生じる場合がある。このため、固体
撮像素子から得られる画像信号に対する信号処理の過程
において、再生画面上に画素欠陥が現れないようする欠
陥補正処理が行われる。
にした撮像装置の構成を示すブロック図である。
素が行列配置され、受光した被写体画像に応じて各受光
画素に情報電荷を蓄積する。このCCD1は、垂直駆動
信号φv及び水平駆動信号φhによって駆動され、各受光
画素に蓄積された情報電荷が1ライン単位で順次転送出
力されて、所定のフォーマットに従う画像信号Y0を出
力する。駆動回路2は、垂直同期信号VD及び水平同期
信号HDに従い、CCD1を駆動する垂直駆動信号φv
及び水平駆動信号φhを生成し、CCD1に供給する。
クロックを分周し、垂直走査のタイミングを決定する垂
直同期信号VD及び水平走査のタイミングを決定する水
平同期信号HDを生成し、駆動回路2に供給する。例え
ば、NTSCフォーマットの場合、14.32MHzの
基準クロックを910分周して水平同期信号HDを生成
し、この水平同期信号を525/2分周して垂直同期信
号VDを生成する。また、タイミング制御回路3は、後
述する信号処理回路4及び欠陥補正回路5に対して、そ
れぞれの動作タイミングをCCD1の動作タイミングに
同期させるためのタイミング信号を供給する。
る画像信号Y0に対して、サンプルホールド、レベル補
正等の信号処理を施し、画像信号Y1として出力する。
例えば、サンプルホールド処理においては、信号レベル
とリセットレベルとを繰り返す画像信号Y0に対して、
リセットレベルをクランプした後に信号レベルを取り出
すようにして、信号レベルを継続する画像信号Y1を生
成する。また、レベル補正処理においては、出力される
画像信号Y1の平均レベルを目標範囲内に収めるように
してゲインの帰還制御が施される。この信号処理回路4
においては、画像信号Y0をサンプルホールドした後、
サンプルホールド値がA/D変換され、それ以降はデジ
タル処理が採用される傾向にある。
憶された補正情報に基づいて、画像信号Y1に対して欠
陥補正処理を施す。例えば、欠陥が生じた画素の情報
を、その前後の画素の情報の平均値に置き換えるように
構成される。補正情報メモリ6は、CCD1の画素欠陥
の位置を記憶するもので、例えば、予めCCD1の出力
をモニタして画素欠陥の位置を検出し、その検出結果を
補正アドレス情報として記憶する。
で製造されたチップであっても、各チップ毎に画素欠陥
の発生する位置が異なるため、撮像装置に用いるCCD
1は、個々に画素欠陥の位置を検出し、補正情報メモリ
6に記憶する補正アドレス情報を生成する必要がある。
このため、素子の組立工程、さらには、素子を組み込む
撮像装置の組み立て工程におけるコストの増大を招いて
いる。
よって増えることがあり、そのような経時変化が生じた
場合には、補正情報メモリ6の補正アドレス情報を書き
換えなければならない。しかしながら、撮像装置の一般
的な使用者は、補正情報メモリ6の内容を書き換えるた
めの手段を備えていないため、補正情報メモリ6の補正
情報アドレスを書き換えることは、事実上困難である。
させることなく、素子の経時変化による画素欠陥の変化
にも対応できるようにすることを目的とする。
置は、画面を構成する複数の画素に含まれる画素欠陥を
検出するものであって、目標画素の信号レベルを目標画
素に隣接する複数の周辺画素の信号レベルに基づいて設
定される判定基準値と比較して欠陥候補を検出する検出
回路と、上記検出回路により検出された欠陥候補の複数
の画面にわたる連続性に基づいて画素欠陥を判定する判
定回路と、上記判定回路で判定された画素欠陥の位置を
示す欠陥情報を記憶するメモリ回路と、を備え、上記メ
モリ回路に記憶された欠陥情報に応じて上記目標画素を
補正することを特徴としている。
画素と比較して欠陥の可能性がある画素欠陥候補を検出
し、その検出結果の連続性に基づいて画素欠陥を判定す
ることで、再生画面上で視覚的に認識される画素欠陥を
的確に検出することができるようになる。
1画面を表示する画像信号から、画面を構成する複数の
画素に含まれる画素欠陥を検出するものであって、目標
画素の信号レベルを目標画素に隣接する複数の周辺画素
の信号レベルに基づいて設定される判定基準値と比較し
て欠陥候補を検出し、欠陥候補の位置を記憶する第1の
ステップと、上記第1のステップで記憶された位置の目
標画素の信号レベルを上記判定基準値と比較して上記欠
陥候補の中から画素欠陥を抽出する第2のステップと、
上記第1のステップで記憶した欠陥候補の位置を上記第
2のステップで抽出した画素欠陥に応じて更新する第3
のステップと、を含み、上記第2及び第3のステップを
複数回繰り返して画素欠陥を検出することを特徴として
いる。
標画素の信号レベルを目標画素に隣接する複数の周辺画
素の信号レベルに基づいて設定される判定基準値と比較
して欠陥候補を検出する第1のステップと、欠陥候補と
なった目標画素の信号レベルを複数の画面で上記判定基
準値と繰り返し比較する第2のステップと、繰り返し得
られる上記第2のステップの比較結果が上記第1のステ
ップの比較結果と一致するか否かを判定する第3のステ
ップと、を含み、上記第3のステップで所定の回数以上
一致すると判定された目標画素を画素欠陥とすることを
特徴としている。
出しにくい状態となったとしても、画素欠陥の検出、判
定の動作を継続することで、誤った検出が成される可能
性を低くすることができる。
置の第1の実施形態を示すブロック図である。
回路11、欠陥検出回路12、位置メモリ回路13、欠
陥判定回路14、欠陥登録回路15及び欠陥補正回路1
6より構成される。この画像信号処理装置は、撮像素子
の出力に対して所定の処理が施され、A/D変換されて
デジタルデータとして与えられる画像信号Y(n)に対し
て画素欠陥の補正処理を施すように構成される。
リと複数のラッチとを備え、1行単位で連続して入力さ
れる画像信号Y(n)を取り込み、目標画素P0に対応する
画像信号Y(P0)と、その周辺画素P1〜P8に対応する画
像信号Y(P1)〜Y(P8)とを出力する。
から入力される周辺画素P1〜P8の画像信号Y(P1)〜Y
(P8)に基づいて白欠陥を判定するための判定基準値Lw
と黒欠陥を判定するための判定基準値Lbとを生成し、
これらの判定基準値Lw、Lbと目標画素P0の画像信号
Y(P0)とを比較して画素欠陥を検出する。この欠陥検出
回路12では、画像信号Y(n)を得る固体撮像素子の物
理的な欠陥に起因する真の画素欠陥と、被写体の都合で
偶発的に画素欠陥と見なされる見かけ上の画素欠陥とが
区別なく検出され、それらが全て欠陥候補となる。この
欠陥検出回路12の検出動作においては、画素欠陥の位
置がアドレス情報として出力される。例えば、画像信号
Y(n)の入力に同期して画素数をカウントし、画素欠陥
が検出されたときのカウント値をアドレス情報として出
力するように構成される。
リ(SRAM)など高速動作に対応できる揮発性の一次
メモリ部13a及びプログラマブルメモリ(EEPRO
M)などの不揮発性の二次メモリ部13bからなり、欠
陥検出回路12や欠陥判定回路14から出力されるアド
レス情報を画素欠陥の位置情報として記憶する。一次メ
モリ部13aは、画素欠陥の判定動作を行う過程で一時
的に生成されるアドレス情報を記憶する。二次メモリ部
13bは、画素欠陥の判定動作の結果、最終的に画素欠
陥であると判定されたアドレス情報を記憶する。
に記憶されたアドレス情報について、画素欠陥の複数の
画面にわたる連続性に基づいて、各アドレス情報によっ
て示される位置の画素が、真の画素欠陥かどうかを判定
する。即ち、被写体の都合で偶発的に画素欠陥として検
出された場合には、ある程度の時間を経過した段階で画
素欠陥としては検出されなくなるため、ある程度のフィ
ールド期間継続して欠陥と判定されたアドレスのみを真
の画素欠陥と判定するように構成される。例えば、位置
メモリ回路3に記憶されたアドレス情報が示す画素につ
いて、複数の画面で欠陥検出回路12における検出動作
と同一の検出動作を繰り返すことや、欠陥検出回路12
を複数の画面で連続して動作させながら、各画面毎に得
られる画素欠陥を示すアドレス情報を対比することで、
画素欠陥の連続性を判断するように構成される。なお、
欠陥判定回路14における検出動作が欠陥検出回路12
の検出動作と同一の場合、検出回路の一部を共有にする
ようにしてもよい。
おいて、真の画素欠陥であると判定された画素のアドレ
ス情報を抽出して位置メモリ回路13に記憶させる。そ
して、欠陥補正回路16は、欠陥登録回路15によって
位置メモリ回路13に記憶されたアドレス情報に基づい
て、画像信号Y(P0)を補正信号Y(c)に置き換える。こ
こで、補正信号Y(c)は、例えば、目標画素P0の周辺に
位置する複数の周辺画素の画像信号を平均することによ
り生成される。これにより、欠陥補正回路15からは、
白欠陥及び黒欠陥が補正された画像信号Y'(n)が出力さ
れることになる。
欠陥の検出については、判定基準値Lw、Lbを多段階に
設定し、画素欠陥候補に重み付けをするようにしてもよ
い。即ち、欠陥として判定された画素でも、所定の判定
基準値Lw、Lbから大きくはずれた場合と、わずかには
ずれた場合とでは、表示される画面上での目立ち方が異
なるため、画素欠陥の程度をレベル付けして位置メモリ
回路13に記憶させるようにする。このように画素欠陥
の程度をレベル付けして位置メモリ回路13に記憶して
おけば、位置メモリ回路13に登録できる画素欠陥の数
に制限があるとき、欠陥登録回路15が画素欠陥のレベ
ルが高いものから優先して登録するように構成すること
ができる。また、既に位置メモリ回路13に新しい画素
欠陥を登録する余裕がないときには、新たに登録しよう
とする画素欠陥と既に登録されている画素欠陥との欠陥
レベルを比較し、その比較結果に応じて書き換えをする
ことで、画面上で目立ちやすい画素欠陥から優先して補
正することができる。
ブロック図である。このメモリ回路11は、第1、第2
のラインメモリ21、22及び第1〜第6のラッチ23
〜28より構成され、図3に示すように、目標画素P0
と、その周辺に隣接する8個の周辺画素P1〜P8に対応
する画像信号Y(0)、Y(1)〜Y(8)を同時に出力する。
は、互いに直列に接続され、順次入力される画像信号Y
(n)が第1のラインメモリ21に書き込まると共に、第
1のラインメモリ21から順次読み出される画像信号Y
(n)が第2のラインメモリ22に書き込まれる。これに
より、順次入力されてくる画像信号Y(n)に対して、第
1のラインメモリ21からは、1行前の画像信号Y(n)
が読み出され、第2のラインメモリ22からは、2行前
の画像信号Y(n)が読み出される。
信号Y(n)の入力に対して直列に接続され、1画素前の
画像信号Y(n)が第1のラッチ23に保持され、2画素
前の画像信号Y(n)が第2のラッチ24に保持される。
これより、入力される画像信号Y(n)が、そのまま周辺
画素P8に対応する画像信号Y(P8)として出力され、第
1及び第2のラッチ23、24に保持された画像信号Y
(n)が、それぞれ周辺画素P7、P6に対応する画像信号
Y(P7)、Y(P6)として出力される。
のラインメモリ21の入力に対して直列に接続され、1
行前で且つ1画素前の画像信号Y(n)が第3のラッチ2
5に保持され、2画素前の画像信号Y(n)が第4のラッ
チ26に保持される。これより、第1のラインメモリか
ら読み出される画像信号Y(n)が、周辺画素P5に対応す
る画像信号Y(P5)として出力され、第3及び第4のラッ
チ25、26に保持された画像信号Y(n)が、それぞれ
目標画素P0に対応する画像信号Y(P0)及び周辺画素P4
に対応する画像信号Y(P4)として出力される。
は、第2のラインメモリ22の入力に対して直列に接続
され、2行前で且つ1画素前の画像信号Y(n)が第5の
ラッチ27に保持され、2画素前の画像信号Y(n)が第
6のラッチ28に保持される。これより、第2のライン
メモリから読み出される画像信号Y(n)が、周辺画素P3
に対応する画像信号Y(P3)として出力され、第5及び第
6のラッチ27、28に保持された画像信号Y(n)が、
それぞれ周辺画素P2、P1に対応する画像信号Y(P2)、
Y(P2)として出力される。
画像信号Y(n)を順次取り込みながら、目標画素P0の画
像信号Y(P0)と、その周辺に位置する周辺画素P1〜P8
の画像信号Y(P1)〜Y(P8)とが並列に出力されるように
なる。
ロック図である。この欠陥検出回路12は、平均値算出
部31、最大値検出部32、最小値検出部33、第1及
び第2の減算器34、35、加算器36、第1及び第2
の比較器37、38より構成される。
画像信号Y(P1)〜Y(P8)をそれぞれ取り込み、それらの
平均レベルLavを算出する。最大値検出部32及び最小
値検出部33は、画像信号Y(P1)〜Y(P8)のうちの最大
レベルLmax及び最小レベルLminをそれぞれ検出する。
ら入力される最小レベルLminを最大値検出部32から
入力される最大レベルLmaxから減算し、それらの差Δ
Lを算出する。そして、第1の加算器36は、平均値算
出部31から入力される平均レベルLavに差ΔLを加算
し、白欠陥を判定するための判定基準値Lwを生成す
る。また、第2の減算器35は、平均値算出部31から
入力される平均レベルLavから第1の減算器34から入
力される差ΔLを減算し、黒欠陥を判定するための判定
基準値Lbを生成する。
ら入力される判定基準値Lbと目標画素P0に対応する画
像信号Y(P0)とを比較し、画像信号Y(P 0)のレベルが
判定基準値Lbに達していなかったとき、即ち、目標画
素P0が黒欠陥であると判定されたときに立ち上げられ
る検出出力Dbを発生する。第2の比較器38は、加算
器36から入力される判定基準値Lwと目標画素P0に対
応する画像信号Y(P0)とを比較し、画像信号Y(P0)のレ
ベルが判定基準値Lwに達しなかったとき、即ち、目標
画素P0が白欠陥であると判定されたときに立ち上げら
れる検出出力Dwを発生する。
と、これらのレベルから算出される画素欠陥の判定レベ
ルとの関係を示す図であり、図6は、欠陥判定動作の動
作ステップを示すフローチャートである。これらの図に
おいては、図3に示すように、目標画素P0に対して、
目標画素P0に隣接する8個の周辺画素P1〜P8を参照
して画素欠陥の判定を行う場合を示している。
31において、周辺画素P1〜P8を表す8画素分の画像
信号Y(P1)〜Y(P8)の平均レベルLavを算出する。第2
のステップS2では、最大値検出回路32及び最小値検
出回路33において、周辺画素P1〜P8を表す8画素分
の画像信号Y(P1)〜Y(P8 )の最大レベルLmax及び最小
レベルLminを検出する。以上の第1のステップS1及
び第2のステップS2については、順不同で差し支えな
い。
4において、最大レベルLmaxから最小レベルLminを減
算し、両レベルの差ΔLを算出する。第4のステップS
4では、第2の減算器35において、平均レベルLavか
ら差ΔLを減算し、黒欠陥を検出するための第1の判定
基準値Lbを生成し、加算器36において、平均レベル
Lavに差ΔLを加算し、白欠陥を検出するための第2の
判定基準値Lwを生成する。そして、第5のステップS
5では、第1及び第2の比較器37、38において、第
1及び第2の判定基準値Lb、Lwを目標画素P0の画像
信号Y(P0)と比較して画素欠陥を判定し、検出出力D
b、Dwを発生する。
第1の判定基準値Lw及び第2の判定基準値Lbは、周辺
画素の状況によって変化し、常に最適な値に保たれるこ
とになる。ここで、判定基準値Lw、Lbについては、周
辺画素のレベル差が小さいとき、平均レベルLavに近い
値となり、周辺画素のレベル差が大きいときには、平均
レベルLavから離れた値となる。従って、画面上で濃淡
の差が小さい領域では判定基準値Lw、Lbの範囲が狭く
なり、逆に、濃淡の差が大きい領域では判定基準値L
w、Lbの範囲が広くなるため、視覚的に目立ちやすい画
素欠陥を効率よく検出できる。
レス情報を生成するための回路の一例を示すブロック図
である。このアドレス情報を生成する回路は、水平カウ
ンタ51、垂直カウンタ52、水平データラッチ53及
び垂直データラッチ54より構成される。
に従うタイミングでリセットされ、欠陥検出回路12の
検出動作に同期した一定周期のクロックCK1に従うタ
イミングでカウントアップされる。これにより、水平カ
ウンタ51は、各水平走査期間に、1ライン分の画素数
だけカウント動作を繰り返し、水平方向の画素番号をカ
ウントする。垂直カウンタ52は、垂直同期信号VD1
に従うタイミングでリセットされ、水平同期信号HD1
に従うタイミングでカウントアップされる。これによ
り、垂直カウンタ51は、各垂直走査期間に、1画面分
の水平走査線数だけカウント動作を繰り返し、垂直方向
の画素番号をカウントする。
1に接続され、検出出力Db、Dwの何れかに応答して水
平カウンタ51のカウント値を取り込む。これにより、
水平データラッチ53から、検出出力Db、Dwの立ち上
がりのタイミング、即ち、欠陥検出回路12で検出され
た画素欠陥の水平方向の位置を示す水平アドレス信号F
hが取り出される。垂直データラッチ54は、垂直カウ
ンタ52に接続され、水平データラッチ53と同様に、
検出出力Db、Dwの何れかに応答して垂直カウンタ52
のカウント値を取り込む。これにより、垂直データラッ
チ54から、検出出力Db、Dwの立ち上がりのタイミン
グ、即ち、欠陥検出回路12で検出された画素欠陥の垂
直方向の位置を示す垂直アドレス信号Fvが取り出され
る。
画面を考えた場合、水平カウンタ51は、「1」〜
「8」の範囲でカウントを繰り返し、垂直カウンタ52
は、「1」〜「6」の範囲でカウントを繰り返す。そこ
で、3行3列目に画素欠陥があったとすれば、検出出力
Db、Dwの立ち上がりで水平カウンタ51のカウント値
を水平データラッチ53に取り込むと、水平アドレス信
号Fhとして「3」が出力される。そして、検出出力D
b、Dwの立ち上がりで垂直カウンタ52のカウント値を
垂直データラッチ54に取り込むと、垂直アドレス信号
Fvとして「3」が出力される。このようにして出力さ
れるアドレス信号Fh、Fvは、画素欠陥である可能性を
含む候補を示すもので、欠陥判定回路14に供給され
る。
示すブロック図である。この欠陥補正回路16は、第1
〜第4の除算器61〜64、第1〜第3の加算器65〜
67、セレクタ68及び比較器69より構成される。こ
の欠陥補正回路15においては、目標画素P0の上下に
位置する周辺画素P2、P7の画像信号Y(P2)、Y(P7)
と、上下に位置する周辺画素P4、P5の画像信号Y(P
4)、Y(P5)とに基づいて補正信号Y(c)を生成する場合
を示している。
回路11から入力される画像信号Y(P2)、Y(P7)、Y(P
4)、Y(P5)をそれぞれ1/4にする。第1の加算器65
は、第1及び第2の除算器61、62の除算結果を加算
し、第2の加算器66は、第3及び第4の除算器63、
64の除算結果を加算する。そして、第3の加算器67
は、第1の加算器65の加算結果と第2の加算器66に
加算結果とを加算し、補正信号Y(c)を生成する。
る選択制御信号Sに応答して、目標画素P0の画像信号
Y(P0)または補正信号Y(c)の何れかを選択し、画素欠
陥を補正した画像信号Y'(P0)として出力する。
されたアドレス情報に基づく水平位置情報Fh及び垂直
位置情報Fvを、水平走査周期で変化する水平参照情報
Rh及び垂直参照情報Rvと比較し、それらが互いに一致
したときに立ち上げられる選択制御信号Sを発生する。
ここで用いられる水平参照情報Rh及び垂直参照情報Rv
については、図7に示すアドレス発生回路の水平カウン
タ51及び垂直カウンタ52を用いて生成することがで
きる。
13に記憶された、画素欠陥の位置を示すアドレス情報
に従う位置情報Fh、Fvと参照情報Rh、Rvとが一致し
たタイミングで、目標画素P0の画像信号Y(P0)が補正
信号Y(c)に置き換えられる。この結果、画素欠陥は、
その周辺画素の情報によって補正されることになる。
2の実施形態を示すブロック図である。この実施形態に
おいては、欠陥判定回路14’が、目標画素の欠陥を判
定するとき、画素欠陥の連続性に加えて、画像信号Y
(n)を得る撮像装置の撮像条件を用いるように構成して
いる。なお、欠陥判定回路14’以外の各部について
は、図1に示す第1の実施形態の画像信号処理装置と同
一である。
3に記憶された欠陥候補のアドレス情報に基づいて、欠
陥画素の判定を繰り返し、アドレス情報を更新する。こ
の欠陥画素の判定においては、欠陥検出回路12におけ
る画素欠陥の判定と同様の判定を行うと共に、画像信号
Y(n)を得る撮像装置の動作状態を示す情報を受け取
り、それぞれの情報の内容に応じて判定基準を変更する
ように構成している。即ち、被写体画像の輝度が高いと
きには白欠陥が目立たず、逆に、被写体画像の輝度が低
いときには黒欠陥が目立たないことから、単純に画像信
号Y(n)のレベルのみで画素欠陥の判定を行うと、真の
欠陥が欠陥として判定されないおそれがある。そこで、
画像信号Y(n)を得る撮像装置の動作状態を示す露光制
御情報E(m)や利得制御情報G(m)等に基づいて、画素欠
陥の判定基準を変更したり、被写体の状態によっては画
素欠陥の判定動作自体を一時的に停止するように構成し
ている。例えば、露光制御情報E(m)や利得制御情報G
(m)によって推定される被写体輝度がある基準を超える
ときに白欠陥の判定動作を停止し、ある基準に達してい
ないときに黒欠陥の判定動作を停止するように構成す
る。
G(m)の他、撮像装置において撮像制御に用いられる情
報であれば、判定動作に用いることが可能である。例え
ば、撮像装置の光学系の焦点を制御するためのフォーカ
ス制御情報を用い、焦点が定まる前に集中して欠陥判定
を行うように構成する。真の画素欠陥であれば、撮像装
置の光学系の焦点が定まっていないときでも、周辺の画
素とは明らかな差が生じるため、焦点が定まる前に欠陥
判定を行えば、より正確な判定をすることが可能にな
る。
を画像信号Y(n)のレベルのみで判定し、その判定結果
から得られるアドレス情報に露光制御情報E(m)や利得
制御情報G(m)等の制御情報を付加するようにしてもよ
い。即ち、画素欠陥を示すアドレス情報に、撮像制御情
報を付加しておくことにより、欠陥補正を行う時点でア
ドレス情報によって示される画素に対して画素欠陥とし
ての補正処理を施すか否かを選択することができるよう
になる。
3の実施形態を示すブロック図である。この実施形態に
おいては、図1に示す第1の実施形態の画像信号処理装
置の構成に加えて、エリア指定回路17を設け、欠陥検
出回路12の検出動作を画像の特定エリア毎に制限する
ようにしている。ここで、欠陥判定回路14について
は、図10に示す第2の実施形態と同様に、画素欠陥の
判定を行う際、画像信号Y(n)のレベルに加えて、画像
信号Y(n )を得る撮像装置の撮像情報を用いるようにす
ることも可能である。
水平走査及び垂直走査のタイミングに同期し、1画面を
複数の領域に分割するように欠陥検出回路12に対して
指示を与える。例えば、水平走査期間を4分割すると共
に、垂直走査期間を3分割することで、1画面を3行×
4列からなる12の領域に分割し、そのうちの1つの分
割領域のみで欠陥検出回路12の欠陥検出動作を許可す
るように構成される。そして、エリア指定回路17は、
欠陥登録回路15からの指示、即ち、1つの分割領域の
画素欠陥のアドレスが確定し、欠陥登録回路15が画素
欠陥のアドレス情報の登録を完了したとき、画素欠陥の
検出を行う分割領域を変更する。なお、分割領域内に画
素欠陥が検出されず、欠陥登録回路15が画素欠陥の登
録を行わなかった場合でも、所定の欠陥検出動作が完了
した時点で、画素欠陥の検出を行う分割領域が変更され
る。これにより、欠陥検出回路12では、画面上の複数
の分割領域に対して、時分割で順次画素欠陥の検出が行
われるようになる。
で動作させるようにすれば、欠陥検出回路12で検出さ
れる欠陥候補を記憶する位置メモリ13の容量を節約す
ることができる。即ち、欠陥検出回路12では、最終的
に画素欠陥として登録される画素よりも多くの画素が検
出されるため、その画素のアドレスを一時的に記憶して
おくためには、位置メモリ回路13、特に一次メモリ部
13aの容量を大きく設定しなければならなくなる。そ
こで、欠陥検出回路12を時分割で動作させるようにす
れば、一時メモリ部13aの容量を節約でき、回路規模
の増大を防止することができる。
4の実施形態を示すブロック図である。この実施形態に
おいては、図1に示す第1の実施形態の画像信号処理装
置の構成に加えて、インタフェース回路18を設けるよ
うにしている。ここで、欠陥判定回路14については、
図10に示す第2の実施形態と同様に、画素欠陥の判定
を行う際、画像信号Y(n)のレベルに加えて、画像信号
Y(n)を得る撮像装置の撮像情報を用いるようにするこ
とも可能である。さらには、図11に示す第3の実施形
態と同様に、エリア指定回路17を設け、欠陥検出回路
12を画面上の分割領域毎に動作させるようにしてもよ
い。
19に接続され、そのシリアルバス19を介して画像信
号処理装置を外部のコンピュータ機器と接続でできるよ
うにしている。これにより、シリアルバス19に接続さ
れるコンピュータ機器から、位置メモリ回路13のアド
レス情報や欠陥判定回路14の判定基準の設定を変更で
きるようになる。例えば、第2の実施形態において、欠
陥判定回路12に与えられる露光制御情報E(m)や利得
制御情報G(m)を判定に用いるか否かの選択や、用いる
場合には、何れの情報を優先させるか等をシリアルバス
及びインタフェース回路18を介してコンピュータ機器
から設定できるようになる。また、第3の実施形態にお
いては、エリア指定回路17の分割範囲をシリアルバス
及びインタフェース回路18を介してコンピュータ機器
から供給して変更できるようになる。
ては、バスラインを介して各部に接続する他に、欠陥判
定回路14や欠陥登録回路15に対して直接接続するよ
うにしてもよい。
方法を示すフローチャートである。この検出方法は、図
1(または図10、図11、図12の何れか)に示す欠
陥検出回路12、位置メモリ回路13、欠陥判定回路1
4、欠陥登録回路15及び欠陥補正回路16により実行
される。
2において、画素欠陥候補とすべきかどうかを検出し、
画素欠陥の可能性があるもののみ、その位置を示すアド
レス情報を位置メモリ回路13に記憶させる。続く第2
のステップS2では、位置メモリ回路13に記憶された
アドレス情報によって指定される画素の画像信号Y(n)
について、欠陥判定回路14が欠陥検出回路12と同様
の検出処理を行うことで、画素欠陥候補が真の画素欠陥
であるか否かの判定を行う。そして、第3のステップS
3では、画素欠陥であると判定された画素について、判
定結果が記憶される。
が何回目かを判定し、予め設定される規定回数以内であ
れば第2のステップS2に戻って欠陥候補の判定を繰り
返し、規定回数に達していれば、第5のステップS5に
進む。第2のステップS2に戻った場合、再度、画素欠
陥候補に対する判定が行われ、続く第3のステップS3
において、その判定結果が記憶される。この第3のステ
ップS3における判定結果の記憶は、第2のステップS
2で判定が繰り返される回数分だけ順次追加するように
行われる。
された画素欠陥候補の判定で、所定の基準値を超えてい
るか否かが判定される。即ち、規定回数だけ画素欠陥候
補の判定を行い、そのうち、画素欠陥であると(真であ
る)判定された回数が基準値として設定される回数を越
えたものについて、真の画素欠陥であるとして、欠陥登
録回路15が補正処理を施すべきアドレスを位置メモリ
回路13に記憶させる。そして、第6のステップS6で
は、位置メモリ回路13に登録されたアドレスの画素に
対し、欠陥補正回路16によって補正処理が施され、画
素欠陥が補正された画像信号Y'(n)が生成される。
ップS6によれば、1画面の画素の状況のみでなく、複
数の画面にわたる画素の状況から画素欠陥を判定できる
ため、被写体の状態に起因する偶発的な画素欠陥を区別
することができる。
については、回数を多くするほど判定に要する時間は長
くなるが、より正確な判定結果を得られるようになる。
また、第5のステップS5における欠陥登録動作では、
判定回数から画素欠陥が真であるか否かを決定する他、
図10に示す第2の実施形態において得られるような露
光制御情報E(m)や利得制御情報情報G(m)、さらには、
フォーカス制御情報等の各種制御情報を含めて判定すれ
ば、判定制度をさらに向上できる。
方法を示すフローチャートである。この検出方法は、図
13の場合と同様、図1(または図10、図11、図1
2の何れか)に示す欠陥検出回路12、位置メモリ回路
13、欠陥判定回路14、欠陥登録回路15及び欠陥補
正回路16により実行される。
2において、初期画面の画素欠陥候補を検出し、1画面
(あるいは分割領域)の全ての画素欠陥候補を示すアド
レス情報を位置メモリ回路13に記憶する。第2のステ
ップS2では、欠陥判定回路14において、次の画面の
画素欠陥候補を検出し、続く第3のステップS3で、第
2のステップS2で検出された画素欠陥候補が第1のス
テップS1で位置メモリ回路13に記憶された最初の画
面の画素欠陥のアドレス情報と一致するか否かを判定す
る。
S3において一致が確認されたアドレス情報を残し、一
致が確認できなかったアドレス情報を廃棄するようにし
て欠陥情報、即ち、位置メモリ回路13の情報を更新す
る。あるいは、第3のステップS3において、所定の回
数(画面数)連続して一致が確認できたアドレス情報の
みを残すか、所定の回数(画面数)連続して一致が確認
できなかったアドレス情報のみを廃棄する。このアドレ
ス情報を残すか廃棄するかの選択についても、位置メモ
リ回路13の情報を書き換えるか否かによって行われ
る。
が何回目かを判定し、予め設定される規定回数以内であ
れば第2のステップS2に戻って欠陥候補の検出を繰り
返し、規定回数に達していれば、第6のステップS6に
進む。第6のステップS6では、位置メモリ回路13に
記憶されたアドレス情報が欠陥登録回路15に取り込ま
れて真の画素欠陥であるとして登録される。そして、第
7のステップS7では、欠陥登録回路15に登録された
アドレスの画素に対して、欠陥補正回路16によって補
正処理が施され、画素欠陥が補正された画像信号Y'(n)
が生成される。
ップS7によれば、図13に示す検出方法と同様、1画
面の画素の状況のみでなく、複数の画面にわたる画素の
状況から画素欠陥を判定できるため、被写体の状態に起
因する偶発的な画素欠陥を区別することができる。
目標画素に隣接する3行×3列の合計8個の周辺画素の
レベルに基づいて決定する場合を例示したが、それ以
上、例えば、3行×5列の14個の周辺画素や、5行×
5列の24個の周辺画素のレベルに基づいて判定基準値
を設定するようにしてもよい。
更新することができるため、撮像素子の経時変化によっ
て画素欠陥が増えた場合でも、特に設定を変更する必要
なく、画素欠陥の補正ができる。
生成する撮像装置の制御情報を用いるようにしたこと
で、より的確な判定が可能になる。そして、画素欠陥の
判定を、画面を分割して行うようにしたことで、画素欠
陥情報を記憶する位置メモリ回路の容量を節約すること
ができる。さらに、各制御情報の読み出し及び書き込み
が可能なインタフェース回路を接続したことで、外付け
されるコンピュータ機器から制御情報を容易に変更する
ことができるようになり、装置の汎用性を拡大できる。
示すブロック図である。
である。
図である。
である。
る。
である。
を示すブロック図である。
を示すブロック図である。
を示すブロック図である。
るフローチャートである。
るフローチャートである。
る。
Claims (16)
- 【請求項1】 画面を表示する画像信号に基づいて、画
面上の画素欠陥を検出する画像信号処理装置であって、
目標画素に対応する画像信号のレベルを目標画素に隣接
する複数の周辺画素に対応する画像信号のレベルに基づ
いて設定される判定基準値と比較して欠陥候補を検出す
る検出回路と、上記検出回路により検出された欠陥候補
の複数の画面にわたる連続性に基づいて画素欠陥を判定
する判定回路と、上記判定回路で判定された画素欠陥の
位置を示す欠陥情報を記憶するメモリ回路と、を備え、
上記メモリ回路に記憶された欠陥情報に応じて上記目標
画素を補正することを特徴とする画像信号処理装置。 - 【請求項2】 上記検出回路は、上記複数の周辺画素の
信号レベルの最大値と最小値との差を上記複数の周辺画
素の信号レベルの平均値に対して加算または減算して判
定基準値を設定することを特徴とする請求項1に記載の
画像信号処理装置。 - 【請求項3】 上記検出回路は、上記判定基準値を多段
階に設定し、各段階毎に欠陥候補を検出することを特徴
とする請求項2に記載の画像信号処理装置。 - 【請求項4】 上記判定回路は、複数フィールドで欠陥
判定動作を継続して画素欠陥の位置を決定した後、上記
検出回路と共に動作を停止することを特徴とする請求項
1乃至請求項3の何れかに記載の画像信号処理装置。 - 【請求項5】 上記判定回路は、所定の周期で欠陥判定
動作を繰り返すことを特徴とする請求項4に記載の画像
信号処理装置。 - 【請求項6】 上記メモリ回路は、上記欠陥情報を上記
検出回路の検出結果と共に一時的に記憶する第1のメモ
リ部と、上記第1のメモリ部から上記画素欠陥の位置を
取り込んで記憶する不揮発性の第2のメモリ部と、を有
することを特徴とする請求項1に記載の画像信号処理装
置。 - 【請求項7】 上記判定回路は、上記画像信号を得る撮
像装置の撮像制御情報を受け、この撮像制御情報と上記
判定基準値とに基づいて画素欠陥の判定を行うことを特
徴とする請求項1に記載の画像信号処理装置。 - 【請求項8】 上記判定回路は、上記画像信号を得る撮
像装置の撮像制御情報を受け、この撮像制御情報から推
定される被写体の輝度が所定の範囲のときに上記判定基
準値に基づいて画素欠陥の判定を行うことを特徴とする
請求項7に記載の画像信号処理装置。 - 【請求項9】 上記判定回路は、1画面を複数の領域に
分割した各領域毎に欠陥判定動作を行うことを特徴とす
る請求項1に記載の画像信号処理装置。 - 【請求項10】 上記判定回路は、1画面を複数の領域
に分割した各領域毎に対して時分割で繰り返し欠陥判定
動作を行うことを特徴とする請求項9に記載の画像信号
処理装置。 - 【請求項11】 上記判定回路及び上記メモリ回路の少
なくとも一方は、外部機器が接続可能なバスに接続さ
れ、外部機器から画素欠陥の判定条件が変更されること
を特徴とする請求項1に記載の画像信号処理装置。 - 【請求項12】 1画面を表示する画像信号に基づい
て、画面を構成する複数の画素に含まれる画素欠陥を検
出する検出方法であって、目標画素の信号レベルを目標
画素に隣接する複数の周辺画素の信号レベルに基づいて
設定される判定基準値と比較して欠陥候補を検出し、欠
陥候補の位置を記憶する第1のステップと、上記第1の
ステップで記憶された位置の目標画素の信号レベルを上
記判定基準値と再度比較する第2のステップと、上記第
2のステップの比較結果を記憶する第3のステップと、
を含み、上記第2及び第3のステップを複数回繰り返し
て得られる複数の比較結果に応じて画素欠陥を検出する
ことを特徴とする画素欠陥の検出方法。 - 【請求項13】 上記複数の周辺画素の信号レベルの最
大値と最小値との差を上記複数の周辺画素の信号レベル
の平均値に対して加算または減算して判定基準値を設定
することを特徴とする請求項12に記載の画素欠陥の検
出方法。 - 【請求項14】 上記第2及び第3のステップを複数回
繰り返して得られる複数の比較結果と共に上記画像信号
を得る撮像装置の撮像条件に応じて画素欠陥を検出する
ことを特徴とする請求項12に記載の画素欠陥の検出方
法。 - 【請求項15】 1画面を表示する画像信号から、画面
を構成する複数の画素に含まれる画素欠陥を検出する検
出方法であって、目標画素の信号レベルを目標画素に隣
接する複数の周辺画素の信号レベルに基づいて設定され
る判定基準値と比較して第1の欠陥候補を検出し、上記
第1の欠陥候補の位置を記憶する第1のステップと、目
標画素の信号レベルを目標画素に隣接する複数の周辺画
素の信号レベルに基づいて設定される判定基準値と比較
して第2の欠陥候補を検出する第2のステップと、上記
第1の画素欠陥候補の位置と上記第2の欠陥候補の位置
との一致を判定する第3のステップと、上記第1のステ
ップで記憶された第1の欠陥候補の位置を、上記第3の
ステップで一致すると判定された位置を残して更新する
第4のステップと、を含み、上記第2乃至第3のステッ
プを繰り返すことを特徴とする画素欠陥の検出方法。 - 【請求項16】 上記複数の周辺画素の信号レベルの最
大値と最小値との差を上記複数の周辺画素の信号レベル
の平均値に対して加算または減算して判定基準値を設定
することを特徴とする請求項15に記載の画素欠陥の検
出方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000282166A JP3773773B2 (ja) | 1999-10-27 | 2000-09-18 | 画像信号処理装置及び画素欠陥の検出方法 |
TW089120201A TW479432B (en) | 1999-10-27 | 2000-09-29 | Picture signal processing apparatus and method for detecting pixel defect |
US09/696,393 US7092018B1 (en) | 1999-10-27 | 2000-10-25 | Image signal processor and deficient pixel detection method |
KR10-2000-0063103A KR100437434B1 (ko) | 1999-10-27 | 2000-10-26 | 화상 신호 처리 장치 및 화소 결함의 검출 방법 |
CNB001337181A CN1164083C (zh) | 1999-10-27 | 2000-10-27 | 影像信号处理装置及像素缺陷的检测方法 |
US11/426,754 US7755680B2 (en) | 1999-10-27 | 2006-06-27 | Image signal processor and deficient pixel detection method |
US11/426,759 US7746393B2 (en) | 1999-10-27 | 2006-06-27 | Image signal processor and deficient pixel detection method |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30580599 | 1999-10-27 | ||
JP11-305805 | 1999-10-28 | ||
JP11-307125 | 1999-10-28 | ||
JP30712599 | 1999-10-28 | ||
JP2000282166A JP3773773B2 (ja) | 1999-10-27 | 2000-09-18 | 画像信号処理装置及び画素欠陥の検出方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006002720A Division JP2006174497A (ja) | 1999-10-27 | 2006-01-10 | 画像信号処理装置 |
JP2006002721A Division JP4166246B2 (ja) | 1999-10-27 | 2006-01-10 | 画像信号処理装置及び画素欠陥の検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001197372A true JP2001197372A (ja) | 2001-07-19 |
JP3773773B2 JP3773773B2 (ja) | 2006-05-10 |
Family
ID=27338788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000282166A Expired - Lifetime JP3773773B2 (ja) | 1999-10-27 | 2000-09-18 | 画像信号処理装置及び画素欠陥の検出方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US7092018B1 (ja) |
JP (1) | JP3773773B2 (ja) |
KR (1) | KR100437434B1 (ja) |
CN (1) | CN1164083C (ja) |
TW (1) | TW479432B (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003037781A (ja) * | 2001-07-25 | 2003-02-07 | Olympus Optical Co Ltd | 撮像素子の欠陥検出方法及び撮像装置 |
JP2003046871A (ja) * | 2001-08-01 | 2003-02-14 | Olympus Optical Co Ltd | 撮像装置 |
JP2005284355A (ja) * | 2004-03-26 | 2005-10-13 | Pioneer Electronic Corp | 画像情報補正装置、補正方法、補正プログラム、画像入力装置 |
JP2005354278A (ja) * | 2004-06-09 | 2005-12-22 | Seiko Epson Corp | 撮像手段の撮像した画像の画像データを処理する画像データ処理 |
JP2006166194A (ja) * | 2004-12-09 | 2006-06-22 | Sony Corp | 画素欠陥検出回路及び画素欠陥検出方法 |
JP2006211069A (ja) * | 2005-01-26 | 2006-08-10 | Sony Corp | 欠陥検出装置および欠陥検出方法、欠陥補正装置および欠陥補正方法、ならびに撮像装置 |
WO2007133027A1 (en) * | 2006-05-12 | 2007-11-22 | Mtekvision Co., Ltd. | Method and apparatus for storing location address of defective pixel |
JP2010187408A (ja) * | 2010-05-17 | 2010-08-26 | Sony Corp | 欠陥検出装置および欠陥検出方法、ならびに撮像装置 |
CN102055918A (zh) * | 2009-11-02 | 2011-05-11 | 索尼公司 | 像素缺陷检测和校正设备和方法、成像装置、和程序 |
JPWO2018042815A1 (ja) * | 2016-08-31 | 2019-06-24 | ソニー株式会社 | 画像処理装置と画像処理方法 |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7365783B2 (en) * | 2001-03-16 | 2008-04-29 | Olympus Corporation | Image pickup apparatus which stores initial defect data concerning image pickup device and data on later developed defects |
KR20040038193A (ko) * | 2002-10-31 | 2004-05-08 | 주식회사 하이닉스반도체 | 이미지센서의 불량픽셀 보상장치 |
TWI248297B (en) * | 2003-01-17 | 2006-01-21 | Fuji Photo Film Co Ltd | Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information |
JP3914216B2 (ja) * | 2003-05-15 | 2007-05-16 | 松下電器産業株式会社 | 画像欠陥補正装置、及び、画像欠陥補正方法 |
US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
KR20050015723A (ko) * | 2003-08-07 | 2005-02-21 | 삼성전자주식회사 | 동영상 화면 재생시 발생하는 불량 요소 검출 장치 및검출 방법 |
JP2005101829A (ja) * | 2003-09-24 | 2005-04-14 | Sanyo Electric Co Ltd | 信号処理装置 |
JP4347721B2 (ja) * | 2004-02-27 | 2009-10-21 | オリンパス株式会社 | 画素欠陥検出装置と方法および撮像装置 |
JP4508740B2 (ja) * | 2004-06-22 | 2010-07-21 | キヤノン株式会社 | 画像処理装置 |
JP2006025148A (ja) * | 2004-07-07 | 2006-01-26 | Sony Corp | 信号処理装置及び方法 |
US7812867B2 (en) * | 2004-10-29 | 2010-10-12 | Canon Kabushiki Kaisha | Image processing apparatus adapted to correct image signal |
CN100366053C (zh) * | 2005-04-08 | 2008-01-30 | 北京中星微电子有限公司 | 一种对数字图像进行坏点补偿的方法 |
JP2006345279A (ja) * | 2005-06-09 | 2006-12-21 | Fujifilm Holdings Corp | 固体撮像素子の画素欠陥検出方法 |
US7545396B2 (en) * | 2005-06-16 | 2009-06-09 | Aurora Systems, Inc. | Asynchronous display driving scheme and display |
JP4657869B2 (ja) * | 2005-09-27 | 2011-03-23 | シャープ株式会社 | 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 |
KR100779312B1 (ko) * | 2005-09-27 | 2007-11-23 | 샤프 가부시키가이샤 | 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법 |
US8571346B2 (en) * | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
US7885458B1 (en) | 2005-10-27 | 2011-02-08 | Nvidia Corporation | Illuminant estimation using gamut mapping and scene classification |
US7750956B2 (en) | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
JP4440239B2 (ja) * | 2006-08-18 | 2010-03-24 | 富士フイルム株式会社 | 距離画像作成方法及び距離画像センサ、及び撮影装置 |
US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
JP4305777B2 (ja) * | 2006-11-20 | 2009-07-29 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN101212703B (zh) * | 2006-12-29 | 2010-05-19 | 华晶科技股份有限公司 | 影像坏点像素实时检测方法 |
US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
JP4686496B2 (ja) * | 2007-03-30 | 2011-05-25 | 株式会社東芝 | 撮像装置 |
JP5260979B2 (ja) * | 2007-05-02 | 2013-08-14 | キヤノン株式会社 | 撮像システム、信号処理回路、及び信号処理方法 |
US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
JP2008301142A (ja) * | 2007-05-31 | 2008-12-11 | Fujitsu Microelectronics Ltd | 固体撮像素子および画素補正方法 |
US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
CN101329281B (zh) | 2007-06-20 | 2011-08-10 | 佛山普立华科技有限公司 | 影像感测晶片污点检测系统及其检测方法 |
US8724895B2 (en) | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
US8395638B2 (en) * | 2007-11-29 | 2013-03-12 | Datacolor Holding Ag | Method and apparatus for calibrating a display-coupled color measuring device |
US8780128B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
JPWO2009128194A1 (ja) * | 2008-04-16 | 2011-08-04 | パナソニック株式会社 | 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法 |
JP2009302722A (ja) * | 2008-06-11 | 2009-12-24 | Nec Electronics Corp | 欠陥画素処理装置および欠陥画素処理方法 |
JP5222654B2 (ja) * | 2008-07-31 | 2013-06-26 | 株式会社エルモ社 | 撮像装置の欠陥画素検出装置および撮像装置のマーキング装置 |
CN101764926B (zh) * | 2008-09-29 | 2012-05-30 | 凹凸电子(武汉)有限公司 | 缺陷像素检测纠正设备、系统及检测纠正缺陷像素的方法 |
US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
EP2257044A1 (en) * | 2009-05-29 | 2010-12-01 | Thomson Licensing SA | Method and device for processing a raw output value of a target pixel |
KR100947486B1 (ko) * | 2009-07-14 | 2010-03-17 | 주식회사 코아로직 | 결함 픽셀 보정 장치 및 방법 |
US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
JP2011097404A (ja) * | 2009-10-30 | 2011-05-12 | Sony Corp | 固体撮像装置及びデータ処理装置 |
JP5269841B2 (ja) * | 2010-07-22 | 2013-08-21 | 株式会社東芝 | 画像処理装置 |
CN102401906B (zh) * | 2010-09-19 | 2014-03-12 | 同方威视技术股份有限公司 | 辐射探测器及其成像装置、电极结构和获取图像的方法 |
KR20120114021A (ko) * | 2011-04-06 | 2012-10-16 | 삼성디스플레이 주식회사 | 불량 픽셀 보정 방법 |
US8717567B2 (en) | 2011-08-31 | 2014-05-06 | Datacolor Holding Ag | Method and apparatus for calibrating a color measurement device |
JP2014022801A (ja) * | 2012-07-13 | 2014-02-03 | Sony Corp | 情報処理装置、情報処理方法、および情報処理プログラム |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
JP2014110592A (ja) * | 2012-12-04 | 2014-06-12 | Toshiba Corp | 画像処理装置 |
US9870598B2 (en) | 2013-04-26 | 2018-01-16 | Nvidia Corporation | Low complexity adaptive filtering for mobile captures |
US9317736B1 (en) | 2013-05-08 | 2016-04-19 | Amazon Technologies, Inc. | Individual record verification based on features |
US9418400B2 (en) | 2013-06-18 | 2016-08-16 | Nvidia Corporation | Method and system for rendering simulated depth-of-field visual effect |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
WO2015069567A1 (en) * | 2013-11-05 | 2015-05-14 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Adaptive detection sensor array and method of providing and using the same |
JP6579744B2 (ja) * | 2014-11-28 | 2019-09-25 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の駆動方法、及び撮像装置の検査方法 |
JP2017055309A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2017055308A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN106791852B (zh) * | 2016-12-14 | 2019-08-16 | 深圳市迪威码半导体有限公司 | 图像处理方法及装置 |
CN106878636B (zh) * | 2017-02-13 | 2019-11-29 | 建荣半导体(深圳)有限公司 | 缺陷像素点检测方法、装置及图像处理芯片 |
CN106908716B (zh) * | 2017-03-23 | 2019-05-31 | 赵杰 | 一种用于线性传感器的测试方法 |
US10270995B1 (en) * | 2017-10-19 | 2019-04-23 | Kromek Group, PLC | Automated non-conforming pixel masking |
CN108198150B (zh) * | 2018-01-30 | 2022-03-18 | 努比亚技术有限公司 | 一种图像坏点的消除方法、终端及存储介质 |
JP7180079B2 (ja) * | 2018-02-28 | 2022-11-30 | セイコーエプソン株式会社 | 回路装置及び電子機器 |
JP7286309B2 (ja) * | 2018-12-18 | 2023-06-05 | キヤノン株式会社 | 光電変換装置、光電変換システムおよび信号処理装置 |
CN111161264B (zh) * | 2019-10-29 | 2022-10-28 | 福州大学 | 一种对含有缺陷的tft电路图像的分割方法 |
CN110940679A (zh) * | 2019-12-09 | 2020-03-31 | 南京理工大学 | 基于fpga的电子内窥镜裂纹检测系统及方法 |
TWI753410B (zh) * | 2020-04-24 | 2022-01-21 | 晶相光電股份有限公司 | 影像感測系統以及缺陷感光元件偵測以及修正方法 |
CN114023250A (zh) * | 2021-11-10 | 2022-02-08 | 成都利普芯微电子有限公司 | 一种驱动芯片、显示组件及驱动方法 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0797838B2 (ja) * | 1986-09-30 | 1995-10-18 | キヤノン株式会社 | 撮像装置 |
US5008698A (en) * | 1987-09-28 | 1991-04-16 | Kyocera Corporation | Control apparatus for image sensor |
US4920428A (en) * | 1988-07-08 | 1990-04-24 | Xerox Corporation | Offset, gain and bad pixel correction in electronic scanning arrays |
US5185883A (en) * | 1990-10-26 | 1993-02-09 | Data Translation, Inc. | System for locating failure signals by comparing input data with stored threshold value and storing failure addresses in alternating buffers |
EP0496573B1 (en) * | 1991-01-24 | 1995-12-20 | Matsushita Electric Industrial Co., Ltd. | Pixel defect removing circuit for solid-state image pickup device |
WO1992021204A2 (en) * | 1991-05-10 | 1992-11-26 | Eastman Kodak Company | Customizable timing and control asic for electronic imaging |
US5394525A (en) * | 1991-07-16 | 1995-02-28 | Canon Kabushiki Kaisha | Image memorizing device utilizing the significance of unavailable data |
US5526092A (en) * | 1992-09-11 | 1996-06-11 | Nikon Corporation | Photometric control device for camera |
JP3257131B2 (ja) * | 1993-03-30 | 2002-02-18 | ソニー株式会社 | 固体撮像装置の自動欠陥検出装置及び固体撮像装置 |
JP3014895B2 (ja) * | 1993-06-02 | 2000-02-28 | 株式会社日立製作所 | ビデオカメラ |
JPH0723297A (ja) | 1993-06-29 | 1995-01-24 | Sony Corp | 固体撮像素子の欠陥検出装置 |
KR970003744B1 (en) | 1993-11-26 | 1997-03-21 | Lg Semicon Co Ltd | Semiconductor device |
JP3125124B2 (ja) * | 1994-06-06 | 2001-01-15 | 松下電器産業株式会社 | 欠陥画素傷補正回路 |
KR0144820B1 (ko) | 1994-09-30 | 1998-07-15 | 김광호 | 영상의 노이즈 제거 및 디테일 개선장치 |
US6509927B1 (en) * | 1994-12-16 | 2003-01-21 | Hyundai Electronics America Inc. | Programmably addressable image sensor |
JPH08317292A (ja) | 1995-05-19 | 1996-11-29 | Sony Corp | 固体撮像素子の欠陥検出方法 |
KR0152048B1 (ko) | 1995-06-22 | 1998-10-01 | 김광호 | 고체촬상소자의 결함 자동판별장치 |
US6002433A (en) * | 1995-08-29 | 1999-12-14 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
US5854655A (en) * | 1995-08-29 | 1998-12-29 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
JPH09205586A (ja) | 1996-01-29 | 1997-08-05 | Sony Corp | Ccd固体撮像素子の欠陥画素検出補正システム |
JP3755921B2 (ja) * | 1996-02-29 | 2006-03-15 | 株式会社コダックデジタルプロダクトセンター | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 |
US5982946A (en) * | 1996-09-20 | 1999-11-09 | Dainippon Screen Mfg. Co., Ltd. | Method of identifying defective pixels in digital images, and method of correcting the defective pixels, and apparatus and recording media therefor |
JP3785520B2 (ja) * | 1997-03-19 | 2006-06-14 | コニカミノルタホールディングス株式会社 | 電子カメラ |
JPH1127585A (ja) * | 1997-06-30 | 1999-01-29 | Hitachi Denshi Ltd | 固体撮像素子の欠陥画素検出方法 |
KR19990041744A (ko) * | 1997-11-24 | 1999-06-15 | 구자홍 | 화소 결함 보정 회로 |
JPH11167641A (ja) * | 1997-12-05 | 1999-06-22 | Canon Inc | パターン検出装置、パターン検出方法及びコンピュータ読み取り可能な記憶媒体 |
JPH11183323A (ja) | 1997-12-25 | 1999-07-09 | Canon Inc | 欠陥画素検出装置、欠陥画素検出方法、撮像装置、撮像方法および記憶媒体 |
JP4115574B2 (ja) * | 1998-02-02 | 2008-07-09 | オリンパス株式会社 | 撮像装置 |
JP3544304B2 (ja) * | 1998-08-04 | 2004-07-21 | 日本ビクター株式会社 | 画素欠陥補正装置及び画素欠陥補正方法 |
US6381357B1 (en) * | 1999-02-26 | 2002-04-30 | Intel Corporation | Hi-speed deterministic approach in detecting defective pixels within an image sensor |
JP3717725B2 (ja) * | 1999-10-07 | 2005-11-16 | 三洋電機株式会社 | 画素欠陥検出方法及び画像処理装置 |
-
2000
- 2000-09-18 JP JP2000282166A patent/JP3773773B2/ja not_active Expired - Lifetime
- 2000-09-29 TW TW089120201A patent/TW479432B/zh not_active IP Right Cessation
- 2000-10-25 US US09/696,393 patent/US7092018B1/en not_active Expired - Lifetime
- 2000-10-26 KR KR10-2000-0063103A patent/KR100437434B1/ko active IP Right Grant
- 2000-10-27 CN CNB001337181A patent/CN1164083C/zh not_active Expired - Fee Related
-
2006
- 2006-06-27 US US11/426,759 patent/US7746393B2/en not_active Expired - Fee Related
- 2006-06-27 US US11/426,754 patent/US7755680B2/en not_active Expired - Lifetime
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003037781A (ja) * | 2001-07-25 | 2003-02-07 | Olympus Optical Co Ltd | 撮像素子の欠陥検出方法及び撮像装置 |
JP2003046871A (ja) * | 2001-08-01 | 2003-02-14 | Olympus Optical Co Ltd | 撮像装置 |
JP2005284355A (ja) * | 2004-03-26 | 2005-10-13 | Pioneer Electronic Corp | 画像情報補正装置、補正方法、補正プログラム、画像入力装置 |
US7746392B2 (en) | 2004-06-09 | 2010-06-29 | Seiko Epson Corporation | Image data processing technique for images taken by imaging unit |
JP2005354278A (ja) * | 2004-06-09 | 2005-12-22 | Seiko Epson Corp | 撮像手段の撮像した画像の画像データを処理する画像データ処理 |
JP2006166194A (ja) * | 2004-12-09 | 2006-06-22 | Sony Corp | 画素欠陥検出回路及び画素欠陥検出方法 |
JP4548128B2 (ja) * | 2005-01-26 | 2010-09-22 | ソニー株式会社 | 欠陥検出装置および欠陥検出方法、ならびに撮像装置 |
JP2006211069A (ja) * | 2005-01-26 | 2006-08-10 | Sony Corp | 欠陥検出装置および欠陥検出方法、欠陥補正装置および欠陥補正方法、ならびに撮像装置 |
WO2007133027A1 (en) * | 2006-05-12 | 2007-11-22 | Mtekvision Co., Ltd. | Method and apparatus for storing location address of defective pixel |
CN102055918A (zh) * | 2009-11-02 | 2011-05-11 | 索尼公司 | 像素缺陷检测和校正设备和方法、成像装置、和程序 |
JP2010187408A (ja) * | 2010-05-17 | 2010-08-26 | Sony Corp | 欠陥検出装置および欠陥検出方法、ならびに撮像装置 |
JPWO2018042815A1 (ja) * | 2016-08-31 | 2019-06-24 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US11336849B2 (en) | 2016-08-31 | 2022-05-17 | Sony Corporation | Image processing apparatus and image processing method |
Also Published As
Publication number | Publication date |
---|---|
US7755680B2 (en) | 2010-07-13 |
KR20010067343A (ko) | 2001-07-12 |
US7092018B1 (en) | 2006-08-15 |
KR100437434B1 (ko) | 2004-06-25 |
US20060232691A1 (en) | 2006-10-19 |
CN1164083C (zh) | 2004-08-25 |
TW479432B (en) | 2002-03-11 |
US20060233431A1 (en) | 2006-10-19 |
US7746393B2 (en) | 2010-06-29 |
CN1295255A (zh) | 2001-05-16 |
JP3773773B2 (ja) | 2006-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3773773B2 (ja) | 画像信号処理装置及び画素欠陥の検出方法 | |
JP3785520B2 (ja) | 電子カメラ | |
EP1601187B1 (en) | Method and apparatus for detecting defective pixels in accordance with readout method | |
JP2007053634A (ja) | 撮像装置、欠陥画素補正装置および方法 | |
KR100363359B1 (ko) | 화소 결함 검출 방법 및 화상 처리 장치 | |
JP2011151792A (ja) | 画像処理装置及び方法 | |
JP3227815B2 (ja) | 固体撮像装置 | |
JP3866017B2 (ja) | 欠陥画素検出装置及び欠陥画素検出プログラムが記録された記録媒体 | |
JP4252045B2 (ja) | 画素欠陥補正方法 | |
JP4166246B2 (ja) | 画像信号処理装置及び画素欠陥の検出方法 | |
JP2008011567A (ja) | 画像信号処理装置 | |
JP4313860B2 (ja) | 欠陥画素補正装置及び欠陥画素補正方法 | |
JP2006174497A (ja) | 画像信号処理装置 | |
JP3153949B2 (ja) | 固体撮像素子の欠陥画素の自動検出装置、固体撮像素子の欠陥画素の自動検出方法及び自動欠陥補正装置並びにカメラ | |
JP3947328B2 (ja) | 固体撮像素子の欠陥画素データ補正装置 | |
JP2000101924A (ja) | 画像入力装置における欠陥検出補正装置 | |
JP4390940B2 (ja) | 欠陥画素検出装置 | |
JP3990059B2 (ja) | 撮像デバイスの欠陥画素補正装置および方法 | |
JPH06315112A (ja) | 固体撮像素子の欠陥検出装置及びこれを用いた欠陥補正装置 | |
JP2002204396A (ja) | 画素補正装置 | |
JPS635666A (ja) | 固体撮像装置の欠陥補正装置 | |
JP3539378B2 (ja) | メモリの制御方法及びカメラの制御方法 | |
JP3127662B2 (ja) | 固体撮像素子の欠陥検出装置及びこれを用いた欠陥補正装置並びにカメラ | |
JPH0583638A (ja) | 固体撮像装置 | |
JPH0575927A (ja) | キズ補正回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3773773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090224 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140224 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |