JP2002330357A - 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法 - Google Patents

欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法

Info

Publication number
JP2002330357A
JP2002330357A JP2002103188A JP2002103188A JP2002330357A JP 2002330357 A JP2002330357 A JP 2002330357A JP 2002103188 A JP2002103188 A JP 2002103188A JP 2002103188 A JP2002103188 A JP 2002103188A JP 2002330357 A JP2002330357 A JP 2002330357A
Authority
JP
Japan
Prior art keywords
signal
pixel
analog
signals
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002103188A
Other languages
English (en)
Other versions
JP4340803B2 (ja
Inventor
Ray Alan Mentzer
レイ・アラン・メンツァー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agilent Technologies Inc
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Publication of JP2002330357A publication Critical patent/JP2002330357A/ja
Application granted granted Critical
Publication of JP4340803B2 publication Critical patent/JP4340803B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 欠陥感光画素からの誤った画像信号を効率的
に補正することの出来るシステム及び方法を提供する。 【解決手段】 欠陥感光画素からの誤った画像信号を補
正するためのシステム及び方法は、アナログ・デジタル
(A/D)変換器構成114A、114Bを利用したも
のであり、これにより誤った画像信号の補正を、画像信
号がアナログ信号からデジタル信号へと変換されるとき
に行う。誤った画像信号の補正は、所与のアナログ画像
信号の、以前に処理された画像信号からのずれを制限す
ることにより実施される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は一般にデジタル画像
形成に関するものであり、より具体的には欠陥感光画素
からの誤った画像信号を補正するためのシステム及び方
法に関する。
【0002】
【従来の技術】民生品市場におけるデジタルカメラの需
要は様々な理由から急速に増大している。その理由の1
つは、デジタルカメラがインターネット等の電子媒体を
介して容易に配信することが出来るデジタル写真を形成
することが出来るという点である。デジタル写真は電子
メールを交わすように簡単に友人間や家族間で交換する
ことが出来る。需要増大のもう1つの理由は、デジタル
カメラが作成するデジタル写真は画像処理ソフトを使用
して画質を上げたり加工したりすることが出来るという
点である。更なる理由として、デジタルカメラは撮影し
た画像のプレビューや不要な画像の削除といった従来の
カメラよりも魅力的な機能を提供するということがあげ
られる。
【0003】デジタルカメラは通常、被写シーンをデジ
タル的に取り込むために電荷結合素子(CCD)センサ
又は相補型金属酸化膜半導体(CMOS)センサのいず
れかである固体イメージセンサを採用したものである。
固体イメージセンサは感光画素アレイを含んでいる。感
光画素の各々は、デジタル的に取り込まれる画像の画素
の1つ1つを表す。従って、デジタル的に取り込まれる
画像の解像度は、イメージセンサに含まれる感光画素の
数に依存するのである。この結果、より多数の感光画素
を含むイメージセンサの開発に注目が集まっている。
【0004】固体イメージセンサの問題点は、これが多
数の欠陥感光画素を含んでいるかもしれないという可能
性にある。欠陥感光画素は「ホットピクセル(hot pixe
l)」又は「コールドピクセル(cold pixel)」に分類
される。ホットピクセルは、取り込まれたデジタル画像
中に不自然に明るい画素を形成するが、これは、例えば
被写体を撮影するための露光時間等の取り込み期間中に
感光画素で生じたリーク電流が原因である。従って、ホ
ットピクセルは、暗い背景上の際立って明るい画素によ
る、明るいアーチファクトを含むデジタル画像を形成す
ることになる。コールドピクセルは、ホットピクセルと
は対照的に取り込まれたデジタル画像中に不自然に暗い
画素を形成する。コールドピクセルとは、取り込み期間
中に充分な電荷を蓄積することが出来なかった無反応感
光画素のことである。従ってコールドピクセルは、明る
い背景上の際立って暗い画素による、暗いアーチファク
トを含むデジタル画像を形成することになる。より高密
度の感光画素を持つ固体イメージセンサは、欠陥感光画
素も多数含んでいることが予想されるため、固体イメー
ジセンサの感光画素密度が高くなればなる程、これらの
アーチファクトの数も増大すると考えられる。従って、
ホットピクセル又はコールドピクセルに起因する明るい
又は暗いアーチファクトは、メガピクセルタイプのセン
サにとってはより大きい画像劣化要因となるのである。
【0005】
【発明が解決しようとする課題】ホットピクセル及びコ
ールドピクセルの問題を緩和するための従来手法の1つ
は、製造後にイメージセンサの全ての感光画素を試験す
ることにより、個々のイメージセンサの欠陥感光画素を
マッピングするというものである。このようにすれば、
この欠陥感光画素のマップを使って欠陥感光画素が生成
した誤った画像信号を補正することが出来る。従って、
各デジタルカメラは、特定のイメージセンサのマッピン
グされた欠陥感光画素からの画像信号を補正するように
カスタマイズされるのである。しかしながらこの手法で
は複雑な試験処理及びカスタマイゼーション処理を必要
とするため、デジタルカメラの全体的な製造コストが高
くなってしまう。
【0006】ホットピクセル及びコールドピクセル問題
を緩和する他の従来手法は、アナログ画像信号がデジタ
ル画像信号へと変換された後にアルゴリズムを用いて欠
陥感光画素からの誤った画像信号を検出し、補正すると
いうものである。この手法の利点は、全てのデジタルカ
メラに同じアルゴリズムを適用することが出来るという
点にある。従って、各イメージセンサに基づくデジタル
カメラのカスタマイゼーションは必要無い。しかしなが
ら、この手法はアルゴリズム用に大量の処理リソースを
必要とするため、デジタルカメラの消費電力が高くなる
と共に、デジタル的に取り込まれた画像の処理にかかる
デジタルカメラの動作速度が遅くなるという傾向があ
る。
【0007】ホット及びコールドピクセル問題を緩和す
るための従来方法における欠点を考えると、欠陥感光画
素からの画像信号を効率的に補正することが出来るシス
テム及び方法が必要とされているのである。
【0008】
【課題を解決するための手段】欠陥感光画素からの誤っ
た画像信号を補正するためのシステム及び方法は、アナ
ログ・デジタル(A/D)変換器構成を利用したもので
あり、これにより誤った画像信号の補正を、画像信号が
アナログ信号からデジタル信号へと変換される間に行
う。誤った画像信号の補正は、所与のアナログ画像信号
の、以前に処理された画像信号からのずれを制限するこ
とにより実施される。A/D変換器構成は、A/D変換
後に欠陥画素からの誤った画像信号の補正を行う必要性
を排除するものである。更に、A/D変換器構成は10
ビットの変換に3クロックサイクルしか必要とせず、従
来のA/D変換器構成より8クロックサイクルだけ速
い。
【0009】誤った画像信号を補正するための本発明に
基づくシステムは、以前に処理した画素に基づいてハイ
(高)信号及びロー(低)信号を出力する回路または信
号発生器と、ハイ及びロー信号を受けるハイ基準入力及
びロー基準入力を有するA/D変換器とを含む。ハイ及
びロー信号は、先に処理された画素の画像信号の信号範
囲を定義するものである。A/D変換器は、現在の画素
のアナログ信号をハイ及びロー信号を基準として用いて
デジタル化することにより、その信号範囲内にある現在
の画素のデジタル信号を得るものであるが、この処理は
以前に処理した画素の信号と現在の画素の信号との差が
事前定義の閾値よりも大きい場合に現在の画素のアナロ
グ信号が制限されることになるように構成される。A/
D変換器としては、いずれの周知のA/D変換器も使用
可能であるが、出来れば高いフレームレートを得るため
にフラッシュA/D変換器を利用することが望ましい。
【0010】システムの回路または信号発生器は、以前
に処理された画素の画像信号からハイ及びロー信号を生
成するためのデジタル・アナログ(D/A)変換器を含
むことができる。D/A変換器は、現在の画素のデジタ
ル化信号よりも多数のビットを含む入力デジタル信号を
変換するように構成することが出来る。一実施例におい
ては、D/A変換器は10ビットD/A変換器であり、
A/D変換器は7ビットA/D変換器である。
【0011】ある実施例においては、回路はD/A変換
器へと比較信号を出力する比較回路を含む。比較信号は
現在の画素のアナログ信号と以前に処理した画素のアナ
ログ信号との比較結果に基づくものである。この実施例
においては、D/A変換器は10ビットD/A変換器で
あり、A/D変換器は6ビットA/D変換器である。
【0012】誤った画像信号を補正するための本発明に
基づく方法は、以前に処理した画素の画像信号に基づい
てハイ信号及びロー信号を生成するステップと、ハイ信
号及びロー信号を基準として用い、現在の画素のアナロ
グ信号をハイ及びロー信号が定義する信号範囲において
デジタル化することで現在の画素のデジタル信号を得る
ステップとを含む。現在の画素のアナログ信号をデジタ
ル化するステップは、以前に処理された画素の信号と現
在の画素の信号との差が事前定義の閾値を超えている場
合に現在の画素のアナログ信号をハイ及びロー信号によ
って制限することを含む。
【0013】方法は更に、以前に処理した画素の画像信
号をハイ及びロー信号へと変換するステップを含む。特
に、以前に処理した画素の画像信号を変換するステップ
では、D/A変換を実施しても良い。
【0014】一実施例においては、方法は更に現在の画
素のアナログ信号を以前に処理した画素のアナログ信号
と比較するステップを含む。この実施例においては、ハ
イ及びロー信号は現在の画素のアナログ信号とその後の
画素のアナログ信号との比較結果に基づくものである。
【0015】本発明の更なる態様及び利点は、添付図を
参照しつつ以下の詳細説明を読むことにより明らかとな
る。図は本発明の原理を説明するための事例を描いたも
のである。
【0016】
【発明の実施の形態】欠陥感光画素からの誤った画像信
号を修正するためのデジタル画像形成システム及び方法
は、画像信号をアナログ信号からデジタル信号へと変換
する際に誤った画像信号を修正するA/D変換器(AD
C)構成を採用したものである。このADC構成は、A
/D変換後に欠陥画素からの誤った画素信号の補正を行
なう必要性を排除するものである。更にこのADC構成
は10ビットの変換に3クロックサイクルしか要さず、
従来のADC構成より8クロックサイクルだけ速い。
【0017】図1は、本発明の第1の実施例に基づくデ
ジタル画像形成システム100を描いたものである。こ
のデジタル画像形成システムは、イメージセンサモジュ
ール102、プロセッサ104及びメモリ106を含
む。イメージセンサモジュールは、センサアレイ10
8、列増幅器110、列復号器112そしてA/D変換
器(ADC)ユニット114A及び114Bを含む。イ
メージセンサモジュールは更に、イメージセンサに一般
的に設けられる他の従来部品を含んでいても良い。しか
しながらこれらの従来部品についての詳細は、本発明を
わかり易く説明するために本明細書においては記載しな
いものとする。
【0018】イメージセンサモジュール102のセンサ
アレイ108はm×n個の感光画素を含んでいる。セン
サアレイに含まれる感光画素の数は、イメージセンサモ
ジュールのタイプにより異なる。一例をあげると、イメ
ージセンサがVGAセンサの場合、センサアレイには6
40×480個の感光画素が含まれる。一実施例におい
ては、感光画素は相補型金属酸化膜半導体(CMOS)
画素である。センサアレイ108の感光画素は約300
nm〜1100nmまでの範囲の波長を持つ光に感度を
持ち、従って異なる色の光を差別化することが出来な
い。この結果、被写シーンを取り込む場合、センサアレ
イ中の各感光画素は、特定の原色光(例えば赤色、緑色
又は青色光のいずれか)にのみ露光される。感光画素中
に蓄積される電荷は、取り込んだシーンを表すアナログ
画像信号である。
【0019】この実施例においては、センサアレイ10
8は被写シーンを図2に示したベイヤーパターン(Baye
r pattern)202のモザイク画像として取り込むよう
に作られている。図2に示したように、ベイヤーパター
ンの一行は、交互に配置された赤色(R)及び緑色
(G)画素、或いは交互に配置された青色(B)及び緑
色(G)画素を含んでいる。従って、入射光による露光
の間、センサアレイの感光画素はこの同じパターンで
R、G及びBの電荷を蓄積する。よって図2に示したベ
イヤーパターンは、被写シーンをデジタル的に取り込む
ためにセンサアレイ中で生成されるアナログ画像信号の
色を表すものでもある。
【0020】イメージセンサモジュール102の列増幅
器110は、感光画素行からアナログ画像信号を受ける
ためにセンサアレイ108へと電気的に結合している。
列増幅器はn個の増幅回路(図示せず)を含み、これら
によって読み出し期間中に感光画素行からのアナログ信
号をサンプリングして記憶する。イメージセンサモジュ
ールの列復号器112は列増幅器に結合している。列復
号器は、列増幅器の各増幅回路を順次アドレス指定して
行き、これにより列増幅器に記憶されたアナログ信号を
順次取り出すものである。この第1の実施例において
は、列増幅器は2本の出力線116及び118を持って
いる。出力線116は、偶数番の感光画素から列増幅器
へと記憶されたアナログ画像信号(原色の1つを表す信
号だけを含む)のためのものである。出力線118は、
奇数番の感光画素から列増幅器へと記憶されたアナログ
画像信号(他の2つの原色の一方を表す信号のみを含
む)のためのものである。現在読み出し処理中の感光画
素行に応じて、R及びGのアナログ画像信号のみ、又は
B及びGのアナログ画像信号のみが読み出される。
【0021】イメージセンサモジュール102のADC
ユニット114A及び114Bは、列増幅器に記憶され
た読み出し処理中の感光画素行のアナログ画像信号を逐
次受信するために列増幅器100へと結合している。こ
れらのADCユニットは基本的に同一のものである。し
かしながら、ADCユニットの各々は2つの原色のうち
のいずれか一方のみ(読み出されている感光画素行によ
る)を処理するものである。センサアレイ108中のア
ナログ信号は図2に示したベイヤーパターンであるた
め、ADCユニットはR及びGのアナログ画像信号、又
はB及びGのアナログ画像信号を処理する。これに準
じ、ADCユニット114Aを選択された感光画素行中
で偶数番の画素からのアナログ画像信号を処理するもの
とし、ADCユニット114Bはその感光画素行中で奇
数番の画素からのアナログ画像信号を処理するものとす
ることが出来る。従って、これらのADCユニットは、
列増幅器中のアナログ画像信号の逐次処理において、交
互に作動するようになっている。これらのADCユニッ
トは基本的に同一であるため、以下においてはADCユ
ニット114Aのみについて詳細を説明する。
【0022】図1に示したように、ADCユニット11
4Aは10ビットD/A変換器(DAC)120A及び
7ビットフラッシュA/D変換器(ADC)122Aを
含んでいる。列増幅器110を通じて現在読み出し中の
感光画素行を描いた図3を参照しつつADCユニットの
これらの構成部品について説明する。画素[n]はA/
D変換用に現在読み出されている画素を表す。10ビッ
トDACは画素[n−2」の10ビットデジタル信号D
10[n−2]を受けるように構成されている。画素は1
つおきに同じ色の信号を含んでいるため、信号D10[n
−2]は最も最近に変換された、画素[n]の信号と同
じ色の画像信号である。画素番号で言えば、D10[n−
2]は偶数番の感光画素の画像信号として最後に変換さ
れたデジタル画像信号である。この信号D10[n−2]
を用い、10ビットDACは高電圧(VREFP)及び
低電圧(VREFN)を出力するが、これらの電圧は、 VREFP=D10[n−2]+64;及び VREFN=D10[n−2]−64 に設定される。
【0023】ADCユニット114Aの7ビットフラッ
シュADC122Aは、アナログ画像信号を順次受信す
るために出力線116を介して列増幅器110へと接続
している。7ビットフラッシュADCは、信号D10[n
−2]に依存するVREFP及びVREFN電圧を基準
として用い、画素[n]からのアナログ画像信号A
[n]を7ビットのデジタル信号D7[n]へと変換す
る。従って、7ビットフラッシュADCのA/D変換処
理は、D10[n−2]−64からD10[n−2]+64
の範囲でD7[n]信号を制限するものである。VRE
FP及びVREFN電圧により課せられるこれらの限界
は、欠陥感光画素(例えばホットピクセルやコールドピ
クセル)からの画像信号を補正するものである。フラッ
シュADCの出力信号D7[n]は、デジタル画像形成
システム100のプロセッサ104へと送られ、ここで
7ビットの信号D7[n]が10ビットのデジタル画像
信号D1 0[n]へと変換される。
【0024】この実施例においては、ADCユニット1
14Aは各A/D変換処理を3クロックサイクルで実施
する。第一のクロックサイクルにおいては、デジタル信
号D 10[n−2]を用いてVREFP及びVREFN電
圧が生成される。第二のクロックサイクルにおいては、
アナログ信号A[n]がサンプリングされる。第三のク
ロックサイクルにおいては、アナログ信号A[n]が7
ビットのデジタル信号D7[n]へとデジタル化され
る。
【0025】イメージセンサモジュールのもう一方のA
DCユニット114Bもまた、10ビットDAC120
B及び7ビットフラッシュADC122Bを含んでい
る。しかしながら、ADCユニット114Bは現在読み
出されている画素行中の、奇数番の感光画素からのアナ
ログ信号(例えば現在の画素行における、他方の原色を
あらわすアナログ画像信号)を処理するものである。従
って、7ビットフラッシュADC122Bへの入力は、
画素[n−1]からのアナログ画像信号A[n−1]で
あり、これは列増幅器110からADCユニット114
Bへと取り出されつつある奇数番画素からの現在のアナ
ログ画像信号を表している。10ビットDAC120B
への入力は、最も最近に変換された画素[n−3]の信
号の10ビットデジタル画像信号D10[n−3]であ
る。ADCユニット114Bの出力は、画素[n−1]
の7ビットデジタル信号D7[n−1]であり、これが
プロセッサ104により10ビットデジタル画像信号D
10[n−1]へと変換されることになる。
【0026】本明細書においては、ADCユニット11
4A及び114Bをアナログ画像信号から10ビットの
デジタル画像信号へと変換するものとして説明している
が、ADCユニットはアナログ画像信号をより多数又は
少数ビットの画像信号へと変換するものであっても良
い。他の実施例においては、ADCユニットがVREF
P及びVREFN電圧を生成するために用いるDAC
は、より多数又は少数ビットのものでも良い。更に、7
ビットのフラッシュADC122A及び122Bの代わ
りにより多数又は少数ビットのADCを使用すること
で、欠陥感光画素からの誤った信号を補正する際のAD
Cユニットの感度を調整することが出来る。
【0027】デジタル画像形成システム100のプロセ
ッサ104は、いずれの種類のデジタル信号プロセッサ
であっても良い。プロセッサは、信号D10[n−2]又
はD 10[n−3]を基準として用いることにより、AD
Cユニット114A及び114Bからの7ビット信号D
7[n]及びD7[n−1]を10ビット信号D10[n]
及びD10[n−1]へと変換する。従ってシステムのメ
モリ106は、信号D 10[n−2]及びD10[n−3]
を一時的に記憶するために使用される。画素[n]に関
しては、7ビットフラッシュADCからの7ビット信号
7[n]の最上位ビット(MSB)が「1」の場合、
この信号D7[n]は10ビット信号D1 0[n−2]に
加算され、これにより10ビット信号D10[n]が得ら
れる。しかしながら、7ビットフラッシュADCからの
7ビット信号D7[n]のMSBが「0」であった場
合、信号D7[n]は10ビット信号D10[n−2]か
ら引き算され、これにより10ビット信号D10[n]が
得られる。画素[n−1]についても同様に、7ビット
信号D7[n−1]のMSBに応じてこの7ビット信号
7[n−1]が10ビット信号D10[n−3]に加
算、又はこれから引き算され、10ビット信号D10[n
−1]が得られる。
【0028】デジタル画像形成システム100の動作に
ついて、図4のフローチャート及び図3に示した感光画
素を参照しながら説明する。ステップ402において、
センサアレイ108の感光画素が露光され、被写シーン
がアナログ電気信号として取り込まれる。上述したよう
に、各感光画素は特定の原色光(例えばR、G又はB)
に露光される。事前定義の露光期間後、ステップ404
にて1つの感光画素行が読み出し処理用に選択される。
次に、ステップ406において選択された感光画素行か
らのアナログ画像信号が列増幅器110によりサンプリ
ング及び記憶される。その後、記憶されたアナログ画像
信号はA/D変換処理を行うために順次取り出される。
【0029】次にステップ408においては、記憶され
たアナログ画像信号の1つが処理のため、列復号器11
2によって選択される。選択されたアナログ画像信号が
偶数番の感光画素からのものである場合、この選択され
たアナログ画像信号はADCユニット114Aにより処
理される。そうでない場合、この選択されたアナログ画
像信号はADCユニット114Bにより処理される。ス
テップ410においては、選択されたアナログ画像信号
と同じ色の信号で、最も最近に変換された10ビットデ
ジタル画像信号が10ビットDAC120へと送られ
る。即ち、選択されたアナログ画像信号が偶数番の感光
画素からのものであった場合、この最も最近に変換され
た信号とは、その1つ前に処理された偶数番の画素から
の信号である。10ビットデジタル画像信号は、以前に
選択された感光画素行から得ることも出来る。選択され
たアナログ画像信号が、取り込まれた画像に関して一番
最初に処理されるものである場合、10ビットデジタル
画像信号をプロセッサ104により生成されたデフォル
ト信号とすることが出来る。次にステップ412におい
ては、10ビットDACが最も最近に変換された10ビ
ットデジタル画像信号を用いてVREFP及びVREF
N電圧を生成する。ステップ414においては、VRE
FP及びVREFN電圧を基準として用い、7ビットフ
ラッシュADC122が選択されたアナログ画像信号を
7ビットデジタル画像信号へとデジタル化する。その後
ステップ416において、この7ビットデジタル画像信
号を、最後に変換された10ビットデジタル画像信号に
加算又はこれから引き算する(7ビットデジタル画像信
号のMSBによる)ことにより、7ビットデジタル画像
信号は10ビットデジタル信号へと変換される。次にス
テップ418において、変換された10ビットデジタル
信号がメモリ中に一時的に記憶され、これが偶数番もし
くは奇数番(現在選択されている信号による)の感光画
素からの次のアナログ信号用に使用される。
【0030】ステップ420においては、選択されたア
ナログ画像信号が、列増幅器110中の信号で、最後に
処理されるものであるかどうかが決定される。そうであ
る場合、処理はステップ422へと進む。選択されたア
ナログ画像信号が最後の信号ではない場合、処理はステ
ップ408へと戻り、次のアナログ画像信号が選択・処
理される。ステップ422においては、選択された感光
画素行がセンサアレイ108の感光画素行で、最後に読
み出されるものであるかどうかが決定される。そうであ
った場合、処理は終了する。選択された行が最後の行で
はない場合、処理はステップ404へと戻り、次の感光
画素行が選択され、読み出し処理が実施される。
【0031】図5は、本発明の第2の実施例に基づくデ
ジタル画像形成システム500を描いたものである。こ
のデジタル画像形成システムは、イメージセンサモジュ
ール502、プロセッサ104及びメモリ106を含ん
でいる。イメージセンサモジュールは、センサアレイ1
08、列増幅器110、列復号器112、そしてA/D
変換器(ADC)ユニット506A及び506Bを含
む。この第2の実施例においては、列増幅器は更に2つ
の出力線508及び510を含んでいる。以下に説明す
るように、これらの追加出力線があることで、選択され
たアナログ画像信号のA/D変換処理中に第2のアナロ
グ画像信号を列増幅器からサンプリングすることが可能
となる。
【0032】ADCユニット506A及び506Bは、
これらがセンサアレイ108からのアナログ画像信号を
デジタル信号へと変換し、更に欠陥感光画素からの誤っ
た信号の補正を実施するものであるという意味において
は、図1に示したデジタル画像形成システム100のA
DCユニット114A及び114Bと似ている。ADC
ユニット114A及び114Bと同様に、ADCユニッ
ト506Aが偶数番の感光画素からのアナログ画像信号
の処理を実施し、ADCユニット506Bが奇数番の感
光画素からのアナログ画像信号の処理を実施する。AD
Cユニット506A及び506Bは、基本的に同一であ
る。従って、ADC506Aのみについて詳細説明を行
う。
【0033】図5に描かれているように、イメージセン
サモジュール502のADCユニット506Aは、10
ビットDAC512A、比較器514A、6ビットフラ
ッシュADC516A、及びレジスタ518Aを含む。
ADCユニットのこれらの構成要素については、列増幅
器110を通じて現在読み出し中の感光画素行を描いた
図3を参照しつつ説明する。画素[n]はA/D変換用
に読み出されつつある現在の画素である。10ビットD
AC512Aは、画素[n−2]の10ビットデジタル
信号D10[n−2]を受信するように構成されている。
この信号D10[n−2]は、偶数番の画素として最も最
近に変換された画素信号である。この信号D10[n−
2]を用いて10ビットDACは、信号D10[n−2]
と、レジスタ518Aからの比較器514Aの遅延出力
とに依存するVREFP及びVREFN電圧を生成す
る。
【0034】ADCユニット506Aの比較器514A
は、出力線116及び508を介して列増幅器110へ
と接続しており、1回のA/D変換処理用に一対のアナ
ログ画像信号を受信する。比較器は、処理されつつある
現在のアナログ画像信号(例えばアナログ信号A
[n])を出力線116を介して受信する。比較器は更
に、偶数番の画素からの次に処理すべきアナログ画像信
号(例えば画素[n+2]からのアナログ信号A[n+
2])も受信する。比較器は、信号A[n]と信号A
[n+2]とを比較する。信号A[n]が信号A[n+
2]よりも大きい場合、比較器は信号「1」を出力す
る。しかしながら、信号A[n]が信号A[n+2]よ
りも大きくない場合、比較器は信号「0」を出力する。
比較器の出力信号はレジスタ518Aへと送られ、次の
変換サイクルまでここに一時的に記憶される。次のクロ
ック信号を受信するまで比較器の出力信号を一時的に記
憶しておくためのレジスタ518Aとして、フリップフ
ロップを利用することが出来る。クロック信号を受ける
と、比較器の遅延出力信号は10ビットDAC512A
及びプロセッサ104へと送られる。従って、信号A
[n−2]及び信号A[n]の比較結果である、以前の
変換サイクルから得られた比較器の出力信号が、現在の
信号A[n]の処理に使用されるのである。10ビット
DACがレジスタ518Aから信号「1」を受けた場
合、10ビットDACにより生成されるVREFP及び
VREFNは、 VREFP=D10[n−2]+64;及び VREFN=D10[n−2] となる。10ビットDACがレジスタから信号「0」を
受けた場合、10ビットDACにより生成されるVRE
FP及びVREFNは、 VREFP=D10[n−2];及び VREFN=D10[n−2]−64 となる。
【0035】ADCユニット506Aの6ビットフラッ
シュADC516Aは、10ビットDAC512Aから
提供されるVREFP及びVREFN電圧を基準値とし
て用い、画素[n]からの信号A[n]を6ビットデジ
タル信号D6[n]へと変換する。VREFP及びVR
EFN電圧は、6ビットフラッシュADCによるA/D
変換処理の範囲を定義するものである。しかしながら、
VREFP及びVREFN電圧は信号A[n−2]と信
号A[n]との比較結果に依存するため、A/D変換処
理の全体の範囲はD10[n−2]−64からD10[n−
2]+64であり、これは第1の実施例に基づくデジタ
ル画像形成システム100のADCユニット114Aの
A/D変換範囲と同一である。従って、信号A[n]が
信号A[n−2]に匹敵するものであると仮定した場
合、比較器514A、6ビットフラッシュADC516
A及びレジスタ518Aは、図1に示したADCユニッ
ト114Aの7ビットフラッシュADC122Aに相当
する機能を提供するものである。しかしながら、ADC
ユニット506Aの構成は、7ビットフラッシュADC
122Aに代えて6ビットフラッシュADC516Aの
使用を可能とするものである。これは、ADCユニット
506Aから63個の比較器を削減できることを意味す
る。
【0036】6ビットフラッシュADC516Aの出力
信号D6[n]はプロセッサ104へと送られ、信号D6
[n]はここで10ビットデジタル信号D10[n]へと
変換される。プロセッサは、レジスタ518Aから得た
比較器514Aの遅延出力に応じて、信号D6[n]を
10[n−2]信号に加算することにより、又は信号D
6[n]をD10[n−2]から引き算することにより信
号D6[n]を信号D 10[n]へと変換する。比較器5
14Aの遅延出力信号が信号「1」である場合(すなわ
ち信号A[n+2]がA[n]信号より大きい場合)、
信号D6[n]は信号D10[n−2]に加算され、これ
により信号D10[n]が得られる。しかし比較器の遅延
出力信号が信号「0」である場合(すなわち信号A[n
+2]がA[n]よりも大きくない場合)、信号D
6[n]は信号D10[n−2]から引き算され、これに
より信号D10[n]が得られる。その後、信号D
10[n]は一時的にメモリ中に記憶され、次の偶数番画
素からのアナログ画像信号(例えば信号A[n+2])
に対して使用される。
【0037】イメージセンサモジュール502の他方の
ADCユニット506Bも同様に10ビットDAC51
2B、比較器514B、6ビットフラッシュADC51
6B及びレジスタ518Bを含む。しかしこのADCユ
ニット506Bは、センサアレイ108において現在読
み出し中の画素行の奇数番感光画素から得られるアナロ
グ信号を処理するものである。従って、6ビットフラッ
シュADC516Bへの入力は画素[n−1]からのア
ナログ画像信号A[n−1]であり、これは列増幅器1
10からADCユニット506Bへと取り出されつつあ
る、奇数番感光画素からの現在のアナログ画像信号であ
る。また、比較器514Bへの入力は、この信号A[n
−1]と、画素[n+1]からのアナログ画像信号A
[n+1]であるが、これらは列増幅器から出力線11
8及び510を介して送られる。更に、10ビットDA
C512Bへの入力は、最も最近に変換された画素[n
−3]のデジタル画像信号D10[n−3]であるが、こ
れは最も最近に変換された奇数番画素の信号である。A
DCユニット506Bの出力は、画素[n−1]の6ビ
ットデジタル信号D6[n−1]であり、これがプロセ
ッサ104によって10ビットのデジタル画像信号D10
[n−1]へと変換される。
【0038】本明細書においては、ADCユニット50
6A及び506Bはアナログ画像信号を10ビットデジ
タル画像信号へと変換するように構成されたものとして
説明しているが、ADCユニットはアナログ画像信号を
より多数又は少数ビットのデジタル画像信号に変換する
ものであっても良い。他の実施例においては、ADCユ
ニットは、VREFP及びVREFN電圧生成用により
多数又は少数ビットのDACを用いたものであっても良
い。更に、欠陥感光画素からの誤った信号を補正する際
のADCユニットの感度を調節するために、6ビットフ
ラッシュADC516A及び516Bに代えて、より多
数又はより少数ビットのフラッシュADCを使用するこ
とも出来る。
【0039】図6のフローチャート及び図3に示した感
光画素行を参照しつつデジタル画像形成システム500
の処理について説明する。ステップ602において、セ
ンサアレイ108の感光画素は露光により被写シーンを
アナログ電気画像信号として取り込む。事前定義の露光
期間後、ステップ604にて読み出しを行う感光画素行
が選択される。その後ステップ606において、選択さ
れた感光画素行のアナログ画像信号が列増幅器110に
よりサンプリングされ、記憶される。記憶されたアナロ
グ画像信号はA/D変換処理を実施するために逐次取り
出される。
【0040】次にステップ608において、記憶された
アナログ画像信号の1つが処理のため、列復号器112
によって選択される。選択されたアナログ画像信号が偶
数番の感光画素からのものである場合、選択されたアナ
ログ画像信号はADCユニット506Aによって処理さ
れる。そうでない場合、選択されたアナログ画像信号は
ADCユニット506Bによって処理される。ステップ
610においては、選択されたアナログ画像信号が、そ
れと同じ色の、次に処理されるべきアナログ画像信号と
比較器514により比較される。選択されたアナログ画
像信号が次に処理されるべきアナログ画像信号よりも大
きい場合、比較器は信号「1」を出力する。選択された
アナログ画像信号が、次のアナログ画像信号よりも大き
くない場合、比較器は信号「0」を出力する。
【0041】次にステップ612において、レジスタ5
18から得られる比較器514の遅延出力と、選択され
たアナログ画像信号と同じ色の信号で、最も最近に変換
された10ビットデジタル画像信号(選択されたアナロ
グ画像信号が偶数番画素からのものであれば、偶数番画
素の信号で最も最近に変換されたデジタル画像信号)と
を用い、10ビットDAC512がVREFP及びVR
EFN電圧を生成する。比較器の遅延出力信号は、選択
されたアナログ画像信号と同じ色の信号を処理した最も
最近の変換サイクル中に実施された比較処理によるもの
である。10ビットデジタル画像信号はその前に選択さ
れた感光画素行からのものであっても良い。選択された
アナログ画像信号が、その取り込まれた画像に関して一
番最初に処理されるものである場合、10ビットデジタ
ル画像信号はプロセッサ104が生成したデフォルト信
号とすることが出来る。ステップ614においては、6
ビットフラッシュADC516がVREFP及びVRE
FN電圧を基準として用い、選択されたアナログ画像信
号を6ビットデジタル画像信号へとデジタル化する。そ
の後6ビットデジタル画像信号はステップ616にてプ
ロセッサにより10ビットデジタル信号へと変換され
る。比較器の遅延出力信号が「1」の場合、6ビットデ
ジタル画像信号を最も最近に変換された10ビットデジ
タル信号に加算することにより現在の10ビットデジタ
ル信号が得られる。比較器の遅延出力信号が「0」の場
合、6ビットデジタル画像信号を最も最近に変換された
10ビットデジタル信号から引き算することにより現在
の10ビットデジタル信号が得られる。次にステップ6
18において、変換された10ビットデジタル信号はメ
モリ106へと一時的に記憶され、偶数番もしくは奇数
番(現在選択されている信号による)の感光画素からの
次のアナログ信号の処理に使用される。
【0042】ステップ620においては、選択されたア
ナログ画像信号が列増幅器110中の最後の信号である
かどうかが決定される。これが最後の信号であった場
合、処理はステップ622へと進む。選択されたアナロ
グ画像信号が最後の信号ではない場合、処理はステップ
608へと戻り、次のアナログ画像信号が選択・処理さ
れる。ステップ622においては、選択された感光画素
行が、センサアレイ中の読み出すべき最後の行であるか
どうかが決定される。これが最後の行であった場合、処
理は終了する。選択されている行が最後の行ではない場
合、処理はステップ604へと戻り、次の感光画素行が
選択され、読み出される。
【図面の簡単な説明】
【図1】本発明の第1の実施例に基づくデジタル画像形
成システムのブロック図である。
【図2】ベイヤーパターンのモザイク画像を描いた図で
ある。
【図3】図1のデジタル画像形成システムのセンサアレ
イにおいてアナログ画像信号の読み出し処理用に選択さ
れた感光画素行を描いた図である。
【図4】図1のデジタル画像形成システムの処理を説明
するフローチャートである。
【図5】本発明の第2の実施例に基づくデジタル画像形
成システムのブロック図である。
【図6】図5のデジタル画像形成システムの処理を説明
するフローチャートである。
【符号の説明】
120A、120B、512A、512B:D/A変換
器 122A、122B、516A、516B:A/D変換
───────────────────────────────────────────────────── フロントページの続き (72)発明者 レイ・アラン・メンツァー アメリカ合衆国オレゴン州97333,コーバ リス,サウス・ウェスト・ヒル−ウッド・ プレイス 3444 Fターム(参考) 5C024 CX25 DX01 GX22 GY31 HX23 5C077 LL01 MM03 MP08 PP32 PQ03 PQ20 RR01 RR11 RR13 TT09

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 以前に処理された画素の画像信号に基づ
    き、前記以前に処理された画素の前記画像信号の信号範
    囲を定義するハイ信号及びロー信号を提供するステップ
    と、 前記ハイ及びロー信号を基準として用い、現在の画素の
    アナログ信号をデジタル化することにより、前記信号範
    囲内において前記現在の画素のデジタル化信号を得るス
    テップであって、前記以前に処理された画素と前記現在
    の画素との信号差が事前定義の閾値よりも大きい場合、
    前記現在の画素の前記アナログ信号を前記ハイ及びロー
    信号により制限することを含む、ステップと、を含む、
    誤った画像信号を補正するための方法。
  2. 【請求項2】 前記以前に処理された画素の前記画像信
    号を前記ハイ及びロー信号へと変換するステップを更に
    含む、請求項1に記載の方法。
  3. 【請求項3】 前記以前に処理された画素の前記画像信
    号を変換する前記ステップが、前記以前に処理された画
    素の前記画像信号を前記ハイ及びロー信号へとD/A変
    換することを含み、前記ハイ及びロー信号は電圧であ
    る、請求項2に記載の方法。
  4. 【請求項4】 前記現在の画素の前記アナログ信号を以
    前に処理された画素のアナログ信号と比較するステップ
    を更に含む、請求項1、2又は3に記載の方法。
  5. 【請求項5】 前記以前に処理された画素の前記画像信
    号を前記ハイ及びロー信号へと変換するステップを更に
    含み、前記ハイ及びロー信号は、前記現在の画素の前記
    アナログ信号と前記以前に処理された画素の前記アナロ
    グ信号との比較結果に依存する、請求項4に記載の方
    法。
  6. 【請求項6】 以前に処理された画素の信号に基づき、
    前記以前に処理された画素の前記画像信号の信号範囲を
    定義するハイ信号及びロー信号を出力するための信号発
    生器と、 前記ハイ及びロー信号を受信するためにハイ基準入力及
    びロー基準入力を有し、前記ハイ及びロー信号を基準と
    して用いて現在の画素のアナログ信号をデジタル化する
    ことにより前記信号範囲内において前記現在の画素のデ
    ジタル化信号を得るためのA/D変換器であって、前記
    以前に処理された画素と前記現在の画素との信号差が事
    前定義の閾値よりも大きい場合に前記現在の画素の前記
    アナログ信号を制限するように構成されたA/D変換器
    と、を含む、誤った画像信号を補正するためのシステ
    ム。
  7. 【請求項7】 前記信号発生器が、前記以前に処理され
    た画素の前記画像信号から前記ハイ及びロー信号を生成
    するためのD/A変換器を含むことを特徴とする、請求
    項6に記載のシステム。
  8. 【請求項8】 前記D/A変換器が、前記現在の画素の
    前記デジタル化信号よりも多数のビットを有する入力デ
    ジタル信号を変換するように構成されていることを特徴
    とする、請求項7に記載のシステム。
  9. 【請求項9】 前記信号発生器が、前記D/A変換器へ
    と比較信号を出力する比較器を含み、前記比較信号は、
    前記現在の画素の前記アナログ信号を以前に処理した画
    素のアナログ信号と比較した結果に基づくものであり、
    前記D/A変換器により生成される前記ハイ及びロー信
    号が前記比較結果に依存するものであることを特徴とす
    る、請求項6又は7に記載のシステム。
  10. 【請求項10】 前記A/D変換器が、フラッシュA/
    D変換器であることを特徴とする、請求項6、7、8又
    は9に記載のシステム。
JP2002103188A 2001-04-06 2002-04-05 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法 Expired - Fee Related JP4340803B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/827942 2001-04-06
US09/827,942 US7492394B2 (en) 2001-04-06 2001-04-06 System and method for correcting erroneous image signals from defective photosensitive pixels during analog-to-digital conversion

Publications (2)

Publication Number Publication Date
JP2002330357A true JP2002330357A (ja) 2002-11-15
JP4340803B2 JP4340803B2 (ja) 2009-10-07

Family

ID=25250531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002103188A Expired - Fee Related JP4340803B2 (ja) 2001-04-06 2002-04-05 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法

Country Status (3)

Country Link
US (1) US7492394B2 (ja)
EP (1) EP1248458B1 (ja)
JP (1) JP4340803B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479373B2 (ja) * 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
EP1770987A1 (en) * 2005-09-30 2007-04-04 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensor artifact elimination
JP4305507B2 (ja) * 2006-12-18 2009-07-29 ソニー株式会社 撮像装置およびカメラ
KR102142624B1 (ko) * 2013-12-30 2020-08-10 삼성디스플레이 주식회사 표시장치
US9854190B2 (en) * 2015-03-24 2017-12-26 Semiconductor Components Industries, Llc Imaging systems and methods for transient signal integrity verification

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4278995A (en) * 1979-08-20 1981-07-14 Eastman Kodak Company Color line sensor for use in film scanning apparatus
US4535359A (en) 1983-01-17 1985-08-13 Eastman Kodak Company Defect correction in solid state imaging
US4573035A (en) * 1984-07-25 1986-02-25 Analogic Corporation Digital x-ray system
JP3351704B2 (ja) 1997-04-09 2002-12-03 ペンタックス株式会社 画像信号補正装置
US5982318A (en) * 1997-10-10 1999-11-09 Lucent Technologies Inc. Linearizing offset cancelling white balancing and gamma correcting analog to digital converter for active pixel sensor imagers with self calibrating and self adjusting properties
US6275259B1 (en) * 1998-02-02 2001-08-14 International Business Machines Corporation Digital automatic gain control circuit for image system
KR100284284B1 (ko) * 1998-11-05 2001-03-02 김영환 디지털 카메라의 아날로그 신호 처리 장치
JP2000115546A (ja) * 1998-10-09 2000-04-21 Ricoh Co Ltd 画像読取装置
ATE247885T1 (de) * 1999-03-15 2003-09-15 Texas Instruments Inc Filterung defekter bildelemente bei digitalen bildgebern
DE19933199C1 (de) * 1999-07-15 2001-01-25 Daimler Chrysler Ag Verfahren zur Erfassung von Helligkeitssignalen einer Mehrzahl lichtempfindlicher Sensorelemente
US6654054B1 (en) * 1999-11-02 2003-11-25 Agilent Technologies, Inc. Method and apparatus for canceling the effects of noise in an electronic signal

Also Published As

Publication number Publication date
JP4340803B2 (ja) 2009-10-07
EP1248458A3 (en) 2003-03-05
EP1248458B1 (en) 2015-05-13
US20020145672A1 (en) 2002-10-10
US7492394B2 (en) 2009-02-17
EP1248458A2 (en) 2002-10-09

Similar Documents

Publication Publication Date Title
CN109640010B (zh) 电子装置以及取像方法
USRE44062E1 (en) Image sensor for detecting flicker noise and method thereof
TWI650015B (zh) 使用平行多斜坡合併比較器類比至數位轉換器以減少影像感測器中之雜訊之方法及系統
JP5586236B2 (ja) 画像センサのダイナミックレンジ拡大方法及び画像センサ
US7986363B2 (en) High dynamic range imager with a rolling shutter
US6275259B1 (en) Digital automatic gain control circuit for image system
US8223227B2 (en) Read out method for a CMOS imager with reduced dark current
US7876371B2 (en) Systems and methods to perform digital correlated double sampling using successive approximation analog to digital conversion techniques
US11665446B2 (en) Image sensing system and operating method thereof
JP6643919B2 (ja) 信号処理装置及び方法、及び撮像装置
JP4157862B2 (ja) アナログ‐デジタル変換器及びその動作方法、撮像装置並びにランプ発生器の動作方法
US20030231252A1 (en) Image sensor with improved noise cancellation
JP4340803B2 (ja) 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法
US6983072B2 (en) Dark frame subtraction using compression
US6956978B2 (en) Multi-pass dark frame subtraction
JP2020115604A (ja) 撮像装置およびその制御方法
JP2003259234A (ja) Cmosイメージセンサ
JP2006128752A (ja) Ad変換方法およびad変換装置並びに物理情報取得方法および物理情報取得装置
US7349126B2 (en) System with a random number generator used to remove contouring in CMOS imager data having an extended dynamic range
JP4521050B2 (ja) アナログ‐デジタル変換器及びその動作方法、ランプ発生器及びその動作方法並びに撮像装置
JPH05145756A (ja) 画像読取装置
JP2008054205A (ja) アナログ/ディジタル変換装置
JPH0771230B2 (ja) 赤外ccdカメラ用感度バラツキ補正装置
JPH11341327A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050401

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060808

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080208

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080604

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080624

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080603

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4340803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees