JP2002135792A - 固体撮像素子 - Google Patents

固体撮像素子

Info

Publication number
JP2002135792A
JP2002135792A JP2000318081A JP2000318081A JP2002135792A JP 2002135792 A JP2002135792 A JP 2002135792A JP 2000318081 A JP2000318081 A JP 2000318081A JP 2000318081 A JP2000318081 A JP 2000318081A JP 2002135792 A JP2002135792 A JP 2002135792A
Authority
JP
Japan
Prior art keywords
filter
color
gray
green
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000318081A
Other languages
English (en)
Other versions
JP4517493B2 (ja
JP2002135792A5 (ja
Inventor
Shinichiro Saito
新一郎 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000318081A priority Critical patent/JP4517493B2/ja
Priority to US09/982,304 priority patent/US7126633B2/en
Publication of JP2002135792A publication Critical patent/JP2002135792A/ja
Priority to US11/582,224 priority patent/US7852389B2/en
Publication of JP2002135792A5 publication Critical patent/JP2002135792A5/ja
Application granted granted Critical
Publication of JP4517493B2 publication Critical patent/JP4517493B2/ja
Priority to US12/966,655 priority patent/US8848074B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】 色による解像感の偏りの発生をなくし、輪郭
強調をつけて良好な画像が得られる固体撮像素子を提供
する。 【解決手段】 原色系のカラーフィルタ1を具備して成
る単板式の固体撮像素子のカラーフィルタ1において、
3原色のフィルタR,G,Bの配列の特定の画素にグレ
イフィルタGrayを配置形成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、原色系のカラーフ
ィルタを備えて成る単板式の固体撮像素子に係わる。
【0002】
【従来の技術】単板式のカラー用固体撮像素子において
は、センサ部上にオンチップカラーフィルタを形成し、
このオンチップカラーフィルタを複数色のカラーフィル
タが所定の配列で繰り返し配置された構成とすることに
より、所望の色の信号が出力されるようにしている。
【0003】このカラーフィルタのカラーコーディング
(色配列)には多数の種類がある。そのうち、原色系
(赤R、緑G、青Bの3色)の色配列で、いわゆるベイ
ヤー配列がとられている。
【0004】このベイヤー配列を図11に示す。縦2画
素×横2画素の4画素で見ると、グリーン(緑)Gが対
角線状に斜めに2カ所に配置され、残りの2カ所の一方
にレッド(赤)Rが、他方にブルー(青)Bが配置され
ている。全体的にはグリーンGが斜め方向に並ぶ形にな
っている。
【0005】このベイヤー配列の特徴は、解像度に寄与
するグリーンGの画素が水平方向のみ、もしくは垂直方
向のみに見ると毎画素存在する。図中Pxは水平方向の
画素ピッチ、Pyは垂直方向の画素ピッチを示す。これ
により以下の特徴を有している。
【0006】(1)水平方向及び垂直方向の空間周波数
特性が等方的である。図12に図11のベイヤー配列に
おける3原色の水平方向及び垂直方向の空間周波数特性
を示す。図12AはグリーンG、図12BはレッドR、
図12CはブルーBをそれぞれ示す。図12B及び図1
2Cより、レッドRとブルーBは、水平方向で見ても垂
直方向で見ても1画素おきに存在する。これにより、水
平空間周波数(1/Px)及び垂直空間周波数(1/P
y)が1/4となっている。一方、図12Aより、グリ
ーンGは前述のように水平方向で見ても垂直方向で見て
も毎画素存在し、水平空間周波数(1/Px)及び垂直
空間周波数(1/Py)が1/2とレッドRやブルーB
の2倍となっている。ただし、斜め方向では1画素おき
に存在するのでレッドRやブルーBと同じになってい
る。従って、3色とも、水平空間周波数と垂直空間周波
数が等しくなっている。
【0007】(2)比較的解像感の高いアパコン信号
(輪郭補正信号)をグリーンGの画素のみで作ることが
できる。アパコン信号をグリーンGの画素のみで作るこ
とにより、3色全ての画素を使用してアパコン信号を作
る方式と比較して、比較的小規模なハードウエアで実現
可能である利点を有している。
【0008】
【発明が解決しようとする課題】ところが、RGB(原
色系)ベイヤー配列のカラーフィルタでは、アパコン信
号をグリーンGの画素からの信号のみで生成するように
構成していることにより、色によって解像感の偏りが発
生することがある。これは、グリーンGの信号のみでア
パコン信号を生成すると、分光特性上、グリーン成分に
偏ってしまうために、レッドR、ブルーB等のグリーン
Gを含まない原色系の色相の被写体に対してアパコン信
号が生成されにくい。即ち例えば赤いバラ等に対して
は、飽和度の高い被写体であるにもかかわらず、輪郭強
調がつきにくくなる。
【0009】上述した問題の解決のために、本発明にお
いては、色による解像感の偏りの発生をなくし、輪郭強
調をつけて良好な画像が得られる固体撮像素子を提供す
るものである。
【0010】
【課題を解決するための手段】本発明の固体撮像素子
は、原色系のカラーフィルタを具備して成る単板式の固
体撮像素子であって、カラーフィルタにおいて3原色の
フィルタの配列の特定の画素にグレイフィルタが配置形
成されたものである。
【0011】上述の本発明の固体撮像素子の構成によれ
ば、3原色(赤、緑、青)のフィルタの配列の特定の画
素にグレイフィルタを配置したことにより、グレイフィ
ルタが配置された画素において3原色(赤、緑、青)の
各色の信号をそれぞれ検出することができ、グレイフィ
ルタの画素の出力信号を利用して、3原色(赤、緑、
青)の各色の出力信号の処理を行うことができる。
【0012】
【発明の実施の形態】本発明は、原色系のカラーフィル
タを具備して成る単板式の固体撮像素子であって、カラ
ーフィルタにおいて3原色のフィルタの配列の特定の画
素にグレイフィルタが配置形成された固体撮像素子であ
る。
【0013】また本発明は、上記固体撮像素子におい
て、カラーフィルタの色配列がベイヤー配列であり、レ
ッドフィルタの水平隣のグリーンフィルタ或いはブルー
フィルタの水平隣のグリーンフィルタがグレイフィルタ
に置き換えられている構成とする。
【0014】また本発明は、上記固体撮像素子におい
て、グレイフィルタを、他の3原色のフィルタと同等の
周波数特性となるようにキャリアバランスをとる手段
と、輪郭補正信号を合成する手段とを備えた構成とす
る。
【0015】本発明では、原色系(レッド、グリーン、
ブルー)のカラーフィルタの配列の中で特定の画素のみ
グレイフィルタに置き換えてカラーフィルタを構成する
ものである。
【0016】そして、例えば図11に示した原色系ベイ
ヤー配列のカラーフィルタの場合、レッドRに水平方向
で隣接するグリーンGをグレイに置き換えるか、もしく
はブルーBの水平方向で隣接するグリーンGをグレイに
置き換える。
【0017】本発明の一実施の形態として固体撮像素子
のカラーフィルタの色配列を図1に示す。本実施の形態
のカラーフィルタ1は、図11に示した原色系ベイヤー
配列のカラーフィルタにおいて、レッドフィルタRに水
平方向で隣接するグリーンフィルタGをグレイフィルタ
Grayに置き換えた場合である。これにより、レッド
R、グリーンG、ブルーB、グレイGrayの4色のフ
ィルタが、水平方向・垂直方向ともに1画素おきに存在
している。
【0018】グレイフィルタは、他の3原色のフィルタ
と同様にして形成することが可能である。例えばグレイ
の染料(または顔料)を含有したレジスト等により形成
することができる。
【0019】また、グレイフィルタは、可視光線の分光
領域で比較的波長依存性の少ないフラットな光学特性を
有している。そして、グレイフィルタも他の色のフィル
タと同様に、例えば染料・顔料の含有量を変更すること
により、フィルタの透過率を多くしたり少なくしたりし
て透過特性を変更することが可能である。
【0020】グレイフィルタの透過特性は、上述のよう
にして変更可能であるが、機能的には次の3種類に大別
される。 (1)透過率100%に近い理想的なホワイトに近い透
過特性 (2)可視光分光領域における積分値がグリーンフィル
タと同等な透過率を有する透過特性 (3)上記以外の透過率を有する透過特性これらの場合
のグレイフィルタの透過特性を、他の3原色のフィルタ
の透過特性と共に図2に示す。
【0021】(1)透過率100%に近い理想ホワイト
特性(図2のGray(1)の場合) この場合、RGB各色の感度と比較して、グレイ画素の
感度は2倍以上と高い。これにより、S/N比の改善が
可能となる。また、後述するキャリアバランスをとる
と、グレイGray画素の出力をRGB各色の感度と同
じようになるようにするので、負の利得をもつことにな
るが、これにより輝度信号や色差信号のS/N比を改善
することができる。
【0022】(2)可視光分光領域における積分値がグ
リーンフィルタと同等な透過率を有するグレイ分光(図
2のGray(2)の場合) (1)の場合、グレイフィルタが他のRGBフィルタに
比較して感度が高いため、同一光量に対してグレイフィ
ルタが他の色フィルタより早く飽和する。従って、グレ
イフィルタGrayの可視光分光領域における積分値が
グリーンフィルタGと同じようになるような透過率にす
ることで、ダイナミックレンジをRGBフィルタと同等
にすることが可能である。
【0023】(3)上記以外の透過率を有するグレイ分
光(図2のGray(3)の場合) グレイフィルタGrayの可視光分光領域における積分
値をグリーンフィルタG以下となるような透過率にする
ことで、輝度のダイナミックレンジをRGBフィルタ以
上の特性にすることが可能である。ただし、この場合グ
レイフィルタGrayの感度はグリーンGよりも小さい
ので、感度もしくはS/N比の点では(1)(2)の場
合よりも劣る。
【0024】グレイフィルタGrayは、上述のように
フラットな透過特性を有するため、可視光領域の全ての
色相の光に対して応答を持つ。従って、RGB各画素の
感度値と同等の信号出力となるようにそれぞれ利得を制
御することにより、グレイフィルタGrayの画素の出
力を信号処理におけるRGBそれぞれのフィルタ出力信
号として代用可能である。
【0025】まず、グリーンGのフィルタ出力信号につ
いて考える。図3Aにグリーン成分となるフィルタの配
置を示す。図3Aにおいて、左下の元々のグリーンフィ
ルタGreenに加えて、右上のグレイフィルタもグリ
ーン成分Greenを構成する。図3Aではグレイフィ
ルタは元々のグリーンフィルタと区別するため、斜線を
付加して示している。この場合、グリーン成分Gree
nとなる画素の配置は図11のベイヤー配列のグリーン
Gと同じであるので、グリーン成分Greenの空間周
波数特性は、図3Bに示すように、先に示した図12A
の場合と等しくなる。
【0026】次に、レッドRのフィルタ出力信号につい
て考える。図4Aにレッド成分となるフィルタの配置を
示す。図4Aにおいて、左上の元々のレッドフィルタR
edに加えて、右上のグレイフィルタもレッド成分Re
dを構成する。図4Aではグレイフィルタは元々のレッ
ドフィルタと区別するため、斜線を付加して示してい
る。この場合、レッド成分Redとなる画素は左上と右
上即ち上半分である。従って、水平方向には毎画素存在
し、垂直方向には1画素おきに存在する。これにより、
レッド成分Redの空間周波数特性は、図4Bに示すよ
うに、水平空間周波数は図12Bの場合の2倍の1/2
となり、その一方垂直空間周波数は図12Bの場合と同
じ1/4となる。また、画素の個数は2倍となるので、
図4Bの面積が図12Bの面積の2倍となっている。即
ちレッドの情報量が2倍になっている。
【0027】続いて、ブルーBのフィルタ出力信号につ
いて考える。図5Aにブルー成分となるフィルタの配置
を示す。図5Aにおいて、右下の元々のブルーフィルタ
Blueに加えて、右上のグレイフィルタもブルー成分
Blueを構成する。図5Aではグレイフィルタは元々
のブルーフィルタと区別するため、斜線を付加して示し
ている。この場合、ブルー成分Blueとなる画素は右
下と右上即ち右半分である。従って、水平方向には1画
素おきに存在し、垂直方向には毎画素存在する。これに
より、ブルー成分Blueの空間周波数特性は、図5B
に示すように、水平空間周波数は図12Cの場合と同じ
1/4となり、その一方垂直空間周波数は図12Cの場
合の2倍の1/2となる。また、画素の個数は2倍とな
るので、図5Bの面積が図12Cの面積の2倍となって
いる。即ちブルーの情報量が2倍になっている。
【0028】つまり、図11に示す従来のベイヤー配列
では、レッドRとブルーBの画素はグリーンGの画素に
対して半分の情報量であったのが、本実施の形態ではグ
レイフィルタGrayを用いることにより従来の2倍の
情報として扱えるため、レッドR・グリーンG・ブルー
Bの各画素の情報量を同等とすることができる。即ち空
間周波数特性として、レッドRとブルーBの通過帯域が
従来の2倍になる。
【0029】次に、レッド、グリーン、ブルー、グレイ
の4色のフィルタからアパコン信号(輪郭補正信号)を
生成する方法について説明する。図7に信号処理のブロ
ック図を示す。この図7に示す信号処理は、4色の画素
の出力信号(例えばCCD型固体撮像素子の場合はCC
D出力)から、各種処理を行って、輝度信号Yと色差信
号Cとを得るものである。
【0030】(1)まず、グレイフィルタの画素の出力
を、RGB各画素の感度値と同等の信号出力となるよう
にそれぞれ利得を制御する必要がある。これをキャリア
バランスと言う。ここで、図6に示すように、全画素を
4色のフィルタを1つずつ含む2×2の4画素ずつの区
画に区切って、この2×2の4画素の各色のフィルタ
を、それぞれRedij、Greenij、Bluei
j、Grayij(i,jは0以上の整数によるアドレ
ス)とする。
【0031】そして、この場合、以下の数式により、そ
れぞれグリーン、レッド、ブルーに対してキャリアバラ
ンスがなされる。 (グリーンキャリアバランス) Green(i,j)´=Gray(i,j)×〔Σ
(グリーン出力値)〕/〔Σ(グレイ出力値)〕 ただし、Σの範囲は対象画素アドレス(i,j)に対し
て±N画素の領域 (レッドキャリアバランス) Red(i,j)´=Gray(i,j)×〔Σ(レッ
ド出力値)〕/〔Σ(グレイ出力値)〕 ただし、Σの範囲は対象画素アドレス(i,j)に対し
て±N画素の領域 (ブルーキャリアバランス) Blue(i,j)´=Gray(i,j)×〔Σ(ブ
ルー出力値)〕/〔Σ (グレイ出力値)〕 ただし、Σの範囲は対象画素アドレス(i,j)に対し
て±N画素の領域
【0032】このようにキャリアバランスを行った出力
Green(i,j)´,Red(i,j)´,Blu
e(i,j)´を、各色の出力として後段の回路に出力
する。
【0033】実際には、このキャリアバランスの処理
は、図7に示すように通常の信号処理回路でも行われる
ホワイトバランス回路12の前段の回路11で行う。
【0034】(2)次に、キャリアバランスの後のホワ
イトバランス補正処理を行う。例えば白い被写体を撮像
した場合、本来R,G,Bは同じレベルになるはずだ
が、R,G,B各色のフィルタの分光特性の違い(図2
参照)により、必ずしも同一レベルとはならない。この
とき、R,G,Bのそれぞれに利得を持たせることによ
り、白を撮像したときにR=G=Bになるようにする。
これにより、各色毎の感度差を補正して、白い被写体は
白く見えるようにする。これをホワイトバランス補正と
呼び、通常のグレイフィルタのない通常のカラーフィル
タでも行われる処理である。図7のブロック図では、ホ
ワイトバランス回路12でホワイトバランス補正が行わ
れ、出力WBoutを得る。
【0035】(3)次に、各色の出力信号から輝度信号
と色差信号とを生成するために、全画素に対して3倍の
RGBデータを作り出す。これを補間と呼ぶ。即ち4色
の出力信号である、R,Gray,R,Gray,・・
・・,G,B,G,B・・・・のような点順次のデータ
からR,R,R,R,R,R,・・・・,G,G,G,
G,G,G,・・・・,B,B,B,B,B,・・・・
のような毎画素RGBが存在する3種類のRGBデータ
に変換する。これにより、例えば100画素からはR,
G,Bを100ずつ含む300のデータを得る。図7の
ブロック図では、ホワイトバランス回路12の出力WB
outから、Red補間回路13R、Green補間回
路13G、Blue補間回路13Bで、各色の補間が行
われる。
【0036】(4)また、補間の処理と並行してアパコ
ン信号(輪郭補正信号)を生成する。このアパコン信号
の生成は、ホワイトバランス補正の後、図7のアパコン
合成回路14において行われる。図8に図7のアパコン
合成回路14の構成を示す。図8に示すように、アパコ
ン合成回路14では、まずホワイトバランス出力の信号
WBoutをRed/Gray、Green/Gra
y、及びBlue/Grayの3種類の信号系に分離す
る。これを色分離という。
【0037】色分離を行った後、3種類の信号系それぞ
れでアパコン回路21R,21G,21Bを通す。続い
て、それぞれのアパコン回路21R,21G,21Bの
出力信号に対して、増幅器22R,22G,22Bによ
ってそれぞれレッド系がゲインα、グリーン系がゲイン
β、ブルー系がゲインγの利得制御を行う。通常はα=
β=γ=1である。最後に3系統の信号を混合し、アパ
コン信号出力APoutとして出力する。
【0038】さらに、各色のアパコン回路21R,21
G,21Bの詳細な構成を図9に示す。上述の色分離が
なされた後の信号を、図9の上下2系統で使用する。上
側は垂直アパコン信号ap_vを生成する系統vであ
り、下側は水平アパコン信号ap_hを生成する系統h
である。垂直アパコン信号ap_vは、最初に水平方向
のローパスフィルタ31をかけて、水平方向の演算ap
_v(u)を行って高域信号をカットする。その後、垂
直方向のバンドパスフィルタ32により、垂直方向の演
算ap_v(v)を行って垂直高域信号を生成する。水
平アパコン信号ap_hは、最初に垂直方向のローパス
フィルタ34をかけて、垂直方向の演算ap_h(v)
を行って垂直の高域信号をカットする。その後、水平方
向のバンドパスフィルタ35により、水平方向の演算a
p_h(u)を行って水平高域信号を生成する。尚、各
方向の演算においては、ある特定画素の周囲の画素(前
後或いは左右の数画素)の画素を使用して演算を行えば
よい。これにより、例えばローパスフィルタ31,33
ではその特定画素の信号をぼかして、バンドパスフィル
タ32,34ではその特定画素の信号を強調して、アパ
コン信号(輪郭補正信号)の元とすることができる。そ
して、垂直アパコン信号ap_vには増幅器33でゲイ
ンk、水平アパコン信号ap_hには増幅器36でゲイ
ンlをかけて、その後2系統の信号を混合し、各RGB
アパコン信号として出力する。この出力に図8の増幅器
22R,22G,22Bにおいて利得制御を行って3色
のアパコン信号を合成することにより、アパコン信号出
力APoutが得られる。
【0039】(5)次に、補間処理した信号とアパコン
信号を合成し、ガンマ補正を行う。ここで、モニタ、デ
ィスプレイに用いられるCRT(陰極線管)は、非線形
な入出力特性を持っており、低輝度側の発光が入力に比
例せず、小さく出る傾向がある。従って、RGB信号を
直接ディスプレイに表示した場合、低輝度側がつぶれた
ような、言い換えると暗く見える。これをCRTのガン
マ特性と呼ぶ。このとき、入力するRGB信号にガンマ
特性と逆の特性を有する非線形処理をすることで、モニ
タ、ディスプレイで見たとき、自然なコントラストにな
る。これをガンマ補正と呼ぶ。
【0040】ガンマ補正は、各補間回路13R,13
G,13Bにより補間された信号とアパコン合成回路1
4の出力APoutとを合成した後、ガンマ補正回路1
5により行われる。
【0041】(6)ガンマ補正を行ったR,G,B各色
の信号を、それぞれ輝度信号合成回路16及び色差信号
合成回路17に送り、輝度信号合成回路16で輝度信号
Yを生成し、色差信号合成回路17で色差信号Cを生成
する。このようにして、輪郭補正処理がなされている輝
度信号Y及び色差信号Cを得ることができる。
【0042】上述の本実施の形態によれば、原色系ベイ
ヤー配列のカラーフィルタにおいて、グリーンフィルタ
Greenの特定の画素をグレイフィルタGrayに置
き換えたことにより、グレイフィルタGrayの画素で
は、全ての色相の光に対して透過する特性を有するの
で、R,G,B3色の信号を得ることができる。これに
より、グリーン成分が非常に少ない被写体、例えば赤や
青の原色系の被写体に対しても輪郭強調を行うことがで
きる。従って、有彩色における解像度を改善することが
可能となり、良好な画像を得ることができる。
【0043】そして、比較的可視光分光領域でフラット
な透過特性を持つグレイフィルタに置き換えたことによ
り、図2に示したGray(1),Gray(2),G
ray(3)の3種類の透過率を選択することにより、
感度の改善もしくは、ダイナミックレンジの改善効果を
得ることができる。
【0044】上述の実施の形態では、ベイヤー配列のカ
ラーフィルタを具備した固体撮像素子に本発明を適用し
たが、本発明においてカラーフィルタの色配列はベイヤ
ー配列には限定されず、その他の原色系(R,G,B)
の色配列にも適用することができる。
【0045】本発明を適用する他の色配列の例を図10
A及び図10Bに示す。図10Aは、いわゆるGストラ
イプと呼ばれる色配列である。グリーンフィルタGを1
列おきに縦一列に配置し、グリーンフィルタGの各列の
間の列にレッドフィルタR及びブルーフィルタBを配置
している。レッドフィルタR及びブルーフィルタBは市
松配置となっている。この色配列に本発明を適用する場
合には、例えば図中*印を付したグリーンフィルタG、
即ちレッドフィルタRの左隣のグリーンフィルタGをグ
レイフィルタに置き換えればよい。(或いは*印を付し
ていないグリーンフィルタG、即ちレッドフィルタRの
右隣のグリーンフィルタGをグレイフィルタに置き換え
てもよい。) これにより、前述のベイヤー配列に適用した実施の形態
と同様に、グレイフィルタの画素においてR,G,B3
色の信号の出力を得ることができ、色による解像感の偏
りをなくす効果が得られる。尚、Gストライプの色配列
としては、レッドフィルタR及びブルーフィルタBの他
の配置も考えられる。
【0046】図10Bは、特にCCD固体撮像素子で垂
直方向2画素を加算して出力する場合の色配列である。
図11に示したベイヤー配列の各色R,G,Bの画素を
垂直方向2画素に分割した形になっている。この色配列
に本発明を適用する場合には、例えば図中*印を付した
グリーンフィルタG、即ちレッドフィルタRの水平隣の
グリーンフィルタGをグレイフィルタに置き換えればよ
い。これにより、図1の実施の形態と同様に、グレイフ
ィルタの画素においてR,G,B3色の信号の出力を得
ることができ、垂直2画素を加算して出力した信号を処
理することにより、色による解像感の偏りをなくす効果
が得られる。
【0047】本発明は、CCD固体撮像素子にもMOS
型の固体撮像素子にも適用することができ、いずれの固
体撮像素子においても、同様に本発明を適用してグレイ
フィルタを有するオンチップカラーフィルタを形成する
ことにより、色による解像感の偏りをなくして、良好な
画像を得ることが可能である。
【0048】尚、本発明におけるグレイフィルタを備え
たカラーフィルタは、各種画像表示装置(ディスプレ
イ)にも使用可能であるが、特に固体撮像素子に使用し
た場合に、上述の色による解像感の偏りをなくして、良
好な画像を得る効果を有するものである。
【0049】本発明は、上述の実施の形態に限定される
ものではなく、本発明の要旨を逸脱しない範囲でその他
様々な構成が取り得る。
【0050】
【発明の効果】上述の本発明によれば、原色系色配列の
カラーフィルタにおいて、特定の画素をグレイフィルタ
に置き換えたことにより、グレイフィルタの画素では、
原色の各色の信号を得ることができる。これにより、色
による解像感の偏りの発生をなくし、原色系の被写体で
も輪郭強調をつけることができる。従って、有彩色にお
ける解像度を改善することが可能となり、良好な画像を
得ることができる。
【0051】また本発明によれば、比較的可視光分光領
域でフラットな透過特性を持つグレイフィルタを備えた
ことにより、グレイフィルタの透過率を選定することに
よって、感度の改善効果もしくは、ダイナミックレンジ
の改善効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の固体撮像素子のカラー
フィルタの色配列を示す図である。
【図2】図1のカラーフィルタにおける各色のフィルタ
の分光特性を示す図である。
【図3】図1のカラーフィルタにおけるグリーン成分を
示す図である。 A グリーン成分の配列を示す図である。 B グリーン成分の空間周波数特性を示す図である。
【図4】図1のカラーフィルタにおけるレッド成分を示
す図である。 A レッド成分の配列を示す図である。 B レッド成分の空間周波数特性を示す図である。
【図5】図1のカラーフィルタにおけるブルー成分を示
す図である。 A ブルー成分の配列を示す図である。 B ブルー成分の空間周波数特性を示す図である。
【図6】図1のカラーフィルタの各画素にアドレスを付
した図である。
【図7】信号処理ブロックを示す図である。
【図8】図7のアパコン合成回路の構成を示す図であ
る。
【図9】図8の各色のアパコン回路の詳細な構成を示す
図である。
【図10】A、B 本発明を適用するカラーフィルタの
色配列の他の例を示す図である。
【図11】ベイヤー配列を示す図である。
【図12】A〜C 図11のベイヤー配列における各色
の空間周波数特性を示す図である。
【符号の説明】
1 カラーフィルタ、11 キャリアバランス回路、1
2 ホワイトバランス回路、14 アパコン合成回路、
15 ガンマ補正回路、16 輝度信号合成回路、17
色差信号合成回路、21R,21G,21B アパコ
ン回路、31 水平ローパスフィルタ、32 垂直バン
ドパスフィルタ、33 垂直ローパスフィルタ、34
水平バンドパスフィルタ
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H01L 27/14 H01L 27/14 D Fターム(参考) 2H048 BB02 BB08 BB10 BB47 4M118 AA02 AA10 AB01 BA10 FA06 GC08 GC09 GC14 GC15 5B047 AB04 BB04 BC01 DA01 DC11 5C065 BB10 CC01 DD02 EE03 EE06 EE10 GG06 GG07 GG13 GG21 GG23

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 原色系のカラーフィルタを具備して成る
    単板式の固体撮像素子であって、 上記カラーフィルタにおいて、3原色のフィルタの配列
    の特定の画素にグレイフィルタが配置形成されたことを
    特徴とする固体撮像素子。
  2. 【請求項2】 上記カラーフィルタの色配列がベイヤー
    配列であり、レッドフィルタの水平隣のグリーンフィル
    タ或いはブルーフィルタの水平隣のグリーンフィルタが
    上記グレイフィルタに置き換えられていることを特徴と
    する請求項1に記載の固体撮像素子。
  3. 【請求項3】 上記グレイフィルタを、他の3原色のフ
    ィルタと同等の周波数特性となるようにキャリアバラン
    スをとる手段と、輪郭補正信号を合成する手段とを備え
    たことを特徴とする請求項1に記載の固体撮像素子。
JP2000318081A 2000-10-18 2000-10-18 固体撮像素子及びその信号処理方法 Expired - Lifetime JP4517493B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000318081A JP4517493B2 (ja) 2000-10-18 2000-10-18 固体撮像素子及びその信号処理方法
US09/982,304 US7126633B2 (en) 2000-10-18 2001-10-17 Solid-state image-pickup device having primary color and gray color filters and processing means thereof
US11/582,224 US7852389B2 (en) 2000-10-18 2006-10-16 Solid-state image pick-up device having primary color and gray color filters and processing means therefor
US12/966,655 US8848074B2 (en) 2000-10-18 2010-12-13 Solid-state image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000318081A JP4517493B2 (ja) 2000-10-18 2000-10-18 固体撮像素子及びその信号処理方法

Publications (3)

Publication Number Publication Date
JP2002135792A true JP2002135792A (ja) 2002-05-10
JP2002135792A5 JP2002135792A5 (ja) 2007-04-12
JP4517493B2 JP4517493B2 (ja) 2010-08-04

Family

ID=18796763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000318081A Expired - Lifetime JP4517493B2 (ja) 2000-10-18 2000-10-18 固体撮像素子及びその信号処理方法

Country Status (2)

Country Link
US (3) US7126633B2 (ja)
JP (1) JP4517493B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007027610A (ja) * 2005-07-21 2007-02-01 Toppan Printing Co Ltd 固体撮像素子
JP2007053731A (ja) * 2005-07-21 2007-03-01 Sony Corp 物理情報取得方法および物理情報取得装置並びに半導体装置
JP2007258686A (ja) * 2006-02-23 2007-10-04 Fujifilm Corp 固体撮像素子及び撮像装置
JP2007288403A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置およびカメラシステム
JP2007288549A (ja) * 2006-04-18 2007-11-01 Sony Corp 物理情報取得方法および物理情報取得装置
JP2008011528A (ja) * 2006-06-26 2008-01-17 Samsung Electro Mech Co Ltd デジタルカメラモジュール
JP2008022521A (ja) * 2006-06-14 2008-01-31 Toshiba Corp 固体撮像素子
JP2008507908A (ja) * 2004-07-21 2008-03-13 マイクロン テクノロジー インコーポレイテッド 杆体および錐体応答センサ
JP2008533590A (ja) 2005-03-11 2008-08-21 ハンド ヘルド プロダクツ インコーポレーティッド 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー
KR100871564B1 (ko) 2006-06-19 2008-12-02 삼성전기주식회사 카메라 모듈
JP2009524989A (ja) * 2006-01-27 2009-07-02 イーストマン コダック カンパニー パンクロマチック画素及びカラー画素の補間
US7671316B2 (en) 2006-03-31 2010-03-02 Sony Corporation Imaging device camera system and driving method of the same
US7990444B2 (en) 2008-02-26 2011-08-02 Sony Corporation Solid-state imaging device and camera
US8294797B2 (en) 2008-08-27 2012-10-23 Samsung Electronics Co., Ltd. Apparatus and method of generating a high dynamic range image
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
US8547472B2 (en) 2007-06-07 2013-10-01 Kabushiki Kaisha Toshiba Image pickup device and camera module using the same
US8749672B2 (en) 2010-08-20 2014-06-10 Olympus Corporation Digital camera having a multi-spectral imaging device
CN105635699A (zh) * 2014-11-06 2016-06-01 联咏科技股份有限公司 用于图像传感装置的色彩滤波阵列及其制造方法
US9787952B2 (en) 2014-10-27 2017-10-10 Novatek Microelectronics Corp. Color filter array and manufacturing method thereof
JP2018093295A (ja) * 2016-11-30 2018-06-14 日本放送協会 コントラスト補正装置及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
DE502005003754D1 (de) 2004-05-25 2008-05-29 Vdo Automotive Ag Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
BE1016426A3 (nl) * 2005-01-25 2006-10-03 Ceulemans Jean Paul Jeanne Inrichting voor het vergroten van het dynamisch bereik van digitale captatiesystemen.
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4187004B2 (ja) * 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
JP5375359B2 (ja) * 2009-06-22 2013-12-25 ソニー株式会社 撮像素子、電荷読み出し方法、撮像装置
US8619143B2 (en) * 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
JP5757711B2 (ja) * 2010-09-27 2015-07-29 オリンパス株式会社 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
CN114007025B (zh) * 2016-09-29 2024-05-10 株式会社尼康 拍摄元件及电子相机
CN111970954A (zh) * 2018-04-23 2020-11-20 富士胶片株式会社 医疗图像处理系统
US11172142B2 (en) * 2018-09-25 2021-11-09 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor for sensing LED light with reduced flickering
KR102660132B1 (ko) * 2018-12-11 2024-04-25 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치 및 전자 기기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5875393A (ja) * 1981-10-29 1983-05-07 Sharp Corp 単板カラ−撮像装置
JPH0823543A (ja) * 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH09116913A (ja) * 1995-10-23 1997-05-02 Victor Co Of Japan Ltd 色フィルタアレイ及び映像信号処理回路
WO2000057651A1 (en) * 1999-03-22 2000-09-28 Biomorphic Vlsi, Inc. Color image pickup apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4290671A (en) * 1980-02-19 1981-09-22 Rca Corporation Color encoding filter
JPS57102281U (ja) * 1980-12-16 1982-06-23
US4500914A (en) * 1981-08-01 1985-02-19 Sharp Kabushiki Kaisha Color imaging array and color imaging device
EP0570204B1 (en) * 1992-05-13 1996-07-10 Matsushita Electric Industrial Co., Ltd. Solid state image pickup device using a colour filter array
JPH08116913A (ja) 1994-10-18 1996-05-14 Kyodo Kumiai Shisupetsukusu 魚を原料とした発酵調味料の製造方法
US5574816A (en) * 1995-01-24 1996-11-12 Alcatel Na Cable Sytems, Inc. Polypropylene-polyethylene copolymer buffer tubes for optical fiber cables and method for making the same
US5768511A (en) * 1995-09-18 1998-06-16 International Business Machines Corporation Method and system for managing objects in networked computer system with action performed in the server and object updated in the client
US6400403B1 (en) * 1996-07-03 2002-06-04 Sony Corporation Solid-state imaging device having improved resolution without generating a pseudo signal
JPH1126737A (ja) * 1997-06-30 1999-01-29 Victor Co Of Japan Ltd 固体撮像素子
GB2345217A (en) * 1998-12-23 2000-06-28 Nokia Mobile Phones Ltd Colour video image sensor
JP3913388B2 (ja) * 1999-02-01 2007-05-09 三洋電機株式会社 固体撮像装置
GB2351866A (en) * 1999-07-07 2001-01-10 Sharp Kk Stereoscopic display
US6900838B1 (en) * 1999-10-14 2005-05-31 Hitachi Denshi Kabushiki Kaisha Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
US6960753B2 (en) * 2001-01-24 2005-11-01 Hewlett-Packard Development Company, L.P. Photosensor arrays with encoded permanent information
US20040105021A1 (en) * 2002-12-02 2004-06-03 Bolymedia Holdings Co., Ltd. Color filter patterns for image sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5875393A (ja) * 1981-10-29 1983-05-07 Sharp Corp 単板カラ−撮像装置
JPH0823543A (ja) * 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH09116913A (ja) * 1995-10-23 1997-05-02 Victor Co Of Japan Ltd 色フィルタアレイ及び映像信号処理回路
WO2000057651A1 (en) * 1999-03-22 2000-09-28 Biomorphic Vlsi, Inc. Color image pickup apparatus

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507908A (ja) * 2004-07-21 2008-03-13 マイクロン テクノロジー インコーポレイテッド 杆体および錐体応答センサ
US7880785B2 (en) 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP2008533590A (ja) 2005-03-11 2008-08-21 ハンド ヘルド プロダクツ インコーポレーティッド 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー
JP2007053731A (ja) * 2005-07-21 2007-03-01 Sony Corp 物理情報取得方法および物理情報取得装置並びに半導体装置
US8519319B2 (en) 2005-07-21 2013-08-27 Sony Corporation Physical information acquisition method, physical information acquisition device, and semiconductor device
US8035069B2 (en) 2005-07-21 2011-10-11 Sony Corporation Physical information acquisition method, physical information acquisition device, and semiconductor device
JP2007027610A (ja) * 2005-07-21 2007-02-01 Toppan Printing Co Ltd 固体撮像素子
JP2009524989A (ja) * 2006-01-27 2009-07-02 イーストマン コダック カンパニー パンクロマチック画素及びカラー画素の補間
JP2007258686A (ja) * 2006-02-23 2007-10-04 Fujifilm Corp 固体撮像素子及び撮像装置
US7952623B2 (en) 2006-02-23 2011-05-31 Fujifilm Corporation Solid state imaging device and image pickup apparatus
US7982174B2 (en) 2006-03-31 2011-07-19 Sony Corporation Imaging device camera system and driving method of the same
US7671316B2 (en) 2006-03-31 2010-03-02 Sony Corporation Imaging device camera system and driving method of the same
US8598508B2 (en) 2006-03-31 2013-12-03 Sony Corporation Imaging device camera system and driving method of the same
US7915574B2 (en) 2006-03-31 2011-03-29 Sony Corporation Imaging device camera system and driving method of the same
US7915576B2 (en) 2006-03-31 2011-03-29 Sony Corporation Imaging device camera system and driving method of the same
US10483314B2 (en) 2006-03-31 2019-11-19 Sony Semiconductor Solutions Corporation Imaging device camera system and driving method of the same
US11056526B2 (en) 2006-03-31 2021-07-06 Sony Semiconductor Solutions Corporation Imaging device camera system and driving method of the same
US9560325B2 (en) 2006-03-31 2017-01-31 Sony Semiconductor Solutions Corporation Imaging device camera system and driving method of the same
US8227737B2 (en) 2006-03-31 2012-07-24 Sony Corporation Imaging device camera system and driving method of the same
JP2007288403A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置およびカメラシステム
JP2007288549A (ja) * 2006-04-18 2007-11-01 Sony Corp 物理情報取得方法および物理情報取得装置
JP2008022521A (ja) * 2006-06-14 2008-01-31 Toshiba Corp 固体撮像素子
KR100871564B1 (ko) 2006-06-19 2008-12-02 삼성전기주식회사 카메라 모듈
JP2008011528A (ja) * 2006-06-26 2008-01-17 Samsung Electro Mech Co Ltd デジタルカメラモジュール
US8547472B2 (en) 2007-06-07 2013-10-01 Kabushiki Kaisha Toshiba Image pickup device and camera module using the same
US7990444B2 (en) 2008-02-26 2011-08-02 Sony Corporation Solid-state imaging device and camera
US8294797B2 (en) 2008-08-27 2012-10-23 Samsung Electronics Co., Ltd. Apparatus and method of generating a high dynamic range image
US8749672B2 (en) 2010-08-20 2014-06-10 Olympus Corporation Digital camera having a multi-spectral imaging device
US9681059B2 (en) 2011-12-16 2017-06-13 Sony Corporation Image-capturing device
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
US9787952B2 (en) 2014-10-27 2017-10-10 Novatek Microelectronics Corp. Color filter array and manufacturing method thereof
US10349016B2 (en) 2014-10-27 2019-07-09 Novatek Microelectronics Corp. Color filter array and manufacturing method thereof capable of enlarging a dynamic range of an image sensing device
CN105635699A (zh) * 2014-11-06 2016-06-01 联咏科技股份有限公司 用于图像传感装置的色彩滤波阵列及其制造方法
CN105635699B (zh) * 2014-11-06 2019-10-18 联咏科技股份有限公司 用于图像传感装置的色彩滤波阵列及其制造方法
JP2018093295A (ja) * 2016-11-30 2018-06-14 日本放送協会 コントラスト補正装置及びプログラム

Also Published As

Publication number Publication date
US20070035645A1 (en) 2007-02-15
US8848074B2 (en) 2014-09-30
US20020044209A1 (en) 2002-04-18
US20110149127A1 (en) 2011-06-23
US7852389B2 (en) 2010-12-14
JP4517493B2 (ja) 2010-08-04
US7126633B2 (en) 2006-10-24

Similar Documents

Publication Publication Date Title
JP2002135792A (ja) 固体撮像素子
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
US7414630B2 (en) Hexagonal color pixel structure with white pixels
US9330480B2 (en) Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
TWI407800B (zh) 馬賽克影像的改良處理
US8860857B2 (en) System and method for a high performance color filter mosaic array
WO2017152402A1 (zh) 终端的图像处理方法、装置和终端
JP2003199117A (ja) 撮像装置及び固体撮像素子の信号処理方法
US7072509B2 (en) Electronic image color plane reconstruction
US20030016295A1 (en) Image signal processor
US20020181770A1 (en) Preventing green non-uniformity in image sensors
US7046277B2 (en) Image interpolating device, including interpolation and modification processors
US6747698B2 (en) Image interpolating device
CN108702494A (zh) 图像处理装置、成像装置、图像处理方法和程序
US6900833B2 (en) Image interpolating device
US20070046787A1 (en) Chrominance filter for white balance statistics
JP2004056640A (ja) 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ
JP7203441B2 (ja) 画像生成装置及び撮像装置
JPS58179083A (ja) カラ−固体撮像装置
JPH089395A (ja) カラー撮像装置
KR20050014916A (ko) 신호 처리를 위한 방법 및 장치, 컴퓨터 프로그램 제품,컴퓨팅 시스템 및 카메라
JPH04298191A (ja) 輝度信号合成回路
JP2009171378A (ja) 撮像信号処理回路、撮像信号処理方法、プログラムおよび撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4517493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250