JP2006270364A - 固体撮像素子および固体撮像装置、ならびにその駆動方法 - Google Patents

固体撮像素子および固体撮像装置、ならびにその駆動方法 Download PDF

Info

Publication number
JP2006270364A
JP2006270364A JP2005083944A JP2005083944A JP2006270364A JP 2006270364 A JP2006270364 A JP 2006270364A JP 2005083944 A JP2005083944 A JP 2005083944A JP 2005083944 A JP2005083944 A JP 2005083944A JP 2006270364 A JP2006270364 A JP 2006270364A
Authority
JP
Japan
Prior art keywords
solid
color filter
sub
imaging device
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2005083944A
Other languages
English (en)
Inventor
Mitsuru Iwata
充 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2005083944A priority Critical patent/JP2006270364A/ja
Publication of JP2006270364A publication Critical patent/JP2006270364A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】高感度で、なおかつ色再現性の高い画像が得られるように、各画素にカラーフィルタを配置した固体撮像素子および固体撮像装置、ならびにその駆動方法を提供。
【解決手段】固体撮像素子10は、各画素12を、原色フィルタ20を備えた主感光部14および補色フィルタ24を備えた副感光部16を組み合わせて構成し、これらの感光部14および16のそれぞれから主画像信号および副画像信号を出力することにより感度および色再現性の高い画像を実現する。
【選択図】図1

Description

本発明は、各画素にカラーフィルタを配置した固体撮像素子および固体撮像装置、ならびにその駆動方法に関するものである。
従来から、固体撮像装置において、原色フィルタを備えた原色系CCD(Charge Coupled Device)を用いると、色再現性の高い画像が得られるが、その画像の感度は低く、他方、補色フィルタを備えた補色系CCDを用いると、感度およびエッジ処理に関して原色フィルタを備えたCCDより高い性能が得られるが、画像の色再現性は乏しくなる。このように、原色フィルタおよび補色フィルタは、それぞれ、一長一短の特性が示されている。
ところで、特許文献1に記載のデジタルカメラでは、より微細化の進むCCDにおいて、2種類のCCD、すなわち原色フィルタを備えたCCDと補色フィルタを備えたCCDとを、1台のデジタルカメラに搭載し、2つのCCDを状況に応じて使い分けることができる。
また、特許文献2に記載の固体撮像装置では、2つの感光画素を1組として用いて、2つの感光画素間の感度差を利用することによって高ダイナミックレンジを実現している。
特開2000-299870号公報 特開平4-298175号公報
上述の特許文献1に記載のデジタルカメラは、補色系CCDを用いることで感度およびエッジ処理に優れた画像を得ることができ、原色系CCDを用いることでより忠実な色再現を実現した画像を得ることができる。しかし、このデジタルカメラでは、2つのCCDを別に備えるため、装置および回路の肥大化および複雑化を生じてしまう。また、このデジタルカメラでは、高感度の画像か、または色再現性の高い画像、すなわち高解像度の画像のどちらか一方のみしか得られることができない。
また、特許文献2に記載の固体撮像装置は、画素サイズを変えて、感度の異なる画素を形成するものであり、ここで、低感光画素が用いられて高ダイナミックレンジを実現しているが、高解像度の画像を得ることができない。
本発明はこのような従来技術の欠点を解消し、高感度で、なおかつ色再現性の高い画像が得られるように、各画素にカラーフィルタを配置した固体撮像素子および固体撮像装置、ならびにその駆動方法を提供することを目的とする。
本発明によれば、行および列方向に配列され、被写界像を光電変換する複数の画素を含む固体撮像素子において、これら複数の画素は、それぞれ、集光率の高い主マイクロレンズ、および緑、赤および青のいずれかの色フィルタである原色フィルタを備えた主感光部と、この主マイクロレンズより集光率の低い副マイクロレンズを備えた副感光部とを組み合わせて構成され、これら複数の画素のうち少なくとも一部の画素は、この副感光部にマゼンタ、シアンおよび黄色のいずれかの色フィルタである補色フィルタを備えることを特徴とする。
また、行および列方向に配列され、被写界像を光電変換する複数の画素を有し、これら複数の画素で読み出した信号電荷に応じた画像信号を出力する撮像手段を含む固体撮像装置において、これら複数の画素は、それぞれ、集光率の高い主マイクロレンズ、および緑、赤および青のいずれかの色フィルタである原色フィルタを備えた主感光部と、この主マイクロレンズより集光率の低い副マイクロレンズを備えた副感光部とを組み合わせて構成され、これら複数の画素のうち少なくとも一部の画素は、この副感光部にマゼンタ、シアンおよび黄色のいずれかの色フィルタである補色フィルタを備えることを特徴とする。
また、行および列方向に配列され、被写界像を光電変換する複数の画素が、それぞれ、集光率の高い主マイクロレンズ、および緑、赤および青のいずれかの色フィルタである原色フィルタを備えた主感光部と、この主マイクロレンズより集光率の低い副マイクロレンズを備えた副感光部とを組み合わせて構成され、これら複数の画素のうち少なくとも一部の画素が、この副感光部にマゼンタ、シアンおよび黄色のいずれかの色フィルタである補色フィルタを備えている固体撮像素子を制御して、これら複数の画素から信号電荷を読み出す駆動方法は、この主感光部および/またはこの副感光部を読み出し対象感光部として選択する選択工程と、この読み出し対象感光部からのみ信号電荷を読み出すようにこの固体撮像素子を制御する撮像駆動工程とを含むことを特徴とする。
このように本発明の固体撮像素子によれば、各画素において、原色フィルタを備えた主感光部と補色フィルタを備えた副感光部とを組み合わせることにより、これらの感光部から得られる信号を足し合わせて、解像度が高く、高感度でかつ色再現性の高い画像を得ることができる。
また、本発明の固体撮像素子を適用した固体撮像装置では、主感光部および副感光部から読み出した信号電荷に基づく画像信号を、それぞれ別に信号処理することにより、最適な画像を得ることができる。
また、本発明の固体撮像素子の駆動方法では、固体撮像素子の用途、たとえば静止画撮影または動画撮影などに応じて、主感光部および/または副感光部を選択して信号電荷を読み出すことにより、動画撮影などで高速な処理を実現することができる。
次に添付図面を参照して本発明による固体撮像素子の実施例を詳細に説明する。
実施例の固体撮像素子10は、図1に示すように、複数の画素12が、それぞれ、原色フィルタを備えた主感光部14および補色フィルタを備えた副感光部16を含んで構成され、これらの感光部のそれぞれから主画像信号および副画像信号を出力することにより解像度および色再現性の高い画像を生成するものである。
本実施例において、複数の画素12は、図1に示すように、行方向および列方向にそれぞれ一定ピッチで正方行列的に配列されるが、行方向および列方向に1つおきに位置をずらして配列する、ハニカム配列を用いてもよい。固体撮像素子10では、実際には多数の画素が配列されるが、図1においては、複雑化を避けるため、少数の画素配列しか図示しない。
この画素12は、入射光を受光してフォトダイオードなどの光センサで光電変換することにより画像信号を生成するもので、図1に示すように、原色フィルタ20を備えた主感光部14、および補色フィルタ24を備えた副感光部16を含んで構成される。
本実施例の主感光部14および副感光部16は、同じサイズのマイクロレンズおよび光センサを有する場合、図2に示すように、入射光量に対する信号量が得られる。ここでは、主感光部14における信号量を線102で示し、また、副感光部16における信号量を線104で示す。また、主感光部14および副感光部16は、同じサイズの光センサを有するので、同一の飽和信号量を得られるものとする。
図2に示すように、主感光部14における信号量102は、比較的多数の入射光量を得なければ飽和信号量に達しないが、副感光部16における信号量104は、比較的少数の入射光量を得て飽和信号量に達することができる。これは、主感光部14では、相対的に透過率が低い原色フィルタ20を通過する入射光が少ないためであり、また、副感光部16では、相対的に透過率が高い補色フィルタ24を通過する入射光が多いためである。たとえば、補色フィルタ24は、原色フィルタ20に比べて約2倍の透過率を有する。
また、図1および図3に示すように、主感光部14は、マイクロレンズ(MicroLens:ML)18、原色フィルタ20および光センサ26を備えて構成され、また副感光部16は、ML 22、補色フィルタ24および光センサ28を備えて構成される。本実施例では、副感光部16のML 22は、主感光部14のML 18よりも小さいものを用いる。また、本実施例では、主感光部14の光センサ26と、副感光部16の光センサ28とは、同一の開口サイズで構成され、同一の飽和信号量が得られるようにする。また、図1および図3では、ML 18および22、ならびに光センサ26および28は、それぞれ、等間隔で配置されているが、各画素位置に対する入射光の入射角度などを考慮して配置してもよい。
本実施例の固体撮像素子10は、図1に示すように、緑の原色フィルタを備えた主感光部14、すなわちG感光部を有する第1の画素と、赤の原色フィルタを備えた主感光部14、すなわちR感光部を有する第2の画素と、青の原色フィルタを備えた主感光部14、すなわちB感光部を有する第3の画素とを含んでいるが、これらの画素は、色フィルタ以外、上記の画素12と同様に構成される。固体撮像素子10は、第1の画素がストライプ状に配列され、これらの間に第2の画素および第3の画素が市松模様状に配列された、いわゆるGストライプRB完全市松のパターンで配置される。
また、本実施例では、第1の画素は、マゼンタの補色フィルタを備えた副感光部16、すなわちMg感光部を有し、第2の画素は、シアンの補色フィルタを備えた副感光部16、すなわちCy感光部を有し、第3の画素は、黄色の補色フィルタを備えた副感光部16、すなわちYe感光部を有して構成される。しかし、第1、第2および第3の画素における原色フィルタと補色フィルタとは、この組み合わせでなくてもよい。
また、固体撮像素子10は、複数の画素12をハニカム配列を用いて配置するとき、第1の画素が正方格子状に配され、さらに第1の画素を挟んで対角位置に第2の画素または第3の画素が配される完全市松に配する、いわゆるハニカム型G正方格子RB完全市松パターンで配置してよい。
次に、この実施例の固体撮像素子10に入射光を入射した場合の動作を、図3の断面図を参照して説明する。固体撮像素子10では、実際には多数の画素が配列されるが、図2では、複雑化を避けるため、R感光部およびCy感光部を有する第2の画素と、G感光部およびMg感光部を有する第1の画素しか図示しない。
たとえば、R感光部に入射する入射光は、ML 18で集光されて赤の原色フィルタ20を通過して光センサ26で受光される。他方、Cy感光部に入射する入射光は、ML 22で集光されてシアンの原色フィルタ24を通過して光センサ28で受光される。
本実施例では、図2に示すように、R感光部では、ML 18が大きいために比較的多数の入射光が集光されるが、透過率が低い赤の原色フィルタ20を通過できるものは少なく、光センサ26に達しにくい。他方、Cy感光部では、ML 22が小さいために比較的少数の入射光しか集光されないが、透過率が高いシアンの補色フィルタ24を通過できるものが多く、光センサ28に達しやすい。
したがって、本実施例の固体撮像素子10では、主感光部14および副感光部16における信号量102および104が、図3に示す目標信号量106になるように、主感光部14のML 18を大きくし、かつ副感光部16のML 22を小さくしてそれぞれ調整して構成する。たとえば、固体撮像素子10は、ML 18および22のサイズの比を2:1として構成するとよい。
ここで、本実施例の固体撮像素子10において、主感光部14および副感光部16は、同じサイズの光センサを有して、かつ、同一の入射光量を得る場合、図4に示すように、マイクロレンズの開口サイズに対する信号量が得られる。ここでは、主感光部14における信号量を線112で示し、また、副感光部16における信号量を線114で示し、主感光部14および副感光部16は、同じサイズの光センサを有して同一の飽和信号量を得る。
たとえば、図4に示すように、主感光部14および副感光部16の両方が所定の目標信号量116を所望するとき、主感光部14は、副感光部16の約半分のサイズの開口を有するマイクロレンズを備えれば、目標信号量116を得ることができる。
ところで、本実施例の固体撮像素子10では、補色フィルタが原色フィルタに比べて高い透過率、たとえば約2倍の透過率を有することを利用して、各画素において、補色フィルタを備えて高感度かつ高飽和にした主感光部と、原色フィルタを備えて低感度かつ低飽和にした副感光部とを組み合わせてもよい。このとき、主感光部および副感光部におけるマイクロレンズのサイズを同一にして、主感光部における補色フィルタおよび光センサのサイズを大きくし、副感光部における原色フィルタおよび光センサのサイズを小さくして構成するとよい。
また、本発明の固体撮像素子をディジタルカメラなどの固体撮像装置に適用した実施例を以下に説明する。
この実施例の固体撮像装置50は、図5に示すように、被写界からの入射光を光学系52において取り込み、操作部54を操作することによりシステム制御部56、タイミング発生器58、光学駆動部60および撮像駆動部62で各部を制御して、固体撮像素子10を有する撮像部64でこの被写界像を撮像するもので、撮像した画像を前処理部66、アナログ・ディジタル(A/D)変換器68および信号処理部70で信号処理した画像信号を、表示部72で表示し、また記録部74で記録する装置である。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。
光学系52には、具体的な構成を図示しないが、レンズ、絞り調整機構、シャッタ機構、ズーム機構、自動焦点(Automatic Focus :AF)調整機構および自動露出(Automatic Exposure :AE)調整機構などが含まれるもので、光学駆動部60からの駆動信号136に応じて、絞り調節機構、シャッタ機構、ズーム機構およびAF調整機構を駆動して、所望の被写界像を取り込んで撮像部64の撮像面に入射するものである。なお、以下の説明において、各信号はその現れる接続線の参照番号で特定する。
操作部54は、操作者の指示を入力する手操作装置であり、操作者の手操作状態、たとえばシャッタボタン(図示せず)のストローク操作に応じて、操作信号120をシステム制御部56に供給する機能を有する。
システム制御部56は、操作部54から供給される操作信号120に応動して、本装置全体の動作を制御、統括する、中央演算処理装置(Central Processing Unit:CPU)などを有する制御機能部で、たとえば、操作信号120に応じて、制御信号122、124、126および128を、それぞれタイミング発生器58、光学駆動部60、信号処理部70および記録部74に供給して制御するものである。
タイミング発生器58は、本装置50を動作させる基本クロックを発生する発振器を有するもので、また、本実施例では、システム制御部56から供給される制御信号122に基づいて、タイミング信号130、132および134を生成して撮像駆動部62、前処理部66およびA/D変換器68に供給する。
光学駆動部60は、制御信号124に応じた駆動信号136を生成して、これによって光学系52を駆動し、撮像駆動部62は、タイミング信号130に応じた駆動信号138を生成して、これによって撮像部64を駆動するものである。
撮像部64は、図1に示すような本発明の固体撮像素子10を含んで構成され、固体撮像素子10に結像される被写界像を電気信号140に光電変換する機能を有し、たとえば、電荷結合素子(Charge Coupled Device:CCD)や金属酸化膜型半導体(Metal Oxide Semiconductor:MOS)等のいずれのイメージセンサでもよい。本実施例の撮像部64は、撮像駆動部62からの駆動信号138に制御されて、被写界から入射する入射光を各感光部で光電変換し、これによって得られた信号電荷をアナログ電気信号140に変換して出力する。
前処理部66は、相関二重サンプリング回路(Correlated Double Sampling:CDS)およびゲインコントロールアンプ(Gain Controlled Amplifier:GCA)などを含むもので、タイミング発生器58からのタイミング信号132に制御されて、画像を示すアナログ電気信号140にアナログ信号処理を施してアナログ画像信号142を生成して出力する。
A/D変換器68は、タイミング発生器58からのタイミング信号134に応じて、入力のアナログ画像信号142の信号レベルを所定の量子化レベルにより量子化してディジタル画像信号146に変換して出力する。
信号処理部68は、システム制御部56からの制御信号126に応じて、入力のディジタル画像信号144に対してディジタル信号処理を施すもので、これにより生成したディジタル画像信号146および148を、表示部72および記録部74にそれぞれ供給する。
本実施例の信号処理部68は、図6に示すように構成されて、入力のディジタル画像信号144のうち、主感光部14からの出力に基づく主画像信号150、および副感光部16からの出力に基づく副画像信号152にディジタル信号処理を施すものである。
ここで、信号処理部68では、主画像信号150に対して、オフセット補正部80で基準電圧レベルからのずれを補正し、ホワイトバランス(WB)ゲイン補正部82でWB補正処理し、さらにガンマ(γ)補正部84でγ補正して、その結果の画像信号154を画素加算処理部94に供給する。
同様に、信号処理部68では、副画像信号152をオフセット補正部86、WBゲイン補正部90およびγ補正部92で処理して、その結果の画像信号156を画素加算処理部94に供給するが、本実施例では特に、副画像信号152をオフセット補正した結果の副画像信号158をRGB変換部88で処理して、その結果の画像信号160をWBゲイン補正部90に供給している。
本実施例のRGB変換部88は、オフセット補正部86からの副画像信号158に基づいて原色で画像を示す画像信号160に変換して生成し、WBゲイン補正部90に出力するものである。
また、この画素加算処理部94は、入力の画像信号154および156を画素ごとに加算した画像信号162を生成し、さらに、その画像信号162を同時化処理部96で同時化処理し、また各種補正処理部98で白黒補正などの他の補正処理を実行する。
表示部72は、信号処理部70から供給されるディジタル画像信号146に基づいて画像表示する機能を有し、たとえば、液晶表示(Liquid Crystal Display: LCD)パネルなどが用いられる。
記録部32は、信号処理部70から供給されるディジタル画像信号148を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。
次に、この実施例における固体撮像装置50の動作を説明する。この固体撮像装置50では、操作者が操作部54のレリーズボタンを操作して、たとえば静止画の撮影を指示すると、静止画撮像指示を示す操作信号120がシステム制御部56に供給される。
システム制御部56では、操作信号120に応じて撮像指示を示す制御信号122、124および126が、それぞれタイミング発生器58、光学駆動部60および信号処理部70に供給される。タイミング発生器58では、この制御信号122に応じて撮像指示を示すタイミング信号130、132および134が生成され、それぞれ撮像駆動部62、前処理部66およびA/D変換器68に供給される。
また、光学駆動部60では、制御信号124に応じた駆動信号136が生成されて光学系52を制御し、被写界からの入射光が撮像部64に入射し、被写界像が固体撮像素子10に結像される。
撮像駆動部62では、タイミング信号130に応じた駆動信号138が生成されて撮像部64を駆動し、撮像部64では、駆動信号138に応じて固体撮像素子10で信号電荷が読み出され、アナログ電気信号140が生成されて前処理部66に供給される。
このとき、撮像駆動部62において、駆動信号138は、所定の間隔でパルスを立ち上げるタイミング信号130に応じて生成され、図7に示すように、タイミングt1に応じて主感光部14から信号電荷を読み出すような主駆動信号172と、タイミングt2に応じて副感光部16から信号電荷を読み出すような副駆動信号174とを生成するとよい。
前処理部66に供給されたアナログ電気信号140は、タイミング信号132に応じてCDSおよびGCAなどの前処理が施され、アナログ画像信号142が生成されてA/D変換器68に供給される。A/D変換器68に供給されたアナログ画像信号142は、タイミング信号134に応じてディジタル画像信号144に変換されて、信号処理部70に供給される。
信号処理部70では、図6に示すように、ディジタル画像信号144のうち、主画像信号150がオフセット補正部80に供給され、また副画像信号152がオフセット補正部86に供給される。
ここで、主画像信号150は、オフセット補正部80、WBゲイン補正部82およびγ補正部84で補正処理されて、その結果、画像信号154が生成されて画素加算処理部94に供給される。
また、副画像信号152は、まず、オフセット補正部86で補正処理され、その結果の副画像信号158がRGB変換部88に供給される。副画像信号158は、RGB変換部88において、原色で画像を示す画像信号160に変換されてWBゲイン補正部90に供給される。この画像信号160は、WBゲイン補正部90およびγ補正部92で補正処理されて、その結果、画像信号156が生成されて画素加算処理部94に供給される。
画素加算処理部94において、画像信号154および156は、画素ごとに加算処理されて、1つの画像信号162が生成され、同時化処理部96に供給される。画像信号162は、同時化処理部96および各種補正処理部98で補正処理され、その結果の画像信号は、たとえば、図示しないメモリなどに格納される。
このようにして、信号処理部70で信号処理された画像信号は、制御信号126に応じて、たとえば、表示部72や記録部74で対応できるように信号処理されて、ディジタル画像信号146として表示部72に供給され、また、ディジタル画像信号148として記録部74に供給される。
また、本発明では、固体撮像素子10を適用した固体撮像装置50において、プレビュー表示や動画撮影を行う場合、システム制御部56が、たとえば、動画撮影を指示する制御信号122、124および126を、それぞれタイミング発生器58、光学駆動部60および信号処理部70に供給する。
このタイミング発生器58では、動画撮影を指示する制御信号122に応じたタイミング信号130を撮像駆動部62に供給し、撮像駆動部62ではこのタイミング信号130に応じた駆動信号138を撮像部64に供給する。このとき、特に、撮像駆動部62は、副感光部16のみから信号電荷を読み出すように、駆動信号138を生成して撮像部64における固体撮像素子10を制御するとよい。たとえば、図7に示すタイミングチャートでは、撮像駆動部62は、駆動信号138として、副駆動信号174のみを発生してよい。
また、撮像部64では、副感光部16のみから読み出された信号電荷に基づいてアナログ電気信号140が生成され、このアナログ電気信号140は、前処理部66およびA/D変換器68を介して処理されて、ディジタル画像信号144として信号処理部70に供給される。
信号処理部70では、システム制御部56からの制御信号126が動画撮影を指示するため、オフセット補正部80、WBゲイン補正部82およびγ補正部84は作動せず、オフセット補正部86、RGB変換部88、WBゲイン補正部90およびγ補正部92が作動して、画像信号156が生成される。画像信号156は、画素加算処理部94に供給されて加算処理されずに、そのまま画像信号162として同時化処理部96に供給されてもよいが、画素加算処理部94に供給されずに、直接、同時化処理部96に供給されてもよい
このように、本実施例の固体撮像装置50では、固体撮像素子10における主感光部14および副感光部16の両方から信号電荷を読み出して画像信号を生成することができるが、いずれかの感光部、または両方の感光部から信号電荷を読み出すように読み出し対象感光部を選択することができる。たとえば、静止画撮影時には、読み出し対象感光部を主感光部14のみ、または主感光部14および副感光部16の両方に選択して高画質で画像を得て、動画撮影時には、読み出し対象感光部を副感光部16のみに選択して高速処理により画像を得ることができる。
本実施例の固体撮像装置50では、撮像駆動部62で読み出し対象感光部を選択しているが、システム制御部56やタイミング発生器58、または図示しない切り替え回路などで読み出し対象感光部を選択してもよい。
また、固体撮像装置50では、AE調整やAF調整時に読み出し対象感光部を切り替えてもよい。たとえば、AE調整およびAF調整時には、読み出し対象感光部を副感光部16のみにして、さらに隣接画素を加算した信号を用いることにより、輝度情報などを簡単かつ高速に取り出すことができる。
ところで、固体撮像装置50では、動画撮影時やAF調整時に、固体撮像素子において加算読み出しや減算読み出しを行うことがある。したがって、本実施例のように、読み出し対象感光部を切り替え可能にした固体撮像装置50において、読み出し対象感光部を副感光部16のみにする場合には、たとえば図8に示すように、固体撮像素子200は、各画素を配列して、副感光部16として緑の原色フィルタを備えた感光部も配置するとよい。
また、本発明の固体撮像素子は、主感光部14を高感度にし、かつ副感光部16を低感度にして、広ダイナミックレンジでの撮像を可能にすることもできる。このとき、固体撮像素子は、主感光部14および副感光部16の面積配分と、それぞれの特性を考慮してより多くの情報が得られるように構成される。
たとえば、他の実施例において、固体撮像素子210は、図9に示すように、高感度で入射光を得るように十分な面積の光センサを有する主感光部214と、低感度で入射光を得るように主感光部214よりも小さい面積の光センサを有する副感光部216とを備えている。また、主感光部214および副感光部216における色フィルタの組合せは、図9に示すものに限らない。
たとえば、主感光部214および副感光部216では、図10に示すように、入射光量に対する信号量が得られ、ここで、原色フィルタを備えて、かつ所定の開口サイズの主マイクロレンズを有する通常の主感光部は、線302で示すように信号量を得て、また、原色フィルタを備えて、かつ主マイクロレンズよりも開口が小さい副マイクロレンズを有する通常の副感光部は、線304で示すように信号量を得るものとする。
また、原色フィルタに比べて約2倍の透過率を有する補色フィルタを備えた副感光部は、線306で示すように、感度が増加して通常の約2倍の飽和信号量が得られるが、さらに、副マイクロレンズの開口サイズを小さくした副感光部は、線308で示すように、集光率が低下して原色フィルタ使用時と同等の飽和信号量が得られる。他方、補色フィルタを備えた主感光部は、線310で示すように、通常の約2倍の飽和信号量が得られるが、さらに、主感光部は、主マイクロレンズの開口サイズの大きさを調整し、すなわち集光率の増加分を調整することにより、得られる信号量を調整することもできる。
したがって、本実施例の固体撮像素子210では、原色フィルタ220および開口サイズの大きい主マイクロレンズ218を備えた主感光部214と、補色フィルタ224および開口サイズの小さい副マイクロレンズ222を備えた副感光部216とを含み、主マイクロレンズ218および副マイクロレンズ222の大きさを調整することにより、図3の線312で示すように、広ダイナミックレンジで理想的な信号量を得て撮像することができる。
また、本発明の固体撮像素子230は、各画素を行方向および列方向に1つおきに位置をずらして配列する、ハニカム配列としてもよい。この場合、固体撮像素子230における主感光部の配列パターンは、図11および12に示すように、G感光部が正方格子状に配され、さらにG感光部を挟んで対角位置にR感光部またはB感光部が配される完全市松に配する、いわゆるハニカム型G正方格子RB完全市松パターンでよい。また、副感光部の配列パターンは、図11および12に示すように、Mg感光部が正方格子状に配され、さらにMg感光部を挟んで対角位置にCy感光部またはYe感光部が配される完全市松に配する、いわゆるハニカム型Mg正方格子CyYe完全市松パターンでよい。このとき、図11に示すように、Mg感光部の行が、G感光部の行上に位置するように配列されてもよく、図12に示すように、Mg感光部の列が、G感光部の列上に位置するように配列されてもよい。
また、本発明の固体撮像素子において、各画素の配列パターンは、図示しないが、第1の画素が市松模様に配置されて、第2の画素および第3の画素の上下左右を第1の画素で囲まれ、行列の各行および各列は、第1の画素と第2の画素および第3の画素のいずれかを含むように配列される、ベイヤ(Bayer)パターンでもよい。このとき、主感光部および副感光部における色フィルタの組合せは、特に限定しない。
本発明に係る固体撮像素子の一実施例を示す平面図である。 図1に示す実施例の固体撮像素子における入射光量に対する信号量の関係を示すグラフである。 図1に示す実施例の固体撮像素子の一部を示す説明的断面図である。 図1に示す実施例の固体撮像素子におけるマイクロレンズ開口サイズに対する信号量の関係を示すグラフである。 図1に示す実施例の固体撮像素子を適用した固体撮像装置の実施例を示すブロック図である。 図5に示す実施例の固体撮像装置において、その信号処理部を示すブロック図である。 図5に示す実施例の固体撮像装置において、その動作を示すタイミングチャートである。 本発明に係る固体撮像素子の他の実施例を示す平面図である。 本発明に係る固体撮像素子の他の実施例を示す平面図である。 図9に示す他の実施例の固体撮像素子における入射光量に対する信号量の関係を示すグラフである。 本発明に係る固体撮像素子の他の実施例を示す平面図である。 本発明に係る固体撮像素子の他の実施例を示す平面図である。
符号の説明
10 固体撮像素子
12 画素
14 主感光部
16 副感光部
18、22 マイクロレンズ
20 原色フィルタ
22 補色フィルタ

Claims (21)

  1. 行および列方向に配列され、被写界像を光電変換する複数の画素を含む固体撮像素子において、該固体撮像素子は、
    前記複数の画素は、それぞれ、集光率の高い主マイクロレンズ、および緑、赤および青のいずれかの色フィルタである原色フィルタを備えた主感光部と、前記主マイクロレンズより集光率の低い副マイクロレンズを備えた副感光部とを組み合わせて構成され、
    前記複数の画素のうち少なくとも一部の画素は、前記副感光部にマゼンタ、シアンおよび黄色のいずれかの色フィルタである補色フィルタを備えることを特徴とする固体撮像素子。
  2. 請求項1に記載の固体撮像素子において、前記主マイクロレンズは、前記副マイクロレンズより大きい開口サイズで形成され、
    前記主感光部および前記副感光部は、同一の信号量で飽和することを特徴とする固体撮像素子。
  3. 請求項1または2に記載の固体撮像素子において、前記複数の画素は、すべて前記副感光部に前記補色フィルタを備えることを特徴とする固体撮像素子。
  4. 請求項1または2に記載の固体撮像素子において、前記一部の画素以外の画素は、前記副感光部に前記原色フィルタを備えることを特徴とする固体撮像素子。
  5. 請求項3または4に記載の固体撮像素子において、前記緑の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第1の画素とし、前記赤の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第2の画素とし、前記青の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第3の画素とするとき、前記複数の画素は、行方向および列方向にそれぞれ一定ピッチで正方行列的に配列され、第1の画素がストライプ状に配列され、これらの間に第2の画素および第3の画素が市松模様状に配列された、いわゆるGストライプRB完全市松のパターンで配置されることを特徴とする固体撮像素子。
  6. 請求項3または4に記載の固体撮像素子において、前記緑の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第1の画素とし、前記赤の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第2の画素とし、前記青の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第3の画素とするとき、前記複数の画素は、行方向および列方向に1つおきに位置をずらして配列するハニカム配列を用いて、第1の画素が正方格子状に配され、さらに第1の画素を挟んで対角位置に第2の画素または第3の画素が配される完全市松に配する、いわゆるハニカム型G正方格子RB完全市松パターンで配置されることを特徴とする固体撮像素子。
  7. 行および列方向に配列され、被写界像を光電変換する複数の画素を有し、該複数の画素で読み出した信号電荷に応じた画像信号を出力する撮像手段を含む固体撮像装置において、該固体撮像装置は、
    前記複数の画素は、それぞれ、集光率の高い主マイクロレンズ、および緑、赤および青のいずれかの色フィルタである原色フィルタを備えた主感光部と、前記主マイクロレンズより集光率の低い副マイクロレンズを備えた副感光部とを組み合わせて構成され、
    前記複数の画素のうち少なくとも一部の画素は、前記副感光部にマゼンタ、シアンおよび黄色のいずれかの色フィルタである補色フィルタを備えることを特徴とすることを特徴とする固体撮像装置。
  8. 請求項7に記載の固体撮像装置において、前記主マイクロレンズは、前記副マイクロレンズより大きい開口サイズで形成され、
    前記主感光部および前記副感光部は、同一の信号量で飽和することを特徴とする固体撮像装置。
  9. 請求項7または8に記載の固体撮像装置において、前記複数の画素は、すべて前記副感光部に前記補色フィルタを備えることを特徴とする固体撮像装置。
  10. 請求項7または8に記載の固体撮像装置において、前記一部の画素以外の画素は、前記副感光部に前記原色フィルタを備えることを特徴とする固体撮像装置。
  11. 請求項9または10に記載の固体撮像装置において、前記緑の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第1の画素とし、前記赤の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第2の画素とし、前記青の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第3の画素とするとき、前記複数の画素は、行方向および列方向にそれぞれ一定ピッチで正方行列的に配列され、第1の画素がストライプ状に配列され、これらの間に第2の画素および第3の画素が市松模様状に配列された、いわゆるGストライプRB完全市松のパターンで配置されることを特徴とする固体撮像装置。
  12. 請求項9または10に記載の固体撮像装置において、前記緑の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第1の画素とし、前記赤の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第2の画素とし、前記青の色フィルタを前記原色フィルタとして備えた前記主感光部を含む画素を第3の画素とするとき、前記複数の画素は、行方向および列方向に1つおきに位置をずらして配列するハニカム配列を用いて、第1の画素が正方格子状に配され、さらに第1の画素を挟んで対角位置に第2の画素または第3の画素が配される完全市松に配する、いわゆるハニカム型G正方格子RB完全市松パターンで配置されることを特徴とする固体撮像装置。
  13. 請求項7ないし12のいずれかに記載の固体撮像装置において、該装置は、前記画像信号のうち、前記主感光部から読み出された信号電荷に基づく主画像信号に信号処理を施す主画像処理手段と、
    前記画像信号のうち、前記副感光部から読み出された信号電荷に基づく副画像信号に信号処理を施す副画像処理手段と、
    前記主画像処理手段から出力された画像信号と、前記副画像処理手段から出力された画像信号とを加算する加算処理手段と、
    該加算処理手段から出力された画像信号に信号処理を施す加算後信号処理手段とを含むことを特徴とする固体撮像装置。
  14. 請求項13に記載の固体撮像装置において、該装置は、前記主感光部および/または前記副感光部を読み出し対象感光部として選択する選択手段と、
    前記読み出し対象感光部からのみ信号電荷を読み出すように前記撮像手段を制御する撮像駆動手段とを含むことを特徴とする固体撮像装置。
  15. 請求項14に記載の固体撮像装置において、前記選択手段は、該装置が静止画を撮影する場合、前記主感光部のみ、または前記主感光部および前記副感光部を読み出し対象感光部として選択し、該装置が動画を撮影する場合、前記副感光部のみを読み出し対象感光部として選択することを特徴とする固体撮像装置。
  16. 請求項15に記載の固体撮像装置において、前記撮像駆動手段は、該装置が動画を撮影する場合、前記読み出し対象感光部である前記副感光部から加算読み出しまたは減算読み出しにより信号電荷を読み出すことを特徴とする固体撮像装置。
  17. 請求項14ないし16のいずれかに記載の固体撮像装置において、前記選択手段は、該装置が自動焦点調整および自動露出調整を行う場合、前記副感光部のみを読み出し対象感光部として選択することを特徴とする固体撮像装置。
  18. 行および列方向に配列され、被写界像を光電変換する複数の画素が、それぞれ、集光率の高い主マイクロレンズ、および緑、赤および青のいずれかの色フィルタである原色フィルタを備えた主感光部と、前記主マイクロレンズより集光率の低い副マイクロレンズを備えた副感光部とを組み合わせて構成され、前記複数の画素のうち少なくとも一部の画素が、前記副感光部にマゼンタ、シアンおよび黄色のいずれかの色フィルタである補色フィルタを備えている固体撮像素子を制御して、前記複数の画素から信号電荷を読み出す駆動方法において、該方法は、
    前記主感光部および/または前記副感光部を読み出し対象感光部として選択する選択工程と、
    前記読み出し対象感光部からのみ信号電荷を読み出すように前記固体撮像素子を制御する撮像駆動工程とを含むことを特徴とする駆動方法。
  19. 請求項18に記載の駆動方法において、前記選択工程は、前記固体撮像素子が静止画撮影に用いられる場合、前記主感光部のみ、または前記主感光部および前記副感光部を読み出し対象感光部として選択し、前記固体撮像素子が動画撮影に用いられる場合、前記副感光部のみを読み出し対象感光部として選択することを特徴とする駆動方法。
  20. 請求項19に記載の駆動方法において、前記撮像駆動工程は、前記固体撮像素子が動画撮影に用いられる場合、前記読み出し対象感光部である前記副感光部から加算読み出しまたは減算読み出しにより信号電荷を読み出すことを特徴とする駆動方法。
  21. 請求項18ないし20のいずれかに記載の駆動方法において、前記選択工程は、前記固体撮像素子が自動焦点調整および自動露出調整に用いられる場合、前記副感光部のみを読み出し対象感光部として選択することを特徴とする駆動方法。
JP2005083944A 2005-03-23 2005-03-23 固体撮像素子および固体撮像装置、ならびにその駆動方法 Abandoned JP2006270364A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005083944A JP2006270364A (ja) 2005-03-23 2005-03-23 固体撮像素子および固体撮像装置、ならびにその駆動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005083944A JP2006270364A (ja) 2005-03-23 2005-03-23 固体撮像素子および固体撮像装置、ならびにその駆動方法

Publications (1)

Publication Number Publication Date
JP2006270364A true JP2006270364A (ja) 2006-10-05

Family

ID=37205873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005083944A Abandoned JP2006270364A (ja) 2005-03-23 2005-03-23 固体撮像素子および固体撮像装置、ならびにその駆動方法

Country Status (1)

Country Link
JP (1) JP2006270364A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007242721A (ja) * 2006-03-06 2007-09-20 Fujifilm Corp 固体撮像素子
JP2008252020A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 固体撮像素子
JP2009017152A (ja) * 2007-07-04 2009-01-22 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2013045917A (ja) * 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置
WO2013047050A1 (ja) * 2011-09-26 2013-04-04 富士フイルム株式会社 カラー撮像装置
WO2013089036A1 (ja) 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
US20130242147A1 (en) * 2007-06-18 2013-09-19 Siliconfile Technologies Inc. Pixel array having wide dynamic range and good color reproduction and resolution and image sensor using the pixel array
US9117711B2 (en) 2011-12-14 2015-08-25 Sony Corporation Solid-state image sensor employing color filters and electronic apparatus
KR20160145168A (ko) 2014-07-25 2016-12-19 후지필름 가부시키가이샤 컬러 필터, 고체 촬상 소자
EP4099691A1 (en) * 2021-05-31 2022-12-07 Samsung Electronics Co., Ltd. Image sensor

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63161793A (ja) * 1986-12-25 1988-07-05 Toshiba Corp カラ−固体撮像装置
JPH1126737A (ja) * 1997-06-30 1999-01-29 Victor Co Of Japan Ltd 固体撮像素子
JP2000125310A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置
JP2000299870A (ja) * 1999-04-13 2000-10-24 Seiko Epson Corp デジタルカメラ
JP2000315784A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2004072148A (ja) * 2002-08-01 2004-03-04 Matsushita Electric Ind Co Ltd Avデータ記録装置および方法
JP2004103785A (ja) * 2002-09-09 2004-04-02 Fuji Film Microdevices Co Ltd 固体撮像素子
JP2004222184A (ja) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd デジタルカメラ
JP2004221839A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2004336469A (ja) * 2003-05-08 2004-11-25 Fuji Film Microdevices Co Ltd 固体撮像素子、撮像装置、及び画像処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63161793A (ja) * 1986-12-25 1988-07-05 Toshiba Corp カラ−固体撮像装置
JPH1126737A (ja) * 1997-06-30 1999-01-29 Victor Co Of Japan Ltd 固体撮像素子
JP2000125310A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置
JP2000299870A (ja) * 1999-04-13 2000-10-24 Seiko Epson Corp デジタルカメラ
JP2000315784A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd カラー撮像素子及び撮像装置
JP2004072148A (ja) * 2002-08-01 2004-03-04 Matsushita Electric Ind Co Ltd Avデータ記録装置および方法
JP2004103785A (ja) * 2002-09-09 2004-04-02 Fuji Film Microdevices Co Ltd 固体撮像素子
JP2004221839A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2004222184A (ja) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd デジタルカメラ
JP2004336469A (ja) * 2003-05-08 2004-11-25 Fuji Film Microdevices Co Ltd 固体撮像素子、撮像装置、及び画像処理方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007242721A (ja) * 2006-03-06 2007-09-20 Fujifilm Corp 固体撮像素子
JP2008252020A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 固体撮像素子
US20140293099A1 (en) * 2007-06-18 2014-10-02 Siliconfile Technologies Inc. Pixel array having wide dynamic range and good color reproduction and resolution and image sensor using the pixel array
US20130242147A1 (en) * 2007-06-18 2013-09-19 Siliconfile Technologies Inc. Pixel array having wide dynamic range and good color reproduction and resolution and image sensor using the pixel array
US8854514B1 (en) * 2007-06-18 2014-10-07 Siliconfile Technologies Inc. Pixel array having wide dynamic range and good color reproduction and resolution and image sensor using the pixel array
US8792029B2 (en) * 2007-06-18 2014-07-29 Siliconfile Technologies Inc. Pixel array having wide dynamic range and good color reproduction and resolution and image sensor using the pixel array
JP2009017152A (ja) * 2007-07-04 2009-01-22 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2013045917A (ja) * 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置
CN102956655A (zh) * 2011-08-25 2013-03-06 索尼公司 图像传感器、成像装置和活体成像装置
US9609252B2 (en) 2011-08-25 2017-03-28 Sony Corporation Image sensor, imaging apparatus and live body imaging apparatus
WO2013047050A1 (ja) * 2011-09-26 2013-04-04 富士フイルム株式会社 カラー撮像装置
CN103828354A (zh) * 2011-09-26 2014-05-28 富士胶片株式会社 彩色摄像装置
JP5636509B2 (ja) * 2011-09-26 2014-12-03 富士フイルム株式会社 カラー撮像装置
US8913165B2 (en) 2011-09-26 2014-12-16 Fujifilm Corporation Color image pickup device
CN103828354B (zh) * 2011-09-26 2016-01-06 富士胶片株式会社 彩色摄像装置
US9117711B2 (en) 2011-12-14 2015-08-25 Sony Corporation Solid-state image sensor employing color filters and electronic apparatus
WO2013089036A1 (ja) 2011-12-16 2013-06-20 ソニー株式会社 撮像装置
US9681059B2 (en) 2011-12-16 2017-06-13 Sony Corporation Image-capturing device
KR20160145168A (ko) 2014-07-25 2016-12-19 후지필름 가부시키가이샤 컬러 필터, 고체 촬상 소자
EP4099691A1 (en) * 2021-05-31 2022-12-07 Samsung Electronics Co., Ltd. Image sensor

Similar Documents

Publication Publication Date Title
JP4291793B2 (ja) 固体撮像素子および固体撮像装置
JP4421793B2 (ja) ディジタルカメラ
JP2021093767A (ja) 撮像素子
JP4241840B2 (ja) 撮像装置
JP4738907B2 (ja) 固体撮像素子および固体撮像装置
JP4622790B2 (ja) 撮像素子および撮像装置
JP2006270364A (ja) 固体撮像素子および固体撮像装置、ならびにその駆動方法
US20090040353A1 (en) Imaging apparatus and method of driving solid-state imaging device
JP4448889B2 (ja) 撮像素子及び撮像装置
US7609306B2 (en) Solid-state image pickup apparatus with high- and low-sensitivity photosensitive cells, and an image shooting method using the same
JP5501448B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP3970185B2 (ja) 固体撮像素子及びデジタルカメラ
US8111298B2 (en) Imaging circuit and image pickup device
US20240015406A1 (en) Image sensor and imaging device
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
US6885402B1 (en) Solid-state image pickup apparatus with fast photometry with pixels increased, and signal reading out method therefor
JP4170131B2 (ja) 撮像制御方法および撮像制御装置
US20060016961A1 (en) Imaging apparatus and solid-state imaging device
JP4200485B2 (ja) 撮像装置
US6850277B1 (en) Solid-state image pickup apparatus with high-speed photometry and a signal reading method therefor
JP2004222158A (ja) 固体撮像装置の制御方法
JP2001078208A (ja) 固体撮像装置および信号読出し方法
JP3999417B2 (ja) 固体撮像装置および信号読出し方法
JP2008252935A (ja) 撮像装置
JP2003116147A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20101025