JP2007318753A - イメージ撮像装置及びその動作方法 - Google Patents
イメージ撮像装置及びその動作方法 Download PDFInfo
- Publication number
- JP2007318753A JP2007318753A JP2007134324A JP2007134324A JP2007318753A JP 2007318753 A JP2007318753 A JP 2007318753A JP 2007134324 A JP2007134324 A JP 2007134324A JP 2007134324 A JP2007134324 A JP 2007134324A JP 2007318753 A JP2007318753 A JP 2007318753A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- light
- filter region
- wavelength band
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000003086 colorant Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 abstract description 3
- 230000035945 sensitivity Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Abstract
【課題】 ピクセルが微細化される場合でも、イメージの感度が減少することを防止することが可能なイメージ撮像装置及びその動作方法を提供する。
【解決手段】 レンズと、前記レンズを介して入射する光を原色に制限する第１フィルタ領域、前記入射した光の全波長帯域を通過させる第２フィルタ領域、および前記入射した光の赤外線波長帯域を制限する第３フィルタ領域を含むフィルタ部と、前記フィルタ部を通過した光からイメージをセンシングするイメージセンサ部とを含む。
【選択図】 図１
【解決手段】 レンズと、前記レンズを介して入射する光を原色に制限する第１フィルタ領域、前記入射した光の全波長帯域を通過させる第２フィルタ領域、および前記入射した光の赤外線波長帯域を制限する第３フィルタ領域を含むフィルタ部と、前記フィルタ部を通過した光からイメージをセンシングするイメージセンサ部とを含む。
【選択図】 図１
Description
本発明は、イメージ撮像装置及びその動作方法に係り、さらに詳しくは、イメージの感度を向上させることが可能なイメージ撮像装置及びその動作方法に関するものである。
最近、デジタルカメラ、及びカメラホーンなどの高解像度カメラ付き装置の普及が拡散しつつある。この種のカメラは、一般にレンズ、及びイメージセンサなどを含んでなる。
この際、レンズは、被写体から反射された光を集める役割をし、イメージセンサは、レンズによって集められた光を検出して電気的なイメージ信号に変換する役割をする。イメージセンサは、撮像管と固体イメージセンサに大別される。固体イメージセンサの代表的な例としては、電荷結合素子（ＣＣＤ）や金属酸化物半導体（ＣＭＯＳ）などがある。
また、このようなカメラのイメージセンサには、各ピクセルに対応するカラーフィルタに対するカラーフィルタアレイ（ＣＦＡ）が設けられることができ、カラーフィルタアレイの上部には、イメージセンサが赤外線に敏感であってイメージの変色などが発生することを防止するための赤外線遮断フィルタが設けられる。
この際、赤外線遮断フィルタ、カラーフィルタ及びイメージセンサは、一つのモジュールとして製造され、赤外線遮断フィルタは、イメージセンサに対して所定の間隔で離れて設置される。
一方、このようなカメラは、ＣＩＳ（コンタクトイメージセンサ）の大きさは増加しない状態で、有効ピクセル数の増加により、撮像されたイメージの感度が急激に減少するという問題点が発生している。これは、制限されたＣＩＳの大きさ内でのピクセルの増加は制限されたＣＩＳにイメージセンサの個数が増加することに繋がり、これにより各ピクセルに到達する光量が減少するためである。
特許文献１は、緑色、青色、赤色及び白色のカラーフィルタセグメントにおいて、緑色を中心として上下左右に白色フィルタを配置する固体撮像装置及びその信号処理方法を開示しているが、これは、ピクセルを微細化しても、信号電荷量および解像度を保障し且つ色再現力を向上させることに関するもので、ピクセルの微細化に伴う感度の減少を防止することが可能な方案は提案されていない。
日本公開特許第２００４−３０４７０６号公報
そこで、本発明はこのような問題点に鑑みてなされたもので、その目的とするところは、ピクセルが微細化される場合でも、イメージの感度が減少することを防止することが可能なイメージ撮像装置、及びその動作方法を提供することにある。
本発明の目的は以上言及した目的に制限されず、言及されていない別の目的は下記の記載から当業者に明確に理解できるであろう。
本発明の目的は以上言及した目的に制限されず、言及されていない別の目的は下記の記載から当業者に明確に理解できるであろう。
上記目的を達成するために、本発明の実施例に係るイメージ撮像装置は、レンズと、前記レンズを介して入射する光を原色に制限する第１フィルタ領域、前記入射した光の全波長帯域を通過させる第２フィルタ領域、および前記入射した光の赤外線波長帯域を制限する第３フィルタ領域を含むフィルタ部と、前記フィルタ部を通過した光からイメージをセンシングするイメージセンサ部とを含む。
また、上記目的を達成するために、本発明の実施例に係るイメージ撮像装置の動作方法は、レンズを介して、所定の被写体で反射された光の入射を受ける段階と、前記レンズを介して入射する光を原色に制限する第１フィルタ領域、前記入射した光の全波長帯域を通過させる第２フィルタ領域、及び前記入射した光の赤外線波長帯域を制限する第３フィルタ領域を介して、前記入射する光をフィルタリングする段階と、前記フィルタリングされた光からイメージをセンシングする段階とを含む。
さらに他の実施例の具体的な事項は、詳細な説明及び図面に含まれている。
本発明の利点及び特徴、並びにそれらを達成する方法は、添付図面と共に詳細に後述されている実施例を参照すると、明確になるであろう。ところが、本発明は、以下に開示される実施例に限定されるのではなく、互いに異なる様々な形態に実現できる。但し、これらの実施例は、本発明の開示を完全にし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、特許請求の範囲の範疇によって定められるべきである。なお、明細書全体にわたって、同一の参照符号は同一の構成要素を示す。
前述した本発明のイメージ撮像装置およびその動作方法によれば、次の効果が一つ或いはそれ以上ある。
白色フィルタおよび赤外線遮断フィルタの使用により、所定のピクセルに到達する光量を増加させて感度を向上させることができるという利点がある。
原色フィルタの間に白色フィルタが存在するため、光損失および信号干渉（クロストーク）を減少させることができるという効果がある。
原色フィルタの間に白色フィルタが存在するため、光損失および信号干渉（クロストーク）を減少させることができるという効果がある。
原色フィルタおよび白色フィルタとともに赤外線遮断フィルタを形成し、緑色フィルタを使用しないため、製造工程が簡素化できるという効果がある。
原色信号の抽出の後、色差信号の変換なしに白色、赤色および青色によって直接変換が可能なので、信号処理が簡素化できるという効果がある。
原色信号の抽出の後、色差信号の変換なしに白色、赤色および青色によって直接変換が可能なので、信号処理が簡素化できるという効果がある。
以下、本発明の実施例によってイメージ撮像装置およびその動作方法を説明するためのブロック図または処理流れ図を参照しながら、本発明について説明する。この際、処理流れ図の各ブロックと流れ図の組み合わせがコンピュータプログラムインストラクションによって行われることを理解することができるであろう。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセッシング装備のプロセッサに搭載できるので、コンピュータまたはその他のプログラム可能なデータプロセシング装備のプロセッサによって行われるそのインストラクションは、流れ図のブロックにおいて説明された機能を行う手段を生成する。これらのコンピュータプログラムインストラクションは、特定の方式で機能を実現するために、コンピュータまたはその他のプログラム可能なデータプロセシング装備を指向することが可能なコンピュータ利用可能またはコンピュータ読取可能メモリに格納されることも可能なので、そのコンピュータ利用可能またはコンピュータ読取可能メモリに格納されたインストラクションは、流れ図のブロックにおいて説明された機能を行うインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能なので、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作段階が行われ、コンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を行うインストラクションは、流れ図のブロックにおいて説明された機能を実行するための段階を提供することも可能である。
また、各ブロックは、特定された論理的機能を実行するための少なくとも一つの実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、幾つかの代替実行例では、ブロックにおいて言及された機能が順序から外れて発生することも可能なのを注目すべきである。例えば、相次いで図示されている２つのブロックは、実際同時に行われることも可能であり、そのブロックが時々該当機能に応じて逆順に行われることも可能である。
図１は、本発明の実施例に係るイメージ撮像装置を示す図である。
図１に示すように、本発明の実施例に係るイメージ撮像装置１００は、レンズ部１１０、フィルタ部１２０、及びイメージセンサ部１３０を含むことができる。
図１に示すように、本発明の実施例に係るイメージ撮像装置１００は、レンズ部１１０、フィルタ部１２０、及びイメージセンサ部１３０を含むことができる。
この際、本発明の実施例において、イメージ撮像装置１００は、デジタルカメラなどのように、電荷結合素子（ＣＣＤ）、及び金属酸化物半導体（ＣＭＯＳ）などの固体イメージセンサを用いて所定の被写体に対するイメージを格納することが可能な装置として理解できる。したがって、本発明の実施例に係るイメージ撮像装置１００は、デジタルカメラの如く、固体イメージセンサを備えたカメラホーン、及びＰＤＡ（パーソナルデジタルアシスタント）なども含むことができる。
レンズ部１１０は、入射光を集光させる少なくとも一つのレンズを含むことができる。レンズの個数は、用途および必要に応じて変更できる。また、レンズは、同一の平面上に様々な形で配置できる。例えば、レンズは、横方向または縦方向に一列に配置されてもよく、横＊縦の行列の形で配置されてもよい。
フィルタ部１２０は、レンズ部１１０によって集光した入射光をフィルタリングして所定の波長帯域の入射光のみを通過させることができる。本発明の実施例において、フィルタ部１２０は、入射光を原色に制限する第１フィルタ領域１２１、入射光の全波長帯域を通過させる第２フィルタ領域１２２、及び入射光から赤外線波長帯域を制限する第３フィルタ領域１２３を含むことができる。
第１フィルタ領域１２１は、入射光を原色に制限する原色フィルタからなってもよく、本発明の実施例では、原色フィルタが、入射光を赤色に制限する赤色フィルタ、及び原色フィルタが入射光を青色に制限する青色フィルタを含む場合を例として説明する。この際、本発明の実施例では、原色フィルタが赤色フィルタ及び青色フィルタを含む場合を例として説明しているが、これは本発明の理解を助けるための一例に過ぎないものである。本発明は、これに限定されず、原色フィルタに入射光を原色、すなわち赤色、緑色及び青色のいずれか２色に制限するフィルタが使用できる。
第２フィルタ領域１２２は、入射光の全波長帯域を通過させる白色フィルタから構成できるが、これに限定されない。第２フィルタ領域１２２には、フィルタが形成されないため、入射光の全波長帯域を通過させることができる。このような第２フィルタ領域１２２は、所定のピクセルに到達する光量を増加させ、既存に制限されたＣＩＳの大きさ内に有効ピクセル数が増加する場合、各ピクセルに到達する光量が減少して感度が減少することを防止することができる。以下、本発明の実施例では、第２フィルタ領域１２２が白色フィルタからなる場合を例として説明する。
第３フィルタ領域１２３は、入射光の赤外線波長帯域を制限する赤外線遮断フィルタが使用できる。この際、第３フィルタ領域１２３で入射光の赤外線波長帯域を遮断することは、前述したような固体イメージセンサが赤外線に対して高い敏感度を持ち、これによりイメージに曇り現象、変色、及び霧化（ｆｏｇｇｉｎｇ）などが発生しうるためである。このような第３フィルタ領域１２３は、前述した第２フィルタ領域１２２と共に、所定のピクセルに到達する光量を増加させることができるため、感度が減少することを防止することができる。
この際、第２フィルタ領域１２２では入射光の全波長帯域を通過させ、第３フィルタ領域１２３では入射光の赤外線波長帯域を制限するため、後述するイメージセンサ部１３０は、第２フィルタ領域１２２及び第３フィルタ領域１２３で通過した波長帯域の差異によって赤外線波長帯域を算出することができる。
図２ａ〜図２ｄは、本発明の実施例に係るフィルタ部の構造を示す。
本発明の実施例に係るフィルタ部１２０は、図２ａ及び図２ｂに示すように、赤色フィルタと青色フィルタとが隣接し、白色フィルタと赤外線遮断フィルタとが隣接するように配置されてもよく、図２ｃ及び図２ｄに示すように、赤色フィルタと青色フィルタとが、および白色フィルタと赤外線遮断フィルタとが互いに対角線方向に配置されてもよい。
本発明の実施例に係るフィルタ部１２０は、図２ａ及び図２ｂに示すように、赤色フィルタと青色フィルタとが隣接し、白色フィルタと赤外線遮断フィルタとが隣接するように配置されてもよく、図２ｃ及び図２ｄに示すように、赤色フィルタと青色フィルタとが、および白色フィルタと赤外線遮断フィルタとが互いに対角線方向に配置されてもよい。
この際、フィルタ部１２０に含まれた各フィルタは、ピクセル単位で形成できる。したがって、赤色フィルタ、青色フィルタ、白色フィルタ及び赤外線遮断フィルタは、それぞれ一つのピクセルに対応するように形成される。
また、図２ａ〜図２ｂにおいて、フィルタ部１２０は４つのピクセルに対応する４つのフィルタを含んでいるが、これは単位領域に対するもので、イメージの解像度などによって多数のフィルタ部１２０が存在しうる。言い換えれば、前述した固体イメージセンサにおいて、本発明のフィルタ部１２０が所定のピクセルを基準として横方向および縦方向に延長されて形成できる。
イメージセンサ部１３０は、フィルタ部１２０を通過した光をセンシングして所定のイメージを生成することができる。
図３は本発明の実施例に係るイメージセンサ部を示す図である。この際、図３に示したイメージセンサ部１３０は、所定のピクセルに対するものと理解できる。図３のイメージセンサ部１３０の数は、ピクセルの数に応じて決定できる。
図３に示すように、本発明の実施例に係るイメージセンサ部１３０は、基板１３１、基板１３１上に形成された受光素子１３２、受光素子１３２の上部に形成された金属配線層１３３、受光素子１３２と金属配線層１３３との間に形成された第１絶縁層１３４、金属配線層１３３の上部に形成されたマイクロレンズ１３５、および金属配線層１３３を絶縁するための第２絶縁層１３６を含むことができる。
この際、受光素子１３２としては、フォトダイオード、フォトトランジスタおよび光導電素子などの光センサが使用できる。このような受光素子１３２の一側には隣接した受光素子との分離のための分離膜１３２ａが形成できる。言い換えれば、分離膜１３２ａは、各ピクセル当たり形成された受光素子を分離するために形成されたものである。
マイクロレンズ１３５は、受光素子１３２の光感度を増加させるために使用できる。一般に、受光素子１３２は、所定のピクセルの全領域を占めるのではなく、一部のみを占める。したがって、所定のピクセル領域において受光素子１３２が占める領域の割合は１より小さくなり、これは入射する光の一部が損失することを意味する。この際、マイクロレンズ１３５は、入射する光を集めるので、受光素子１３２に収斂される光量を増加させることができる。
この際、同一のＣＩＳの大きさ内に有効ピクセル数が増加するというのは、前述したイメージセンサ部１３０において受光素子１３２の大きさが小さくなることを意味する。受光素子１３２の大きさが小さくなると、受光素子１３２に到達する光量も少なくなってイメージの感度が減少する。したがって、前述した第２フィルタ領域１２２および第３フィルタ領域１２３によって、受光素子１３２に到達する光量を増加させることができるため、イメージの感度が減少することを防止しながらも高解像度の実現が可能となる。
このようなイメージセンサ部１３０は、前述した白色フィルタおよび赤外線遮断フィルタを通過した光から赤外線波長帯域を算出することができ、算出された赤外線波長帯域を赤色フィルタおよび青色フィルタを通過した光から除去することにより、赤外線波長帯域が遮断された赤色および青色を得ることができる。
具体的に、イメージセンサ部１３０は、白色フィルタを通過した光をＩＷＩＲとし、赤外線遮断フィルタを通過した光をＩＷとすると、赤外線波長帯域ＩＩＲはＩＩＲ＝ＩＷＩＲ−ＩＷによって得ることができる。この際、イメージセンサ部１３０は、赤色フィルタを通過した光をＩＲとする場合、赤外線波長帯域を除去して補正した赤色ＩＲ’は、ＩＲ’＝ＩＲ−ＩＩＲによって得ることができる。この際、青色フィルタを通過した光の場合には、赤外線波長帯域が存在しないため、前述した赤色フィルタのように、赤外線波長帯域に基づいた補正はなされなくなる。
また、イメージセンサ部１３０は、前述したように得られた赤外線波長帯域に基づいて、赤外線波長帯域を除去した白色ＩＷ’を得ることができる。ＩＷ’はＩＷ’＝（ＩＷＩＲ＋ＩＷ−ＩＩＲ）／２によって得ることができる。したがって、白色フィルタと赤外線遮断フィルタを通過した光から赤外線波長帯域を除去し、赤外線波長帯域を除去した結果を２で割ったのは、白色フィルタと赤外線遮断フィルタを介して白色が同時に入射するので、これらの平均を求めるためである。
一方、イメージセンサ部１３０は、高照度状態では前述したように赤外線波長帯域を除去した白色ＩＷ’をＩＷ’＝（ＩＷＩＲ＋ＩＷ−ＩＩＲ）／２）によって得ることができるが、低照度状態では赤外線波長帯域を除去しないこともある。これは、低照度状態では被写体の輪郭が正確ではないため、赤外線波長帯域を除去しないこともある。言い換えれば、低照度状態では、白色波長帯域ＩＷ’はＩＷ’＝（ＩＷＩＲ＋ＩＷ＋ＩＩＲ）／２によって得ることができる。
一方、イメージセンサ部１３０は、前述した白色ＩＷ’によって赤色および青色に対する白色バランシングを調節することができ、白色バランシングの調節された赤色および青色によって補間法によるデモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）を行うことができる。この際、前述した白色ＩＷ’を参照して、デモザイキングされた赤色および白色をそれぞれＩＲ”およびＩＢ”とする。
また、イメージセンサ部１３０は、赤色、青色および白色によって、原色であるＲＧＢから色差信号ＹＣｒＣｂへの変換を簡素化させることができる。一般に、原色と色差信号との関係は、Ｙ＝ａＲ＋ｂＧ＋ｃＢ、Ｃｒ＝Ｒ−Ｙ、Ｃｂ＝Ｂ−Ｙなので、白色ＩＷ’が直ちに輝度ＹになってＹ＝ＩＷ’となり、Ｃｒ＝ＩＲ”−ＩＷ’となり、Ｃｂ＝ＩＢ”−ＩＷ’となって変換を簡素化させることができる。したがって、緑色フィルタを使用しなくても、容易なカラーマッピングが可能になる。よって、緑色フィルタを使用していない場合にも、原色から色差信号への変換が可能であると同時に、その変換が原色、すなわち赤色、緑色および青色のフィルタを全て使用した場合に比べて簡素化できる。
図４は本発明の実施例に係るイメージ撮像装置の動作方法を示す図である。
図４に示すように、本発明の実施例に係るイメージ撮像装置の動作方法は、まず、レンズ部１１０を介して光が入射すると（Ｓ１１０）、フィルタ部１２０は、各フィルタ領域で入射光をフィルタリングする（Ｓ１２０）。具体的に、前述したＳ１２０段階は、フィルタ部１２０の第１フィルタ領域１２１では入射光を２種の原色フィルタを介して２種の原色に制限し（Ｓ１２１）、第２フィルタ領域１２２では白色フィルタを介して全波長帯域を通過させ（Ｓ１２２）、第３フィルタ領域１２３では入射光から赤外線遮断フィルタを介して赤外線波長帯域を制限する（Ｓ１２３）。この際、前述したＳ１２１、Ｓ１２２およびＳ１２３段階が順序に従って行われる場合の例を挙げて説明しているが、これは本発明の理解を助けるための一例に過ぎないもので、前述したＳ１２１、Ｓ１２２およびＳ１２３段階は、同時に行ってもよく、その順序を変えて行ってもよい。また、本発明の実施例において、第１フィルタ領域１２１は、入射光を赤色に制限する赤色フィルタ、および入射光を青色に制限する青色フィルタからなる場合を例として説明する。
図４に示すように、本発明の実施例に係るイメージ撮像装置の動作方法は、まず、レンズ部１１０を介して光が入射すると（Ｓ１１０）、フィルタ部１２０は、各フィルタ領域で入射光をフィルタリングする（Ｓ１２０）。具体的に、前述したＳ１２０段階は、フィルタ部１２０の第１フィルタ領域１２１では入射光を２種の原色フィルタを介して２種の原色に制限し（Ｓ１２１）、第２フィルタ領域１２２では白色フィルタを介して全波長帯域を通過させ（Ｓ１２２）、第３フィルタ領域１２３では入射光から赤外線遮断フィルタを介して赤外線波長帯域を制限する（Ｓ１２３）。この際、前述したＳ１２１、Ｓ１２２およびＳ１２３段階が順序に従って行われる場合の例を挙げて説明しているが、これは本発明の理解を助けるための一例に過ぎないもので、前述したＳ１２１、Ｓ１２２およびＳ１２３段階は、同時に行ってもよく、その順序を変えて行ってもよい。また、本発明の実施例において、第１フィルタ領域１２１は、入射光を赤色に制限する赤色フィルタ、および入射光を青色に制限する青色フィルタからなる場合を例として説明する。
イメージセンサ部１３０は、白色フィルタを通過した光、および赤外線遮断フィルタを通過した光から赤外線波長帯域を算出する（Ｓ１３０）。言い換えれば、前述したように、白色フィルタを通過した光をＩＷＩＲとし、赤外線遮断フィルタを通過した光をＩＷとすると、赤外線波長帯域ＩＲは、ＩＲ＝ＩＷＩＲ−ＩＷによって算出できる。
イメージセンサ部１３０は、算出された赤外線波長帯域に基づいて、前述した原色フィルタを通過した光を補正する（Ｓ１４０）。例えば、赤色フィルタを通過した光は、赤外線波長帯域を含んでいるため、赤色フィルタを通過した赤色の波長帯域から、算出された赤外線波長帯域を除去することにより、赤色フィルタを通過した赤色を補正する。一方、青色フィルタを通過した光は赤外線波長帯域を含んでいないため、算出された赤外線波長帯域に基づいた補正はなされなくなる。
イメージセンサ部１３０は、白色フィルタおよび赤外線遮断フィルタで通過した光から白色の平均を算出する（Ｓ１５０）。言い換えれば、前述した白色フィルタおよび赤外線遮断フィルタを介して白色が同時に入射するので、２つのフィルタを介して入射した白色から、前述したＳ１３０段階で算出された赤外線波長帯域を除去した後、２で割ってその平均を算出する。
イメージセンサ部１３０は、Ｓ１５０段階で算出された白色平均に基づいて補正された赤色および青色の白色バランシングを調節し（Ｓ１６０）、各ピクセルにおける白色平均に基づいて赤色および青色に対してデモザイキングを行う（Ｓ１７０）。
その後、イメージセンサ部１３０は、デモザイキングされたイメージに対してガンマ補正などの過程を行い（Ｓ１８０）、ガンマの補正されたイメージを所定のディスプレイモジュールを介して表示する（Ｓ１９０）。
本発明の実施例で使用される用語「部」は、ソフトウェア構成要素、またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）や注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）などのハードウェア構成要素を意味し、ある役割を行う。しかし、部は、ソフトウェアまたはハードウェアに限定される意味ではない。部は、アドレシング可能な記憶媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを実行させるように構成されてもよい。したがって、一例として、部は、ソフトウェア構成要素や客体指向ソフトウェア構成要素、クラス構成要素、およびタスク構成要素などの構成要素と、プロセス、関数、属性、プロシージャー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素と部から提供される機能は、より少ない数の構成要素および部に結合されてもよく、追加的な構成要素と部にさらに分離されてもよい。
以上のように、本発明に係る映像機器の画質補正のための装置および方法を添付図面を参照として説明したが、本発明は、本明細書に開示された実施例と図面によって限定されず、その発明の技術思想の範囲内において、当業者によって種々の変形が加えられ得ることは勿論である。
１１０ レンズ部
１２０ フィルタ部
１２１ 第１フィルタ領域
１２２ 第２フィルタ領域
１２３ 第３フィルタ領域
１３０ イメージセンサ部
１２０ フィルタ部
１２１ 第１フィルタ領域
１２２ 第２フィルタ領域
１２３ 第３フィルタ領域
１３０ イメージセンサ部
Claims (15)
- レンズと、
前記レンズを介して入射する光を原色に制限する第１フィルタ領域、前記入射した光の全波長帯域を通過させる第２フィルタ領域、および前記入射した光の赤外線波長帯域を制限する第３フィルタ領域を含むフィルタ部と、
前記フィルタ部を通過した光からイメージをセンシングするイメージセンサ部とを含むことを特徴とする、イメージ撮像装置。 - 前記第１フィルタ領域は、前記入射する光を２種の原色に制限する原色フィルタからなることを特徴とする、請求項１に記載のイメージ撮像装置。
- 前記原色フィルタは、赤色フィルタ、青色フィルタおよび緑色フィルタのいずれか２つを含むことを特徴とする、請求項２に記載のイメージ撮像装置。
- 前記第２フィルタ領域は、白色フィルタからなることを特徴とする、請求項１に記載のイメージ撮像装置。
- 前記第３フィルタ領域は、赤外線遮断フィルタからなることを特徴とする、請求項１に記載のイメージ撮像装置。
- 前記イメージセンサ部は、前記第２フィルタ領域および前記第３フィルタ領域を通過した光をセンシングして赤外線波長帯域を算出することを特徴とする、請求項１に記載のイメージ撮像装置。
- 前記イメージセンサ部は、前記算出された赤外線波長帯域を、前記第１フィルタ領域を通過した光からセンシングされた原色から除去することにより、前記センシングされた原色を補正することを特徴とする、請求項６に記載のイメージ撮像装置。
- 前記イメージセンサ部は、前記第２フィルタ領域および前記第３フィルタ領域を通過した光から、前記算出された赤外線波長帯域を除去し、
前記赤外線波長帯域の除去された前記第２フィルタ領域及び前記第３フィルタ領域を通過した光の平均によって輝度を算出することを特徴とする、請求項７に記載のイメージ撮像装置。 - 前記イメージセンサ部は、前記補正された原色および前記算出された輝度から色差信号を算出し、
前記算出された輝度および前記算出された色差信号に基づいてイメージをセンシングすることを特徴とする、請求項８に記載のイメージ撮像装置。 - レンズを介して、所定の被写体で反射された光の入射を受ける段階と、
前記レンズを介して入射する光を原色に制限する第１フィルタ領域、前記入射した光の全波長帯域を通過させる第２フィルタ領域、及び前記入射した光の赤外線波長帯域を制限する第３フィルタ領域を介して、前記入射する光をフィルタリングする段階と、
前記フィルタリングされた光からイメージをセンシングする段階とを含むことを特徴とする、イメージ撮像装置の動作方法。 - 前記第１フィルタ領域は、前記入射する光を２種の原色に制限する原色フィルタからなることを特徴とする、請求項１０に記載のイメージ撮像装置の動作方法。
- 前記原色フィルタは、赤色フィルタ、緑色フィルタおよび青色フィルタのいずれか２つを含むことを特徴とする、請求項１１に記載のイメージ撮像装置の動作方法。
- 前記第２フィルタ領域は、白色フィルタからなることを特徴とする、請求項１０に記載のイメージ撮像装置の動作方法。
- 前記第３フィルタ領域は、赤外線遮断フィルタからなることを特徴とする、請求項１０に記載のイメージ撮像装置の動作方法。
- 前記イメージをセンシングする段階は、
前記第２フィルタ領域および前記第３フィルタ領域を通過した光をセンシングして赤外線波長帯域を算出する段階と、
前記算出された赤外線波長帯域を、前記第１フィルタ領域を通過した光からセンシングされた原色から除去することにより、前記第１フィルタ領域を通過した原色を補正する段階と、
前記第２フィルタ領域及び前記第３フィルタ領域を通過した光から、前記算出された赤外線波長帯域を除去する段階と、
前記赤外線波長帯域の除去された光の平均によって輝度を算出する段階と、
前記補正された原色および前記算出された輝度から色差信号を算出する段階と、
前記算出された輝度および前記算出された色差信号に基づいてイメージをセンシングする段階とを含むことを特徴とする、請求項１０に記載のイメージ撮像装置の動作方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060047795A KR101276757B1 (ko) | 2006-05-26 | 2006-05-26 | 이미지 촬상 장치, 및 그 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007318753A true JP2007318753A (ja) | 2007-12-06 |
| JP4603011B2 JP4603011B2 (ja) | 2010-12-22 |
Family
ID=38349452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007134324A Active JP4603011B2 (ja) | 2006-05-26 | 2007-05-21 | イメージ撮像装置及びその動作方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8068159B2 (ja) |
| EP (1) | EP1860887B1 (ja) |
| JP (1) | JP4603011B2 (ja) |
| KR (1) | KR101276757B1 (ja) |
| CN (1) | CN101078856B (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100818987B1 (ko) * | 2006-09-19 | 2008-04-04 | 삼성전자주식회사 | 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법 |
| KR101475464B1 (ko) | 2008-05-09 | 2014-12-22 | 삼성전자 주식회사 | 적층형 이미지 센서 |
| US8416302B2 (en) * | 2009-02-10 | 2013-04-09 | Microsoft Corporation | Low-light imaging augmented with non-intrusive lighting |
| US8492699B2 (en) * | 2009-09-22 | 2013-07-23 | Intersil Americas Inc. | Photodetectors useful as ambient light sensors having an optical filter rejecting a portion of infrared light |
| KR101625209B1 (ko) * | 2009-12-11 | 2016-05-30 | 삼성전자주식회사 | 다이크로익 필터를 이용한 컬러 필터 어레이 |
| KR101829777B1 (ko) * | 2011-03-09 | 2018-02-20 | 삼성디스플레이 주식회사 | 광 감지 센서 |
| EP2592837A1 (en) * | 2011-11-10 | 2013-05-15 | Research In Motion Limited | Apparatus and associated method for forming color camera image |
| CN102572448A (zh) * | 2012-02-28 | 2012-07-11 | 王锦峰 | 基于rwb三色光拍摄彩色图像的装置及方法 |
| US20150199934A1 (en) * | 2012-09-14 | 2015-07-16 | Sharp Kabushiki Kaisha | Sensor, display device, and recording medium |
| US8779542B2 (en) | 2012-11-21 | 2014-07-15 | Intersil Americas LLC | Photodetectors useful as ambient light sensors and methods for use in manufacturing the same |
| FR3004882B1 (fr) * | 2013-04-17 | 2015-05-15 | Photonis France | Dispositif d'acquisition d'images bimode |
| US10136107B2 (en) * | 2013-11-21 | 2018-11-20 | Semiconductor Components Industries, Llc | Imaging systems with visible light sensitive pixels and infrared light sensitive pixels |
| US10113903B1 (en) * | 2014-09-02 | 2018-10-30 | Amazon Technologies, Inc. | Ambient light sensor calibration |
| CN104601853B (zh) * | 2014-12-25 | 2018-05-25 | 威海华菱光电股份有限公司 | 图像扫描装置 |
| WO2017099308A1 (ko) * | 2015-12-09 | 2017-06-15 | (주) 픽셀플러스 | 컬러 필터 어레이 및 이를 이용한 이미지 센서 |
| CN105430359B (zh) * | 2015-12-18 | 2018-07-10 | 广东欧珀移动通信有限公司 | 成像方法、图像传感器、成像装置及电子装置 |
| JP6645394B2 (ja) * | 2016-10-03 | 2020-02-14 | 株式会社デンソー | 画像センサ |
| EP3422700B1 (en) * | 2017-06-29 | 2021-03-10 | Axis AB | A method for enhancing color images, and an assembly performing such method |
| EP3343897B1 (en) | 2016-12-28 | 2019-08-21 | Axis AB | Camera and method of producing color images |
| CN109327665A (zh) * | 2017-07-26 | 2019-02-12 | 聚晶半导体股份有限公司 | 图像获取装置及其红外线感测方法 |
| TWI708207B (zh) * | 2018-08-30 | 2020-10-21 | 廣達電腦股份有限公司 | 牙齒螢光反應區域之影像處理方法及其影像處理裝置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000007365A1 (en) * | 1998-07-30 | 2000-02-10 | Intel Corporation | Color imaging system with infrared correction |
| JP2002142228A (ja) * | 2000-10-31 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | 撮像装置 |
| JP2005184690A (ja) * | 2003-12-22 | 2005-07-07 | Sanyo Electric Co Ltd | カラー撮像素子およびカラー信号処理回路 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2733859B2 (ja) | 1989-09-28 | 1998-03-30 | キヤノン株式会社 | カラー撮像装置 |
| JP3114388B2 (ja) | 1992-09-28 | 2000-12-04 | 株式会社島津製作所 | 電子天びん |
| US5929432A (en) | 1996-05-30 | 1999-07-27 | Kabushiki Kaisha Toshiba | Solid state image sensing device and image sensor using the same |
| US6211521B1 (en) | 1998-03-13 | 2001-04-03 | Intel Corporation | Infrared pixel sensor and infrared signal correction |
| US5914749A (en) | 1998-03-31 | 1999-06-22 | Intel Corporation | Magenta-white-yellow (MWY) color system for digital image sensor applications |
| US6714243B1 (en) | 1999-03-22 | 2004-03-30 | Biomorphic Vlsi, Inc. | Color filter pattern |
| US7274393B2 (en) | 2003-02-28 | 2007-09-25 | Intel Corporation | Four-color mosaic pattern for depth and image capture |
| JP2004304706A (ja) | 2003-04-01 | 2004-10-28 | Fuji Photo Film Co Ltd | 固体撮像装置およびその補間処理方法 |
| JP4311988B2 (ja) | 2003-06-12 | 2009-08-12 | アキュートロジック株式会社 | 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置 |
| JP4578797B2 (ja) | 2003-11-10 | 2010-11-10 | パナソニック株式会社 | 撮像装置 |
| US7746396B2 (en) | 2003-12-17 | 2010-06-29 | Nokia Corporation | Imaging device and method of creating image file |
| EP1594321A3 (en) | 2004-05-07 | 2006-01-25 | Dialog Semiconductor GmbH | Extended dynamic range in color imagers |
| US7880785B2 (en) * | 2004-07-21 | 2011-02-01 | Aptina Imaging Corporation | Rod and cone response sensor |
| US7564019B2 (en) * | 2005-08-25 | 2009-07-21 | Richard Ian Olsen | Large dynamic range cameras |
| US7460160B2 (en) | 2004-09-24 | 2008-12-02 | Microsoft Corporation | Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor |
| US7456384B2 (en) * | 2004-12-10 | 2008-11-25 | Sony Corporation | Method and apparatus for acquiring physical information, method for manufacturing semiconductor device including array of plurality of unit components for detecting physical quantity distribution, light-receiving device and manufacturing method therefor, and solid-state imaging device and manufacturing method therefor |
-
2006
- 2006-05-26 KR KR1020060047795A patent/KR101276757B1/ko active IP Right Grant
-
2007
- 2007-04-18 US US11/785,560 patent/US8068159B2/en active Active
- 2007-05-21 JP JP2007134324A patent/JP4603011B2/ja active Active
- 2007-05-23 EP EP07108758A patent/EP1860887B1/en active Active
- 2007-05-25 CN CN2007101061248A patent/CN101078856B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000007365A1 (en) * | 1998-07-30 | 2000-02-10 | Intel Corporation | Color imaging system with infrared correction |
| JP2002142228A (ja) * | 2000-10-31 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | 撮像装置 |
| JP2005184690A (ja) * | 2003-12-22 | 2005-07-07 | Sanyo Electric Co Ltd | カラー撮像素子およびカラー信号処理回路 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1860887B1 (en) | 2010-09-08 |
| KR101276757B1 (ko) | 2013-06-20 |
| US20070273781A1 (en) | 2007-11-29 |
| KR20070113912A (ko) | 2007-11-29 |
| CN101078856A (zh) | 2007-11-28 |
| JP4603011B2 (ja) | 2010-12-22 |
| CN101078856B (zh) | 2010-06-16 |
| US8068159B2 (en) | 2011-11-29 |
| EP1860887A1 (en) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4603011B2 (ja) | イメージ撮像装置及びその動作方法 | |
| US20230132892A1 (en) | Digital cameras with direct luminance and chrominance detection | |
| KR100818987B1 (ko) | 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법 | |
| KR20070115243A (ko) | 이미지 촬상 장치, 및 그 동작 방법 | |
| JP5106256B2 (ja) | 撮像装置 | |
| JP4893973B2 (ja) | エッジ検出および補正項を用いてカラーフィルターアレイにおいて色補間を提供する方法および装置 | |
| US9729805B2 (en) | Imaging device and defective pixel correction method | |
| US10630920B2 (en) | Image processing apparatus | |
| KR101639382B1 (ko) | 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법 | |
| KR100827238B1 (ko) | 고화질 영상을 위한 영상 표시 방법 및 장치 | |
| WO2012026051A1 (ja) | 固体撮像素子および撮像装置 | |
| US8982236B2 (en) | Imaging apparatus | |
| JP2012074763A (ja) | 固体撮像装置及び撮像装置 | |
| JP2018093257A (ja) | 撮像装置 | |
| JP5680797B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
| JP5600814B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
| JP5475393B2 (ja) | 撮像システムおよび補正方法 | |
| JP2004186879A (ja) | 固体撮像装置及びデジタルカメラ | |
| JP2008153848A (ja) | 画像処理装置 | |
| JP4993275B2 (ja) | 画像処理装置 | |
| JP2010130321A (ja) | 撮像装置 | |
| JP4681792B2 (ja) | デジタルカメラ | |
| JP2010098085A (ja) | 固体撮像素子及びそれを備えた撮像装置 | |
| JP2009065721A (ja) | 信号処理方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091125 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100930 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4603011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |