JP2004032350A - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP2004032350A
JP2004032350A JP2002185585A JP2002185585A JP2004032350A JP 2004032350 A JP2004032350 A JP 2004032350A JP 2002185585 A JP2002185585 A JP 2002185585A JP 2002185585 A JP2002185585 A JP 2002185585A JP 2004032350 A JP2004032350 A JP 2004032350A
Authority
JP
Japan
Prior art keywords
color
light
digital camera
optical
pass filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002185585A
Other languages
English (en)
Other versions
JP3955503B2 (ja
Inventor
Koichi Sato
佐藤 公一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2002185585A priority Critical patent/JP3955503B2/ja
Publication of JP2004032350A publication Critical patent/JP2004032350A/ja
Application granted granted Critical
Publication of JP3955503B2 publication Critical patent/JP3955503B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Optical Filters (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】画像の解像度を低下させることなく、光学的ノイズを効果的に除去する。
【解決手段】入射光はダイクロイックミラー11によってGの色成分とRおよびBの色成分に分離する。RおよびBの色成分の光は、RB用トリミングフィルタ13とRB用光学ローパスフィルタ14を通り、全反射ミラー15において反射する。Gの色成分の光は全反射ミラー12において反射し、G用トリミングフィルタ16とG用光学ローパスフィルタ17と光路長調整器18を通る。そしてGの色成分の光はダイクロイックミラー19において反射して撮像素子20の受光面に導かれる。全反射ミラー15で反射したRおよびBの色成分の光は、ダイクロイックミラー19を透過して撮像素子20の受光面に導かれる。RB用光学ローパスフィルタ14のカットオフ周波数はG用光学ローパスフィルタ17のカットオフ周波数よりも低い。
【選択図】    図1

Description

【0001】
【発明の属する技術分野】
本発明は単板の撮像素子を備えたデジタルカメラに関する。
【0002】
【従来の技術】
従来、単板の撮像素子を備えたデジタルカメラが知られており、撮像素子の受光面には、例えばベイヤー配列に従って配列されたカラーフィルタが設けられている。また撮像光学系から撮像素子までの光路には、光学的ノイズを除去するために光学ローパスフィルタが配設されており、光学ローパスフィルタのカットオフ周波数はG、R、Bの色成分において共通である。
【0003】
【発明が解決しようとする課題】
ベイヤー配列のカラーフィルタを有する撮像素子を用いた場合、Gのサンプリング周波数はRとBのサンプリング周波数よりも高い。したがって、光学ローパスフィルタのカットオフ周波数をGの色成分に合わせると、RとBの色成分の信号において、ナイキストの定理に従った折り返しが発生し、これは偽色の原因となる。逆に、光学ローパスフィルタのカットオフ周波数をRとBの色成分に合わせると、Gの色成分の信号の帯域がRとBの色成分の信号の帯域に従って制限され、画像の解像度が低下する。
【0004】
本発明は、画像の解像度を低下させることなく、光学的ノイズを効果的に除去することができるデジタルカメラを提供することを目的としている。
【0005】
【課題を解決するための手段】
本発明に係るデジタルカメラは、単一の撮像素子と、撮像素子の受光面において、相対的に細かい画素ピッチで配設された第1のカラーフィルタ要素と相対的に粗い画素ピッチで配設された第2のカラーフィルタ要素とを有するカラーフィルタと、入射光を第1のカラーフィルタ要素の色成分と第2のカラーフィルタ要素の色成分とに分離する色分離光学部材と、第1のカラーフィルタ要素の色成分の光を透過させる第1の光学ローパスフィルタと、第2のカラーフィルタ要素の色成分の光を透過させる第2の光学ローパスフィルタと、第1および第2の光学ローパスフィルタを透過した光を合成して撮像素子の受光面に導く合成光学部材とを備えることを特徴としている。
【0006】
第1のカラーフィルタ要素と第2のカラーフィルタ要素は、例えばベイヤー配列に従って配列され、この場合、第1のカラーフィルタ要素はグリーン(G)であり、第2のカラーフィルタ要素はレッド(R)とブルー(B)である。また、第2の光学ローパスフィルタのカットオフ周波数は第1の光学ローパスフィルタのカットオフ周波数よりも低い。
【0007】
色分離光学部材と第1の光学ローパスフィルタの間には、第2のカラーフィルタ要素の色成分の光を除去するための第1のトリミングフィルタが設けられることが好ましい。同様に、色分離光学部材と第2の光学ローパスフィルタの間には、第1のカラーフィルタ要素の色成分の光を除去するための第2のトリミングフィルタが設けられることが好ましい。
【0008】
第1の光学ローパスフィルタを通る光路の途中には、色分離光学部材から撮像素子までの光路長を調整するための光路長調整器が設けられることが好ましい。これは第1および第2の光学ローパスフィルタによって生じる光路長差を補正するためである。
【0009】
合成光学部材と色分離光学系は、例えば、第1および第2のカラーフィルタ要素の色成分の光の一方を透過させ、かつ第1および第2のカラーフィルタ要素の色成分の光の他方を反射させるダイクロイックミラーである。
【0010】
この場合、色分離光学部材によって分離された各色成分の光束をそれぞれ色合成光学部部材へ向けて反射させる2枚の全反射ミラーを備え、一方の全反射ミラーが色分離光学部材によって分離された一方の色成分光束の光路において第1または第2の光学ローパスフィルタの前段に配置され、他方の全反射ミラーが他方の色成分光路側において第2または第1の光学ローパスフィルタの後段に配置されていることが好ましい。このような構成によれば、ダイクロイックミラーおよび全反射ミラーがそれぞれ同一特性のものが利用でき、製造コストを低減することができる。
【0011】
2枚の全反射ミラーと色合成光学部材と色合成光学部材とは、相互に平行に設けられるとともに長方形の各頂点上に配置され、2枚の全反射ミラーは長方形の対角線上に配置されていることが好ましい。この構成によれば、撮影レンズから撮像素子に至るまでの光路に無駄がなく、カメラの小型化が図られる。
【0012】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図1は、本発明の一実施形態であるデジタルカメラの光学的な構成を概略的に示す図である。撮影レンズ10の後方にはダイクロイックミラー11が設けられ、ダイクロイックミラー11の下方には全反射ミラー12が配設されている。撮影レンズ10を通過した入射光において、グリーン(G)の色成分はダイクロイックミラー11によって反射し、全反射ミラー12に導かれる。Gの色成分以外すなわちレッド(R)とブルー(B)の色成分はダイクロイックミラー11を透過する。
【0013】
ダイクロイックミラー11の後方にはRB用トリミングフィルタ13とRB用光学ローパスフィルタ14が設けられ、RB用光学ローパスフィルタ14の後方には全反射ミラー15が配設されている。ダイクロイックミラー11を透過したRとBの色成分の光は、RB用トリミングフィルタ13とRB用光学ローパスフィルタ14を透過し、全反射ミラー15において反射される。RB用トリミングフィルタ13はダイクロイックミラー11とRB用光学ローパスフィルタ14の間に設けられ、RおよびBの色成分の光のみを通すマゼンタフィルタであり、すなわち入射光をGの色成分とRおよびBの色成分とに分離する。RB用光学ローパスフィルタ14はRおよびBの色成分の光からノイズ成分を除去する。
【0014】
全反射ミラー12の後方には、G用トリミングフィルタ16とG用光学ローパスフィルタ17と光路長調整器18が設けられ、光路長調整器18の後方にはダイクロイックミラー19が配設されている。全反射ミラー12において反射したGの色成分の光は、G用トリミングフィルタ16とG用光学ローパスフィルタ17と光路長調整器18を透過し、ダイクロイックミラー19に導かれる。G用トリミングフィルタ16はダイクロイックミラー11とG用光学ローパスフィルタ17の間に設けられ、Gの色成分の光のみを通すグリーンフィルタであり、これによりRおよびBの色成分の光が除去される。G用光学ローパスフィルタ17はGの色成分の光からノイズ成分を除去する。光路調整器18は例えばガラス板からなり、RB用光学ローパスフィルタ14の方がG用光学ローパスフィルタ17よりも厚いことに起因する光路長差を補正するために設けられる。
【0015】
ダイクロイックミラー19は全反射ミラー15の下方に位置し、ダイクロイックミラー19の下方には撮像素子20が配設されている。光路長調整器18を透過したGの色成分の光はダイクロイックミラー19において反射して撮像素子20の受光面に導かれ、また全反射ミラー15において反射したRとBの色成分の光はダイクロイックミラー19を透過して撮像素子20の受光面に導かれる。すなわち撮像素子20は単板であり、ダイクロイックミラー11において色分離されたG、R、Bの色成分の光は、全反射ミラー15とダイクロイックミラー19の作用によって合成され、撮像素子20に入射する。
【0016】
撮像素子20の受光面上に結像した光学像は、撮像素子20により光電変換され、画像信号として読み出される。この画像信号はアンプ21により増幅され、AD変換器22によりデジタル信号に変換される。デジタル画像信号は、映像信号処理回路23において補間処理やガンマ補正等の各種信号処理が施された後、一時的にメモリ24に格納される。メモリ24から読み出された画像信号は画像信号処理回路23において、画像圧縮処理が施され、記録用データにされた後、インターフェース回路25を介して記録媒体であるメモリカード26に記録される。
【0017】
図1に示すように、ダイクロイックミラー11、19と全反射ミラー12、15の4枚のミラーは相互に平行に設けられ、長方形の頂点上に配置されている。ダイクロイックミラー11、19は対角線上に配置され、また全反射ミラー12、15は対角線上に位置している。ダイクロイックミラー11から全反射ミラー12までの光路長と全反射ミラー15からダイクロイックミラー19とは等しく、また、ダイクロイックミラー11から全反射ミラー15までの光路長と全反射ミラー12からダイクロイックミラー19までの光路長とは、光路調整器18によって等しくなっている。したがって、撮影レンズ10から撮像素子20までの光路長は、R、G、Bいずれの色成分も全て等しく、色成分の分離による光路長のずれはない。一方、ダイクロイックミラー11、19および全反射ミラー12、15はそれぞれ同一特性であり、部品の共通化を図ることによって製造コストの上昇が抑えられている。
【0018】
図2は撮像素子20の受光面に設けられるカラーフィルタ21におけるカラーフィルタ要素の配列を示している。これらのカラーフィルタ要素はG、RおよびBであり、ベイヤー配列に従って配列されている。すなわち、奇数番目の行A1にはGとRのカラーフィルタ要素が水平方向に交互に並び、偶数番目の行A2にはBとGのカラーフィルタ要素が水平方向に交互に並んでおり、撮像素子20を全体的に見ると、Gのカラーフィルタ要素はRおよびBのカラーフィルタ要素と比較して相対的に細かい画素ピッチで配設されている。
【0019】
図3は、撮像素子20によって得られた画像データにおける、Gの画素信号のサンプリングパターンを示している。奇数番目の行A1ではG,X,G,X,G・・・の順にサンプリングされる(ただし、Xは何もサンプリングされないことを示す)。偶数番目の行A2では、X,G,X,G,X・・・の順にサンプリングされる。すなわち、Gの画素信号は水平方向に1画素ピッチでサンプリングされる。
【0020】
図4はRの画素信号のサンプリングパターンを示している。奇数番目の行A1ではX,R,X,R,X・・・の順にサンプリングされる。偶数番目の行A2では、何もサンプリングされない。すなわち、Rの画素信号の水平方向におけるサンプリング周期は奇数番目の行A1におけるサンプリング周期と同じであり、2画素ピッチである。
【0021】
図5はBの画素信号のサンプリングパターンを示している。奇数番目の行A1では何もサンプリングされない。偶数番目の行A2では、B,X,B,X,B・・・の順にサンプリングされる。すなわち、Bの画素信号は水平方向に2画素ピッチでサンプリングされる。
【0022】
以上のように、水平方向のサンプリングに関し、Gの画素信号のサンプリング周波数fSGはRおよびBの画素信号のサンプリング周波数fSRBの2倍である。すなわち、Gの画素信号のナイキスト限界はfSG/2(=fSRB)であり、RおよびBの画素信号のナイキスト限界はfSRB/2(=fSG/4)である。
【0023】
したがって、G、R、Bの色成分を含んだ光に対して、図6に実線S1で示すようなカットオフ特性を有するローパスフィルタを用いると、Gの色成分に関しては折り返し成分(ノイズ成分)を十分に除去できるが、RおよびBの色成分には、破線S3で示すような折り返し成分が発生する。また、図7に実線S2で示すようなカットオフ特性を有するローパスフィルタを用いると、RおよびBの色成分に関しては折り返し成分(ノイズ成分)を十分に除去できるが、Gの色成分については、破線S4で示すように高周波成分がカットされてしまう。
【0024】
本実施形態では、前述のように、入射光をGの色成分とRおよびBの色成分に分離するとともに、G用光学ローパスフィルタ17のカットオフ周波数をRB用光学ローパスフィルタ14のカットオフ周波数の2倍に定めている。したがって図8に示すように、Gの色成分については、実線S1で示すカットオフ特性を有するG用光学ローパスフィルタ17によってノイズが除去され、またRおよびBの色成分については、実線S2で示すカットオフ特性を有するRB用光学ローパスフィルタ14によってノイズが除去される。このようにして得られたG、RおよびBの色成分の光は、ダイクロイックミラー19において合成され、撮像素子20に入射する。
【0025】
図9は2次元周波数により表した光学ローパスフィルタ14、17の周波数特性と、G、RおよびBの画素信号の2次元的なサンプリング周波数との関係を示している。Gの画素信号の2次元的なサンプリング周波数は破線S5で示され、またナイキスト限界は右下がりの直線である実線S6により示されている。RおよびBの画素信号に関しては、2次元的なサンプリング周波数は二点鎖線S7で示され、またナイキスト限界は、水平及び垂直に延びる2本の一点鎖線S8で示されている。
【0026】
すなわちG用光学ローパスフィルタ17は、図10において実線S9で示す境界よりも低い2次元周波数領域の光を透過させ、高い2次元周波数領域の光を遮断する。これに対してRおよびB用光学ローパスフィルタ14は、実線10で示す境界よりも低い2次元周波数領域の光を透過させ、高い2次元周波数領域の光を遮断する。
【0027】
以上のように本実施形態によれば、入射光をGの色成分とRおよびBの色成分に分離し、G用光学ローパスフィルタ17については相対的に高いカットオフ周波数で折り返し成分(ノイズ)を除去している。したがって、図6に破線S3で示すような折り返し成分が発生しないので、表示画像に偽色が生じることはない。また、RB用光学ローパスフィルタ14については相対的に低いカットオフ周波数で折り返し成分(ノイズ)を除去している。すなわち、RB用光学ローパスフィルタ14はRおよびBの色成分の折り返し成分(ノイズ)除去のみに用いられ、Gの色成分に対して不必要に低いカットオフ周波数の光学ローパスフィルタが用いられないので、表示画像の解像度が低下することはない。
【0028】
【発明の効果】
以上のように本発明によれば、画像の解像度を低下させることなく、光学的ノイズを効果的に除去することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態であるデジタルカメラの光学的な構成を概略的に示す図である。
【図2】撮像素子の受光面に設けられるカラーフィルタを示す図である。
【図3】Gの画素信号のサンプリングパターンを示す図である。
【図4】Rの画素信号のサンプリングパターンを示す図である。
【図5】Bの画素信号のサンプリングパターンを示す図である。
【図6】カットオフ周波数がfSG/2である光学ローパスフィルタの周波数応答特性を示す図である。
【図7】カットオフ周波数がそれぞれfSRB/2とfSRBである光学ローパスフィルタの周波数応答特性を示す図である。
【図8】G用光学ローパスフィルタとRB用光学ローパスフィルタの周波数特性を示す図である。
【図9】2次元周波数により表したG用およびRB用光学ローパスフィルタの周波数特性と、G、RおよびBの画素信号の2次元的なサンプリング周波数との関係を示す図である。
【図10】2次元周波数により表したG用およびRB用光学ローパスフィルタの周波数特性を示す図である。
【符号の説明】
11 ダイクロイックミラー(色分離光学部材)
12 全反射ミラー
14 RB用光学ローパスフィルタ(第2の光学ローパスフィルタ)
15 全反射ミラー(合成光学部材)
17 G用光学ローパスフィルタ(第1の光学ローパスフィルタ)
19 ダイクロイックミラー(合成光学部材)
20 撮像素子

Claims (9)

  1. 単一の撮像素子と、
    前記撮像素子の受光面において、相対的に細かい画素ピッチで配設された第1のカラーフィルタ要素と相対的に粗い画素ピッチで配設された第2のカラーフィルタ要素とを有するカラーフィルタと、
    入射光を前記第1のカラーフィルタ要素の色成分と前記第2のカラーフィルタ要素の色成分とに分離する色分離光学部材と、
    前記第1のカラーフィルタ要素の色成分の光を透過させる第1の光学ローパスフィルタと、
    前記第2のカラーフィルタ要素の色成分の光を透過させる第2の光学ローパスフィルタと、
    前記第1および第2の光学ローパスフィルタを透過した光を合成して前記撮像素子の受光面に導く合成光学部材と
    を備えることを特徴とするデジタルカメラ。
  2. 前記第1のカラーフィルタ要素と第2のカラーフィルタ要素がベイヤー配列に従って配列され、前記第1のカラーフィルタ要素がグリーン(G)であり、前記第2のカラーフィルタ要素がレッド(R)とブルー(B)であることを特徴とする請求項1に記載のデジタルメラ。
  3. 前記第2の光学ローパスフィルタのカットオフ周波数が前記第1の光学ローパスフィルタのカットオフ周波数よりも低いことを特徴とする請求項2に記載のデジタルカメラ。
  4. 前記色分離光学部材と前記第1の光学ローパスフィルタの間に前記第2のカラーフィルタ要素の色成分の光を除去するための第1のトリミングフィルタが設けられることを特徴とする請求項1に記載のデジタルカメラ。
  5. 前記色分離光学部材と前記第2の光学ローパスフィルタの間に前記第1のカラーフィルタ要素の色成分の光を除去するための第2のトリミングフィルタが設けられることを特徴とする請求項1に記載のデジタルカメラ。
  6. 前記第1の光学ローパスフィルタを通る光路の途中に、前記色分離光学部材から前記撮像素子までの光路長を調整するための光路長調整器が設けられることを特徴とする請求項1に記載のデジタルカメラ。
  7. 前記合成光学部材と前記色分離光学部材が、前記第1および第2のカラーフィルタ要素の色成分の光の一方を透過させ、かつ前記第1および第2のカラーフィルタ要素の色成分の光の他方を反射させるダイクロイックミラーであることを特徴とする請求項1に記載のデジタルカメラ。
  8. 前記色分離光学部材によって分離された各色成分の光束をそれぞれ前記色合成光学部部材へ向けて反射させる2枚の全反射ミラーを備え、一方の全反射ミラーは、前記色分離光学部材によって分離された一方の色成分光束の光路において前記第1または第2の光学ローパスフィルタの前段に配置され、他方の全反射ミラーは他方の色成分光路側において前記第2または第1の光学ローパスフィルタの後段に配置されることを特徴とする請求項7に記載のデジタルカメラ。
  9. 前記2枚の全反射ミラーと前記色合成光学部材と前記色合成光学部材とは相互に平行に設けられるとともに長方形の各頂点上に配置され、前記2枚の全反射ミラーは前記長方形の対角線上に配置されていることを特徴とする請求項8に記載のデジタルカメラ。
JP2002185585A 2002-06-26 2002-06-26 デジタルカメラ Expired - Fee Related JP3955503B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002185585A JP3955503B2 (ja) 2002-06-26 2002-06-26 デジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002185585A JP3955503B2 (ja) 2002-06-26 2002-06-26 デジタルカメラ

Publications (2)

Publication Number Publication Date
JP2004032350A true JP2004032350A (ja) 2004-01-29
JP3955503B2 JP3955503B2 (ja) 2007-08-08

Family

ID=31181164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002185585A Expired - Fee Related JP3955503B2 (ja) 2002-06-26 2002-06-26 デジタルカメラ

Country Status (1)

Country Link
JP (1) JP3955503B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117453A1 (ja) * 2004-05-26 2005-12-08 Acutelogic Corporation 撮像装置
KR100615649B1 (ko) 2004-06-25 2006-08-25 주식회사 대우일렉트로닉스 영상 신호의 해상도에 따른 노이즈 감쇄 장치와 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117453A1 (ja) * 2004-05-26 2005-12-08 Acutelogic Corporation 撮像装置
KR100878785B1 (ko) * 2004-05-26 2009-01-14 어큐트로직 가부시키가이샤 촬상 장치
US7626154B2 (en) 2004-05-26 2009-12-01 Acutelogic Corporation Imaging device
KR100615649B1 (ko) 2004-06-25 2006-08-25 주식회사 대우일렉트로닉스 영상 신호의 해상도에 따른 노이즈 감쇄 장치와 방법

Also Published As

Publication number Publication date
JP3955503B2 (ja) 2007-08-08

Similar Documents

Publication Publication Date Title
JP4118916B2 (ja) マルチスペクトル画像撮影装置
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
JP4084402B2 (ja) 撮像装置
US7663679B2 (en) Imaging apparatus using interpolation and color signal(s) to synthesize luminance
JP2008136251A (ja) マルチスペクトル画像撮影装置
WO2012046522A1 (ja) 撮像装置及び混色補正方法
WO2013099637A1 (ja) カラー撮像素子及び撮像装置
JP2003032695A (ja) 画像信号処理装置
US20140307135A1 (en) Color imaging element
US8976275B2 (en) Color imaging element
JPH06133321A (ja) Ccd撮像装置
EP1395062A1 (en) Color image pickup device
JP3955503B2 (ja) デジタルカメラ
JP4027116B2 (ja) 撮像素子及び撮像装置
JP6687276B1 (ja) 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法
JP3397397B2 (ja) 撮像装置
US7405759B2 (en) Imaging with spectrally dispersive element for aliasing reducing
JP2012027228A (ja) カラー撮像光学系
JP2007235877A (ja) 多板式固体撮像素子モジュール及び撮像装置
JPH09509508A (ja) 2個の複屈折性光学フィルタ素子を有する光学的ローパスフィルタ
JP6535454B2 (ja) 二板式カラーまたは白黒撮像装置と二板式カラーまたは白黒撮像装置の画像処理方法
JPH06350904A (ja) カメラ
JPS61294988A (ja) カラ−撮像装置
JPS59127494A (ja) 2板式スチルカメラ
JP2003143613A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070502

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees