JP2004297562A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2004297562A
JP2004297562A JP2003088599A JP2003088599A JP2004297562A JP 2004297562 A JP2004297562 A JP 2004297562A JP 2003088599 A JP2003088599 A JP 2003088599A JP 2003088599 A JP2003088599 A JP 2003088599A JP 2004297562 A JP2004297562 A JP 2004297562A
Authority
JP
Japan
Prior art keywords
sensitivity signal
pixel
data
pixel data
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003088599A
Other languages
English (en)
Other versions
JP4027253B2 (ja
Inventor
Yoichi Sawachi
洋一 沢地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003088599A priority Critical patent/JP4027253B2/ja
Publication of JP2004297562A publication Critical patent/JP2004297562A/ja
Application granted granted Critical
Publication of JP4027253B2 publication Critical patent/JP4027253B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】CCD−RAW記録時の画像データの画質を劣化させることなく、記録容量を低減させる。
【解決手段】CPU32は、主画素データ、あるいは副画素データで表現される輝度値が閾値以下である画素に対しては、副画素データを記録せずに主画素データのみをSDRAM36に書き戻す。主画素データ、あるいは副画素データで表現される輝度値が閾値以上である画素に対しては、この画素の位置を検出し、検出した位置データと副画素データとを主画素データと関連付けてSDRAM36に書き戻す。位置データが付加された副画素データは、SDRAM36でサムネイル画像、プレビュー画像、および主画素データとともに1つの画像ファイルとしてメモリカード18に記録される。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は、低輝度域から中輝度域までの階調を表現する高感度信号を出力する主感光部と、この主感光部よりも相対的に小さい受光面積をもち、高輝度域の階調を表現する低感度信号を出力する副感光部とからなる画素が、所定のピッチで複数配列された撮像素子を有する撮像装置に関する。
【0002】
【従来の技術】
デジタルカメラに搭載されるCCDイメージセンサなどの撮像素子は、画面の最も明るい部分から最も暗い部分までの階調を再現する能力、いわゆるダイナミックレンジが写真フイルムと比較して狭いため、明暗差の大きいシーンを撮影した場合には、高輝度域が白飛びしたり、低輝度域が黒く潰れてしまうという問題があった。
【0003】
上記のような問題を解決するために、本発明者は、図14に示すようなCCD100を用いて、広いダイナミックレンジをもつ画像を得る方法を考案した。このCCD100には、八角形の画素101が所定のピッチでハニカム状に複数配列されている。画素101は、主感光部101aと、この主感光部101aよりも受光面積が小さい副感光部101bとからなる。CCD100は、主感光部101aと副感光部101bの信号電荷を個別に読み出せるように構成されている。
【0004】
図15に示すように、主感光部101aの信号出力は、副感光部101bと比較して少ない入射光量で飽和する。これにより、主感光部101aからは、主として低輝度域から中輝度域の階調を表現する高感度信号Hが取り込まれ、副感光部101bからは、高感度信号Hでは表現できない高輝度域の階調を表現する低感度信号Lが取り込まれる。これら主副感光部101a、101bで得られた高感度信号Hおよび低感度信号Lは、合成・圧縮処理を施され、広いダイナミックレンジをもつ1画素分の画像データとして取り扱われる。
【0005】
ところで、デジタルカメラでは、撮影した画像データを記録する記憶媒体として、カメラ本体に着脱自在に装填されるメモリカードや内蔵メモリが用いられているが、記録する画像データの容量が大きいと、記録可能な枚数が減少してしまう。このような問題に対して、シェーディング補正データなどの補正データを圧縮してメモリカードに記録することで、補正データを記録するのに必要な容量をできるだけ小さくした撮像装置が提案されている(特許文献1参照)。
【0006】
一方、CCDで出力されたアナログの撮像信号をデジタルデータに変換し、このデジタルデータ(CCD−RAWデータ)をメモリカードに直接記録(CCD−RAW記録)する画像撮影装置が提案されている(特許文献2参照)。また、CCD−RAW記録を行う際に、CCD−RAWデータをJPEG圧縮、あるいはハフマン符号化して可逆圧縮することにより、データの記録容量を低減させた画像処理装置が提案されている(特許文献3参照)。
【0007】
【特許文献1】
特開平6−217253号公報
【特許文献2】
特開2001−223979号公報
【特許文献3】
特開2001−60876号公報
【0008】
【発明が解決しようとする課題】
図14に示すCCD100を用いた撮像装置でCCD−RAW記録を行う場合には、高感度信号Hと低感度信号Lとを全画素分記録する必要がある。このため、従来と比較して2倍のデータを記録することとなり、膨大な記録容量が必要となるおそれがある。また、記憶媒体への書き込み、あるいは記憶媒体からの読み出しに掛かる時間が長くなるという問題が生じる。これらの問題は、特許文献1〜3に記載される装置を以てしても、解決することができない。
【0009】
本発明は、CCD−RAW記録時の画像データの画質を劣化させることなく、記録容量を低減させることができる撮像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するために、本発明は、低輝度域から中輝度域までの階調を表現する高感度信号を出力する主感光部と、この主感光部よりも相対的に小さい受光面積をもち、高輝度域の階調を表現する低感度信号を出力する副感光部とからなる画素が、所定のピッチで複数配列された撮像素子を有する撮像装置において、前記高感度信号、あるいは低感度信号で表現される階調値が、予め設定された閾値以下である画素に対しては、前記高感度信号のみを記録し、前記階調値が前記閾値以上である画素に対しては、前記低感度信号と前記高感度信号とを記録する記録手段を備えたことを特徴とする。
【0011】
なお、前記高感度信号、あるいは低感度信号で表現される階調値と、予め設定された閾値とを比較する比較手段と、前記画素の位置を検出して、その位置データを出力する位置検出手段とを備えることが好ましい。また、前記閾値を自動的に設定する閾値自動設定手段、前記閾値を選択的に設定する閾値選択設定手段を設けることが好ましい。
【0012】
前記記録手段は、前記階調値が前記閾値以上である画素に対して、この画素の低感度信号と高感度信号、およびこの画素の周辺にある周辺画素の低感度信号をともに記録する。また、前記記録手段は、前記階調値が前記閾値以上である画素、および前記周辺画素のうちの1つの画素の位置データと、前記階調値が前記閾値以上である画素の低感度信号と、前記周辺画素の低感度信号とをデータパック化して記録する。なお、前記データパックの構成を選択的に設定するパック構成選択設定手段を設けることが好ましい。
【0013】
【発明の実施の形態】
図1および図2において、デジタルカメラ2には、撮像レンズ10が組み込まれたレンズ鏡胴11、光学ファインダを構成するファインダ対物窓12とファインダ接眼窓13、およびストロボ発光部14が設けられている。側面および上面には、グリップ部15、モードダイヤル16、およびレリーズボタン17が設けられ、他方の側面には、メモリカード18が着脱自在に装填されるメモリカードスロット19が設けられている。
【0014】
デジタルカメラ2の背面には、液晶表示器(LCD)20と、操作部21とが設けられている。LCD20には、撮影した画像やいわゆるスルー画像、各種設定画面が表示される。操作部21は、電源のオン/オフ切替えを行う電源ボタン、撮像レンズ10のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン、LCD20に表示されるメニュー画面内でカーソルを移動させるカーソル操作板などから構成される。
【0015】
デジタルカメラ2では、静止画撮影を行う静止画撮影モード、撮影した画像をLCD20に表示する再生モード、および各種設定を行うセットアップモードが選択可能となっている。これらのモードの切り替えは、モードダイヤル16を回動操作させることで行われる。
【0016】
デジタルカメラ2の電気的構成を示す図3において、撮像レンズ10の背後には、撮像レンズ10から入射する被写体光を撮像信号に変換するCCDが配置されている。デジタルカメラ2では、CCDとして、図14に示す前述のCCD100を用いている。このCCD100は、主副感光部101a、101bで受光した被写体光を信号電荷に変換するフォトダイオード50a、50b(図4参照)上に、図示しないRGBカラーフィルタやマイクロレンズが積層された構造を有する。
【0017】
図4に示すように、各画素101のフォトダイオード50a、50bには、転送電極51が接続されている。この転送電極51は、画素101の各列に沿って形成され、垂直方向Vの電荷転送を制御する垂直転送路52を構成している。垂直転送路52に送り出された信号電荷は、1行分の信号電荷が蓄積される水平転送路53に順次転送される。水平転送路53は、1行分の信号電荷を水平方向Hに順次転送する。
【0018】
図3において、CCD100で変換された撮像信号は、相関二重サンプリング回路(図示せず)に入力され、CCD100の各セルの蓄積電荷量に正確に対応したR、G、Bの画像データとして出力される。相関二重サンプリング回路から出力された画像データは、増幅器(図示せず)で増幅され、A/D変換器30でデジタルデータに変換される。A/D変換器30から出力された画像データは、画像信号処理回路31に送信される。画像信号処理回路31は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を画像データに施す。
【0019】
CPU32は、システムバス33を介して各部に接続し、デジタルカメラ2全体の動作を統括制御する。システムバス33には、圧縮伸長処理回路34、YC処理回路35、SDRAM36、外部I/F37、カードI/F38、およびLCDドライバ39が接続されている。
【0020】
画像信号処理回路31で各種処理を施された画像データは、YC処理回路35により輝度信号Yと色差信号Cr、Cbとに変換される。圧縮伸長処理回路34は、この変換された画像データに対して、所定の圧縮形式(例えばJPEG形式)で画像圧縮を施す。
【0021】
圧縮伸長処理回路34により圧縮された画像データは、外部I/F37を介してパーソナルコンピュータなどの外部機器に送信される。または、カードI/F38を介してメモリカード18に保存される。あるいは、LCDドライバ39によりコンポジット信号に変換され、LCD20に表示される。
【0022】
CPU32には、前述のレリーズボタン17、操作部21の他に、EEPROM40、測光・測距回路41が接続されている。EEPROM40には、各種制御用のプログラムや設定情報などが記録されている。CPU32は、これらの情報をEEPROM40から作業用メモリであるSDRAM36に読み出して、各種処理を実行する。
【0023】
測光・測距回路41は、被写体の輝度および撮像レンズ10との距離を検出し、CPU32に検出結果を送信する。CPU32は、この検出結果に基づいて、適正な露光量および焦点距離となるように、撮像レンズ10の各種パラメータを調整する。測光・測距回路41は、CPU32からフィードバックされる調整信号を元に、撮像レンズ10、およびストロボ装置42を制御するストロボ制御回路43を駆動させる。
【0024】
デジタルカメラ2は、A/D変換器30から出力されたデジタルデータ(CCD−RAWデータ)を、メモリカード18に直接記録するCCD−RAW記録モードを備えている。このCCD−RAW記録モードでは、図5に示すようなLCD21のモード設定画面で、低感度信号Lで表される副画素(副感光部)データを画像データに付加するか否かを選択することができ、付加を選択した場合(ON)は、圧縮、混合、分離、および輝度検出の4つの付加モードが選択可能となっている。
【0025】
分離モードが選択された場合は、主画素データと副画素データとをそのままメモリカード18に記録する。圧縮モードが選択された場合は、図6のフローチャートに示すように、CCD100から出力された撮像信号をA/D変換器30でCCD−RAWデータに変換し、このCCD−RAWデータをSDRAM36に格納した後、YC処理回路35に副画素データのみを読み出してYC変換を施し、YC変換された副画素データに対して、圧縮伸長処理回路34で例えば1/5の圧縮率で圧縮を施し、SDRAM36に格納する。
【0026】
図7に示すように、圧縮された副画素データは、SDRAM36でサムネイル画像、プレビュー画像、および高感度信号Hで表される主画素(主感光部)データに添付され、1つの画像ファイル60としてメモリカード18に記録される。なお、副画素データの圧縮率は、上記1/5に限定されず、デジタルカメラ2の仕様に応じて適宜変更可能であり、操作部21でユーザーが選択可能なようにしてもよい。
【0027】
混合モードが選択された場合は、図8のフローチャートに示すように、サムネイル、プレビュー画像を作成して各画像をSDRAM36に格納した後、主画素データに副画素データを追記して混合する。
【0028】
ここで、図9に示すように、1画素分の主画素データは、2byteのうちの10bit分を使用して表現され、残りの6bit分は空き領域となるため、混合モードが選択された場合は、この空き領域に副画素データを追記する。副画素データが混合された主画素データは、サムネイル画像、プレビュー画像データとともに1つの画像ファイルとしてメモリカード18に記録される。
【0029】
上記のような構成であると、主画素データの記録領域に副画素データも合わせて記録することができ、通常のCCD−RAWデータと同等のデータ量にすることができる。なお、主画素データを記録する領域を11bitとして、副画素データを追記する空き領域を5bit分としてもよく、この空き領域を操作部21でユーザーが選択することができるようにしてもよい。
【0030】
輝度検出モードが選択された場合は、図10および図11のフローチャートに示すように、主画素データをSDRAM36に格納した後、1画素分の主画素データをCPU32に順次読み出し、主画素データで表現される輝度値と、予め設定された閾値とを比較する。
【0031】
CPU32は、主画素データで表現される輝度値が閾値以下である画素に対しては、副画素データを記録せずに主画素データのみをSDRAM36に書き戻す。主画素データで表現される輝度値が閾値以上である画素に対しては、この画素の位置を検出し、検出した位置データと副画素データとを主画素データと関連付けてSDRAM36に書き戻す。CPU32は、これら一連の処理を全主画素データ分繰り返し行う。位置データが付加された副画素データは、SDRAM36でサムネイル画像、プレビュー画像、および主画素データとともに1つの画像ファイルとしてメモリカード18に記録される。ここで、主画素データで表現される輝度値ではなく、副画素データで表現される輝度値と閾値とを比較し、この比較結果を元にして上記一連の処理を行ってもよい。
【0032】
なお、図12および図13に示すように、主画素データで表現される輝度値が閾値以上である画素E(該当画素)、およびこの画素Eの周辺にある画素A〜D、F〜I(周辺画素)のうちの1つの画素、例えば図13において副画素データの先頭に記録される画素Aの位置データと、該当画素の副画素データと、周辺画素の副画素データとをデータパック化して記録してもよい。
【0033】
この場合、画素の縦横位置のアドレスを記録する領域としてそれぞれ12bit分(CCD100の有効画素数4095×4095に対応)、合計24bit分を位置データの記録領域として使用し、画素A〜Iの副画素データを記録する領域としてそれぞれ8bit分、合計72bit分を使用する(データ量の総計は12byte)。したがって、1画素に対して4byte(位置データ3byte、副画素データ1byte)のデータ量となるが、該当画素の割合は、通常画像全体の1/10〜1/8程度であるため、2/5〜1/2程度のデータ量に削減することができる。
【0034】
なお、周辺画素の中に該当画素がある場合は、重複を避けるためにいずれかの副画素データを削除することが好ましい。また、上記に挙げた位置データおよび副画素データの記録領域は一例であり、主画素データで表現される輝度値などに応じて周辺画素の副画素データの記録領域を低減させてもよい。さらに、記録する周辺画素の範囲や副画素データの記録領域を、操作部21でユーザーが選択可能なようにしてもよい。
【0035】
【発明の効果】
以上のように、本発明の撮像装置によれば、高感度信号、あるいは低感度信号で表現される階調値が、予め設定された閾値以下である画素に対しては、高感度信号のみを記録し、階調値が閾値以上である画素に対しては、低感度信号と高感度信号とを記録する記録手段を備えたので、CCD−RAW記録時の画像データの画質を劣化させることなく、記録容量を低減させることができる。
【図面の簡単な説明】
【図1】デジタルカメラの正面概観斜視図である。
【図2】デジタルカメラの背面概観斜視図である。
【図3】デジタルカメラの電気的構成を示すブロック図である。
【図4】CCDの電気的構成を示す概略図である。
【図5】LCDに表示されるCCD−RAW記録モードの設定画面を示す図である。
【図6】圧縮モードが選択された場合のCCD−RAW記録の処理手順を示すフローチャートである。
【図7】圧縮モードで記録される画像ファイルの構成を示す図である。
【図8】混合モードが選択された場合のCCD−RAW記録の処理手順を示すフローチャートである。
【図9】混合モードで記録される画像データの構成を示す図である。
【図10】輝度検出モードが選択された場合のCCD−RAW記録の処理手順を示すフローチャートである。
【図11】輝度検出モードが選択された場合のCCD−RAW記録の処理手順を示すフローチャートである。
【図12】該当画素と周辺画素の配置の一例を示す図である。
【図13】データパックの構成を示す図である。
【図14】本発明者が考案したCCDの概略構成を示す拡大平面図である。
【図15】図14に示すCCDの露光量に対する高感度信号と低感度信号の出力を示すグラフである。
【符号の説明】
2 デジタルカメラ
10 撮像レンズ
17 レリーズボタン
18 メモリカード
20 液晶表示器(LCD)
31 画像信号処理回路
32 CPU
34 圧縮伸長処理回路
36 SDRAM
52 垂直転送路
53 水平転送路
60 画像ファイル
100 CCD
101 画素
101a 主感光部
101b 副感光部

Claims (7)

  1. 低輝度域から中輝度域までの階調を表現する高感度信号を出力する主感光部と、
    この主感光部よりも相対的に小さい受光面積をもち、高輝度域の階調を表現する低感度信号を出力する副感光部とからなる画素が、所定のピッチで複数配列された撮像素子を有する撮像装置において、
    前記高感度信号、あるいは低感度信号で表現される階調値が、予め設定された閾値以下である画素に対しては、前記高感度信号のみを記録し、
    前記階調値が前記閾値以上である画素に対しては、前記低感度信号と前記高感度信号とを記録する記録手段を備えたことを特徴とする撮像装置。
  2. 前記高感度信号、あるいは低感度信号で表現される階調値と、予め設定された閾値とを比較する比較手段と、前記画素の位置を検出して、その位置データを出力する位置検出手段とを備えたことを特徴とする請求項1に記載の撮像装置。
  3. 前記閾値を自動的に設定する閾値自動設定手段を設けたことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記閾値を選択的に設定する閾値選択設定手段を設けたことを特徴とする請求項1乃至3に記載の撮像装置。
  5. 前記記録手段は、前記階調値が前記閾値以上である画素に対して、この画素の低感度信号と高感度信号、およびこの画素の周辺にある周辺画素の低感度信号をともに記録することを特徴とする請求項1乃至4に記載の撮像装置。
  6. 前記記録手段は、前記階調値が前記閾値以上である画素、および前記周辺画素のうちの1つの画素の位置データと、前記階調値が前記閾値以上である画素の低感度信号と、前記周辺画素の低感度信号とをデータパック化して記録することを特徴とする請求項1乃至5に記載の撮像装置。
  7. 前記データパックの構成を選択的に設定するパック構成選択設定手段を設けたことを特徴とする請求項6に記載の撮像装置。
JP2003088599A 2003-03-27 2003-03-27 撮像装置 Expired - Fee Related JP4027253B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003088599A JP4027253B2 (ja) 2003-03-27 2003-03-27 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003088599A JP4027253B2 (ja) 2003-03-27 2003-03-27 撮像装置

Publications (2)

Publication Number Publication Date
JP2004297562A true JP2004297562A (ja) 2004-10-21
JP4027253B2 JP4027253B2 (ja) 2007-12-26

Family

ID=33402685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003088599A Expired - Fee Related JP4027253B2 (ja) 2003-03-27 2003-03-27 撮像装置

Country Status (1)

Country Link
JP (1) JP4027253B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860661A (zh) * 2009-04-08 2010-10-13 佳能株式会社 图像处理设备和图像处理方法
JPWO2013179725A1 (ja) * 2012-05-31 2016-01-18 オリンパス株式会社 撮像装置、画像処理装置、画像ファイルを記録した記録媒体、記録方法、画像再生方法およびプログラム
CN112291567A (zh) * 2020-10-23 2021-01-29 湖南国科微电子股份有限公司 一种yuv数据存储方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860661A (zh) * 2009-04-08 2010-10-13 佳能株式会社 图像处理设备和图像处理方法
US8427549B2 (en) 2009-04-08 2013-04-23 Canon Kabushiki Kaisha Apparatus, method, and recording medium for displaying a pixel having a predetermined luminance in an output image to be identifiable from a position
CN101860661B (zh) * 2009-04-08 2013-09-25 佳能株式会社 图像处理设备和图像处理方法
JPWO2013179725A1 (ja) * 2012-05-31 2016-01-18 オリンパス株式会社 撮像装置、画像処理装置、画像ファイルを記録した記録媒体、記録方法、画像再生方法およびプログラム
CN112291567A (zh) * 2020-10-23 2021-01-29 湖南国科微电子股份有限公司 一种yuv数据存储方法、装置、设备及存储介质
CN112291567B (zh) * 2020-10-23 2023-03-21 湖南国科微电子股份有限公司 一种yuv数据存储方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP4027253B2 (ja) 2007-12-26

Similar Documents

Publication Publication Date Title
US7598990B2 (en) Image signal processing system and electronic imaging device
TWI465107B (zh) 可顯示實況預覽圖像之攝像裝置
JP4253634B2 (ja) デジタルカメラ
JP5009880B2 (ja) 撮像装置及び撮像方法
JP2006108759A (ja) 撮像装置
US20100073514A1 (en) Imaging apparatus and imaging method
JP2004363726A (ja) 画像処理方法及びデジタルカメラ
JP2009065320A (ja) 撮像装置
JP4027253B2 (ja) 撮像装置
JP2001292367A (ja) 撮像装置及び撮像方法
JP4761039B2 (ja) 撮像装置
JP4678273B2 (ja) 撮像装置、動画記憶方法および動画記憶プログラム
JP2000134525A (ja) デジタルカメラ
JP2003333381A (ja) 画像評価機能付き撮像装置
JP2000050138A (ja) デジタルカメラ
JP2007110221A (ja) 撮像装置
JP2013121005A (ja) 撮像装置
JP4012471B2 (ja) デジタルカメラ
JP4300043B2 (ja) 撮像装置、撮像方法、撮像プログラム、及び記録媒体
JP2005150835A (ja) 画像処理装置、デジタルカメラシステム、及びデジタルカメラ
JP2008227839A (ja) 撮像装置
JP4163546B2 (ja) ディジタルカメラおよび撮像制御方法
JP2000241846A (ja) カメラ及び画像上辺判定方法
JP3835657B2 (ja) 電子スチルカメラ及び連写画像再生方法
JP3899706B2 (ja) 電子スチルカメラの制御方法及び電子スチルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050223

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees