JP2005204095A - 露光制御装置 - Google Patents

露光制御装置 Download PDF

Info

Publication number
JP2005204095A
JP2005204095A JP2004008629A JP2004008629A JP2005204095A JP 2005204095 A JP2005204095 A JP 2005204095A JP 2004008629 A JP2004008629 A JP 2004008629A JP 2004008629 A JP2004008629 A JP 2004008629A JP 2005204095 A JP2005204095 A JP 2005204095A
Authority
JP
Japan
Prior art keywords
exposure
amount
correction
control apparatus
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004008629A
Other languages
English (en)
Other versions
JP4353813B2 (ja
Inventor
Kanichi Furuyama
貫一 古山
Michihiro Yamamoto
倫裕 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004008629A priority Critical patent/JP4353813B2/ja
Publication of JP2005204095A publication Critical patent/JP2005204095A/ja
Application granted granted Critical
Publication of JP4353813B2 publication Critical patent/JP4353813B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【構成】 信号処理回路22で生成されるRGB画像データは、イメージセンサ16によって撮影された被写界に対応する画像データである。CPU34は、かかるRGB画像データから被写界の明るさを判別して最適露光量を決定し、RGB画像データから求められた積分値に基づいて露光補正量を決定する。CPU34はさらに、最適露光量を露光補正量によって補正して本露光量を求める。イメージセンサ16の本露光は、こうして求められた本露光量に従って実行される。
【効果】 本露光量の正確な制御が実現される。
【選択図】 図1

Description

この発明は、露光制御装置に関し、特にたとえば、電子カメラに適用され、撮像装置によって捉えられた被写界像に基づいて露光量を制御する、露光制御装置に関する。
従来のこの種の露光制御装置の一例が、特許文献1に開示されている。この従来技術は、任意の露光量で捉えられた被写体像からヒストグラムを生成し、生成されたヒストグラムに基づいて被写体像の特徴を検出し、そして検出された特徴に基づいて露光量を補正しようとするものである。補正された露光量を用いることで、白とびや黒つぶれのない被写体像を生成することができる。
特開2003−158673号公報[H04N 5/238,5/335,G03B 7/093,7/095,7/28]
しかし、CCDから出力される画像データがRGBデータであり、このRGBデータに基づくYデータからヒストグラムを生成する場合、ヒストグラムは被写体の色の影響を受ける。つまり、RGBデータのうち、Yデータに対する影響度が最も大きいデータはGデータであり、Yデータに対する影響度が最も小さいデータはRデータである。このため、たとえば赤色の物体をマクロ撮影した場合、Yデータすなわちヒストグラムは、実際の明るさよりも暗い値を示す。適正露出は暗いと誤判定した明るさに基づいて判定されるため、被写体像に白とびが現れてしまう。
それゆえに、この発明の主たる目的は、露光量を正確に制御することができる、露光制御装置を提供することである。
請求項1の発明に従う露光制御装置は、撮像装置によって捉えられかつ複数の色によって表現された被写界像に基づいて撮像面の露光量を制御する露光制御装置において、被写界像の明るさを判別して所定条件を満たす露光量を決定する第1決定手段、被写体像を表現する複数の色の色成分量に基づいて露光補正量を決定する第2決定手段、および第1決定手段によって決定された露光量を第2決定手段によって決定された露光補正量によって補正する補正手段を備えることを特徴とする、露光制御装置。
被写界像は、撮像装置によって捉えられかつ複数の色によって表現された像である。第1決定手段は、かかる被写界像の明るさを判別して所定条件を満たす露光量を決定し、第2決定手段は、かかる被写体像を表現する複数の色の色成分量に基づいて露光補正量を決定する。補正手段は、第1決定手段によって決定された露光量を第2決定手段によって決定された露光補正量によって補正する。こうして、撮像面の露光量が制御される。
被写界像の明るさの判別によって決定された露光量を被写界像を表現する複数の色の色成分量に基づいて決定された露光補正量によって補正することで、露光量の正確な制御が実現される。
請求項2の発明に従う露光制御装置は、請求項1に従属し、第1決定手段は、被写界像を表現する複数の色の色成分量に基づいて明るさを判別する第1判別手段を含む。かかる場合に、決定される露光量が最適値からずれる場合が生じる。
請求項3の発明に従う露光制御装置は、請求項1または2に従属し、複数の色は赤,緑および青を含み、第2決定手段は、赤の成分量,緑の成分量および青の成分量のうち赤の成分量を最も重視する。これによって、露光補正量を的確に決定することができる。
請求項4の発明に従う露光制御装置は、請求項1ないし3のいずれかに従属し、第2決定手段は、色成分量に基づいて複数の色にそれぞれ対応する複数の補正量を特定する特定手段、および特定手段によって特定された複数の補正量を互いに加算して露光補正量を求める加算手段を含む。これによって、複数の色について個別に補正量が特定され、露光補正量を正確に決定することができる。
請求項5の発明に従う露光制御装置は、請求項1ないし4のいずれかに従属し、第2決定手段は、第1決定手段によって決定された露光量に従う露光によって得られた被写界像に基づいて色成分量を判別する第2判別手段を含む。これによって、色成分量を正確に判別することができる。
請求項6の発明に従う露光制御装置は、請求項1ないし5のいずれかに従属し、補正手段は、露光補正量が決定された後に第1決定手段によって決定された露光量を露光補正量によって補正する。これによって、正確な露光制御が可能となる。
請求項7の発明に従うカメラは、請求項1ないし6のいずれかに記載の露光制御装置を備える。
この発明によれば、被写界像の明るさの判別によって決定された露光量を被写界像を表現する複数の色の色成分量に基づいて決定された露光補正量によって補正することで、露光量の正確な制御が実現される。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のディジタルカメラ(電子カメラ)10は、光学レンズ12および絞り部材14を含む。被写界の光学像は、これらの部材を通してイメージセンサ16の撮像面に照射される。イメージセンサ16の撮像面は、R(Red),G(Green)およびB(Blue)の色要素がモザイク状に配置された原色フィルタ(図示せず)によって覆われる。撮像面に形成された複数の受光素子(画素)は、原色フィルタを形成する複数の色要素にそれぞれ対応する。したがって、光電変換によって生成される複数の画素信号の各々は、R,BおよびBのいずれか1つの色情報を有する。
電源が投入されると、CPU34は、スルー画像処理を実行するべく、プリ露光および間引き読み出しの繰り返しをTG/SG(Timing Generator/Signal Generator)20に命令する。TG/SG20は、垂直同期信号および水平同期信号を周期的に発生し、かつこれらの同期信号に同期した複数のタイミング信号を発生する。一部のタイミング信号はイメージセンサ16に与えられ、他の一部はCDS/AGC/AD回路22に与えられる。
イメージセンサ16は、与えられたタイミング信号に従ってプリ露光および間引き読み出しを繰り返し施される。この結果、低解像度の生画像信号が周期的にイメージセンサ16から出力される。出力された生画像信号は、奇数ラインにR,G,R,G,…の色情報を有し、偶数ラインにG,B,G,B,…を有する。CDS/AGC/AD回路22は、イメージセンサ16から出力された生画像信号に相関2重サンプリング,自動利得調整およびA/D変換の一連の処理を施し、ディジタル信号である生画像データを出力する。
なお、イメージセンサ16,TG/SG20およびCDS/AGC/AD回路22によって撮像装置が形成される。
撮像装置から出力された生画像データは、信号処理回路24によって色分離,白バランス調整およびYUV変換の一連の処理を施される。信号処理回路24は、こうして生成されたYUV画像データをメモリ制御回路26を通してSDRAM28に書き込む。ビデオエンコーダ30は、SDRAM28に格納されたYUV画像データをメモリ制御回路26を通して読み出し、読み出されたYUV画像データをNTSC方式のコンポジットビデオ信号に変換する。変換されたコンポジットビデオ信号はLCDモニタ32に与えられ、この結果、被写界のリアルタイム動画像(スルー画像)が画面に表示される。
信号処理回路24は、図2に示すように構成される。CDS/AGC/AD回路22から出力された生画像データは、色分離回路24aで色分離を施される。これによって、各画素がR,GおよびBの全ての色情報を有するRGB画像データが得られる。RGB画像データのうち、G画像データはそのままYUV変換回路24dに与えられ、R画像データはアンプ24bで白バランス調整ゲインαを付与された後にYUV変換回路24dに与えられ、そしてB画像データはアンプ24cで白バランス調整ゲインβを付与された後にYUV変換回路24dに与えられる。
YUV変換回路24dは、こうして与えられたRGB画像データにマトリクス演算を施し、上述のYUV画像データを生成する。また、アンプ24dから出力されたR画像データは積分回路24eに与えられ、色分離回路24aから出力されたG画像データは積分回路24fに与えられ、そしてアンプ24cから出力されたB画像データは積分回路24gに与えられる。
図4を参照して、被写界は水平方向および垂直方向の各々において16分割され、合計256個の分割エリアが被写界上に分布する。各々の分割エリアには、水平位置番号i(i:0〜15)および垂直位置番号j(j:0〜15)が割り当てられる。積分回路24e,24fおよび24gはそれぞれ、R画像データ,G画像データおよびB画像データを分割エリア毎に積分し、積分値Ir(i,j),Ig(i,j)およびIb(i,j)を出力する。出力される積分値Ir(i,j),Ig(i,j)およびIb(i,j)は、垂直同期信号が発生する毎に所定の遅延時間をおいてリセットされる。したがって、積分値Ir(i,j),Ig(i,j)およびIb(i,j)は、1画面を形成する分割エリアの色評価値と定義できる。
シャッタボタン40が操作されない間、CPU34は、スルー画像用白バランス調整処理およびスルー画像用AE処理を繰り返し実行する。いずれの処理も、上述の積分値Ir(i,j),Ig(i,j)およびIb(i,j)に基づいて実行される。これによって、白バランス調整ゲインαおよびβと露光量とが繰り返し調整される。
シャッタボタン40が半押しされると、CPU34は、記録画像用白バランス調整処理および記録画像用AE処理を実行する。このときも、白バランス調整ゲインαおよびβならびに露光量は、上述の積分値Ir(i,j),Ig(i,j)およびIb(i,j)に基づいて調整される。
シャッタボタン40が全押しされると、CPU34は、撮影/記録処理を実行するべく、1回の本露光と1回の全画素読み出しとをTG/SG20に命令し、圧縮処理をJPEGコーデック42に命令する。
TG/SG20は、対応するタイミング信号を発生し、イメージセンサ16は、発生したタイミング信号に応答して本露光および全画素読み出しを施される。イメージセンサ16からは、高解像度を有する1フレームの生画像信号が出力される。この生画像信号もまた、奇数ラインにR,G,R,G,…の色情報を有し、偶数ラインにG,B,G,B,…の色情報を有する。
出力された生画像信号はCDS/AGC/AD回路22によって生画像データに変換され、生画像データは信号処理回路24によってYUV画像データに変換される。変換されたYUVデータは、メモリ制御回路26を通してSDRAM28に書き込まれる。JPEGコーデック42は、SDRAM28に格納されたYUV画像データをメモリ制御回路26を通して読み出し、読み出されたYUV画像データにJPEG圧縮を施し、そして圧縮画像データをメモリ制御回路26を通してSDRAM28に書き込む。
圧縮画像データがSDRAM28に確保されると、CPU34は、この圧縮画像データをメモリ制御回路26を通して読み出し、読み出された圧縮画像データを含む画像ファイルをI/F回路36を通して記録媒体38に記録する。
CPU34は、露光制御に関して、図6〜図8に示す露光制御タスクを実行する。CPU34はμITRONのようなマルチタスクOSを搭載したマルチタスクCPUであり、図示しない複数のタスクと並行して露光制御タスクを実行する。なお、このようなタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
まず図6を参照して、ステップS1では初期化処理を実行する。これによって、絞り量,露光時間,ならびに後述する閾値THr,THgおよびTHbが初期値に設定される。ステップS3では、シャッタボタン40が半押しされたか否かを判断する。判断結果がNOである限りステップS5におけるスルー画像用AE処理を繰り返し、判断結果がYESとなると記録画像用AE処理を実行するべくステップS7に進む。
ステップS7では垂直同期信号が発生したか否か判断し、YESであればステップS9で信号処理回路24から積分値Ir(i,j),Ig(i,j)およびIb(i,j)を取り込む(i,j:0〜15)。ステップS11では、取り込まれた積分値Ir(i,j),Ig(i,j)およびIb(i,j)に数1に従う演算を施し、積分値Iy(i,j)を求める。求められた積分値Iy(i,j)は、1画面を形成する分割エリアの輝度評価値と定義できる。
Figure 2005204095
ステップS13では、数1によって求められた256個の積分値Iy(i,j)に基づいて中央重点測光を実行し、最適露光量EVsを算出する。ステップS15では、最適露光量EVsを規定する露光時間および絞り量をTG/SG20およびドライバ18に設定する。これ以降は、最適露光量EVsに従うプリ露光が実行される。
ステップS15における露光設定の後に垂直同期信号が2回発生すると、ステップS17でYESと判断し、ステップS19で積分値Ir(i,j),Ig(i,j)およびIb(i,j)を再度取り込む(i,j:0〜15)。なお、ここで取り込まれる積分値Ir(i,j),Ig(i,j)およびIb(i,j)は、最適露光量EVsに従う最初のプリ露光によって得られたRGB画像データの積分値である。
ステップS21では積分値Ir(i,j)が閾値THrを上回る分割エリアの数であるエリア数Nrを特定し、ステップS23では積分値Ig(i,j)が閾値THgを上回る分割エリアの数であるエリア数Ngを特定し、そしてステップS25では積分値Ib(i,j)が閾値THbを上回る分割エリアの数であるエリア数Nbを特定する。
ステップS27では特定されたエリア数Nrとレジスタ34rとを参照して補正係数ΔEVrを算出し、ステップS29では特定されたエリア数Ngとレジスタ34rとを参照して補正係数ΔEVgを算出し、ステップS31では特定されたエリア数Nbとレジスタ34rとを参照して補正係数ΔEVbを算出する。
図3を参照して、レジスタ34rには、色占有率について“90%”,“80%”,“70%”,“60%”および“50%以下”の項目が設けられ、これらの項目の各々に補正係数ΔEVr,ΔEVgおよびΔEVbが割り当てられる。各項目に割り当てられた補正係数ΔEVr,ΔEVgおよびΔEVbに注目すると、“50%以下”の項目を除き、補正係数ΔEVrの絶対値が最も大きい。これは、R,GおよびBのうちRが最も重視されていることを意味する。
ステップS27では、エリア数Nrのパーセンテージ(=Nr/256*100)に対応する補正係数ΔEVrを線形補間によって求める。また、ステップS29では、エリア数Ngのパーセンテージ(=Ng/256*100)に対応する補正係数ΔEVgを線形補間によって求める。さらに、ステップS31では、エリア数Nbのパーセンテージ(=Nb/256*100)に対応する補正係数ΔEVbを線形補間によって求める。
ステップS33では、数2に従って補正量ΔEVを算出する。
Figure 2005204095
たとえば、図5に示す被写界を撮影したときにエリア数Nr,NgおよびNbのパーセンテージがそれぞれ75%,10%および15%とされれば、補正係数ΔEVr,ΔEVgおよびΔEVbはそれぞれ“−0.6EV”,“0.0EV”および“0.0EV”に決定される。数2の演算によって、補正量ΔEVは“−0.6EV”となる。なお、閾値THr,THgおよびTHbの数値によっては、エリア数Nr,NgおよびNbのパーセンテージの合計が100%を上回り得る。
ステップS35〜S41では、上述のステップS7〜S13と同様の処理を実行する。こうして最適露光量EVsが求められると、ステップS43で数3に従って補正露光量EVcを算出する。
Figure 2005204095
ステップS45では、算出された補正露光量EVcを規定する絞り量および露光時間をドライバ18およびTG/SG20にそれぞれ設定する。設定が完了すると、シャッタボタン40の操作状態をステップS47およびS49で判別する。シャッタボタン40が全押しされたときは、ステップS47でYESと判断し、ステップS51で撮影/記録処理に要する期間待機してからステップS1に戻る。一方、シャッタボタン40の操作が解除されたときは、ステップS49でYESと判断し、直接ステップS1に戻る。
以上の説明から分かるように、色分離回路24aあるいはアンプ24bおよび24cから出力されるRGB画像データは、イメージセンサ16によって撮影された被写界に対応する画像データである。CPU34は、かかるRGB画像データから被写界の明るさを判別し、最適露光量EVsを決定(S9〜S13)する。CPU34はまた、RGB画像データから求められた積分値Ir(i,j),Ig(i,j)およびIb(i,j)に基づいて補正量ΔEVを決定する(S19〜S33)。CPU34はさらに、最適露光量EVsを補正量ΔEVによって補正して本露光量EVcを求める(S43)。これによって、本露光量の正確な制御が実現される。
なお、この実施例では、中央重点測光によって最適露光量EVsを求めているが、中央重点測光に代えて平均測光やスポット測光を採用するようにしてもよい。
また、この実施例では3原色の色要素がモザイク状に配置された原色フィルタを用いているが、3原色を含む4色以上の色要素がモザイク状に配置された色フィルタや、Ye(Yellow),Cy(Cyan),Mg(Magenta)およびG(Green)の色要素がモザイク状に配置された色フィルタを採用するようにしてもよい。
さらに、この実施例では単一のイメージセンサを用いているが、各々が互いに異なる色のフィルタによって覆われた複数のイメージセンサによって被写界を撮影するようにしてもよい。
また、この実施例では最適露光量EVsを複数回にわたって算出するようにしているが、最適露光量EVsの算出は1回だけでもよい。
さらに、この実施例はディジタルカメラを用いて説明しているが、この発明は、イメージセンサを用いて露光を制御し、銀塩フィルムによって被写界を撮影する銀塩フィルムカメラにも適用することができる。
この発明の一実施例を示すブロック図である。 図1実施例に適用される信号処理回路の一例を示すブロック図である。 図1実施例に適用されるレジスタによって保持されたデータの一例を示す図解図である。 被写界に割り当てられた複数の分割エリアのマッピング状態の一例を示す図解図である。 被写界の一例を示す図解図である。 図1実施例の動作の一部を示すフロー図である。 図1実施例の動作の他の一部を示すフロー図である。 図1実施例の動作のその他の一部を示すフロー図である。
符号の説明
10… ディジタルカメラ
14… 絞り部材
16… イメージセンサ
18… ドライバ
20… TG/SG
24… 信号処理回路
34… CPU

Claims (7)

  1. 撮像装置によって捉えられかつ複数の色によって表現された被写界像に基づいて撮像面の露光量を制御する露光制御装置において、
    前記被写界像の明るさを判別して所定条件を満たす露光量を決定する第1決定手段、
    前記被写体像を表現する前記複数の色の色成分量に基づいて露光補正量を決定する第2決定手段、および
    前記第1決定手段によって決定された露光量を前記第2決定手段によって決定された露光補正量によって補正する補正手段を備えることを特徴とする、露光制御装置。
  2. 前記第1決定手段は、前記被写界像を表現する前記複数の色の色成分量に基づいて前記明るさを判別する第1判別手段を含む、請求項1記載の露光制御装置。
  3. 前記複数の色は赤,緑および青を含み、
    前記第2決定手段は、前記赤の成分量,前記緑の成分量および前記青の成分量のうち前記赤の成分量を最も重視する、請求項1または2記載の露光制御装置。
  4. 前記第2決定手段は、前記色成分量に基づいて前記複数の色にそれぞれ対応する複数の補正量を特定する特定手段、および前記特定手段によって特定された複数の補正量を互いに加算して前記露光補正量を求める加算手段を含む、請求項1ないし3のいずれかに記載の露光制御装置。
  5. 前記第2決定手段は、前記第1決定手段によって決定された露光量に従う露光によって得られた被写界像に基づいて前記色成分量を判別する第2判別手段を含む、請求項1ないし4のいずれかに記載の露光制御装置。
  6. 前記補正手段は、前記露光補正量が決定された後に前記第1決定手段によって決定された露光量を前記露光補正量によって補正する、請求項1ないし5のいずれかに記載の露光制御装置。
  7. 請求項1ないし6のいずれかに記載の露光制御装置を備える、カメラ。
JP2004008629A 2004-01-16 2004-01-16 露光制御装置 Expired - Fee Related JP4353813B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004008629A JP4353813B2 (ja) 2004-01-16 2004-01-16 露光制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004008629A JP4353813B2 (ja) 2004-01-16 2004-01-16 露光制御装置

Publications (2)

Publication Number Publication Date
JP2005204095A true JP2005204095A (ja) 2005-07-28
JP4353813B2 JP4353813B2 (ja) 2009-10-28

Family

ID=34821892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004008629A Expired - Fee Related JP4353813B2 (ja) 2004-01-16 2004-01-16 露光制御装置

Country Status (1)

Country Link
JP (1) JP4353813B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102791A (zh) * 2017-03-31 2017-08-29 广州酷狗计算机科技有限公司 控件换色方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102791A (zh) * 2017-03-31 2017-08-29 广州酷狗计算机科技有限公司 控件换色方法及装置
CN107102791B (zh) * 2017-03-31 2020-01-14 广州酷狗计算机科技有限公司 控件换色方法及装置

Also Published As

Publication number Publication date
JP4353813B2 (ja) 2009-10-28

Similar Documents

Publication Publication Date Title
TWI524709B (zh) 影像擷取設備、影像擷取設備之控制方法及電子裝置
KR101303410B1 (ko) 촬상장치 및 촬상방법
JP6521776B2 (ja) 画像処理装置、画像処理方法
JP2001103366A (ja) カメラ
JP5343588B2 (ja) 撮像装置
JP2010147786A (ja) 撮像装置及び画像処理方法
JP2009010616A (ja) 撮像装置および画像出力制御方法
JP5199736B2 (ja) 画像撮像装置
US7876366B2 (en) Electronic camera
US8339473B2 (en) Video camera with flicker prevention
JP2008271024A (ja) 画像処理装置および方法並びにプログラム
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
JP5569361B2 (ja) 撮像装置およびホワイトバランス制御方法
US9912873B2 (en) Image pickup apparatus equipped with display section and method of controlling the same
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2008017198A (ja) 光源色算出装置、光源色算出方法及び撮影装置
JP4353813B2 (ja) 露光制御装置
US20110292249A1 (en) Electronic camera
JP2005269339A (ja) 広ダイナミックレンジ固体撮像素子の色シェーディング補正方法および固体撮像装置
US7570289B2 (en) Electronic camera having a clamp circuit and performing a clamping process on an image signal
JP4666265B2 (ja) 像振れ補正装置及びその補正方法
JP6900577B2 (ja) 画像処理装置及びプログラム
JP5043178B2 (ja) 像振れ補正装置及びその補正方法
JP2007243769A (ja) カメラ
JP2006148645A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees