JP2007104463A - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP2007104463A
JP2007104463A JP2005293396A JP2005293396A JP2007104463A JP 2007104463 A JP2007104463 A JP 2007104463A JP 2005293396 A JP2005293396 A JP 2005293396A JP 2005293396 A JP2005293396 A JP 2005293396A JP 2007104463 A JP2007104463 A JP 2007104463A
Authority
JP
Japan
Prior art keywords
area
image area
black image
black
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005293396A
Other languages
English (en)
Other versions
JP4761912B2 (ja
Inventor
Michihiro Yamamoto
倫裕 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2005293396A priority Critical patent/JP4761912B2/ja
Publication of JP2007104463A publication Critical patent/JP2007104463A/ja
Application granted granted Critical
Publication of JP4761912B2 publication Critical patent/JP4761912B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【構成】被写界は、CCDイメージャ18によって捉えられる。TG42は、CCDイメージャ18によって捉えられた被写界に対応する電荷を撮像面のラスタ走査によって読み出す。読み出された電荷に基づく生画像信号は、特定タイミングでクランプ回路44によってクランプされる。撮像面は、各々が黒画像に対応する光学的黒エリアおよびダミーエリアと、被写界像に対応する有効画素エリアとを有する。また、光学的黒エリアおよびダミーエリアは、ラスタ走査方向において互いに隣接する。さらに、撮像面で発生する暗電流の量は、光学的黒エリア,有効画素エリアおよびダミーエリアの順で減少する。さらにまた、特定タイミングは、ラスタ走査方向において光学的黒エリアおよびダミーエリアを跨ぐタイミングである。
【効果】生画像信号を形成する被写界像成分の歪みを防止することができる。
【選択図】図1

Description

この発明は、電子カメラに関し、特にたとえば被写界を表す画像信号の基準レベルを調整する、電子カメラに関する。
従来のこの種の回路の一例が、特許文献1に開示されている。この従来技術によれば、第1のクランプ回路はダミービット期間にクランプ処理を実行し、第2のクランプ回路は光学的黒期間にクランプ処理を実行する。つまり、ダミービットレベルは必ずしも光学的黒レベルと一致しないため、第1のクランプ回路で大まかなクランプ処理が実行され、続いて第2のクランプ回路で正確なクランプ処理が実行される。
特開2000−333077号公報[H04N 5/243, 5/16, 5/335]
しかし、CCDイメージャで発生する暗電流の量は、有効画素エリアと光学的黒エリアとで異なる。有効画素エリアで発生する暗電流の量が光学的黒エリアで発生する暗電流の量よりも少ないと、画像信号を形成する被写界像成分が光学的黒エリアに注目するクランプ処理によって歪むおそれがある。
それゆえに、この発明の主たる目的は、画像信号を形成する被写界像成分の歪みを防止することができる、電子カメラを提供することである。
請求項1の発明に従う画像信号処理回路(10)は、被写界を捉える撮像手段(18)、撮像手段によって捉えられた被写界に対応する電荷を撮像面のラスタ走査によって読み出す読み出し手段(16b)、および読み出し手段によって読み出された電荷に基づく画像信号を特定タイミングでクランプするクランプ手段(44)を備え、撮像面は各々が黒画像に対応する第1黒画像エリアおよび第2黒画像エリアと被写界像に対応する被写界像エリアとを有し、第1黒画像エリアおよび第2黒画像エリアはラスタ走査方向において互いに隣接し、撮像面で発生する暗電流の量は第1黒画像エリア,被写界像エリアおよび第2黒画像エリアの順で減少し、特定タイミングはラスタ走査方向において第1黒画像エリアおよび第2黒画像エリアを跨ぐタイミングである。
被写界は、撮像手段によって捉えられる。読み出し手段は、撮像手段によって捉えられた被写界に対応する電荷を撮像面のラスタ走査によって読み出す。読み出された電荷に基づく画像信号は、特定タイミングでクランプ手段によってクランプされる。
ここで、撮像面は、各々が黒画像に対応する第1黒画像エリアおよび第2黒画像エリアと、被写界像に対応する被写界像エリアとを有する。また、第1黒画像エリアおよび第2黒画像エリアは、ラスタ走査方向において互いに隣接する。さらに、撮像面で発生する暗電流の量は、第1黒画像エリア,被写界像エリアおよび第2黒画像エリアの順で減少する。さらにまた、特定タイミングは、ラスタ走査方向において第1黒画像エリアおよび第2黒画像エリアを跨ぐタイミングである。
このように、撮像手段から読み出された電荷に基づく画像信号は、撮像面で発生する暗電流の量が第1黒画像エリア,被写界像エリアおよび第2黒画像エリアの順で減少することを前提として、第1黒画像エリアおよび第2黒画像エリアを跨ぐタイミングでクランプされる。画像信号の基準レベルは被写界像成分に適するレベルに合わせられ、被写界像成分の歪みが防止される。
請求項2の発明に従う電子カメラは、請求項1に従属し、クランプ手段は、特定タイミングに対応する特定画像信号と閾値との差分を検出する検出手段(SW1, 36)、および検出手段によって検出された差分信号を平滑する平滑手段(38)を含む。平滑されたレベルは、第1黒画像エリアにおける暗電流の発生量と第2黒画像エリアにおける暗電流の発生量との平均に対応する。
請求項3の発明に従う電子カメラは、請求項2に従属し、クランプ手段は平滑手段の出力を画像信号に加算する加算手段(26)をさらに含む。
請求項4の発明に従う電子カメラは、請求項1ないし3のいずれかに従属し、撮像面は第1黒画像エリアおよび被写界像エリアに割り当てられる複数の電荷転送路(18b)をさらに有する。
請求項5の発明に従う電子カメラは、請求項1ないし4のいずれかに従属し、第1黒画像エリアは遮光材で覆われた複数の受光素子(18a)が存在する光学的黒エリアであり、第2黒画像エリアは受光素子が存在しないダミーエリアである。
請求項6の発明に従う電子カメラは、請求項1ないし5のいずれかに従属し、読み出し手段によって読み出された電荷に基づく画像信号をクランプ手段の処理に先立って増幅する増幅手段(24)をさらに備える。
この発明によれば、撮像手段から読み出された電荷に基づく画像信号は、撮像面で発生する暗電流の量が第1黒画像エリア,被写界像エリアおよび第2黒画像エリアの順で減少することを前提として、第1黒画像エリアおよび第2黒画像エリアを跨ぐタイミングでクランプされる。画像信号の基準レベルは被写界像成分に適するレベルに合わせられ、被写界像成分の歪みが防止される。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例のディジタルカメラ10は、光学レンズ12を含む。被写界の光学像は、光学レンズ12を介してCCDイメージャ18の撮像面に照射される。光学特性上、撮像面に照射された光学像は上下方向において反転する。
シャッタボタン52が操作されると、CPU50は、被写界の明るさを測定し、測定結果に基づいて最適露光期間および最適ゲインを決定する。CPU50は、決定された最適露光期間に従う本露光とこの本露光によって生成された全ての電荷の読み出しとをドライバ16bに命令し、さらに本露光が完了するタイミングでのシャッタ機構14の駆動をドライバ16aに命令する。
CPU50はまた、最適ゲインをAGC回路24に設定し、この最適ゲインの値に応じてセレクタ30の設定を変更する。セレクタ30は、最適ゲインが閾値以下である低ゲインのときクランプパルス発生回路32aを選択し、最適ゲインが閾値を上回る高ゲインのときクランプパルス発生回路32bを選択する。
ドライバ16bは、TG(Timing Generator)42から出力されたタイミング信号に応答して、CCDイメージャ18に本露光を施し、かつ本露光によって生成された全ての電荷を読み出す。この実施例のCCDイメージャ18はインタレース走査型であり、本露光によって生成された1フレームの生画像信号は複数フィールドに分けてCCDイメージャ18から読み出される。シャッタ機構14は本露光が完了した時点でドライバ16aによって駆動され、これによってCCDイメージャ18への入射光が遮られる。
図2を参照して、CCDイメージャ18は、撮像面に平面状に配列された複数の受光素子18a,18a,…と、複数の受光素子列にそれぞれ割り当てられた複数の垂直転送レジスタ18b,18b,…と、複数の垂直転送レジスタ18b,18b,…の終端に設けられた水平転送レジスタ18cとを有する。
図3を参照して、撮像面は、有効画素エリア,光学的黒エリアおよびダミーエリアを有する。有効画素エリアは光学的黒エリアによって囲まれ、ダミーエリアはラスタ走査方向において光学的黒エリアに隣接する。図2に示す受光素子18a,18a,…および垂直転送レジスタ18b,18b,…は、有効画素エリアおよび光学的黒エリアの上に形成される。
ただし、有効画素エリア上の受光素子18aは被写界の光学像を受けるべく露出するものの、光学的黒エリア上の受光素子18aは図示しない遮光材によって覆われる。ダミーエリア上には、受光素子18aおよび垂直転送レジスタ18bのいずれも存在しない。したがって、有効画素エリアは“被写界像エリア”と定義することができ、光学的黒エリアおよびダミーエリアの各々は“黒画像エリア”と定義することができる。
クランプエリア1は、光学的黒エリアに属するように撮像面に割り当てられる。クランプエリア2は、ラスタ走査方向においてダミーエリアおよび光学的黒エリアを跨ぐように、撮像面に割り当てられる。クランプエリア3は、ダミーエリアに属するように撮像面に割り当てられる。
各々の受光素子18aで生成された電荷は、垂直転送レジスタ18bに読み出され、水平転送レジスタ18cに向けて転送される。水平転送レジスタ18cに到達した電荷は、その後、図示しないセンサゲートを介して出力される。
出力される電荷は、垂直転送レジスタ18bで発生した暗電流に相当する成分を含む。暗電流成分の量は、垂直転送の距離が長いほど増大する。したがって、水平転送レジスタ18cから離れた受光素子18aに対応する電荷ほど、多くの暗電流成分を含む。また、この実施例では、光学的黒エリアで発生する暗電流量は、有効画素エリアで発生する暗電流量よりも多い。
図1に戻って、クランプ回路20は、TG42からのタイミング信号に基づいて、クランプエリア3に対応する期間にクランプ処理を実行する。CCDイメージャ18から出力された各ラインの生画像信号の基準レベルは、ダミーエリアに対応する黒レベルに固定される。
クランプ回路20から出力された生画像信号は、CDS回路22およびAGC回路24で相関2重サンプリングおよび自動ゲイン調整を施される。CDS回路22およびAGC回路24のいずれの処理も、TG42から出力されたタイミング信号に応答して実行される。AGC回路24からは、CPU50によって決定された最適ゲインを有する生画像信号が出力される。
上述のように、暗電流量は垂直転送の距離が長いほど増大し、かつ光学的黒エリアで発生する暗電流量は有効画素エリアで発生する暗電流量よりも多い。このため、低ゲインがAGC回路24に設定された場合、AGC回路24から出力される生画像信号は、たとえば図5に示す特性を示す。一方、高ゲインがAGC回路24に設定された場合、AGC回路24から出力される生画像信号は、たとえば図7に示す特性を示す。
クランプ回路44を形成する加算器26は、AGC回路24から出力された生画像信号とD/A変換器40から出力されたオフセット信号とを互いに加算し、A/D変換器28は、加算器26から出力された生画像信号をディジタル信号である生画像データに変換する。A/D変換器28では、ディジタル信号への変換と同時にクリップ処理が実行される。クリップレベルは、ダミークランプレベルから所定値だけ下回る。A/D変換器28から出力される生画像データは、クリップレベル以上の生画像信号に対応するデータとなる。
クランプパルス発生回路32aは、TG42から出力されるタイミング信号に基づいて、図4(B)に示すクランプパルスP1を発生する。クランプパルス発生回路32bは、TG42から出力されるタイミング信号に基づいて、図4(C)に示すクランプパルスP2を発生する。
図3に示す撮像面を垂直方向中央で水平方向に眺めると、有効画素エリア,光学的黒エリア,ダミーエリア,クランプエリア1および2は、図4(A)に示すように分布する。これより、クランプパルスP1がクランプエリア1に対応するタイミングでハイレベルとなり、クランプパルス2がクランプエリア2に対応するタイミングでハイレベルとなることが分かる。
クランプパルスP1は、高ゲインがAGC回路24に設定されたとき、セレクタ30を介してスイッチSW1に与えられる。クランプパルスP2は、低ゲインがAGC回路24に設定されたとき、セレクタ30を介してスイッチSW1に与えられる。スイッチSW1は、与えられたクランプパルスがハイレベルのときオン状態となり、与えられたクランプパルスがローレベルのときオフ状態となる。
クランプパルスP1が選択されたときは、A/D変換器28から出力される各ライン生画像データのうち、クランプエリア1に対応する黒レベルデータがスイッチSW1から出力される。クランプパルスP2が選択されたときは、A/D変換器28から出力される生画像データのうち、クランプエリア2に対応する黒レベルデータがスイッチSW1から出力される。
スイッチSW1から出力された黒レベルデータは、演算器36のマイナス入力端子に与えられる。一方、クランプレベル設定回路34は、クランプレベルデータを演算器36のプラス入力端子に与える。クランプレベルデータは、上述のダミークランプレベルに相当するデータ値を有する。演算器36は、かかるクランプレベルデータから黒レベルデータを減算し、これによって得られた減算データをLPF38に向けて出力する。
LPF38は、演算器36からの減算データを平滑してオフセットデータを生成する。生成されたオフセットデータは、D/A変換器38によってアナログ信号であるオフセット信号に変換される。加算器26は、こうして求められたオフセット信号をAGC回路24からの生画像信号に加算する。
図5に示す特性を有する生画像信号がAGC回路24から出力されたときは、光学的黒エリアに注目するクランプ処理が実行される。加算器26からは、図6に示す特性を有する生画像信号が出力される。一方、図7に示す特性を有する生画像信号がAGC回路24から出力されたときは、光学的黒エリアおよびダミーエリアに注目するクランプ処理が実行される。加算器26からは、図8に示す特性を有する生画像信号が出力される。このような生画像信号がA/D変換器28によって生画像データに変換されても、有効画素エリアに対応する被写界像成分がクリップ処理によって削られることはない。
信号処理回路46は、かかるクランプ処理を施された生画像データをA/D変換器28から取り込み、色分離,白バランス調整,YUV変換,JPEG圧縮の一連の処理を施す。これによって得られた圧縮画像データは、ファイル形式で記録媒体48に記録される。
以上の説明から分かるように、被写界は、CCDイメージャ18によって捉えられる。TG42は、CCDイメージャ18によって捉えられた被写界に対応する電荷を撮像面のラスタ走査によって読み出す。読み出された電荷に基づく生画像信号は、高ゲインがAGC回路24に設定されたとき、クランプパルスP2によって規定されるタイミングでクランプ回路44によってクランプされる。
ここで、撮像面は、各々が黒画像に対応する光学的黒エリアおよびダミーエリアと、被写界像に対応する有効画素エリアとを有する。また、光学的黒エリアおよびダミーエリアは、ラスタ走査方向において互いに隣接する。さらに、撮像面で発生する暗電流の量は、光学的黒エリア,有効画素エリアおよびダミーエリアの順で減少する。さらにまた、クランプパルスP2によって規定されるタイミングは、ラスタ走査方向において光学的黒エリアおよびダミーエリアを跨ぐタイミングである。
このように、CCDイメージャ18から読み出された電荷に基づく生画像信号は、撮像面で発生する暗電流の量が光学的黒エリア,有効画素エリアおよびダミーエリアの順で減少することを前提として、光学的黒エリアおよびダミーエリアを跨ぐタイミングでクランプされる。生画像信号の基準レベルは被写界像成分に適するレベルに合わせられ、これによって被写界像成分の歪みが防止される。
なお、この実施例では、CCDイメージャ18から出力された生画像信号は、クランプ回路20においてダミーエリアに注目したクランプ処理を施される。しかし、クランプ回路20にセレクタ30で選択されたクランプパルスを与え、光学的黒エリアのみに注目したクランプ処理または光学的黒エリアおよびダミーエリアの両方に注目したクランプ処理をクランプ回路20に実行させるようにしてもよい。
この発明の一実施例の構成を示すブロック図である。 図1実施例に適用されるCCDイメージャが有する撮像面のマッピング状態の一例を示す図解図である。 図1実施例に適用されるCCDイメージャが有する撮像面の構造の一例を示す図解図である。 (A)は図2に示す撮像面の水平方向におけるエリア区分の一例を示す図解図であり、(B)はクランプパルスP1の一例を示す波形図であり、(C)はクランプパルスP2の一例を示す波形図であり、(D)は生画像信号の一例を示す波形図である。 低ゲインで増幅された生画像信号の特性の一例を示すグラフである。 低ゲインで増幅されかつ光学的黒エリアに注目してクランプされた生画像信号の特性の一例を示すグラフである。 高ゲインで増幅された生画像信号の特性の一例を示すグラフである。 高ゲインで増幅されかつ光学的黒エリアおよびダミーエリアに注目してクランプされた生画像信号の特性の一例を示すグラフである。
符号の説明
10 …ディジタルカメラ
18 …イメージセンサ
20,44 …クランプ回路
26 …加算器
32a,32b …クランプパルス発生回路
30 …セレクタ
34 …クランプレベル設定回路
36 …演算器
38 …LPF

Claims (6)

  1. 被写界を捉える撮像手段、
    前記撮像手段によって捉えられた被写界に対応する電荷を撮像面のラスタ走査によって読み出す読み出し手段、および
    前記読み出し手段によって読み出された電荷に基づく画像信号を特定タイミングでクランプするクランプ手段を備え、
    前記撮像面は各々が黒画像に対応する第1黒画像エリアおよび第2黒画像エリアと被写界像に対応する被写界像エリアとを有し、
    前記第1黒画像エリアおよび前記第2黒画像エリアはラスタ走査方向において互いに隣接し、
    前記撮像面で発生する暗電流の量は前記第1黒画像エリア,前記被写界像エリアおよび前記第2黒画像エリアの順で減少し、
    前記特定タイミングは前記ラスタ走査方向において前記第1黒画像エリアおよび前記第2黒画像エリアを跨ぐタイミングである、電子カメラ。
  2. 前記クランプ手段は、前記特定タイミングに対応する特定画像信号と閾値との差分を検出する検出手段、および前記検出手段によって検出された差分信号を平滑する平滑手段を含む、請求項1記載の電子カメラ。
  3. 前記クランプ手段は前記平滑手段の出力を前記画像信号に加算する加算手段をさらに含む、請求項2記載の電子カメラ。
  4. 前記撮像面は前記第1黒画像エリアおよび前記被写界像エリアに割り当てられる複数の電荷転送路をさらに有する、請求項1ないし3のいずれかに記載の電子カメラ。
  5. 前記第1黒画像エリアは遮光材で覆われた複数の受光素子が存在する光学的黒エリアであり、前記第2黒画像エリアは受光素子が存在しないダミーエリアである、請求項1ないし4のいずれかに記載の電子カメラ。
  6. 前記読み出し手段によって読み出された電荷に基づく画像信号を前記クランプ手段の処理に先立って増幅する増幅手段をさらに備える、請求項1ないし5のいずれかに記載の電子カメラ。
JP2005293396A 2005-10-06 2005-10-06 電子カメラ Expired - Fee Related JP4761912B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005293396A JP4761912B2 (ja) 2005-10-06 2005-10-06 電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005293396A JP4761912B2 (ja) 2005-10-06 2005-10-06 電子カメラ

Publications (2)

Publication Number Publication Date
JP2007104463A true JP2007104463A (ja) 2007-04-19
JP4761912B2 JP4761912B2 (ja) 2011-08-31

Family

ID=38030935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005293396A Expired - Fee Related JP4761912B2 (ja) 2005-10-06 2005-10-06 電子カメラ

Country Status (1)

Country Link
JP (1) JP4761912B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065642A (ja) * 2007-08-09 2009-03-26 Canon Inc 撮像装置
US8330837B2 (en) 2009-07-24 2012-12-11 Sanyo Electric Co., Ltd. Electronic camera which clamps image signal outputted ROM imager

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134400A (ja) * 2001-08-02 2003-05-09 Canon Inc 固体撮像装置及び固体撮像システム
JP2004312551A (ja) * 2003-04-09 2004-11-04 Sanyo Electric Co Ltd 画像信号処理装置
JP2005175930A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像装置及びその信号処理方法と撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134400A (ja) * 2001-08-02 2003-05-09 Canon Inc 固体撮像装置及び固体撮像システム
JP2004312551A (ja) * 2003-04-09 2004-11-04 Sanyo Electric Co Ltd 画像信号処理装置
JP2005175930A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像装置及びその信号処理方法と撮像システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065642A (ja) * 2007-08-09 2009-03-26 Canon Inc 撮像装置
US8330837B2 (en) 2009-07-24 2012-12-11 Sanyo Electric Co., Ltd. Electronic camera which clamps image signal outputted ROM imager

Also Published As

Publication number Publication date
JP4761912B2 (ja) 2011-08-31

Similar Documents

Publication Publication Date Title
JP4773179B2 (ja) 撮像装置
JP6019964B2 (ja) 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
US20080192131A1 (en) Image pickup apparatus and method for extending dynamic range thereof
US7907193B2 (en) Image capturing apparatus
JP2007288131A (ja) 固体撮像素子、固体撮像装置およびその駆動方法
US9407842B2 (en) Image pickup apparatus and image pickup method for preventing degradation of image quality
US8269863B2 (en) Solid-state image pickup device and image pickup apparatus
JP4346289B2 (ja) 撮像装置
JP2008109264A5 (ja)
JP2007174032A (ja) 撮像装置
JP4761912B2 (ja) 電子カメラ
JP2005176115A (ja) 撮像装置
JP2005326621A (ja) 撮像装置、オートフォーカス装置並びにオートフォーカス方法
JP4529563B2 (ja) 偽信号抑制処理方法および偽信号抑制処理回路並びに撮像装置
JP2007214772A (ja) 画像信号処理装置
JP2006121165A (ja) 撮像装置、画像形成方法
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP3938098B2 (ja) 補正装置、及び撮像装置
JP2008034902A (ja) 電子カメラ
JP4824467B2 (ja) 固体撮像装置
US8330837B2 (en) Electronic camera which clamps image signal outputted ROM imager
JP4236603B2 (ja) 電子カメラ
JP2008091437A (ja) 固体撮像装置
JP2010014741A (ja) オートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラム
JP3938097B2 (ja) 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees