JP2003069897A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP2003069897A
JP2003069897A JP2001251680A JP2001251680A JP2003069897A JP 2003069897 A JP2003069897 A JP 2003069897A JP 2001251680 A JP2001251680 A JP 2001251680A JP 2001251680 A JP2001251680 A JP 2001251680A JP 2003069897 A JP2003069897 A JP 2003069897A
Authority
JP
Japan
Prior art keywords
image
image pickup
exposure
unit
addition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001251680A
Other languages
English (en)
Other versions
JP4503892B2 (ja
Inventor
Junzo Sakurai
順三 桜井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2001251680A priority Critical patent/JP4503892B2/ja
Publication of JP2003069897A publication Critical patent/JP2003069897A/ja
Application granted granted Critical
Publication of JP4503892B2 publication Critical patent/JP4503892B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 長時間露光途中の加算された画像を適当なタ
イミングごとに表示することが可能な撮像装置を提供す
ること。 【解決手段】 二次元的に画素が配列された撮像素子1
2と、前記撮像素子を所定の露光時間で複数回露光する
ように制御して、被写体を撮像する露光制御手段40
と、前記露光制御手段に基づいて撮像された前記被写体
の画像信号を加算する加算手段40と、前記加算手段に
より加算された画像信号を所定のタイミングで表示する
表示手段(30、31)とを備えた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は撮像装置に関する。
【0002】
【従来の技術】被写体をCCDなどの撮像素子で撮像す
るとき、被写体が暗く長時間の間露光をしないと適正露
光量が得られない場合がある。このような場合、画像信
号に撮像素子の固定パターンノイズやランダムノイズが
重畳し、画像のS/N比が低下する。この問題を解決す
るために、複数フレームの画像を短い時間ごとに所定時
間撮像し、それらの撮像された複数の画像信号を加算す
ることにより、S/N比が良く、実質的に長時間露光
(以下、単に「長時間露光」と称する)の撮像を行うことが
可能な技術が、例えば、特開平9−37144号公報や
特開平11−261880号公報に開示されている。
【0003】しかしながら、上記従来の技術において
も、数十秒にわたるような長時間露光をし場合であっ
て、被写体が暗すぎるためにS/N比が悪く所望の画像
が得られないことがあった。このような場合において
も、上記従来技術においては、長時間の露光が終了した
後に所望の画像が得られているかどうかを表示装置で確
認するまで、待たなければならないといった問題があっ
た。
【0004】
【発明が解決しようとする課題】本発明は、上記のよう
な従来技術の問題点を考慮し、長時間露光途中の加算さ
れた画像を適当なタイミングごとに表示することが可能
な撮像装置を提供することを目的とする。
【0005】
【課題を解決するための手段】本発明は、上記の課題を
解決するために次のような手段を講じた。
【0006】本発明に係る撮像装置は、二次元的に画素
が配列された撮像素子と、前記撮像素子を所定の露光時
間で複数回露光するように制御して、被写体を撮像する
露光制御手段と、前記露光制御手段に基づいて撮像され
た前記被写体の画像信号を加算する加算手段と、前記加
算手段により加算された画像信号を所定のタイミングで
表示する表示手段とを備えたことを特徴とする。
【0007】上記の撮像装置の好ましい実施態様は以下
のとおりである。なお、以下の各実施態様は、単独で適
用しても良いし、適宜組み合わせて適用しても良い。 (1) 撮影中は、撮影中である旨の表示をする手段を
更に備えたこと。 (2) 前記表示手段は、撮像素子から読み出された画
像信号における所定画素を中心としたその周辺の所定数
の画素信号を合成して得られた画像信号を表示し、前記
加算手段による加算回数が増えるにつれて合成する画素
数を少なくしていくこと。 (3) 前記加算手段の加算回数に応じた増幅率で前記
加算手段の出力信号を増幅する増幅手段を更に備え、前
記表示手段は前記増幅手段により増幅された画像信号を
表示すること。
【0008】
【発明の実施の形態】図面を参照して本発明の一実施形
態を説明する。図1は、本発明に係る電子カメラの概略
ブロック図である。
【0009】図1において、レンズ群11を通過した被
写体の光学像は、CCD等の撮像素子12で電気信号に
変換され、撮像回路13でアナログ画像信号に変換され
る。このアナログ画像信号はA/D変換器14でデジタ
ル画像信号(以下、「画像情報」とも称する)に変換さ
れて、一旦、揮発性の内蔵メモリ25に記憶される。こ
の内蔵メモリ25は、高速な、例えばSDRAM(Sy
nchronousDynamic Random A
ccess Memory)であり、後述する画像処理
用のワークエリアとしても使用される。
【0010】画像処理回路21は、内蔵メモリ25に一
時記憶された画像情報の色情報の変換処理、画素数変換
などの処理を行う。そして、画像処理回路21でのさま
ざまな画像処理を受けた画像情報は、圧縮伸長部22で
例えばJPEG圧縮されて、スマートメディア等の着脱
メモリ20に記録される。
【0011】また、撮影画像を表示する場合には、画像
処理後の画像情報は、LCDドライバ31を経由して、
画像表示用LCD30に表示される。
【0012】着脱メモリ20に記録された画像を表示す
る場合には、着脱メモリ20から読み出された画像情報
は圧縮伸長部22で伸長されて、例えば、画像処理回路
21で所定の画像処理がなされた後に、撮影の時と同様
に、画像表示用LCD30に画像が表示される。
【0013】システムコントローラー40は、フラッシ
ュメモリ等の不揮発性メモリ41から電子カメラの基本
制御プログラムを読み出して電子カメラ全体の制御を行
う。
【0014】システムコントローラー40は、操作部4
6(図示しないレリーズボタンや十字キー等を含む)か
らの入力を受け付けて、その入力に応じた制御を行う。
また、システムコントローラー40は、図示しない電源
部を制御して電子カメラ全体の電源管理も行っている。
更に、システムコントローラー40は、レンズ等駆動回
路15を介してレンズ群11を駆動制御する。
【0015】上記のような構成において、本発明におい
ては、撮像素子12からの複数回の出力を所定期間毎に
内蔵メモリ25(以下、単に「メモリ」と称する)に格
納し、その和を取って表示装置に表示させている。な
お、以下の実施形態においては、撮像素子12からの出
力を一旦記憶するメモリを内蔵メモリ25としたが、特
に内蔵メモリ25でなくても良く、内蔵メモリ25は、
画像処理用のワークエリア等として使用し、本発明の実
施のためのメモリを設けても良い。なお、本実施形態に
おいて、複数回の露光を撮像素子12から得るために
は、機械的シャッター或いは電子シャッターを用いて行
うことが好ましい。
【0016】上記のような撮像素子12からの複数回の
出力の和を取る方法には、図2に示すように2種類の方
法が考えられる。第1の方法は、図2(a)に示すよう
に、メモリを複数用意し、1つのメモリに所定のフレー
ム数分の画像データを格納しておき、表示する際に、複
数のメモリから画像データを読み出して、EVFに表示
させる方法である。第2の方法は、図2(b)に示すよ
うに、また、メモリに所定期間毎の複数回分の出力をそ
れぞれ格納するのではなく、撮像素子12からの出力を
その都度加算してメモリに書き込む方法である。なお、
第2の方法は、第1の方法に比べ、必要とするメモリが
すくなてすむという利点がある。
【0017】また、上記の実施形態において、露出時間
が短い場合(すなわち、露光回数が少ない場合)には、
加算された画像が暗く、ノイズが大きい可能性が高い。
この問題点を解決するための表示方法を図3を参照して
説明する。
【0018】図3は、取得した画像状況に応じた表示方
法を示す図である。図3の(a1)に示すように、取得
した画像をそのまま表示すると、最初は暗く、かつ解像
度の低い画像となっており、図3の(a2)→(a4)
となって、露光時間が多くなるにつれて、画像が明る
く、かつ鮮明になってくる。従って、画像が暗くてどの
ような画像かということも判別できないような場合に
は、次のような方法を取ることが好ましい。
【0019】例えば、露光時間が短い場合には、画像が
暗いために画像自体の判別が困難である可能性が高い場
合が多いので、図3の(b1)に示すように、ノイズの
影響は無視して、ゲインを大きくしてどのような画像で
あるのかを判別するようにする。このように、露光時間
が短い時には、ゲインを大きくすることにより、ノイズ
が大きく、明瞭な画像は得られないものの、現時点でど
の程度の画像が得られているか容易に判別できる。そし
て、露光時間が長くなるのに伴って、図3の(b2)→
(b4)に示すように、ゲインを小さくしていくことが
好ましい。
【0020】更に、露光時間が短い場合には、ノイズが
多いことが容易に予測できる。従って、この場合には、
上記と同様に、ある程度の画像の様子が観察できれば良
いので、ノイズを減少させるために、露光時間が短くノ
イズの多いような場合には、図3の(c1)に示すよう
に、画素の補間を行って、ノイズを低減させ、露光時間
が長くなり画像が鮮明になるにつれて、補間を行わない
ようにする。なお、この場合において、1つの画素の補
間を行うために使用する画素数は、露光時間が少ないほ
ど(すなわち、解像度が低く、ノイズが大きいほど)、
多くすることが好ましい。
【0021】なお、上記の露光時間に従ったゲインの設
定及び補間に用いる画素数の設定は、それぞれ単独で適
用するような説明を行ったが、組合わせて適用すること
も可能である。
【0022】また、撮影が長時間にわたるので、撮影中
に何も表示しない場合には、誤って電源をオフしたり、
カメラを動かしてしまうようなことが考えられる。従っ
て、この場合には、図4に示すように、例えば、画像表
示用LCD30の一部に「撮影中」である旨の表示を行
ったり、撮影中に点灯するか、特定の色表示を行うよう
なLEDをカメラ本体に設けるようにしても良い。
【0023】本発明は、上記の発明の実施の形態に限定
されるものではない。本発明の要旨を変更しない範囲で
種々変形して実施できるのは勿論である。
【0024】
【発明の効果】本発明によれば次のような効果が得られ
る。
【0025】実質的な長時間露光途中の画像信号を加算
するので、S/N比のよい画像信号を得ることができ
る。更に、上記実質的な長時間露光途中の加算された画
像を適当なタイミングごとに表示するので、長時間露光
途中において画像を観察しながら、その画像の品質に応
じて撮影を中断/続行するなどの適切な対応をとること
が容易になる。
【0026】撮影中には、撮影中である旨の表示をする
ようにしたので、誤って、カメラをオフするといった事
がなくなる。
【0027】加算手段の加算回数が少ない間(すなわ
ち、露光時間が短い場合)は画像信号のS/N比が悪い
ので、多くの画素信号を用いて補間を行うようにしたの
で、S/N比を向上させることができる。
【0028】加算手段の加算回数が少ない間(すなわ
ち、露光時間が短い場合)は画像信号を増幅して表示す
るので、画像を確認することができる。
【図面の簡単な説明】
【図1】 本発明に係る電子カメラの概略ブロック図。
【図2】 撮像素子からの複数回の出力の和を取る方法
を説明するための構成を示す図。
【図3】 取得した画像状況に応じた表示方法を示す
図。
【図4】 撮影中の表示例を示す図。
【符号の説明】
11…レンズ群 12…撮像素子 13…撮像回路 14…A/D変換器 15…レンズ等駆動回路 20…着脱メモリ 21…画像処理回路 22…圧縮伸長部 25…内蔵メモリ 30…画像表示用LCD 31…LCDドライバ 40…システムコントローラー 41…不揮発性メモリ 46…操作部
フロントページの続き Fターム(参考) 5C022 AA13 AB17 AB20 AC01 AC13 AC42 AC69 CA00 5C024 BX01 CX04 CX51 CX69 CY15 CY20 HX18 HX28 HX58 5C053 FA09 FA27 GA11 GB36 HA33 JA16 KA03 KA16 KA22 LA01

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 二次元的に画素が配列された撮像素子
    と、 前記撮像素子を所定の露光時間で複数回露光するように
    制御して、被写体を撮像する露光制御手段と、 前記露光制御手段に基づいて撮像された前記被写体の画
    像信号を加算する加算手段と、 前記加算手段により加算された画像信号を所定のタイミ
    ングで表示する表示手段とを備えたことを特徴とする撮
    像装置。
  2. 【請求項2】 請求項1に記載の撮像装置において、撮
    影中は、撮影中である旨の表示をする手段を更に備えた
    ことを特徴とする撮像装置。
  3. 【請求項3】 請求項1に記載の撮像装置において、前
    記表示手段は、撮像素子から読み出された画像信号にお
    ける所定画素を中心としたその周辺の所定数の画素信号
    を合成して得られた画像信号を表示し、前記加算手段に
    よる加算回数が増えるにつれて合成する画素数を少なく
    していくことを特徴とする撮像装置。
  4. 【請求項4】 請求項1に記載の撮像装置において、前
    記加算手段の加算回数に応じた増幅率で前記加算手段の
    出力信号を増幅する増幅手段を更に備え、 前記表示手段は前記増幅手段により増幅された画像信号
    を表示することを特徴とする撮像装置。
JP2001251680A 2001-08-22 2001-08-22 撮像装置 Expired - Fee Related JP4503892B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001251680A JP4503892B2 (ja) 2001-08-22 2001-08-22 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001251680A JP4503892B2 (ja) 2001-08-22 2001-08-22 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010042477A Division JP4870218B2 (ja) 2010-02-26 2010-02-26 撮像装置

Publications (2)

Publication Number Publication Date
JP2003069897A true JP2003069897A (ja) 2003-03-07
JP4503892B2 JP4503892B2 (ja) 2010-07-14

Family

ID=19080286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001251680A Expired - Fee Related JP4503892B2 (ja) 2001-08-22 2001-08-22 撮像装置

Country Status (1)

Country Link
JP (1) JP4503892B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006173774A (ja) * 2004-12-13 2006-06-29 Canon Inc 撮像装置及び撮像装置の画像表示方法
JP2007282134A (ja) * 2006-04-11 2007-10-25 Olympus Imaging Corp 撮像装置
JP2009010521A (ja) * 2007-06-26 2009-01-15 Olympus Imaging Corp 撮像装置
JP2009130887A (ja) * 2007-11-28 2009-06-11 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP2009171005A (ja) * 2008-01-11 2009-07-30 Olympus Imaging Corp 撮像装置および撮像装置の表示方法
US7576782B2 (en) 2003-07-18 2009-08-18 Sony Corporation Image pickup apparatus and control method therefor
EP2109307A1 (en) * 2008-04-07 2009-10-14 Sony Corporation Image processing apparatus, image processing method, and program
JP2010081313A (ja) * 2008-09-26 2010-04-08 Sony Corp 撮像装置、その制御方法およびプログラム
JP2010081022A (ja) * 2008-09-24 2010-04-08 Sony Corp 撮像装置、その制御方法およびプログラム
JP2010157804A (ja) * 2008-12-26 2010-07-15 Olympus Corp 撮像装置
JP2011035604A (ja) * 2009-07-31 2011-02-17 Olympus Corp 撮像装置
JP2011135248A (ja) * 2009-12-24 2011-07-07 Nec Corp 携帯端末装置及びその表示制御方法
JP2011229815A (ja) * 2010-04-30 2011-11-17 Canon Inc 生体情報イメージング装置および生体情報イメージング方法
WO2012035825A1 (ja) * 2010-09-14 2012-03-22 富士フイルム株式会社 撮像装置及び撮像方法
JP2012142999A (ja) * 2012-04-12 2012-07-26 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
US8531577B2 (en) 2007-11-20 2013-09-10 Olympus Imaging Corp. Imaging device and control method for imaging device
WO2017180233A1 (en) * 2016-04-13 2017-10-19 Google Inc. Live updates for synthetic long exposures

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03157629A (ja) * 1989-11-16 1991-07-05 Nikon Corp カメラシステム
JP2000032303A (ja) * 1998-07-09 2000-01-28 Fuji Photo Film Co Ltd 撮像装置
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03157629A (ja) * 1989-11-16 1991-07-05 Nikon Corp カメラシステム
JP2000032303A (ja) * 1998-07-09 2000-01-28 Fuji Photo Film Co Ltd 撮像装置
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576782B2 (en) 2003-07-18 2009-08-18 Sony Corporation Image pickup apparatus and control method therefor
JP4533119B2 (ja) * 2004-12-13 2010-09-01 キヤノン株式会社 撮像装置及び撮像装置の画像表示方法
US7817186B2 (en) 2004-12-13 2010-10-19 Canon Kabushiki Kaisha Camera and image processing method for synthesizing plural images forming one image group to generate a synthesized image
JP2006173774A (ja) * 2004-12-13 2006-06-29 Canon Inc 撮像装置及び撮像装置の画像表示方法
JP2007282134A (ja) * 2006-04-11 2007-10-25 Olympus Imaging Corp 撮像装置
JP2009010521A (ja) * 2007-06-26 2009-01-15 Olympus Imaging Corp 撮像装置
US8531577B2 (en) 2007-11-20 2013-09-10 Olympus Imaging Corp. Imaging device and control method for imaging device
US8610819B2 (en) 2007-11-20 2013-12-17 Olympus Imaging Corp. Imaging device and control method for imaging device
US8988596B2 (en) 2007-11-20 2015-03-24 Olympus Imaging Corp. Imaging device and control method for imaging device
US8982266B2 (en) 2007-11-20 2015-03-17 Olympus Imaging Corp. Imaging device and control method for imaging device
JP2009130887A (ja) * 2007-11-28 2009-06-11 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP2009171005A (ja) * 2008-01-11 2009-07-30 Olympus Imaging Corp 撮像装置および撮像装置の表示方法
EP2109307A1 (en) * 2008-04-07 2009-10-14 Sony Corporation Image processing apparatus, image processing method, and program
US8848097B2 (en) 2008-04-07 2014-09-30 Sony Corporation Image processing apparatus, and method, for providing special effect
JP2010081022A (ja) * 2008-09-24 2010-04-08 Sony Corp 撮像装置、その制御方法およびプログラム
US8379131B2 (en) 2008-09-24 2013-02-19 Sony Corporation Image capturing apparatus and control method thereof using amplification ratio based on current accumulated exposure time
JP4655239B2 (ja) * 2008-09-24 2011-03-23 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP4706936B2 (ja) * 2008-09-26 2011-06-22 ソニー株式会社 撮像装置、その制御方法およびプログラム
US8237811B2 (en) 2008-09-26 2012-08-07 Sony Corporation Imaging apparatus, control method thereof, and program
JP2010081313A (ja) * 2008-09-26 2010-04-08 Sony Corp 撮像装置、その制御方法およびプログラム
US8248505B2 (en) 2008-12-26 2012-08-21 Olympus Corporation Imaging device for adding pixel signals having different timing
JP2010157804A (ja) * 2008-12-26 2010-07-15 Olympus Corp 撮像装置
JP2011035604A (ja) * 2009-07-31 2011-02-17 Olympus Corp 撮像装置
JP2011135248A (ja) * 2009-12-24 2011-07-07 Nec Corp 携帯端末装置及びその表示制御方法
JP2011229815A (ja) * 2010-04-30 2011-11-17 Canon Inc 生体情報イメージング装置および生体情報イメージング方法
JP5422745B2 (ja) * 2010-09-14 2014-02-19 富士フイルム株式会社 撮像装置及び撮像方法
CN103109523A (zh) * 2010-09-14 2013-05-15 富士胶片株式会社 成像装置和成像方法
WO2012035825A1 (ja) * 2010-09-14 2012-03-22 富士フイルム株式会社 撮像装置及び撮像方法
US9185308B2 (en) 2010-09-14 2015-11-10 Fujifilm Corporation Imaging apparatus and imaging method
JP2012142999A (ja) * 2012-04-12 2012-07-26 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
WO2017180233A1 (en) * 2016-04-13 2017-10-19 Google Inc. Live updates for synthetic long exposures
US10187587B2 (en) 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures
US10523875B2 (en) 2016-04-13 2019-12-31 Google Inc. Live updates for synthetic long exposures

Also Published As

Publication number Publication date
JP4503892B2 (ja) 2010-07-14

Similar Documents

Publication Publication Date Title
JP4870218B2 (ja) 撮像装置
JP3897520B2 (ja) 撮像装置および撮像装置の制御方法
JP4695541B2 (ja) 撮像装置
JP2003069897A (ja) 撮像装置
JP5806511B2 (ja) 撮像装置、撮像方法
US7907193B2 (en) Image capturing apparatus
JP2008035256A (ja) 撮像装置及びその制御方法
JP4745851B2 (ja) 撮像装置
JP2010062638A (ja) 撮像装置
JP2015095772A (ja) 固体撮像装置および撮像システム
US8823854B2 (en) Imaging device and imaging control method for reading and displaying image data during exposure
JP2007336394A (ja) 撮像装置及び画像合成方法
JP4445662B2 (ja) 電子カメラ
JP2004140484A (ja) 画像取り込み装置および画像取り込み方法
JP2008079222A (ja) デジタルカメラ
JPH11122540A (ja) Ccdカメラ及びccdカメラ制御装置並びにccdカメラの感度調整方法
JP5147652B2 (ja) 撮像装置及びその制御方法及びプログラム
JP4033746B2 (ja) 顕微鏡撮影装置
JP2007178708A (ja) 撮像装置および撮影方法
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2008118378A (ja) 撮影装置及びその駆動方法
JP4323047B2 (ja) 撮像装置
JP4229234B2 (ja) デジタルカメラ
JP2582269B2 (ja) 高感度カメラ装置
JP5408029B2 (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100422

R151 Written notification of patent or utility model registration

Ref document number: 4503892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees