JP2012034309A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2012034309A
JP2012034309A JP2010174189A JP2010174189A JP2012034309A JP 2012034309 A JP2012034309 A JP 2012034309A JP 2010174189 A JP2010174189 A JP 2010174189A JP 2010174189 A JP2010174189 A JP 2010174189A JP 2012034309 A JP2012034309 A JP 2012034309A
Authority
JP
Japan
Prior art keywords
image
zoom
optical
optical zoom
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010174189A
Other languages
English (en)
Other versions
JP5595167B2 (ja
Inventor
Takenori Obuse
武範 小布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010174189A priority Critical patent/JP5595167B2/ja
Publication of JP2012034309A publication Critical patent/JP2012034309A/ja
Application granted granted Critical
Publication of JP5595167B2 publication Critical patent/JP5595167B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ズーム動作中の静止画撮影において、画質劣化を最小限に抑えつつ、撮影者の意図に沿った画像を取得できるようにし、利便性を高めること。
【解決手段】撮像装置は、光学レンズの駆動による光学ズームと、撮像素子2によって得た画像データの拡大及び縮小処理による電子ズームの機能を有する。システム制御部6は、ズーム動作中に静止画取得キー7が操作されて静止画取得の指示を受けた場合、光学ズーム動作を一時的に停止し、電子ズームへと切り替える。電子ズームの動作中に取得した静止画の画像データを記録部8が記録した後、システム制御部6は光学ズーム動作を再開させる。
【選択図】図1

Description

本発明は、光学レンズのズーム駆動中に取得する静止画の高画質化を実現する技術に関する。
近年のデジタル一眼レフカメラやデジタルスチルカメラは動画撮影が可能であり、また、デジタルビデオカメラでも静止画の撮影が可能である。このように、主目的とするモード以外の撮影モードを有する撮像装置が知られている。特にデジタルビデオカメラでは、動画記録中に静止画を同時にキャプチャして記録する機能、いわゆる静止画同時記録機能が標準的に装備されている。一方、静止画のキャプチャ時に、光学レンズのズーム機構が動作している場合、ズーム速度やシャッタ速度によってはキャプチャ時の静止画に放射状のボケが生じ、著しい画質劣化が起こる虞がある。これは、撮像素子の露光期間に行われるズーム動作によって画角が変化し、その変化分がボケの原因となるためである。
そこで、光学ズームに代えて電子ズームを常用すれば、光学的なズーム動作が起こらず、撮像素子が受ける被写体像の画角は変わらないため、放射状のボケは発生しなくなる。しかし、電子ズームによる高倍率化処理では、画面の一部分を切り取って画像処理で引き伸ばすことになるため、画質劣化を招いてしまう。つまり、本来の撮像素子の持っている画素数での画質に比べて画素数が少なくなってしまう。
従来の撮像装置では、光学レンズのズーム動作中に静止画を取得する場合、ズーム動作を一時的に停止させて静止画を取得する方法と、ズーム動作が終了した時点で静止画を取得する方法が採用されている。しかし、前者の方法では、動画記録中にズーム動作が不自然になってしまうことが問題となる。また後者の方法では静止画を取得しようとしたその瞬間の画像記録ができないため、撮影者の意図に反した画像が記録されてしまう虞が生じる。
特許文献1には、ズーム動作中に静止画のキャプチャを連続して行い、またズーム動作の開始や終了をトリガとして、静止画のキャプチャを行う方法が開示されている。
特開2007−316471号公報
従来技術では、ズーム動作中に静止画を取得する際、放射状のボケを発生させずに、撮影者の意図した瞬間の画像を撮影するための充分な手段が講じられていないという課題がある。そのため、放射状のボケが画質低下の原因となり、また撮影者の意図しない静止画を取得することになった場合、利便性が損なわれる。
本発明の目的は、ズーム動作中の静止画撮影において、画質劣化を最小限に抑えつつ、撮影者の意図に沿った画像を取得できるようにして利便性を向上させることにある。
上記課題を解決するため、本発明に係る装置は、ズーム機構を有する光学レンズの駆動によって行う光学ズーム、及び撮像素子によって得た画像データの拡大及び縮小処理によって行う電子ズームの機能を有する撮像装置であって、静止画の取得を指示する操作手段と、前記撮像素子からの画像データの一部を拡大し又は画像データを縮小する画像処理手段と、前記画像処理手段が処理した画像データを記録する記録手段と、前記光学ズームの動作中に前記操作手段による静止画取得の指示を受けた場合、前記光学ズームの動作を停止させて、一時的に前記電子ズームへと切り替えて静止画の画像データを前記記録手段に記録させる制御手段を備える。
本発明によれば、画質劣化を最小限に抑えつつ、撮影者の意図に沿った静止画像を取得できる。
本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第1実施形態に係る静止画記録の処理例を示すフローチャートである。 光学ズームと電子ズームの切替制御例を説明する図である。 本発明の第2実施形態に係る静止画記録の処理例を示すフローチャートである。
以下、図面を参照しながら本発明の各実施形態について説明する。
[第1実施形態]
図1は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置は、レンズの駆動によって光学的に行う光学ズーム機能と、画像の拡大及び縮小処理によって電子的に行う電子ズーム機能を有する。
光学レンズ及び光学LPF(ローパスフィルタ)1は、被写体からの光を取り込んで、撮像素子2に結像させる。光学レンズ及び光学LPF1は、ピント面の位置を調整するフォーカス機構と、焦点距離を変更するズーム機構と、レンズの絞り量を変更するアイリス機構などを有する。撮像装置は、これらを撮影者自身がそれぞれ自由に設定変更可能なマニュアルモードと、後述のシステム制御部6が自動で制御するオートモードを持つのが一般的である。最近では、主被写体(人物などの顔)を検出し、主被写体に合わせてフォーカスやアイリスなどを調整することはもとより、主被写体を一定の大きさに保つために自動的にズーム制御を行うプログラムも提案されている。
撮像素子2は、光学レンズ及び光学LPF1からの入射光を受けて電気信号へ変換した後、該信号を出力する。撮像素子2には代表的なものとして、CCD(電荷結合素子)イメージセンサや、CMOS(相補型金属酸化膜半導体)イメージセンサなどが挙げられる。撮像素子2が出力するアナログ電気信号はAFE(アナログフロントエンド)3がデジタル信号へ変換する。撮像素子2には、アナログ映像信号を直接出力するデバイスの他に、撮像素子2の内部でAD(アナログ−デジタル)変換処理を行い、LVDSなどのデジタルデータを出力するデバイスがある。なお、LVDSは“Low Voltage Differential Signaling”の略号である。AFE3は、撮像素子2からのアナログ電気信号をデジタル信号に変換し、LVDSなどのデータとして画像処理部4へ送出するが、撮像素子2がその内部でAD変換処理を行う場合、AFE3は不要である。
画像処理部4はデジタル化された映像信号に対して、ガンマ補正、ニー補正、ノイズリダクションなどの各種画像処理を施す。画像処理部4は、例えば撮像素子2がCMOSイメージセンサの場合、CMOSイメージセンサ特有の固定パターンノイズの除去や、黒レベルクランプ処理などを行う。画像処理部4は電子ズームの処理機能をもち、撮影画像から必要な撮影範囲を切り出して拡大処理を行い、また画像縮小処理を行うことでズーム倍率を変更する。なお画像処理部4は各補正や画像処理に必要な設定値のデータを記憶するための記憶回路を含む。
システム制御部6は、撮像装置の各部を制御する。例えばシステム制御部6は光学レンズ及び光学LPF1におけるフォーカス機構、ズーム機構、アイリス機構を制御して焦点調節や露出動作などを行い、また画像処理部4を制御して電子ズーム、現像処理や記録処理などを行う。静止画取得キー7は、静止画取得の指示信号をシステム制御部6に送る。つまり該キーは操作部の一部をなし、撮像装置に静止画の取得指示を出すための操作手段である。撮影者は静止画を取得したい瞬間に静止画取得キー7を押下してシステム制御部6に静止画取得を指示することができる。
画像処理部4で各種画像処理を施した映像信号は、信号出力部5から図示しないモニタなどの画像表示部に送出される。つまり信号出力部5は、画像処理部4からの画像処理後の映像信号を、所定の外部モニタに出力し、または撮像装置に付設の画像表示部に出力して画像を表示画面に表示させる。
記録部8はシステム制御部6からの指令に従って画像処理部4からの画像データを不図示の記録媒体に記録する。また記録部8はシステム制御部6からの指令に従って記録媒体から読み出した画像データを画像処理部4に出力する。
次に図2のフローチャートを用いて撮像装置の動作について説明する。なお以下の処理はシステム制御部6を構成する中央演算処理装置が解釈して実行するプログラムに従って実現される。
まずS1にて撮影者が静止画取得キー7を操作すると、システム制御部6は静止画取得指示の命令を受けて、画像処理部4に静止画の取得開始を指示する。S2でシステム制御部6は現在のモードが動画優先モード、つまり撮像装置が動画の取得を優先するモードであるか否かを判定する。現行モードが動画優先モードの場合、S3に進み、静止画の取得を優先するモードの場合、S8に進む。
S3でシステム制御部6は、光学レンズ及び光学LPF1のレンズ情報に基づいて光学ズームが動作中か否かを判断する。光学ズーム動作中の場合、S4に進み、光学ズーム動作中でない場合、S7に進む。S4にてシステム制御部6は光学ズーム動作を一旦停止し、電子ズームに切り替える。電子ズームに切り替えた場合、撮像素子2が受光する被写体像の画角は変わらないため、放射状のボケが発生することはない。電子ズームの切り替えは、システム制御部6の制御下で画像処理部4にて行われる。次のS5で静止画の画像データの取得処理が行われ、記録部8は画像データを不図示の記録媒体に記録する。その後、S6に進む。ここでは、一時的に停止されていた光学ズームへの切り替えが円滑に行われ、ズーム機構の動作が再開する。
一方、S3からS7に進んだ場合、静止画の画像データの取得処理が実行され、記録部8は画像データを不図示の記録媒体に記録し、一連の処理が終了する。またS2からS8に進んだ場合、システム制御部6は光学ズームが動作中か否かを判断する。光学ズーム動作中の場合、S9に進み、光学ズーム動作中でない場合、S7に進んで静止画記録が実行される。S9にてシステム制御部6は光学ズーム動作を一旦停止させた後、静止画のデータを取得して不図示の記録媒体に記録させる(S10)。その後、光学ズーム動作が再開する(S11)。
次に、図3を用いて、光学ズームと電子ズームの切替処理について詳述する。
図3(a)は、光学ズームにてワイド側からテレ側にズームイン動作が行われている途中で一時的に電子ズームへの切り替えを行う場合を例示する。水平軸は時間軸であり、ズーム動作が開始した時刻をt0とし、撮影者が静止画取得キー7を操作した時刻をt1とする。また縦軸はズーム倍率を表す。図中の実線で示すグラフ線が光学ズーム倍率の時間的変化を表し、点線で示すグラフ線が電子ズーム倍率の時間的変化を表す。なお光学ズーム倍率の時間変化率は光学ズームの動作速度に相当する。
時刻t0から光学ズーム倍率が上昇した後、時刻t1で光学ズーム動作が停止し、時刻t2までの期間中、光学ズーム倍率が一定値を示す。時刻t1で電子ズームに切り替わり、t1乃至t2の期間中、電子ズーム倍率が上昇するとともに、この期間に静止画記録が行われる。それまで上昇していた電子ズーム倍率は時刻t2で減少に転じ、時刻t2乃至t3の期間に電子ズームから光学ズームへ切り替えが行われる。この移行期間中、システム制御部6は画像処理部4に制御信号を送出して電子ズーム倍率を時間経過につれて低下させ、光学ズーム倍率については電子ズームの減少分を相殺するように倍率の時間変化率を上げる。すなわち、時刻t2乃至t3にて光学ズーム倍率と電子ズーム倍率とを合成した倍率の時間変化率は、時刻t0乃至t1における光学ズームの時間変化率に等しい。これは、電子ズームから光学ズームへの切り替えによる不自然さを撮影者に感じさせないようにするためである。
時刻t3にて電子ズーム倍率が時刻t1での倍率に戻ると、光学ズームの動作速度が元に戻り、光学ズーム倍率の時間変化率が時刻t0乃至t1の期間での時間変化率と同じ値になる。このような切替制御により、撮影者に対して不自然さを極力与えないズーミングが可能となる。
図3(b)は、光学ズームにてテレ側からワイド側へズームアウト動作が行われている途中で一時的に電子ズームへの切り替えを行う場合を例示する。本例では時刻t0から光学ズーム倍率が減少し、時刻t1にて光学ズーム倍率が一定値となって電子ズームに切り替わると、電子ズーム倍率は時刻t0乃至t1の期間における倍率に比べて減少していく。時刻t2から電子ズーム倍率は上昇に転じ、光学ズーム倍率については電子ズームの増加分を相殺するように倍率の時間変化率が低下する。時刻t3で電子ズーム倍率が時刻t1での倍率に戻ると、光学ズーム倍率の時間変化率が時刻t0乃至t1の期間での時間変化率と同じ値となる。図3(a)に示すズームインの場合と相違する点は、ズームアウトの場合、電子ズーム倍率が低下する方向に変化するため、撮像素子2が通常の撮影に使用する画素領域よりも広い画素領域を使用することである。つまり、画像縮小の場合、解像度の低下を招かないように、実際に出力される画素領域よりも大きい有効画素領域を持つ撮像素子を搭載する必要がある。
第1実施形態によれば、静止画取得キー7の操作信号をトリガにして静止画取得の際に光学ズームから電子ズームへの切り替えが行われ、取得した画像データが記録される。これにより、撮影者は光学レンズによるズーム動作中であることを意識することなく、放射状のボケのない、画質劣化を最小限に抑えた静止画撮影を行える。
[第2実施形態]
次に本発明の第2実施形態を説明する。なお第2実施形態に係る撮像装置の構成は第1実施形態の場合と同様である。以下では第1実施形態との相違点を説明し、同様の構成部については既に使用した符号を用いることによってそれらの詳細な説明を省略する。
図4のフローチャートを用いて静止画取得処理を説明する。本処理では、静止画取得の際、電子シャッタを高速に設定することで、放射状のボケを低減させる。図2との相違点はS3に続くS20、及びS5に続くS21の処理である。
S3で光学ズーム動作中と判定された場合、S20にてシステム制御部6は撮像素子2の駆動制御により、電子シャッタ速度を通常の動画撮影時の値よりも大きい値に設定して露光量を調整する。つまり、第2実施形態では電子ズームではなく、電子シャッタを一時的に高速にすることで撮像素子2の露光時間を減少させ、放射状のボケを低減させた状態で静止画取得及び記録が行われる(S5)。露光時間が減少した分、システム制御部6は画像処理時のゲイン、つまりAFE3または画像処理部4のゲイン値を上げる。これにより、電子シャッタ速度の変更前と同等の明るさが得られる。S21にてシステム制御部6は、電子シャッタ速度値と、AFE3または画像処理部4のゲイン値を元に戻して露光量を調整する。
第2実施形態では、静止画取得の際に電子シャッタの速度値を大きくして露光時間を短くし、その分、AFE3または画像処理部4のゲインを変更することにより、取得した画像データの記録処理が行われる。これにより、電子ズーム機能をもたない装置でも、撮影者は光学レンズのズーム動作中であることを意識することなく、放射状のボケのない、画質劣化を最小限に抑えた静止画撮影を行える。なお、第2実施形態では電子シャッタ速度制御によって露光時間を変更し、AFE3または画像処理部4のゲイン変更で露光量を補償する方法を例示したが、露光時間や露光量の制御方法については撮像装置の仕様に応じて各種方法を採用することができる。
1 光学レンズ及び光学LPF
2 撮像素子
3 AFE
4 画像処理部
5 信号出力部
6 システム制御部
7 静止画取得キー
8 記録部

Claims (7)

  1. ズーム機構を有する光学レンズの駆動によって行う光学ズーム、及び撮像素子によって得た画像データの拡大及び縮小処理によって行う電子ズームの機能を有する撮像装置であって、
    静止画の取得を指示する操作手段と、
    前記撮像素子からの画像データの一部を拡大し又は画像データを縮小する画像処理手段と、
    前記画像処理手段が処理した画像データを記録する記録手段と、
    前記光学ズームの動作中に前記操作手段による静止画取得の指示を受けた場合、前記光学ズームの動作を停止させて、一時的に前記電子ズームへと切り替えて静止画の画像データを前記記録手段に記録させる制御手段を備えることを特徴とする撮像装置。
  2. 前記制御手段は、光学ズーム倍率を変化させる途中で前記操作手段によって静止画取得の指示を受けた場合、前記光学ズームの動作を一時的に停止させて光学ズーム倍率を一定値とし、電子ズーム倍率を増加又は減少させながら取得した前記静止画の画像データを前記記録手段に記録させることを特徴とする、請求項1記載の撮像装置。
  3. 前記制御手段は、前記静止画の画像データを前記記録手段に記録してから前記光学ズームの動作を再開させて元の動作速度に戻すまでの移行期間において、前記電子ズーム倍率を時間経過につれて変化させ、前記光学ズームの動作を停止させる前の元の倍率に戻すように制御することを特徴とする、請求項1又は2記載の撮像装置。
  4. 前記制御手段は、前記移行期間にて前記光学ズーム倍率と前記電子ズーム倍率を合成した倍率の時間変化率が、前記光学ズームの動作を停止させる前の光学ズーム倍率の時間変化率と等しくなるように、前記光学ズーム倍率及び前記電子ズーム倍率を変化させることを特徴とする、請求項3記載の撮像装置。
  5. ズーム機構を有する光学レンズの駆動によって行う光学ズーム、及び撮像素子の駆動制御による電子シャッタの機能を有する撮像装置であって、
    静止画の取得を指示する操作手段と、
    前記撮像素子からの画像データを取得して画像処理を行う画像処理手段と、
    前記画像処理手段が処理した画像データを記録する記録手段と、
    前記光学ズームの動作中に前記操作手段による静止画取得の指示を受けた場合、前記電子シャッタの速度値を一時的に大きくし、かつ前記画像処理手段のゲイン値を上げて取得した静止画の画像データを前記記録手段に記録させる制御手段を備えることを特徴とする撮像装置。
  6. ズーム機構を有する光学レンズの駆動によって行う光学ズーム、及び撮像素子によって得た画像データの拡大及び縮小処理によって行う電子ズームの機能を有する撮像装置で実行する制御方法であって、
    前記光学ズームの動作中に静止画を取得する指示を受け付けるステップと、
    前記ステップにて静止画取得の指示を受け付けた場合、前記光学ズームの動作を停止させて、一時的に前記電子ズームへと切り替えるステップと、
    前記撮像素子から得た画像データに拡大又は縮小処理を施して記録手段に記録するステップを有することを特徴とする撮像装置の制御方法。
  7. ズーム機構を有する光学レンズの駆動によって行う光学ズーム、及び撮像素子の駆動制御による電子シャッタの機能を有する撮像装置で実行する制御方法であって、
    前記光学ズームの動作中に静止画を取得する指示を受け付けるステップと、
    前記ステップにて静止画取得の指示を受け付けた場合、前記電子シャッタの速度値を一時的に大きくし、かつ画像処理のゲイン値を上げて静止画の画像データを取得するステップと、
    取得した前記画像データを記録手段に記録するステップを有することを特徴とする撮像装置の制御方法。
JP2010174189A 2010-08-03 2010-08-03 撮像装置及びその制御方法 Expired - Fee Related JP5595167B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010174189A JP5595167B2 (ja) 2010-08-03 2010-08-03 撮像装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010174189A JP5595167B2 (ja) 2010-08-03 2010-08-03 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2012034309A true JP2012034309A (ja) 2012-02-16
JP5595167B2 JP5595167B2 (ja) 2014-09-24

Family

ID=45847152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010174189A Expired - Fee Related JP5595167B2 (ja) 2010-08-03 2010-08-03 撮像装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP5595167B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017111302A1 (en) * 2015-12-22 2017-06-29 Samsung Electronics Co., Ltd. Apparatus and method for generating time lapse image
WO2024090803A1 (ko) * 2022-10-24 2024-05-02 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113109A (ja) * 2006-10-30 2008-05-15 Casio Comput Co Ltd ズーム装置、及びズーム制御方法、ズーム制御プログラム
JP2009177689A (ja) * 2008-01-28 2009-08-06 Nikon Corp 電子カメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113109A (ja) * 2006-10-30 2008-05-15 Casio Comput Co Ltd ズーム装置、及びズーム制御方法、ズーム制御プログラム
JP2009177689A (ja) * 2008-01-28 2009-08-06 Nikon Corp 電子カメラ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017111302A1 (en) * 2015-12-22 2017-06-29 Samsung Electronics Co., Ltd. Apparatus and method for generating time lapse image
US10313549B2 (en) 2015-12-22 2019-06-04 Samsung Electronics Co., Ltd. Apparatus and method for generating time lapse image
WO2024090803A1 (ko) * 2022-10-24 2024-05-02 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
JP5595167B2 (ja) 2014-09-24

Similar Documents

Publication Publication Date Title
JP4594257B2 (ja) ディジタル撮像装置
US8514288B2 (en) Image capturing apparatus
JP5864938B2 (ja) 撮像装置及びその制御方法
JP4528235B2 (ja) デジタルカメラ
JP3634232B2 (ja) デジタルスチルカメラ
JPH1042183A (ja) 撮像装置
JP2009284394A (ja) 撮像装置および撮像方法
JP2006310969A (ja) 撮像装置
KR20140110765A (ko) 광학 줌 기구를 구비하는 촬상 장치, 그 화각 보정 방법 및 기록 매체
JP2001272593A (ja) デジタルスチルカメラ
WO2017154366A1 (ja) ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置
JP3610113B2 (ja) 撮像装置
JP5595167B2 (ja) 撮像装置及びその制御方法
JP2011049641A (ja) 撮影装置、その制御方法、及びプログラム
JP2009223056A (ja) 撮影装置及び撮影方法
JP2005012423A (ja) 撮像装置及び信号処理装置
JP5105298B2 (ja) 撮像装置及びそのプログラム
JP2019080261A (ja) 撮像装置
JP5682358B2 (ja) 撮像装置
JP2021019255A (ja) 撮像装置およびその制御方法
JP3840121B2 (ja) デジタルカメラ
JP5455485B2 (ja) 撮像装置
JP2007116305A (ja) 撮像装置、及びズーム倍率制御方法
JP5664440B2 (ja) 撮像装置
JP5790011B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140805

R151 Written notification of patent or utility model registration

Ref document number: 5595167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees