JP2010175696A - オートフォーカス装置 - Google Patents

オートフォーカス装置 Download PDF

Info

Publication number
JP2010175696A
JP2010175696A JP2009016479A JP2009016479A JP2010175696A JP 2010175696 A JP2010175696 A JP 2010175696A JP 2009016479 A JP2009016479 A JP 2009016479A JP 2009016479 A JP2009016479 A JP 2009016479A JP 2010175696 A JP2010175696 A JP 2010175696A
Authority
JP
Japan
Prior art keywords
evaluation value
contrast evaluation
area
image
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009016479A
Other languages
English (en)
Other versions
JP5412849B2 (ja
Inventor
Soichi Ueda
壮一 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009016479A priority Critical patent/JP5412849B2/ja
Publication of JP2010175696A publication Critical patent/JP2010175696A/ja
Application granted granted Critical
Publication of JP5412849B2 publication Critical patent/JP5412849B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】低コントラスト時の焦点調節性能の低下を防止する。
【解決手段】撮影光学系により結像された画像を撮像する撮像素子と、撮像素子により撮像された画像中の所定領域におけるコントラスト評価値を演算する評価値演算手段と、撮影光学系の焦点調節を行う焦点調節手段と、評価値演算手段により演算されるコントラスト評価値が最大になるように、焦点調節手段により撮影光学系の焦点調節を行う制御手段とを備えたオートフォーカス装置において、評価値演算手段は、所定領域を複数の領域に分割し、所定領域における輝度の最大値と最小値の差Sに対する、分割領域ごとの輝度の最大値と最小値の差Kの割合K/Sを算出し、すべての分割領域の割合K/Sの合計値を所定領域のコントラスト評価値とする。
【選択図】図4

Description

本発明はオートフォーカス装置に関する。
撮影レンズにより撮像素子上に結像された被写体像を撮像し、画像信号の特定領域の高周波成分を抽出して評価値を算出し、評価値に応じて撮影レンズの焦点調節を行うオートフォーカス装置において、画像信号の3原色信号のそれぞれに対し独立に評価値を算出するようにしたオートフォーカス装置が知られている(例えば、特許文献1参照)。
特開平10−239582号公報
しかしながら、上述した従来のオートフォーカス装置では、低コントラスト時に焦点調節性能が低下するという問題がある。この低コントラストの要因としては、被写体自体が低コントラストである場合の他に、テレやマクロ時などにおけるレンズの解像度低下に起因した低コントラストもある。
(1) 請求項1の発明は、撮影光学系により結像された画像を撮像する撮像素子と、撮像素子により撮像された画像中の所定領域におけるコントラスト評価値を演算する評価値演算手段と、撮影光学系の焦点調節を行う焦点調節手段と、評価値演算手段により演算されるコントラスト評価値が最大になるように、焦点調節手段により撮影光学系の焦点調節を行う制御手段とを備えたオートフォーカス装置において、評価値演算手段は、所定領域を複数の領域に分割し、所定領域における輝度の最大値と最小値の差Sに対する、分割領域ごとの輝度の最大値と最小値の差Kの割合K/Sを算出し、すべての分割領域の割合K/Sの合計値を所定領域のコントラスト評価値とする。
(2) 請求項2の発明は、請求項1に記載のオートフォーカス装置において、撮像素子により複数の画像を撮像し、評価値演算手段は、複数の画像を重ね合わせて画像を生成し、当該画像の所定領域においてコントラスト評価値を演算する。
(3) 請求項3の発明は、請求項1に記載のオートフォーカス装置において、評価値演算手段は、RGBの色ごとにコントラスト評価値を演算し、それらの合計値を所定領域のコントラスト評価値とする。
(4) 請求項4の発明は、請求項1〜3のいずれか一項に記載のオートフォーカス装置において、評価値演算手段は、所定領域および分割領域の異なる複数の方向においてそれぞれコントラスト評価値を演算し、それらの合計値を所定領域のコントラスト評価値とする。
(5) 請求項5の発明は、請求項1〜4のいずれか一項に記載のオートフォーカス装置において、評価値演算手段は、撮影光学系のMTF(Modulation Transfer Function)特性に応じて分割領域の大きさを決定する。
本発明によれば、被写体自体が低コントラストな場合や、テレやマクロ撮影における撮影レンズの解像度低下に起因した低コントラストの場合でもAF性能が低下せず、正確な焦点調節を実現できる。
一実施の形態の構成を示す図 一実施の形態の焦点調節動作を示す示すフローチャート 一実施の形態のコントラスト評価値の演算方法を説明する図 一実施の形態のコントラスト評価値の演算方法を説明する図 輝度自体が低く、かつコントラストが小さい画像を増幅した結果を説明する図 輝度は高いが輝度変化が滑らかな複数の画像を重ね合わせた結果を説明する図 他の一実施の形態のコントラスト評価値の演算方法を説明する図
図1は一実施の形態のオートフォーカス(AF)装置を備えたカメラの構成を示す。なお、本発明に直接関係のないカメラの機器および装置の図示と説明を省略する。撮像素子1はCCDやCMOSなどから構成され、撮影レンズ(不図示)により結像された被写体像を画像信号に変換する。駆動制御回路2は、撮像素子1の電荷蓄積制御や画像信号読み出し制御などを行うとともに、画像信号の増幅やA/D変換などの処理を行う。操作部材3には、シャッターボタンの半押しと全押し操作に連動してオン、オフする半押しスイッチや全押しスイッチ、AFエリアを選択するためのAFエリア選択スイッチなどの操作部材が含まれる。
制御装置4はマイクロコンピューター4aやメモリ4bなどから構成され、カメラの各種演算処理、画像処理、シーケンス制御などを行う。フォーカシングレンズ駆動制御装置5は撮影レンズ内のフォーカシングレンズを駆動制御し、撮影レンズの焦点調節を行う。ズーミングレンズ駆動制御装置6は撮影レンズ内のズーミングレンズを駆動制御し、ズームアップまたはズームダウンを行う。絞り駆動制御装置7は絞り(不図示)の開閉を行い、シャッター駆動制御装置8はシャッター(不図示)の開閉を行う。
AF補助光発光装置9は、暗い被写体に対する焦点検出を行うときに近赤外線を被写体に照射して焦点検出を援助する。表示装置10はLCDを備え、撮影画像や撮影に関する情報を表示する。画像記録装置11はメモリカードなどの記録媒体に撮影画像を記録する。
図2は一実施の形態の焦点調節動作を示す示すフローチャートである。このフローチャートにより一実施の形態の動作を説明する。シャッターボタン(不図示)の操作部材3の半押し操作により半押しスイッチがオンすると、制御装置4のマイクロコンピューター4aはこの焦点調節動作を開始する。
ステップ1において撮像素子1から指定されたAFエリアの画像データ(RAWデータ)を読み出す。なお、AFエリアは操作部材3のAFエリア選択スイッチにより選択されている。撮像素子1にCCDを用いた場合には、画素を加算した間引き画像データを読み出し、CMOSを用いた場合には、指定されたAFエリア内の全画素の画像データを読み出す。
続くステップ2ではAFエリアのコントラスト評価値を演算する。まず、AFエリア内の微小エリアにおいてコントラスト評価値を算出する。ここで、微小エリアの大きさは撮影レンズのMTF特性以下の空間周波数があればよい。換言すれば、撮影レンズの光学解像度よりも大きなエリアとする。また、撮影レンズのワイド側よりもテレ側ではMTF特性が若干落ちるので、微小エリアを広くしてもよい。例えば、ワイド側で縦3×横3画素の大きさとした場合には、テレ側では縦5×横5画素の大きさとする。
図3は、縦5×横5画素の微小エリア内におけるコントラスト評価値の算出方法を示す図である。ここでは、縦5×横5画素の微小エリアを例に挙げて説明するが、任意のエリア内のコントラスト評価値についても同様な手法で算出できる。図3に示すように、任意のエリア内のコントラスト評価値は、被写体色が偏っている場合を考慮してRGBごとに算出する。このとき、画素データの間引きはしない。縦方向、横方向、右上がり斜め方向、左上がり斜め方向の4方向それぞれにRGBごとの画素出力、すなわちRGBごとの輝度に対してローパスフィルター処理を行い、MTF特性以上の高周波ノイズやパターンノイズを除去する。図3において、(a)は緑色Gに対する4方向の評価値算出を示し、(b)は青色Bに対する4方向の評価値算出を示し、(c)は赤色Rに対する4方向の評価値算出を示す。
なお、微分特性の抽出が目的であり、ノイズフィルターは単純な移動平均処理でもよい。ノイズフィルターは、ズーム倍率にともなうワイドからテレ位置への光学特性の変化にも対応し、解像度の高いワイド端でのカットオフ周波数と、解像度の落ちるテレ端でのカットオフ周波数、その中間で使用するズーム位置でのカットオフ周波数を用意してもよい。バンドパスフィルターが有効である。
そして、図4に示すように、AFエリアを微小エリアに分割し、AFエリア内のRGBの輝度の最大値と最小値の差分(MAX値−MIN値)Sr、Sg、Sbに対する、各微小エリア内のRGBの輝度の最大値と最小値の差分(MAX値−MIN値)Kr(n)、Kg(n)、Kb(n)の割合Kr(n)/Sr、Kg(n)/Sg、Kb(n)/Sbを、RGBごとに、かつ縦、横、右上がり斜め、左上がり斜めの4方向に対して積算した合計値をAFエリアのコントラスト評価値とする。
なお、図3および図4により説明したコントラスト評価値の演算では、RGBの色ごとにAFエリアおよび微小エリアのコントラスト評価値を算出し、最終的なAFエリアのコントラスト評価値を演算する例を示したが、RGBの色ごとにコントラスト評価値を算出せず、図3および図4で説明した手法により各画素の輝度に基づいてAFエリアおよび微小エリアのコントラスト評価値を算出し、最終的なAFエリアのコントラスト評価値を演算するようにしてもよい。
ここで、コントラスト評価値を算出するエリアの画像の最大値と最小値の差分(MAX値−MIN値)が小さすぎると正常な判断が困難になるため、画像にゲインをかけて増幅するか、または時系列に撮影した複数の画像を重ね合わせる。図5に示すように、輝度自体が低く、かつコントラストが小さい画像(a)を増幅すると、(b)に示すようにコントラストは高くなるがノイズも一緒に増幅してしまう。また、図6に示すように、輝度は高いが輝度変化が滑らかな画像(a)を重ね合わせると、(b)に示すようにパターンノイズが顕著に現れる。
複数画像の重ね合わせ時に発生するパターンノイズを画像のコントラストの増加と誤認識しないように1画素レベルの突出データをノイズフィルターにより除去する。このフィルター構成はMTF特性を損なわないようにし、ローパスフィルターは光学空間周波数より高く設定する。あるいは、1画素レベルの突出データを周辺の画素データと比較し、規定レベル以上の差がある場合に突出データを周辺の画素データで置換することにより、パターンノイズを除去する。
さらに、微小エリアの評価値Kr、Kb、Kgがフォーカシングレンズの位置を変化させても追従しない場合には、コントラスト評価に値しない均一画像であるか、もしくは大きなノイズを含んでいることが考えられ、コントラスト評価値算出から除外するか、隣接する有効微小エリアのコントラスト評価値をコピーする。
次に、ステップ3でフォーカシングレンズを現在の位置から駆動範囲の中心方向に所定量だけ移動する。続くステップ4において、撮像素子1からAFエリアの画像を読み出し、上述した手法と同様な手法によりAFエリアのコントラスト評価値を演算する。ステップ5で前回のコントラスト評価値と今回のコントラスト評価値とを比較し、コントラスト評価値が増加しているか否かを判定する。増加している場合はステップ6へ進み、同一駆動方向へフォーカシングレンズを所定量だけ駆動する。一方、前回よりも今回の方がコントラスト評価値が減少している場合はステップ7へ進み、駆動方向を反転して所定量だけフォーカシングレンズを駆動する。
ステップ8では、撮像素子1からAFエリアの画像を読み出し、上述した手法と同様な手法によりAFエリアのコントラスト評価値を演算する。ステップ9で前回のコントラスト評価値と今回のコントラスト評価値とを比較し、コントラスト評価値が減少しているか否かを判定する。減少していない場合はステップ10へ進み、同一方向に所定量だけフォーカシングレンズを駆動してステップ8へ戻り、上述した動作を繰り返す。コントラスト評価値が減少した場合はステップ11へ進み、前回と今回のコントラスト評価値に基づいてコントラスト評価値が最大になるフォーカシングレンズ位置を推定し、その位置までフォーカシングレンズを駆動する。これにより合焦が達成される。
なお、低輝度、低コントラストの被写体においては、コントラスト評価値がほとんど変化しない場合も考えられる。このような場合には、AFエリア内のコントラスト評価値Sr、Sb、Sgの値のみの増減に基づいてコントラスト評価値が最大となるレンズ位置を判断してもよい。
このように、RGBごとにコントラスト評価値を求めることによって、特定な色の多い特殊なシーン、例えば夕焼け空の撮影シーンなどにおいてもコントラスト評価値が最大の位置を判断することができる。
《発明の他の実施の形態》
上述した一実施の形態では撮像素子1からAFエリアの画像を1枚読み出し、AFエリア内の微少エリアごとにコントラスト評価値を算出する例を示したが、画像データの中には撮像素子自体から発生する電気的なノイズや、被写体光に含まれる光ショットキーノイズが含まれており、これらのノイズの影響を低減して正確なコントラスト評価値を得るために、1回のコントラスト評価値の演算に際して撮像素子1により時系列的に撮像を行ってAFエリアの複数枚の画像を取得し、これら複数枚の画像を重ね合わせて1枚のAFエリア画像を生成し、当該画像の微少エリアごとにコントラスト評価値を求めるようにした他の一実施の形態を説明する。
図7は、AFエリア内の微少エリアごとにコントラスト評価値Kr(n)、Kg(n)、Kb(n)を求める他の実施の形態を説明する図である。この例では、コントラスト評価値算出ごとに撮像素子1により3枚の画像を撮像し、(a)に示すように時刻(t-2)、(t-1)、tに撮像した3枚の画像からそれぞれAFエリアの画像を読み出す。そして、(b)に示すように3枚の画像を重ね合わせてノイズ除去を行った後、移動平均等のノイズフィルター処理を施し、評価値の安定性を向上させる。その後、上述した手法により、重ね合わせたAFエリアの画像から微小エリアごとにコントラスト評価値Kr(n)、Kg(n)、Kb(n)を算出する。
算出した微小エリアごとのコントラスト評価値Kr(n)、Kg(n)、Kb(n)を図4で説明した演算に用い、AFエリアのコントラスト評価値を算出する。
以上説明したように、一実施の形態に寄れば、撮像素子1により撮影レンズにより結像された画像を撮像し、撮像した画像中のAFエリアにおけるコントラスト評価値を演算し、コントラスト評価値が最大になるように撮影レンズの焦点調節を行うオートフォーカス装置において、AFエリアを複数の微小エリアに分割し、AFエリアにおける輝度の最大値と最小値の差Sに対する、微小エリアごとの輝度の最大値と最小値の差Kの割合K/Sを算出し、すべての微小エリアの割合K/Sの合計値をAFエリアのコントラスト評価値とするようにしたので、被写体自体が低コントラストな場合や、テレやマクロ撮影における撮影レンズの解像度低下に起因した低コントラストの場合でもAF性能が低下せず、正確な焦点調節を実現できる。
また、一実施の形態によれば、撮像素子1により複数の画像を撮像し、複数の画像を重ね合わせて画像を生成し、当該画像のAFエリアにおいてコントラスト評価値を演算するようにしたので、正確なコントラスト評価値を安定に演算することができる。
さらに、一実施の形態によれば、RGBの色ごとにコントラスト評価値を演算し、それらの合計値をAFエリアのコントラスト評価値とするようにしたので、例えば夕焼けシーンのように特定の色が多い撮影シーンにおいても、正確なコントラスト評価値を演算することができる。
さらにまた、一実施の形態によれば、AFエリアおよび微小エリアの異なる複数の方向においてそれぞれコントラスト評価値を演算し、それらの合計値をAFエリアのコントラスト評価値とするようにしたので、被写体像のエッジ方向によらず正確なコントラスト評価値を安定に演算することができる。
1;撮像素子、2;駆動制御回路、3;操作部材、4;制御装置、5;フォーカシングレンズ駆動制御装置

Claims (5)

  1. 撮影光学系により結像された画像を撮像する撮像素子と、
    前記撮像素子により撮像された画像中の所定領域におけるコントラスト評価値を演算する評価値演算手段と、
    前記撮影光学系の焦点調節を行う焦点調節手段と、
    前記評価値演算手段により演算される前記コントラスト評価値が最大になるように、前記焦点調節手段により前記撮影光学系の焦点調節を行う制御手段とを備えたオートフォーカス装置において、
    前記評価値演算手段は、前記所定領域を複数の領域に分割し、前記所定領域における輝度の最大値と最小値の差Sに対する、前記分割領域ごとの輝度の最大値と最小値の差Kの割合K/Sを算出し、すべての前記分割領域の割合K/Sの合計値を前記所定領域の前記コントラスト評価値とすることを特徴とするオートフォーカス装置。
  2. 請求項1に記載のオートフォーカス装置において、
    前記撮像素子により複数の画像を撮像し、
    前記評価値演算手段は、前記複数の画像を重ね合わせて画像を生成し、当該画像の前記所定領域において前記コントラスト評価値を演算することを特徴とするオートフォーカス装置。
  3. 請求項1に記載のオートフォーカス装置において、
    前記評価値演算手段は、RGBの色ごとにコントラスト評価値を演算し、それらの合計値を前記所定領域の前記コントラスト評価値とすることを特徴とするオートフォーカス装置。
  4. 請求項1〜3のいずれか一項に記載のオートフォーカス装置において、
    前記評価値演算手段は、前記所定領域および前記分割領域の異なる複数の方向においてそれぞれコントラスト評価値を演算し、それらの合計値を前記所定領域の前記コントラスト評価値とすることを特徴とするオートフォーカス装置。
  5. 請求項1〜4のいずれか一項に記載のオートフォーカス装置において、
    前記評価値演算手段は、前記撮影光学系のMTF(Modulation Transfer Function)特性に応じて前記分割領域の大きさを決定することを特徴とするオートフォーカス装置。
JP2009016479A 2009-01-28 2009-01-28 オートフォーカス装置 Expired - Fee Related JP5412849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009016479A JP5412849B2 (ja) 2009-01-28 2009-01-28 オートフォーカス装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009016479A JP5412849B2 (ja) 2009-01-28 2009-01-28 オートフォーカス装置

Publications (2)

Publication Number Publication Date
JP2010175696A true JP2010175696A (ja) 2010-08-12
JP5412849B2 JP5412849B2 (ja) 2014-02-12

Family

ID=42706757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009016479A Expired - Fee Related JP5412849B2 (ja) 2009-01-28 2009-01-28 オートフォーカス装置

Country Status (1)

Country Link
JP (1) JP5412849B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233168A (ja) * 1993-12-21 1994-08-19 Olympus Optical Co Ltd カメラ
JPH10239582A (ja) * 1997-03-03 1998-09-11 Sony Corp オートフォーカス装置
JP2003107332A (ja) * 2001-09-28 2003-04-09 Nikon Corp カメラ
JP2006308884A (ja) * 2005-04-28 2006-11-09 Olympus Corp オートフォーカス装置
JP2008058498A (ja) * 2006-08-30 2008-03-13 Canon Inc 撮像装置
JP2008079123A (ja) * 2006-09-22 2008-04-03 Olympus Corp 撮像装置及びフォーカス制御プログラム
JP2008164926A (ja) * 2006-12-28 2008-07-17 Matsushita Electric Ind Co Ltd フォーカス制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233168A (ja) * 1993-12-21 1994-08-19 Olympus Optical Co Ltd カメラ
JPH10239582A (ja) * 1997-03-03 1998-09-11 Sony Corp オートフォーカス装置
JP2003107332A (ja) * 2001-09-28 2003-04-09 Nikon Corp カメラ
JP2006308884A (ja) * 2005-04-28 2006-11-09 Olympus Corp オートフォーカス装置
JP2008058498A (ja) * 2006-08-30 2008-03-13 Canon Inc 撮像装置
JP2008079123A (ja) * 2006-09-22 2008-04-03 Olympus Corp 撮像装置及びフォーカス制御プログラム
JP2008164926A (ja) * 2006-12-28 2008-07-17 Matsushita Electric Ind Co Ltd フォーカス制御装置

Also Published As

Publication number Publication date
JP5412849B2 (ja) 2014-02-12

Similar Documents

Publication Publication Date Title
JP5493011B2 (ja) 撮像装置及びその合焦位置検出方法
JP5331945B2 (ja) 撮像装置及びその駆動方法
RU2608778C1 (ru) Устройство управления фокусировкой и способ управления таким устройством
JP5169318B2 (ja) 撮像装置、撮像方法
JP2010213213A (ja) 撮像装置及び撮像方法
JP2017022610A (ja) 画像処理装置、画像処理方法
JP5223686B2 (ja) 撮像装置および撮像方法
JP2011114684A (ja) 撮像装置
JP5256947B2 (ja) 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5277863B2 (ja) 撮像装置および撮像方法
JP4997043B2 (ja) 撮像装置、方法およびプログラム
JP5146015B2 (ja) 撮像装置及び撮像方法
JP5948997B2 (ja) 撮像装置及び撮像方法
US9122129B2 (en) Image pickup apparatus, driving control method thereof, and computer-readable recording medium
JP4898151B2 (ja) 撮像装置及び撮像方法
JP6482247B2 (ja) 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
CN106993110B (zh) 摄像设备及其控制方法
JP7415929B2 (ja) 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
JP5412849B2 (ja) オートフォーカス装置
JP5597942B2 (ja) 電子カメラ
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP7558656B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP7415930B2 (ja) 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
JP2010068064A (ja) 撮像装置及び撮像方法
JP2009218641A (ja) 撮像装置、撮像方法及び撮像装置が備えるコンピュータに撮像方法を実行させるためのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R150 Certificate of patent or registration of utility model

Ref document number: 5412849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees