JP2011234333A - 結像装置の視覚パラメータ自動修正方法 - Google Patents

結像装置の視覚パラメータ自動修正方法 Download PDF

Info

Publication number
JP2011234333A
JP2011234333A JP2010159370A JP2010159370A JP2011234333A JP 2011234333 A JP2011234333 A JP 2011234333A JP 2010159370 A JP2010159370 A JP 2010159370A JP 2010159370 A JP2010159370 A JP 2010159370A JP 2011234333 A JP2011234333 A JP 2011234333A
Authority
JP
Japan
Prior art keywords
lens position
visual parameter
visual
target
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010159370A
Other languages
English (en)
Other versions
JP5300025B2 (ja
Inventor
Zhi Yuan Wang
王至遠
▲呉▼誠昌
Cheng Chang Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ability Enterprise Co Ltd
Original Assignee
Ability Enterprise Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ability Enterprise Co Ltd filed Critical Ability Enterprise Co Ltd
Publication of JP2011234333A publication Critical patent/JP2011234333A/ja
Application granted granted Critical
Publication of JP5300025B2 publication Critical patent/JP5300025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】結像装置に適用される視覚パラメータ(例えば輝度やコントラスト)を自動修正する方法を提供する。
【解決手段】所定の焦点距離に対し、あらかじめ視覚パラメータの差異と二つのレンズ位置の差であるレンズ位置差異量の比率を決める。そして、上述の所定の比率と、現在の視覚パラメータと、現在のレンズ位置と目標レンズ位置との差であるレンズ位置差異量に基づき、目標視覚パラメータが求められる。最後に、自動モード下において、目標視覚パラメータにより、現在の視覚パラメータを更新させる。
【選択図】図1

Description

本発明は結像装置に関し、より詳しくは、結像装置の輝度及びコントラストを修正する方法に関する。
従来から、デジタルカメラは自動露光(automatic Exposure, AE)及び自動フォーカス(Auto Focus, AF)などの機能を有し、かつこれらの機能が映像スキャンの結果の良し悪しに決定的な影響を及ぼすことが幅広く知られている。
自動露光の機能に基づき、デジタルカメラは露出計(light meter)によって値を読み取り、自動的に絞り値とシャッター速度を調節する。
また、自動フォーカス機能に基づき、デジタルカメラは場所のコントラストを測量することにより、自動的にレンズの焦点距離を調整している。
しかしながら、読み取られる輝度とコントラスト値は固定で変わらないわけではなく、デジタルカメラのレンズ位置によって変化させられる。このため、自動露光と自動フォーカス機能はたびたび最良の効果はどこなのかを予測することができない。
しかしながら、前述した従来の自動露光及び自動フォーカス機能では、効率的に品質の良い映像をキャプチャーすることができないといった問題があった。
本発明は、このような従来の問題に鑑みてなされたものである。上記課題解決のため、本発明は、結像装置の自動露光あるいは自動フォーカス機能の正確性を高め、例えば輝度(luminance)やコントラスト値(contrast)などの視覚パラメータを修正する方法を提供することを主目的とする。
本発明の実施形態によれば、所定の焦点距離に対し、あらかじめ視覚パラメータ(例えば輝度やコントラスト)の差異量と二つの所定レンズ位置の差であるレンズ位置差異量の比率を決める。具体的な実施形態では、結像装置は光源に向けられ、かつ修正したい所定の焦点距離へとズームすることにより切り替える。自動露光モードが収束するのを待った後、自動露光モードの機能はオフにされる。レンズが第一レンズ位置x1へ移動される時、同時に対応する第一視覚パラメータy1が読み取られる。そして、レンズが第二レンズ位置x2へ移動される時、同時に対応する第二視覚パラメータy2が読み取られる。これにより、視覚パラメータ差異量(y2−y1)とレンズ位置差異量(x2−x1)の比率mが求められる。さらに、上述の求められた比率mと、現在の視覚パラメータVcと、現在のレンズ位置Pcと目標レンズ位置Ptとの差であるレンズ位置差異量とに基づき、目標視覚パラメータVtが求められる。具体的な実施形態では、目標視覚パラメータVtは以下の式で求められる:Vt=Vc−(Pc−Pt)*m。最後に、自動モード下において、目標視覚パラメータに基づき、現在の視覚パラメータが更新される。
本発明の第一実施形態の結像装置の輝度自動修正の方法を示すフローチャートである。 レンズ位置/輝度図上のデータ(x1,y1)と(x2,y2)を示す。 レンズ位置/輝度図上の目標輝度値Ltを示す。 レンズ位置/輝度図上の目標輝度値Ltによって、現在の輝度値Lcが更新される様子を示す。 本発明の第二実施形態に係る結像装置のコントラスト自動修正の方法を示すフローチャートである。 レンズ位置/コントラスト図上のデータ(x1,y1)と(x2,y2)を示す。 レンズ位置/コントラスト図上の目標コントラスト値Etを示す。 レンズ位置/コントラスト図上のコントラスト値Etによって、現在のコントラスト値Ecが更新される様子を示す。
以下、本発明を実施するための形態について、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
図1は本発明の第一実施形態の結像装置の輝度自動修正の方法を示すフローチャートを示している。
ここでの結像装置とは、これに限られるわけではないが、デジタルカメラ(digital still camera)、ビデオカメラ(video camera)、カメラ機能を有する携帯電話あるいはウェブカメラ(web camera)などである。
ステップ101では、結像装置は例えば、ライトボックス(light box)などの光源(light source)に向けられ、さらに、ライトボックスは結像装置の全部の面を蓋うようにさせられる。そして、結像装置は修正したい所定の焦点距離へとズームすることにより切り替える(ステップ102)。その後、ステップ103では、結像装置の自動露光(Automatic Exposure, AE)モードが収束するあるいは安定するのを待った後、自動露光モードをオフにさせる。さらに、ステップ104では、結像装置のレンズを第一レンズ位置x1(例えば最も遠い焦点距離の端(infinity focus))へと移動させ、ステップ105では、結像装置から対応する第一輝度y1が読み取られる。また、より高い信頼性を達成させるために、複数回第一輝度値y1が読み取られ、さらにその平均値が取られる(ステップ106)。そして、ステップ104−106と類似するが、レンズを第二レンズ位置x2(例えば最も近い焦点距離の端(nearest end focus))へと移動させ(ステップ107)、同時に対応する第二輝度値y2が読み取られる。より高い信頼性を達成させるために、複数回第二輝度値y2が読み取られ、さらにその平均値が取られる(ステップ109)。
図2はレンズ位置/輝度図上のデータ(x1,y1)と(x2,y2)を示す。ステップ110では、(x1,y1)と(x2,y2)の二点を結ぶ直線の傾斜角が決定させられ、これは輝度値の差異量(y2−y1)とレンズ位置の差異量(x2−x1)の比率mを計算することにより求められ、以下のように表示される。
m=(y2−y1)/(x2−x1)
その後、ステップ111では、結像装置を操作するとき、上述の求められた比率(あるいは傾斜角)mと、現在の輝度値Lcと、現在のレンズ位置Pcと目標レンズ位置Pt(例えば最も遠い焦点距離の端)との差である、レンズ位置差異量に基づき、目標輝度値Ltが求められる。具体的にいえば、目標輝度値Ltは以下の式によって得られる。
Lt=Lc−(Pc−Pt)*m
図3Aはレンズ位置/輝度図上の目標輝度値Ltを示している。続く図3Bに示されているように、ステップ112では、自動モード下において、求められた目標輝度値Ltにより、現在の輝度値Lcが更新される。これにより、結像装置の異なる焦点距離によって得られる被写体のコントラストはすべて一致させられることが確保され、かつ、自動露光システム計算によって算出される露光指数(exposure value)も安定した結果を得ることができる。
図4は本発明の第二実施形態の結像装置のコントラスト自動修正の方法を示すフローチャートである。ここでの結像装置とは、これに限られるわけではないが、デジタルカメラ(digital still camera)、ビデオカメラ(video camera)、カメラ機能を有する携帯電話あるいはウェブカメラ(web camera)などである。
ステップ401では、結像装置は例えば、ライトボックスなどの光源に向けられ、さらに、ライトボックスは結像装置の全部の面を蓋うようにさせられる。そして、結像装置は修正したい所定の焦点距離へとズームすることにより切り替える(ステップ402)。その後、ステップ403では、結像装置の自動露光(AE)モードが収束するあるいは安定するのを待った後、自動露光モードをオフにさせる。さらに、ステップ404では、結像装置のレンズを第一レンズ位置x1(例えば最も遠い焦点距離の端(infinity focus))へと移動させ、ステップ405では、結像装置から対応する第一コントラスト値y1が読み取られる。より高い信頼性を達成させるために、複数回第一コントラスト値y1を読み取り、さらにその平均値が取られる(ステップ406)。そして、ステップ404−406と類似するが、レンズを第二レンズ位置x2(例えば最も近い焦点距離の端(nearest end focus))へと移動させ(ステップ407)、同時に対応する第二コントラスト値y2が読み取られる。より高い信頼性を達成させるために、複数回第二コントラスト値y2が読み取られ、さらにその平均値が取られる(ステップ409)。
図5はレンズ位置/コントラスト図上のデータ(x1,y1)と(x2,y2)を示す。ステップ410では、(x1,y1)と(x2,y2)の二点を結ぶ直線の傾斜角が決定され、これはコントラスト値の差異量(y2−y1)とレンズ位置の差異量(x2−x1)の比率mを計算することにより求められ、以下のように表示される。
m=(y2−y1)/(x2−x1)
その後、ステップ411では、結像装置を操作するとき、上述の求められた比率(あるいは傾斜角)mと、現在のコントラスト値Ecと、現在のレンズ位置Pcと目標レンズ位置Pt(例えば最も遠い焦点距離の端)との差である、レンズ位置差異量に基づき、目標コントラスト値Etが求められる。具体的にいえば、目標コントラスト値Etは以下の式によって得られる。
Et=Ec−(Pc−Pt)*m
図6Aはレンズ位置/コントラスト図上の目標コントラスト値Etを示している。続く図6Bに示されているように、ステップ412では、自動モード下において、求められた目標輝度値Etにより、現在のコントラスト値Ecが更新される。これにより、結像装置の異なる焦点距離によって得られる被写体のコントラストはすべて一致させられることが確保され、、かつ、自動フォーカスシステム計算によって算出されるコントラスト値も安定した結果を得ることができる。
上述の実施形態によれば、実質的に自動露光と自動フォーカスの正確性が向上される。第一実施形態と第二実施形態では別々に輝度とコントラストの修正方法が説明されているが、他の図2や図5に類似している特性の視覚パラメータは、本発明で示されている方法を使用して修正可能であり、ここに示されているものに限られるわけではない。
上述の実施形態は本発明の技術思想及び特徴を説明するためのものにすぎず、当該技術分野を熟知する者に本発明の内容を理解させると共にこれをもって実施させることを目的とし、本発明の特許請求の範囲を限定するものではない。従って、本発明の精神を逸脱せずに行う各種の同様の効果をもつ改良又は変更は、後述の請求項に含まれるものとする。
100〜112・・・ステップ
401〜412・・・ステップ
x1・・・第一レンズ位置
y1・・・第一視覚パラメータ/第一輝度値/第一コントラスト比
x2・・・第二レンズ位置
y2・・・第二視覚パラメータ/第二輝度値/第二コントラスト比
m・・・・比率
Vc・・・現在の視覚パラメータ
Pc・・・現在のレンズ位置
Pt・・・目標レンズ位置
Vt・・・目標視覚パラメータ
Lc・・・現在の輝度値
Ec・・・現在のコントラスト比
Lt・・・目標輝度値
Et・・・目標コントラスト比

Claims (10)

  1. 結像装置の視覚パラメータ自動修正方法であって、
    所定の焦点距離に対して、あらかじめ視覚パラメータ差異量と二つの所定レンズ位置の差であるレンズ位置差異量の比率を決定するステップと、
    前記比率と、現在の視覚パラメータと、現在のレンズ位置と目標レンズ位置との差であるレンズ位置差異量に基づき、目標パラメータを求めるステップと、
    自動モード下において、目標視覚パラメータにより、前記現在の視覚パラメータを更新させるステップを含むことを特徴とする、結像装置の視覚パラメータ自動修正方法。
  2. あらかじめ前記比率を決定するステップはさらに
    前記結像装置を光源に向けるステップと、
    前記結像装置は修正したい前記所定の焦点距離へとズームすることにより切り替えるステップと、
    自動露光モードが収束するのを待った後、前記自動露光モードをオフにするステップと、
    レンズを第一レンズ位置x1へと移動させ、少なくとも一回は対応する第一視覚パラメータy1を読み取るステップと、
    レンズを第二レンズ位置x2へと移動させ、少なくとも一回は対応する第二視覚パラメータy2を読み取るステップと、
    視覚パラメータ差異量(y2−y1)とレンズ位置差異量(x2−x1)の前記比率mを計算するステップを含むことを特徴とする、請求項1に記載の結像装置の視覚パラメータ自動修正方法。
  3. 前記第一レンズ位置は最も遠い焦点距離の端に対応し、第二レンズ位置は最も近い焦点距離の端に対応することを特徴とする請求項2に記載の結像装置の視覚パラメータ自動修正方法。
  4. 複数回読み取られた第一視覚パラメータは、さらに、その平均値を取られることを特徴とする、請求項2に記載の結像装置の視覚パラメータ自動修正方法。
  5. 複数回読み取られた第二視覚パラメータは、さらに、その平均値を取られることを特徴とする、請求項2に記載の結像装置の視覚パラメータ自動修正方法。
  6. 前記目標視覚パラメータVtは前記比率mと、前記現在の視覚パラメータVcと、前記現在のレンズ位置Pcと前記目標レンズ位置Ptとの差であるレンズ位置差異量(Pc−Pt)に基づき求められ、例えば、Vt=Vc−(Pc−Pt)*mのように表示されることを特徴とする、請求項1に記載の結像装置の視覚パラメータ自動修正方法。
  7. 前記目標レンズ位置は最も遠い焦点距離の端に対応することを特徴とする、請求項1に記載の結像装置の視覚パラメータ自動修正方法。
  8. 前記結像装置はデジタルカメラ(digital still camera)か、ビデオカメラ(video camera)か、カメラ機能を有する携帯電話あるいは、ウェブカメラ(web camera)かのどれかであることを特徴とする請求項1に記載の結像装置の視覚パラメータ自動修正方法。
  9. 前記視覚パラメータは輝度であることを特徴とする、請求項1に記載の結像装置の視覚パラメータ自動修正方法。
  10. 前記視覚パラメータはコントラストであることを特徴とする、請求項1に記載の結像装置の視覚パラメータ自動修正方法。
JP2010159370A 2010-04-27 2010-07-14 結像装置の視覚パラメータ自動修正方法 Active JP5300025B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/768,613 2010-04-27
US12/768,613 US8310549B2 (en) 2010-04-27 2010-04-27 Method of automatically calibrating a visual parameter for an imaging device

Publications (2)

Publication Number Publication Date
JP2011234333A true JP2011234333A (ja) 2011-11-17
JP5300025B2 JP5300025B2 (ja) 2013-09-25

Family

ID=44650754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010159370A Active JP5300025B2 (ja) 2010-04-27 2010-07-14 結像装置の視覚パラメータ自動修正方法

Country Status (6)

Country Link
US (1) US8310549B2 (ja)
EP (1) EP2385693A2 (ja)
JP (1) JP5300025B2 (ja)
KR (1) KR101133679B1 (ja)
CN (1) CN102238328B (ja)
TW (1) TWI436639B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542297B2 (en) * 2011-08-05 2013-09-24 Quality Vision International, Inc. Method for automatically adjusting the levels of illumination sources in an optical measurement machine
TWI561908B (en) * 2015-03-27 2016-12-11 Vivotek Inc Auto focus method and apparatus using the same method
CN105681668B (zh) * 2016-02-29 2019-02-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
EP3516862A4 (en) * 2016-10-26 2020-01-22 Zhejiang Dahua Technology Co., Ltd EXPOSURE CONTROL SYSTEMS AND METHODS
US11194227B2 (en) 2016-12-27 2021-12-07 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
CN108153132B (zh) * 2017-12-28 2019-06-21 电子科技大学 一种基于均值梯度函数的光学扫描全息自聚焦方法
CN112585518A (zh) * 2020-03-27 2021-03-30 深圳市大疆创新科技有限公司 对焦点的确定方法、装置、镜头、成像装置和可移动平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129371A (ja) * 2006-11-22 2008-06-05 Canon Inc 撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193124A (en) * 1989-06-29 1993-03-09 The Research Foundation Of State University Of New York Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images
FR2676839B1 (fr) * 1991-05-21 1997-05-23 Asahi Optical Co Ltd Appareil photo comportant un objectif zoom motorise.
JPH05260359A (ja) 1992-03-13 1993-10-08 Olympus Optical Co Ltd 自動合焦装置
JPH05284414A (ja) 1992-04-01 1993-10-29 Olympus Optical Co Ltd 自動合焦装置
KR0126453B1 (ko) 1993-06-16 1997-12-19 구자홍 자동 노출 제어장치
JP4149528B2 (ja) * 1996-01-17 2008-09-10 オリンパス株式会社 自動焦点検出装置
JP3610167B2 (ja) * 1996-07-30 2005-01-12 キヤノン株式会社 レンズ制御方法及び装置
US6778207B1 (en) * 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7158182B2 (en) * 2001-09-28 2007-01-02 Nikon Corporation Camera that engages in a focusing operation through a contrast method
JP3797543B2 (ja) * 2001-10-26 2006-07-19 富士写真フイルム株式会社 自動焦点調節装置
US20040165090A1 (en) * 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
US7596286B2 (en) 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
US7526192B2 (en) * 2004-10-07 2009-04-28 Hoya Corporation Focus detection method and focus detection apparatus
CN100592199C (zh) * 2006-11-10 2010-02-24 鸿富锦精密工业(深圳)有限公司 自动聚焦投影仪及其自动聚焦方法
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
JP2009103912A (ja) * 2007-10-23 2009-05-14 Olympus Corp 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129371A (ja) * 2006-11-22 2008-06-05 Canon Inc 撮像装置

Also Published As

Publication number Publication date
JP5300025B2 (ja) 2013-09-25
EP2385693A2 (en) 2011-11-09
CN102238328A (zh) 2011-11-09
KR101133679B1 (ko) 2012-04-12
KR20110119497A (ko) 2011-11-02
US20110261208A1 (en) 2011-10-27
TWI436639B (zh) 2014-05-01
US8310549B2 (en) 2012-11-13
CN102238328B (zh) 2013-04-10
TW201138438A (en) 2011-11-01

Similar Documents

Publication Publication Date Title
JP5300025B2 (ja) 結像装置の視覚パラメータ自動修正方法
JP5895270B2 (ja) 撮像装置
JP5237721B2 (ja) 撮像装置
US8059183B2 (en) Image sensing apparatus and method for controlling the same
JP6405531B2 (ja) 撮像装置
TWI393981B (zh) Use the flash to assist in detecting focal lengths
JP2021010162A (ja) 投影システム及びその投影方法
JP6357646B2 (ja) 撮像装置
JP6405163B2 (ja) 焦点検出装置及びその制御方法
TWI398716B (zh) Use the flash to assist in detecting focal lengths
JP2008301047A (ja) 撮像装置
JP6326631B2 (ja) 撮像装置
JP6917536B2 (ja) 撮像装置
JP2018006995A (ja) 撮像装置、表示装置、画像処理プログラム
JP6032967B2 (ja) 撮像装置、レンズ装置および撮像装置の制御方法
JP2015115788A (ja) 投射型表示装置および画像処理方法
JP2006165894A (ja) 撮像装置、撮像方法及び撮像処理のためのプログラム
TWI408489B (zh) 投影系統及投影方法
JP2007264250A (ja) 撮影装置及びプログラム
JP2013228589A (ja) 撮像装置およびその制御方法
JP2016122199A (ja) 撮像装置
JP2011039293A (ja) 測光装置および撮像装置
JP2016004145A (ja) 光学機器および自動焦点調節方法
JP5825834B2 (ja) 撮像装置
JP2012233930A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130531

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130613

R150 Certificate of patent or registration of utility model

Ref document number: 5300025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250