JP2011175119A - 撮像装置及び自動焦点調節方法 - Google Patents

撮像装置及び自動焦点調節方法 Download PDF

Info

Publication number
JP2011175119A
JP2011175119A JP2010039586A JP2010039586A JP2011175119A JP 2011175119 A JP2011175119 A JP 2011175119A JP 2010039586 A JP2010039586 A JP 2010039586A JP 2010039586 A JP2010039586 A JP 2010039586A JP 2011175119 A JP2011175119 A JP 2011175119A
Authority
JP
Japan
Prior art keywords
evaluation value
contrast
subject
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010039586A
Other languages
English (en)
Other versions
JP5523143B2 (ja
Inventor
Satoru Ito
覚 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2010039586A priority Critical patent/JP5523143B2/ja
Priority to US13/032,972 priority patent/US8786762B2/en
Priority to CN201110046900.6A priority patent/CN102169276B/zh
Publication of JP2011175119A publication Critical patent/JP2011175119A/ja
Application granted granted Critical
Publication of JP5523143B2 publication Critical patent/JP5523143B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Abstract

【課題】低輝度被写体と点光源被写体の双方に対して、高速かつ偽合焦を少なくすることが可能な撮像装置及び自動焦点調節方法を提供する。
【解決手段】撮影レンズ1を介して被写体像を撮像し、画像データを生成する撮像素子3と、画像データに基づいて、撮影レンズ1の位置ごとに、被写体像のコントラストに相当するコントラスト値L1を検出するAF評価値算出回路9と、画像データに基づいて、撮影レンズ1の位置ごとに、被写体像の被写体輝度に相当する輝度評価値L2を検出するAE評価値算出回路7と、コントラスト値L1を、対応する撮影レンズ1の位置における輝度評価値L2に応じて補正し、補正コントラスト値L3を算出し、この補正コントラスト値L3に基づいて、撮影レンズ1の合焦位置を検出する制御部11を有する。
【選択図】 図4

Description

本発明は、撮像装置及び自動焦点調節方法に関し、詳しくは、夜景撮影時における点光源のような被写体に対しても正確に合焦検出可能な撮像装置及び自動焦点調節方法に関する。
撮像装置に備えられた撮影レンズの自動焦点検出の方式として、従来よりコントラストAF方式が使用されている。このコントラストAFは、撮影レンズによって形成された被写体像のコントラスト値を算出し、このコントラスト値がピーク値となるように撮影レンズの位置を制御する方式である。
図6を用いて従来のコントラストAFの動作を説明する。図6(a)は、撮影レンズのレンズ位置に対するAF評価値L1とAE評価値L2の変化を示している。ここで、AF評価値L1はコントラスト値の積算値であり、またAE評価値L2は被写体輝度に関わる値である。撮影レンズが無限遠と至近端の間で移動すると、AF評価値は、図6(a)に示すように合焦位置P1において極大となる。そこで、コントラストAFによる合焦制御では、AF評価値L1がピーク値となるように、撮影レンズを制御する。なお、撮影レンズのレンズ位置が変化しても、通常は、被写体輝度に関連するAE評価値L2は大きく変化しない。
コントラストAFによる制御は、図6(b)に示すフローチャートにおいて、まず、方向判断を行う(S101)。ここでは、撮像素子からの画像データに基づいて、コントラスト値を求め、続いて、撮影レンズを所定量だけ予め決められた方向に移動した状態で再びコントラスト値を求め、この2つのコントラスト値の大小を比較し、コントラスト値が大きくなる方向を、撮影レンズの移動方向として決定する(図6(a)において、(1)の動きを参照)。
方向判断を行うと、続いて、コントラスト値のピーク位置検出を行う(S103)。ここでは、撮影レンズを移動させるたびに、コントラスト値を比較し、コントラスト値のピークを通り過ぎたかを判定する。すなわち、今回のコントラスト値が前回のコントラスト値よりも小さくなったときに、コントラスト値のピークを通りすぎたことから、このときピーク位置を補間法等により検出する(図6(a)において、(2)の動きを参照)。
ピーク位置を検出すると、この検出されたピーク位置にレンズを移動する(S105)。ここでは、ステップS103において補間法等により算出したピーク位置に撮影レンズを戻す。これによって、撮影レンズを合焦位置に到達させることができる(図6(a)において、(3)の動きを参照)。
このように、コントラストAFによって撮影レンズを合焦点に駆動することができる。しかし、この従来のコントラストAFによって合焦検出を行うと、被写体が点光源の場合には、偽合焦点にピントが合ってしまうおそれがある。この点光源の場合の偽合焦について、図7を用いて説明する。
点光源の被写体を撮影レンズによって像を形成させた場合、合焦位置P1においては、図7(b)に示すように、点光源は極小となり、この時のAF評価値L1も極小値となる。撮影レンズを合焦位置P1から移動させていくと、撮影レンズによって形成された像はぼやけて次第に大きくなり、AF評価値L1も大きくなる。極大位置P2において、図7(c)に示すような像となり、AF評価値L1は極大値をとる。この極大位置P2から更に移動させ、AF評価値L1の裾野(位置P3付近)では、撮影レンズによって形成された像は図7(d)に示すようにますますぼやけ、またAF評価値L1は小さな値となる。
このような点光源の場合には、AF評価値L1のピークとなる極大位置P2を撮影レンズの合焦位置と誤って判定してしまうおそれがある。そこで、このような不具合を解消するために、特許文献1においては、次のような解決策を提案している。
(1)AF時の被写体輝度(=Bv)に応じて、合焦位置をAE評価値の極小位置と極大位置のいずれかから選択する。
(2)AE評価値の極小値とAF評価値の極大位置の間の距離を算出し、その距離に応じて極小または極大のいずれかを合焦位置として決定する。
上述の(1)の解決策は、点光源の際には、合焦位置P1において、AE評価値L2は極小値をとることから、点光源が現われる夜景等か否かを、被写体輝度(=Bv)によって判定し、被写体輝度が低い場合にはAE評価値の極小位置を合焦点としている。また、上述の解決策(2)は、点光源の場合には、合焦位置P1と極大位置P2の間の距離は、所定距離の範囲内にあることから、距離に応じて、極大か極小のいずれかを合焦位置としている。
特開2005−345877号公報
上述の特許文献1における提案では、低輝度被写体と点光源被写体の双方に対して、高速かつ偽合焦を少なくすることが十分ではない。すなわち、解決策(1)では、被写体輝度(=Bv)によってAE評価値の極小点となるレンズ位置を合焦位置としている。このため、点光源ではない低輝度被写体に対しては、逆に合焦精度が悪化するという不具合がある。また、解決策(2)では、AE評価値の極小位置とAF評価値の極大位置の両方の位置を検出する必要があり、条件によってはレンズ駆動量が増大し、AF速度と合焦までの見栄えが悪化するという不具合がある。
本発明は、このような事情を鑑みてなされたものであり、低輝度被写体と点光源被写体の双方に対して、高速かつ偽合焦を少なくすることが可能な撮像装置及び自動焦点調節方法を提供することを目的とする。
上記目的を達成するため第1の発明に係わる撮像装置は、撮影レンズを介して被写体像を撮像し、画像データを生成する撮像手段と、上記画像データに基づいて、上記撮影レンズの位置ごとに、上記被写体像のコントラストに相当するコントラスト値を検出するコントラスト検出手段と、上記画像データに基づいて、上記撮影レンズの位置ごとに、上記被写体像の被写体輝度に相当する輝度評価値を検出する被写体輝度検出手段と、上記コントラスト値を、対応する上記撮影レンズの位置における上記輝度評価値に応じて補正し、補正コントラスト値を算出する補正手段と、上記補正手段により補正された上記補正コントラスト値に基づいて、上記撮影レンズの合焦位置を検出する合焦検出手段と、を有する。
第2の発明に係わる撮像装置は、上記第1の発明において、上記補正手段は、上記輝度評価値に対する比率を補正係数として算出し、上記補正係数を用いて上記コントラスト値を補正する。
第3の発明に係わる撮像装置は、上記第2の発明において、上記補正手段は、上記補正係数を上記コントラスト値に応じて調整する。
第4の発明に係わる撮像装置は、上記第3の発明において、上記補正手段は、上記コントラスト値を所定の閾値と比較し、上記補正係数を調整するか否かを判断するとともに、上記撮像手段の感度に応じて上記閾値を変更する。
第5の発明に係わる撮像装置は、上記第1の発明において、上記補正手段は、上記被写体像の被写体輝度に応じて、上記補正係数を調整するか否かを判断する。
第6の発明に係わる撮像装置は、上記第1の発明において、上記補正手段は、上記被写体像に顔の部分が含まれるか否かに応じて、上記補正係数を調整するか否かを判断する。
第7の発明に係わる自動焦点調節方法は、レンズを介して画像を撮像して画像データを生成し、上記画像データに基づいて、上記レンズの位置ごとに、上記画像のコントラストに相当するコントラスト値を検出し、上記画像データに基づいて、上記レンズの位置ごとに、上記画像の輝度に相当する輝度評価値を検出し、上記コントラスト値を、対応する上記レンズの位置における上記輝度評価値に応じて補正して補正コントラスト値を算出し、上記補正コントラスト値に基づいて、上記レンズの合焦位置を検出する。
本発明によれば、低輝度被写体と点光源被写体の双方に対して、高速かつ偽合焦を少なくすることが可能な撮像装置及び自動焦点調節方法を提供することができる。
本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係わるカメラの動作を示すフローチャートである。 本発明の一実施形態に係わるカメラのAF評価値補正処理の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、点光源の場合のコントラストカーブを示しており、(a)はAF評価値の補正がない場合のコントラストカーブを示すグラフであり、(b)はAF評価値の補正がある場合のコントラストカーブを示すグラフである。 本発明の一実施形態に係わるカメラにおいて、低コントラスト時の偽合焦防止を説明する図であって、(a)はAF評価値補正前のコントラストカーブを示し、(b)はAF評価値補正後のコントラストカーブを示し(c)はAF評価値補正後であって、かつ裾野における偽合焦も補正するようにしたコントラストカーブを示すグラフである。 従来のコントラストAFの動作を説明する図であって、(a)はコントラストカーブを示し、(b)はコントラストAFの動作を示すフローチャートである。 従来のコントラストAFの動作を説明する図であって、(a)は点光源の場合のコントラストカーブを示し、(b)〜(d)は撮影レンズの位置に応じた点光源の像を示す。
以下、本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の一実施形態に係わるカメラは、デジタルカメラであり、概略、撮像素子3を有し、この撮像素子3によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を表示部(不図示)にライブビュー表示する。撮影時には、撮影者はライブビュー表示を観察し、構図やシャッタチャンスを決定する。操作部21中のレリーズ釦の半押しがなされると、コントラストAFによって撮影レンズ1の自動焦点調節を行い、さらにレリーズ釦の全押しがなされると撮影を行う。撮影時に得られた画像データを画像処理回路19によって画像処理し、画像処理した画像データをメモリ17に記録する。
図1は、本実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラの撮影レンズ1の光軸上に、撮像素子3が配置されている。撮像素子3の出力は撮像信号処理回路5に接続され、撮像信号処理回路5の出力は、AE評価値算出回路7、AF評価値算出回路9、および制御部11に接続されている。また、制御部11には、モータドライブ回路15、メモリ17、画像処理回路19、および操作部21が接続されている。モータドライブ回路15には、レンズ駆動モータ13が接続されており、レンズ駆動モータ13は撮影レンズ1の位置を変化させる。
撮影レンズ1は、被写体光束を撮像素子3に集光させ、被写体像を結像させるための光学系である。この撮影レンズ1は、制御部11からの指示に応じて動作するモータドライブ回路15によって駆動されるレンズ駆動モータ13により光軸方向に移動され、焦点状態が変化する。
撮像手段としての機能を有する撮像素子3は、前面に配置されたベイヤ―配列のカラーフィルタと、このカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子によって各画素が、また画素群によって撮像領域が構成される。撮像素子3は、CCDイメージセンサやCMOSイメージセンサ等であり、撮影レンズ1により集光された光を各画素で受光し光電流に変換し、この光電流をコンデンサ(フローティングディフュージョン)で蓄積し、アナログ電圧信号(画像信号)として撮像信号処理回路5に出力する。
撮像信号処理回路5は、撮像素子3から出力される画像信号を増幅し、アナログデジタル(AD)変換等の信号処理を行う。この撮像信号処理回路5に接続されたAE評価値算出回路7は、被写体輝度検出手段として機能し、撮像信号処理回路5から出力される画像データに基づいて、AE評価値(輝度評価値)を算出する。このAE評価値は、コントラストAFによる焦点検出のための検出領域と略同じ領域の画像データに基づいて、輝度値の積算値または平均値等である。
AF評価値算出回路9は、コントラスト検出手段として機能し、予め定められている焦点検出のための検出領域の画像データを入力し、この領域の画像のコントラストに相当する値を算出する。コントラストの算出にあたっては、画像データの高周波成分を抽出すればよいことから、デジタルハイパスフィルタ等を用いて算出する。なお、AE評価値算出回路7およびAF評価値算出回路9は、本実施形態に示すようなハードウエア回路以外にも、制御部11によってソフトウエアによって同等の機能を実行するようにしても勿論かまわない。
制御部11は、CPU等を含むASICで構成され、不揮発性の記憶部に記憶されたプログラムに従って、カメラ全体の各種シーケンスを統括的に制御する。また、制御部11は、AE評価値算出回路7およびAF評価値算出回路9等から情報を入力し、モータドライブ回路15、レンズ駆動モータ13を制御することにより、撮影レンズ1の合焦制御を行う。このとき、AE評価値を用いてAF評価値を補正した補正コントラスト値を算出する補正手段として機能し、また、補正コントラスト値に基づいて撮影レンズ1の合焦位置を検出する合焦検出手段としても機能する。また、制御部11は、画像データに基づいて算出した被写体輝度や設定ISO感度等に基づいて、適正露光となる露出制御値(シャッタ速度や絞り等)を算出し、この算出された露出制御値に基づいて露出制御を行う。
制御部11に接続された操作部21は、電源釦、レリーズ釦、各種入力キー等の操作部材である。ユーザが操作部21のいずれかの操作部材を操作すると、制御部11は、ユーザの操作に応じた各種シーケンスを実行する。操作部21の内のレリーズ釦は、1stレリーズスイッチと2ndレリーズスイッチの2段スイッチを有している。レリーズ釦が半押しされると1stレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると2ndレリーズスイッチがオンとなる。1stレリーズスイッチがオンとなると、制御部11は、AE処理やAF処理等撮影準備シーケンスを実行する。また2ndレリーズスイッチがオンとなると、制御部11は、撮影シーケンスを実行し、撮影を行う。
制御部11に接続された画像処理回路19は、撮像信号処理回路によって出力された画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。また、画像処理回路19は、画像データに基づいて、画面中に人物の顔の部分が存在するか否かの顔検出を行う。さらに、画像処理回路19は、メモリ17に記録する際に画像圧縮を行い、メモリ17から読み出した圧縮された画像データの伸張を行う。
制御部11に接続されたメモリ17は、例えば、カメラ本体に着脱自在に記憶媒体であり、画像処理回路19において圧縮された画像データおよびその付随データが記録される。なお、画像データ等を記録するための記録媒体として、カメラ本体に着脱可能な外部メモリに限らず、カメラ本体に内蔵のハードディスク等の記録媒体であってもかまわない。
次に、本実施形態における動作を説明するが、まず、本実施形態におけるコントラストAFによる自動焦点制御について図4を用いて説明する。図4(a)は、前述の図7(a)と同様、点光源が被写体の場合におけるコントラストカーブを示している。AF評価値L1は、本実施形態における補正処理を行う前のカーブを描いており、真の合焦位置P1では、AF評価値L1は極小値となっており、極大位置P2においてAF評価値L1は極大値となっている。
本実施形態においては、AF評価位置L1に対してAE評価値L2を用いて補正することにより、図4(b)に示すような補正を施したAF評価値L3を算出する。このAF評価値L3は、真の合焦位置P1においてピーク値となる。そこで、このAF評価値L3がピーク値となるように、撮影レンズ1の合焦駆動を行う。
次に、本実施形態における動作を図2および図3に示すフローチャートを用いて説明する。図2に示すフローチャートは、カメラ制御のフローの内、レリーズ釦の半押しがなされた際に行うコントラストAFによる自動焦点調節の動作を抽出して示している。自動焦点調節の動作以外は通常のカメラ制御であることから、図2に示すフローでは省略してある。
カメラ制御のフローにおいて、まず、1stレリーズ押下げがなされたか否かの判定を行う(S1)。レリーズ釦の半押しがなされると、1stレリーズスイッチがオンとなることから、このステップでは、1stレリーズスイッチのオンオフ状態に基づいて判定する。この判定の結果、1stレリーズ押下げではなかった場合には、1stレリーズ押下げがあるまで待機状態となる。
ステップS1における判定の結果、1stレリーズ押下げであった場合には、次に、レンズスキャン駆動を開始する(S3)。ここでは、制御部11はモータドライブ回路15に対してレンズ駆動モータ13を所定の方向(至近端側または無限遠側)に駆動するように指示する。
レンズスキャン駆動を開始すると、次に、AE評価値の取得を行う(S5)。ここでは、撮像素子3から出力される画像信号に基づく画像データを用いて、AE評価値算出回路7がAE評価値を算出する。続いて、AF評価値の取得を行う(S7)。ここでは、画像データを用いて、AF評価値算出回路9がAF評価値を算出する。AE評価値とAF評価値は、撮影レンズ1が同一の位置にあるところで取得した画像データを用いて算出する。
AE評価値とAF評価値を取得すると、次に、これらの評価値を用いて、AF評価値補正処理を行う(S9)。ここでは、AE評価値を用いて、図4(b)を用いて説明したような補正AF評価値を算出する。すなわち、真の合焦位置P1において、極小値とならず、極大値となるようにAF評価値に対して補正処理を行う。このAF評価値補正処理の詳しい処理については、図3に示すフローチャートを用いて後述する。
AF評価値補正処理を行うと、次に、方向判断が完了したか否かの判定を行う(S11)。ここでは、撮影レンズ1の駆動方向の判断を行う。前述したように、コントラストAFではコントラスト値(AF評価値)が大きくなる方向に撮影レンズ1を駆動するが、このステップでは、AF評価値が大きくなる駆動方向の判断が完了したか否かの判定を行う。
ステップS11における判定の結果、方向判断が完了していなかった場合には、方向判断処理を行う(S13)。ここでは、撮影レンズ1を所定の方向に移動させた際に、前回と今回の補正AF評価値を比較し、補正AF評価値が大きくなっていれば、その方向を駆動方向と決定する。一方、補正AF評価値が小さくなっていれば、前回と逆方向に撮影レンズ1を移動させ、補正AF評価値が大きくなっているか否かに応じて駆動方向を決定する。
ステップS11における判定の結果、方向判断が完了していれば、次に、ピーク検出処理を行う(S15)。ここでは、ステップS13において決定した撮影レンズ1の移動方向に向けて撮影レンズ1を移動させながら、ステップS9において求めた補正AF評価値のピークを検出する。ピークは、補正AF評価値が増加から減少に切り換わることを検出することにより探すことができる。
ステップS13における方向判断処理またはステップS15におけるピーク検出処理を行うと、次に、ピーク検出完了か否かを判定する(S17)。ここでは、ステップS15におけるピーク検出処理によって、補正AF評価値がピークを検出したかの結果に基づいて判定する。
ステップS17における判定の結果、ピークを検出していなかった場合には、ステップS5に戻り、撮影レンズ1を移動させ補正AF評価値を用いてピークを検出するまで、このループを繰り返す。一方、ステップS17における判定の結果、ピークを検出した場合には、次に、ピーク位置にレンズを移動させる(S19)。ここでは、補正AF評価値がピークを越える前の撮影レンズ1の位置と、ピークを越えたときの撮影レンズ1の位置に基づいて補間法等によって、ピーク位置を求め、その位置に撮影レンズ1を移動させる。合焦位置に撮影レンズ1を移動させると、このフローを終了する。
次に、ステップS9におけるAF評価値補正処理のフローについて、図3に示すフローチャートを用いて説明する。AF評価値補正処理のフローに入ると、まず、測定Bvが基準Bvよりも大きいか否かの判定を行う(S31)。夜景のように周囲が暗い場合に、点光源の被写体が存在すると、前述したように撮影レンズ1が偽合焦の位置に駆動されてしまうおそれがあることから、このステップでは、周囲が予め決められた明るさよりも明るいか否かを判定する。
ステップS31における判定にあたって、測定BvはAE評価値算出回路7から出力されるAE評価値を用いてもよいが、本実施形態においては、画面全体の明るさから判定できるようにするために、露出制御のために使用する被写体輝度値(=Bv)を用いて判定する。この露出制御用被写体輝度は、撮像信号処理回路5から出力される画像データを用いて、算出する。また、基準Bvは、点光源の被写体に対して偽合焦となってしまう程度の周囲の明るさに応じて適宜設定しておけばよい。
ステップS31における判定の結果、測定Bvが基準Bvよりも大きくなかった場合、すなわち、予め決められた基準Bvよりも暗かった場合には、次に、顔が検出されているか否かの判定を行う(S33)。被写体の中に人物の顔が含まれている場合、一般的には顔を主要被写体と捉えるため、ここでは、画像処理回路19によって顔検出されたか否かに基づいて判定する。なお、被写体の中に点光源が含まれていない、もしくは他に優先する被写体が識別できればよいことから、顔に限定せず、顔以外の被写体も含めて判定するようにしてもよい。
ステップS33における判定の結果、顔が検出されていなかった場合には、次に、設定ISOが基準ISOよりも高いか否かの判定を行う(S35)。ここで、ISOは撮像素子の感度を表わしており、数字が大きいほど感度が高い。ISO感度が高い場合には、AF評価値のレベルが高くなる。そこで、ステップS35〜S39において設定ISO感度に応じて、AF評価値の補正処理を変えている。このステップでは、撮影者によって手動設定されたISO感度、または被写体輝度に応じて自動設定されたISO感度が、予め決められた基準ISO感度と比較して判定する。
ステップS35における判定の結果、設定ISOが基準ISOよりも高かった場合には、AF評価値閾値AFvalThとして基準Th1を設定する(S37)。一方、判定の結果、設定ISOが基準ISOよりも低かった場合には、AF評価値閾値AFvalThとして基準Th2を設定する(S39)。ここで設定されたAF評価値閾値AFvalThは、次のステップS41における判定の際に使用する。
ステップS37およびS39においてAF評価値閾値AFvalThを設定すると、次に、補正前AF評価値AFvalOrgが、AF評価値閾値AFvalThより大きいか否かの判定を行う(S41)。ここで、補正前AF評価値AFvalOrgは、補正前のAF評価値であって、AF評価値算出回路9から出力された値である。
ステップS41における判定の結果、補正前AF評価値AFvalOrgが、AF評価値閾値AFvalThより大きい場合には、nとして強調係数1を設定する(S43)。ここで、nはAF評価値補正を行う際の強弱係数である。一方、判定の結果、AF評価値閾値AFvalThより小さい場合には、強弱係数nとして強調係数2を設定する(S45)。なお、強調係数1>強調係数2の関係がある。
また、ステップS31における判定の結果、測定Bvが基準Bvよりも大きかった場合には、またはステップS33における判定の結果、顔が検出された場合には、強弱係数nとして1を設定する(S47)。この強弱係数は、後述するステップS49における式(1)におけるべき乗であり、n=1の場合にはAE評価値に応じた比率そのものとなる。n=1とすることにより、AE評価値に応じた補正係数とすることにより、AF評価値を算出するにあたって、輝度のゆらぎの影響を除去できる。なお、点光源の被写体ではないと判定された場合であることから、n=0と設定することにより、補正係数を1とし、補正後のAF評価値を、補正前のAF評価値と同じ値としてもよい。
ステップS43〜S47において、強弱係数nを設定すると、次に、下記式(1)より補正後AF評価値AFvalを求める(S49)。
AFval=(AEvalStd/AEval)*AFvalOrg ・・・(1)
ここで、AEvalStdは基準AE評価値であり、AE評価値AEvalが取り得る値の範囲よりも大きな値を予め設定しておく。また、AE評価値AEvalは、AE評価値算出回路7によって算出されたAE評価値である。このAE評価値は、前述したように、コントラストAFによる焦点検出のための検出領域と略同じ領域の画像データに基づいて算出された被写体輝度に相当する値である。また、AFvalOrgは、ステップS41において前述したように、補正前AF評価値である。なお、*は乗算を示す。この(1)式によって補正したAF評価値AFvalを演算すると、元のフローに戻る。
上述の(1)式において、補正後AF評価値AFvalを算出するが、この(1)式中の(AEvalStd/AEval)、すなわち、基準AE評価値/AE評価値は、AE評価値の減少に応じて値が増加する(ただし、基準AE評価値>AE評価値)。つまり、図4(a)に示すように、AE評価値L2は、合焦位置P1において極小値となることから、固定値である基準AE評価値をAE評価値L2で除算した値(すなわちAEvalStd/AEval)は、AE評価値L2の極小値(=AF評価値L1の極小値)において最大となる。したがって、(1)式中の基準AE評価値/AE評価値(=AEvalStd/AEval)を補正前AF評価値L1に乗ずることにより、図4(a)に示すようにM字形状になっているコントラストカーブを、図4(b)に示すように、凸状に補正することができる。
また、確実に補正を行うために、基準AE評価値/AE評価値をべき乗することによって、輝度低下に対してより大きな補正効果を得るようにしている。ただし、べき乗の補正は、輝度変化に対して敏感であるため、補正前AF評価値の大小に関わらず一律に補正を施すと、元々変化の小さいコントラストカーブの裾野が荒れてしまう。このことを、図5を用いて説明する。
図5(a)は、補正前のAF評価値AFvalOrg(L1)を示しており、位置P4において、AE評価値AEval(L2)にノイズによる変動が有るとする。このような補正前のAF評価値L1に対して、大小に関わらず一律に補正を施すと、言い換えると、(1)式において、べき乗nの値を補正前のAF評価値に関わりなく一律の値とすると、図5(b)に示すように、位置P4に極大値が現われる。このようなAF評価値に極大値が現われると、コントラストAFでは、位置P4を誤って合焦位置とするおそれがあり、偽合焦となってしまう。
そこで、本実施形態においては、ステップS41において、補正前のAF評価値AFvalOrgが、AF評価値閾値AFvalTh(図5(a)(c)参照)より大きいか否かに応じて、べき乗nの値を変えている。すなわち、AF評価値がAF評価値閾値よりも大きい場合には、べき乗nは強調係数1となり大きな補正係数でAF評価値を補正する。一方、AF評価値がAF評価値閾値より小さい場合には、べき乗nは強調係数2となり小さな補正係数でAF評価値を補正する。この補正の結果、図5(c)に示すように、補正後のAF評価値L3は、合焦位置P1で凸状になり、また、位置P4付近において凸状となることが無くなる。
以上説明したように、本実施形態においては、コントラスト検出手段(AF評価値算出回路9)によって算出されたコントラスト値(AFvalOrg)を、対応する撮影レンズ1の位置における輝度評価値(AE評価値AEval)に応じて補正することにより、補正コントラスト値(AFval)を算出し、この補正コントラスト値に基づいて撮影レンズ1の合焦位置を検出するようにしている。このため、低輝度被写体と点光源被写体の双方に対して、高速かつ偽合焦を少なくすることが可能となる。すなわち、点光源の被写体に対して、コントラストカーブが図4(a)に示すようなM字状になっても、補正することにより、図4(b)に示すような凸状のコントラストカーブになることから、偽合焦を少なくすることができる。特許文献1に記載の焦点検出装置においては、極大位置と極小位置の両方を検出しなければ、最終的な合焦位置を判定することができない。これに対して、本実施形態においては、コントラスト値を補正しながら、ピークのみを検出すればよく、極小値の検出を必要としない。
また、本実施形態においては、輝度評価値に対する比率(基準AE評価値/AE評価値)を補正係数として算出している。合焦点付近で極小となるAE評価値を用いて、補正係数を算出し、これを用いてコントラスト値を補正することから、合焦点付近でピークとなるコントラストカーブを得ることができる。
さらに、本実施形態においては、補正係数を算出するにあたって、コントラスト値に応じて調整、すなわち、補正前のAF評価値がAF評価値閾値より大きいか否かによって、補正係数を変えるようにしている(図3のS41参照)。このため、AE評価値の変化によって偽合焦が発生することを防止することができる。
さらに、本実施形態においては、撮像手段のISO感度に応じて、AF評価値閾値を変更するようにしている(図3のS35参照)。ISO感度が高い場合には、AF評価値も高くなるため、一律のAF評価値閾値では、偽合焦が発生し易いが、ISO感度に応じて閾値を変更することにより、偽合焦の発生を防止することができる。
さらに、本実施形態においては、被写体像の被写体輝度に応じて、補正係数を調整するか否かを判断している(図3のS31参照)。被写体が点光源の場合は、夜景のように、周囲が暗い場合が多いことから、この判断を行っている。点光源でないにも関わらず、補正処理を行うことを防止できる。
さらに、本実施形態においては、被写体像に顔の部分が含まれるか否かに応じて、補正係数を調整するか否かを判断している(図3のS33参照)。顔が検出された場合、一般的に顔が主要被写体となるため、この判断を行っている。これにより主要被写体が点光源でないにも関わらず、補正処理を行うことを防止できる。
なお、本実施形態においては、AF評価値の補正係数として、(AEvalStd/AEval)の演算式によって求めているが、この演算式に限らず、輝度に応じてM字状のコントラストカーブを凸状のコントラストカーブに変換できる演算式であれば勿論かまわない。
また、本実施形態においては、被写体輝度(図3のS31参照)、顔検出(S33)、および設定ISO感度(S35)の条件によってべき乗の強弱係数nを変更していたが、これらのいずれかを省略してもよく、また他の条件を追加してもよい。他の条件としては、夜景モード等のシーン等によって変更するようにしてもよい。また、多少の偽合焦を許容するのであれば、べき乗のnを一律の値としてもよい。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、コントラストAFによって自動焦点調節を行うことが可能な機器であれば、本発明を適用することができる。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1・・・撮影レンズ、3・・・撮像素子、5・・・撮像信号処理回路、7・・・AE評価値算出回路、9・・・AF評価値算出回路、11・・・制御部、13・・・レンズ駆動モータ、15・・・モータドライブ回路、17・・・メモリ、19・・・画像処理回路、21・・・操作部、L1・・・AF評価値、L2・・・AE評価値、L3・・・AF評価値、P1・・・合焦位置、P2・・・極大位置、P3・・・位置、P4・・・位置

Claims (7)

  1. 撮影レンズを介して被写体像を撮像し、画像データを生成する撮像手段と、
    上記画像データに基づいて、上記撮影レンズの位置ごとに、上記被写体像のコントラストに相当するコントラスト値を検出するコントラスト検出手段と、
    上記画像データに基づいて、上記撮影レンズの位置ごとに、上記被写体像の被写体輝度に相当する輝度評価値を検出する被写体輝度検出手段と、
    上記コントラスト値を、対応する上記撮影レンズの位置における上記輝度評価値に応じて補正し、補正コントラスト値を算出する補正手段と、
    上記補正手段により補正された上記補正コントラスト値に基づいて、上記撮影レンズの合焦位置を検出する合焦検出手段と、
    を有することを特徴とする撮像装置。
  2. 上記補正手段は、上記輝度評価値に対する比率を補正係数として算出し、上記補正係数を用いて上記コントラスト値を補正することを特徴とする請求項1に記載の撮像装置。
  3. 上記補正手段は、上記補正係数を上記コントラスト値に応じて調整することを特徴とする請求項2に記載の撮像装置。
  4. 上記補正手段は、上記コントラスト値を所定の閾値と比較し、上記補正係数を調整するか否かを判断するとともに、上記撮像手段の感度に応じて上記閾値を変更することを特徴とする請求項3に記載の撮像装置。
  5. 上記補正手段は、上記被写体像の被写体輝度に応じて、上記補正係数を調整するか否かを判断することを特徴とする請求項3に記載の撮像装置。
  6. 上記補正手段は、上記被写体像に顔の部分が含まれるか否かに応じて、上記補正係数を調整するか否かを判断することを特徴とする請求項3に記載の撮像装置。
  7. レンズを介して画像を撮像して画像データを生成し、
    上記画像データに基づいて、上記レンズの位置ごとに、上記画像のコントラストに相当するコントラスト値を検出し、
    上記画像データに基づいて、上記レンズの位置ごとに、上記画像の輝度に相当する輝度評価値を検出し、
    上記コントラスト値を、対応する上記レンズの位置における上記輝度評価値に応じて補正して補正コントラスト値を算出し、
    上記補正コントラスト値に基づいて、上記レンズの合焦位置を検出する、
    ことを特徴とする自動焦点調節方法。
JP2010039586A 2010-02-25 2010-02-25 撮像装置及び自動焦点調節方法 Expired - Fee Related JP5523143B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010039586A JP5523143B2 (ja) 2010-02-25 2010-02-25 撮像装置及び自動焦点調節方法
US13/032,972 US8786762B2 (en) 2010-02-25 2011-02-23 Imaging device and automatic focus adjustment method
CN201110046900.6A CN102169276B (zh) 2010-02-25 2011-02-25 摄像装置和自动焦点调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010039586A JP5523143B2 (ja) 2010-02-25 2010-02-25 撮像装置及び自動焦点調節方法

Publications (2)

Publication Number Publication Date
JP2011175119A true JP2011175119A (ja) 2011-09-08
JP5523143B2 JP5523143B2 (ja) 2014-06-18

Family

ID=44476202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010039586A Expired - Fee Related JP5523143B2 (ja) 2010-02-25 2010-02-25 撮像装置及び自動焦点調節方法

Country Status (3)

Country Link
US (1) US8786762B2 (ja)
JP (1) JP5523143B2 (ja)
CN (1) CN102169276B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014202961A (ja) * 2013-04-05 2014-10-27 キヤノン株式会社 撮像装置及び撮像方法
JP2015169907A (ja) * 2014-03-10 2015-09-28 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN105847678A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 一种控制移动终端的摄像头的装置、方法和智能手环
JP2017009752A (ja) * 2015-06-19 2017-01-12 オリンパス株式会社 焦点検出装置、焦点検出方法、および記録媒体
KR101795604B1 (ko) * 2011-11-24 2017-11-09 삼성전자주식회사 자동 초점 조절 장치 및 그 제어방법
JP2018132748A (ja) * 2017-02-18 2018-08-23 オリンパス株式会社 撮像装置および焦点調節方法
US10440283B2 (en) 2016-07-15 2019-10-08 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
JP2021004934A (ja) * 2019-06-25 2021-01-14 オリンパス株式会社 焦点調節装置および焦点調節方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600226B2 (en) * 2010-08-30 2013-12-03 Samsung Electronics Co., Ltd. Focusing methods and apparatus, and recording media for recording the methods
JP5857610B2 (ja) * 2011-10-13 2016-02-10 株式会社リコー 撮像装置および撮像方法
JP5883654B2 (ja) * 2012-01-06 2016-03-15 株式会社 日立産業制御ソリューションズ 画像信号処理装置
CN104823094B (zh) * 2012-11-29 2017-08-11 富士胶片株式会社 摄像装置及对焦控制方法
KR20140091959A (ko) * 2013-01-14 2014-07-23 삼성전자주식회사 초점상태 표시장치
JP6253245B2 (ja) * 2013-04-17 2017-12-27 キヤノン株式会社 撮像装置及び撮像方法
CN110418057A (zh) * 2013-10-01 2019-11-05 株式会社尼康 电子设备
JP6151176B2 (ja) * 2013-12-27 2017-06-21 株式会社 日立産業制御ソリューションズ フォーカス制御装置及び方法
JP6438671B2 (ja) * 2014-04-10 2018-12-19 オリンパス株式会社 焦点調節装置、カメラシステム、および撮像装置の焦点調節方法
US9635242B2 (en) * 2014-09-29 2017-04-25 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
JP6537288B2 (ja) * 2015-02-05 2019-07-03 オリンパス株式会社 焦点調節装置および焦点調節方法
TWI598655B (zh) 2015-12-11 2017-09-11 鴻海精密工業股份有限公司 攝影機自動對焦方法及裝置
CN106878602A (zh) * 2015-12-11 2017-06-20 南宁富桂精密工业有限公司 摄像机自动对焦方法及装置
CN105791683B (zh) * 2016-02-29 2019-02-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN107643578A (zh) * 2016-07-21 2018-01-30 中兴通讯股份有限公司 一种自动对焦方法、装置和移动终端
CN106506973B (zh) * 2016-12-06 2020-02-04 Oppo广东移动通信有限公司 对焦控制方法、装置、电子设备及终端设备
CN107197152B (zh) 2017-06-16 2020-01-14 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端
CN107105172B (zh) * 2017-06-27 2021-01-29 虹软科技股份有限公司 一种用于对焦的方法和装置
JP2019070751A (ja) * 2017-10-10 2019-05-09 オリンパス株式会社 観察装置および焦点調節方法
CN108198195B (zh) * 2017-12-28 2021-04-16 努比亚技术有限公司 一种对焦的方法、终端及计算机可读存储介质
CN108833770B (zh) * 2018-05-23 2020-11-06 释码融和(上海)信息科技有限公司 用于调焦的图像清晰度计算方法、计算设备及调焦系统
JP7327945B2 (ja) * 2019-02-21 2023-08-16 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
CN111131721B (zh) * 2019-12-30 2022-04-15 深圳市道通智能航空技术股份有限公司 图像曝光方法及装置、无人机
TWI774418B (zh) * 2021-06-11 2022-08-11 大陸商廣州立景創新科技有限公司 相機模組、對焦調整系統及對焦方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156597A (ja) * 2003-11-20 2005-06-16 Canon Inc 自動焦点調節装置及び方法及びプログラム及び記憶媒体
JP2005345947A (ja) * 2004-06-07 2005-12-15 Canon Inc 自動合焦装置
JP2005345877A (ja) * 2004-06-04 2005-12-15 Olympus Corp 焦点検出装置及び焦点検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565370B2 (ja) * 2000-12-22 2010-10-20 富士フイルム株式会社 電子カメラ及びオートフォーカス制御方法
JP2004309653A (ja) * 2003-04-03 2004-11-04 Minolta Co Ltd 撮像装置
JP4777001B2 (ja) * 2005-07-26 2011-09-21 キヤノン株式会社 自動焦点調節装置および撮像装置
JP2008242226A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp 撮影装置、及び撮影レンズの合焦制御方法
CN101344702B (zh) * 2007-07-13 2011-01-19 佛山普立华科技有限公司 自动对焦系统及自动对焦方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156597A (ja) * 2003-11-20 2005-06-16 Canon Inc 自動焦点調節装置及び方法及びプログラム及び記憶媒体
JP2005345877A (ja) * 2004-06-04 2005-12-15 Olympus Corp 焦点検出装置及び焦点検出方法
JP2005345947A (ja) * 2004-06-07 2005-12-15 Canon Inc 自動合焦装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101795604B1 (ko) * 2011-11-24 2017-11-09 삼성전자주식회사 자동 초점 조절 장치 및 그 제어방법
JP2014202961A (ja) * 2013-04-05 2014-10-27 キヤノン株式会社 撮像装置及び撮像方法
JP2015169907A (ja) * 2014-03-10 2015-09-28 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017009752A (ja) * 2015-06-19 2017-01-12 オリンパス株式会社 焦点検出装置、焦点検出方法、および記録媒体
CN105847678A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 一种控制移动终端的摄像头的装置、方法和智能手环
US10440283B2 (en) 2016-07-15 2019-10-08 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
JP2018132748A (ja) * 2017-02-18 2018-08-23 オリンパス株式会社 撮像装置および焦点調節方法
JP2021004934A (ja) * 2019-06-25 2021-01-14 オリンパス株式会社 焦点調節装置および焦点調節方法
JP7281977B2 (ja) 2019-06-25 2023-05-26 オリンパス株式会社 焦点調節装置および焦点調節方法

Also Published As

Publication number Publication date
JP5523143B2 (ja) 2014-06-18
CN102169276A (zh) 2011-08-31
US8786762B2 (en) 2014-07-22
CN102169276B (zh) 2014-08-06
US20110205403A1 (en) 2011-08-25

Similar Documents

Publication Publication Date Title
JP5523143B2 (ja) 撮像装置及び自動焦点調節方法
JP6474693B2 (ja) 焦点検出装置、焦点検出方法、および記録媒体
JP6457776B2 (ja) 撮像装置および撮像装置の制御方法
JP2004040712A (ja) 撮像装置
US20130286254A1 (en) Image capturing apparatus, control method, and recording medium
JP6284408B2 (ja) 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
JP2010232711A (ja) 撮像装置および画像処理プログラム
US8743209B2 (en) Image pickup apparatus and method for controlling the same
JP2010072619A (ja) 露出演算装置およびカメラ
JP5952975B2 (ja) 撮像装置および撮像方法
JP2009284136A (ja) 電子カメラ
JP6811114B2 (ja) 撮像装置および焦点調節方法
JP5515852B2 (ja) 撮像装置及び画像生成プログラム
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2007295312A (ja) デジタルカメラ
JP5316098B2 (ja) 撮像装置、撮像方法、および、プログラム
JP2007295311A (ja) デジタルカメラ
JP5522299B2 (ja) 撮像装置、撮像方法、および、プログラム
JP6222904B2 (ja) 撮像装置およびその制御方法
JP5245644B2 (ja) 露出演算装置
JP2012204952A (ja) 露出制御装置及びカメラ
JP2009081528A (ja) 撮像装置
JP5993232B2 (ja) 撮像装置および撮像装置の焦点調節方法
JP6148575B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP5157559B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140408

R151 Written notification of patent or utility model registration

Ref document number: 5523143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees