JP2016114811A - フォーカス制御装置、撮像装置及びフォーカス制御方法 - Google Patents

フォーカス制御装置、撮像装置及びフォーカス制御方法 Download PDF

Info

Publication number
JP2016114811A
JP2016114811A JP2014253918A JP2014253918A JP2016114811A JP 2016114811 A JP2016114811 A JP 2016114811A JP 2014253918 A JP2014253918 A JP 2014253918A JP 2014253918 A JP2014253918 A JP 2014253918A JP 2016114811 A JP2016114811 A JP 2016114811A
Authority
JP
Japan
Prior art keywords
subject information
subject
control unit
priority
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014253918A
Other languages
English (en)
Other versions
JP6246705B2 (ja
JP2016114811A5 (ja
Inventor
伊織 梅澤
Iori UMEZAWA
伊織 梅澤
秀治 大野
Hideji Ono
秀治 大野
友明 西口
Tomoaki Nishiguchi
友明 西口
敏之 横山
Toshiyuki Yokoyama
敏之 横山
敏史 井口
Toshifumi Inokuchi
敏史 井口
幸利 城田
Yukitoshi SHIROTA
幸利 城田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2014253918A priority Critical patent/JP6246705B2/ja
Priority to US14/940,229 priority patent/US20160173756A1/en
Publication of JP2016114811A publication Critical patent/JP2016114811A/ja
Publication of JP2016114811A5 publication Critical patent/JP2016114811A5/ja
Application granted granted Critical
Publication of JP6246705B2 publication Critical patent/JP6246705B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】コントラスト信号レベルのピークが検出し難い暗所や色が均一の被写体に対してフォーカスレンズを合焦するには時間が掛かっていた。【解決手段】制御部は、撮像領域内に複数の検波領域を設定する。次に、制御部は、複数の検波領域の内、算出された最大のコントラスト信号レベルと、最小のコントラスト信号レベルとのコントラスト信号レベルの差をレベル差閾値と比較する。次に、制御部は、この比較結果に基づいて被写体の被写体情報に優先度を付与する。そして、制御部は、被写体情報に設定された優先度に従って、記憶部に被写体情報を記憶し、記憶部から読み出した被写体情報に基づいてフォーカスレンズを駆動し、フォーカスレンズを合焦状態とする。【選択図】図11

Description

本発明は、被写体に対してオートフォーカス制御を行うフォーカス制御装置、撮像装置及びフォーカス制御方法に関する。
従来、監視カメラやDVD(Digital Versatile Disc)カメラ等のビデオレコーダ付きの多くの撮像装置には、レンズのフォーカスを自動調整するAF(Auto Focus)機能が搭載されている。このようなAF機能における合焦方式として、撮影映像のコントラスト信号の振幅が最大値になる位置を合焦状態であるとしてフォーカスの調整を行う、コントラスト方式がある。
撮像装置においては、フォーカスレンズをその光軸方向に移動させることによって、撮影映像が非合焦状態又は合焦状態となるが、これに伴ってコントラスト信号の振幅も変化する。よって、基本的なコントラスト方式では、フォーカスレンズをその光軸方向に移動させ、移動前後のコントラスト信号の振幅の大小に基づいて合焦する方向を検出し、その方向にフォーカスレンズを移動させて合焦を行っている。以下の説明では、AF機能に従ってフォーカスレンズを合焦させる制御を「AF制御」と呼ぶ。また、AF制御によってフォーカスレンズが移動していたり、AF機能を実行するために処理を行っていたりする状態を「AF動作」と呼ぶ。一方、AF機能の実行中であるがフォーカスレンズの移動を停止している状態を「AF待機」と呼ぶ。
ところで、このコントラスト方式で注目するコントラストの強弱は被写体に依存する。ここで、図13と図14を参照して低コントラスト被写体を撮像するときの様子を説明する。
図13は、夜間に従来の撮像装置が撮像領域内で撮像する被写体の例を示す。この撮像領域は、撮像装置に接続された表示装置の出力画面の大きさとほぼ同じである。
図14は、撮像装置が低コントラスト被写体102を撮像するときに検波したコントラスト信号を示す。
従来の撮像装置は、撮像領域100の中心付近にある検波領域101の内側で低コントラスト被写体102(例えば、タワー型の建築物)のコントラスト信号を検波する。しかし、夜間には低コントラスト被写体102自体が暗く、背景も黒であるため、低コントラスト被写体102の輪郭が背景に溶け込んでしまう。
図14に示すように低コントラスト被写体102の鮮鋭度の度合いを表すコントラスト信号レベルの形がなだらかであり、撮像装置がフォーカスレンズを光軸方向に移動させてもコントラスト信号レベルのピークとなる合焦点を見つけにくい。このため、フォーカスレンズがハンチングを起こしたり、合焦しないままAFが停止したりすることがあった。
このような理由から、AF機能にコントラスト方式を使用している監視カメラにおいては、色が均一な建物の壁や空には合焦させ難く、特に暗所においては、図14に示したような合焦点が見つからないといった不具合が生じ易い。従って、低コントラストの被写体を撮影する際は、ハンチングを抑え、さらには、合焦点付近まで速やかにフォーカスレンズを移動させたいという要望があった。
特許文献1には、ズームレンズにおいて代表される複数のズーム位置に対応してそれぞれ撮影距離最頻値を不揮発性メモリに有し、測距不能の場合には、そのズーム位置に対応する撮影距離最頻値を読み出して焦点調整を行うことが開示されている。この撮影距離最頻値はカメラの倍率毎に合焦位置の履歴から平均値を求めたものである。
特開平11-38309号公報
特許文献1に開示されている手法では、現在撮影している被写体が測距可能であった場合、次回以降のAF動作の際に使用する撮影距離最頻値を計算するための過去の合焦位置として、現在撮影している被写体までの距離を不揮発性のメモリ内に格納する。このように測距可能であれば、AF動作の停止時にフォーカスレンズの停止位置から求めた被写体の距離情報が不揮発性のメモリ内に必ず格納される。このため、同じ倍率でも位置情報が大きく異なる被写体を撮影する環境では、撮影距離最頻値はその平均値となり、撮影距離最頻値は合焦点からは遠い位置となる。
従って、従来の撮像装置では、撮影距離最頻値を参照し、フォーカスレンズの合焦を試みても、測距不能な被写体に対しフォーカスレンズを合焦することが難しかった。また、測距不能な被写体と測距可能な被写体の間に相関はないため、従来の撮像装置が測距不能な被写体を撮影する際、撮影距離最頻値が合焦位置とは違う値となることも十分に考えられる。
本発明は以上の点を考慮してなされたものであり、低コントラストの被写体に対して適切なフォーカス制御を行うことを目的とする。
本発明に係るフォーカス制御装置は、駆動部と、信号生成部と、制御部と、を備える。
駆動部は、被写体に対して合焦状態を得るためにフォーカスレンズを駆動する。信号生成部は、フォーカスレンズを通じて結像された被写体の光学像を撮像して撮像信号を出力する撮像部の撮像領域内に設定された複数の検波領域に対し、各々の検波領域に対応する撮像信号からコントラスト信号を生成する。制御部は、撮像領域内に複数の検波領域を設定する。次に、制御部は、複数の検波領域の内、算出された最大のコントラスト信号レベルと、最小のコントラスト信号レベルとの差を、所定のレベル差閾値と比較して、比較結果に基づいて被写体の被写体情報に優先度を付与する。また、制御部は、被写体情報に設定された優先度に従って、記憶部に被写体情報を記憶する。そして、制御部は、記憶部から読み出した被写体情報に基づいて駆動部を制御し、フォーカスレンズを合焦状態とする。
また、上記目的は、上記フォーカス制御装置を備える撮像装置、及び上記フォーカス制御装置において実行されるフォーカス制御方法によっても達成される。
本発明によれば、複数の検波領域毎に算出されたコントラスト信号レベルに基づく優先度に従ってフォーカスレンズを良好に駆動することができる。例えば、制御部は、低コントラストの被写体から得られる被写体情報を優先して記憶部に記憶し、この被写体情報に基づき、合焦点付近と予想される位置にフォーカスレンズを速やかに駆動する。このため、フォーカスレンズが合焦するまでに要する時間を短縮することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態例の説明により明らかにされる。
本発明の一実施の形態例に係る撮像装置の全体構成を示すブロック図である。 本発明の一実施の形態例に係る撮像領域内の検波領域の一例を示す説明図である。 本発明の一実施の形態例に係る第2検波領域の一例を示す説明図である。 本発明の一実施の形態例に係る第1低コントラスト被写体の例を示す説明図である。図4Aは、被写体の例を示し、図4Bは検波領域内でのコントラスト信号レベルの例を示し、図4Cは第2検波領域の例を示す。 本発明の一実施の形態例に係る第2低コントラスト被写体の例を示す説明図である。図5Aは、被写体の例を示し、図5Bは検波領域内でのコントラスト信号レベルの例を示し、図5Cは第2検波領域の例を示す。 本発明の一実施の形態例に係る予備用コントラスト被写体の例を示す説明図である。図6Aは、被写体の例を示し、図6Bは検波領域内でのコントラスト信号レベルの例を示し、図6Cは第2検波領域の例を示す。 本発明の一実施の形態例に係る制御部が分類した被写体に付与される第1〜第3優先度を示す説明図である。 本発明の一実施の形態例に係るメモリが有する一次被写体情報格納領域、被写体情報格納領域、距離情報テーブル及び各閾値の構成例を示す説明図である。 本発明の一実施の形態例に係る被写体情報テーブルの構成例を示す説明図である。 本発明の一実施の形態例に係る制御部が被写体情報格納領域に格納する被写体情報を選出するために参照する第3閾値と第4閾値の関係を示す説明図である。 本発明の一実施の形態例に係る撮像装置が行うAF動作の処理例を示す第1のフローチャートである。 本発明の一実施の形態例に係る撮像装置が行うAF動作の処理例を示す第2のフローチャートである。 夜間に従来の撮像装置が撮像領域内で撮像する被写体の例を示す説明図である。 従来の撮像装置が低コントラスト被写体を撮像するときに検波したコントラスト信号を示す説明図である。
以下、本発明の一実施の形態例に係る撮像装置及びフォーカス制御装置について、添付図面を参照して説明する。
本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
[(1)本実施の形態に係る撮像装置の構成]
図1は、本実施形態に係る撮像装置1の全体構成を示すブロック図である。
撮像装置1は、レンズユニット2、撮像素子8、ノイズ除去回路9、自動利得制御回路(AGC:Auto Gain Controller)10、アナログ/ディジタル変換回路(A/D)11及びオートフォーカス制御装置12を備える。また、撮像装置1は、モータドライバ回路41〜43、電子シャッタ47を備える。撮像装置1は、例えば監視カメラとして用いられるが、個人用のカメラとして用いられたり、携帯端末に内蔵されて用いられたりもする。図1では、自動利得制御回路10をAGCと記載し、アナログ/ディジタル変換回路11をA/Dと記載している。
レンズユニット2は、被写体から受光した光束の変倍を行うことでズーム倍率を調節するバリエータレンズ群3、受光光量を調整するための絞り4及びピント調節機能を有するフォーカスレンズ群5(フォーカスレンズの一例)を備える。レンズユニット2は、被写体の光学像をCCD(Charge Coupled Device)等を用いて構成される撮像素子8の受光面に結像する。
また、レンズユニット2は、例えばフォトインタラプタ等から構成されるレンズ原点検出器6及び温度検出器7を備える。レンズ原点検出器6は、バリエータレンズ群3及びフォーカスレンズ群5の絶対位置(基準位置)を検出し、検出結果をレンズ絶対位置情報として制御部30、又は、撮像装置1と通信を行える外部システムに送信する。以下の説明では、レンズ原点検出器6が検出したバリエータレンズ群3及びフォーカスレンズ群5の絶対位置に対して、フォーカスレンズ群5が移動した位置を「フォーカスレンズ位置」と呼ぶ。そして、被写体に対して合焦したフォーカスレンズ群5の位置を「合焦位置」と呼ぶ。
温度検出器7は、レンズユニット2内の温度を検出し、検出結果をレンズユニット内温度情報として、撮像装置1に搭載されている制御部30又は、撮像装置1と通信を行える外部システムに送信する。外部システムは、例えば制御コンピュータによって構成されており、制御部30を介してレンズ絶対位置情報又はレンズユニット内温度情報を受信することができる。
さらに、レンズユニット2は、バリエータレンズ群3、絞り4及びフォーカスレンズ群5をそれぞれ駆動させるモータ44〜46を有している。モータ44〜46は、それぞれモータドライバ回路41〜43から入力するモータ制御信号によって駆動される。
撮像素子8(撮像部の一例)は、フォーカスレンズ群5を通じて受光面の撮像領域に結像された被写体の光学像を撮像して、この光学像を光電変換し、得られた電気信号(撮像信号)をノイズ除去回路9に出力する。この撮像信号は、ノイズ除去回路9において所定のノイズ除去処理が施され、自動利得制御回路10において最適なレベルに増幅される。そして、撮像信号は、アナログ/ディジタル変換回路11においてディジタル変換された後、ディジタル撮像信号としてカメラ信号処理部13に出力される。
オートフォーカス制御装置12は、カメラ信号処理部13と制御部30を備える。
カメラ信号処理部13は、信号変換処理回路14、コントラスト信号生成部15、AE(Auto Exposure)信号生成回路18、被写体情報信号生成回路19、及びAG(Auto Gain)信号生成回路20を備える。
信号変換処理回路14は、アナログ/ディジタル変換回路11から入力されるディジタル撮像信号に対し、所定の信号処理を施す。このとき、信号変換処理回路14は、ディジタル撮像信号を、例えばNTSC(National Television Standards Committee)規格やPAL(Phase Alternating Line)規格等のテレビジョン方式に準拠した標準的なテレビジョン信号に変換して外部に出力する。例えば、信号変換処理回路14は、このテレビジョン信号を、撮像装置1とネットワークを介して通信を行う外部システムに送信する。外部システムにおいて、テレビジョン信号に基づく画像が表示装置の画面に表示される。
さらに、カメラ信号処理部13は、HPF(ハイパスフィルタ)回路16及び積分器17からなるコントラスト信号生成部15(信号生成部の一例)を備える。HPF回路16は、カットオフ周波数の値を自在に変更できる。そして、HPF回路16は、任意のカットオフ周波数より高い信号を生成し、積分器17に出力する。積分器17は、HPF回路16から入力された信号を積分したコントラスト信号VFを制御部30に送出する。なお、HPF回路16及び積分器17からなるコントラスト信号生成部15は、任意のテレビジョン信号の領域から値を取得することができる。HPF回路16と積分器17との各組み合わせは、後述する図3に示すように撮像素子8の撮像領域に設定される各第2検波領域(複数の検波領域の一例)に対応して設けてもよい。
ここで、図2と図3を参照して、コントラスト信号生成部15がコントラスト信号を生成する検波領域について説明する。
図2は、本実施形態に係る撮像領域内の第1検波領域の一例を示す。
撮像装置1から出力されるテレビジョン信号は、外部システムの表示装置の出力画面に表示される。撮像領域50に撮像される画像が、出力画面に表示されることとなる。撮像領域50の中心付近には、矩形枠の第1検波領域51が設けられている。コントラスト信号生成部15は、第1検波領域51内で被写体のコントラストを検波し、コントラスト信号を生成する。
図3は、本実施形態に係る撮像領域内の第2検波領域の一例を示す。
コントラスト信号生成部15は、撮像領域50内に設定された9つの第2検波領域52a〜52i(複数の検波領域の一例)に対し、各々の検波領域に対応する撮像信号からコントラスト信号を生成する。そして、制御部30は、第2検波領域52a〜52i毎にコントラスト信号レベルを求める。第2検波領域52a〜52i毎のコントラスト信号レベルは、後述するように制御部30が、被写体を低コントラスト被写体であるかどうかを判別し、この被写体の優先度情報に所定の優先度を付与するために用いられる。そして、制御部30は、被写体情報に設定された優先度に従って、メモリ32に被写体情報を記憶する。
図1の撮像装置1の構成及び動作の説明に戻る。
コントラスト信号生成部15は、信号変換処理回路14により生成されたテレビジョン信号(撮像画像)のうちの第1検波領域51における輝度信号の高周波成分を、HPF回路16によって抽出する。ある検波領域における輝度信号の高周波成分は、例えば、当該検波領域内のある画素が出力する輝度信号(輝度値)と隣接する画素又は所定の画素数分だけ離れた画素が出力する輝度信号との差分を取ることにより抽出される。この抽出処理を、第1検波領域51内の全画素について行う。そして、カメラ信号処理部13は、抽出した第1検波領域51内の全画素の輝度信号の高周波成分を、積分器17において積分処理することにより、コントラスト信号VFを生成して制御部30に送出する。
AE信号生成回路18は、入力されたテレビジョン信号に基づき、現在の撮影映像の明るさ、レンズユニット2の絞り4の開き具合及び自動利得制御のゲイン等に応じた信号レベルのオートアイリス信号AEを生成し、これを制御部30に送出する。
被写体情報信号生成回路19は、入力されたテレビジョン信号の全体、または任意の領域から色信号等を抽出し、被写体情報を制御部30に送出する。この被写体情報には、例えば、被写体のコントラスト値、色信号、被写体距離、輝度信号が含まれる。
AG信号生成回路20は、入力されたテレビジョン信号に基づき、自動利得制御回路10の利得を制御するためのAG信号を生成し、これを制御部30に送出する。
制御部30は、例えば撮像装置1の各部を制御するCPU(Central Processing Unit)31及び不揮発性のメモリ32(記憶部の一例)等の情報処理資源を備える。メモリ32には、本実施の形態に係る機能を実現するためのプログラム、該プログラムに用いられるパラメータや該プログラムの実行により生成されるデータ等が格納される。例えばメモリ32には、オートアイリスデータ処理プログラム(AEP)33及びオートフォーカスデータ処理プログラム(AFP)34が格納されている。また、メモリ32には、後述する図8に示す各データが格納されている。そして、制御部30が行う処理は、CPU31がメモリ32からプログラム、パラメータ、データ等を読み出して、所定の処理を実行することで実現される。
また、制御部30は、不図示の通信インターフェースを介して接続される外部システムから制御コマンド等を受信する。なお、メモリ32は、撮像画像の画像データをフレーム単位で一時的に記憶するバッファメモリとしての機能も有する。メモリ32とは別に、バッファメモリを設けてもよい。また、メモリ32は、撮像装置1、フォーカス制御装置12の外部に設けてもよい。
制御部30は、メモリ32からオートアイリスデータ処理プログラム33を呼び出し、AE信号生成回路18で生成されたオートアイリス信号AEによって現在の撮影映像の明るさを求める。併せて、制御部30は、メモリ32からオートフォーカスデータ処理プログラム34を呼び出し、オートアイリス信号AEによって絞り4の開き具合及び自動利得制御のゲイン等に対する評価値であるオートアイリス評価値を算出する。また、制御部30は、コントラスト信号生成部15で生成されたコントラスト信号VFの値であるオートフォーカス評価値を取得する。
また、制御部30は、コントラスト信号生成部15に対して、撮像領域50内に第2検波領域52a〜52iを設定する指示を行う。また、制御部30は、被写体情報信号生成回路19から入力する被写体情報に、フォーカス位置に対応するフォーカスレンズ群5の合焦時における被写体距離を付加し、メモリ32に被写体情報を格納する処理を実行する。この処理の詳細は後述する。
そして、制御部30は、メモリ32から読み出した被写体情報に基づいて駆動部を制御し、フォーカスレンズ群5を合焦状態とする。このために、制御部30は、バリエータレンズ群3及び絞り4の駆動を制御するための第1及び第2のモータ制御信号を生成し、これらをそれぞれモータドライバ回路41、42に出力する。第1及び第2のモータ制御信号は、オートアイリス評価値、レンズ絶対位置情報に基づき得られる現在のズーム倍率を表すズーム倍率情報、レンズユニット内温度情報、及びメモリ32に格納されているトレースカーブデータとに基づいて生成される。このバリエータレンズ群3及び絞り4の駆動は、周知の技術を用いて制御することができる。
モータドライバ回路41は、入力された第1モータ制御信号に基づいて、レンズユニット2のバリエータレンズ群3を光軸方向に移動させるモータ44を駆動制御する。モータドライバ回路42は、入力された第2モータ制御信号に基づいて、レンズユニット2の絞りを駆動するモータ45を駆動制御する。このようにしてオートアイリス制御が行なわれる。なお、第1及び第2のモータ制御信号を生成する際に、レンズユニット内温度情報を用いることでオートアイリス制御の精度を上げることができる。
さらに、制御部30は、オートアイリス評価値に基づいて、電子シャッタ47のシャッタ速度を制御することにより、当該撮像素子8の受光面上に結像される被写体の光学像の光量調整を行う。また、制御部30は、オートアイリス評価値に基づいて、自動利得制御回路10におけるゲイン調整を行う。
さらに、制御部30は、オートフォーカス評価値に基づいて合焦方向及び合焦位置を検出すると共に、第3モータ制御信号を生成し、これをモータドライバ回路43(駆動部の一例)に送出する。モータドライバ回路43は、第3モータ制御信号に基づいてレンズユニット2のフォーカスレンズ群5を光軸方向に移動させるモータ46(駆動部の一例)を駆動制御する。このようにモータドライバ回路43及びモータ46によって、被写体に対して合焦状態を得るためにフォーカスレンズ群5を駆動するオートフォーカス制御が行なわれ、撮影時に被写体に合焦することができる。これらのモータ44〜46として、例えばステッピングモータが用いられる。
[(2)メモリ32内の被写体情報を最適化する方法]
従来の監視用途において多くの撮像装置は、パンニング、チルティング、ズーム動作が可能であるが、ほとんどの撮像装置では撮影条件や撮影する被写体の種類が予め決まっている。そのため、撮像装置は、対象物の周りの明るさや対象物自体の明るさ、コントラスト値、倍率によって、監視対象を推測可能である。
そこで、本実施の形態例に係る撮像装置1は、AF動作を行う際に、現在撮影している被写体までの距離を測距不能と判定した場合に利用する被写体情報をメモリ32内で最適化する。以下の説明では、制御部30がメモリ32(後述する図9に示す被写体情報テーブル)に所定の制限個数まで被写体情報を格納した後、低コントラスト被写体の撮影時に有用な被写体情報だけを選択してメモリ32に格納する処理を「最適化」と呼ぶ。
後述する図8に示す被写体情報格納領域には、倍率ごとに複数の過去の合焦履歴が被写体情報として格納される。この被写体情報格納領域には、合焦した可能性が高いと考えられ、かつ、低コントラストと考えられる被写体の情報が優先して格納される。これは、撮像装置1が測距不能な低コントラスト被写体に対して合焦を図る際に、測距可能な低コントラスト被写体に対し合焦したときの過去の合焦履歴を含む被写体情報を参照することが好適だからである。
このため、制御部30は、合焦時に撮像信号から得た情報を用いて、被写体を第1低コントラスト被写体、第2低コントラスト被写体及び予備用被写体に分け、さらに被写体の種類に応じて優先順位を付ける。そして、制御部30は、優先順位に応じて、被写体情報を被写体情報格納領域に格納する。
ここで、本実施の形態例で用いる第1低コントラスト被写体、第2低コントラスト被写体、予備用コントラスト被写体について、図4〜図6を参照して説明する。図4〜図6に示す各被写体は撮像装置1によって昼間に撮影されたものとする。
図4は、第1低コントラスト被写体の例を示す。図4Aは、被写体53の例を示し、図4Bは第1検波領域51内でのコントラスト信号レベルの例を示し、図4Cは第2検波領域52a〜52iの例を示す。なお、図4Cの説明は後述する。
図4Aに示す撮像領域50内の被写体53は、例えば、多数の窓が設けられたビルの壁面であり、コントラスト信号検波枠によって示される第1検波領域51内における色味や明るさの変化に乏しい被写体である。そして、図4Bに示すように、制御部30がコントラスト信号生成部15から取得するコントラスト信号のレベル変化の形はなだらかである。このような被写体53を「第1低コントラスト被写体」と呼ぶ。制御部30は、明るい環境下ではフォーカスレンズ群5を合焦するために十分なコントラスト信号を第1低コントラスト被写体から取得可能である。しかし、明るさの変化等の僅かな環境変化が起こると、制御部30は、フォーカスレンズ群5が合焦するには不十分なコントラスト信号しか第1低コントラスト被写体から取得できず、フォーカスレンズ位置を合焦点に合わせにくくなる。このため、記録する低コントラスト被写体としては好適なものの、場合によっては、撮像装置1が第1低コントラスト被写体を撮像する際には、後述するように被写体情報格納領域に格納された被写体情報に基づいて、AF制御を行う必要がある。
図5は、第2低コントラスト被写体の例を示す。図5Aは、被写体54の例を示し、図5Bは第1検波領域51内でのコントラスト信号レベルの例を示し、図5Cは第2検波領域52a〜52iの例を示す。なお、図5Cの説明は後述する。
図5Aに示すように被写体54は、例えば、昼間の空を背景としたタワー型の建築物であり、第1検波領域51内において、空と建築物には色味や明るさに違いがある。制御部30は、撮像領域50の中心付近に捉えた被写体54から十分なコントラスト信号を得られるため、フォーカスレンズ群5を被写体54に合焦させることが可能である。しかし、第1検波領域51内には、低コントラスト部分である空が広い範囲に含まれている。このとき、図5Bに示すように、コントラスト信号レベルの変化の形は低いピークの山となっている。このような被写体54を「第2低コントラスト被写体」と呼ぶ。そこで、制御部30は、後述する第2検波領域52a〜52iを用いる方法により、第1検波領域51内の低コントラスト部分の被写体情報を抽出することで、合焦位置に信頼性がある低コントラスト被写体情報を被写体情報格納領域に格納する。
図6は、予備用コントラスト被写体の例を示す。図6Aは、被写体55の例を示し、図6Bは第1検波領域51内でのコントラスト信号レベルの例を示し、図6Cは第2検波領域52a〜52iの例を示す。なお、図6Cの説明は後述する。
図6Aに示すように被写体55は、例えば、昼間の空を背景としたタワー型の建築物、ビル、雲であり、第1検波領域51内において、空と建築物の色味や明るさに違いがある。そして、図6Cに示すように、コントラスト信号レベルの変化の形は高いピークの山となっている。このような被写体55を「予備用コントラスト被写体」と呼ぶ。予備用コントラスト被写体は、第1検波領域51内で低コントラスト部分の占める範囲が狭く、コントラスト方式においてフォーカスレンズ群5が合焦しやすい。このため、予備用コントラスト被写体は、上述した第1及び第2低コントラスト被写体との類似度合いは比較的低いものの、フォーカスレンズ群5の合焦位置に関しては信頼性が高いと考えられる。そこで、制御部30は、第1及び第2低コントラスト被写体のいずれの被写体情報もメモリ32の被写体情報格納領域に履歴として格納されていない場合に、フォーカスレンズ位置の調整を補助するための予備情報として予備用コントラスト被写体を使用する。
<被写体情報の記録方法>
次に、制御部30がメモリ32に被写体情報を記録する方法について説明する。
制御部30は、フォーカスレンズ群5が合焦状態にあると判定したことをトリガーとして、AF動作完了時に合焦している可能性を表す数値として、AF動作時にフォーカスレンズ群5が合焦しているかの度合いを表す信頼度を求める。この信頼度は、AF動作開始からAF動作停止までの制御部30より送信されたフォーカスレンズ群5への指示履歴とコントラスト信号レベルとに基づいて制御部30により算出される。制御部30が信頼度を算出する処理は既知である。
その後、制御部30は、算出した信頼度を、フォーカスレンズ群5が合焦しているか否かを判定するための基準値である信頼度閾値(r_th)と比較する。そして、制御部30は、算出した信頼度が信頼度閾値(r_th)以上であれば、カメラ信号処理部13に対して第1検波領域51を第2検波領域52a〜52iに切り替える指示を行い、カメラ信号処理部13から各領域のコントラスト信号と色信号を取得する。
次に、制御部30が第1検波領域51を切り替えた第2検波領域52a〜52iを用いて被写体を分類し、被写体情報に優先度を付与する様子を説明する。
図7は、制御部30が分類した被写体に付与される第1〜第3優先度の例を示す。
上述したように制御部30は、信頼度が信頼度閾値(r_th)以上である被写体を、それぞれ第1低コントラスト被写体、第2低コントラスト被写体、予備用コントラスト被写体に分類し、各被写体の被写体情報に第1〜第3優先度のいずれかを付与する。制御部30が第1〜第3優先度を決定するために、図7の数直線にはレベル閾値の一例として用いられる第1閾値(d_th1)と、第1閾値(d_th1)より大きい第2閾値(d_th2)が設けられる。
図8は、メモリ32が有する一次被写体情報格納領域、被写体情報格納領域、距離情報テーブル及び各閾値の構成例を示す。
メモリ32は、撮像装置1が現在撮像する被写体の被写体情報を一時的に格納する一次被写体情報格納領域、過去に撮像した被写体情報の複数の被写体情報を格納する被写体情報格納領域、距離情報テーブルを有する。また、メモリ32には、信頼度閾値、第1〜第4閾値が記憶される。撮像装置1が被写体を撮像すると、制御部30がコントラスト信号生成部15から取得した新たな被写体情報(NI)を一次被写体情報格納領域に格納する。
一方、被写体情報格納領域には、制御部30が過去にコントラスト信号生成部15から取得した過去の被写体情報(OI_x:x=1、2、3、…n)を格納する被写体情報テーブル(後述する図9を参照)が構成される。距離情報テーブルには、バリエータレンズ群3の位置とフォーカスレンズ位置との関係が距離情報として格納される。信頼度閾値は、制御部30が第1検波領域51の切り替え可否を判断する処理で参照する。第1及び第2閾値は、制御部30が被写体情報に第1〜第3優先度のいずれかを付与する処理で参照され、第3及び第4閾値は、制御部30が新たな被写体情報(NI)の被写体情報格納領域への格納可否を判断する処理で参照される。
再び、被写体情報の記録方法の説明に戻る。
制御部30は、第2検波領域52a〜52iから取得するコントラスト信号より、最大のコントラスト信号レベル(con_max)と最小のコントラスト信号レベル(con_min)とのコントラスト信号レベルの差(diff_pp)を求める。このコントラスト信号レベルの差(diff_pp)は、正負の符号が含まれる値であってもよいし、絶対値であってもよい。
そして、制御部30は、コントラスト信号レベルの差がレベル差閾値未満であれば、被写体情報に高い優先度を付与し、コントラスト信号レベルの差が、レベル差閾値以上であれば、被写体情報に低い優先度を付与する。そして、制御部30は、高い優先度が付与された被写体情報を優先してメモリ32に記憶する。
本実施の形態例において、制御部30は、図7に示すようにコントラスト信号レベルの差(diff_pp)と、第1閾値(d_th1)及び第2閾値(d_th1)とを比較する。制御部30は、コントラスト信号レベルの差(diff_pp)が第1閾値(d_th1)未満であれば、被写体の色や輝度に濃淡がないと判定する。このような被写体は、撮像領域50の全体にわたってコントラストは一様であるため、第1低コントラスト被写体と判定される。例えば、図4Cに示す第2検波領域52a〜52iはいずれも同様なコントラストであるため、制御部30は、被写体53を第1低コントラスト被写体と判定する。
制御部30は、被写体が第1低コントラスト被写体であると判定すると、優先度情報を第1優先度(p_p1)として、撮像時のフォーカスレンズ位置を基に、距離情報テーブルから距離情報を取得する。そして、制御部30は、コントラスト信号生成部15から取得したコントラスト信号レベルが最小となる領域の色信号値と、取得した距離情報と、優先度情報とを含む新たな被写体情報(NI)を一時被写体情報格納領域に格納する。
図7に示すようにコントラスト信号レベルの差(diff_pp)が第2閾値(d_th2)以上であれば、撮像領域50内に一定以上のコントラストがあると考えられる部分と、低コントラスト部分とが存在すると考えられる。このような被写体は、制御部30によって第2低コントラスト被写体と判定される。例えば、図5Cに示す第2検波領域52c、52d、52gには空が含まれ、これらの第2検波領域はコントラストが低い(con_min)。しかし、第2検波領域52a、52b、52e、52f、52h、52iには雲又は建物が含まれ、いずれかの第2検波領域はコントラストが高い(con_max)。このため、制御部30は、被写体54を第2低コントラスト被写体と判定する。
制御部30は、被写体が第2低コントラスト被写体であると判定すると、第1優先度(p_p1)より低い第2優先度(p_p2)を優先度情報として、撮像時のフォーカスレンズ位置を基に、距離情報テーブルから、距離情報を取得する。そして、制御部30は、コントラスト信号レベルが最小となる領域の色信号値と、取得した距離情報と、優先度情報とを含む新たな被写体情報(NI)を一時被写体情報格納領域に格納する
図7に示すようにコントラスト信号レベルの差(diff_pp)が、第1閾値(d_th1)以上第2閾値(d_th2)未満であれば、撮像領域50内のコントラストが一様でないと考えられる。このような被写体は、低コントラスト領域しか存在しないような第2検波領域52a〜52iはない。例えば、図6Cに示す第2検波領域52a〜52iのいずれにも空に対してコントラストがある建物、雲のいずれかが含まれており、空だけを含むような領域はない。このため、制御部30は、被写体55を予備用コントラスト被写体と判定する。
制御部30は、被写体が予備用コントラスト被写体であると判定すると、第2優先度(p_p2)より低い第3優先度(p_p3)を優先度情報として、撮像時のフォーカスレンズ位置を基に、距離情報テーブルから、距離情報を取得する。そして、制御部30は、コントラスト信号レベルが最小となる領域の色信号値と、取得した距離情報と、優先度情報とを含む新たな被写体情報(NI)を一時被写体情報格納領域に格納する。
ここで、図9を参照して被写体情報テーブルの構成例を説明する。
図9は、被写体情報テーブルの例を示す。
上述したように、メモリ32には被写体情報を格納するための被写体情報格納領域が確保されている。そして、制御部30が過去にコントラスト信号生成部15から取得した複数の過去の被写体情報(OI_x)をテーブル形式で被写体情報格納領域に格納している。この被写体情報格納領域には、倍率ごとに番号情報、距離情報、色信号値情報、優先度情報が関連付けられた被写体情報テーブルが形成されている。番号情報には、倍率毎に5個までの番号が格納される。距離情報には被写体距離が格納され、色信号値情報には、RGBのそれぞれに対応する色信号値が格納される。また、優先度情報には、被写体毎に付与された優先度が格納される。図9では、倍率“1”、番号“1”である被写体情報(OI_x)が破線の枠内に示されている。この被写体情報テーブルに格納できる過去の被写体情報の個数には上限がある。本実施の形態例ではそれぞれの倍率ごとに5個の過去の被写体情報を格納できるものとする。
なお、制御部30によって被写体情報が取得され、被写体情報テーブル内の最適化が行われるまでは、撮像装置1の使用者が予め任意の被写体情報を格納することも可能である。
<被写体情報を被写体情報格納領域に格納する処理>
次に、一時被写体情報格納領域に新たな被写体情報(NI)が格納された場合における、制御部30が行う処理について説明する。
制御部30が被写体情報格納領域に被写体情報を格納する基準は、フォーカスレンズ群5が合焦している低コントラスト被写体の被写体情報を残すことである。しかし、同環境においては複数の類似する被写体情報を被写体情報格納領域に残すことが好適であるとは限らない。それは、類似する被写体情報を被写体情報格納領域に格納し続けると、被写体情報格納領域に格納されている被写体情報は汎用性に欠けるからである。そこで、制御部30は、被写体情報格納領域に低コントラスト被写体の被写体情報を残しつつも、既に格納されている被写体情報と類似する被写体情報は残さないような処理を行う。言い換えれば、制御部30は、一時被写体情報格納領域から読み出した新たな被写体情報と、被写体情報格納領域から読み出した過去の被写体情報とが類似しない場合に、過去の被写体情報に代えて、新たな被写体情報を被写体情報格納領域に格納する。この処理に際して、制御部30は、新たな被写体情報(NI)と過去の被写体情報(OI_x)の比較を次のように行う。
まず、制御部30は、一時被写体情報格納領域に新たな被写体情報(NI)を格納すると、新たな被写体情報(NI)の優先度、距離情報、色信号値と、被写体情報格納領域内の全ての過去の被写体情報(OI_x)の優先度、距離情報、色信号値とをそれぞれ比較する。そして、制御部30は、被写体情報格納領域内の過去の被写体情報(OI_x)を新たな被写体情報(NI)に交換するか、または過去の被写体情報(OI_x)を交換せず、新たな被写体情報(NI)を一時被写体情報格納領域から削除するか否かを判定する。
ここで、制御部30が行う判定処理について、図10を参照して具体的に説明する。
図10は、制御部30が被写体情報格納領域に格納する被写体情報を選出するために参照する第3閾値(th_3)と第4閾値(th_4)の関係を示す。以下の説明で第3閾値(th_3)を距離閾値の一例として示し、第4閾値(th_4)を距離差閾値の一例として示す。
まず、制御部30は、新たな被写体情報が一時被写体情報格納領域に格納されたことをトリガーとして演算処理を開始する。この演算処理にて、制御部30は、新たな被写体情報(NI)に含まれる色信号値と、被写体情報格納領域中の過去の被写体情報(OI_x)に含まれる色信号値とのデータ上の距離(d_I)(データ距離の一例)を次式(1)にて求める。
Figure 2016114811
式(1)において、Ryは被写体情報の赤色の信号を表し、Gyは被写体情報の緑色の信号を表し、Byは被写体情報の青色の信号を表す。添え字yにはそれぞれnまたはoが当てられる。nは新たな被写体情報(NI)の情報を表し、oは過去の被写体情報(OI_x)の情報を表す。
<データ上の距離(d_I)が第3閾値(th_3)以上であるときの処理>
次に、制御部30は、データ上の距離(d_I)が第3閾値(th_3)以上となる過去の被写体情報(OI2_x)を被写体情報格納領域から選出する。この選出処理は、図10に示す上段の数直線に表されている。この数直線には、新たな被写体情報(NI)の色信号値と、過去の被写体情報(OI_x)の色信号値とのデータ上の距離(d_I)に基づいて、被写体情報格納領域から被写体情報を選出するための第3閾値(th_3)が示されている。このように制御部30が、被写体情報(OI2_x)を被写体情報格納領域から選出する処理は、新たな被写体情報(NI)と過去の被写体情報(OI_x)の色の特徴の類似性を比較するために行われる。
そして、制御部30は、選出した過去の被写体情報(OI2_x)に付された優先度に基づいて、過去の被写体情報(OI2_x)から過去の被写体情報(OI3_x)を選出する。つまり、過去の被写体情報(OI2_x)には、過去の被写体情報(OI3_x)が含まれていると言える。このとき、制御部30は、被写体情報格納領域から選出した過去の被写体情報(OI2_x)より、それぞれ優先度情報を取得し、新たな被写体情報(NI)の優先度情報の優先度と、過去の被写体情報(OI2_x)より取得したそれぞれの優先度情報の優先度とを比較する。上述したように第1優先度、第2優先度、第3優先度の順に優先度は高いため、制御部30は、新たな被写体情報(NI)の優先度以下の優先度が付された過去の被写体情報(OI3_x)を過去の被写体情報(OI2_x)から選出する。例えば、新たな被写体情報(NI)の優先度が“2”であれば、優先度が“2”、“3”である過去の被写体情報(OI2_x)が過去の被写体情報(OI3_x)として制御部30により選出される。
次に、制御部30は、新たな被写体情報(NI)に付された優先度が、選出した過去の被写体情報(OI3_x)に付された優先度以上である新たな情報(NI)を被写体情報格納領域に格納する対象とする。このとき、制御部30は、色信号値のデータ上の距離(d_I2)が最小となる過去の被写体情報(OI3_x)に代えて、新たな被写体情報(NI)を被写体情報格納領域に格納する。このデータ上の距離(d_I2)は、制御部30によって上式(1)を用いて算出される。そして、制御部30は、データ上の距離(d_I2)が最小となる過去の被写体情報(OI3_x)を被写体情報格納領域から削除する。
なお、制御部30は、新たな被写体情報(NI)の優先度と、過去の被写体情報(OI2_x)の優先度が全て同じであると判定した場合には、一時被写体格納領域から新たな被写体情報(NI)を削除する。また、制御部30は、新たな被写体情報(NI)の優先度より、全ての過去の被写体情報(OI2_x)の優先度が高いと判定した場合にも、一時被写体格納領域から新たな被写体情報(NI)を削除する。
このように制御部30は、新たな被写体情報(NI)と過去の被写体情報(OI_x)との優先度を比較して、第1低コントラスト被写体、第2低コントラスト被写体、予備用被写体の順に被写体情報を被写体情報格納領域に格納することができる。
<データ上の距離(d_I)が第3閾値(th_3)未満であるときの処理>
次に、新たな被写体情報(NI)の色信号値に対する、過去の被写体情報(OI_x)の色信号値のデータ上の距離(d_I)の全てが第3閾値(th_3)未満である場合を検討する。このとき、制御部30は、新たな被写体情報(NI)に含まれる被写体距離と、過去の被写体情報(OI_x)に含まれる被写体距離との差(diff_o)をそれぞれ算出する。
図10に示す下段の数直線には、データ上の距離(d_I)が第3閾値(th_3)未満である過去の被写体情報(OI_x)から、被写体距離の差(diff_o)に基づいて、被写体情報(OI3_x)を選出するための第4閾値(th_4)が設定されている。
そして、制御部30は、被写体距離の差(diff_o)が第4閾値(th_4)以上となる過去の被写体情報(OI4_x)を過去の被写体情報(OI_x)から選出する。これにより、制御部30は、新たな被写体情報(NI)の色信号情報に類似する色信号情報を持つ過去の被写体情報(OI_x)の中から、新たな被写体情報(NI)の被写体距離が類似しない過去の被写体情報(OI4_x)だけを被写体情報格納領域から選出できる。
そして、制御部30は、過去の被写体情報(OI4_x)からそれぞれ優先度情報を取得し、過去の被写体情報(OI4_x)の優先度情報に含まれる優先度と、新たな被写体情報(NI)の優先度情報に含まれる優先度とをそれぞれ比較する。このとき、制御部30は、新たな被写体情報(NI)の優先度以下の優先度が付された被写体情報を、過去の被写体情報(OI4_x)から被写体情報(OI5_x)として選出する。
そして、制御部30は、新たな被写体情報(NI)に付された優先度が、選出した過去の被写体情報(OI5_x)に付された優先度以上である新たな情報(NI)を被写体情報格納領域に格納する対象とする。このとき、制御部30は、選出した被写体情報(OI5_x)の内、上式(1)にて求めた色信号値のデータ上の距離(d_I2)が最小となる被写体情報(OI5_x)に代えて、新たな被写体情報(NI)を被写体情報格納領域に格納する。そして、制御部30は、データ上の距離(d_I2)が最小となる過去の被写体情報(OI3_x)を被写体情報格納領域から削除する。
なお、制御部30は、新たな被写体情報(NI)の優先度と、過去の被写体情報(OI4_x)の優先度とが全て同じであると判定した場合には、一時被写体格納領域から新たな被写体情報(NI)を削除する。また、制御部30は、新たな被写体情報(NI)の優先度よりも、全ての過去の被写体情報(OI4_x)の優先度が高いと判定した場合にも、一時被写体格納領域から新たな被写体情報(NI)を削除する。
さらに、制御部30は、全ての過去の被写体情報(OI_x)と新たな被写体情報(NI)との被写体距離の差が第4閾値(th_4)未満である場合にも、一時被写体格納領域から新たな被写体情報(NI)を削除する。
制御部30は、このような法則に従って被写体情報格納領域に残す被写体情報を決定しているため、撮像装置1が低コントラスト被写体を撮像するために好適な被写体情報を被写体情報格納領域に残す最適化処理を行うことが可能となる。このため、制御部30は、従来の手法のように、測距不能な被写体、即ち、低コントラスト被写体に合焦する際に不要な被写体情報をメモリ32に残さない。さらに制御部30は、AF動作を行う際に、現在撮影している被写体に対してより好適な被写体情報だけを被写体情報格納領域から参照する。そのため、制御部30は、フォーカスレンズ群5が低コントラスト被写体に合焦するまでの時間を短くすることができ、かつ、フォーカスレンズ群5を低コントラスト被写体に合焦させやすくなる。
<AF動作のフローチャート>
図11と図12は、撮像装置1が行うAF動作の例を示すフローチャートである。この処理は、撮像装置1において制御部30がメモリ32に格納したプログラムを実行して得られる処理シーケンスを表している。
制御部30は、電源が投入された場合や被写体が変わった場合等に、オートフォーカス制御処理を開始し、AF動作状態に移行する。
まず、制御部30は、電子シャッタ47を駆動させて撮像素子8の露光を行うことにより、撮像素子8に撮像信号を取り込ませる(S1)。その後、制御部30は、カメラ信号処理部13から与えられるコントラスト信号に基づき、コントラスト信号レベルを取得する(S2)。
次に、制御部30は、ステップS2で得たコントラスト信号を元に、フォーカスレンズ群5を駆動させる(S3)。この時、制御部30は、図2に示す第1検波領域51から取得したコントラスト信号に基づいて、現在撮影している被写体をステップS6以降の判定処理の対象とするか否かを判断する(S4)。
ステップS4で、制御部30は、被写体をステップS6以降の判定処理の対象としないと判断した場合、低コントラスト被写体に対するAF制御を行う(S5)。このAF制御は、被写体情報格納領域に格納された過去の被写体情報(OI_x)から一定の法則に基づいて必要な被写体情報を選出する処理である。その後、制御部30は、AF待機状態へ移行する(S31)。
一方、ステップS4で、制御部30は、被写体をステップS6以降の判定処理の対象とすると判断した場合、ステップS3のフォーカスレンズ群5の駆動指示を続ける。この時、制御部30は、コントラストAF方式に基づきフォーカスレンズ群5の駆動指示を行い、現在撮影している被写体に対し、フォーカスレンズ群5の合焦を図る(S6)。
この時、制御部30は、フォーカスレンズ位置、及びカメラ信号処理部13から取得するコントラスト信号に基づいて、現在のフォーカスレンズ群5が合焦状態であるか、すなわちフォーカスレンズ群5が合焦位置で停止しているか否かを判定する(S7)。制御部30は、フォーカスレンズ群5が合焦状態であると判定すると、現在のコントラスト信号レベル、フォーカスレンズ群5が合焦位置に停止するまでの時間等によって上述した信頼度を算出する(S8)。例えば、フォーカスレンズ群5が合焦位置に停止するまでの時間が長ければ、制御部30はコントラスト信号レベルのピークを見つけられていないため、信頼度が低くなる。
次に、制御部30は、ステップS8で算出した信頼度と、メモリ32から読み出した信頼度閾値(r_th)とを比較する(S9)。制御部30は、信頼度が信頼度閾値(r_th)未満であると判定した場合には、AF待機状態へ移行する(S31)。制御部30は、このAF待機状態では、被写体情報に変化が起きるまでAFを動作させず、被写体情報に変化が起きたときにAFを起動してAF動作状態とする。
一方、制御部30は、信頼度が信頼度閾値(r_th)以上であると判定した場合、第1検波領域51を、図3に示す9つの第2検波領域52a〜52iに切り替える指示を、カメラ信号処理部13を介してコントラスト信号生成部15に行う(S10)。そして、制御部30は、コントラスト信号生成部15から第2検波領域52a〜52iの各々のコントラスト信号及び色信号値を取得する(S11)。さらに、制御部30は、ステップS11にてコントラスト信号及び色信号値を取得した時点における、バリエータレンズ群3の位置に基づいて、現在の倍率を取得する(S12)。
次に、制御部30は、コントラスト信号レベルの差(diff_pp)を算出する(S13)。コントラスト信号レベルの差(diff_pp)は、第2検波領域52a〜52iの中で最大のコントラスト信号レベル(con_max)から、最小のコントラスト信号レベル(con_min)を減じた値である。
その後、制御部30は、図7に示したようにコントラスト信号レベルの差(diff_pp)と、第1閾値(d_th1)及び第2閾値(d_th2)とを比較する(S14)。第1閾値(d_th1)は、第2閾値(d_th2)より小さい数値とする。そして、制御部30は、コントラスト信号レベルの差(diff_pp)が第1閾値(d_th1)未満であると判定すると、現在撮影している被写体の被写体情報に含まれる優先度情報を第1優先度に設定する(S15)。
また、制御部30は、コントラスト信号レベルの差(diff_pp)が第2閾値(d_th2)以上であると判定すると、制御部30は、現在撮影している被写体の被写体情報に含まれる優先度情報を第2優先度に設定する(S16)。また、制御部30は、コントラスト信号レベルの差(diff_pp)が第1閾値(d_th1)以上、かつ、この差(diff_pp)が第2閾値(d_th2)未満と判定すると、現在撮影している被写体の被写体情報に含まれる優先度情報を第3優先度に設定する(S17)。その後、制御部30は、現在のフォーカスレンズ位置に基づいて、メモリ32に格納されている距離情報テーブルから、現在合焦している被写体の被写体距離を取得する(S18)。
ここで、ステップS11で取得した色信号値、ステップS15、ステップS16、ステップS17のいずれかで設定した優先度情報、ステップS18で取得した被写体距離を合わせて被写体情報とする。そして、制御部30は、この被写体情報を、メモリ32の一時被写体情報格納領域へと格納する(S19)。
次に、制御部30は、一時被写体情報格納領域に格納した被写体情報を、新たな被写体情報(NI)と称し、既に被写体情報格納領域に格納されている過去の被写体情報(OI_x)と比較する。まず、新たな被写体情報(NI)から色信号値を抽出し、さらにそれぞれの過去の被写体情報(OI_x)から色信号値を抽出し、それぞれの色信号に対し、式(1)を用いてデータ上の距離(d_I)を算出する(S20)。そして、制御部30は、算出したデータ上の距離(d_I)が第3閾値(d_th3)以上となる過去の被写体情報(OI2_x)を被写体情報格納領域から選出する(S21)。このとき、制御部30は、データ上の距離(d_I)が第3閾値(d_th3)以上となる過去の被写体情報(OI2_x)の有無を判定する(S22)。
制御部30は、データ上の距離(d_I)が第3閾値(d_th3)以上となる過去の被写体情報(OI2_x)が被写体情報格納領域に存在しないと判定した場合、被写体距離の差(diff_o)を算出する(S23)。この被写体距離の差(diff_o)は、新たな被写体情報(NI)の被写体距離から過去の被写体情報(OI_x)を減じて算出される。そして、制御部30は、被写体距離の差(diff_o)が第4閾値(d_th4)以上となる過去の被写体情報(OI4_x)を被写体情報格納領域から選出する(S24)。このとき、制御部30は、第4閾値(d_th4)以上となる過去の被写体情報(OI4_x)の有無を判定する(S25)。そして、制御部30は、被写体情報格納領域に過去の被写体情報(OI4_x)が存在しないと判定した場合、一時被写体格納領域に格納されている新たな被写体情報(NI)を削除し(S30)、AF待機状態(S31)へと移行する。
制御部30は、ステップS22にてデータ上の距離(d_I)が第3閾値(d_th3)以上となる被写体情報(OI2_x)が存在するか、又はステップS25にて第4閾値(d_th4)以上となる被写体情報(OI4_x)が存在すると判定した場合、次の処理に移行する。制御部30は、移行した次の処理にて新たな被写体情報(NI)の優先度と、過去の被写体情報(OI2_x又はOI4_x)の優先度とを比較する(S26)。そして、新たな被写体情報(NI)の優先度以下の優先度が付された過去の被写体情報(OI2_x又はOI4_x)の有無を判定する(S27)。
ステップS27にて制御部30は、新たな被写体情報(NI)の優先度以下の優先度が付された過去の被写体情報(OI2_x又はOI4_x)が存在しないと判定した場合、一時被写体格納領域に格納されている新たな被写体情報を削除する(S30)。そして、制御部30は、AF待機状態(S31)へと移行する。
一方で、制御部30は、新たな被写体情報(NI)の優先度以下の優先度が付された過去の被写体情報(OI2_x又はOI4_x)が存在すると判定した場合、次処理を行う。この処理にて制御部30は、過去の被写体情報(OI2_x又はOI4_x)の中から、新たな被写体情報(NI)の優先度以下の優先度が付された過去の被写体情報(OI3_x又はOI5_x)を選出する。そして、制御部30は、新たな被写体情報(NI)の色信号値と、選出した過去の被写体情報(OI3_x又はOI5_x)の色信号値とのデータ上の距離(d_I2)を算出する(S28)。
そして、制御部30は、データ空間距離(d_I2)が最小となる過去の被写体情報(OI3_x又はOI5_x)を被写体情報格納領域から削除し、代わりに新たな被写体情報(NI)を被写体情報格納領域に格納する(S29)。その後、制御部30は、新たな被写体情報(NI)を一時格納領域から削除し(S30)、最終的にAF待機状態に移行する(S31)。
以上説明した一実施の形態例に係る撮像装置1は、低コントラスト環境において被写体を撮像する際、又は低コントラスト被写体を撮像する際に、適切なオートフォーカス制御を行うことができる。このため、撮像装置1は、測距が困難な被写体であっても、フォーカスレンズ位置を適切な位置に駆動し、被写体に合焦することができる。
ここで、制御部30は、測距可能な被写体に対してAF動作を停止した後、複数の第2検波領域52a〜52iからそれぞれ取得したコントラスト信号レベルに基づいて、被写体を分類し、被写体毎の被写体情報に第1〜第3優先度のいずれかを付与する。第1〜第3優先度は被写体情報格納領域に格納される優先順を示すものであるため、高い優先度が付された被写体情報が優先して被写体情報格納領域に格納される。このため、撮像装置1は、被写体情報格納領域から有用な被写体情報を読み出して、適切なフォーカスレンズ位置で低コントラスト被写体を撮像することができる。
また、制御部30は、メモリ32の被写体情報格納領域に格納された被写体情報が制限個数を超える場合には、被写体情報格納領域の最適化を行う。この最適化に際して、一時被写体情報格納領域に格納された新たな被写体情報が、被写体情報格納領域に格納されている過去の被写体情報と類似する場合には、新たな被写体情報を被写体情報格納領域に格納しない。また、新たな被写体情報の優先度が過去の被写体情報の優先度と同じか低ければ、やはり新たな被写体情報を被写体情報格納領域に格納しない。このようにして被写体情報格納領域に格納される過去の被写体情報の数が最適化され、被写体情報格納領域に不要な被写体情報が格納されるのを防ぐことができる。
[(3)他の実施の形態]
なお、上述の実施の形態においては、本発明を図1のように構成された撮像装置1に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を有する撮像装置に広く適用することができる。
例えば、制御部30の制御によりコントラスト信号生成部15は、第1及び第2検波領域の位置を変更したり、第1及び第2検波領域の数を少なくしたり、又は多くしてもよい。また、第1検波領域51を複数の検波領域に分割したものを第2検波領域としてもよい。また、上述した実施の形態においては第1検波領域51を9つの第2検波領域52a〜52iに切り替えたが、本発明はこれに限らない。第2検波領域は撮像領域50内に2つ以上存在すればよく、第2検波領域が重なってもよく、矩形でなくともよい。即ち、ある範囲の領域に対し、色信号値、コントラストの差が確認できるように検波領域を任意に設定することができる。検波領域の数、位置、大きさを、撮像しようとする被写体の種類や大きさ、撮像画像内で該被写体が写り込むことが推測される位置等の条件に応じて設定することによって、より的確に目標の被写体に合焦することが可能となる。
また、検波領域内で合焦点となりうるコントラスト信号レベルのピークが複数あり、いずれのピークもほぼ同じ値であれば、コントラスト信号レベルの差が小さくなるため、制御部30が、この被写体を第1低コントラスト被写体であると誤認識する可能性がある。このような誤認識を避けるためには、コントラスト信号レベルにレベル閾値を設けておき、制御部30は、各ピークのコントラスト信号レベルがレベル閾値以上であれば、被写体が低コントラスト被写体ではないと判定する。これにより高いコントラスト信号レベルが得られる被写体を低コントラスト被写体と誤認識しなくなる。
また、新たな被写体情報(NI)に含まれる色信号値と被写体情報格納領域中の過去の被写体情報(OI_x)に含まれる色信号値のデータ上の距離(d_I)をカラー画像のRGBで求めたが、モノクロ画像の輝度値に基づいてデータ上の距離(d_I)を求めてもよい。制御部30は、画像がモノクロであっても、類似する画像は被写体情報格納領域に格納しないように制御するため、メモリ32の被写体情報格納領域を有効に活用することが可能となる。
また、図9の被写体情報テーブルには、倍率毎に5個の被写体情報が格納されるものとしたが、被写体情報テーブルに格納される被写体情報の数は任意としてよい。また、一定範囲の倍率だけを指定しておき、この範囲内の倍率に対応する被写体情報を共通のものとした被写体情報テーブルを形成してもよい。
さらに、制御部30は、色信号値を、上式(1)を用いて算出したデータ上の距離で比較することにより、現在撮影している被写体の被写体情報と、被写体情報格納領域に格納されている過去の被写体情報を比較した。しかし、被写体の特徴量を捉えられる信号として、例えば、コントラスト信号や輝度信号等でも同様の効果を得ることが可能である。その際は、改めて特徴量の類似度を比較する数式を用いて、類似度を比較することが望ましい。
また、制御部30は、メモリ32の被写体情報格納領域に格納された過去の被写体情報(OI_x)が制限個数を超える場合には、過去の被写体情報(OI_x)のうち、最も参照頻度が低いもの、又は最も古く被写体情報格納領域に格納されたものを削除してもよい。そして、制御部30は、削除した被写体情報の代わりに新たな被写体情報(NI)を被写体情報格納領域に格納してもよい。
なお、本発明は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることは可能であり、さらにはある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1…撮像装置、2…レンズユニット、5…フォーカスレンズ群、8…撮像素子、12…オートフォーカス制御装置、13…カメラ信号処理部、14…信号変換処理回路、15…コントラスト信号生成部、16…HPF回路、17…積分器、30…制御部、31…CPU、32…メモリ

Claims (10)

  1. 被写体に対して合焦状態を得るためにフォーカスレンズを駆動する駆動部と、
    前記フォーカスレンズを通じて結像された前記被写体の光学像を撮像して撮像信号を出力する撮像部の撮像領域内に設定された複数の検波領域に対し、各々の前記検波領域に対応する前記撮像信号からコントラスト信号を生成する信号生成部と、
    前記撮像領域内に前記複数の検波領域を設定し、前記複数の前記検波領域の内、算出された最大のコントラスト信号レベルと、最小のコントラスト信号レベルとのコントラスト信号レベルの差をレベル差閾値と比較して、比較結果に基づいて前記被写体の被写体情報に優先度を付与し、前記被写体情報に設定された前記優先度に従って、記憶部に前記被写体情報を記憶し、前記記憶部から読み出した前記被写体情報に基づいて前記駆動部を制御し、前記フォーカスレンズを合焦状態とする制御部と、を備える
    フォーカス制御装置。
  2. 前記制御部は、前記コントラスト信号レベルの差が前記レベル差閾値未満であれば、前記被写体情報に高い前記優先度を付与し、前記コントラスト信号レベルの差が、前記レベル差閾値以上であれば、前記被写体情報に低い前記優先度を付与し、高い前記優先度が付与された前記被写体情報を優先して前記記憶部に記憶する
    請求項1に記載のフォーカス制御装置。
  3. 前記レベル差閾値には、第1レベル差閾値と、前記第1レベル差閾値より大きい第2レベル差閾値とがあり、
    前記制御部は、前記コントラスト信号レベルの差が前記第1レベル差閾値未満であれば、前記被写体情報に第1優先度を付与し、前記コントラスト信号レベルの差が、前記第2レベル差閾値以上であれば、前記被写体情報に前記第1優先度より低い第2優先度を付与し、前記コントラスト信号レベルの差が、前記第1レベル差閾値以上かつ前記第2レベル差閾値未満であれば、前記被写体情報に前記第2優先度より低い第3優先度を付与する
    請求項2に記載のフォーカス制御装置。
  4. 前記記憶部には、前記制御部が新たに前記信号生成部から取得する前記被写体の前記被写体情報が格納される一時被写体情報格納領域と、前記制御部が過去に前記信号生成部から取得した前記被写体情報が格納される被写体情報格納領域とが設けられ、
    前記制御部は、前記一時被写体情報格納領域から読み出した新たな前記被写体情報と、前記被写体情報格納領域から読み出した過去の前記被写体情報とが類似しない場合に、過去の前記被写体情報に代えて、新たな前記被写体情報を前記被写体情報格納領域に格納する
    請求項3に記載のフォーカス制御装置。
  5. 前記制御部は、新たな前記被写体情報と過去の前記被写体情報とのデータ距離を算出し、前記データ距離が距離閾値以上であって、新たな前記被写体情報に付与された優先度が過去の前記被写体情報に付与された優先度以上である新たな前記被写体情報を、前記データ距離が最小となる過去の前記被写体情報に代えて、前記被写体情報格納領域に格納する
    請求項4に記載のフォーカス制御装置。
  6. 前記制御部は、前記データ距離が距離閾値未満である場合に、新たな前記被写体情報の被写体距離と過去の前記被写体情報の被写体距離との差を算出し、前記被写体距離の差が距離差閾値以上であって、新たな前記被写体情報に付与された優先度が過去の前記被写体情報に付与された優先度以上である新たな前記被写体情報を、前記データ距離が最小となる過去の前記被写体情報に代えて、前記被写体情報格納領域に格納する
    請求項4に記載のフォーカス制御装置。
  7. 前記被写体情報格納領域には、前記フォーカスレンズの過去の合焦履歴として、倍率毎に、色信号値又は輝度値、前記被写体距離、及び前記優先度が過去の前記被写体情報として所定数ずつ含まれ、前記フォーカスレンズが合焦した可能性が高く、かつ低コントラストである被写体の前記被写体情報が優先して格納される
    請求項6に記載のフォーカス制御装置。
  8. 前記記憶部は、前記フォーカス制御装置が備え、又は、前記フォーカス制御装置の外部に設けられる
    請求項1〜7のいずれか1項に記載のフォーカス制御装置。
  9. 被写体に対して合焦状態を得るためにフォーカスレンズを駆動する駆動部と、
    前記フォーカスレンズを通じて結像された光学像を撮像して撮像信号を出力する撮像部と、
    前記撮像部の撮像領域内に設定された複数の検波領域に対し、各々の前記検波領域に対応する前記撮像信号からコントラスト信号を生成する信号生成部と、
    前記撮像領域内に前記複数の検波領域を設定し、前記複数の前記検波領域の内、算出された最大のコントラスト信号レベルと、最小のコントラスト信号レベルとのコントラスト信号レベルの差をレベル差閾値と比較して、比較結果に基づいて前記被写体の被写体情報に優先度を付与し、前記被写体情報に設定された前記優先度に従って、記憶部に前記被写体情報を記憶し、前記記憶部から読み出した前記被写体情報に基づいて前記駆動部を制御し、前記フォーカスレンズを合焦状態とする制御部と、を備える
    撮像装置。
  10. フォーカス制御装置が備える信号生成部が、フォーカスレンズを通じて結像された被写体の光学像を撮像して撮像信号を出力する撮像部の撮像領域内に設定された複数の検波領域に対し、各々の前記検波領域に対応する前記撮像信号からコントラスト信号を生成するステップと、
    前記複数の前記検波領域の内、算出された最大のコントラスト信号レベルと、最小のコントラスト信号レベルとのコントラスト信号レベルの差をレベル差閾値と比較して、比較結果に基づいて前記被写体の被写体情報に優先度を付与するステップと、
    前記被写体情報に設定された前記優先度に従って、記憶部に前記被写体情報を記憶し、前記記憶部から読み出した前記被写体情報に基づいて前記フォーカスレンズを駆動し、前記被写体に対して前記フォーカスレンズを合焦状態とするステップと、を含む
    フォーカス制御方法。
JP2014253918A 2014-12-16 2014-12-16 フォーカス制御装置、撮像装置及びフォーカス制御方法 Expired - Fee Related JP6246705B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014253918A JP6246705B2 (ja) 2014-12-16 2014-12-16 フォーカス制御装置、撮像装置及びフォーカス制御方法
US14/940,229 US20160173756A1 (en) 2014-12-16 2015-11-13 Focus control device and method and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014253918A JP6246705B2 (ja) 2014-12-16 2014-12-16 フォーカス制御装置、撮像装置及びフォーカス制御方法

Publications (3)

Publication Number Publication Date
JP2016114811A true JP2016114811A (ja) 2016-06-23
JP2016114811A5 JP2016114811A5 (ja) 2017-04-06
JP6246705B2 JP6246705B2 (ja) 2017-12-13

Family

ID=56112407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014253918A Expired - Fee Related JP6246705B2 (ja) 2014-12-16 2014-12-16 フォーカス制御装置、撮像装置及びフォーカス制御方法

Country Status (2)

Country Link
US (1) US20160173756A1 (ja)
JP (1) JP6246705B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169491A1 (ja) * 2016-03-30 2017-10-05 富士フイルム株式会社 撮像装置及びフォーカス制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138309A (ja) * 1997-07-18 1999-02-12 Kyocera Corp 焦点調節装置
JP2003018433A (ja) * 2001-07-04 2003-01-17 Minolta Co Ltd 撮像装置及び撮像方法
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006215181A (ja) * 2005-02-02 2006-08-17 Canon Inc 撮像装置
JP2010014783A (ja) * 2008-07-01 2010-01-21 Panasonic Corp 撮影装置
JP2011043776A (ja) * 2009-08-24 2011-03-03 Sanyo Electric Co Ltd 電子カメラ
US20130329125A1 (en) * 2012-06-07 2013-12-12 Canon Kabushiki Kaisha Image pickup apparatus and method for controlling same
JP2014077976A (ja) * 2012-04-13 2014-05-01 Canon Inc 焦点調節装置及びそれを用いた撮像装置
US20140118611A1 (en) * 2012-10-29 2014-05-01 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138309A (ja) * 1997-07-18 1999-02-12 Kyocera Corp 焦点調節装置
JP2003018433A (ja) * 2001-07-04 2003-01-17 Minolta Co Ltd 撮像装置及び撮像方法
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006215181A (ja) * 2005-02-02 2006-08-17 Canon Inc 撮像装置
JP2010014783A (ja) * 2008-07-01 2010-01-21 Panasonic Corp 撮影装置
JP2011043776A (ja) * 2009-08-24 2011-03-03 Sanyo Electric Co Ltd 電子カメラ
JP2014077976A (ja) * 2012-04-13 2014-05-01 Canon Inc 焦点調節装置及びそれを用いた撮像装置
US20130329125A1 (en) * 2012-06-07 2013-12-12 Canon Kabushiki Kaisha Image pickup apparatus and method for controlling same
JP2014013368A (ja) * 2012-06-07 2014-01-23 Canon Inc 撮像装置及びその制御方法
US20140118611A1 (en) * 2012-10-29 2014-05-01 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor
JP2014112211A (ja) * 2012-10-29 2014-06-19 Canon Inc 撮像装置、及びその制御方法

Also Published As

Publication number Publication date
US20160173756A1 (en) 2016-06-16
JP6246705B2 (ja) 2017-12-13

Similar Documents

Publication Publication Date Title
JP5048468B2 (ja) 撮像装置およびその撮像方法
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
JP5820120B2 (ja) 撮像装置およびその制御方法
US9413946B2 (en) Imaging apparatus and imaging method
US9426352B2 (en) Imaging apparatus, imaging method, and focus control apparatus
JP2019215489A (ja) 撮像装置および焦点調節方法
JP2008164839A (ja) 撮影装置および合焦方法
JP2013097082A (ja) 画像信号処理装置
JP2009207119A (ja) 撮像装置及びプログラム
US9244335B2 (en) Imaging device and imaging method
KR101728042B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
US20130250165A1 (en) Method and apparatus for applying multi-autofocusing (af) using contrast af
JP5051812B2 (ja) 撮像装置、その合焦方法および記録媒体
JP2016197202A (ja) 焦点調節装置、その制御方法、および制御プログラム、並びに撮像装置
KR101431536B1 (ko) 디지털 촬영장치 및 이의 제어방법
JP2017173480A (ja) フォーカス制御装置、撮像装置及びフォーカス制御方法
JP2007052061A (ja) 撮像装置、合焦動作制御方法および電子情報機器
JP5407373B2 (ja) 撮影装置、及びプログラム
KR101839473B1 (ko) 비교 영상 제공 방법 및 이를 적용한 영상 촬영 장치
JP6057608B2 (ja) 焦点調節装置及びその制御方法
JP6246705B2 (ja) フォーカス制御装置、撮像装置及びフォーカス制御方法
JP2017009769A (ja) 撮像装置、フォーカス制御装置および撮像方法
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2015019416A (ja) 撮像装置、その制御方法及びプログラム
JP2018098764A (ja) 撮像装置および画像合成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170302

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171115

R150 Certificate of patent or registration of utility model

Ref document number: 6246705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees