JP2019219501A - 決定装置、撮像装置、決定方法、及びプログラム - Google Patents

決定装置、撮像装置、決定方法、及びプログラム Download PDF

Info

Publication number
JP2019219501A
JP2019219501A JP2018116392A JP2018116392A JP2019219501A JP 2019219501 A JP2019219501 A JP 2019219501A JP 2018116392 A JP2018116392 A JP 2018116392A JP 2018116392 A JP2018116392 A JP 2018116392A JP 2019219501 A JP2019219501 A JP 2019219501A
Authority
JP
Japan
Prior art keywords
contrast evaluation
evaluation values
image
focus lens
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018116392A
Other languages
English (en)
Other versions
JP6561370B1 (ja
Inventor
佳範 永山
Yoshinori Nagayama
佳範 永山
範江 関
Norie Seki
範江 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2018116392A priority Critical patent/JP6561370B1/ja
Priority to CN201980005655.9A priority patent/CN111344631A/zh
Priority to PCT/CN2019/091744 priority patent/WO2019242617A1/zh
Application granted granted Critical
Publication of JP6561370B1 publication Critical patent/JP6561370B1/ja
Publication of JP2019219501A publication Critical patent/JP2019219501A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】所望の被写体が合焦状態になるフォーカスレンズの位置を決定する処理の精度をさらに向上させることが望まれている。【解決手段】決定装置は、画像の第1周波数成分を用いて、画像の第1コントラスト評価値を導出し、画像の第2周波数成分を用いて、画像の第2コントラスト評価値を導出する導出部と、複数の画像のそれぞれの複数の第1コントラスト評価値のピークを検出する検出部と、検出部によって複数の第1コントラスト評価値のピークが検出された場合に、複数の画像のそれぞれの複数の第2コントラスト評価値が予め定められた条件を満たすか否かを判断する判断部と、複数の第2コントラスト評価値が予め定められた条件を満たす場合に、複数の第2コントラスト評価値に基づいてフォーカスレンズの位置を決定する決定部とを備えてよい。【選択図】図4

Description

本発明は、決定装置、撮像装置、決定方法、及びプログラムに関する。
特許文献1には、被写体像に含まれる空間周波数成分に応じて、デフォーカス量を補正することが記載されている。
特許文献1 特開平9−297259号公報
所望の被写体が合焦状態になるフォーカスレンズの位置を決定する処理の精度をさらに向上させることが望まれている。
本発明の一態様に係る決定装置は、フォーカスレンズを備える撮像装置によって撮像された画像を取得する取得部を備えてよい。決定装置は、画像の空間周波数成分のうちの第1周波数成分を透過する第1フィルタ部を備えてよい。決定装置は、画像の空間周波数成分のうちの第1周波数成分より高い帯域の第2周波数成分を透過する第2フィルタ部を備えてよい。決定装置は、画像の第1周波数成分を用いて、画像の第1コントラスト評価値を導出し、画像の第2周波数成分を用いて、画像の第2コントラスト評価値を導出する導出部を備えてよい。決定装置は、複数の画像のそれぞれの複数の第1コントラスト評価値のピークを検出する検出部を備えてよい。決定装置は、検出部によって複数の第1コントラスト評価値のピークが検出された場合に、複数の画像のそれぞれの複数の第2コントラスト評価値が予め定められた条件を満たすか否かを判断する判断部を備えてよい。決定装置は、複数の第2コントラスト評価値が予め定められた条件を満たす場合に、複数の第2コントラスト評価値に基づいてフォーカスレンズの位置を決定する決定部を備えてよい。
決定部は、複数の第2コントラスト評価値が予め定められた条件を満たさない場合に、複数の第1コントラスト評価値に基づいてフォーカスレンズの位置を決定してよい。
検出部は、複数の第2コントラスト評価値のピークを検出してよい。予め定められた条件は、検出部によって複数の第2コントラスト評価値のピークが検出されたことでよい。
検出部は、複数の第2コントラスト評価値のピークを検出してよい。予め定められた条件は、検出部によって検出された複数の第2コントラスト評価値のピークが予め定められた値以上であることでよい。
検出部は、複数の第2コントラスト評価値のピークを検出してよい。予め定められた条件は、検出部によって検出された複数の第2コントラスト評価値のピークが予め定められた値以上であり、かつ複数の第2コントラスト評価値の最大値と最小値との差が予め定められた差以上であることでよい。
予め定められた条件は、複数の第1コントラスト評価値に基づいて決定されるフォーカスレンズの位置と、複数の第2コントラスト評価値に基づいて決定されるフォーカスレンズの位置との差が、予め定められた範囲内であることでよい。
検出部は、複数の第2コントラスト評価値のピークを検出してよい。予め定められた条件は、複数の第1コントラスト評価値に基づいて決定されるフォーカスレンズの位置と、複数の第2コントラスト評価値に基づいて決定されるフォーカスレンズの位置との差が、予め定められた範囲内であり、検出部によって検出された複数の第2コントラスト評価値のピークが予め定められた値以上であり、かつ複数の第2コントラスト評価値の最大値と最小値との差が予め定められた差以上であることでよい。
本発明の一態様に係る撮像装置は、上記決定装置を備えてよい。撮像装置は、フォーカスレンズを備えてよい。撮像装置は、決定装置により決定されたフォーカスレンズの位置に基づいてフォーカスレンズの位置を制御する制御部を備えてよい。
本発明の一態様に係る決定方法は、フォーカスレンズを備える撮像装置によって撮像された画像を取得する段階を備えてよい。決定方法は、第1フィルタ部を介して画像の空間周波数成分のうちの第1周波数成分を透過させる段階を備えてよい。決定方法は、第2フィルタ部を介して画像の空間周波数成分のうちの第1周波数成分より高い帯域の第2周波数成分を透過させる段階を備えてよい。決定方法は、画像の第1周波数成分を用いて、画像の第1コントラスト評価値を導出する段階を備えてよい。決定方法は、画像の第2周波数成分を用いて、画像の第2コントラスト評価値を導出する段階を備えてよい。決定方法は、複数の画像のそれぞれの複数の第1コントラスト評価値のピークを検出する段階を備えてよい。決定方法は、検出する段階で複数の第1コントラスト評価値のピークが検出された場合に、複数の画像のそれぞれの複数の第2コントラスト評価値が予め定められた条件を満たすか否かを判断する段階を備えてよい。決定方法は、複数の第2コントラスト評価値が予め定められた条件を満たす場合に、複数の第2コントラスト評価値に基づいてフォーカスレンズの位置を決定する段階を備えてよい。
本発明の一態様に係るプログラムは、上記決定装置としてコンピュータを機能させるためのプログラムでよい。
本発明の一態様によれば、フォーカスレンズの位置を決定する処理の精度をさらに向上させることができる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
撮像装置の機能ブロックの一例を示す図である。 撮像制御部の機能ブロックの一例を示す図である。 空間周波数成分ごとのコントラスト評価値とフォーカスレンズの位置との関係を示す図である。 所望の被写体が合焦状態となるフォーカスレンズの位置を決定する手順の一例を示すフローチャートである。 ハードウェア構成の一例を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、本実施形態に係る撮像装置100の機能ブロックの一例を示す。撮像装置100は、撮像部102及びレンズ部200を備える。撮像部102は、イメージセンサ120、撮像制御部110、メモリ170、表示部160、及び操作部162を有する。
イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、複数のレンズ210を介して結像する光学像を電気信号に変換する。イメージセンサ120は、複数のレンズ210を介して結像された光学像の画像データを撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、操作部162からの動作命令に応じて、撮像装置100を制御してよい。
メモリ170は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ170は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ170は、撮像装置100の筐体の内部に設けられてよい。メモリ170は、撮像装置100の筐体から取り外し可能に設けられてよい。
表示部160は、イメージセンサ120から出力された画像を表示してよい。表示部160は、撮像装置100の各種の設定情報を表示してよい。表示部160は、液晶ディスプレイ、タッチパネルディスプレイなどでよい。表示部160は、複数の液晶ディスプレイ、またはタッチパネルディスプレイを含んでよい。
レンズ部200は、複数のレンズ210、レンズ移動機構212、及びレンズ制御部220を有する。複数のレンズ210は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ210の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ移動機構212は、複数のレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ移動機構212を駆動して、1または複数のレンズ210を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
このように構成された撮像装置100は、フォーカスレンズの複数の位置での複数のコントラスト評価値に基づいてコントラスト評価値のピークを導出し、所望の被写体が合焦状態になるフォーカスレンズの位置を決定する。すなわち、撮像装置100は、コントラストAF処理により、所望の被写体が合焦状態になるフォーカスレンズの位置を決定する。
撮像装置100は、画像からフィルタを介して予め定められた特定の空間周波数成分を抽出する。さらに、撮像装置100は、特定の空間周波数成分のコントラスト評価値のピークを導出することで、所望の被写体が合焦状態になるフォーカスレンズの位置を決定する。
特定の空間周波数成分を抽出するためのフィルタとして、例えば、無限インパルス応答(IIR)フィルタにより構成されるバンドパスフィルタが利用される場合がある。このようなバンドパスフィルタは、設計の容易性などから、比較的低い空間周波数成分を透過させるフィルタが利用されることが多い。例えば、撮像装置100は、10本/mmの空間周波数成分のコントラスト評価値に基づいて、フォーカスレンズの位置を決定する。しかしながら、比較的低い周波数成分のコントラスト評価値に基づいて決定されるフォーカスレンズの位置が、所望の被写体が合焦状態になるフォーカスレンズの位置にならない場合がある。
また、コントラスト評価値のピークが得られるフォーカスレンズの位置と、合焦状態が得られるフォーカスレンズの位置とは、撮像装置100のレンズ系の球面収差またはコマ収差などの影響で、必ずしも一致しない。そのため、撮像装置100は、コントラスト評価値のピークが得られるフォーカスレンズの位置を補正して、所望の被写体が合焦状態になると予想されるフォーカスレンズの位置を決定する。例えば、撮像装置100は、コントラスト評価値のピークが得られるフォーカスレンズの位置に予め定められた補正量を加算または減算することで得られる位置を、フォーカスレンズの位置として決定する。しかしながら、このような補正量が、すべての被写体に対して最適な補正量であるとは限らない。
以上のように、コントラストAF処理により決定されるフォーカスレンズの位置の精度にばらつきが生じる可能性がある。そこで、本実施形態に係る撮像装置100は、所望の被写体が合焦状態になるフォーカスレンズの位置を決定する処理の精度をさらに向上させる。
図2は、本実施形態に係る撮像制御部110の機能ブロックの一例である。撮像制御部110は、取得部111、第1フィルタ部112、第2フィルタ部113、導出部114、検出部115、判断部116、及び決定部117を有する。
取得部111は、撮像装置100によって撮像された画像を取得する。取得部111は、イメージセンサ120から出力されたRAWデータを取得してよい。第1フィルタ部112は、画像の空間周波数成分のうちの第1周波数成分を透過する。第2フィルタ部113は、画像の空間周波数成分のうちの第1周波数成分より高い帯域の第2周波数成分を透過する。第1フィルタ部112、及び第2フィルタ部113は、IIRフィルタで構成されるバンドパスフィルタでよい。
第2フィルタ部113は、撮像装置100の解像力に対応する空間周波数成分を透過してよい。第2フィルタ部113は、レンズ部200及びイメージセンサ120の光学特性に依存する予め定められたコントラストを得られる限界の空間周波数成分に対応する空間周波数成分を透過してよい。第2フィルタ部113は、例えば、画像から40本/mmの空間周波数成分を透過してよい。第1フィルタ部112は、撮像装置100の表示部160に表示されるライブビューの画像で得られる限界の空間周波数成分に対応する空間周波数成分を透過してよい。第1フィルタ部112は、例えば、画像から10本/mmの空間周波数成分を透過してよい。
導出部114は、画像の第1周波数成分を用いて、画像の第1コントラスト評価値を導出してよい。導出部114は、画像の第2周波数成分を用いて、画像の第2コントラスト評価値を導出してよい。
検出部115は、複数の画像のそれぞれの複数の第1コントラスト評価値のピークを検出する。検出部115は、フォーカスレンズの複数の位置において撮像装置100に撮像された複数の画像のそれぞれの複数の第1コントラスト評価値のピークを検出する。検出部115は、いわゆる山登り法で、複数の第1コントラスト評価値のピークを検出してよい。検出部115は、複数の画像のそれぞれの複数の第2コントラスト評価値のピークを検出する。検出部115は、フォーカスレンズの複数の位置において撮像装置100に撮像された複数の画像のそれぞれの複数の第2コントラスト評価値のピークを検出する。検出部115は、いわゆる山登り法で、複数の第2コントラスト評価値のピークを検出してよい。検出部115は、図3に示すような複数の第1コントラスト評価値から得られる曲線500から第1コントラスト評価値のピークを検出してよい。また、検出部115は、図3に示すような複数の第2コントラスト評価値から得られる曲線502から第2コントラスト評価値のピークを検出してよい。
ここで、第2周波数成分は比較的高い空間周波数成分である。比較的高い空間周波数成分のコントラスト評価値は、比較的急峻なピークを有する傾向にある。比較的高い空間周波数成分のコントラスト評価値は、ノイズを多く含む場合もある。比較的高い空間周波数成分のコントラスト評価値のピークに基づいて決定されるフォーカスレンズの位置は、比較的低い空間周波数成分のコントラスト評価値のピークに基づいて決定されるフォーカスレンズの位置よりも精度が高い場合がある。一方で、被写体によっては、比較的高い空間周波数成分のコントラスト評価値のピークに基づいて決定されるフォーカスレンズの位置は、比較的低い空間周波数成分のコントラスト評価値のピークに基づいて決定されるフォーカスレンズの位置よりも精度が低い場合もある。
そこで、 判断部116が、検出部115によって複数の第1コントラスト評価値のピークが検出された場合に、複数の画像のそれぞれの複数の第2コントラスト評価値が予め定められた条件を満たすか否かを判断する。予め定められた条件は、第2コントラスト評価値の信頼度を示す指標に基づいて定められてよい。
例えば、予め定められた条件は、検出部115によって複数の第2コントラスト評価値のピークが検出されたことでよい。予め定められた条件は、検出部115によって検出された複数の第2コントラスト評価値のピークが予め定められた値以上であることでよい。予め定められた条件は、検出部115によって検出された複数の第2コントラスト評価値のピークが予め定められた値以上であり、かつ複数の第2コントラスト評価値の最大値と最小値との差が予め定められた差以上であることでよい。予め定められた条件は、複数の第1コントラスト評価値に基づいて決定されるフォーカスレンズの位置と、複数の第2コントラスト評価値に基づいて決定されるフォーカスレンズの位置との差が、予め定められた範囲内であることでよい。予め定められた条件は、複数の第1コントラスト評価値に基づいて決定されるフォーカスレンズの位置と、複数の第2コントラスト評価値に基づいて決定されるフォーカスレンズの位置との差が、予め定められた範囲内であり、検出部115によって検出された複数の第2コントラスト評価値のピークが予め定められた値以上であり、かつ複数の第2コントラスト評価値の最大値と最小値との差が予め定められた差以上であることでよい。
複数の第2コントラスト評価値が予め定められた条件を満たす場合には、複数の第2コントラスト評価値に基づくフォーカスレンズの位置は、信頼度が高い。そこで、本実施形態では、決定部117は、複数の第2コントラスト評価値が予め定められた条件を満たすか否かで、フォーカスレンズの位置を決定するために参照するコントラスト評価値として、第1コントラスト評価値を選択するか、第2コントラスト評価値を選択するかを判断する。すなわち、決定部117は、複数の第2コントラスト評価値が予め定められた条件を満たす場合に、複数の第2コントラスト評価値に基づいてフォーカスレンズの位置を決定してよい。決定部117は、複数の第2コントラスト評価値が予め定められた条件を満たさない場合に、複数の第1コントラスト評価値に基づいてフォーカスレンズの位置を決定してよい。
撮像制御部110は、決定部117により決定されたフォーカスレンズの位置にフォーカスレンズを移動させるべく、レンズ制御部220にフォーカスレンズの駆動命令を出力してよい。レンズ制御部220は、レンズ移動機構212を介して決定部117により決定されたフォーカスレンズの位置にフォーカスレンズとして機能するレンズ210を移動させてよい。
以上の通り、異なる空間周波数成分のそれぞれのコントラスト評価値を導出して、相対的に信頼性が高い空間周波数成分のコントラスト評価値に基づいてフォーカスレンズの位置を決定する。これにより、フォーカスレンズの位置を決定する処理の精度をさらに向上させることができる。
図4は、所望の被写体が合焦状態となるフォーカスレンズの位置を決定する手順の一例を示すフローチャートである。
撮像制御部110は、オートフォーカス処理を実行する場合、レンズ制御部220にフォーカスレンズを予め定められた移動量だけ移動するように指示する(S100)。フォーカスレンズが予め定められた移動量だけ移動した後、取得部111は、撮像装置100により撮像された画像を取得する(S102)。取得部111は、イメージセンサ120から出力されたRAWデータを画像として取得してよい。
第1フィルタ部112が、画像の第1周波数成分を抽出する(S104)。導出部114は、画像の第1周波数成分のコントラスト評価値を導出する(S106)。第2フィルタ部113は、画像の第2周波数成分を抽出する(S108)。導出部114は、画像の第2周波数成分のコントラスト評価値を導出する(S110)。
検出部115は、画像の第1周波数成分のコントラスト評価値から順次、山登り法に従って、コントラスト評価値のピークを検出する。検出部115は、画像の第1周波数成分のコントラスト評価値から順次、山登り法に従って、コントラスト評価値のピークを検出する。
撮像制御部110は、検出部115が画像の第1周波数成分のコントラスト評価値のピークを検出できたか否かを判定する(S112)。検出部115が画像の第1周波数成分のコントラスト評価値のピークを検出できていなければ、撮像制御部110は、ステップS100以降の処理を繰り返す。
検出部115が画像の第1周波数成分のコントラスト評価値のピークを検出できていれば、導出部114は、画像の第2周波数成分のコントラスト評価値の導出を停止する(S114)。判断部116は、第2周波数成分のコントラスト評価値が予め定められた条件を満たすか否かを判断する(S116)。判断部116は、例えば、複数の第1コントラスト評価値に基づいて決定されるフォーカスレンズの位置と、複数の第2コントラスト評価値に基づいて決定されるフォーカスレンズの位置との差が、予め定められた範囲内であり、検出部115によって検出された複数の第2コントラスト評価値のピークが予め定められた値以上であり、かつ複数の第2コントラスト評価値の最大値と最小値との差が予め定められた差以上である場合、第2周波数成分のコントラスト評価値が予め定められた条件を満たすと判断する。
第2周波数成分のコントラスト評価値が予め定められた条件を満たす場合、決定部117は、複数の第2コントラスト評価値に基づいて、所望の被写体が合焦状態となるフォーカスレンズの位置を決定する(S118)。第2周波数成分のコントラスト評価値が予め定められた条件を満たさない場合、決定部117は、複数の第1コントラスト評価値に基づいて、所望の被写体が合焦状態となるフォーカスレンズの位置を決定する(S120)。第2周波数成分のコントラスト評価値が予め定められた条件を満たさない場合、決定部117は、複数の第1コントラスト評価値のピークが得られるフォーカスレンズの位置に、予め定められた補正量を加算または減算することで、所望の被写体が合焦状態となるフォーカスレンズの位置を決定してよい。
撮像制御部110は、決定部117により決定された位置にフォーカスレンズを移動させるべく、レンズ制御部220にフォーカスレンズの移動を指示する(S122)。
以上の通り、異なる空間周波数成分のコントラスト評価値の相対的な信頼度に基づいて、フォーカスレンズの位置を決定するために参照する空間周波数成分のコントラスト評価値を適宜選択する。これにより、所望の被写体が合焦状態になるフォーカスレンズの位置を決定する処理の精度をさらに向上させることができる。
図5は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
100 撮像装置
102 撮像部
110 撮像制御部
111 取得部
112 第1フィルタ部
113 第2フィルタ部
114 導出部
115 検出部
116 判断部
117 決定部
120 イメージセンサ
160 表示部
162 操作部
170 メモリ
200 レンズ部
210 レンズ
212 レンズ移動機構
220 レンズ制御部
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM

Claims (10)

  1. フォーカスレンズを備える撮像装置によって撮像された画像を取得する取得部と、
    前記画像の空間周波数成分のうちの第1周波数成分を透過する第1フィルタ部と、
    前記画像の空間周波数成分のうちの前記第1周波数成分より高い帯域の第2周波数成分を透過する第2フィルタ部と、
    前記画像の第1周波数成分を用いて、前記画像の第1コントラスト評価値を導出し、前記画像の第2周波数成分を用いて、前記画像の第2コントラスト評価値を導出する導出部と、
    複数の前記画像のそれぞれの複数の前記第1コントラスト評価値のピークを検出する検出部と、
    前記検出部によって前記複数の第1コントラスト評価値のピークが検出された場合に、前記複数の画像のそれぞれの複数の前記第2コントラスト評価値が予め定められた条件を満たすか否かを判断する判断部と、
    前記複数の第2コントラスト評価値が前記予め定められた条件を満たす場合に、前記複数の第2コントラスト評価値に基づいて前記フォーカスレンズの位置を決定する決定部と
    を備える決定装置。
  2. 前記決定部は、前記複数の第2コントラスト評価値が前記予め定められた条件を満たさない場合に、前記複数の第1コントラスト評価値に基づいて前記フォーカスレンズの位置を決定する、請求項1に記載の決定装置。
  3. 前記検出部は、前記複数の第2コントラスト評価値のピークをさらに検出し、
    前記予め定められた条件は、前記検出部によって前記複数の第2コントラスト評価値のピークが検出されたことである、請求項1に記載の決定装置。
  4. 前記検出部は、前記複数の第2コントラスト評価値のピークをさらに検出し、
    前記予め定められた条件は、前記検出部によって検出された前記複数の第2コントラスト評価値のピークが予め定められた値以上であることである、請求項1に記載の決定装置。
  5. 前記検出部は、前記複数の第2コントラスト評価値のピークをさらに検出し、
    前記予め定められた条件は、前記検出部によって検出された前記複数の第2コントラスト評価値のピークが予め定められた値以上であり、かつ前記複数の第2コントラスト評価値の最大値と最小値との差が予め定められた差以上であることである、請求項1に記載の決定装置。
  6. 前記予め定められた条件は、前記複数の第1コントラスト評価値に基づいて決定される前記フォーカスレンズの位置と、前記複数の第2コントラスト評価値に基づいて決定される前記フォーカスレンズの位置との差が、予め定められた範囲内であることである、請求項1に記載の決定装置。
  7. 前記検出部は、前記複数の第2コントラスト評価値のピークをさらに検出し、
    前記予め定められた条件は、前記複数の第1コントラスト評価値に基づいて決定される前記フォーカスレンズの位置と、前記複数の第2コントラスト評価値に基づいて決定される前記フォーカスレンズの位置との差が、予め定められた範囲内であり、前記検出部によって検出された前記複数の第2コントラスト評価値のピークが予め定められた値以上であり、かつ前記複数の第2コントラスト評価値の最大値と最小値との差が予め定められた差以上であることである、請求項1に記載の決定装置。
  8. 請求項1から7の何れか1つに記載の決定装置と、
    前記フォーカスレンズと
    前記決定装置により決定された前記フォーカスレンズの位置に基づいて前記フォーカスレンズの位置を制御する制御部と
    を備える撮像装置。
  9. フォーカスレンズを備える撮像装置によって撮像された画像を取得する段階と、
    第1フィルタ部を介して前記画像の空間周波数成分のうちの第1周波数成分を透過させる段階と、
    第2フィルタ部を介して前記画像の空間周波数成分のうちの前記第1周波数成分より高い帯域の第2周波数成分を透過させる段階と、
    前記画像の第1周波数成分を用いて、前記画像の第1コントラスト評価値を導出する段階と、
    前記画像の第2周波数成分を用いて、前記画像の第2コントラスト評価値を導出する段階と、
    複数の前記画像のそれぞれの複数の前記第1コントラスト評価値のピークを検出する段階と、
    前記検出する段階で前記複数の第1コントラスト評価値のピークが検出された場合に、前記複数の画像のそれぞれの複数の前記第2コントラスト評価値が予め定められた条件を満たすか否かを判断する段階と、
    前記複数の第2コントラスト評価値が前記予め定められた条件を満たす場合に、前記複数の第2コントラスト評価値に基づいて前記フォーカスレンズの位置を決定する段階と
    を備える決定方法。
  10. 請求項1から7の何れか1つに記載の決定装置としてコンピュータを機能させるためのプログラム。
JP2018116392A 2018-06-19 2018-06-19 決定装置、撮像装置、決定方法、及びプログラム Expired - Fee Related JP6561370B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018116392A JP6561370B1 (ja) 2018-06-19 2018-06-19 決定装置、撮像装置、決定方法、及びプログラム
CN201980005655.9A CN111344631A (zh) 2018-06-19 2019-06-18 确定装置、摄像装置、确定方法以及程序
PCT/CN2019/091744 WO2019242617A1 (zh) 2018-06-19 2019-06-18 确定装置、摄像装置、确定方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116392A JP6561370B1 (ja) 2018-06-19 2018-06-19 決定装置、撮像装置、決定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6561370B1 JP6561370B1 (ja) 2019-08-21
JP2019219501A true JP2019219501A (ja) 2019-12-26

Family

ID=67689573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116392A Expired - Fee Related JP6561370B1 (ja) 2018-06-19 2018-06-19 決定装置、撮像装置、決定方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP6561370B1 (ja)
CN (1) CN111344631A (ja)
WO (1) WO2019242617A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6961889B1 (ja) * 2020-06-30 2021-11-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 制御装置、撮像装置、制御方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4470651B2 (ja) * 2003-08-29 2010-06-02 日本ビクター株式会社 自動焦点調節装置
JP2005309323A (ja) * 2004-04-26 2005-11-04 Kodak Digital Product Center Japan Ltd 撮像用焦点距離検出方法及び撮像装置
JP2007192859A (ja) * 2006-01-17 2007-08-02 Sony Corp 合焦制御装置、及び撮像装置
JP4885156B2 (ja) * 2008-02-07 2012-02-29 株式会社日立製作所 フォーカス制御装置及び方法
JP2010122301A (ja) * 2008-11-17 2010-06-03 Hitachi Ltd フォーカス制御装置、およびフォーカス制御方法
WO2014073441A1 (ja) * 2012-11-06 2014-05-15 富士フイルム株式会社 撮像装置およびその動作制御方法
JP6253245B2 (ja) * 2013-04-17 2017-12-27 キヤノン株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
CN111344631A (zh) 2020-06-26
JP6561370B1 (ja) 2019-08-21
WO2019242617A1 (zh) 2019-12-26

Similar Documents

Publication Publication Date Title
JP6137847B2 (ja) 撮像装置及び撮像装置の制御方法
CN111052725B (zh) 控制装置、摄像装置、控制方法以及程序
JP2007212724A5 (ja)
US10277795B2 (en) Image pickup apparatus for taking static image, control method therefor, and storage medium storing control program therefor
US20160295101A1 (en) Image capturing apparatus and control method thereof
JP6561370B1 (ja) 決定装置、撮像装置、決定方法、及びプログラム
JP6201798B2 (ja) システム、情報処理装置、情報処理方法、および情報処理プログラム
US20120014611A1 (en) System and method for determining phase retrieval sampling from the modulation transfer function
AU2011265379A1 (en) Single shot image based depth mapping
JP6641572B1 (ja) 決定装置、制御装置、撮像装置、決定方法、及びプログラム
JP6623419B2 (ja) 表示制御装置、撮像装置、スマートフォン、表示制御方法、及びプログラム
KR101195370B1 (ko) 초점 정보 제공 장치 및 초점 조절 장치
US11546502B2 (en) Image processing apparatus and method of controlling the same
JP6911250B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
CN111294504B (zh) 一种反差对焦过程中对比度反差值的计算方法及装置
JP5616743B2 (ja) 撮像装置および画像処理方法
JP2021110794A (ja) 制御装置、撮像装置、制御方法、及びプログラム
CN104349035A (zh) 图像捕获设备以及其方法
JP2016114785A (ja) 撮像装置、撮像方法、及び撮像プログラム
WO2022145294A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2019203967A (ja) 表示制御装置、撮像装置、表示制御方法、及びプログラム
JP5919998B2 (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
WO2021246171A1 (ja) 撮像装置、および画像処理方法、並びにプログラム
CN114486186A (zh) 一种镜头的有效焦距的检测设备和方法
JP2024009653A (ja) 情報処理装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6561370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees