JP2021033189A - 制御装置、撮像装置、レンズ装置、および、プログラム - Google Patents

制御装置、撮像装置、レンズ装置、および、プログラム Download PDF

Info

Publication number
JP2021033189A
JP2021033189A JP2019156280A JP2019156280A JP2021033189A JP 2021033189 A JP2021033189 A JP 2021033189A JP 2019156280 A JP2019156280 A JP 2019156280A JP 2019156280 A JP2019156280 A JP 2019156280A JP 2021033189 A JP2021033189 A JP 2021033189A
Authority
JP
Japan
Prior art keywords
drive
focus
tilt
region
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019156280A
Other languages
English (en)
Other versions
JP7362360B2 (ja
Inventor
俊介 千野
Shunsuke Chino
俊介 千野
諒 川崎
Ryo Kawasaki
諒 川崎
夏子 佐藤
Natsuko Sato
夏子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019156280A priority Critical patent/JP7362360B2/ja
Priority to US16/937,024 priority patent/US11297220B2/en
Priority to EP20188046.5A priority patent/EP3787279A1/en
Priority to CN202010872122.5A priority patent/CN112449107B/zh
Publication of JP2021033189A publication Critical patent/JP2021033189A/ja
Application granted granted Critical
Publication of JP7362360B2 publication Critical patent/JP7362360B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/06Swinging lens about normal to the optical axis
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/08Swing backs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/0038Movement of one or more optical elements for control of motion blur by displacing the image plane with respect to the optical axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)

Abstract

【課題】高精度かつ高速なあおり制御を実現可能な制御装置を提供する。【解決手段】制御装置は、あおり駆動およびフォーカス駆動を制御する制御手段(115)と、画像中の少なくとも第1の領域および第2の領域の2つの領域のそれぞれの合焦度を取得する取得手段(112)と、合焦度に基づいて、あおり駆動またはフォーカス駆動のいずれを行うかを決定する第1の決定手段(114a)と、合焦度に基づいて、あおり駆動またはフォーカス駆動の駆動方向を決定する第2の決定手段(114b)とを有する。【選択図】図1

Description

本発明は、フォーカス機構およびあおり機構を制御する制御装置に関する。
近年、ホームや駐車場など様々な場所で、セキュリティを目的としてカメラ(撮像装置)が設置されている。またセキュリティ用途以外にも、工場のレーンなどにおける製品の管理でカメラの画像が使用されている。このような様々な用途においては、被写界深度の深い映像を得たいという需要がある。しかし、レンズ性能や画角や絞りなどの撮影条件よっては、深い被写界深度を得られない場合がある。例えば、天井に設置したネットワークカメラから道路や通行人や車を撮影する奥行きのあるシーンでは、フォーカスが合う撮影領域は一部となってしまう場合がある。
そこで、被写体を撮影する撮影光軸系と直交する撮像光軸面に対して撮像面を傾くように回転させること(あおり制御)で焦点面を調整して、撮影シーンの被写界深度を深くするシャインプルーフの原理が知られている。特許文献1には、撮像装置のチルト角、焦点距離情報、および、被写体距離情報を取得し、パラメータを入力することなく撮像素子のあおり角度を算出し自動であおり制御を行う撮像装置が開示されている。
特開2010−130633号公報
しかしながら、特許文献1に開示された撮像装置では、あおり角度やフォーカス位置の停止精度、ヒステリシスなどのばらつき、および、撮像装置のチルト(傾き)などの各種情報の誤差により、高精度かつ高速なあおり制御を実現することができない。
そこで本発明は、高精度かつ高速なあおり制御を実現可能な制御装置、撮像装置、レンズ装置、および、プログラムを提供することを目的とする。
本発明の一側面としての制御装置は、あおり駆動およびフォーカス駆動を制御する制御手段と、画像中の少なくとも第1の領域および第2の領域の2つの領域のそれぞれの合焦度を取得する取得手段と、前記合焦度に基づいて、前記あおり駆動または前記フォーカス駆動のいずれを行うかを決定する第1の決定手段と、前記合焦度に基づいて、前記あおり駆動または前記フォーカス駆動の駆動方向を決定する第2の決定手段とを有する。
本発明の他の側面としての撮像装置は、撮像光学系を介して形成される光学像を光電変換する撮像素子と、前記制御装置とを有する。
本発明の他の側面としてのレンズ装置は、撮像光学系と前記制御装置とを有する。
本発明の他の側面としてのプログラムは、画像中の少なくとも第1の領域および第2の領域のそれぞれの合焦度を取得するステップと、前記合焦度に基づいて、あおり駆動またはフォーカス駆動のいずれを行うかを決定するステップと、前記合焦度に基づいて、前記あおり駆動または前記フォーカス駆動の駆動方向を決定するステップと、前記あおり駆動または前記フォーカス駆動を制御するステップとをコンピュータに実行させる。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、高精度かつ高速なあおり制御を実現可能な制御装置、撮像装置、レンズ装置、および、プログラムを提供することができる。
本実施形態における撮像装置のブロック図である。 本実施形態におけるあおり制御の説明図である。 本実施形態におけるあおり角度およびフォーカス位置の説明図である。 本実施形態における評価枠の設定例である。 本実施形態における駆動手段および駆動方向の説明図である。 本実施形態におけるあおり駆動方向の説明図である。 本実施形態における制御方法のフローチャートである。 本実施形態における合焦評価値の増減判定方法の説明図である。 本実施形態における合焦停止方法の説明図である。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
まず、図1を参照して、本実施形態における撮像装置の構成について説明する。図1は、撮像装置100のブロック図である。本実施形態において、撮像装置100は、撮像装置本体と撮像光学系(レンズ装置)とが一体的に構成されている。ただし本発明は、これに限定されるものではなく、撮像装置本体と、撮像装置本体に対して着脱可能なレンズ装置とを備えて構成される撮像システムにも適用可能である。この場合、後述のあおり/フォーカス制御部115などの各部は、撮像装置本体またはレンズ装置のいずれに設けてもよい。
ズームレンズ101は、光軸方向に移動して焦点距離を変更する。フォーカスレンズ102は、光軸方向に移動して焦点調節を行う。絞りユニット103は、光量を調整する。本実施形態の撮像光学系は、ズームレンズ101、フォーカスレンズ102、および、絞りユニット103を有する。ただし本発明は、これに限定されるものではなく、ズームレンズ101、フォーカスレンズ102、および、絞りユニット103の少なくとも一つを有しない撮像光学系であってもよい。
撮像光学系を通過した光は、バンドパスフィルタ(BPF)104およびカラーフィルタ105を介して、撮像素子106上に光学像としての被写体像を形成する。BPF104は、撮像光学系の光路に対し進退可能に構成されている。撮像素子106はCMOSセンサ等を有し、撮像光学系を介して形成された被写体像を光電変換してアナログ電気信号(撮像画像)を出力する。AGC107は、撮像素子106から出力されたアナログ電気信号に対してゲイン調整を行う。AD変換器108は、アナログ電気信号をデジタル信号(デジタル撮像信号)に変換し、デジタル信号をカメラ信号処理部109に出力する。
カメラ信号処理部109は、デジタル撮像信号に対して各種の画像処理を行い、映像信号を生成する。映像信号は、通信部110を介して撮像装置100に有線または無線通信により接続された監視モニタ装置111に出力される。また通信部110は、外部装置からのコマンド(命令)を受けて、あおり/フォーカス制御部(制御手段)115にコマンド等の制御信号を出力する。
合焦評価値算出部(取得手段)112は、対象となる被写体領域毎にAD変換器108またはカメラ信号処理部109から、RGBの画素値または輝度値を受け取り、特定周波数のコントラストに関する評価値(合焦評価値、または合焦度)を取得する。なお、単純に特定周波数に基づく評価値ではなく、輝度のコントラストで除算し正規化をしても構わない。また、位相差等に基づく距離情報を評価値として取得する構成でもよい。また合焦評価値算出部112は、現在の合焦評価値と過去の合焦評価値とを比較して、あおり角度およびフォーカス位置のそれぞれの駆動による合焦評価値の変化(変化量)を算出する。
被写体設定部113は、カメラ信号処理部109からの信号に基づいて、撮影画面(画像)から被写体を検出する。被写体設定部113は、予め設定された被写体、例えば人物や車の判定(検出)を行うことが可能であり、合焦評価値を算出するための枠を設定する。また、ユーザにより指定された領域を合焦評価値を設定する枠としてもよい。合焦評価値算出部112は、被写体設定部113により設定された枠において合焦評価値を算出、比較する。
あおり/フォーカス決定部114は、第1の決定手段114aおよび第2の決定手段114bを有し、合焦評価値算出部112により算出された評価値の変化と、過去の駆動手段と方向とに基づいて、次回駆動させる駆動手段と方向を決定する。第1の決定手段114aは、評価値(合焦度)に基づいて、あおり駆動またはフォーカス駆動のいずれを行うかを決定する。第2の決定手段114bは、評価値(合焦度)に基づいて、あおり駆動またはフォーカス駆動の駆動方向を決定する。また、あおり/フォーカス決定部114は、決定された駆動手段と方向に駆動させるあおり角度とフォーカス位置を算出し、算出されたあおり角度とフォーカス位置をあおり/フォーカス制御部115に伝える。
あおり/フォーカス制御部(制御手段)115は、あおり角度(あおり駆動)を制御するあおり制御手段、および、フォーカス位置(フォーカス駆動)を制御するフォーカス制御手段としての機能を有する。あおり/フォーカス制御部115は、通信部110からの指示に従って、オートフォーカス(AF)やマニュアルフォーカス(MF)でピント制御(フォーカス制御)を行う。また、あおり/フォーカス制御部115は、撮像素子駆動部116やフォーカス駆動部117から現在の位置を受け取り、あおり/フォーカス決定部114に現在の位置を伝える。また、あおり/フォーカス制御部115は、あおり/フォーカス決定部114により算出されたあおり角度およびフォーカス位置に基づいて、撮像素子駆動部116およびフォーカス駆動部117のそれぞれに対して駆動位置を指示する。
撮像素子駆動部(あおり駆動手段)116は、あおり/フォーカス制御部115から指示されたあおり角度に基づいて撮像素子106を傾ける(あおり駆動を行う)。通常、撮像素子106を傾ける回転軸は、撮影画面の中心に位置し、回転軸を中心として撮像素子106が傾く。ただし、本発明はこれに限定されるものではなく、あおり駆動手段は、撮像素子106に代えて撮像光学系の傾けてもよい。すなわち、あおり駆動は、撮像素子106または撮像光学系の少なくとも一方の傾きを変更する駆動である。フォーカス駆動部(フォーカス駆動手段)117は、あおり/フォーカス制御部115から指示されたフォーカスの設定位置に基づいて、フォーカスレンズ102の位置を制御する。すなわちフォーカス駆動は、撮像光学系の少なくとも一部を構成するフォーカスレンズ102を光軸方向に移動させる駆動である。
次に、図2を参照して、あおり制御について説明する。図2は、あおり制御の説明図である。図2(a)は、光学系(撮像光学系)の主面と撮像素子106の撮像面とが平行である状態を示している。フォーカス距離Lにピントが合っており、そのピント面は光学系および撮像素子106のそれぞれと平行である。図2(b)は、図2(a)の状態から撮像素子106を撮像素子回転軸を中心として回転させ、あおり制御を行った状態を示している。あおり制御を行うと、シャインプルーフの原理に基づいて、ピント面も撮像素子回転軸に対応するピント面回転軸を中心に回転するため、ある平面に関して近距離から遠距離までの全ての被写体にピントを合わせることが可能となる。シャインプルーフの原理は、光学系の主面と撮像素子の撮像面とがある一つの直線で交わるとき、ピント面も同じ直線上で交わるという原理である。あおり角bは、焦点距離f、フォーカス距離L、俯角αを用いて、シャインプルーフの原理より以下の式(1)で算出される。
図2(c)は、被写体X(第1の被写体領域)および被写体Y(第2の被写体領域)が存在するシーンを示している。この場合、図2(c)に示されるように、被写体の顔にピントが合うような高さのあるピント面に制御することが好ましい。それには、あおり制御のみではなくフォーカスも合わせて制御することが必要となる。また、被写体毎に最適なピント面(すなわち、最適なあおり角度およびフォーカス位置)は異なっており、ユーザが手動で調整するのは困難である。
そこで、図3を参照して、被写体に応じて最適なあおり角度およびフォーカス位置を算出する一例を説明する。図3は、あおり角度およびフォーカス位置の算出の説明図である。ここでは、対象となる被写体として、図2(c)と同様に、被写体Xおよび被写体Yが存在する。現在のあおり角度とフォーカスレンズ102の位置が図3の上部の位置関係になっている。xは被写体Xに対してピントを合わせるために必要なピント面上での補正量、yは被写体Yに対してピントを合わせるために必要なピント面上での補正量である。また撮像素子106上でのあおり軸から被写体までの距離を、被写体Xに対してk1[μm]、被写体Yに対してk2[μm]とする。ここで、被写体X、Yに同時に合焦させるためのあおり角度をα[°]とし、ピント面上でのフォーカス補正量をβとすると、以下の式(2)、(3)の関係が成立する。
式(2)、(3)の連立方程式を解くと、あおり角度αおよびフォーカス補正量βはそれぞれ、以下の式(4)、(5)で表されるように算出される。
ピント制御量は、簡易的に算出するには、βをフォーカスレンズ102の敏感度で除算することで簡易的に算出することができる。実際には、あおり角度やフォーカス位置の停止精度やヒステリシスなどのメカ的な要因や被写体が移動した場合などの要因で、誤差が生じる。このような誤差が存在しても最適なあおり角度およびフォーカス位置に制御を行うため、あおり/フォーカス制御部115は、合焦評価値算出部112により算出された評価値を判定し、その判定に基づいて適切な制御を行う。
図4は、本実施形態における評価枠の設定例である。図4に示されるように、被写体Xおよび被写体Yが存在する場合、あおり/フォーカス制御部115は、あおり角度およびフォーカス位置を駆動する(あおり駆動およびフォーカス駆動を行う)。そして、あおり/フォーカス決定部114は、その際の合焦評価値の変化に基づいて、あおり駆動またはフォーカス駆動のうち次回の駆動、および、あおり駆動の駆動方向またはフォーカス駆動の駆動方向のうち次回の駆動方向を決定する。例えば、画像中の被写体Xが存在する領域(評価枠)を第1の領域(第1の被写体領域)、被写体Yが存在する領域(評価枠)を第2の領域(第2の被写体領域)という。なお本実施形態は、第1の領域と第2の領域のみに被写体が存在する場合に限定されるものではなく、第1の領域および第2の領域以外の第3の領域に他の被写体が存在する場合にも適用可能である。
図5は、本実施形態における駆動手段および駆動方向の説明図であり、動かした駆動手段と駆動方向、および合焦評価値の変化に基づいて、次回駆動する駆動手段および駆動方向を示す。例えば、あおり角度を+方向に駆動し、被写体X(第1の領域)および被写体Y(第2の領域)の評価値がともに増加する場合、あおり角度が不足している状況であり、次の制御として、同じ駆動手段を同じ方向に駆動させる。すなわち、あおり駆動手段(撮像素子駆動部116、撮像素子106)を+方向に駆動させる。あおり角度を+方向に駆動し、被写体Xの評価値が増加、被写体Yの評価値が減少した場合、あおり角度でなく、フォーカス位置が至近側によっている状況となり、次の制御として、異なる駆動手段を駆動させる。すなわち、フォーカス駆動手段(フォーカスレンズ102、フォーカス駆動部117)を至近方向に駆動させる。図6は、あおり駆動方向の説明図であり、あおり角度の+方向と−方向をそれぞれ示している。
次に、図7を参照して、本実施形態における制御方法について説明する。図7は、本実施形態における制御方法(メイン処理)を示すフローチャートである。図7の各ステップは、主に、合焦評価値算出部112、あおり/フォーカス決定部114、または、あおり/フォーカス制御部115により実行される。
まずステップS701において、あおり/フォーカス制御部(制御手段)115は、複数の被写体に対して最適なあおり制御を行うため、撮像素子駆動部116またはフォーカス駆動部117を制御し、あおり駆動またはフォーカス駆動を行う。より具体的には、あおり制御手段はあおり駆動を行い、フォーカス制御手段はフォーカス制御を行う。駆動開始の際など、あおり駆動またはフォーカス駆動のいずれを行うかが決まっていない場合、駆動耐久回数の多い方から駆動することでレンズを長時間使用することができる。続いてステップS702において、合焦評価値算出部112は、複数領域(第1の領域および第2の領域)のそれぞれの合焦評価値(合焦度)を算出する。合焦評価値の枠は、顔や動体などが主であり、動体検出などの被写体検出により自動的に設定されるか、または、ユーザにより指定されてもよい。
続いてステップS703において、合焦評価値算出部112は、ステップS702にて算出された複数領域の合焦評価値の変化量に基づいて、枠ごとに変化量の増減を算出する。続いてステップS704において、合焦評価値算出部112は、複数領域の合焦評価値の変化量の増減が同じであるか否かを判定する。複数領域の合焦評価値の増減が同じである場合、ステップS705に進む。ステップS705において、合焦評価値算出部112は、合焦評価値が増加したか否かを判定する。合焦評価値が増加した場合、ステップS706に進む。ステップS706において、あおり/フォーカス決定部114は、同じ駆動手段(撮像素子駆動部116またはフォーカス駆動部117)を同じ方向に駆動させることを決定する。そして、あおり/フォーカス制御部115は、同じ駆動手段を同じ方向に駆動させる。
ステップS704にて複数領域の合焦評価値の変化量の増減が同じであって、かつ、ステップS705にて各枠の合焦評価値が減少している場合、ステップS707に進む。ステップS707において、あおり/フォーカス決定部114は、同じ駆動手段(撮像素子駆動部116またはフォーカス駆動部117)を異なる方向、すなわち反対方向に駆動させることを決定する。そして、あおり/フォーカス制御部115は、同じ駆動手段を異なる方向に駆動させる。
ステップS704にて複数領域の合焦評価値の変化量の増減が異なる場合、ステップS708に進む。ステップS708において、あおり/フォーカス決定部114は、異なる駆動手段を複数領域の合焦評価値が増加する方向に駆動させることを決定する。そして、あおり/フォーカス制御部115は、異なる駆動手段を合焦評価値が増加する方向に駆動させる。
次に、図8を参照して、複数領域の合焦評価値の増減判定方法について説明する。図8は、合焦評価値の増減判定方法の説明図である。図8において、横軸はあおり角度またはフォーカス位置、縦軸は合焦評価値をそれぞれ示す。また図8において、前の位置は駆動前のあおり角度またはフォーカス位置、現在の位置は現在のあおり角度またはフォーカス位置、次の位置は次回駆動後のあおり角度またはフォーカス位置をそれぞれ示す。合焦評価値算出部112またはあおり/フォーカス決定部114は、前の位置と現在の位置とを比較して合焦評価値の増減を判定することにより、駆動方向を判定することができる。なお、判定に用いる位置が増えるため判定時間は増加するが、ノイズなどの影響を受けにくくするため、前の位置、現在の位置、および、次の位置のそれぞれの合焦評価値に基づいて判定を行ってもよい。または、前の位置および次の位置での合焦評価値に基づいて判定を行ってもよい。
なお本実施形態では、合焦評価値の増減を判定するため、あおり角度またはフォーカス位置における合焦評価値を用いているが、これに限定されるものではない。前述のように位相差等による距離情報に基づいて、あおり/フォーカス駆動手段/駆動量を決定する方法や、撮像装置100のチルト角、焦点距離情報、および、被写体距離情報を取得して固定量だけあおり、フォーカスを駆動する方法を採用してもよい。また、最初にそのような方法で概略あおり駆動および概略フォーカス駆動を行い、その後で本実施形態の方法を用いて精度よく追い込むことで高速なあおり制御およびフォーカス制御を行ってもよい。なお、概略あおり駆動および概略フォーカス駆動は、例えば位相差センサを用いて行うことができる。
次に、図5および図9を参照して、あおり角度およびフォーカス位置が最適に制御された場合の合焦停止方法について説明する。図5に示される駆動手段を駆動し、被写体Xおよび被写体Yの評価値がともに低下した場合、駆動前のあおり角度またはフォーカス位置が合焦評価値のピーク位置となる場合がある。そのピーク位置が合焦停止位置となる。
図9は、本実施形態における合焦停止方法の説明図である。図9において、横軸はあおり角度またはフォーカス位置、縦軸は合焦評価値をそれぞれ示す。また図9において、前の位置は駆動前のあおり角度またはフォーカス位置、現在の位置は現在のあおり角度またはフォーカス位置、次の位置は次回駆動後のあおり角度またはフォーカス位置をそれぞれ示す。
合焦評価値のピーク位置は、前の位置および次の位置のそれぞれで評価値が低下するような現在の位置に相当する。時間よりも精度を優先する場合、次の位置で合焦評価値が低下することを確認した後、さらに反対方向に駆動して合焦評価値が低下することを確認してピーク位置をする。これにより、確実にピーク位置を判定することができる。一方、合焦停止までの時間を精度よりも優先する場合、被写体X、Yの評価値がともに低下したときに合焦評価値のピーク位置と判定し、ピーク位置に駆動させて合焦停止させてもよい。
なお本実施形態において、撮像素子106の撮像面の角度を変更することによりあおり制御を行うが、これに限定されるものではなく、撮像光学系の少なくとも一部の角度(光学系の主面)を変更することによりあおり制御を行っても良い。また、水平方向のあおり制御だけでなく、垂直方向を加えた2軸のあおり制御についても同様の制御することで、2つの平面において被写体の認識性を維持したあおり制御を実現することが可能となる。
このように本実施形態において、制御装置(撮像装置100)は、制御手段(あおり/フォーカス制御部115)、取得手段(合焦評価値算出部112)、第1の決定手段114a、および、第2の決定手段114bを有する。制御手段は、あおり駆動およびフォーカス駆動を制御する。取得手段は、画像中の少なくとも第1の領域(第1の被写体領域)および第2の領域(第2の被写体領域)のそれぞれの合焦度を取得する。第1の決定手段は、合焦度に基づいて、あおり駆動またはフォーカス駆動のいずれを行うかを決定する。第2の決定手段は、合焦度に基づいて、あおり駆動またはフォーカス駆動の駆動方向を決定する。
好ましくは、取得手段は、画像中の第3の領域の合焦度を取得する。また好ましくは、制御手段は、あおり駆動を制御するあおり制御手段と、フォーカス駆動を制御するフォーカス制御手段とを有する。また好ましくは、取得手段は、あおり駆動またはフォーカス駆動の前または後(すなわち、あおり駆動またはフォーカス駆動の前後の少なくとも一方、以下も同様)において少なくとも第1の領域および第2の領域のそれぞれの合焦度を取得する。制御手段は、あおり駆動またはフォーカス駆動の前または後における少なくとも第1の領域および第2の領域のそれぞれの合焦度の変化に基づいて、あおり駆動またはフォーカス駆動を制御する。
好ましくは、制御手段は、あおり駆動またはフォーカス駆動の前または後における少なくとも第1の領域および第2の領域のそれぞれの合焦度がともに増加または減少する場合、あおり駆動またはフォーカス駆動のうち前回と同じ駆動を次回の駆動として決定する。一方、制御手段は、少なくとも第1の領域および第2の領域のそれぞれの合焦度の一方が増加し、他方が減少する場合、あおり駆動またはフォーカス駆動のうち前回と異なる駆動を次回の駆動として決定する(S704〜S708)。
好ましくは、制御手段は、あおり駆動またはフォーカス駆動の前または後における少なくとも第1の領域および第2の領域のそれぞれの合焦度がともに増加する場合、あおり駆動またはフォーカス駆動のうち前回と同じ駆動を次回の駆動として決定する。またこのとき、制御手段は、あおり駆動またはフォーカス駆動の駆動方向のうち前回と同じ駆動方向を次回の駆動方向として決定する(S705、S706)。
好ましくは、制御手段は、あおり駆動またはフォーカス駆動の前または後における少なくとも第1の領域および第2の領域のそれぞれの合焦度がともに減少する場合、あおり駆動またはフォーカス駆動のうち前回と同じ駆動を次回の駆動として決定する。またこのとき、制御手段は、あおり駆動またはフォーカス駆動の駆動方向のうち前回と反対の駆動方向を次回の駆動方向として決定する(S705、S707)。
好ましくは、制御手段は、少なくとも第1の領域および第2の領域のそれぞれの合焦度の一方が増加し、他方が減少する場合、あおり駆動またはフォーカス駆動のうち前回と異なる駆動を次回の駆動として決定する。またこのとき、制御手段は、あおり駆動またはフォーカス駆動の駆動方向のうち少なくとも第1の領域および第2の領域のそれぞれの合焦度が増加する駆動方向を次回の駆動方向として決定する(S704、S708)。
好ましくは、制御手段は、少なくとも第1の領域および第2の領域のそれぞれの合焦度がともに減少する場合、合焦停止位置を決定する。また好ましくは、制御手段は、合焦度または撮像装置の設置状況の少なくとも一つに基づいて、概略あおり駆動または概略フォーカス駆動を行う。そして制御手段は、概略あおり駆動または概略フォーカス駆動を行った後に、合焦度に基づいてあおり駆動またはフォーカス駆動を制御する。より好ましくは、制御手段は、位相差センサを用いて概略あおり駆動または概略フォーカス駆動を行う。また好ましくは、撮像装置の設置状況は、撮像装置の設置角度、焦点距離、または、被写体距離の少なくとも一つである。また好ましくは、取得手段は、被写体の高周波成分に基づいて合焦度を算出する。また好ましくは、制御手段は、あおり駆動またはフォーカス駆動の初期の駆動の際に、あおり駆動またはフォーカス駆動のうち駆動耐久回数が多い方を選択する。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施形態は、画像中の複数の領域における合焦度に基づいてフォーカス位置およびあおり角度を制御する。このため各実施形態によれば、高精度かつ高速なあおり制御を実現可能な制御装置、撮像装置、レンズ装置、および、プログラムを提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
112 合焦評価値算出部(取得手段)
114a 第1の決定手段
114b 第2の決定手段
115 あおり/フォーカス制御部(制御手段)

Claims (18)

  1. あおり駆動およびフォーカス駆動を制御する制御手段と、
    画像中の少なくとも第1の領域および第2の領域の2つの領域のそれぞれの合焦度を取得する取得手段と、
    前記合焦度に基づいて、前記あおり駆動または前記フォーカス駆動のいずれを行うかを決定する第1の決定手段と、
    前記合焦度に基づいて、前記あおり駆動または前記フォーカス駆動の駆動方向を決定する第2の決定手段と、を有することを特徴とする制御装置。
  2. 前記取得手段は、前記画像中の第3の領域の合焦度を取得することを特徴とする請求項1に記載の制御装置。
  3. 前記制御手段は、前記あおり駆動を制御するあおり制御手段と、前記フォーカス駆動を制御するフォーカス制御手段と、を有することを特徴とする請求項1または2に記載の制御装置。
  4. 前記取得手段は、前記あおり駆動または前記フォーカス駆動の前または後において少なくとも前記第1の領域および前記第2の領域のそれぞれの前記合焦度を取得し、
    前記制御手段は、前記あおり駆動または前記フォーカス駆動の前または後における少なくとも前記第1の領域および前記第2の領域のそれぞれの前記合焦度の変化に基づいて、前記あおり駆動または前記フォーカス駆動を制御することを特徴とする請求項1乃至3のいずれか一項に記載の制御装置。
  5. 前記制御手段は、
    前記あおり駆動または前記フォーカス駆動の前または後における少なくとも前記第1の領域および前記第2の領域のそれぞれの前記合焦度がともに増加または減少する場合、前記あおり駆動または前記フォーカス駆動のうち前回と同じ駆動を次回の駆動として決定し、
    前記第1の領域および前記第2の領域のそれぞれの前記合焦度の一方が増加し、他方が減少する場合、前記あおり駆動または前記フォーカス駆動のうち前回と異なる駆動を次回の駆動として決定することを特徴とする請求項4に記載の制御装置。
  6. 前記制御手段は、前記あおり駆動または前記フォーカス駆動の前または後における少なくとも前記第1の領域および前記第2の領域のそれぞれの前記合焦度がともに増加する場合、前記あおり駆動または前記フォーカス駆動のうち前回と同じ駆動を次回の駆動として決定し、前記あおり駆動または前記フォーカス駆動の駆動方向のうち前回と同じ駆動方向を次回の駆動方向として決定することを特徴とする請求項4または5に記載の制御装置。
  7. 前記制御手段は、前記あおり駆動または前記フォーカス駆動の前または後における少なくとも前記第1の領域および前記第2の領域のそれぞれの前記合焦度がともに減少する場合、前記あおり駆動または前記フォーカス駆動のうち前回と同じ駆動を次回の駆動として決定し、前記あおり駆動または前記フォーカス駆動の駆動方向のうち前回と反対の駆動方向を次回の駆動方向として決定することを特徴とする請求項4乃至6のいずれか一項に記載の制御装置。
  8. 前記制御手段は、少なくとも前記第1の領域および前記第2の領域のそれぞれの前記合焦度の一方が増加し、他方が減少する場合、前記あおり駆動または前記フォーカス駆動のうち前回と異なる駆動を次回の駆動として決定し、前記あおり駆動または前記フォーカス駆動の駆動方向のうち前記第1の領域および前記第2の領域のそれぞれの前記合焦度が増加する駆動方向を次回の駆動方向として決定することを特徴とする請求項4乃至7のいずれか一項に記載の制御装置。
  9. 前記制御手段は、少なくとも前記第1の領域および前記第2の領域のそれぞれの前記合焦度がともに減少する場合、合焦停止位置を決定することを特徴とする請求項1乃至8のいずれか一項に記載の制御装置。
  10. 前記制御手段は、
    前記合焦度または撮像装置の設置状況の少なくとも一つに基づいて、概略あおり駆動または概略フォーカス駆動を行い、
    前記概略あおり駆動または前記概略フォーカス駆動を行った後に、前記合焦度に基づいて前記あおり駆動または前記フォーカス駆動を制御することを特徴とする請求項1乃至9のいずれか一項に記載の制御装置。
  11. 前記制御手段は、位相差センサを用いて前記概略あおり駆動または前記概略フォーカス駆動を行うことを特徴とする請求項10に記載の制御装置。
  12. 前記撮像装置の設置状況は、前記撮像装置の設置角度、焦点距離、または、被写体距離の少なくとも一つであることを特徴とする請求項10または11に記載の制御装置。
  13. 前記取得手段は、被写体の高周波成分に基づいて前記合焦度を算出することを特徴とする請求項1乃至12のいずれか一項に記載の制御装置。
  14. 前記制御手段は、前記あおり駆動または前記フォーカス駆動の初期の駆動の際に、前記あおり駆動または前記フォーカス駆動のうち駆動耐久回数が多い方を選択することを特徴とする請求項1乃至13のいずれか一項に記載の制御装置。
  15. 前記あおり駆動は、撮像素子または撮像光学系の少なくとも一方の傾きを変更する駆動であり、
    前記フォーカス駆動は、前記撮像光学系の少なくとも一部を構成するフォーカスレンズを光軸方向に移動させる駆動であることを特徴とする請求項1乃至14のいずれか一項に記載の制御装置。
  16. 撮像光学系を介して形成される光学像を光電変換する撮像素子と、
    請求項1乃至15のいずれか1項に記載の制御装置と、を有することを特徴とする撮像装置。
  17. 撮像光学系と、
    請求項1乃至15のいずれか1項に記載の制御装置と、を有することを特徴とするレンズ装置。
  18. 画像中の少なくとも第1の領域および第2の領域のそれぞれの合焦度を取得するステップと、
    前記合焦度に基づいて、あおり駆動またはフォーカス駆動のいずれを行うかを決定するステップと、
    前記合焦度に基づいて、前記あおり駆動または前記フォーカス駆動の駆動方向を決定するステップと、
    前記あおり駆動または前記フォーカス駆動を制御するステップと、をコンピュータに実行させることを特徴とするプログラム。
JP2019156280A 2019-08-29 2019-08-29 制御装置、撮像装置、レンズ装置、および、プログラム Active JP7362360B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019156280A JP7362360B2 (ja) 2019-08-29 2019-08-29 制御装置、撮像装置、レンズ装置、および、プログラム
US16/937,024 US11297220B2 (en) 2019-08-29 2020-07-23 Control apparatus, control method, and storage medium
EP20188046.5A EP3787279A1 (en) 2019-08-29 2020-07-28 Control apparatus, control method, and program
CN202010872122.5A CN112449107B (zh) 2019-08-29 2020-08-26 控制设备、控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019156280A JP7362360B2 (ja) 2019-08-29 2019-08-29 制御装置、撮像装置、レンズ装置、および、プログラム

Publications (2)

Publication Number Publication Date
JP2021033189A true JP2021033189A (ja) 2021-03-01
JP7362360B2 JP7362360B2 (ja) 2023-10-17

Family

ID=71994287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019156280A Active JP7362360B2 (ja) 2019-08-29 2019-08-29 制御装置、撮像装置、レンズ装置、および、プログラム

Country Status (4)

Country Link
US (1) US11297220B2 (ja)
EP (1) EP3787279A1 (ja)
JP (1) JP7362360B2 (ja)
CN (1) CN112449107B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022166801A (ja) * 2021-04-21 2022-11-02 キヤノン株式会社 撮像装置、制御方法、および記憶媒体
US11722775B2 (en) 2021-08-17 2023-08-08 Canon Kabushiki Kaisha Image pickup apparatus and controlling method thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510704B1 (ko) * 2018-10-30 2023-03-16 캐논 가부시끼가이샤 촬상 장치
JP7271159B2 (ja) * 2018-12-14 2023-05-11 キヤノン株式会社 制御装置、撮像装置、レンズ装置、プログラム、および制御装置の制御方法
EP3968624B1 (en) * 2020-09-14 2023-11-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
US20220345633A1 (en) * 2021-04-21 2022-10-27 Canon Kabushiki Kaisha Image pickup apparatus, control method, and memory medium
JP2022166384A (ja) * 2021-04-21 2022-11-02 キヤノン株式会社 制御装置、撮像装置、制御方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325199A (ja) * 2001-04-25 2002-11-08 Ricoh Co Ltd 電子撮像装置
JP2017173802A (ja) * 2016-03-16 2017-09-28 リコーイメージング株式会社 撮影装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08186757A (ja) 1994-12-28 1996-07-16 Canon Inc 電子カメラ
US6985177B2 (en) 2000-07-04 2006-01-10 Canon Kabushiki Kaisha Image sensing system and its control method
DE102005041431B4 (de) * 2005-08-31 2011-04-28 WÖHLER, Christian Digitale Kamera mit verschwenkbarem Bildsensor
JP4944498B2 (ja) * 2006-05-26 2012-05-30 キヤノン株式会社 撮像光学系
JP5176912B2 (ja) 2008-12-01 2013-04-03 株式会社ニコン 撮像装置
JP6614783B2 (ja) * 2015-03-19 2019-12-04 キヤノン株式会社 自動焦点調節装置およびその制御方法
CN106375650B (zh) * 2015-11-17 2019-04-23 北京智谷睿拓技术服务有限公司 对焦方法和装置、图像采集设备
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
JP6788348B2 (ja) * 2016-01-06 2020-11-25 キヤノン株式会社 光学制御装置、光学機器、コンピュータープログラムおよび制御方法
US10341567B2 (en) 2016-03-16 2019-07-02 Ricoh Imaging Company, Ltd. Photographing apparatus
KR102510704B1 (ko) 2018-10-30 2023-03-16 캐논 가부시끼가이샤 촬상 장치
JP7271159B2 (ja) 2018-12-14 2023-05-11 キヤノン株式会社 制御装置、撮像装置、レンズ装置、プログラム、および制御装置の制御方法
US11381731B2 (en) 2019-03-15 2022-07-05 Canon Kabushiki Kaisha Imaging apparatus, imaging control method, and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325199A (ja) * 2001-04-25 2002-11-08 Ricoh Co Ltd 電子撮像装置
JP2017173802A (ja) * 2016-03-16 2017-09-28 リコーイメージング株式会社 撮影装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022166801A (ja) * 2021-04-21 2022-11-02 キヤノン株式会社 撮像装置、制御方法、および記憶媒体
JP7293310B2 (ja) 2021-04-21 2023-06-19 キヤノン株式会社 撮像装置、制御方法、および記憶媒体
US11722775B2 (en) 2021-08-17 2023-08-08 Canon Kabushiki Kaisha Image pickup apparatus and controlling method thereof

Also Published As

Publication number Publication date
US11297220B2 (en) 2022-04-05
CN112449107A (zh) 2021-03-05
JP7362360B2 (ja) 2023-10-17
CN112449107B (zh) 2023-04-18
EP3787279A1 (en) 2021-03-03
US20210067704A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
JP7362360B2 (ja) 制御装置、撮像装置、レンズ装置、および、プログラム
CN111698417B (zh) 摄像设备、摄像控制方法和存储介质
CN111200706B (zh) 摄像设备
US8861948B2 (en) Image pickup apparatus
CN112637479B (zh) 控制设备、摄像设备、控制方法和存储介质
JP7271220B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2021033193A (ja) 制御装置、撮像装置、レンズ装置、および、プログラム
JP2021076777A (ja) 制御装置、撮像装置、制御方法、および、プログラム
JP2020154283A (ja) 撮像装置、コンピュータプログラム、記憶媒体および撮像制御方法
JP7254562B2 (ja) 撮像装置及びその制御装置
JP2021113909A (ja) 制御装置、撮像装置、監視カメラシステム、制御方法、および、プログラム
JP2020076960A (ja) 撮像装置
JPH06105339A (ja) 立体カメラ装置
KR20100007444A (ko) 감시카메라 시스템을 통한 감시 방법
US12003854B2 (en) Imaging device, storage medium, and method of controlling imaging device
JP2024011953A (ja) 撮像装置およびその制御方法
JP2005234071A (ja) プロジェクタ装置及び投影画像調整方法
JP2020129788A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP2022150602A (ja) 撮像装置、情報処理装置、撮像装置の制御方法、及びプログラム
JP2021019214A (ja) 撮像装置、コンピュータプログラムおよび記憶媒体
JP2022145453A (ja) 撮像装置、制御方法および記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231004

R151 Written notification of patent or utility model registration

Ref document number: 7362360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151