JP2020061633A - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP2020061633A
JP2020061633A JP2018191003A JP2018191003A JP2020061633A JP 2020061633 A JP2020061633 A JP 2020061633A JP 2018191003 A JP2018191003 A JP 2018191003A JP 2018191003 A JP2018191003 A JP 2018191003A JP 2020061633 A JP2020061633 A JP 2020061633A
Authority
JP
Japan
Prior art keywords
image pickup
flicker
unit
drive mode
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018191003A
Other languages
English (en)
Other versions
JP7224839B2 (ja
JP2020061633A5 (ja
Inventor
和則 郷司
Kazunori Goshi
和則 郷司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018191003A priority Critical patent/JP7224839B2/ja
Priority to US16/594,393 priority patent/US11272120B2/en
Publication of JP2020061633A publication Critical patent/JP2020061633A/ja
Publication of JP2020061633A5 publication Critical patent/JP2020061633A5/ja
Application granted granted Critical
Publication of JP7224839B2 publication Critical patent/JP7224839B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • G06K7/10752Exposure time control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1092Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing by means of TV-scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】フリッカーの影響を低減した流し撮りを行えるようにする撮像装置を提供する。【解決手段】撮像装置は、時系列に連続なフレームを取得可能な撮像手段(測光センサ108、撮像素子102)を備える。測光処理部109は測光センサ108の駆動を複数の駆動モードで制御する。測光処理部109は第1の駆動モードに設定したときに得られたフレームの画像から被写体の輝度を得る測光演算と、第2の駆動モードに設定したときに得られたフレームの画像から撮影シーンのフリッカーを検知する演算を行う。また測光処理部109は、第1の駆動モードにて連続なフレームの画像間で被写体の動きベクトルを検出する演算を行う。カメラ制御部101は、測光処理部109の演算結果に基づき、流し撮り時にフリッカーが検知された場合、露光制御において流し撮り時にフリッカーが検知されていない場合よりも高速側に制限をかけてシャッタ速度を決定する。【選択図】図1

Description

本発明は、流し撮り時の自動露出制御、撮像制御に関するものである。
移動被写体を追尾しながら撮影する流し撮りは、移動被写体に対して撮像装置の動きを合わせつつ、遅いシャッタ速度で撮影する方法である。主被写体を静止させながら背景を流すことで躍動感のある写真を撮影することが可能である。しかし、流し撮りでは被写体の移動速度とカメラを移動させる角速度(以下、パンニング角速度ともいう)とを合わせる事が難しいため、不慣れなユーザが流し撮りを行った場合、被写体が静止せずにブレ残りが生じる可能性が高い。
特許文献1には、ユーザの流し撮りを支援する流し撮りアシスト制御手段を有する撮像装置が開示されている。流し撮りアシスト制御手段は、主被写体角速度とパンニング角速度の差分に基づく主被写体の像ブレ(被写体ブレ)を、シフトレンズの駆動制御により補正する。
ところで、商用電源に接続した蛍光灯等のフリッカー光源下では、シャッタ秒時によって撮影画像がフリッカーの影響を受ける可能性がある。特許文献2に開示された撮像装置は、シャッタ秒時をユーザがマニュアルで指定する場合でも、操作の煩雑さを招くことなくフリッカーを低減することができる。フリッカーが検出され、かつ、操作手段により設定されたシャッタ秒時が所定値である場合、検出されたフリッカーの周波数と設定されたシャッタ秒時とに基づいて、フリッカーが低減されるシャッタ秒時で撮影が行われる。
特開2016−171541号公報 特許5419542号公報
特許文献1に開示された従来技術では、撮像装置が算出したシャッタ速度によっては、撮影画像がフリッカーの影響を受ける可能性がある。また、特許文献2に開示された従来技術では、シャッタ秒時をユーザがマニュアルで指定する必要がある。ユーザが流し撮りに適したシャッタ秒時を被写体の状態に合わせて適宜に決定することは困難である。本発明は、フリッカーの影響を低減した流し撮りを行えるようにする撮像装置の提供を目的とする。
本発明の実施形態の撮像装置は、被写体を撮像して連続なフレームの画像データを取得する撮像手段を備える撮像装置であって、前記撮像手段の駆動を第1の駆動モードに設定して前記被写体の輝度を取得する測光演算と、前記撮像手段の駆動を第2の駆動モードに設定して撮影シーンのフリッカーを検知する演算を行う処理手段と、移動する被写体を撮影する流し撮り時に露光制御を行う制御手段と、を備え、流し撮り時に前記処理手段によってフリッカーが検知された場合、前記制御手段はシャッタ速度を決定する際、流し撮り時にフリッカーが検知されていない場合よりも設定可能なシャッタ速度の上限値を制限する。
本発明の撮像装置によれば、フリッカーの影響を低減した流し撮りが可能である。
本発明の実施形態の撮像装置を示すブロック構成図である。 本発明の実施形態における撮影処理を説明するフローチャートである。 図2に示すフリッカー測光を説明するタイミングチャートである。 図2に示す被写体抽出測光を説明するフローチャートである。 図4に示す被写体抽出測光を説明するタイミングチャートである。 図2に示す被写体角速度の算出処理の説明図である。 図2に示す撮影パラメータ決定処理を説明するフローチャートである。
本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。本実施形態では流し撮りを支援する流し撮りアシストの機能を有するデジタルカメラ(以下、単にカメラという)を例示する。流し撮りアシストの設定が行われた場合の制御モードを、「流し撮りアシストモード」という。なお、撮像装置のパンニング時の制御を説明するが、チルティング時の制御にも適用可能である。
図1は、本実施形態の撮像装置を示すブロック構成図である。撮像装置はカメラ本体部100とレンズユニット200を有する。レンズユニット200は、カメラ本体部100に着脱可能な交換レンズである。レンズユニット200は撮像光学系を構成するレンズ部201を備える。レンズ部201は、例えば、複数枚のレンズで構成されるが、図示の簡略化のため、図1では一枚のレンズを示している。以下では被写体側を前側と定義して、各部の位置関係を説明する。
レンズユニット200が備えるレンズ制御部202は、CPU(中央演算処理装置)を有しており、レンズユニット200内の各部を制御する。例えば、レンズ制御部202は絞り駆動部204を介して絞り203を駆動制御する。またレンズ制御部202はレンズ駆動部205を介してレンズ部201内の可動レンズ(フォーカスレンズ)を光軸に沿って移動させてその位置を変化させることによって焦点調節制御を行う。
角速度センサ206は、例えばジャイロセンサであり、レンズユニット200の振れの角速度を検出し、角速度情報を電気信号に変換してレンズ制御部202へ出力する。レンズ制御部202は、角速度センサ206からの角速度情報に基づき、レンズ駆動部205を介してレンズ部201内の像ブレ補正レンズ(シフトレンズ)を駆動することで被写体の像ブレ補正制御を行う。
レンズ制御部202は、通信端子207および114を介してカメラ本体部100内のカメラ制御部101と通信可能である。レンズユニット200が備える通信端子207は、レンズユニット200がカメラ本体部100に装着された際、カメラ本体部100が備える通信端子114と電気的に接続される。
カメラ制御部101は、CPU、ROM(リード・オンリ・メモリ)、およびRAM(ランダム・アクセス・メモリ)からなるマイクロコンピュータを備える。CPUはROMに記憶されたプログラムを実行して撮像装置全体を制御する。
撮像素子102は、レンズユニット200から入射した光に応じた電気信号を出力する。撮像素子102は、例えば、CMOS(相補型金属酸化膜半導体)型イメージセンサまたはCCD(電荷結合素子)型イメージセンサが用いられる。撮像素子102にて光電変換された画像信号はカメラ制御部101へ出力される。
主ミラー103は、レンズユニット200の光軸(以下、撮影光路ともいう)上に配置されている。主ミラー103は、撮像装置の動作状態に応じて回動可能である。ユーザが被写体をファインダで観測する際に主ミラー103は実線で示すように、撮影光路(図中破線で示す)に対して斜傾した状態となる。これによって、レンズユニット200から入射した光学像がファインダ光学系へ導かれる。一方、撮影やライブビュー表示の際に主ミラー103は2点鎖線で示すように撮影光路から退避する。これによって、レンズユニット200から入射した光学像は撮像素子102へ導かれる。
シャッタ104は主ミラー103の後方に配置されており、レンズユニット200から入射した光について撮像素子102への露光時間を制御する。シャッタ104はカメラ制御部101により駆動制御され、撮影およびライブビュー表示の際に開状態となる。
ピント板105は主ミラー103の上方に配置されている。ピント板105は、レンズユニット200の一次結像面に配置され、その入射面にはフレネルレンズ(集光レンズ)を有し、射出面に被写体の光学像(ファインダ像)を結像する。
ペンタプリズム106はファインダ光路を変更する光学部材であり、ピント板105の射出面に結像した被写体像を正立正像に変換する。接眼レンズ107は、ユーザがファインダを覗いた際、ユーザの眼に合わせて視度を調節することができる。ピント板105、ペンタプリズム106、および接眼レンズ107によって構成される光学系はファインダ光学系と呼ばれる。
ペンタプリズム106の近傍には測光センサ108が配置されている。測光センサ108は、撮像領域を分割した複数の領域に対応する複数のフォトダイオードを備える。測光センサ108はピント板105の射出面に結像した被写体像の輝度を検出して測光処理部109に出力する。
測光処理部109は、CPU、ROM、およびRAMからなるマイクロコンピュータを備えており、ROMに記憶されたプログラムを実行して、測光センサ108の駆動と測光センサ108の出力を用いた測光演算やベクトル検出演算等を行う。例えば測光処理部109は、測光センサ108に対して所定の時間間隔(つまり、測光タイミング)で蓄積駆動および読み出し駆動を行って、測光値(つまり、光量)の時系列変化を測定する。測光処理部109は、測定で取得された測光結果である測光値の時系列変化を解析して、フリッカー光源の有無とフリッカー周波数、およびフリッカーのピークタイミング(位相)を検出する。ベクトル検出演算は時系列に連続なフレームの画像データから画像内の被写体の動きベクトルを検出する演算であり、その詳細については後述する。
AF(オートフォーカス)センサ110は、サブミラー(不図示)の反射光を受光し、位相差方式のAFによって一対の像のずれ量に応じたデフォーカス量を算出してカメラ制御部101に出力する。サブミラーは斜傾状態の主ミラー103の後方に位置し、レンズユニット200から入射して主ミラー(ハーフミラー)103を通過した光の一部をAFセンサ110へ導く。カメラ制御部101は、AFセンサ110により得られたデフォーカス量に基づいて、レンズ部201内のフォーカスレンズのレンズ駆動量および駆動方向を決定する。カメラ制御部101は通信端子114および207を介してレンズ制御部202にレンズ駆動量および駆動方向の制御指令を送信する。この制御指令を受信したレンズ制御部202はレンズ駆動部205を制御し、指令されたレンズ駆動量および駆動方向にしたがってレンズ部201内のフォーカスレンズを光軸に沿って移動させて焦点調節制御を行う。
操作部111は、ユーザからの操作指示を受け付けてカメラ制御部101に操作指示信号を出力する。操作部111には、操作ダイヤル、撮影指示ボタン、各種操作ボタンやタッチパネル等の入力用デバイス、音声や視線等を用いた入力機器が含まれる。例えば、操作部111はレリーズボタンの操作に応じてオン・オフする第1および第2スイッチを備える。ユーザがレリーズボタンの半押し操作を行うと、レリーズスイッチの第1スイッチ(SW1と記す)がオンする。これによりAF処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(ストロボプリ発光)処理等の動作開始を撮像装置に指示することができる。ユーザがさらにレリーズボタンの全押し操作を行うと、レリーズスイッチの第2スイッチ(SW2と記す)がオンし、撮影動作の開始を撮像装置に指示することができる。また操作部111は流し撮りアシストモードの設定用スイッチを備える。
表示部112は、LCD(液晶表示装置)等の画像表示デバイスを備え、画像および撮影に関する情報を表示する。表示部112の画面には、撮像素子102が出力する信号に対して画像処理が施された画像データに応じた画像が表示される。
記憶部113は、画像データを含む各種データを記憶する各種の記憶デバイスを備える。カメラ制御部101は撮像素子102の露光制御を行い、撮像素子102の出力信号に対して画像処理を施して画像データを生成し、生成後の画像データを記憶部113に保存する処理を行う。記憶部113は、例えば半導体メモリカードのようにカメラ本体部100から取り外し可能である。
図2のフローチャートを参照して、本実施形態における流し撮りアシストモード時の撮影シーケンスを説明する。なお、被写体は等速直線運動を行っており、ユーザは被写体の動きに追従して撮像装置を移動させて流し撮りを行うものとする。
S201でカメラ制御部101は、ユーザ操作による撮影準備指示が行われたかどうかを判断する。撮影準備指示については、例えば、ユーザがレリーズボタンの半押し操作を行い、第1スイッチSW1がオンしたか否かで判定することができる。カメラ制御部101は第1スイッチSW1のオンによって撮影準備指示が行われていると判断する。なお、AF開始指示や、測光開始指示を撮影準備指示として扱ってもよい。撮影準備指示が行われたと判断された場合、S202の処理に進み、撮影準備指示が行われていないと判断された場合にはS201の判定処理が繰り返し実行される。
S202ではフリッカー測光が行われる。フリッカー測光は、フリッカー光源を検知するための測光であり、カメラ制御部101は測光処理部109に対してフリッカー測光を指示する。測光処理部109は測光センサ108を駆動してフリッカー情報を取得する。フリッカー測光の詳細については図3を用いて後述する。S202の次にS203の処理に進む。
S203でカメラ制御部101は、測光処理部109に被写体抽出測光を指示し、測光処理部109は被写体抽出測光を行う。被写体抽出測光については図4および図5を用いて後述する。次のS204でカメラ制御部101は、角速度センサ206により検出された角速度情報を、レンズ制御部202から通信端子207および114を介して取得する。レンズユニット200がカメラ本体部100に装着された状態では、両者は一体となって動くので、角速度センサ206により検出される角速度はカメラ本体部100の角速度と等価であるとして取り扱うことができる。
S205でカメラ制御部101は、被写体の角速度を算出してカメラ制御部101内部のRAMに保存する。S206でカメラ制御部101は、撮影パラメータを決定する。ここでいう撮影パラメータは、シャッタ速度、絞り値、ISO感度等のように、撮影時に画像の明るさを決定するパラメータである。撮影パラメータの決定処理については図7を用いて後述する。
S207でカメラ制御部101は、撮影準備指示が解除されているかどうかを判断する。撮影準備指示が解除されていると判断された場合、例えば第1スイッチSW1がオフである場合にS201に戻り、撮影準備指示が再度行われるまで待機する。一方、撮影準備指示が解除されていないと判断された場合にはS208の処理に進む。第1スイッチSW1がオフである場合に撮影準備指示が解除されたと判断する方法以外に、AFまたは測光のやりなおしの指示が行われている場合に撮影準備指示が一旦解除されたと判断して、再度撮影準備指示が行われたかどうかを判断する方法がある。
S208でカメラ制御部101は、撮影シーンが変化したかどうかを判断する。例えば、測光値(図4のS405)の時間変化を観測し、測光値が所定の値以上変化していれば撮影シーンが変化したと判断することができる。あるいは動きベクトル検出結果(図4のS409)や被写体情報(図4のS410)に基づいて撮影シーンの変化について判断を行ってもよい。また、測光センサ108の出力結果を用いて被写体のシーンを推定し、撮影シーンの変化の判断を行ってもよい。S208で撮影シーンが変化したと判断された場合、S201に戻り、撮影シーンが変化していないと判断された場合にはS209の処理に進む。
S209でカメラ制御部101は、撮影指示が行われたかどうかを判断する。具体的には、レリーズボタンの全押し操作によって第2スイッチSW2がオンになった場合、撮影指示が行われたことが判断されてS210の処理に進む。第2スイッチSW2がオフである場合には撮影指示が行われていないと判断され、S203の処理に戻る。
S210でカメラ制御部101は、露光時の被写体角速度の予測処理を実行する。被写体が等速直線運動をしている場合でも、撮像装置から見た被写体の角速度として計算を行うと加速運動をすることが分かっている。そのため、第2スイッチSW2がオンになった時点での被写体角速度と露光時の被写体角速度は異なる。S210では、第2スイッチSW2がオンになった時点での被写体角速度と、当該時点から露光動作までのタイムラグと、S205で保存された被写体角速度の履歴データにより、露光時の被写体角速度を予測する処理が行われる。
S211でカメラ制御部101はシャッタ104を制御し、シャッタ走行を開始させて撮像素子102の露光制御を行う。次のS212でカメラ制御部101は、レンズ部201内の像ブレ補正レンズ(シフトレンズ)の駆動を制御して流し撮りアシストを行う。カメラ制御部101の制御指令は、通信端子114および207を介してレンズ制御部202により受信される。レンズ制御部202はレンズ駆動部205を介してシフトレンズの駆動制御を行う。シフトレンズの駆動パターンは、S210で取得された被写体角速度の情報を用いて決定される。なお、流し撮りアシストの方法として、シフトレンズを駆動させる方法ではなく、撮像素子102を駆動させる方法、あるいはシフトレンズと撮像素子102の両方を駆動させる方法でもよい。
S213でカメラ制御部101は、AE演算に基づいて設定した露光時間が経過したか否かを判定する。今回の撮影で設定された露光時間が経過しない間、S212でシフトレンズの駆動制御が継続する。S213にて、設定された露光時間が経過したと判定された場合には、一連の処理を終了する。
次に、図3を参照して、図2のS202に示すフリッカー測光について説明する。図3は、カメラ制御と測光センサ制御と演算処理の説明図である。測光処理部109は、まず、測光センサ108の駆動を第1の駆動モードに設定し、被写体の輝度を得るための蓄積(以下、AE蓄積という)を行う。AE蓄積の終了後に測光センサ108から蓄積データを読み出す処理が行われ、被写体の輝度を演算する処理が行われる。続いて、測光処理部109は測光センサ108の駆動を第2の駆動モードに設定し、間欠的に複数回駆動して蓄積(以下、フリッカー検知蓄積という)を行う。フリッカー検知蓄積の終了後に測光センサ108から蓄積データを読み出す処理が行われ、読み出されたデータから被写体のフリッカー情報を演算する処理が行われる。フリッカー情報は、例えば、フリッカー光源の有無、フリッカーの周期または周波数、位相(ピークタイミング)である。なお、第1の駆動モードの設定によるAE蓄積と、第2の駆動モードの設定によるフリッカー検知蓄積とでは画像サイズや撮影パラメータが異なるため、両者の間で画像間の動きベクトル検出を行うことはできない。
図4と図5を参照して、図2のS203に示す被写体抽出測光について説明する。図4は被写体抽出測光の処理を詳細に示すフローチャートである。本実施形態では、AE蓄積と、ベクトル検出のための蓄積(以下、ベクトル検出蓄積という)とを交互に行う。ベクトル検出蓄積の詳細については後述する。
S401で測光処理部109は、AE蓄積を行うかどうかを判断する。AE蓄積を行うことが判断された場合、S402の処理に進み、AE蓄積を行わないことが判断された場合にはS406の処理に進む。
S402で測光処理部109は、蓄積パラメータの設定を行う。蓄積パラメータには、画像サイズ、ゲイン、蓄積時間等が含まれ、使用するセンサによって様々である。S403で測光処理部109は、S402で設定したパラメータをRAMに保存する。S404で測光処理部109は、S402で設定した蓄積パラメータに基づいて測光センサ108を駆動してAE蓄積を行う。AE蓄積が完了した後、S405で測光処理部109は測光値演算を行い、被写体の代表輝度を算出する。S405の次にS409の処理に進む。
S406からS408には、S401でAE蓄積を行わないことが判断された場合に行われるベクトル検出蓄積のシーケンスを示す。S406で測光処理部109は、S403でRAMに保存された蓄積パラメータの読み出しを行う。S407で測光処理部109は、蓄積パラメータの設定を行う。蓄積パラメータとしてS403で保存したパラメータを用いることで、AE蓄積と同等の条件でベクトル検出蓄積を行うことができる。
S408で測光処理部109は、S407で設定した蓄積パラメータに基づいて測光センサ108を駆動してベクトル検出蓄積を行う。S409で測光処理部109は、S404およびS408の後で取得した画像のデータを用いて、連続するフレームの画像間で動きベクトル検出を行う。
S410で測光処理部109は、S409で取得された動きベクトルから画像内の被写体領域と背景領域を抽出し、処理を終了する。動きベクトルから被写体領域や背景領域を抽出する方法については、テンプレートマッチング等による様々な方法があるため、ここでは説明を省略する。なお、S410で被写体領域の抽出ができなかった場合には、図2のS205で被写体角速度の算出を行えないので、流し撮りアシストの機能を実現できない。この場合にはS212においてシフトレンズを流し撮りアシスト用に駆動せずに、通常の像ブレ補正を行う撮影に切り替えることが可能である。
図5は、図4で説明した被写体抽出測光のタイミングチャートを示す。被写体抽出測光では、図3のフリッカー検知測光で行われていたフリッカー検知蓄積を行わず、動きベクトル検出のための蓄積であるベクトル検出蓄積が行われる。
測光センサ108の制御に着目すると、AE蓄積と読み出しが行われた後、ベクトル検出蓄積と読み出しが行われ、この動作が繰り返される。複数のフレーム間での動きベクトル検出処理は、AE蓄積および読み出しの後とベクトル検出蓄積および読み出しの後においてともに実行されるが、測光値演算はAE蓄積および読み出しが行われたときのみ実行される。このように、図3に示すフリッカー検知蓄積をベクトル検出蓄積で置き換えることによって、高フレームレートでの動きベクトル検出と測光とを両立させることができる。
図6を参照して、図2のS205に示す被写体角速度の算出処理について説明する。本実施形態においては、パンニング角速度と併せて計算を行うため、被写体角速度を、主点を中心として算出する処理が行われる。角速度の算出方法については弧度法で説明する。
図6は、被写体がt秒間に点Aから点Bへ移動し、それに応じて撮像素子の像面上に結像した被写体像が点Cから点Dへと移動した状況を模式的に示す図である。ここで、点Cと点Dとの距離をd[pixel]とし、焦点距離をf[mm]とし、撮像素子の画素ピッチをp[μm/pixel]と表記する。像面上の被写体の角速度をω[rad/sec]と表記すると、ωは下記式で表わすことができる。
Figure 2020061633
撮影者が撮像装置のパンニングを行っている場合を想定し、撮像装置に対する被写体自身の角速度(被写体角速度)をωと表記し、パンニング角速度をωと表記する。像面上の被写体の角速度ωは、下記式のように、ωからωを減算したものとなる。
Figure 2020061633
よって下記式のように、像面上の被写体の角速度ωに対して、角速度センサ206で検出された撮像装置のパンニング角速度ωを加算することにより、被写体角速度ωが算出される。
Figure 2020061633
次に図7を参照して、図2のS206に示す撮影パラメータの決定処理について説明する。S701でカメラ制御部101は、流し撮りを行うモードが設定されているかどうかを判定する。流し撮りを行うモードが設定されている場合、S702の処理に進み、当該モードが設定されていない場合にはS703に進む。流し撮りを行うモードについては、例えば、ユーザが操作部111を操作することで設定される。
S702でカメラ制御部101は、ユーザにより流し撮りが行われているかどうかを判定する。流し撮りが行われていると判定された場合、S704に進み、流し撮りが行われていないと判定された場合にはS703に進む。S702の判定処理は、例えば、図2のS204で取得された角速度情報とS205で算出された被写体の角速度情報を用いて行われる。撮像装置が一定のパンニング角速度で移動しており、像面上の被写体の角速度がゼロ付近である場合に、ユーザにより流し撮りが行われていると判定される。
S703でカメラ制御部101は、通常撮影用の撮影パラメータを演算する。通常撮影とは、流し撮りに特化していない撮影である。S703の処理後、リターン処理に移行する。
S704でカメラ制御部101は、シャッタ速度の上限値(Tv_maxと記す)を決定する。上限値Tv_maxは設定可能な最短露光時間を示していて、後述のS706の演算で使用される。一例として、操作部111を用いて、撮影時にフリッカーの影響を低減するモードが設定されており、かつ、図2のS202でフリッカーが検知された場合を想定する。この場合、カメラ制御部101は撮影時にフリッカーの影響を受けないようにTv_maxを設定する。例えば、フリッカーの周期を所定の数だけ含む露光時間に対応するシャッタ速度をTv_thと表記する。撮影時のシャッタ速度をTv_thよりも長秒で制御すると、フリッカーの影響を低減した撮影が可能となる。また、フリッカーの影響を低減するモードが設定されていない場合、または、フリッカー光源が検知されていない場合にカメラ制御部101は、撮像装置で制御可能なシャッタ速度をTv_maxに設定する。S704の次にS705へ処理を進める。
S705でカメラ制御部101は、背景の流し量の設定値に基づいてシャッタ速度(Tv_pと記す)を演算する。流し撮り時の背景の流し量は、予め操作部111を用いて入力されているものとする。所望の流し量が得られるようにシャッタ速度Tv_pが演算される。この演算は、例えば、背景の流し量の設定値と図4のS410で算出された背景領域の動きベクトル情報を用いて行われる。シャッタ速度に関しては、背景の流し量の設定値が大きいほど、また、背景領域の動きベクトルの大きさが小さいほど長秒側に演算される傾向がある。S705では背景の流し量の設定値を用いた演算を説明したが、流し撮り時にフリッカーの影響を低減するモードが設定されている場合には、ユーザ操作による背景の流し量の設定範囲(設定値の選択可能範囲)が制限される。例えばカメラ制御部101は、背景の流し量として大、中、小の選択肢がある構成において小を選択不可とするように、所定量よりも小さい設定値を選択不可とする。これにより、シャッタ速度Tv_pに関して短秒側に演算されることを抑止することができる。S705の次にS706へ処理を進める。
S706でカメラ制御部101は、図4のS405で演算された測光値と、S704で決定されたTv_maxと、S705で演算されたTv_pを用いて、流し撮り用の撮影パラメータを演算する。ここで、シャッタ速度Tv_pが上限値Tv_maxよりも高速側である場合、Tv_maxを優先して撮影パラメータの演算が行われる。つまりシャッタ速度が上限値によって制限される。その理由は、フリッカーの影響を低減した撮影を優先して行うためである。S706の次にS707へ処理を進める。
S707でカメラ制御部101は、流し撮りにおける撮影時のシャッタ速度が、S705で演算されたTv_pに対応する所定の閾値範囲内であるかどうかを判定する。シャッタ速度が閾値範囲内である場合に処理を終了してリターン処理へ移行し、閾値範囲外である場合にはS708の処理に進む。S708でカメラ制御部101は、ユーザ操作により設定されている背景の流し量が得られないことをユーザに通知する処理を行う。例えば、表示部112に所定のメッセージを表示し、または音声等で報知する処理が行われた後、リターン処理へ移行する。シャッタ速度が閾値範囲外であるときにS209で撮影指示があった場合、シャッタ速度を上限値Tv_maxにして撮影が行われる。このように、所望の背景の流し量を得るよりもフリッカーの影響を低減することを優先することで、フリッカー光源下での流し撮りにおいて、フリッカーの影響を低減した撮影を行うことができる。なお、所望の背景の流し量を得るよりもフリッカーの影響を低減することを優先する第1の撮影モードとフリッカーの影響を低減することよりも所望の背景の流し量を得ることを優先する第2の撮影モードを有する構成でもよい。ユーザは所望のモードを選択することができる。第2の撮影モードでは、シャッタ速度が閾値範囲外であるときにS209で撮影指示があった場合、シャッタ速度をS705で演算されたTv_pにして撮影が行われる。このような構成の場合、S708において、第1の撮影モードのときには所望の背景の流し量が得られないことをユーザに通知し、第2の撮影モードのときにはフリッカーの影響を低減できないことをユーザに通知してもよい。以上のように、どちらを優先するかをユーザが選択可能な構成にすることによって、ユーザの意図をより反映させて、フリッカー光源下での流し撮りにおいて、フリッカーの影響を低減した撮影を行うことができる。
本実施形態によれば、フリッカーの影響を低減した流し撮りを行えるようにする撮像装置を提供できる。本実施形態では、測光センサ108を用いた例を説明したが、撮像画像データを取得する撮像素子102を用いて所謂ライブビュー画像により前記制御を行ってもよい。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
101:カメラ制御部
102:撮像素子
108:測光センサ
109:測光処理部
111:操作部
202:レンズ制御部
206:角速度センサ

Claims (11)

  1. 被写体を撮像して連続なフレームの画像データを取得する撮像手段を備える撮像装置であって、
    前記撮像手段の駆動を第1の駆動モードに設定して前記被写体の輝度を取得する測光演算と、前記撮像手段の駆動を第2の駆動モードに設定して撮影シーンのフリッカーを検知する演算を行う処理手段と、
    移動する被写体を撮影する流し撮り時に露光制御を行う制御手段と、を備え、
    流し撮り時に前記処理手段によってフリッカーが検知された場合、前記制御手段はシャッタ速度を決定する際、流し撮り時にフリッカーが検知されていない場合よりも設定可能なシャッタ速度の上限値を制限する
    ことを特徴とする撮像装置。
  2. 前記処理手段は撮影準備指示が行われた場合、前記撮像手段の駆動を前記第2の駆動モードに切り替えてフリッカーを検知する演算を行った後で、前記撮像手段の駆動を前記第1の駆動モードに切り替え、撮影指示が行われるまで前記第1の駆動モードで画像データの取得を繰り返し行う
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記処理手段は前記撮影準備指示が行われた後に撮影準備指示が再度行われた場合、前記第1の駆動モードから前記第2の駆動モードに切り替えてフリッカーを検知する演算を行った後で、前記撮像手段の駆動を前記第1の駆動モードに切り替え、撮影指示が行われるまで前記第1の駆動モードで画像データの取得を繰り返し行う
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記撮影シーンが変化したことを前記制御手段が判定した場合、前記処理手段は前記第1の駆動モードから前記第2の駆動モードに切り替えてフリッカーを検知する演算を行った後で、前記撮像手段の駆動を前記第1の駆動モードに切り替え、撮影指示が行われるまで前記第1の駆動モードで画像データの取得を繰り返し行う
    ことを特徴とする請求項2に記載の撮像装置。
  5. 前記制御手段は、前記処理手段による測光演算で取得される測光値の変化から前記撮影シーンの変化を判定する
    ことを特徴とする請求項4に記載の撮像装置。
  6. 撮像装置のパンニングまたはチルティングの角速度を検出する検出手段をさらに備え、
    前記処理手段は、前記撮像手段の駆動を前記第1の駆動モードに設定して連続なフレーム間で被写体の動きベクトルを検出する演算を行い、
    前記制御手段は、前記処理手段により検出された動きベクトルと前記検出手段により検出された角速度を用いて流し撮りが行われているか否かを判定する
    ことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記処理手段は、前記第1の駆動モードにて、前記撮像手段の第1の蓄積に用いるパラメータを設定して記憶手段に記憶し、前記第1の蓄積の後で前記測光演算と前記動きベクトルの検出を行い、前記撮像手段の第2の蓄積では前記記憶手段からパラメータを読み出し、当該パラメータを用いた前記第2の蓄積の後で前記動きベクトルの検出を行う
    ことを特徴とする請求項6に記載の撮像装置。
  8. 流し撮り時の背景の流し量を設定する設定手段をさらに備え、
    前記制御手段は、決定したシャッタ速度で撮影を行ったとしても前記設定手段によって設定された前記流し量が得られない場合にその旨を通知する処理を行う
    ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記制御手段は、流し撮り時にフリッカーの影響を低減するモードが設定されている場合、前記設定手段による前記流し量の設定範囲を制限する
    ことを特徴とする請求項8に記載の撮像装置。
  10. 像ブレを補正する補正手段を備え、
    前記制御手段は、流し撮りを支援するモードが設定されている場合、検出された前記動きベクトルおよび前記角速度から撮像装置に対する被写体の角速度を算出して前記補正手段を制御することによって、流し撮り時の被写体に係る像ブレを補正する
    ことを特徴とする請求項6または請求項7に記載の撮像装置。
  11. 被写体を撮像して連続なフレームの画像データを取得する撮像手段を備える撮像装置にて実行される制御方法であって、
    前記撮像手段の駆動を第1の駆動モードに設定して前記被写体の輝度を取得する測光演算を行う第1の演算工程と、
    前記撮像手段の駆動を第2の駆動モードに設定して撮影シーンのフリッカーを検知する演算を行う第2の演算工程と、
    移動する被写体を撮影する流し撮り時に露光制御を行う制御工程と、を有し、
    流し撮り時に前記フリッカーが検知された場合、前記制御工程ではシャッタ速度を決定する際、流し撮り時にフリッカーが検知されていない場合よりも設定可能なシャッタ速度の上限値を制限する処理が行われる
    ことを特徴とする撮像装置の制御方法。


JP2018191003A 2018-10-09 2018-10-09 撮像装置およびその制御方法 Active JP7224839B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018191003A JP7224839B2 (ja) 2018-10-09 2018-10-09 撮像装置およびその制御方法
US16/594,393 US11272120B2 (en) 2018-10-09 2019-10-07 Imaging device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018191003A JP7224839B2 (ja) 2018-10-09 2018-10-09 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2020061633A true JP2020061633A (ja) 2020-04-16
JP2020061633A5 JP2020061633A5 (ja) 2021-11-18
JP7224839B2 JP7224839B2 (ja) 2023-02-20

Family

ID=70051385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018191003A Active JP7224839B2 (ja) 2018-10-09 2018-10-09 撮像装置およびその制御方法

Country Status (2)

Country Link
US (1) US11272120B2 (ja)
JP (1) JP7224839B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053756A (ja) * 2018-09-25 2020-04-02 キヤノン株式会社 撮像装置およびその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205658A (ja) * 1998-01-20 1999-07-30 Canon Inc 撮像装置
JP2012508998A (ja) * 2008-11-14 2012-04-12 エーティーアイ・テクノロジーズ・ユーエルシー ローリングシャッタを用いる画像センサのためのフリッカ検出回路
JP2018006801A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP2018026716A (ja) * 2016-08-10 2018-02-15 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
JP2018137613A (ja) * 2017-02-22 2018-08-30 キヤノン株式会社 画像処理装置、撮像装置および画像処理装置の制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5419542B2 (ja) 2009-05-18 2014-02-19 キヤノン株式会社 撮像装置及びその制御方法
JP2011193065A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 撮像装置
JP5820120B2 (ja) * 2011-01-28 2015-11-24 キヤノン株式会社 撮像装置およびその制御方法
JP5709629B2 (ja) * 2011-04-19 2015-04-30 キヤノン株式会社 撮像装置及び制御方法
JP2014232972A (ja) * 2013-05-29 2014-12-11 ソニー株式会社 撮像装置およびフリッカ検出方法、ならびに情報処理装置
US9648249B2 (en) * 2013-11-20 2017-05-09 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium
JP6370134B2 (ja) * 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6465705B2 (ja) 2015-03-16 2019-02-06 キヤノン株式会社 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置
US20180324344A1 (en) * 2015-11-24 2018-11-08 Sony Corporation Image processor, image processing method, and program
JP6727880B2 (ja) * 2016-03-30 2020-07-22 オリンパス株式会社 撮影装置および撮影方法
JP6971618B2 (ja) * 2017-04-28 2021-11-24 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205658A (ja) * 1998-01-20 1999-07-30 Canon Inc 撮像装置
JP2012508998A (ja) * 2008-11-14 2012-04-12 エーティーアイ・テクノロジーズ・ユーエルシー ローリングシャッタを用いる画像センサのためのフリッカ検出回路
JP2018006801A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP2018026716A (ja) * 2016-08-10 2018-02-15 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
JP2018137613A (ja) * 2017-02-22 2018-08-30 キヤノン株式会社 画像処理装置、撮像装置および画像処理装置の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053756A (ja) * 2018-09-25 2020-04-02 キヤノン株式会社 撮像装置およびその制御方法
JP7229709B2 (ja) 2018-09-25 2023-02-28 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JP7224839B2 (ja) 2023-02-20
US11272120B2 (en) 2022-03-08
US20200112667A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
KR101710633B1 (ko) 자동 초점 조절 방법, 자동 초점 조절 장치, 및 이를 포함하는 디지털 촬영장치
EP2755378A1 (en) Focus aid system
JP5904773B2 (ja) カメラシステム、交換レンズ、およびカメラ
JP2009015185A (ja) 画像検出装置、焦点調節装置および撮像装置
JP2013218177A (ja) 撮像装置およびその制御方法
JP2008187231A (ja) 画像追尾装置および撮像装置
US20090167931A1 (en) Imaging device
JP2017103601A (ja) 焦点検出装置およびカメラ
US8737831B2 (en) Digital photographing apparatus and method that apply high-speed multi-autofocusing (AF)
JP6727933B2 (ja) 撮像装置及び制御方法
JP7224839B2 (ja) 撮像装置およびその制御方法
JP5309661B2 (ja) 露出演算装置および撮像装置
JP5509622B2 (ja) 電子カメラ
CN111835980B (zh) 摄像设备及其控制方法以及存储介质
JP2014197141A (ja) 撮像装置
KR101634249B1 (ko) 자동 초점 조절 장치 및 방법
JP5430314B2 (ja) 撮像装置及びその制御方法
JP2018189854A (ja) 撮像装置
JP7254555B2 (ja) 撮像装置および撮像装置の制御方法
JP7229709B2 (ja) 撮像装置およびその制御方法
JP6699679B2 (ja) 撮像装置
JP2008070454A (ja) カメラおよび動画撮影方法
JP6391448B2 (ja) 撮像装置およびその制御方法
JP2012235325A (ja) 撮像装置
JP2022168738A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R151 Written notification of patent or utility model registration

Ref document number: 7224839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151