JP2016167798A - 撮像装置およびその制御プログラム - Google Patents

撮像装置およびその制御プログラム Download PDF

Info

Publication number
JP2016167798A
JP2016167798A JP2015250675A JP2015250675A JP2016167798A JP 2016167798 A JP2016167798 A JP 2016167798A JP 2015250675 A JP2015250675 A JP 2015250675A JP 2015250675 A JP2015250675 A JP 2015250675A JP 2016167798 A JP2016167798 A JP 2016167798A
Authority
JP
Japan
Prior art keywords
subject
angular velocity
exposure period
camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015250675A
Other languages
English (en)
Other versions
JP2016167798A5 (ja
JP6529430B2 (ja
Inventor
椋梨 将行
Masayuki Kuranashi
将行 椋梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to KR1020160021083A priority Critical patent/KR101951076B1/ko
Priority to US15/056,779 priority patent/US10091432B2/en
Priority to DE102016103653.6A priority patent/DE102016103653B4/de
Priority to CN201610121763.0A priority patent/CN105939454B/zh
Priority to GB1603693.1A priority patent/GB2538138B/en
Publication of JP2016167798A publication Critical patent/JP2016167798A/ja
Priority to US16/108,347 priority patent/US10362236B2/en
Publication of JP2016167798A5 publication Critical patent/JP2016167798A5/ja
Application granted granted Critical
Publication of JP6529430B2 publication Critical patent/JP6529430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

【課題】光学機器から測定する被写体の動きの速度が変化しても良好な流し撮りを行う。【解決手段】撮像装置100は、該撮像装置の動きが被写体の動きに追従するように、該撮像装置の動きを検出する第1の検出手段から得られる第1の動きの情報および被写体の動きを検出する第2の検出手段から得られる第2の動きの情報を用いて光学素子104を制御し、露光期間前に複数のタイミングで検出された第2の動きの情報を用いて露光期間中の被写体の動きの予測情報を算出する。露光期間中は、予測情報を用いて光学素子を制御する。【選択図】図3

Description

本発明は、いわゆる流し撮りにおける画像のぶれを低減する技術に関する。
動いている被写体のスピード感を表現するための流し撮りは、撮影者が被写体の動きに合わせて撮像装置(カメラ)をパンニングすることにより、被写体が静止して背景が流れている画像を取得する撮影技法である。ただし、流し撮りにおいて、撮影者によるカメラのパンニング速度が被写体の動きの速度に対して速すぎたり遅すぎたりすると、被写体像がぶれた画像になる。
特許文献1には、撮影(露光)前に算出したカメラに対する被写体の角速度と角速度センサから得た撮影中のカメラの角速度とに基づいて、撮影中に光学系の一部または撮像素子を移動させて被写体像のぶれを補正するカメラが開示されている。このカメラでは、カメラに対する被写体の相対的な角速度(以下、相対被写体角速度という)を、時間的に連続した画像から検出した被写体像の像面上での変位量と角速度センサからの出力とを用いて算出する。
特開平04−163535号公報
特許文献1にて開示されたカメラでは、相対被写体角速度がぶれ補正を行う撮影中において一定に維持されていることが前提となっている。しかしながら、等速直線運動をしている被写体(例えば、電車)であっても、その進行方向に直交する方向に位置するカメラから測定する相対被写体角速度は変化(加速や減速)する。そして、相対被写体角速度の測定時と実際の撮影時との間にタイムラグがある場合にそのタイムラグ中における相対被写体角速度の変化を無視すると、撮影時におけるぶれ補正を正しく行うことができない。
本発明は、カメラから測定する被写体の動きの速度が変化する場合でも被写体像のぶれが少ない良好な流し撮りを行えるようにした撮像装置を提供する。
本発明の一側面としての撮像装置およびその制御方法は、該撮像装置の動きが被写体の動きに追従するように、該撮像装置の動きを検出する第1の検出手段から得られる第1の動きの情報および被写体の動きを検出する第2の検出手段から得られる第2の動きの情報を用いて光学素子を制御し、露光期間前に複数のタイミングで検出された第2の動きの情報を用いて露光期間中の被写体の動きの予測情報を算出する。そして、露光期間中は、予測情報を用いて光学素子を制御することを特徴とする。
また、本発明の他の一側面としての撮像装置およびその制御方法は、該撮像装置の動きが被写体の動きに追従するように、該撮像装置の動きを検出する第1の検出手段から得られる第1の動きの情報および被写体の動きを検出する第2の検出手段から得られる第2の動きの情報を用いて光学素子を制御し、露光期間前に複数のタイミングで検出された第2の動きの情報を用いて露光期間中の被写体の動きの予測情報を算出する。そして、露光期間中は、予測情報と該露光期間中に得られた第1の動き情報とを用いて光学素子を制御することを特徴とする。
本発明によれば、被写体の動きが変化する場合でも、被写体像のぶれが少ない良好な流し撮りが行われるようにシフト素子の駆動を制御することができる。
本発明の実施例1であるカメラにおける角速度決定処理を示すフローチャート。 実施例1のカメラにおける流し撮り処理を示すフローチャート。 実施例1のカメラの構成を示すブロック図。 実施例1のカメラにおける防振システムの構成を示すブロック図。 実施例1のカメラにおけるパンニング制御を示すフローチャート。 実施例1のカメラにおける流し撮りアシストモードでのシフト駆動制御システムの構成を示すブロック図。 実施例1のカメラにおけるパンニング判定閾値を説明する図。 実施例1における相対被写体角速度とその変化(角加速度)を示すグラフ。 実施例1における相対被写体角速度を説明する図。 実施例1における特異点を説明する図。 実施例1における0度特異点の判定を説明する図。 本発明の実施例2のカメラにおける角速度決定処理を示すフローチャート。 実施例2における2地点の距離と角度を説明する図。 本発明の実施例3のカメラにおける流し撮りアシスト処理を示すフローチャート。 本発明の実施例4のレンズ交換式カメラシステムの構成を示すブロック図。 実施例4の交換レンズにおける流し撮りアシスト制御システムの構成を示すブロック図。 実施例4におけるカメラ側での流し撮りアシスト処理を示すフローチャート。 実施例4における交換レンズ側での流し撮りアシスト処理を示すフローチャート。 本発明の実施例5であるレンズ交換式カメラシステムのカメラ側での流し撮りアシスト処理を示すフローチャート。 実施例5における交換レンズ側での流し撮りアシスト処理を示すフローチャート。 実施例5の変形例におけるカメラ側での流し撮りアシスト処理を示すフローチャート。 上記変形例における交換レンズ側での流し撮りアシスト処理を示すフローチャート。
以下、本発明の実施例について図面を参照しながら説明する。
図3には、本発明の実施例1である光学機器としてのレンズ一体型カメラ(以下、単にカメラという)100の構成を示している。
カメラ100は、被写体からの光を結像させる撮影光学系である撮影レンズユニット101を備えている。撮影レンズユニット101は、主レンズ系102と、撮影レンズユニット101の光軸が延びる光軸方向に移動して焦点距離を変更するズームレンズ103と、光軸方向に移動して焦点調節を行う不図示のフォーカスレンズとを含む。さらに、撮影レンズユニット101は、その一部を構成する光学素子としてシフトレンズ104を含む。シフトレンズ104は、ユーザがカメラ100をパンニングにより向きを変化させながら動く被写体を撮影する流し撮りにおいて被写体像のぶれを低減する流し撮りアシストのために光軸に対して直交する方向に移動(シフト)可能なシフト素子である。また、シフトレンズ104は、手振れによるカメラ100の振れに起因する被写体像のぶれを光軸に対して直交する方向にシフトすることで光学的に補正する防振機能も有する。
また、カメラ100は、ズームエンコーダ105と、シフト位置センサ106と、角速度センサ107と、角速度アンプ108と、カメラ制御用マイクロコンピュータ130と、シフトドライバ109と、シフト位置アンプ110とを備えている。
ズームエンコーダ105は、ズームレンズ103の光軸方向での位置を検出する。シフト位置センサ106は、シフトレンズ104のシフト方向での位置を検出する。角速度センサ107は、第1の動き検出手段として、光軸に対して直交する方向におけるカメラ100の動きの速度である角速度(角速度情報)を検出する。角速度アンプ108は、角速度センサ107からの出力を増幅する。
カメラ制御用マイクロコンピュータ(以下、カメラマイコンという)130は、カメラ100の全体の動作を制御する。シフトドライバ109は、ボイスコイルモータ等のシフトアクチュエータとその駆動回路とを含み、シフトアクチュエータを駆動することでシフトレンズ104をシフトさせる。シフト位置アンプ110は、シフト位置センサ106からの出力を増幅する。
さらに、カメラ100は、シャッター111と、撮像素子112と、アナログ信号処理回路113と、カメラ信号処理回路114と、タイミングジェネレータ115と、操作スイッチ群116と、シャッターモータ117と、モータドライバ118とを備えている。
撮像素子112は、CMOSセンサやCCDセンサ等の光電変換素子により構成され、撮影レンズユニット101により形成された被写体像を光電変換してアナログ電気信号を出力する。シャッター111は、撮像素子112の露光期間を制御する。
アナログ信号処理回路(AFE)113は、撮像素子112から出力されたアナログ信号を増幅し、さらに増幅後のアナログ信号をデジタル信号としての撮像信号に変換してカメラ信号処理回路114に出力する。
カメラ信号処理回路114は、撮像信号に対して各種画像処理を行うことで映像信号(撮影映像)を生成する。撮影映像(またはこれから取り出された静止画像)は、カメラ100に対して着脱が可能なメモリカード119に記録されたり、液晶パネル等の表示素子により構成されるモニタ(以下、LCDという)120に表示されたりする。
タイミングジェネレータ115は、撮像素子112やアナログ信号処理回路113の動作タイミングを設定する。操作スイッチ群116は、電源スイッチ、レリーズスイッチ、モード選択スイッチ等の各種スイッチやダイヤルを含む。本実施例のカメラ100では、モード選択スイッチの操作を通じて、流し撮りアシストモードと通常撮影モードとの切り替えが可能である。シャッターモータ117は、シャッタードライバ118により駆動され、シャッター111にチャージ動作(閉動作)を行わせる。
カメラ信号処理回路114は、映像信号を構成するフレーム画像間で動きベクトルを検出する動きベクトル検出部135を含む。
また、カメラマイコン130は、防振制御部131と、流し撮り制御部132と、シャッター制御部133と、被写体角速度算出部134とを含む。被写体角速度算出部134は算出手段に相当し、流し撮り制御部132は制御手段に相当する。
防振制御部131は、カメラ振れに起因する被写体像のぶれを補正(低減)するためにシフトレンズ104のシフト駆動を制御する手振れ補正制御(防振制御)を行う。
流し撮り制御部132は、流し撮りアシストのためにシフトレンズ104のシフト駆動の制御を行う。
シャッター制御部133は、シャッタードライバ118を通じて不図示のレリーズ電磁マグネットへの通電を解除してチャージ状態のシャッター111を開動作させ、またシャッターモータ117を制御してシャッター111のチャージ動作を行わせる。
被写体角速度算出部134は、撮影対象である被写体のカメラ100に対する測定により得られる角速度(測定速度)としての相対被写体角速度を算出する。カメラマイコン130は、その他、フォーカスレンズ制御や絞り制御等も行う。
操作スイッチ群116の電源スイッチがON操作されてカメラ100の電源が投入されると、カメラマイコン130は、カメラ100内の上記各部への電源供給を開始するとともに、必要な初期設定を行う。
流し撮りアシストモードではない通常撮影モードでは、角速度センサ107によってカメラ振れが検出され、その検出結果に応じて防振制御部131がシフトレンズ104をシフト駆動することで手振れによる像振れが補正される。
図4には、カメラ100における防振システムの構成を示している。図4において、図3に示した構成要素と共通する構成要素には図3と同符号を付してそれらの説明を省略する。また、実際の防振システムはシフトレンズ104を横方向(ヨー方向)と縦方向(ピッチ方向)にシフトさせるための2系統が設けられるが、これらの構成は同じであるため、図4には1系統の構成のみを示している。
角速度A/D変換器401は、角速度センサ107(角速度アンプ108)から出力される角速度信号(アナログ信号)をデジタル信号としての角速度データに変換してフィルタ演算部402に出力する。角速度データに対するサンプリングは、手振れの周波数に対応する1〜10kHz程度の周波数で行われる。
フィルタ演算部402は、ハイパスフィルタ(HPF)により構成され、角速度データに含まれるオフセット成分を除去したり、後述するパンニング制御部407からの指令に応じてHPFのカットオフ周波数を変更したりする。第1の積分器403は、シフトレンズ104の目標シフト位置のデータである目標位置データを生成するために、角速度データを角変位データに変換する。
シフト位置A/D変換器406は、シフト位置センサ106(シフト位置アンプ110)から出力されるシフト位置信号(アナログ信号)をデジタル信号としてのシフト位置データに変換する。第1の加算器404は、シフトレンズ104の目標位置データから現在のシフト位置データを減算することで、シフトレンズ104の駆動量データを算出する。
PWM出力部405は、算出された駆動量データをシフトドライバ109に出力する。シフトドライバ109は、駆動量データに基づいてシフトアクチュエータを駆動してシフトレンズ104を目標シフト位置にシフトさせる。
パンニング制御部407は、角速度センサ107(角速度A/D変換器401)から得られる角速度データから、カメラ100がパンニングされたか否かを判定する。パンニング制御部407は、カメラ100がパンニングされたと判定した場合は、フィルタ演算部402のカットオフ周波数を変更するとともに第1の積分器403の出力調整を行う。
図5には、パンニング制御部407により行われるパンニング制御の例を示している。パンニング制御部407(つまりはカメラマイコン130)は、コンピュータプログラムであるパンニング制御プログラムに従ってこのパンニング制御を行う。
ステップS501において、パンニング制御部407は、角速度A/D変換器401から取り込んだ角速度データの平均値(所定サンプリング回数分の平均値であり、以下、角速度平均値という)が所定値αよりも大きいか否かを判定する。パンニング制御部407は、角速度平均値が所定値α以下である場合はパンニングが行われていないと判定し、ステップS507に進む。一方、角速度平均値が所定値αより大きい場合はステップS502に進み、角速度平均値が所定値β(>α)より大きいか否かを判定する。そして、角速度平均値が所定値β以下である場合は、パンニング制御部407は、低速でのパンニングが行われていると判定してステップS506に進む。また、角速度平均値が所定値βより大きい場合は、パンニング制御部407は、高速でのパンニングが行われていると判定してステップS503に進む。
ステップS503では、パンニング制御部407は、フィルタ演算部402のHPFのカットオフ周波数を最大値に設定する。さらに、ステップS504では、防振制御を強制的にOFF(非実行状態)にする。高速パンニング時に防振制御をOFFにするのは、高速パンニングを大きな手振れとして扱ってシフトレンズ104をシフトさせると、シフトレンズ104がそのシフト端に到達した時点で撮影映像が大きく動いて撮影者に違和感を与えるためである。また、高速パンニングが行われている場合にはパンニングによる撮影映像の動きが大きく、手振れによる像振れが現れても撮影者にほとんど違和感を与えることはないためである。そして、HPFのカットオフ周波数を最大値に設定した上で次のステップにてシフトレンズ104を徐々に停止させることで、防振制御OFFに伴い急に手振れによる像振れが現れて撮影者に違和感を与えることを回避することができる。
防振制御をOFFしたパンニング制御部407は、ステップS505において、第1の積分器403の出力を現在の角変位データから徐々に初期位置データに変更する。これにより、シフトレンズ104を徐々に初期位置(シフトレンズ104の光軸が撮影レンズユニット101の光軸に一致する位置)に戻す。
また、低速パンニングを判定したパンニング制御部407は、ステップS506において、角速度データの大きさに応じてフィルタ演算部402のHPFのカットオフ周波数を設定する。低速パンニング時には手振れによる像振れが目立ちやすいので、これを補正する必要があるためである。カットオフ周波数は、パンニングに対する撮影映像の追従性を不自然にならない程度に保ちながら、手振れによる像振れを補正することができるように設定される。この後、パンニング制御部407は、ステップS508に進み、防振制御をON(実行状態)にする。
角速度平均値が所定値α以下である(パンニングが行われていない)と判定してステップS507に進んだパンニング制御部407は、フィルタ演算部402のHPFのカットオフ周波数を通常時の値に設定する。そして、パンニング制御部407は、ステップS508に進み、防振制御をONにする。
図7には、パンニング時の横方向の角速度データと所定値α,βとの関係を示している。図中の701がサンプリングされた角速度データである。カメラ100が右方向にパンニングされた場合には+方向の角速度データが得られ、左方向にパンニングされた場合は−方向の角速度データが得られている。図7の例では、右方向への高速(急峻)パンニングと、左右方向への低速パンニングとが検出されている。
図7から分かるように、パンニング中は角速度データが初期値(0)から大きく外れる。このため、このデータを積分してシフトレンズ104の目標位置データを算出すると、DC的なオフセット成分によって第1の積分器403の出力が非常に大きな値となり、制御不能状態になる。したがって、パンニングが検出された場合はHPFのカットオフ周波数を高く設定することにより、DC成分をカットすることが必要となる。高速パンニングがなされた場合は、このような状態が特に顕著に現れるため、よりカットオフ周波数を高くすることで第1の積分器403の出力が増大しないようにする。
以上のようにパンニング制御が行われることで、パンニング中でも違和感の少ない撮影映像を生成することができる。
図3において、操作スイッチ群116のモード選択スイッチの操作により流し撮りアシストモードが設定されると、カメラ信号処理回路114内の動きベクトル検出部135が、撮影映像における前後フレーム画像間において被写体像の動きベクトルを検出する。検出された動きベクトルは、カメラマイコン130内の流し撮り制御部132に入力される。また、これと同時に、流し撮り制御部132は、角速度センサ107(角速度アンプ108)からの角速度信号(第1の動き情報)を受信する。
流し撮り中に動きベクトル検出部135から出力される動きベクトルには、撮影対象である主被写体像の動きベクトルと流れている背景像の動きベクトルとがある。これらの動きベクトルのうち、より小さい動き量を示す動きベクトルが主被写体像の動きベクトルとなり、この動きベクトル(第2の動き情報)が1フレーム期間での主被写体像の像面上、すなわち撮像素子上での変位(動き)を示す。
一方、角速度センサ107から出力される角速度データは、カメラ100のパンニング速度(流し撮り速度)に対応している。このため、この角速度データと、1フレーム期間での主被写体像の像面上での変位量および撮影レンズユニット101の焦点距離から算出される角速度との差分を算出すると、カメラ100に対する主被写体の角速度(以下、相対被写体角速度という)が得られる。
被写体角速度算出部134は、フレーム画像を生成するタイミングごとに、すなわちフレーム周期でこの相対被写体角速度を算出(取得)する。また、被写体角速度算出部134は、算出した相対被写体角速度とこれを算出した算出時刻(取得時刻)の組の情報を流し撮り制御部132に送出する。
図6には、流し撮りアシストモードでのシフトレンズ104のシフト駆動制御を行うシフト駆動制御システムの構成を示している。図6において、図3および図4に示した構成要素と共通する構成要素には図3および図4と同符号を付してそれらの説明は省略する。
流し撮り制御部132は、カメラ情報取得部601と、角速度データ出力部602と、被写体角速度決定部603と、第2の加算器604と、第2の積分器605とを含む。
カメラ情報取得部601は、操作スイッチ群116から、モード選択スイッチの操作によって流し撮りアシストモードが設定されたことを示す流し撮り設定情報と、レリーズスイッチの操作によって撮影が指示されたことを示すレリーズ情報とを取得する。角速度データ出力部602は、所定タイミングで角速度データをサンプリングして被写体角速度算出部134に出力する。
被写体角速度決定部603は、記録用撮影前(静止画記録のための撮像素子112の露光前)に被写体角速度算出部134が算出した相対被写体角速度とその算出時刻の組の情報を取得し、これを角速度履歴として保持(蓄積)する。なお、以下の説明では、露光とは記録用撮影を意味する。そして、被写体角速度決定部603は、その露光前(露光期間前)の角速度履歴を用いて、露光期間中(撮影中)のカメラ100に対する被写体の推定された角速度(予測情報)である相対被写体角速度を算出等により取得する。こうして被写体角速度決定部603は、取得した露光期間中の相対被写体角速度を、流し撮りアシストにおける露光期間中のシフトレンズ104のシフト駆動の制御に用いる相対被写体角速度として決定する。
第2の加算器604は、角速度センサ107からの角速度データと被写体角速度決定部603にて決定された露光期間中の相対被写体角速度との差分を算出する。第2の積分器605は、露光期間中のみ積分動作を行う。設定変更部606は、カメラ情報取得部601からの流し撮りアシストモードの設定情報の通知に応じてパンニング制御部407の設定を変更する。
操作スイッチ群116のモード選択スイッチの操作により流し撮りアシストモードが設定されると、カメラ情報取得部601は、流し撮り設定情報を設定変更部606に通知する。設定変更部606は、流し撮り設定情報の通知に応じて、撮影者が高速パンニングを行い易くするために、パンニング制御部407における所定値α,βを変更する。
また、第2の加算器604は、角速度センサ107からの角速度データと被写体角速度決定部603からの相対被写体角速度との差を計算し、その結果を第2の積分器605に送出する。
第2の積分器605は、カメラ情報取得部601からのレリーズ情報に応じて、露光期間中に上記差の積分動作を開始する。第2の積分器605は、露光期間以外の期間においてはシフトレンズ104の位置が初期位置となる値を出力する。なお、露光期間の終了時にシフトレンズ104がその時点での位置から初期位置まで短時間でシフトしても問題はない。すなわち、露光期間の終了直後は撮像素子112からのアナログ信号の読み出し時間であるため、LCD120上では撮影映像の表示は行われないので、シフトレンズ104のシフトによる撮影映像の動きは問題にならない。
第2の積分器605の出力は、第1の加算器404において、第1の積分器403の出力に加算され、その加算値に対してシフト位置センサ106(シフト位置A/D変換器406)からのシフトレンズ104のシフト位置データが減算される。これにより、シフトレンズ104の駆動量データが算出される。
流し撮りアシストモード設定中に、実際に撮影者により高速パンニングによる流し撮りが行われると、パンニング制御部407はすぐにパンニング制御を開始するとともに、図5のステップS504で説明したように防振制御をOFFする。パンニング制御により、シフトレンズ104は、カメラ100のパンニングによる角速度とカメラ100に対する主被写体(以下、単に被写体という)の角速度である相対被写体角速度との差分に対応する被写体像の像面上での変位量を補正する。このため、流し撮り失敗の原因となる露光期間中のカメラ100のパンニング速度と被写体の動き速度との差分がシフトレンズ104のシフト駆動により相殺され、その結果、流し撮りが成功する。
ここで、被写体角速度決定部603は、露光前において被写体角速度算出部134から取得して蓄積した角速度履歴を用いて露光期間中の相対被写体角速度を決定するが、その際にレリーズタイムラグの時間と露光期間を考慮する。
例えば、等速直線運動をしている被写体をその進行方向に直交する方向に位置するカメラ100で流し撮りする場合には、カメラ100から測定する被写体の角速度は連続的に変化する。このため、被写体の角速度は、その検出時と露光期間中とでは同じにならない。したがって、この角速度の変化(つまりは加速度)を考慮しないと、シフトレンズ104のシフト駆動による上記補正を良好に行うことができない。
図8には、図9に示すように等速直線運動をしている被写体(電車)の角速度を該被写体の進行方向に直交する方向に位置するカメラ100から測定したときの角速度の変化を示している。図9において、被写体は左から右に向かって速度vで等速直線運動をしている。点Aは被写体の等速直線運動による移動軌跡上においてカメラ100からの距離が最短となる位置(以下、原点という)であり、Lはカメラ100から原点Aまでの距離(移動軌跡までの最短距離)である。θはカメラ100から原点Aに向かう方向、すなわち被写体の進行方向に直交する方向に対してカメラ100から被写体への方向がなす角度(つまりはカメラ100の向き:以下、パンニング角度という)であり、原点Aより右側がプラスで左側がマイナスとする。
図8中の横軸は、図9中の被写体が原点Aに位置するときを0度としたパンニング角度θを示し、中央の縦軸は被写体の角速度を示している。実線のグラフが角速度の変化を示す。また、右側の縦軸は角加速度を示し、破線のグラフが角加速度の変化を示す。ここにいう角加速度の変化は、カメラの位置を基準とした被写体の位置に対応する被写体の角加速度の変化である。図8は、カメラ100から原点Aまでの最短距離が20mで、被写体が速度60km/hで等速直線運動をしている場合の角速度と角加速度を示している。
図8において、被写体が原点Aを通過する際(θ=0度)に角速度が最大で、角加速度が0になる。また、θ=+30度で角加速度が最大となり、θ=−30度で角加速度が最小になる。なお、このパンニング角度θと角加速度および角加速度との関係は、上述した最短距離や被写体の速度に依存しない。
図2のフローチャートには、カメラマイコン130が流し撮りアシストモードで行う流し撮りアシスト処理を示している。この処理は、カメラマイコン130がコンピュータプログラムである流し撮りアシスト制御プログラムに従って実行する。ユーザは、カメラ100をパンニングしながら動く被写体を追う。
ステップS201において、カメラマイコン130は、レリーズスイッチが半押し操作された(SW1ON)か否かを判定する。SW1ONの場合は、カメラマイコン130はステップS202に進み、時間計測カウンタをインクリメントし、ステップS204に進む。SW1ONでない場合は、カメラマイコン130はステップS203に進み、時間計測カウンタをリセットして、ステップS201に戻る。
ステップS204では、カメラマイコン130は、被写体角速度算出部134により相対被写体角速度(図では単に被写体角速度と記す)がすでに算出されているか否かを確認する。算出されている場合は、カメラマイコン130は、ステップS205に進み、時間計測カウンタが所定時間Tに達したか否かを確認する。相対被写体角速度がまだ算出されていない場合および相対被写体角速度がすでに算出されていても時間計測カウンタが所定時間Tに達している(露光期間が所定時間Tより長い)場合は、カメラマイコン130はステップS206に進む。
ステップS206では、カメラマイコン130は、被写体角速度算出部134に相対被写体角速度を算出させる(第1の処理)。これにより、後述するSW2ONに応じて開始される露光の前に被写体角速度算出部134に相対被写体角速度を算出させ、被写体角速度決定部603に角速度履歴を取得させる。
時間計測カウンタが所定時間Tに達している場合に相対被写体角速度を算出し直させるのは、所定時間T内で被写体の速度が変化する可能性を考慮するためである。被写体角速度算出部134が算出した相対被写体角速度は、その算出ごとに、流し撮り制御部132の被写体角速度決定部603に送出される。ステップS205にて時間計測カウンタがまだ所定時間Tに達していない場合は、カメラマイコン130はステップS208に進む。
ステップS206の後のステップS207では、カメラマイコン130は、被写体角速度決定部603に、露光期間中の相対被写体角速度を決定させる。ここでの処理(第2の処理である角速度決定処理)の詳細については後述する。そして、ステップS208に進む。
ステップS208では、カメラマイコン130は、レリーズスイッチが全押し操作(SW2ON)されたか否かを判定する。SW2ONでない場合は、カメラマイコン130はステップS201に戻る。一方、SW2ONである場合は、カメラマイコン130はステップS209に進み、シャッター制御部133を通じてシャッター111を開動作させて露光を開始させる。
さらに、カメラマイコン130は、ステップS210において、流し撮り制御部132に、ステップS207で決定された相対被写体角速度に応じたシフトレンズ104のシフト駆動の制御を行わせる。これにより、被写体像の像面上での変位量を補正する流し撮りアシストを行う。この際、図5のステップS502でパンニングが高速パンニングと判定された場合は、カメラマイコン130は、防振制御部131を通じてシフトレンズ104を手振れによる像振れを補正するためにシフト駆動する。
続いてステップS211は、カメラマイコン130は、露光が完了したか否かを判定し、完了した場合はステップS212に進み、未完了であればステップS210に戻る。
ステップS212では、カメラマイコン130は、再びSW2ONか否かを判定し、SW2ONの場合はステップS209に戻って次の露光(連写の次のコマの撮影)を行う。一方、SW2ONでない場合はステップS201に戻る。
図1のフローチャートには、被写体角速度決定部603が図2のステップS207にて行う角速度決定処理の詳細を示している。被写体角速度決定部603(つまりはカメラマイコン130)は上記流し撮りアシスト制御プログラムの一部に従ってこの処理を実行する。
ステップS101において、カメラマイコン130から相対被写体角速度の決定を指示された被写体角速度決定部603は、それまでに被写体角速度算出部134から取得して蓄積した露光前の角速度履歴を読み出す。
そして、ステップS102において、被写体角速度決定部603は、読み出した角速度履歴に含まれる複数の相対被写体角速度と算出時刻の組から角速度の特異点を検出する。本実施例における角速度の特異点では、その角速度の時間変化率である角加速度にパンニング角度θ=0度、+30度および−30度に示すような3種類の特定の変化が生じる。
被写体角速度決定部603は、角速度履歴において隣接する2つの算出時刻での相対被写体角速度の差分を該2つの算出時刻の間の時間で除算することにより角加速度(角加速度情報)を算出する。被写体角速度決定部603は、この角加速度の算出を複数の隣接算出時刻に対して行って角加速度の時間変化を求める。そして、被写体角速度決定部603は、時間変化する角加速度において、プラスの極大値(θ=+30度での増加から減少への変化)とマイナスの極大値(θ=−30度での減少から増加への変化)を検出する処理を行う。また、被写体角速度決定部603は、角加速度におけるプラスからマイナスへの変化(θ=0度での正と負のうち一方から他方への変化)も検出する。
ステップS103では、被写体角速度決定部603は、上記特異点の検出処理により検出した特異点の数が2つ以上であるか否かを判定する。つまり、特異点として、θ=0度、+30度および−30度のうち「0度、+30度および−30度」、「30度および0度」もしくは「0度と−30度」に相当する特異点が検出されたか否かを判定する。特異点が2つ以上検出された場合は被写体角速度決定部603はステップS104に進み、そうでなければステップS105に進む。
ステップS104では、被写体角速度決定部603は、以下の式(1)を用いて露光期間中の相対被写体角速度ωを算出(決定)する。
式(1)において、t30は、被写体がθ=+30度とθ=−30度のうち検出された特異点に対応する位置からθ=0度の位置まで動くのに要した時間である。また、tは、被写体がθ=0度の位置を通過した時点から最後に露光前の相対被写体角速度が検出された時点(レリーズ情報が入力される直前)までの時間である。tlagは、最後に露光前の相対被写体角速度が検出された時点から露光期間の中間点までの時間である。なお、以下の説明では露光期間の中間点を露光期間の半分の時点として説明するが、露光期間中の時点であれば半分の時点でなくてもよい。
図10には、t30が被写体がθ=0度の位置からθ=+30度の位置まで動くのに要した時間である場合のt30、tおよびtlagを示している。
式(1)の導出について、図9を用いて説明する。vは被写体速度、Lは被写体の移動軌跡とカメラとの最短距離、tは被写体の移動軌跡とカメラとの最短距離地点までの移動にかかる時間である。被写体の角速度ωはθの時間微分であるので、以下を求める。
図9より、
となる。ここで、
として、arctan(u)をuで微分し再度uで展開すると、
となる。ここで、uのt微分は、
となり、これを微分の連鎖律にあてはめると、
となる。
図10におけるLを求めると、
となり、このLとt=t+tlagをωに式に適用すると式(1)となる。
ステップS105では、被写体角速度決定部603は、θ=+30度の特異点が判明しているか否かを判定し、判明していればステップS106に、判明していなければステップS107に進む。
ステップS106では、被写体角速度決定部603は、式(2)を用いて露光期間中の相対被写体角速度ωを算出する。すなわち、被写体角速度決定部603は、まず角速度履歴における最新の2つの算出時刻にて算出された相対被写体角速度の差分(ω−ωn−1)を求める。次に、被写体角速度決定部603は、被写体が露光期間の中間点での位置まで動くのに要する時間tlagを用いて相対被写体角速度(ω−ωn−1)tlag/tを求める。さらに、被写体角速度決定部603は、求めた相対被写体速度に対して1以下の重みwによる重み付けを行って最終的な露光期間中の相対被写体角速度ωを算出(決定)する。
式(2)において、ωは最新の算出時刻にて算出された角速度であり、ωn−1は最新より1つ前の算出時刻にて算出された角速度である。また、tはωn−1が算出された算出時刻とωが算出された算出時刻との間の時間である。
ステップS107では、被写体角速度決定部603は、θ=0度の特異点が判明しているか否かを判定し、判明していればステップS108に、判明していなければステップS111に進む。
ステップS108では、被写体角速度決定部603は、角速度履歴として、θ=0度を対称点(対称の中心点)として露光期間の中間点での相対被写体角速度に対して対称となる相対被写体角速度(以下、対称履歴角速度という)が存在するか否かを判定する。対称履歴角速度が存在する場合は被写体角速度決定部603はステップS109に進み、対称履歴角速度が存在しない場合はステップS110に進む。
図11には、対称履歴角速度を示している。角速度履歴が蓄積された期間を、ここでは履歴蓄積期間という。図中に示す履歴蓄積期間1は、θ=0度の原点Aよりも右側においてtlag+tよりも短いため、対称履歴角速度は存在しない。一方、履歴蓄積期間2は、原点Aよりも右側においてtlag+tより長いため、対称履歴角速度が存在する。
ステップS109では、被写体角速度決定部603は、対称履歴角速度を露光期間中の相対被写体角速度として決定する。
ステップS110では、被写体角速度決定部603は、重みwを1以上とした式(2)を用いて露光期間中の相対被写体角速度ωを決定する。
ステップS111では、被写体角速度決定部603は、θ=−30度の特異点が判明しているか否かを判定し、判明していればステップS112に、判明していなければステップS113に進む。
ステップS112では、被写体角速度決定部603は、重みwを1以下とした式(2)を用いて露光期間中の相対被写体角速度ωを決定する。
ステップS113では、被写体角速度決定部603は、重みwを1とした式(2)を用いて露光期間中の相対被写体角速度ωを決定する。
本実施例によれば、カメラ100から測定する被写体の角速度が変化する場合でも被写体像のぶれが少ない良好な流し撮りを可能とする流し撮りアシストを実現することができる。
次に、本発明の実施例2である光学機器としてのカメラについて説明する。本実施例のカメラの構成は実施例1のカメラ100と共通である。このため、本実施例では、カメラの構成要素に実施例1と同符号を付す。
実施例1では、被写体角速度算出部134から相対被写体角速度とこれを算出した算出時刻を流し撮り制御部132に送出し、流し撮り制御部132はこれらの組を角速度履歴として蓄積する場合について説明した。実施例2では、相対被写体角速度と算出時刻に加え、該算出時刻での被写体距離(距離情報)と前回の相対被写体角速度の算出時刻からの図9に示した角度θの変化量も流し撮り制御部132に送出し、流し撮り制御部132はこれらの組を角速度履歴として蓄積する。被写体距離は、撮影レンズユニット101におけるズームレンズ103および不図示のフォーカスレンズの位置等の情報から算出することができる。角度θの変化量は、角速度データを積分することで算出することができる。本実施例では、被写体距離を取得するためにオートフォーカス動作を行って、動く被写体に対して撮影レンズユニット101の合焦状態を維持し、被写体が動いても正確な被写体距離を算出する。また、被写体とカメラの両方にGPSを装備させ、位置情報を取得することで被写体距離を取得してもよい。
図12のフローチャートには、本実施例において被写体角速度決定部603が行う角速度決定処理(第2の処理)を示している。被写体角速度決定部603(つまりはカメラマイコン130)は、実施例1で説明した流し撮りアシスト制御プログラムの一部に従ってこの処理を実行する。
ステップS601において、カメラマイコン130から相対被写体角速度の決定を指示された被写体角速度決定部603は、それまでに被写体角速度算出部134から取得して蓄積した露光前の角速度履歴を読み出す。
ステップS602において、被写体角速度決定部603は、読み出した角速度履歴に含まれる複数の相対被写体角速度と算出時刻の組から被写体の角速度の時間変化率である角加速度を求めて被写体が等速直線運動を行っているか否かを判断する。具体的には、角加速度が図8に示した角加速度のグラフと同等の時間変化を示しているか否かを判定する。被写体が等速直線運動を行っている場合は被写体角速度決定部603はステップS603に進み、被写体が等速直線運動を行っていなければステップS604に進む。
ステップS603では、被写体角速度決定部603は、角速度履歴における最新の2つの算出時刻での被写体距離とそれらの算出時刻間での角度θの変化量とを用いて、以下の式(3)〜(8)により露光期間中の相対被写体角速度ωを算出する。
式(3)〜(8)内の記号について図13を用いて説明する。Lとvはそれぞれ、図9にも示したように、本実施例のカメラ100′から被写体の等速直線運動の移動軌跡までの最短距離(原点Aまでの距離)および被写体の等速直線運動の速度である。tは被写体が原点Aを通過した時点から露光期間の中間点までの時間である。mはある時点(相対被写体角速度の算出時刻)での被写体距離であり、nはmより前の時点(前回の相対被写体角速度の算出時刻)での被写体距離である。Δθは被写体距離がnである時点(以下、第1の時点という)での角度θから被写体距離がmである時点(以下、第2の時点という)での角度θへの変化量である。Dは第1の時点から第2の時点までの被写体の移動距離であり、tは第1の時点から第2の時点までの時間である。tlagは、第2の時点から露光期間の中間点までの時間である。
図13(a)は、式(7)において、
の場合を示しており、図13(b)は、式(7)において、
の場合を示している。また、図13(c)は、式(8)においてm≦nの場合を示しており、図13(d)はm>nの場合を示している。
ここで、式(4)の求め方を図13で説明する。(a)〜(d)すべてにおいて辺msinθと辺Dからなる三角形と辺Lと辺nからなる三角形の相似関係(msinθ:D=L:n)により求めることができる。また、式(6)の求め方について図13で説明する。(a)〜(d)すべてにおいて辺msinθと辺Dからなる三角形の三平方の定理で求めることができる。(a)〜(c)に関しては、
から導出することができる。(d)に関しては、
から導出することができる。
ステップS604では、被写体角速度決定部603は、実施例1で説明した式(2)を用いて重みwを1として露光期間中の相対被写体角速度ωを決定する。
本実施例によれば、任意の2時点の被写体距離とその間の角度θの変化量Δθを取得することで、露光期間中の相対被写体角速度ωを求めることができる。これにより、カメラ100′から測定する被写体の角速度が変化する場合でも被写体像のぶれが少ない良好な流し撮りを可能とする流し撮りアシストを実現することができる。
次に、本発明の実施例3である光学機器としてのカメラについて説明する。本実施例のカメラの構成は実施例1のカメラ100と共通である。このため、本実施例では、カメラの構成要素に実施例1と同符号を付す。
実施例1,2では、露光期間中の相対被写体角速度を露光前に1回のみ算出し、その算出結果に基づいて流し撮りアシストを行う場合について説明した。この場合、露光期間が短ければ問題はないが、露光期間が長くなるとその露光期間内での相対被写体角速度の変化によって良好な流し撮りアシストを行うことができなくなる。本実施例では、露光期間中においても該露光期間中の相対被写体角速度を順次算出(順次更新)し、最新の算出結果の変化に応じたシフトレンズ104のシフト駆動の制御を行うことで、露光期間が長い場合でも良好な流し撮りアシストを可能とする。
図14のフローチャートには、本実施例においてカメラマイコン130が流し撮りアシストモードで行う流し撮りアシスト処理を示している。この処理は、カメラマイコン130がコンピュータプログラムである流し撮りアシスト処理プログラムに従って実行する。図14において、実施例1にて図2に示したフローチャートに含まれるステップと同じステップには図2と同ステップ番号を付して説明に代える。
本実施例では、カメラマイコン130は、実施例1と同様に、ステップS206において被写体角速度算出部134に相対被写体角速度を算出させる(第1の処理)。そして、次のステップS701では、被写体角速度決定部603に、ステップS206で算出された相対被写体角度とその算出時刻の組の情報を角速度履歴として保持させる。なお、実施例2の相対被写体角度の算出方法を用いる場合は、上記情報に併せて被写体距離と前回の相対被写体角速度の算出時からの角度θの変化量の情報も被写体角速度決定部603に角速度履歴として保持させる。
また、カメラマイコン130は、ステップS209で露光を開始した後である露光期間中(記録用撮影中)のステップS702において、被写体角速度決定部603に露光期間中の相対被写体角速度を算出(決定)させる(第2の処理)。カメラマイコン130は、このステップS702の処理をステップS211で露光が完了するまで周期的に繰り返して相対被写体角速度を順次更新する。そして、カメラマイコン130は、ステップS210において、流し撮り制御部132に、ステップS702で相対被写体角速度が決定されるごとその相対被写体角速度に応じたシフトレンズ104のシフト駆動の制御を行わせる。
本実施例では、露光期間中にも相対被写体角速度を繰り返し算出し、これらに基づいて流し撮りアシストを行う。つまり、露光期間が所定時間よりも長い場合は、算出する相対被写体角速度(予測情報)の数を増加させる。このため、露光期間が長い場合でも被写体像のぶれが少ない良好な流し撮りアシストを行うことができる。
次に、図15を用いて、本発明の実施例4であるレンズ交換式カメラシステムについて説明する。交換レンズ140は、レンズ交換型カメラ141に対して取り外し可能に装着される。図15において、図3に示した実施例1のカメラ100と共通する構成要素には実施例1と同符号を付してそれらの説明は省略する。
本実施例では、実施例1において1つのカメラマイコン130で行う複数の処理を、カメラ141内のカメラマイコン144と交換レンズ140内のレンズマイコン142とで分担して行う。レンズマイコン142とカメラマイコン144は、交換レンズ140に設けられたマウント接点部146とカメラ141に設けられたマウント接点部147を通じて、情報伝達のためにシリアル通信を行う。カメラマイコン144はシャッター制御部133と被写体角速度算出部134を有し、レンズマイコン142は防振制御部131と流し撮り制御部132′とを有する。流し撮り制御部132′は、カメラマイコン144(被写体角速度算出部134)からシリアル通信により情報を受信する点で実施例1の流し撮り制御部132と異なる。本実施例では、交換レンズ140に設けられたレンズマイコン142が制御手段に相当し、算出手段としての被写体角速度算出部134はカメラマイコン144に含まれる。
図16には、本実施例において流し撮りアシストモードでのシフトレンズ104のシフト駆動制御を行うために交換レンズ140に設けられたシフト駆動制御システムの構成を示している。図16において、図6に示した構成要素と共通する構成要素には図6と同符号を付してそれらの説明は省略する。
流し撮り制御部132′は、カメラ情報取得部611と、角速度データ出力部612と、被写体角速度決定部613と、第2の加算器604と、第2の積分器605とを含む。
カメラ情報取得部611は、通信制御部614を介して、カメラマイコン144から実施例1で説明した流し撮り設定情報とレリーズ情報とを取得する。
角速度データ出力部612は、所定タイミングで角速度データをサンプリングし、通信制御部614を介してカメラマイコン144内の被写体角速度算出部134に送信する。
被写体角速度決定部613は、カメラマイコン144内の被写体角速度算出部134から送信される情報を、通信制御部614を介して受信する。その情報は、露光前に被写体角速度算出部134が算出した相対被写体角速度とその算出時刻(取得時刻)から本情報の通信時刻までの遅延時間との組の情報である。被写体角速度決定部613は、取得した遅延時間をレンズマイコン142内での時刻としての算出時刻に変換し、この算出時刻と取得した相対被写体角速度の組の情報を角速度履歴として保持(蓄積)する。そして、被写体角速度決定部613は、その露光前の角速度履歴を用いて露光期間中の相対被写体角速度を決定(推定)する。
図17のフローチャートには、カメラマイコン144が流し撮りアシストモードで行う流し撮りアシスト処理を示している。この処理は、カメラマイコン144がコンピュータプログラムであるカメラ側流し撮りアシスト処理プログラムに従って実行する。図17において、実施例1にて図2に示したフローチャートに含まれるステップと同じステップには図2と同ステップ番号を付して説明に代える。
ステップS206では、カメラマイコン144は、被写体角速度算出部134に相対被写体角速度を算出させる(第1の処理)。そして、カメラマイコン144は、ステップS801において、算出された相対被写体角速度とその算出時刻から現時点までの遅延時間の組の情報をレンズマイコン142に送信する。
そして、ステップS208でSW2ONとなると、カメラマイコン144は、ステップS802において、露光開始のタイミング情報をレンズマイコン142に送信し、ステップS803で露光を行う。さらに、露光が終了すると、カメラマイコン144は、ステップS803にて露光終了のタイミング情報をレンズマイコン142に送信する。この後、カメラマイコン144は、ステップS212に進む。
図18のフローチャートには、レンズマイコン142が流し撮りアシストモードで行う流し撮りアシスト処理を示している。この処理は、レンズマイコン142がコンピュータプログラムであるレンズ側流し撮りアシスト処理プログラムに従って実行する。
ステップS901において、レンズマイコン142は、カメラマイコン144から相対被写体角速度と遅延時間の組の情報を受信したか否かを判定し、受信した場合はステップS902に進み、受信していない場合は本ステップの処理を繰り返す。
ステップS902では、レンズマイコン142は、受信した相対被写体角速度を保持する。
次に、ステップS903では、レンズマイコン142は、ステップS901で受信した遅延時間から、レンズマイコン142内での時刻としての相対被写体角速度の算出時刻を計算し、その算出時間と相対被写体角速度との組の情報を角速度履歴として保持する。
ステップS904では、レンズマイコン142は、露光期間の中間点での相対被写体角速度を決定する(第2の処理)。この決定は、実施例1にて図1のフローチャートを用いて説明した角速度決定処理により行う。また、カメラマイコン144から被写体距離と角度θの変化量の情報を受信することにより、実施例2にて図12を用いて説明した角速度決定処理により行ってもよい。
続いてステップS905では、レンズマイコン142は、カメラマイコン144から露光開始のタイミング情報を受信したか否かを判定し、受信した場合はステップS906に進み、受信していない場合はステップS901に戻る。
ステップS906では、レンズマイコン142は、実施例1にて図2に示したステップS210と同様に流し撮り制御部132′を通じてシフトレンズ104を被写体像の像面上での変位量を補正するようにシフト駆動して流し撮りアシストを行う。この際、実施例1にて図5に示したステップS502と同様にパンニングが高速パンニングと判定された場合は、レンズマイコン142は、防振制御部131を通じてシフトレンズ104を手振れによる像振れを補正するためにシフト駆動する。
そして、ステップS907では、レンズマイコン142は、カメラマイコン144から露光終了のタイミング情報を受信したか否かを判定し、受信した場合はステップS901に戻り、受信していない場合はステップS906に戻って流し撮りアシストを継続する。
本実施例によれば、実施例1または実施例2で説明したカメラでの流し撮りアシストと同様の流し撮りアシストをレンズ交換式カメラシステムにおいて行うことができる。
交換レンズ140に実施例3で説明したのと同様の流し撮りアシストを行わせる場合には、図18のステップS904での処理をステップS906の前に行い、ステップS907で露光終了のタイミング情報を受信していない場合にステップS904に戻ればよい。
なお、本実施例では、カメラマイコン144からレンズマイコン142に相対被写体角速度の算出時刻から通信時刻までの遅延時間を送信して、レンズマイコン142が該遅延時刻から自身の側での算出時刻を計算する場合について説明した。しかし、レンズマイコン142とカメラマイコン144の時刻を予め合わせておき、カメラマイコン144からレンズマイコン142に相対被写体角速度とその算出時刻を送信するようにしてもよい。
次に、本発明の実施例5であるあるレンズ交換式カメラシステムについて説明する。本実施例において、図15および図6に示した実施例4の交換レンズ140およびカメラ141と共通する構成要素には実施例4と同符号を付してそれらの説明は省略する。
実施例4ではレンズマイコン142が露光期間中の相対被写体角速度を算出する場合について説明したが、実施例5ではカメラマイコン144が露光期間中の相対被写体角速度を算出する。より詳しくは、カメラマイコン144は、露光開始までのタイムラグを考慮した露光期間中の相対被写体角速度を補正サンプリング分のリストとして作成し、該リストをレンズマイコン142に送信する。
図19のフローチャートには、カメラマイコン144が流し撮りアシストモードで行う流し撮りアシスト処理を示している。この処理は、カメラマイコン144がコンピュータプログラムであるカメラ側流し撮りアシスト処理プログラムに従って実行する。図19において、実施例4にて図17に示したフローチャートに含まれるステップと同じステップにはそれらと同ステップ番号を付して説明に代える。
ステップS1001では、カメラマイコン144は、ステップS206(第1の処理)において算出された相対被写体角速度を保持する。
そして、次のステップS1002では、カメラマイコン144は、実施例1にて図2を用いて説明したステップS207と同様の処理を行って露光期間中の相対被写体角速度を算出する(第2の処理)。ただし、本ステップでは、カメラマイコン144は、露光期間中における流し撮りアシストのためのシフトレンズ104の所定周期での駆動タイミングごとの相対被写体角速度を算出し、全駆動タイミングでの複数の相対被写体角速度を含むリストを作成する。そして、このリストをレンズマイコン142に送信する。
例えば、露光期間が1/100秒で、シフトレンズ104の駆動の周期が1kHzである場合は、シフトレンズ104は露光期間内で10回駆動される。このため、カメラマイコン144は、この10回の駆動における駆動タイミングごとの相対被写体角速度を算出し、算出した10個の相対被写体角速度をリストにしてレンズマイコン142に送信する。
本実施例では、露光期間中の相対被写体角速度の算出およびリストの作成を、カメラマイコン144内の被写体角速度算出部134が行う。つまり、本実施例では、カメラマイコン144が算出手段に相当し、レンズマイコン142は制御手段に相当する。
図20には、レンズマイコン142が流し撮りアシストモードで行う流し撮りアシスト処理を示している。この処理は、レンズマイコン142がコンピュータプログラムである流し撮りアシスト処理プログラムに従って実行する。図20において、実施例4にて図18に示したフローチャートに含まれるステップと同じステップには図18と同ステップ番号を付して説明に代える。
ステップS1101では、レンズマイコン142は、カメラマイコン144から露光期間中の相対被写体角速度のリストを受信したか否かを判定し、受信した場合はステップS905に進み、受信していない場合は本ステップの処理を繰り返す。
ステップS905にてカメラマイコン144から露光開始のタイミング情報を受信したレンズマイコン142は、ステップS1102において、ステップS1101で受信したリストからシフトレンズ104の駆動タイミングごとの相対被写体角速度を読み出す。そして、先の駆動タイミングでの相対被写体角速度から順に、使用する相対被写体角速度として決定する。
次のステップS1103では、レンズマイコン142は、流し撮り制御部132′に、ステップS1102で決定された相対被写体角速度に応じたシフトレンズ104のシフト駆動の制御を行わせる。この際、シフトレンズ104の駆動タイミングごとに、ステップS1102で決定された通りの順で使用される相対被写体角速度が変更される。すなわち、露光中における相対被写体角速度が順次更新される。
また、この際、実施例1にて図5に示したステップS502と同様にパンニングが高速パンニングと判定された場合は、レンズマイコン142は、防振制御部131を通じてシフトレンズ104を手振れによる像振れを補正するためにシフト駆動する。レンズマイコン142は、以上の処理を露光終了(ステップS907)まで繰り返す。これにより、露光中の被写体角速度の変化に対応することができる。
また、本実施例では露光期間中の被写体角速度のリストをデータとして受け渡しているが、露光開始時の相対被写体角速度と角加速度を受け渡すことで同様に露光中の相対被写体角速度の変化に対応することができる。図21には、本実施例の変形例として、カメラマイコン144が流し撮りアシストモードで行う流し撮りアシスト処理を示している。図21において、図19に示した処理と同じ処理については同ステップ番号を付して説明に代える。
ステップS206で算出した相対被写体角速度をステップS1001で保持したカメラマイコン144は、ステップS1202において、図19のステップS1002と同様にして複数の相対被写体角速度を算出する。そして、カメラマイコン144は、該複数の相対被写体角速度を用いて露光開始時の相対被写体角速度とカメラ100に対する被写体の動きの予測情報としての推定加速度である相対角加速度とを算出し、これらの情報をカメラマイコン144に送信する。この後、カメラマイコン144はステップS208以降の処理に進む。
図22には、本変形例においてレンズマイコン142が流し撮りアシストモードで行う流し撮りアシスト処理を示している。図22において、図20に示した処理と同じ処理については同ステップ番号を付して説明に代える。
ステップS1301では、レンズマイコン142は、カメラマイコン144から露光開始時の相対被写体角速度と相対角加速度の情報を受信したか否かを判定し、受信した場合はステップS905に進み、受信していない場合は本ステップの処理を繰り返す。
ステップS905で露光が開始されたと判定したレンズマイコン142は、ステップS1302に進む。ステップS1302では、カメラマイコン144は、受信した露光開始時の相対被写体角速度と相対角加速度および露光開始時刻からの経過時間とを用いて、シフトレンズ104の所定周期での駆動タイミング(補正タイミング)ごとの相対被写体角速度を決定する。
そして、次のステップS1103では、レンズマイコン142は、流し撮り制御部132′に、ステップS1302で決定された各補正タイミングの相対被写体角速度に応じて、補正タイミングごとにシフトレンズ104のシフト駆動の制御を行わせる。こうして露光期間中の相対被写体角速度が順次更新される。また、この際、実施例1にて図5に示したステップS502と同様にパンニングが高速パンニングと判定された場合は、レンズマイコン142は、防振制御部131を通じてシフトレンズ104を手振れによる像振れを補正するためにシフト駆動する。レンズマイコン142は、以上の処理を露光終了(ステップS907)まで繰り返す。これにより、露光中の被写体角速度の変化に対応することができる。
本実施例によれば、露光期間中に相対被写体角速度が変化しても、被写体像のぶれが少ない良好な流し撮りアシストをレンズ交換式カメラシステムにおいて行うことができる。
上述した各実施例では、流し撮りアシストおよび手振れによる像振れの補正を撮影レンズユニット101の一部を構成するシフトレンズ104をシフトさせることで行う場合について説明した。しかし、撮影レンズユニットの全体をシフトさせてもよいし、撮像素子112をシフト素子として用いてこれをシフトさせてもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
100 カメラ
101 撮影レンズユニット
104 シフトレンズ
107 角速度センサ
112 撮像素子
130 カメラマイコン
132 流し撮り制御部
134 被写体角度算出部

Claims (8)

  1. 被写体を撮像する撮像装置であって、
    該撮像装置の動きが前記被写体の動きに追従するように、該撮像装置の動きを検出する第1の検出手段から得られる第1の動きの情報および前記被写体の動きを検出する第2の検出手段から得られる第2の動きの情報を用いて光学素子を制御する制御手段と、
    露光期間前に複数のタイミングで検出された前記第2の動きの情報を用いて前記露光期間中の前記被写体の動きの予測情報を算出する算出手段とを有し、
    前記制御手段は、前記露光期間中に前記予測情報を用いて前記光学素子を制御することを特徴とする撮像装置。
  2. 前記算出手段は、
    該露光期間前の前記被写体の角速度情報と、
    前記露光期間前の前記被写体の角加速度情報と、
    前記角速度情報および前記角加速度情報を算出した算出時刻と、
    前記露光期間の開始時刻とを用いて前記予測情報を算出することを特徴とする請求項1に記載の撮像装置。
  3. 前記算出手段は、該撮像装置の位置を基準とした前記被写体の位置に対応する角加速度の変化を用いて前記予測情報を算出することを特徴とする請求項1に記載の撮像装置。
  4. 前記算出手段は、前記撮像装置の位置を基準とした前記被写体の位置を、該撮像装置から前記被写体までの距離情報を用いて算出することを特徴とする請求項3に記載の撮像装置。
  5. 前記算出手段は、前記露光期間が所定値よりも長い場合は前記光学素子を制御する前記予測情報の数を増加させることを特徴とする請求項1から4のいずれか一項に記載の撮像装置。
  6. 被写体を撮像する撮像装置であって、
    該撮像装置の動きが前記被写体の動きに追従するように、該撮像装置の動きを検出する第1の検出手段から得られる第1の動きの情報および前記被写体の動きを検出する第2の検出手段から得られる第2の動きの情報を用いて光学素子を制御する制御手段と、
    露光期間前に複数のタイミングで検出された前記第2の動きの情報を用いて前記露光期間中の被写体の動きの予測情報を算出する算出手段とを有し、
    前記制御手段は、前記露光期間中に、前記予測情報と該露光期間中に得られた前記第1の動き情報とを用いて前記光学素子を制御することを特徴とする撮像装置。
  7. 被写体を撮像する撮像装置のコンピュータに、
    該撮像装置の動きが前記被写体の動きに追従するように、該撮像装置の動きを検出する第1の検出手段から得られる第1の動きの情報および前記被写体の動きを検出する第2の検出手段から得られる第2の動きの情報を用いて光学素子を制御させ、
    露光期間前に複数のタイミングで検出された前記第2の動きの情報を用いて前記露光期間中の前記被写体の動きの予測情報を算出させ、
    前記露光期間中は、前記予測情報を用いて前記光学素子を制御させることを特徴とする撮像装置の制御プログラム。
  8. 被写体を撮像する撮像装置のコンピュータに、
    該撮像装置の動きが前記被写体の動きに追従するように、該撮像装置の動きを検出する第1の検出手段から得られる第1の動きの情報および前記被写体の動きを検出する第2の検出手段から得られる第2の動きの情報を用いて光学素子を制御させ、
    露光期間前に複数のタイミングで検出された前記第2の動きの情報を用いて前記露光期間中の被写体の動きの予測情報を算出させ、
    前記露光期間中は、前記予測情報と該露光期間中に得られた前記第1の動き情報とを用いて前記光学素子を制御させることを特徴とする撮像装置の制御プログラム。
JP2015250675A 2015-03-03 2015-12-22 撮像装置、制御方法、制御プログラム、および記憶媒体 Active JP6529430B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160021083A KR101951076B1 (ko) 2015-03-03 2016-02-23 촬상 장치, 그 제어 방법 및 그 컴퓨터 프로그램
US15/056,779 US10091432B2 (en) 2015-03-03 2016-02-29 Image capturing apparatus, control method thereof and storage medium storing control program therefor
DE102016103653.6A DE102016103653B4 (de) 2015-03-03 2016-03-01 Bildaufnahmevorrichtung, Steuerverfahren dafür und Steuerprogramm dafür
GB1603693.1A GB2538138B (en) 2015-03-03 2016-03-03 Image capture apparatus, control method thereof and control program therefor
CN201610121763.0A CN105939454B (zh) 2015-03-03 2016-03-03 摄像设备及其控制方法
US16/108,347 US10362236B2 (en) 2015-03-03 2018-08-22 Image capturing apparatus, control method thereof and storage medium storing control program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015041436 2015-03-03
JP2015041436 2015-03-03

Publications (3)

Publication Number Publication Date
JP2016167798A true JP2016167798A (ja) 2016-09-15
JP2016167798A5 JP2016167798A5 (ja) 2018-10-11
JP6529430B2 JP6529430B2 (ja) 2019-06-12

Family

ID=56898873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015250675A Active JP6529430B2 (ja) 2015-03-03 2015-12-22 撮像装置、制御方法、制御プログラム、および記憶媒体

Country Status (3)

Country Link
JP (1) JP6529430B2 (ja)
KR (1) KR101951076B1 (ja)
CN (1) CN105939454B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180323A (ja) * 2017-04-14 2018-11-15 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
JP2019008221A (ja) * 2017-06-27 2019-01-17 キヤノン株式会社 撮像装置およびその制御方法
JP2019092037A (ja) * 2017-11-14 2019-06-13 キヤノン株式会社 撮像装置およびその制御方法
JP7451152B2 (ja) 2019-11-26 2024-03-18 キヤノン株式会社 撮像装置、制御方法及びコンピュータプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10218906B2 (en) * 2017-03-22 2019-02-26 Htc Corporation Camera device and method for camera device
JP6904843B2 (ja) * 2017-08-03 2021-07-21 キヤノン株式会社 撮像装置およびその制御方法
CN108540725A (zh) * 2018-05-14 2018-09-14 Oppo广东移动通信有限公司 防抖方法、电子装置、成像系统、存储介质和计算机设备
CN108848305B (zh) * 2018-06-20 2020-09-01 维沃移动通信有限公司 一种拍照方法及终端设备
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
CN112235514A (zh) * 2020-10-13 2021-01-15 余波 一种基于人工智能的相机快门速度调节方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0798471A (ja) * 1993-09-28 1995-04-11 Canon Inc カメラ
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
JP5065060B2 (ja) * 2008-01-16 2012-10-31 キヤノン株式会社 撮像装置及びその制御方法
JP2013006174A (ja) * 2011-05-24 2013-01-10 Hakki Sangyo Kk 染色排水を浄化処理するための凝集剤組成物および凝集方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180323A (ja) * 2017-04-14 2018-11-15 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
JP2019008221A (ja) * 2017-06-27 2019-01-17 キヤノン株式会社 撮像装置およびその制御方法
JP2019092037A (ja) * 2017-11-14 2019-06-13 キヤノン株式会社 撮像装置およびその制御方法
JP7073078B2 (ja) 2017-11-14 2022-05-23 キヤノン株式会社 撮像装置およびその制御方法
JP7451152B2 (ja) 2019-11-26 2024-03-18 キヤノン株式会社 撮像装置、制御方法及びコンピュータプログラム

Also Published As

Publication number Publication date
KR101951076B1 (ko) 2019-02-21
CN105939454A (zh) 2016-09-14
JP6529430B2 (ja) 2019-06-12
CN105939454B (zh) 2019-06-25
KR20160107098A (ko) 2016-09-13

Similar Documents

Publication Publication Date Title
JP6529430B2 (ja) 撮像装置、制御方法、制御プログラム、および記憶媒体
US10362236B2 (en) Image capturing apparatus, control method thereof and storage medium storing control program therefor
JP6341691B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP6598549B2 (ja) 画像処理装置およびその制御方法、撮像装置およびその制御方法
CN109698912B (zh) 摄像设备及其控制方法
JP2015152888A (ja) 撮像装置およびその制御方法
JP6873716B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置
CN107040711B (zh) 图像稳定设备及其控制方法
JP2015185925A (ja) 撮像装置およびその制御方法
JP2018037772A (ja) 撮像装置およびその制御方法
JP2018036445A (ja) 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
US10812715B2 (en) Imaging apparatus and method of controlling imaging apparatus
JP2015145901A (ja) 撮像装置
JP7073078B2 (ja) 撮像装置およびその制御方法
JP6935269B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP6833381B2 (ja) 撮像装置、制御方法、プログラム、および、記憶媒体
JP2020118789A (ja) 撮像装置、撮像システム、撮像装置の制御方法、およびプログラム
JP2015102774A (ja) 撮像装置
JP7451152B2 (ja) 撮像装置、制御方法及びコンピュータプログラム
JP7414484B2 (ja) 光学機器、撮像装置および制御方法
JP2019008221A (ja) 撮像装置およびその制御方法
JP2018014601A (ja) 像ブレ補正装置及び方法、及び撮像装置
JP7214424B2 (ja) 撮像装置およびその制御方法
JP7023663B2 (ja) 撮像装置およびその制御方法
JP2023062881A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181119

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R151 Written notification of patent or utility model registration

Ref document number: 6529430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151