JP2015195497A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】被写体の明るさに応じた露出値に拘わらず、良好に流し撮り撮影効果を得る。
【解決手段】カメラは撮影レンズを介して結像された光学像に応じた画像データを得る撮像部１０９を有している。制御部１１８は撮影レンズ又は撮像部１０９を駆動制御して被写体を追尾して撮像部１０９による撮像を行う第１のモードと、撮像部１０９により複数の画像を撮像して、当該複数の画像を被写体の移動に応じて位置合わせして合成する第２のモードとのいずれかをシャッター速度に応じて選択的に制御する。
【選択図】図１

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、容易に流し撮り撮影を行うことができる撮像装置に関する。

一般に、デジタルカメラなどの撮像装置においては、露出の決定およびピント合わせなどの撮影に係る各種設定が自動化されている。さらに、手振れなどに起因する像ブレを防止する防振制御装置が搭載された撮像装置では、撮影者による撮影ミスを誘発する要因が殆どなくなっている。

ここで、防振制御装置について簡単に説明する。通常、撮像装置における手振れは周波数で１乃至１０Ｈｚ程度の振動である。シャッターを押すレリーズの際に手振れが発生しても像ブレのない撮影を行うためには、手振れによる角度振れを検出して、その結果に応じて像ブレ補正用レンズ（以下シフトレンズという）を駆動する必要がある。

シフトレンズ駆動の際には、振動を正確に検出して振れによる光軸変化を補正することが要件となる。原理的には、振動検出部において検出結果として角速度などの検出結果を得る。そして、駆動制御部が振動検出部の出力を演算処理した演算処理結果に基づいてシフトレンズを変位させて、像ブレを抑制する。

ところで、撮像装置による撮影方法の一つとして所謂流し撮りがある。この流し撮りは、一定の方向に移動する主被写体の動きに撮像装置を追従させつつ撮影する手法である。そして、主被写体の躍動感を出すため、背景に必要とするボケが得られる露光時間を設定して、移動する主被写体を追尾するように撮影者が撮像装置を振って撮影を行う。

ところが、主被写体の動きに上手に撮像装置を追従させるためには、長年の経験が必要であり、初心者にとって流し撮りは難しい撮影方法となる。

上述のような操作を行うことなく、流し撮りの効果を簡単に得るため種々の手法が知られている。例えば、主被写体の動きを検出して、当該検出結果に応じて主被写体を追尾するように光軸を変化させて、流し撮り撮影効果を得るようにした撮像装置がある（特許文献１参照）。

さらに、画像合成によって流し撮り撮影と同様の効果を得るようにした撮像装置があり、ここでは、主被写体がぶれずに背景を流した画像を生成することができる（特許文献２参照）。

特開平７−９８４７１号号公報 特開２００６−８６９３３号号公報

上述の特許文献１に記載のように、主被写体を追尾するように光軸を変化させれば、流し撮り撮影を行うことができる。ところが、スピード感のある自然な流し撮り撮影効果を得るためには、所謂流れボケ幅に対する考慮が必要である。具体的には、撮像装置の振り動作に伴う露光期間中の像ブレ量はある程度大きくなければならない。このため、流し撮り撮影における露光時間は、撮像装置の振り量にも関係するが、比較的遅いシャッター速度に設定する必要がある。

この際、主被写体が十分明るい条件における撮影の場合には、撮像装置の設定によって（例えば、ＮＤフィルタの有無および最小絞りの制限などの影響によって）、流し撮り効果が得られる程度の遅いシャッター速度に設定できないことがある。

一方、上述の特許文献２に記載では、画像ブレが生じないようなシャッター速度に設定して複数の画像を撮影した後、移動する主被写体と背景とを分離する。そして、主被写体がブレのないように背景には流れボケが出るように加工した画像を合成して流し撮り撮影と同様の効果を得ている。

ところが、主被写体が暗い条件における撮影の場合、一枚毎に画像にブレが生じないように適切なシャッター速度に設定するためには、ＩＳＯ感度を非常に高く設定しなければならないことがある。さらには、画像合成によってノイズが増幅されてノイズが非常に大きい画像が生成されてしまうことがある。

従って、本発明の目的は、主被写体の明るさに応じた露出値に拘わらず、良好に流し撮り撮影効果を得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、撮影レンズを介して結像された光学像に応じた画像データを得る撮像手段と、前記撮影レンズ又は前記撮像手段の光軸に対する偏心を制御する駆動制御手段と、前記撮像手段から得られる複数の画像データを合成する合成手段と、前記駆動制御手段により前記撮影レンズ又は前記撮像手段を駆動制御することで被写体を追尾して前記撮像手段による撮像を行う第１のモードと、前記撮像手段により複数の画像を撮像し、前記合成手段により当該複数の画像を被写体の移動に応じて位置合わせして合成する第２のモードとのいずれかを前記撮像手段のシャッター速度に応じて選択的に制御する制御手段と、を有することを特徴とする。

本発明による制御方法は、撮影レンズを介して結像された光学像に応じた画像データを得る撮像手段を備える撮像装置の制御方法であって、前記撮影レンズ又は前記撮像手段の光軸に対する偏心を制御する駆動制御ステップと、前記撮像手段から得られる複数の画像データを合成する合成ステップと、前記駆動制御ステップで前記撮影レンズ又は前記撮像手段を駆動制御することで被写体を追尾して前記撮像手段による撮像を行う第１のモードと、前記撮像手段により複数の画像を撮像し、前記合成ステップで当該複数の画像を被写体の移動に応じて位置合わせして合成する第２のモードとのいずれかを前記撮像手段のシャッター速度に応じて選択的に制御する制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮影レンズを介して結像された光学像に応じた画像データを得る撮像手段を備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮影レンズ又は前記撮像手段の光軸に対する偏心を制御する駆動制御ステップと、前記撮像手段から得られる複数の画像データを合成する合成ステップと、前記駆動制御ステップで前記撮影レンズ又は前記撮像手段を駆動制御することで被写体を追尾して前記撮像手段による撮像を行う第１のモードと、前記撮像手段により複数の画像を撮像し、前記合成ステップで当該複数の画像を被写体の移動に応じて位置合わせして合成する第２のモードとのいずれかを前記撮像手段のシャッター速度に応じて選択的に制御する制御ステップと、を実行させることを特徴とする。

本発明によれば、画像データを得る際のシャッター速度に応じて第１のモードおよび第２のモードを選択的に制御して撮像を行うようにしたので、被写体の明るさに応じた露出値に拘わらず、良好に流し撮り撮影効果を得ることができる。

本発明の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラで行われる流し撮り撮影アシスト制御を説明するための図である。 図１に示す制御部における防振制御と流し撮り撮影アシスト制御とを説明するためのブロック図である。 図１に示す画像合成処理部による合成処理を説明するための図であり、（ａ）は一枚目の画像データにおける座標変換を示す図、（ｂ）は二枚目の画像データにおける座標変換を示す図、（ｃ）は（ａ）に示す画像データと（ｂ）に示す画像データとを合成した合成画像データを示す図である。 図１に示すカメラで行われる画像処理を説明するためのフローチャートである（その１）。 図１に示すカメラで行われる画像処理を説明するためのフローチャートである（その２）。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は本発明の実施形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、ズームレンズユニット１０１を備えている。このズームレンズユニット１０１には変倍を行うためのズームレンズが含まれており、ズームレンズユニット１０１はズーム駆動制御部１０２によって駆動制御される。

ズームレンズユニット１０１の後段には、シフトレンズ１０３が配置されている。このシフトレンズ１０３は光軸に対して略垂直な平面においてその位置を変更する（つまり、光軸に対して偏心する）ことが可能な振れ補正光学系である。そして、シフトレンズ１０３はシフトレンズ駆動制御部１０４によって駆動制御される。なお、図示はしないが、撮像部１０９を略垂直な平面においてその位置を変更するようにしてもよい。

シフトレンズ１０３の後ろ段には、絞り・シャッターユニット１０５が配置され、この絞り・シャッターユニット１０５は絞り・シャッター駆動制御部１０６によって駆動制御される。絞り・シャッターユニット１０５の後段にはフォーカスユニット１０７が配置されている。フォーカスユニット１０７にはピント調整を行うためのフォーカスレンズが含まれており、フォーカスユニット１０７はフォーカス駆動制御部１０８によって駆動制御される。

フォーカスユニット１０７の後側には撮像部１０９が配置されている。撮像部１０９には上述の結像光学系を介して光学像が結像され、撮像部１０９は光学像に応じた電気信号（撮像信号）に変換する。撮像信号処理部１１０は、撮像部１０９の出力である撮像信号をＡ／Ｄ変換した後、当該撮像信号に所定の処理を施して映像信号とする。映像信号処理部１１１は、撮像信号処理部１１０の出力である映像信号を用途に応じて加工して、処理済み映像信号（画像データともいう）を生成する。

上記の画像データは制御部１１８に与えられ、制御部１１８の制御下で、表示制御部１１３は表示部１１３に画像データに応じた画像が表示する。電源部１１４は、カメラ全体に対して電源を供給する。外部入出力端子部１１５は、外部装置とカメラとの間で各種の通信信号又は画像データを入出力する際に用いられる。

操作部１１６はユーザがカメラを操作する際に用いられる。記憶部１１７には、画像データなど様々なデータが記憶される。表示制御部１１３は表示部１１２の動作および表示を制御する。制御部１１８はカメラ全体の制御を司る。

なお、図示のカメラには、角速度センサ１１９、ベクトル検出部１２０、および画像合成処理部１２１が備えられているが、これら角速度センサ１１９、ベクトル検出部１２０、および画像合成処理部１２１については後述する。

上述の操作部１１６には、押し込み量に応じて第１のスイッチ（ＳＷ１）および第２のスイッチ（ＳＷ２）が順にオンするシャッターレリーズスイッチが備えられている。シャッターレリーズスイッチが約半分押し込まれると、第１のスイッチがオンし、シャッターレリーズスイッチが最後まで押し込まれると第２のスイッチがオンする。

操作部１１６において、第１のスイッチがオンすると、制御部１１８の制御下で、フォーカス駆動制御部１０８はフォーカスユニット１０７を駆動してピント調整を行う。さらに、絞り・シャッターユニット駆動制御部１０６は絞り・シャッター１０５を駆動して適正な露光量に設定する。そして、第２のスイッチがオンすると、制御部１１８は、撮像部１０９に結像した光学像に応じて得られた画像データを記憶部１１７に記憶する。

この際、操作部１１６よって振れ補正機能オンの指示があると、制御部１１８はシフトレンズ駆動制御部１０４に振れ補正動作を指示する。これによって、シフトレンズ駆動制御部１０４は、振れ補正機能オフの指示がなされるまで、シフトレンズ１０３を制御して振れ補正動作を行う。

なお、操作部１１６が所定の時間操作されないと、制御部１１８は省電力のため、表示部１１２（つまり、ディスプレイ）の電源を断とする。

前述のように、図示のカメラは画像合成処理部１２１を備えており、この画像合成処理部１２１はズレ検出部１２２、座標変換部１２３、および画像合成部１２４を有している。

なお、操作部１１６においてズームレンズによる変倍指示が入力されると、制御部１１８の制御下で、ズーム駆動制御部１０２はズームユニット１０１を駆動して、指示されたズーム位置にズームレンズを移動して、光学系の焦点距離などを変化させる。加えて、制御部１１８は、映像信号処理部１１１の出力である画像データに応じて、フォーカス駆動制御部１０８を制御して、フォーカス駆動制御部１０８によってフォーカスユニット１０７を光軸に沿って駆動してピント調整を行う。

上述のカメラにおいては、シフトレンズ１０３を駆動することによる流し撮り撮影アシスト制御（第１のモード）と、画像合成による流し撮り撮影制御（第２のモード）とが行われ、後述するように、シャッター速度に基づいて、流し撮り撮影アシスト制御と流し撮り撮影制御とのいずれか一方が選択的に用いられる。なお、流し撮りとは、所定の方向に移動する主被写体の動きにカメラを追従させつつ撮影する手法である。

図２は、図１に示すカメラで行われる流し撮り撮影アシスト制御を説明するための図である。

カメラの振れが角速度センサ１１９で検出されると、制御部１１８はシフトレンズ駆動制御部１０４によって、シフトレンズ１０３を光軸に略直交する平面で駆動して、振れ（例えば、手振れ）による光軸ずれを補正する。さらに、所定の周期で映像信号処理部１１１からベクトル検出部１２０には画像データが与えられており、ベクトル検出部１２０は画像データにおいて主被写体の動きベクトルを検出する。制御部１１８はベクトル検出回路１２０の出力である動きベクトルをシフトレンズ１０３の駆動量に変換する。そして、制御部１１８は当該駆動量に応じてシフトレンズ駆動制御部１０４によって所定のタイミングでシフトレンズ１０３を駆動して、流し撮りアシスト制御を行う。

いま、角速度センサ１１９の出力である振れ検出結果が示す振れ量が所定の閾値よりも大きいと、制御部１１８はユーザである撮影者がパン二ングなどによってカメラ２０２を動かしていると判定する。続いて、制御部１１８は、前述のようにベクトル検出部１２０で検出された動きベクトルに応じて主被写体を検出する。

ここでは、制御部１１８は、カメラ２０２にパン二ングなどの大きな動きがあって、かつ周囲よりも動きベクトルが小さい領域が存在すると（つまり、被写体の移動量が所定の移動閾値よりも小さい場合）、当該領域を被写体として検出し、撮影者は流し撮り撮影を行うであろうと判定する。

角速度センサ１１９の出力である振れ検出結果が示す振れ量が所定の閾値以下であって、カメラに大きな動きがない場合又はカメラに大きな動きがあるものの動きベクトルが小さくなる領域が存在しない場合には、制御部１１８は撮影者が流し撮り撮影を行うつもりではないと判定する。

流し撮り撮影を行う場合には、撮影者は動く被写体２０１を追いかけつつカメラ２０２を動かすので、動く被写体のエリアにおいて、動く被写体２０１とカメラ２０１の振れとのずれ分に相当する動きベクトルが検出される。ここでは、被写体２０１に係る動きベクトルＢは周囲の背景動きベクトルＸに比べて小さくなり、この動きベクトルＢによって、制御部１１８は動く被写体２０１を検出する。

動く被写体２０１を検出すると、制御部１１８は被写体２０１のエリアにおける動きベクトルＢと角速度センサ１１９の出力である振れ検出結果とに応じて、被写体２０１の動き量を求める。その後、制御部１１８は、シャッターが切られる直前まで被写体２０１の動き量の演算を行う。そして、制御部１１８は、シャッターが切られたタイミングで被写体２０１の動き量をホールドして、露光期間中において被写体２０１の動き量を考慮してシフトレンズ１０３の駆動量を求める。

図３は、図１に示す制御部１１８における防振制御と流し撮り撮影アシスト制御とを説明するためのブロック図である。

まず、シフトレンズ１０３を用いた防振制御について説明する。角速度センサ１１９の出力である振れ検出結果（例えば、角速度）はオフセット減算部３０１に与えられ、オフセット減算部３０１は、振れ検出結果に検出ノイズとして重畳されたオフセット成分を減算する。

例えば、ＨＰＦ（ハイパスフィルタ）通過後の角速度又は当該角速度を微分して得られた角加速度の振幅が所定の振幅閾値より小さい場合の振れ検出結果を予め取得する。続いて、カットオフ周波数が非常に小さく設定されたＬＰＦ（ローパスフィルタ）を用いて振れ検出結果を滑らかに連結してＤＣ成分である角速度オフセット成分を求める。そして、当該角速度オフセット成分がオフセット減算部３０１にオフセット成分として設定される。

オフセット減算後の角速度は、加算器３１１を介して振れ補正角度算出部３０２に与えられる。そして、振れ補正角度算出部３０２は、オフセット減算後の角速度に応じて振れ補正角度を求める。

ここでは、パン二ング動作の際に直ぐにシフトレンズ１０３が防振可動端に移動してしまうのを防止するため、振れ補正角度算出部３０２は、パン二ングの開始を検知して、パン二ングの動作中においてはパン二ングによる角速度を減算するなどの処理を行った後に振れ補正角度を求める。これによって、シフトレンズ１０３が防振可動端に位置付けられ続けて防振不能状態になることを防止する。

振れ補正角度算出部３０２の出力である振れ補正角度は敏感度調整部３０３に与えられる。敏感度調整部３０３は、ズームレンズおよびフォーカスレンズの位置情報とこれら位置情報によって求まる焦点距離および撮影倍率とに基づいて振れ補正角度を増幅して、シフトレンズ駆動目標値を生成する。

敏感度調整部３０３における処理は、フォーカスおよびズームなどの光学情報の変化によってシフトレンズ１０３の振れ補正ストロークに対するカメラ像面における振れ補正敏感度が変化することを補正するために行われる。敏感度調整部３０３の出力であるシフトレンズ駆動目標値はシフトレンズ駆動制御部１０４に与えられる。シフトレンズ駆動制御部１０４は、シフトレンズ駆動目標値に応じてシフトレンズ１０３を駆動して画像振れ補正を行う。

上述のようにして、シフトレンズ１０３を用いてカメラの防振制御が行われることになるが、ここでは、防振制御に加えて、流し撮りと判定されると流し撮り撮影アシスト制御が行われる。

被写体動きベクトル算出部３０５はベクトル検出部１２０で得られた動きベクトルに応じて、図２で説明したようにして動く被写体を検出して、当該被写体の動きベクトルを算出する。被写体動きベクトルは角速度変換部３０６に送られ、角速度変換部３０６は被写体動きベクトルをカメラ振れ角速度に対応する単位（つまり、移動量）に変換する。

ここで、カメラ振れ角速度をω、焦点距離をｆ、被写体動きベクトルにおけるブレピクセルをＰ、フレームレート時間をＳ、そして、セルピッチ（画素１ピクセルあたりのサイズ）をＣとする。角速度変換部３０６は、次の式（１）によって、被写体動きベクトルをカメラ振れ角速度に対応する単位に変換する。

ω＝（Ｐ×Ｃ）÷（ｆ×Ｓ） （１）
オフセット減算部３０１の出力単位と角速度変換３０６の出力単位とは角速度で一致しており、加算器３０７はオフセット減算部３０１の出力と角速度変換部３０６の出力とを加算する。これによって、動く被写体の動き量（動き角速度量に変換した量）を求めることができる。

加算器３０７の出力は、ホールド部（Ｈｏｌｄ）３０９に送られる。ホールド部３０９には、レリーズＳＷ３０８の出力が入力されており、ホールド部３０９はレリーズＳＷの状態に応じてその出力を固定状態とする。

レリーズＳＷ３０８においてＳＷ２がオンの際には、ホールド部３０９はホールドオンとなって、直前の加算器３０７の出力に固定される。ホールド部３０９の出力は信号選択部３１０に入力される。信号選択部３１０にはレリーズＳＷ３０８の出力が入力されており、信号選択部３１０は、レリーズＳＷ３０８においてＳＷ２がオンの際には、ホールド部３０９の出力を選択する。一方、ＳＷ２がオフであると、信号選択部３１０は”０（ゼロ）”を選択する。

このように、ホールド部３０９と信号選択部３１０との組み合わせによって、信号選択部３１０は、ＳＷ２がオフであると”０”を出力する。一方、ＳＷ２がオンであると、信号選択部３１０はＳＷ２がオンとなる直前の加算器３０７の出力である被写体の動き量（ＳＷ２がオンとなる直前の動き量）を出力する。

図示のように、被写体動きベクトル算出部３０５の出力と角速度センサ１１９の出力が流し撮り判定部３１２に入力される。流し撮り判定部３１２は、前述のように、角速度センサ１１９の出力（振れ検出結果）が所定の閾値よりも大きいと、撮影者がパン二ングなどによってカメラ２０２を動かしていると判定する。そして、流し撮り判定部３１２は画像データにおいて周囲よりも動きベクトルが小さい領域があると、当該領域を被写体とする流し撮り撮影を行うと判定する。

一方、カメラに大きな動きがない場合又はカメラに大きな動きがあるものの動きベクトルに小さい領域が存在しないと、流し撮り判定部３１２は流し撮り撮影を行わないと判定する。流し撮り判定部３１２による流し撮り判定結果は信号選択部３１０に送られる。信号選択部３１０は、流し撮り判定結果が流し撮りを行わないことを示していると、”０”を選択する。流し撮り判定結果が流し撮りを行うことを示していると、信号選択部３１０はレリーズＳＷ３０８の状態に応じて選択した信号（値）を出力する。

図示のように、信号選択部３１０の出力は減算器３１１に入力される。減算器３１１はオフセット減算部３０１の出力から信号選択部３１０の出力（選択出力）を減算して、主被写体を追尾するための制御量を得る。

通常の防振制御（つまり、ＳＷ２がオンとなる前の状態又は流し撮りを行わない場合の防振制御）の際においては、信号選択部３１０の出力は”０”となる。一方、流し撮りアシスト防振制御（流し撮りを行い、かつＳＷ２がオンされた後の露光期間中の防振制御）の際には、露光期間中の被写体の動きが極力小さくなるように防振制御が行われる。

なお、流し撮りアシスト防振制御の際には、振れ補正角度算出部３０２は、前述のパン二ングの際の角速度減算を行わず、ＳＷ２がオンした後の露光期間中においては、パン二ング成分を含んだ振れ補正角度を算出する。

上述のようにして、シフトレンズ１０３を用いて流し撮りアシスト制御が行われるものの、流し撮り撮影の際の露光時間は比較的遅いシャッター速度に設定する必要がある。ここで、被写体が十分明るい条件における撮影の場合、カメラの設定上流し撮り効果が得られる程度のシャッター速度に設定できないことがある。この場合には、シフトレンズ１０３を用いて流し撮りアシスト制御を行っても流し撮り効果を得られないことがある。

そこで、ここでは、シフトレンズ１０３を用いて流し撮りアシスト制御を行うことに加えて、画像合成による流し撮り撮影を行う。

撮影者がシャッターレリーズＳＷを半押しすると、制御部１１８は撮影準備動作（焦点調整動作および測光動作（測光結果を得るための動作）など）を開始する。そして、制御部１１８は測光動作によって得られた測光値（測光結果）に基づいてシャッターの閉じタイミング（露光時間、つまり、シャッタ速度）と絞りの絞り口径を設定する。

そして、制御部１１８は、当該露光時間を複数の短い露光時間に分割して、分割した露光時間の数だけ露光を繰り返し行う。このようにして、露光時間を複数の短い露光時間に分割して撮影を行うと、複数の短い露光毎に得られる画像データは露出不足になるものの、手振れの影響が少ない。

続いて、複数の短い露光毎に得られた画像データを画像合成処理部１２１で合成して、１枚の合成画像データとして露出を改善する。この際、画像合成処理部１２１は、画像における主被写体を選択して、当該主被写体の画像における位置が複数の画像データにおいて一致するように合成して画像合成による流し撮り撮影効果を付与する。

図４は、図１に示す画像合成処理部１２１による合成処理を説明するための図である。そして、図４（ａ）は一枚目の画像データにおける座標変換を示す図であり、図４（ｂ）は二枚目の画像データにおける座標変換を示す図である。また、図４（ｃ）は図４（ａ）に示す画像データと図４（ｂ）に示す画像データとを合成した合成画像データを示す図である。

図４（ａ）に示すように、フレーム４０１ａにおいて移動被写体である車４０２ａが図中右側から左側に走行している。そして、撮影者は、車４０２ａをその進む方向と同一の方向でかつ同一のスピードになるように心がけてカメラを振って撮影しているものとする。

この際、カメラをパンニングするスピードが車４０２ａのスピードと一致しない場合又は手振れによってカメラが車４０２ａの走行方向（移動方向）とは異なる方向に振れることがある。このような状態で、複数枚の撮影を行うと、図４（ｂ）に示すフレーム４０１ｂのように、フレーム４０１ａに対して構図がずれた画像が撮影されることがある。

そこで、画像合成処理部１２１は、車４０２ａを検知した後、その被写体エリア枠４０３に位置する車４０２ａ（つまり、被写体画像）のうち輝度が高い点である窓のエッジ４０４ａをエッジ検出によって特徴点として抽出する。そして、画像合成処理部１２１は当該特徴点のエッジ４０４ａを、フレーム４０１ｂで検出された特徴点のエッジ４０４ｂと比較して、その差分を補正（座標変換）する。

図４（ｂ）においては、画像合成処理部１２１はフレーム４０１ａのエッジ４０４ａをフレーム４０１ｂのエッジ４０４ｂと重ねるようにして、フレーム４０１ｂを座標変換する。その後、画像合成処理部１２１は、座標変換されたフレーム（つまり、画像データ）を合成して、図４（ｃ）に示す１枚の画像データを得る。つまり、画像合成処理部１２１は、複数の画像を被写体の移動に応じて位置合わせを行って１枚の画像データを得ることになる。

なお、ここでは、１枚目のフレーム４０１ａと２枚目のフレーム４０１ｂにおいて特徴点の変化を求める例について説明したが、３枚目のフレームについても同様にして特徴点の変化を求める。また、ここでは、窓などの１箇所について特徴点を求めるようにしたが、複数のポイントを選択して、これらポイントの動きベクトルの平均値又はスカラーの最小値を特徴点の変化とするようにしてもよい。

図４（ｃ）に示す合成画像データにおいて、主被写体である車４０２ｃは座標変換によって一致する。一方、カメラがパンニングされるとともに、前述したように、手振れの影響が少ない程度のシャッター速度で撮影されている。このため。家屋４０５ａおよび４０５ｂなどの背景にある主被写体以外の被写体（ここでは、背景領域）は一致せず、図４（ｃ）においては、ずれた状態となる。そこで、ずれた状態の被写体、ここでは、家屋４０５ａおよび４０５ｂ（つまり、背景画像）を流れているように合成する。

図４（ｃ）において、画像合成処理部１２１はフレーム４０１ａにおける被写体選択枠４０３の枠外の特徴点を抽出する。例えば、画像合成処理部１２１は、被写体選択枠４０３の枠外の被写体のうち輝度、色相、彩度、および明度が総合的に高い点である家屋４０５ａのエッジ４０６ａ、４０７ａ、および４０８ａをエッジ検出によって特徴点として抽出して記憶する。

続いて、画像合成処理部１２１は、エッジ検出によって得られた輝度、色相、彩度、および明度のレベルに応じて背景領域の被写体である家屋４０５ａ（背景画像）を抽出する。そして、画像合成処理部１２１は先に記憶した特徴点と同一の特徴を有する点をフレーム４０１ｂからエッジ検出により抽出して、特徴点４０６ｂ、４０７ｂ、および４０７ｂを得る。

次に、画像合成処理部１２１は特徴点同士を直線で結んで家屋４０５ａがいずれの方向（移動方向）にどれだけ移動しているかを予測する。特徴点（つまり、エッジ）４０６ａと特徴点４０６ｂとを結ぶ軌跡は矢印４０９で示され、特徴点４０８ａと特徴点４０８ｂとを結ぶ軌跡は矢印４１１で示される。また、特徴点４０７ａと特徴点４０７ｂとを結ぶ軌跡は矢印４１０で示される。

続いて、画像合成処理部１２１はこれら軌跡に沿って同一の輝度、色相、彩度、および明度によって画像を補間して背景が流れている状態を描画する（つまり、補正背景画像を生成する）。この際、主被写体である車４０２ｃについては補間を行わず、主被写体が背景よってつぶされてしまわないようにする。

なお、主被写体である車４０２ｃは、エッジ検出によって同一のエッジであると判定されるエッジが複数存在しない被写体である。つまり、車４０２ｃについては、合成画像データにおいて、既に一致していることになる。

画像合成部処理部１２１によって生成された合成画像データは制御部１１８に送られる。制御部１１８は、合成画像データに応じた画像を表示部１１２に表示するとともに、合成画像データを記憶部１１７に送る。記録部１１７は、合成画像データを圧縮してメモリカードなどの記録媒体に記録する。

ところで、被写体が明るい撮影シーンにおいては、画像合成による流し撮り撮影効果を効果的に得ることができる。一方、被写体が暗い撮影シーンにおいて、画像合成による流し撮り撮影効果を得るためには、一枚毎の画像にブレがないように適切なシャッター速度に設定する必要がある。このため、ＩＳＯ感度を非常に高く設定しなければならない。

さらに、前述のように、画像合成によってノイズが増幅されるので、合成後の画像においてはノイズが大きくなってしまうことがある。そして、合成する画像の枚数が多い程、ノイズが大きくなってしまう。

このため、ここでは、前述のように、撮影者が流し撮り撮影を行うと判定すると、制御部１１８はシャッター速度に応じて流し撮りアシスト制御および画像合成による流し撮り撮影のいずれを行うかを選択する。これによって、撮影シーンに拘わらず流し撮り効果を効果的に得ることができる。

シャッター速度に応じて流し撮り撮影を選択する際には、まず、制御部１１８は、角速度センサ１１９の検出結果（出力）に応じて像面予測速度を求める。この像面予測速度は、ＳＷ２が押下される所定の時間前からＳＷ２が押下された直後までの時間における角速度センサ１１９からの出力の平均値ωと焦点距離ｆとによって求められる。

次に、制御部１１８は、像面予測速度に応じて流し撮り撮影を効果的に行うための露光時間閾値を求める。そして、制御部１１８は露光時間閾値と撮影露光時間とを比較して、その比較結果に応じて流し撮り撮影を選択する。

図５Ａおよび図５Ｂは、図１に示すカメラで行われる画像処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部１１８の制御下で行われる。

カメラの電源がオンされると、制御部１１８は図示の画像処理を開始する。カメラの電源がオンとなると、撮像部１０９は結像した光学像に応じたアナログ信号を出力する。そして、前述したように、映像信号処理部１１１からアナログ信号に応じた画像データが出力される。制御部１１８は画像データにおいてそのコントラストを検出して、その検出結果に応じて、フォーカス駆動制御部１０８によってフォーカスユニット１０７を光軸に沿って移動させる。

制御部１１８は、最もコントラストが高い位置でフォーカスユニット１０７の駆動を停止させて撮影光学系を合焦状態とする（ステップＳ５０２：カメラ画像取り込み）。この際、制御部１１８は画像データにおいて被写体の明るさを求める。なお、所謂位相差検出によって焦点調節を行うようにしてもよい。

続いて、制御部１１８は、流し撮り判定部３１２によって、角速度センサ１１９の出力と画像データにおける被写体動きとに応じて流し撮り撮影（流し撮り）の判定処理を行う（ステップＳ５０３）。なお、ステップＳ５０３の処理においては、制御部１１８は、移動被写体を検出して被写体選択枠を設定するとともに、カメラの振りを検出する。

ここでは、前述のように、角速度センサ１１９の出力が所定の閾値よりも大きいと、流し撮り判定部３１２は撮影者がパン二ングなどによってカメラ２０２を動かしていると判定する。そして、流し撮り判定部３１２は、被写体動きベクトル算出部３０５で求められた動きベクトルに応じて周囲よりも動きベクトルが小さい領域があると、当該領域を被写体とする流し撮り撮影を行うと判定する。

ここでは、前述のように、カメラに大きな動きがない場合又はカメラに大きな動きがあるものの動きベクトルが小さい領域がない場合には、流し撮り判定部３１２は流し撮り撮影を行わないと判定する。

流し撮り判定部３１２は、流し撮り判定処理の結果に応じて流し撮りを行うか否かを判定する（ステップＳ５０４）。流し撮りを行わないと判定すると（ステップＳ５０４において、ＮＯ）、制御部１１８は、操作部１１６においてレリーズＳＷ３０８のＳＷ２がオンとなったか否かを判定する（ステップＳ５０６）。

ＳＷ２がオフであると（ステップＳ５０６において、ＮＯ）、制御部１１８は、前述のように、角速度センサ１１９の出力に応じて防振制御（通常防振制御）を行う（ステップＳ５０８）。つまり、ここでは、制御部１１８は、図３に示す信号選択部３１０によって”０”を選択することになる。そして、制御部１１８は、ステップＳ５０２の処理に戻る。

ＳＷ２がオンであると（ステップＳ５０６において、ＹＥＳ）、制御部１１８は、角速度セ１１９の出力に応じて通常防振制御を行う（ステップＳ５０７）。そして、制御部１１８は撮影が完了したか否かを判定する（ステップＳ５１４）。撮影が完了しないと（ステップＳ５１４において、ＮＯ）、制御部１１８は待機する。

撮影が完了すると（ステップＳ５１４において、ＹＥＳ）、制御部１１８は、表示制御部１１３によって撮影の結果得られた画像データに応じた画像を表示部１１２に表示する（ステップＳ５２７）。続いて、制御部１１８は、当該画像データを記憶部１１７によってメモリカードなどの記録媒体に記録する（ステップＳ５２８）。そして、制御部１１８は画像処理を終了する。

流し撮りを行うと判定すると（ステップＳ５０４において、ＹＥＳ）、制御部１１８は、操作部１１６においてレリーズＳＷ３０８のＳＷ２がオンとなったか否かを判定する（ステップＳ５０９）。ＳＷ２がオフであると（ステップＳ５０９において、ＮＯ）、制御部１１８はステップＳ５０８の処理に進んで、角速度センサ１１９の出力に基づいて通常防振制御を行う。

ＳＷ２がオンであると（ステップＳ５０９において、ＹＥＳ）、制御部１１８は角速度センサ１１９の出力に応じて像面予測速度（像流れ予測値ともいう）Ｇを求める（ステップＳ５１０）。ここで、像面予測速度Ｇ［ｍｍ／ｓｅｃ］は、次の式（２）によって求められる。

Ｇ＝ｆ×ω （２）
前述のように、ωは、ＳＷ２が押下される所定の時間前からＳＷ２が押下された直後までの時間における角速度センサからの出力の平均値であり、ｆは焦点距離である。

続いて、制御部１１８は、像面予測速度Ｇ［ｍ／ｓｅｃ］に基づいて露光時間閾値Ａ［ｓｅｃ］を求める（ステップＳ５１１）。いま、セルピッチ（画素１ピクセル当たりのサイズ）をＣ［ｍｍ］とすると、像面予測速度をカメラの振れ角度に相当する単位（つまり、露光時間閾値）に変換する際には、次の式（３）が用いられる。

Ａ＝Ｘ×Ｃ÷Ｇ （３）
式（３）において、Ｘは流し撮り撮影効果をより効果的とするためのブレマージンである。露光時間閾値Ａはブレが生じるであろう露光時間のＸ倍の時間であって、背景が流れる量が十分大きくなるように露光時間が設定されることになる。

続いて、制御部１１８は画像データにおける被写体の明るさなどの撮影条件に応じて撮影する露光時間（露光秒時）を求めて、当該露光秒時と露光時間閾値Ａ（秒）とを比較する。そして、制御部１１８は露光秒時＞露光時間閾値Ａであるか否かを判定する（ステップＳ５１２）。

ここで、撮影条件とは、例えば、被写体の明るさ、撮影光学系の焦点距離、撮影光学系の明るさ（絞りの値）、および撮像素子の感度をいう。

露光秒時＞露光時間閾値Ａであると（ステップＳ５１２において、ＹＥＳ）、つまり、シャッター速度がシャッター速度閾値以下であると、制御部１１８は、シフトレンズ駆動による流し撮りアシスト制御を行う（ステップＳ５１３）。つまり、ここでは、制御部１１８は、図３に示す信号選択部３１０によってホールド部３０９の出力を選択することになる。そして、制御部１１８はステップＳ５１４の処理に進む。

露光秒時≦露光時間閾値Ａであると（ステップＳ５１２において、ＮＯ）、つまり、シッター速度がシャッター速度閾値を超えると、制御部１１８は、画像合成を行うため、被写体の明るさなどの撮影条件に応じて撮影する枚数と撮影毎の露光時間を求める（ステップＳ５１５）。ここで、式（３）に示す露光時間閾値Ａは、手振れが生じない露光時間となっているので、制御部１１８は、画像合成を行う際の露光時間を露光時間閾値Ａに設定する。

いま、ステップＳ５１２において、露光秒時が１／５０秒で、露光時間閾値Ａが１／１００秒であると、露光時間１／５０秒とする撮影においては手振れにより像振れが発生する恐れがある。このため、制御部１１８は、手振れが生じないように露光時間を１／１００秒に設定して、２回の撮影を行うようにする。

このようにして、制御部１１８は、複数枚の撮影を行う際の露光時間を撮影条件に応じて決定するとともに、撮影する回数（撮影枚数）についても撮影条件に応じて設定する。

続いて、制御部１１８は、角速度センサ１１９の出力に応じて通常防振制御を行う（ステップＳ５１６）。但し、ステップＳ５１６の処理においては、制御部１１８はカメラを流している方向に係るブレ補正を行わない。

次に、制御部１１８は撮影の結果得られた画像データを記憶部１１７によって、一旦記録媒体に記憶する（ステップＳ５１７：画像保存）。そして、制御部１１８は撮影が完了したか否かを判定する（ステップＳ５１８）。撮影が完了しないと（ステップＳ５１８において、ＮＯ）、制御部１１８はステップＳ５１７の処理に戻って、画像の保存を行う。

撮影が完了すると（ステップＳ５１８において、ＹＥＳ）、画像合成処理部１２１は、ズレ検出部１２２によって、ステップ５０３の処理で設定された被写体選択枠（例えば、図４に示す被写体選択枠４０３）で規定された領域（例えば、図４に示す車４０２ａ）特徴的な像（特徴点）を抽出してその座標を求める（ステップＳ５１９）。

続いて、画像合成処理部１２１は座標変換部１２３によって、画像保存された複数の画像について座標変換を行う（ステップＳ５２０）。ここでは、最初の１枚の画像（第１の画像）については座標変換が行われない。つまり、第１の画像は座標変換の際の基準画像とされる。そして、画像合成処理部１２１は全ての画像について座標変換が完了したか否かを判定する（ステップＳ５２１：全画像処理完了）。

全ての画像について座標変換が終了しないと（ステップＳ５２１において、ＮＯ）、画像合成処理部１２１はステップＳ５１９の処理に戻って、次の画像について特徴点を抽出してその座標を求める。全ての画像について座標変換が終了すると（ステップＳ５２１において、ＹＥＳ）、画像合成処理部１２１は、ズレ検出部１２２によって第１の画像（例えば、図４に示すフレーム４０１ａ）の設定されている被写体選択枠の外の領域（例えば、図４に示す家屋４０５ａ）から特徴的な像（特徴点）を抽出してその座標を求める。

この際、画像合成処理部１２１は、当該特徴点の輝度、色相、彩度、および明度を記憶して、同一の輝度、色相、彩度、および明度を有する特徴点をグループ化することによって家屋４０５ａを抽出する。そして、画像合成処理部１２１は、ズレ検出部１２２によって、第１の画像における特徴点と同一の特徴点を第２の画像（例えば、図４に示すフレーム４０１ｂ）から抽出して、家屋４０５ａと家屋４０５ｂとに応じて移動軌跡を求める（ステップＳ５２２）。

続いて、画像合成処理部１２１は、画像合成部１２４によって、前述の軌跡を辿って、特徴点の輝度、色相、彩度、および明度に基づいて画像の補間を行って、図４に示す家屋４０５ａが家屋４０５ｂまで流れる画像を生成する（ステップＳ５２３）。そして、画像合成処理部１２１は画像合成部１２４において複数の画像（ここでは、第１の画像および第２の画像）の全てについて補間処理が完了したか否かを判定する（ステップＳ５２４：全画像処理完了）。

複数の画像の全てについて補間処理が完了していないと（ステップＳ５２４において、ＮＯ）、画像合成処理部１２１はステップＳ５２２の処理に戻る。一方、複数の画像の全てについて補間処理が完了すると（ステップＳ５２４において、ＹＥＳ）、画像合成処理部１２１は、画像合成部１２４によって、第１の画像と座標変換された他の画像（ここでは、第２の画像）との合成処理を行って、合成画像データを生成する（ステップＳ５２５）。

ここでは、画像合成の際、画像の各々について対応する座標（つまり、座標値）を加算平均して画像合成を行う。これによって、ランダムノイズが加算平均されるので、画像合成データにおいてはランダムノイズを減少させることができる。そして、画像合成部１２４はランダムノイズを減少させた合成画像データをゲインアップして露出の適正化を図る。

続いて、画像合成処理部１２１は、画像合成部１２４によって合成画像データにおいて合成前の画像の各々について構図ブレにより重ならなかった領域（例えば、図４に斜線で示す領域４１２）をカットして、元のフレームの大きさになるように合成画像データを拡散補間する（ステップＳ５２６）。

その後、制御部１１８は、ステップＳ５２７の処理に進んで、表示制御部１１３によって合成処理部１２１で生成された合成画像データに応じた画像を表示部１１２に表示する。続いて、制御部１１８は、ステップＳ５２８の処理に進んで、当該合成画像データを記憶部１１７によってメモリカードなどの記録媒体に記録する。そして、制御部１１８は画像処理を終了する。

このように、本発明の実施の形態では、流し撮りの判定結果とシャッター速度とに応じて、シフトレンズ駆動による流し撮り撮影アシスト制御を行うか又は画像合成を行うかを選択する。これによって、被写体の明るさに拘わらず、主被写体以外の背景などを流して記録することができる。つまり、被写体の明るさに応じた露出値に拘わらず、良好に流し撮り撮影効果を得ることができる。

上述の説明から明らかなように、図１に示す例においては、ズームユニット１０１、シフトレンズ１０３、絞り・シャッターユニット１０５、およびフォーカスユニット１０７が撮影レンズを構成する。また、制御部１１８および角速度センサ１１９は、第１の検出結果を得る第１の検出手段として機能し、ベクトル検出部１２０および制御部１１８は第２の検出結果を得る第２の検出手段として機能する。

さらに、制御部１１８、シフトレンズ駆動制御部１０４、およびシフトレンズ１０３は駆動制御手段として機能し、制御部１１８は制御手段、閾値演算手段、および判定手段として機能する。また、画像合成処理部１２１は合成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも駆動制御ステップ、合成ステップ、および制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０３ シストレンズ
１０４ シフトレンズ駆動制御部
１０９ 撮像部
１１０ 撮像信号処理部
１１１ 映像信号処理部
１１６ 操作部
１１８ 制御部
１１９ 角速度センサ
１２０ ベクトル検出部
１２１ 画像合成処理部

Claims (14)

1. 撮影レンズを介して結像された光学像に応じた画像データを得る撮像手段と、
   前記撮影レンズ又は前記撮像手段の光軸に対する偏心を制御する駆動制御手段と、
   前記撮像手段から得られる複数の画像データを合成する合成手段と、
   前記駆動制御手段により前記撮影レンズ又は前記撮像手段を駆動制御することで被写体を追尾して前記撮像手段による撮像を行う第１のモードと、前記撮像手段により複数の画像を撮像し、前記合成手段により当該複数の画像を被写体の移動に応じて位置合わせして合成する第２のモードとのいずれかを前記撮像手段のシャッター速度に応じて選択的に制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記シャッター速度が第１の速度である場合には前記第１のモードを選択し、前記シャッター速度が前記第１の速度より大きい第２の速度である場合には前記第２のモードを選択して制御することを特徴とする請求項１に記載の撮像装置。
3. 前記シャッター速度は、測光結果に基づいて決定されることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記合成手段は、被写体と当該被写体を除く背景領域とを抽出してそれぞれ被写体画像および背景画像を生成し、前記被写体の移動方向に応じて前記背景画像に所定の処理を施して補正背景画像とし、前記補正背景画像と前記被写体画像とを合成することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記合成手段は、前記所定の処理として前記背景画像にぼかし処理を施して前記補正背景画像を生成することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像装置の振れ量を検出して第１の検出結果を得る第１の検出手段と、
   前記第１の検出結果および前記撮影レンズにおける焦点距離に応じて、シャッター速度閾値を求める閾値演算手段を備え、
   前記制御手段は、前記シャッター速度が前記シャッター速度閾値以下である第１の速度であると前記第１のモードを選択し、前記シャッター速度が前記シャッター速度閾値を超える第２の速度であると前記第２のモードを選択することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記画像データにおいて被写体を検出し、当該被写体の移動量を検出して第２の検出結果を得る第２の検出手段と、
   前記第１の検出結果および前記第２の検出結果に応じて、所定の方向に移動する前記被写体の動きに前記撮像装置を追従させて撮影を行う流し撮り状態であるか否かを判定する判定手段を備え、
   前記制御手段は、前記判定手段によって流し撮り状態であると判定されると、前記第１のモードおよび前記第２のモードを選択的に制御することを特徴とする請求項６に記載の撮像装置。
8. 前記判定手段は、前記第１の検出結果が示す振れ量が所定の振れ閾値よりも大きく、前記第２の検出結果が示す前記被写体の移動量が所定の移動閾値よりも小さく前記被写体を除く背景が移動している際に前記流し撮り状態であると判定することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記第１の検出結果および前記第２の検出結果に応じて前記被写体の動き量を求めて、前記判定手段による判定結果に応じて、ゼロ又は前記動き量のいずれかを選択出力として選択し、前記選択出力および前記第１の検出結果に応じて前記駆動制御手段を駆動するための制御量を求めることを特徴とする請求項７に記載の撮像装置。
10. 前記制御手段は、前記第１の検出結果および前記第２の検出結果を加算して前記動き量を求め、前記第１の検出結果から前記選択出力を減算して前記制御量を得ることを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記判定結果が流し撮り状態を示していると、前記動き量を選択することを特徴とする請求項９又は１０に記載の撮像装置。
12. 前記制御手段は、レリーズスイッチがオンであるか否かに応じてゼロ又は前記動き量のいずれかを選択することを特徴とする請求項９〜１１のいずれか１項に記載の撮像装置。
13. 撮影レンズを介して結像された光学像に応じた画像データを得る撮像手段を備える撮像装置の制御方法であって、
    前記撮影レンズ又は前記撮像手段の光軸に対する偏心を制御する駆動制御ステップと、
    前記撮像手段から得られる複数の画像データを合成する合成ステップと、
    前記駆動制御ステップで前記撮影レンズ又は前記撮像手段を駆動制御することで被写体を追尾して前記撮像手段による撮像を行う第１のモードと、前記撮像手段により複数の画像を撮像し、前記合成ステップで当該複数の画像を被写体の移動に応じて位置合わせして合成する第２のモードとのいずれかを前記撮像手段のシャッター速度に応じて選択的に制御する制御ステップと、
    を有することを特徴とする制御方法。
14. 撮影レンズを介して結像された光学像に応じた画像データを得る撮像手段を備える撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記撮影レンズ又は前記撮像手段の光軸に対する偏心を制御する駆動制御ステップと、
    前記撮像手段から得られる複数の画像データを合成する合成ステップと、
    前記駆動制御ステップで前記撮影レンズ又は前記撮像手段を駆動制御することで被写体を追尾して前記撮像手段による撮像を行う第１のモードと、前記撮像手段により複数の画像を撮像し、前記合成ステップで当該複数の画像を被写体の移動に応じて位置合わせして合成する第２のモードとのいずれかを前記撮像手段のシャッター速度に応じて選択的に制御する制御ステップと、
    を実行させることを特徴とする制御プログラム。

Images