JP2018056650A - 光学装置、撮像装置および制御方法 - Google Patents

Abstract

【課題】流し撮り撮影において撮影角度を算出することができる光学装置を提供する。【解決手段】撮像装置１００が備える制御部１０３が、被写体角速度の変化量である被写体角加速度を算出する。また、制御部１０３は、算出した被写体角加速度の変化量を算出する。そして、制御部１０３が、被写体角加速度の符号と、被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する。【選択図】図１

Description

本発明は、光学装置、撮像装置および制御方法に関する。

移動している被写体のスピード感を表現する撮影技術として、流し撮りがある。流し撮りは、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流すことを目的とする。流し撮りにおいては、撮影者が被写体の動きに合わせてカメラをパンニングする必要があるが、パンニング速度が速すぎたり遅すぎたりすることで、被写体の移動速度とパンニング速度の間に差ができて、被写体に係る像ブレ（被写体ブレ）が発生する場合がある。特許文献１は、露光前に算出した撮像装置に対する被写体の相対角速度と角速度センサから得た露光中の撮像装置の角速度とに基づき、露光中の光学系を移動させて、被写体ブレを補正する装置を開示している。

特開平４−１６３５３５号公報

流し撮りでは、被写体の動きに合わせてカメラをパンニングさせながら撮影を行うので、撮影者が、画角内の最適な位置に被写体を配置することや、最適な撮影タイミングで撮影を行うことは容易ではない。一般的には、連写機能を用いて大量の画像を撮影し、その中から最適な位置に被写体が配置された画像や、最適な撮影タイミングで撮影された画像を選択する。撮影タイミングを逃さないようにする方法として、近年では４Ｋ動画を撮影しておき、後で所望のフレームを抜き出して静止画として保存する手法が用いられることがある。

しかし、連写機能によって撮影された大量の画像の中から所望の一枚を探すのは、時間がかかる。したがって、流し撮り撮影では、撮影角度の異なる画像が大量に撮影されるので、撮影角度によってグループ化できると有用である。また、流し撮りされた動画では、角度によって、所望のフレームを選択できると有用である。本発明は、流し撮り撮影において撮影角度を算出することができる光学装置の提供を目的とする。

本発明の一実施形態の光学装置は、被写体角速度の変化量である被写体角加速度を算出する第１の算出手段と、前記被写体角加速度の変化量を算出する第２の算出手段と、前記被写体角加速度の符号と、前記被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する制御手段とを備える。

本発明の光学装置によれば、流し撮り撮影において撮影角度を算出することができる。

本実施形態の光学装置の構成例を示す図である。 デジタルカメラの撮影モードにおける動作処理の例を説明する図である。 撮影角度領域算出処理を説明する図である。 撮影角度領域の例を説明する図である。 角速度の変化量と、角加速度の変化量とを示す図である。 表示優先度算出処理を説明する図である。 動きベクトルの検出枠と測距領域と被写体領域を示す図である。 デジタルカメラの動画切り出しモードにおける動作を説明する図である。 切り出し角度の指定方法の例を説明する図である。 角度範囲算出処理を説明する図である。

（実施例１）
図１は、本実施形態の光学装置の構成例を示す図である。
以下、本発明の例示的な実施形態のいくつかを、添付図面に基づいて詳細に説明する。なお、以下では、光学装置として撮像装置の一つであるデジタルカメラを例にとって説明するが、本発明において、撮像や撮像画像の記録に関する機能は必須ではない。

デジタルカメラ１００は、撮像光学系１０１乃至操作部１１０を備える。撮像光学系１０１は、レンズ、シャッター、絞りを有し、被写体からの光を撮像素子１０２に結像させる。撮像光学系１０１には、焦点調節するためのフォーカスレンズが含まれる。また、撮像光学系１０１に手振れ補正用のシフトレンズが含まれていてもよい。撮像光学系１０１が有する可動部材（シャッター、絞り、フォーカスレンズ、シフトレンズ）の駆動は、制御部１０３によって制御される。

撮像素子１０２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサであってよく、２次元配置された複数の画素を有する。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。画素は光電変換機能を有し、撮像光学系１０１が撮像面に結像した被写体像を画素ごとに電気信号に変換する。振れセンサ１０５は、デジタルカメラ１００の動きに応じた信号を発生し、制御部１０３に出力する。振れセンサ１０５は例えばジャイロセンサのような角速度センサであってよく、動きの方向成分（例えばｘ，ｙ，ｚ軸成分）ごとに信号を発生する。なお、振れセンサ１０５は撮像光学系１０１に設けてもよい。

制御部１０３は、例えばＣＰＵやＭＰＵのようなプログラマブルプロセッサを１つ以上有する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＭＰＵは、Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。制御部１０３は、例えば二次記憶装置１０８に記憶されたプログラムを一次記憶装置１０４に読み込んで実行することにより、デジタルカメラ１００の各機能ブロックの動作を制御し、デジタルカメラ１００の各種機能を実現させる。例えば、制御部１０３は、画像処理部１０６で検出された動きベクトルを用いて被写体領域と背景領域とを区別する処理や、被写体領域の特定位置の撮像素子１０２上の移動量を表す動きベクトルを生成する処理を実行する。

一次記憶装置１０４は、例えばＲＡＭのような揮発性装置であり、データの一時的な記憶や、制御部１０３の動作に使われる。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。また、一次記憶装置１０４に記憶されている情報は、画像処理部１０６で利用されたり、記録媒体１０７に記録されたりもする。二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、制御部１０３が実行するプログラム、ファームウェア、各種の設定情報、ＧＵＩデータなどを記憶する。ＥＥＰＲＯＭは、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｚａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｒｙの略称である。

記録媒体１０７は、不揮発性で、一次記憶装置１０４に記憶されている画像データなどの記録先として用いられる。記録媒体１０７の読み書きは、制御部１０３が制御する。記録媒体１０７が、例えば半導体メモリカードのようにデジタルカメラ１００から取り外し可能である場合、デジタルカメラ１００は、記録媒体１０７の着脱機構を有する。

表示部１０９は、ライブビュー表示、一次記憶装置１０４に記憶されている画像（記録媒体１０７への記録前の画像または記録媒体１０７から読み出された画像）の表示、対話的な操作のためのＧＵＩ画像などの表示に用いられる。表示部１０９は、タッチディスプレイであってもよい。

操作部１１０は、ユーザがデジタルカメラ１００に各種の入力を行うための入力デバイス群である。操作部１１０には、例えばスイッチ、ボタン、レバー、タッチパネル等の物理的な操作を必要とする入力デバイスだけでなく、音声入力や視線入力を受け付ける入力デバイスが含まれてもよい。デジタルカメラ１００は、操作部１１０に含まれるレリーズボタンのハーフストロークでＯＮになるスイッチ（ＳＷ１）と、フルストロークでＯＮになるスイッチ（ＳＷ２）を有している。

ＳＷ１のＯＮは、撮影準備動作の開始指示である。撮影準備動作には、ＡＦ（オートフォーカス）処理およびＡＥ（自動露出）処理が含まれる。ＡＥ処理やＡＦ処理は、例えばライブビュー表示用の画像から得られる情報に基づいて、制御部１０３が実行することができる。また、ＳＷ２のＯＮは、記録用画像の撮影動作の開始指示である。記録用画像は表示用画像と解像度が異なる以外は同様に生成され、一次記憶装置１０４に格納される。制御部１０３は、必要に応じて画像処理部１０６で符号化処理を行った後、記録形式に応じたデータファイルに格納し、記録媒体１０７に記録する。

画像処理部１０６は、撮像素子１０２が出力する電気信号に対してＡ／Ｄ変換や相関２重サンプリングなどの前処理や、前処理が適用された信号に対してホワイトバランス調整やデモザイク処理などの、いわゆる現像処理などを適用する。また、ＲＧＢ−ＹＣｂＣｒ変換などの信号形式の変換、記録形式に応じた符号化および復号、画像の縮小および拡大、画像の合成、色調の調整、ＡＦ評価値の生成、特定被写体の検出および認識処理など、様々な画像処理を実行することができる。代表的な特定被写体は人物の顔であり、特定被写体の認識処理は表情や個人の認識であるが、これらに限定されない。本実施形態では、画像処理部１０６が、複数の画像間における動きベクトルの検出を実行する。

なお、デジタルカメラ１００には、画像処理部１０６が画像に適用可能な画像処理の組み合わせがパターンとしてあらかじめ登録されており、使用するパターンを操作部１１０から設定できる。画像処理部１０６の機能の少なくとも一部は、ＦＰＧＡやＡＳＩＣのようなハードウェアで実現されてもよいし、例えば画像処理部１０６（あるいは制御部１０３）が有するプロセッサがプログラムを実行することによって実現されてもよい。

図２は、デジタルカメラの撮影モードにおける動作処理の例を説明するフローチャートである。
図２（Ａ）は、実施例１における動作処理を示す。この動作処理は、例えば、デジタルカメラ１００の起動後、または再生モードから撮影モードに切り替えられた場合に開始する。撮影モードにおいては、制御部１０３は、ライブビュー表示を行うための動画撮影を継続的に実行する。制御部１０３は、ライブビュー表示用の動画撮影に関する露出制御（撮像素子１０２の蓄積時間制御）および撮像光学系１０１の焦点調整を、例えば撮影で得られたフレーム画像から得られる輝度情報や評価値に基づいて実行する。

Ｓ２００において、制御部１０３が、撮像素子１０２からフレーム画像を読み出し、一次記憶装置１０４へ保存する。画像処理部１０６は一次記憶装置１０４からフレーム画像を読み出し、表示用画像（ライブビュー画像）を生成する。制御部１０３は、ライブビュー画像を表示部１０９で表示させる。また、画像処理部１０６は、フレーム画像もしくはライブビュー画像からＡＥ用の輝度情報とＡＦ用の評価値を生成し、制御部１０３に出力する。制御部１０３は、輝度情報に基づいて、次フレームの蓄積時間（必要に応じてさらに撮影感度）を決定する。また、制御部１０３は、評価値に基づいて次フレームのフォーカスレンズ位置を決定し、必要に応じて撮像光学系１０１を制御してフォーカスレンズを駆動する。

次に、Ｓ２０１において、制御部１０３が、被写体の角速度（被写体角速度）を算出し、一次記憶装置１０４へ保存する。被写体角速度の算出の詳細については、特許文献１に記述されている方法を用いても良いし、振れセンサ１０５から入力される信号で表される角速度を用いても良い。

次に、Ｓ２０２において、制御部１０３が、操作部１１０からの入力に基づいて、静止画の撮影開始指示がされているかを判定する。制御部１０３は、例えば、画像処理部１０６において、撮影開始指示と見なせる結果が得られたか否かについても判定することできる。制御部１０３は、例えば、画像処理部１０６において、人物の予め定められた特定の表情（例えば笑顔やウインクなど）が検出された場合に、撮影開始指示がされたと判定してもよい。

撮影開始指示が入力されていると判定されない場合、処理がＳ２０１に戻り、被写体の角速度の算出が繰り返される。撮影開始指示が入力されていると判定された場合、処理が、Ｓ２０３に進む。Ｓ２０３において、制御部１０３が、記録用の撮影（露光）を行う。制御部１０３は、撮像光学系１０１に含まれるシャッターを用いて撮像素子１０２の露光時間を制御するとともに、絞りの開口の大きさを制御する。なお、絞りは、シャッターと兼用であってもよい。制御部１０３は、露出条件およびフォーカスレンズ位置を、例えば直近に撮影されたフレーム画像から画像処理部１０６が生成した輝度情報および評価値に基づいて決定することができる。

Ｓ２０４において、制御部１０３が、振れセンサ１０５から入力される信号（振れ検出信号）で表される角速度と、Ｓ２０１で算出した被写体の角速度との差分に基づいて、シフトレンズを駆動することで、被写体ブレを抑制する。被写体ブレの補正は、上述の差分に基づいて、シフトレンズまたは撮像素子を撮像光学系１０１の光軸に直交する方向に駆動したり、撮像素子１０２からの読み出し範囲を変更したりすることで実現できる。なお、振れセンサ１０５が撮像光学系１０１に設けられている場合、制御部１０３は、Ｓ２０１で算出した被写体の角速度の情報を撮像光学系１０１に与え、撮像光学系１０１が備える制御部が被写体ブレの補正を実行してもよい。また、被写体ブレの補正を必ずしも実施しなくても良い。

次に、Ｓ２０５において、制御部１０３が、露光が終了したかを判断する。露光が終了していない場合は、処理がＳ２０４に戻る。露光が終了した場合は、処理がＳ２０６に進む。Ｓ２０６において、制御部１０３が、撮影角度領域の算出処理を実行する。本実施例では、撮影角度領域は、流し撮り時に被写体が撮影された角度領域である。制御部１０３は、撮像素子１０２から読み出した画像信号を一次記憶装置１０４に保存する。そして、画像処理部１０６が、この画像信号に対して現像処理などを適用して記録用の画像データファイルを生成し、一次記憶装置１０４に保存する。そして、制御部１０３は、一次記憶装置１０４に保存された画像データファイルを、撮影角度領域と共に記録媒体１０７に記録し、処理をＳ２００に戻す。

図３は、図２（Ａ）のＳ２０６における撮影角度領域算出処理を説明するフローチャートである。
Ｓ１００において、制御部１０３が、第１の算出手段として機能し、異なる時刻に図２のＳ２０１で得られた２つの被写体角速度を一次記憶装置１０４から読み出す。制御部１０３は、被写体角速度の変化量として、角速度の差分を計算する。制御部１０３は、計算した差分を角加速度（被写体角加速度）として一次記憶装置１０４に保存する。続いて、Ｓ１０１において、制御部１０３が、第２の算出手段として機能し、異なる時刻にＳ１００で得られた２つの角加速度を一次記憶装置１０４から読み出す。制御部１０３は、角加速度の変化量として、角加速度の変化量を計算する。制御部１０３は、計算した角加速度の変化量を一次記憶装置１０４に保存する。

次に、Ｓ１０２において、制御部１０３が、Ｓ１０１で得られた被写体角速度の変化量を一次記憶装置１０４から読み出し、変化量の符号が正であるかを判定する。被写体角速度の変化量が正である場合は、処理がＳ１０３に進む。被写体角速度の変化量が負である場合は、処理がＳ１０６に進む。

Ｓ１０３において、制御部１０３が、Ｓ１０１で得られた被写体角加速度の変化量を一次記憶装置１０４から読み出し、変化量の符号が正であるかを判定する。被写体角加速度の変化量が正である場合は、処理がＳ１０４に進む。被写体角加速度の変化量が正でない場合は、処理がＳ１０５に進む。Ｓ１０４において、制御部１０３が、撮影角度領域を領域１に設定し、一次記憶装置１０４に保存した後、撮影角度領域算出処理を終了させる。なお、撮影角度領域についての詳細は後述する。また、Ｓ１０５において、制御部１０３は、撮影角度領域を領域２に設定し、一次記憶装置１０４に保存した後、撮影角度領域算出処理を終了させる。

Ｓ１０６において、制御部１０３は、Ｓ１０１で得られた被写体角加速度の変化量を一次記憶装置１０４から読み出し、変化量の符号が負であるかを判定する。被写体角加速度の変化量が負である場合は、処理がＳ１０７に進む。被写体角加速度の変化量が負でない場合は、処理がＳ１０８に進む。Ｓ１０７において、制御部１０３が、撮影角度領域を領域３に設定し、一次記憶装置１０４に保存した後、撮影角度領域の算出処理を終了させる。Ｓ１０８において、制御部１０３が、撮影角度領域を領域４に設定し、一次記憶装置１０４に保存した後、撮影角度領域の算出処理を終了させる。

図４は、撮影角度領域の例を説明する図である。
図４では、被写体の動きと撮影角度の関係を、二次元平面上に模式的に示している。速度ｖ［ｍ／ｓ］で等速直線運動する被写体を黒い星印で示す。撮影者の位置を原点とし、被写体の軌跡と平行な方向をＸ軸、垂直な方向をＹ軸とする。被写体の軌跡までの距離をＬ［ｍ］、Ｙ軸と被写体とのなす角を撮影角度θ［ｄｅｇ］とすると、θはｖとＬと時刻ｔ［ｓ］を用いて、次の式（１）のように表すことができる。

式（１）を時間で微分すると、角速度を得ることができる。角速度をω［ｄｅｇ／ｓ］とすると、次の式（２）で表すことができる。

撮影角度が０度のときの角速度をω_０とする。以降、この角速度ω_０を基準角速度と呼ぶ。式（１）から、撮影角度が０度のときの時刻は０であることが分かる。したがって、式（２）式から、ω_０は、次のように表される。

式（３）を用いると、式（１）式および式（２）は、以下の式（４）、式（５）のように表すことができる。

基準角速度は、撮影角度が３０度もしくは−３０度のときの角速度からも算出することができる。式（４）から、撮影角度が３０度の時の時刻は、以下の式（６）のように表わせる。

式（６）と式（５）とから、次の式（７）を得ることができる。

図５は、角速度の変化量と、角加速度の変化量とを示す図である。
図５（Ａ）は、角速度の変化量を示す。横軸は、撮影角度θを示す。縦軸は、角速度ωの変化量を示す。角速度の変化量は角加速度と等価である。図５（Ａ）から、撮影角度が０より小さい場合に、角速度の変化量は正となることが分かる。また、撮影角度が０より大きい場合に、角速度の変化量は負となることが分かる。

図５（Ｂ）は、角加速度の変化量を示す。横軸は、撮影角度θを示す。縦軸は、角加速度の変化量を示す。図５（Ｂ）から、撮影角度が−３０度より小さいか、撮影角度が３０度より大きい場合に、角加速度の変化量は正となることが分かる。また、撮影角度が−３０度より大きく３０度より小さい場合に、角加速度の変化量は負となることが分かる。

撮影角度θと角速度の変化量の関係、および撮影角度θと角加速度の変化量の関係から、次のことが導かれる。角速度の変化量、角加速度の変化量がともに正であれば、撮影角度は−３０度より小さい。−３０度より小さい撮影角度領域を領域１とする。領域１で撮影された場合、被写体の前面が撮影できる。また、領域１は、角速度が比較的小さい領域であるので、露光時間が長めになり、像ブレ補正が失敗しやすい。

角速度の変化量が正で、かつ角加速度の変化量が負であれば、撮影角度は−３０度より大きく、０度より小さい。−３０度より大きく、０度より小さい撮影角度領域を領域２とする。領域２で撮影された場合、被写体の前面が撮影できる。また、領域２は、角速度が比較的大きい領域であるので、露光時間が短めになり、像ブレ補正が成功しやすい。

角速度の変化量、角加速度の変化量がともに負であれば、撮影角度は０度より大きく、３０度より小さい。０度より大きく、３０度より小さい撮影角度領域を領域３とする。領域３で撮影された場合、被写体の背面を撮影できる。また、領域３は、角速度が比較的大きい領域であるので、露光時間が短めになり、像ブレ補正が成功しやすい。

角速度の変化量が負で、かつ角加速度の変化量が正であれば、撮影角度は３０度より大きい。３０度より大きい撮影角度領域を領域４とする。領域４で撮影された場合、被写体の背面を撮影できる。また、領域４は、角速度が比較的小さい領域であるので、露光時間が長めになり、像ブレ補正が失敗しやすい。

以上説明したように、本実施例の撮像装置は、角速度および角加速度の変化量から撮影角度領域を算出する。撮像装置は、算出された撮影角度領域を画像データと共にファイルに記録しておくことで、流し撮り画像の撮影角度領域検索や撮影角度毎のグループ表示といった機能に活用することができる。

（実施例２）
実施例２の光学装置は、画像の表示優先度の算出を行う点が、実施例２と異なる。表示優先度は、撮影画像を表示する際の優先度である。実施例２の光学装置は、構図として優先すべき画像に対し、表示優先度を設けることで撮影者の意図したとおりに撮影された画像を優先的に表示できる。デジタルカメラ１００の機能構成や他の処理に関しては説明を省略し、本実施例に固有の処理を主に説明する。

図２（Ｂ）は、実施例２におけるデジタルカメラ１００の撮影モードにおける動作処理を説明するフローチャートである。
制御部１０３は、実施例１と同様に、Ｓ２００からＳ２０６まで処理を行い、Ｓ２０７において、表示優先度を算出する第３の算出手段として機能する。表示優先度の算出の詳細については後述する。制御部１０３は撮像素子１０２から読み出した画像信号を一次記憶装置１０４に保存する。そして、画像処理部１０６が、この画像信号に対して現像処理などを適用して、記録用の画像データファイルを生成し、一次記憶装置１０４に保存する。そして、制御部１０３は、一次記憶装置１０４に保存された画像データファイルを、Ｓ２０６で算出された撮影角度領域と、表示優先度と共に記録媒体１０７に記録し、処理をＳ２００に戻す。

図６は、図２（Ｂ）のＳ２０７における表示優先度算出処理を説明するフローチャートである。
Ｓ３００において、制御部１０３が、画像処理部１０６が実行した動きベクトルの検出結果に基づいて、被写体領域を算出する。続いて、Ｓ３０１において、制御部１０３が、被写体領域の中心座標と測距領域の中心座標との距離を算出する。なお、測距領域とは、制御部１０３が、焦点調節処理の実行に用いる評価値を算出する領域（焦点検出領域）をいう。焦点調節処理は、図２（Ｂ）のＳ２００において実行され、制御部１０３が、評価値に基づいて次フレームのフォーカスレンズ位置を決定し、必要に応じて撮像光学系１０１を制御してフォーカスレンズを駆動する。

画像処理部１０６が顔検出機能を有している場合、検出された顔領域を測距領域としても良い。また、測距領域は、操作部１１０が備える十字釦によって移動させることが可能である。表示部１０９がタッチパネルを備えている場合、タッチした座標を中心として測距領域を配置しても良い。測距領域の大きさは、顔が検知されている場合、顔領域のサイズと同じにしても良い。また、予め決められた設定を二次記憶装置１０８から読み出して測距領域の大きさに用いても良い。制御部１０３は、水平方向と垂直方向とについて、別々に中心間の距離を算出する。

Ｓ３０２において、制御部１０３が、第１の閾値（閾値１）と第２の閾値（閾値２）とを算出する。制御部１０３は、水平方向と垂直方向とについて別々に閾値１と閾値２の算出を行う。この例では、閾値２のほうが閾値１よりも大きい。続いて、Ｓ３０３において、制御部１０３が、座標間の距離と閾値１とを比較し、座標間の距離が閾値１より小さいかを判定する。制御部１０３は、水平方向と垂直方向のそれぞれについて比較を行い、どちらの方向も条件を満たした場合に、真と判定する。

座標間の距離が閾値１より小さい場合は、処理がＳ３０４に進む。Ｓ３０４において、制御部１０３が、表示優先度を第１の優先度（高）に設定する。第１の優先度（高）は、第２の優先度（中）よりも高い表示優先度である。

座標間の距離が閾値１より小さくない場合は、処理がＳ３０５に進む。Ｓ３０５において、制御部１０３が、座標間の距離と閾値２とを比較し、比較結果に基づいて、座標間の距離が閾値未満（距離＜閾値２）であるかを判定する。制御部１０３は、水平方向と垂直方向のそれぞれについて比較を行い、どちらの方向も条件を満たした場合に、真と判定する。

座標間の距離が閾値２未満である場合は、処理がＳ３０６に進む。Ｓ３０６において、制御部１０３が、表示優先度を第２の優先度（中）に設定する。第２の優先度（中）は、第３の優先度（低）よりも高い表示優先度である。距離が閾値以上（距離≧閾値２）である場合は、処理がＳ３０７に進む。そして、Ｓ３０７において、制御部１０３が、表示優先度を第３の優先度（低）に設定する。

図７は、動きベクトル検出を行う際の検出枠と測距領域と被写体領域との関係を説明する図である。
制御部１０３は、動きベクトルを検出するために、画像処理部１０６を制御して、１０×１０個の検出枠を設置する。被写体として検出した枠が全て囲われる領域を被写体領域とする。制御部１０３は、異なる時間で取得された画像に対し、一方の画像のそれぞれの検出枠で囲まれた領域が、他方の画像上のどの座標でパターンが一致するかどうかを判定する。制御部１０３は、枠を設定した座標とパターンが一致した座標との差分が動きベクトルとなる。なお、制御部１０３は、検出枠群の中心座標と測距領域の中心座標が一致するように画像上に検出枠を配置する。被写体の動きベクトルは、振れセンサ１０５から入力された角速度に相当する動きベクトルを除外することで得られる。

制御部１０３は、閾値１を、被写体領域と測距領域のサイズのうちの小さい方を２で割った値に設定する。被写体領域の中心と測距領域の中心との距離が閾値１より小さくなる時、どちらかの領域がもう一方の領域と重なっている状態となる。このような状態では、被写体の中央付近にフォーカスが合った画像が得られていると考えられる。すなわち、撮影者が意図した構図で撮影が行われたといえる。したがって、制御部１０３は、中心間の距離が閾値１より小さい場合、表示優先度を第１の優先度（高）に設定する。

また、制御部１０３は、閾値を、被写体領域と測距領域のサイズを加算して２で割った値に設定する。被写体領域の中心と測距領域の中心との距離が閾値２以上である時、どちらの領域も重なっていない状態となる。このような状態では、被写体にフォーカスがあった画像が得られていないと考えられる。すなわち、撮影者が意図した構図で撮影が行われていないといえる。したがって、制御部１０３は、中心間の距離が閾値２以上である場合、表示優先度を第３の優先度（低）に設定する。

どちらの条件にも当てはまらない場合、すなわち、中心間の距離が閾値より小さくなく、かつ、閾値２より小さい場合は、少なくとも被写体の一部にフォーカスがあった画像が得られていると考えられる。したがって、この場合には、制御部１０３は、表示優先度を第２の優先度（中）に設定する。

以上説明したように、本実施例では、被写体領域の中心と測距領域の中心の距離に対する、測距領域のサイズもしくは被写体領域のサイズの関係に応じて、表示優先度を算出する。算出された表示優先度を画像データと共にファイルに記録しておくことで、流し撮り画像を表示する際に優先度の高い画像を表示することが可能になる。

（実施例３）
実施例３の撮像装置は、動画からのフレームの切り出しにおいて撮影角度領域を利用する点が、実施例１と異なる。したがって、デジタルカメラ１００の機能構成や他の処理に関しては説明を省略し、本実施例に固有の処理を主に説明する。

図８は、実施例２におけるデジタルカメラの動画切り出しモードにおける動作を説明するフローチャートである。
図８に示す動作は、例えば、デジタルカメラ１００が動画切り出しモードを有する場合に、該モードに切り替えられた場合に開始する。

制御部１０３は、処理が開始されると、処理対象となる動画ファイルを記録媒体１０７から読み出して、動画ファイルに記録された角速度データを一次記憶装置１０４へと展開する。その後、Ｓ４００において、制御部１０３が、第４の算出手段として機能し、角度範囲を算出する。この角度範囲は、動画からフレームを切り出す際の角度領域に相当する。そして、Ｓ４０１において、制御部１０３が、算出された角度範囲から、フレームの切り出し角度を指定する。

図９は、切り出し角度の指定方法の例を説明する図である。
図９には、切り出し角度を指定する際に、画面に表示されるアイコンを示す。点線で表わされる半円が、−９０度から９０度を表している。実線で表される領域が、図８のＳ４００で算出された角度範囲を表わしている。黒丸を有する直線が、指定された角度の位置を表わしている。黒丸の上の数字が、指定された角度を表している。ユーザは、操作部１１０によって、表示された角度範囲の中で、任意の角度を指定することができる。表示部１０９がタッチパネルを備えている場合、ユーザが黒丸部分をタッチしたまま、パネル上で指を移動（スワイプ操作）したときに、角度を変更できるようにしても良い。

図８の説明に戻る。Ｓ４０２において、制御部１０３が、Ｓ４０１で指定された角度に対応するフレームを抽出する。制御部１０３は、動画ファイルを記録媒体１０７から読み出して、動画ファイルに記録された画像フレームを一次記憶装置１０４に展開する。制御部１０３は、画像処理部１０６を制御して、展開された画像フレームを復号処理を行い、画像データを生成する。その後、制御部１０３は、画像処理部１０６を制御して、画像データを符号化処理し、記録用の画像データファイルを生成し、一次記憶装置１０４に保存する。Ｓ４０３において、制御部１０３が、一次記憶装置１０４に保存された画像データファイルを記録媒体１０７に記録する。

図１０は、図８のＳ４００における角度範囲算出処理を説明するフローチャートである。
Ｓ５００において、制御部１０３が、一次記憶装置１０４から異なる時刻に取得された２つ以上の被写体角速度データを読み込む。動画に記録された角速度データがカメラのパンニング速度を示す角速度のみの場合は、この角速度を被写体角速度として用いても良い。画像処理部１０６が動きベクトル検知機能を有する場合、動画の画像データから動きベクトルを算出することで被写体角速度を算出してもよい。

Ｓ１００において、制御部１０３が、角速度の変化量を算出する。Ｓ１００の処理は図３を参照して前述のとおりであり、ここでの説明は省略する。続いて、Ｓ５０１において、制御部１０３が、角速度の変化量が０かどうかを判定する。図５（Ａ）で示したように角速度の変化量が０の場合に、撮影角度は０となる。変化量が０でないと判定された場合は、処理がＳ１０１に進む。角速度の変化量が０であると判定された場合は、処理がＳ５０２に進む。

Ｓ５０２において、制御部１０３が、現在の角速度を基準角速度に設定する。続いて、Ｓ５０３において、制御部１０３が、開始フレームと終了フレームの角度を算出し、角度範囲算出処理を正常終了させる。現在のフレームが時刻０に相当することから、開始フレームまたは終了フレームの時刻が分かるので、式（５）を用いて角度を算出することが出来る。例えば、現在のフレーム番号が１２０、フレームレートが６０ｆｐｓとすると、最初のフレームは、現在のフレームの２秒前である。現在のフレームの時刻は０であるので、最初のフレームは−２秒となる。基準角速度を３５ｄｅｇ／秒とし、式（５）を用いると、開始角度は約−５０度となる。

Ｓ１０１において、制御部１０３が、Ｓ１００で算出した角加速度の変化量を算出する。Ｓ１０１の処理は前述のとおりであり、ここでの説明は省略する。続いて、Ｓ５０４において、制御部１０３が、角加速度の変化量が０かどうかを判定する。図５（Ｂ）で示したように、角加速度の変化量が０の場合、撮影角度は−３０度もしくは３０度のどちらかとなる。なお、−３０度と３０度の区別は、角速度の変化量が正か負かによって判断できる。

角加速度の変化量が０でないと判定された場合は、処理がＳ５０６に進む。角加速度の変化量が０であると判定された場合は、処理がＳ５０５に進む。Ｓ５０５において、制御部１０３が、基準角速度を算出する。制御部１０３は、基準角速度を、現在の角速度と、式（７）とを用いて算出する。また、制御部１０３は、算出された基準角速度から、現在のフレームの時刻を式（６）式を用いて算出する。

次に、Ｓ５０３において、制御部１０３が、開始フレーム及び終了フレームの角度を算出し、角度範囲算出処理を正常終了させる。例えば、現在のフレーム番号が１２０、終了フレーム番号が１５０、フレームレートが６０ｆｐｓとすると、終了フレームは、現在のフレームの０．５秒後である。現在のフレームの撮影角度が３０度、基準角速度が３５ｄｅｇ／秒とすると、式（６）から現在のフレームの時刻は０．９秒となる。したがって、終了フレームの時刻は１．４秒となり、式（５）式から終了角度は約４０度となる。

Ｓ５０６において、制御部１０３が、現在のフレームが最終フレームかどうかを判定する。現在のフレームが最終フレームであると判定されなければ、処理がＳ５００に戻る。現在のフレームが最終フレームであると判定された場合、制御部１０３は角度範囲算出処理を異常終了させる。撮影角度が０度、−３０度、３０度のいずれかとなるフレームが発見できなかったため、角度範囲が算出できなかったからである。角度範囲算出処理が正常に終了しなかった場合、制御部１０３は、図８のＳ４０１以降の処理をスキップさせると共に、切り出しフレームの角度指定が出来ない動画である旨のメッセージを表示部１０９に表示しても良い。もしくは、Ｓ４０１で、フレーム番号を指定して切り出す処理に切り替えて、Ｓ４０２以降の処理を行っても良い。

以上説明したように、実施例３の撮像装置は、動画切り出しにおいて、動画ファイルに記録された角速度を用いて、角速度および角加速度の変化量から撮影角度を算出する。これにより、角度で動画フレームを指定することが可能になる。

上述の実施例は本発明の理解を提供するための具体的な構成の例示であり、いかなる意味においても実施例に記載された構成に本発明を限定する意図はない。特許請求の範囲の記載に包含される変形例および代替例もまた本発明に含まれる。また、上述した実施例１乃至実施例３のうちのいずれかを適宜組み合わせて適用することもできる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０３ 制御部

Claims (11)

1. 被写体角速度の変化量である被写体角加速度を算出する第１の算出手段と、
   前記被写体角加速度の変化量を算出する第２の算出手段と、
   前記被写体角加速度の符号と、前記被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する制御手段とを備える
   ことを特徴とする光学装置。
2. 前記制御手段は、前記被写体角加速度の符号が正であり、前記被写体角加速度の変化量の符号が正である場合に、前記流し撮り時に被写体が撮影された角度領域として、−３０度より小さい角度領域を設定する
   ことを特徴とする請求項１に記載の光学装置。
3. 前記制御手段は、前記被写体角加速度の符号が正であり、前記被写体角加速度の変化量の符号が負である場合に、前記流し撮り時に被写体が撮影された角度領域として、−３０度から０度までの角度領域を設定する
   ことを特徴とする請求項１または請求項２に記載の光学装置。
4. 前記制御手段は、前記被写体角加速度の符号が負であり、前記被写体角加速度の変化量の符号が負である場合に、前記流し撮り時に被写体が撮影された角度領域として、０度から３０度までの角度領域を設定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の光学装置。
5. 前記制御手段は、前記被写体角加速度の符号が負であり、前記被写体角加速度の変化量の符号が正である場合に、前記流し撮り時に被写体が撮影された角度領域として、３０度より大きい角度領域を設定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の光学装置。
6. 被写体領域と焦点検出領域との距離に応じて、撮影画像を表示する際の優先度を算出する第３の算出手段を備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の光学装置。
7. 前記第３の算出手段は、前記被写体領域の中心と前記焦点検出領域の中心との距離と、閾値との比較結果に基づいて、前記優先度を算出する
   ことを特徴とする請求項６に記載の光学装置。
8. 前記第３の算出手段は、
   前記被写体領域と前記焦点検出領域のうち、小さいほうのサイズを２で割った値を第１の閾値、前記被写体領域と前記焦点検出領域のサイズを加算して２で割った値を第２の閾値とし、
   前記被写体領域の中心と前記焦点検出領域の中心との距離が前記第１の閾値未満である場合に、第１の優先度を設定し、
   前記被写体領域の中心と前記焦点検出領域の中心との距離が前記第１の閾値以上で前記第２の閾値未満である場合に、前記第１の優先度より低い第２の優先度を設定し、
   前記被写体領域の中心と前記焦点検出領域の中心との距離が前記第２の閾値以上である場合に、前記第２の優先度より低い第３の優先度を設定する
   ことを特徴とする請求項６または請求項７に記載の光学装置。
9. 動画からフレームを切り出す際の角度領域を算出する第４の算出手段と、
   前記第４の算出手段によって算出された角度領域から前記フレームの切り出し角度を指定する指定手段と、
   前記指定された切り出し角度に対応するフレームを前記動画から抽出して静止画として保存する抽出手段とを備える
   ことを特徴とする請求項１乃至８のいずれか１項に記載の光学装置。
10. 請求項１乃至９のいずれか１項に記載の光学装置として機能する撮像装置。
11. 被写体角速度の変化量である被写体角加速度を算出する第１の算出工程と、
    前記被写体角加速度の変化量を算出する第２の算出工程と、
    前記被写体角加速度の符号と、前記被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する制御工程とを有する
    ことを特徴とする光学装置の制御方法。
    

Images