JP2017017540A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】撮像装置において流し撮りにより取得された静止画像の画質を確認し易くする。
【解決手段】画像処理装置は、表示手段１７２を備えた撮像装置１２０において用いられ、移動する主被写体を追ってパンニング中の撮像装置により取得された静止画像を表示手段に表示させる処理を行う。画像処理装置は、パンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルから、主被写体に対応する主被写体動きベクトルおよび主被写体とは異なる背景被写体に対応する背景動きベクトルを取得するベクトル取得手段１４３と、主被写体動きベクトルおよ背景動きベクトルを用いて、静止画像のうち主被写体が写った主被写体領域および背景被写体が写った背景領域を静止画像の全体が表示手段に表示される場合よりも拡大して表示手段に表示させる拡大表示処理を行う処理手段１４４，１４５とを有する。
【選択図】図３

Description

本発明は、いわゆる流し撮りにより取得された静止画像の表示技術に関する。

移動している被写体のスピード感を表現する静止画撮像技術として流し撮りがある。この流し撮りでは、撮影者、すなわちユーザが撮像したい主被写体の動きに合わせて撮像装置をパンニングしながら静止画撮像を行うことにより、主被写体が静止して背景が流れた（ぶれた）静止画像が得られる。ただし、流し撮りにおいて、ユーザによる撮像装置のパンニング速度が主被写体の移動速度に対して差を有すると、主被写体までぶれた静止画像が得られてしまう。

この問題に対して特許文献１には、流し撮りを行うユーザ補助（流し撮りアシスト）を行うために、シフトレンズを光軸に対してシフトさせることで主被写体の移動速度とパンニング速度との差を吸収する方法が開示されている。具体的には、ジャイロセンサにより検出した撮像装置のパンニング速度とパンニング中に取得された動画像（連続するフレーム画像間）において検出した動きベクトルとに基づいて、主被写体を撮像画面の中央に位置させるためのシフトレンズのシフト量を算出する。そして、該シフト量だけシフトレンズをシフトさせることで良好な流し撮りを行えるようにする。

ユーザは、このような流し撮りアシストを利用した流し撮りによって取得された静止画像を、撮像装置に設けられたＬＣＤ等の表示部にて確認することが多い。

特開２００６−３１７８４８号公報

しかしながら、撮像装置に設けられる表示部の画面サイズは小さいため、ここに流し撮りにより取得された静止画像の全体を表示してもその画質（主被写体の静止具合や背景の流れ具合等）をユーザが確認しにくい。

本発明は、ユーザが撮像装置に設けられた表示部を通して流し撮りにより取得された静止画像の画質を確認し易くすることができるようにした画像処理装置およびこれを備えた撮像装置を提供する。

本発明の一側面としての画像処理装置は、表示手段を備えた撮像装置において用いられ、移動する主被写体を追ってパンニング中の撮像装置により取得された静止画像を表示手段に表示させる処理を行う。該画像処理装置は、撮像装置によりパンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルから、主被写体に対応する主被写体動きベクトルおよび主被写体とは異なる背景被写体に対応する背景動きベクトルを取得するベクトル取得手段と、主被写体動きベクトルおよび背景動きベクトルを用いて、静止画像のうち主被写体が写った主被写体領域および背景被写体が写った背景領域を静止画像の全体が表示手段に表示される場合よりも拡大して表示手段に表示させる拡大表示処理を行う処理手段とを有することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、表示手段を備えた撮像装置において用いられ、移動する主被写体を追ってパンニング中の撮像装置により取得された静止画像を表示手段に表示させる処理を行う。該画像処理装置は、撮像装置によりパンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルから、主被写体とは異なる背景被写体に対応する背景動きベクトルを取得するベクトル取得手段と、背景動きベクトルを用いて、静止画像のうち背景被写体が写った背景領域を静止画像の全体が表示手段に表示される場合よりも拡大して表示手段に表示させる拡大表示処理を行う処理手段とを有することを特徴とする。

なお、被写体を撮像する撮像手段と、画像を表示する表示手段と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理プログラムは、表示手段を備えた撮像装置のコンピュータに、移動する主被写体を追ってパンニング中の撮像装置により取得された静止画像を表示手段に表示させる処理を行わせるコンピュータプログラムである。該処理は、撮像装置によりパンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルから、主被写体に対応する主被写体動きベクトルおよび主被写体とは異なる背景被写体に対応する背景動きベクトルを取得する処理と、主被写体動きベクトルおよび背景動きベクトルを用いて、静止画像のうち主被写体が写った主被写体領域および背景被写体が写った背景領域を静止画像の全体が表示手段に表示される場合よりも拡大して表示手段に表示させる拡大表示処理とを含むことを特徴とする。

さらに、本発明の他の一側面としての画像処理プログラムは、表示手段を備えた撮像装置のコンピュータに、移動する主被写体を追ってパンニング中の撮像装置により取得された静止画像を表示手段に表示させる処理を行わせるコンピュータプログラムである。該処理は、撮像装置によりパンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルのうち主被写体とは異なる背景被写体に対応する背景動きベクトルを取得する処理と、背景動きベクトルを用いて、静止画像のうち背景被写体が写った背景領域を静止画像の全体が表示手段に表示される場合よりも拡大して表示手段に表示させる拡大表示処理とを含むことを特徴とする。

本発明によれば、流し撮りにより取得された静止画像の主被写体領域や背景領域を自動的に拡大表示するので、ユーザが主被写体領域や背景領域の選択操作や拡大表示操作を行うことなく静止画像の画質を容易に確認することができる。

本発明の実施例１であるカメラにおいて行われる流し撮り判定処理を示すフローチャート。 実施例１において行われる流し撮りアシスト撮像処理の基本的な流れを示すフローチャート。 実施例１のカメラを含むレンズ交換式カメラシステムの構成を示すブロック図。 実施例１のカメラ（レンズ交換式カメラシステム）における防振システムの構成を示すブロック図。 実施例１のカメラにおけるパンニング制御を示すフローチャート。 実施例１のカメラにおける流し撮りアシストモードでのシフト駆動制御システムの構成を示すブロック図。 実施例１のカメラにおけるパンニング判定閾値を説明する図。 本発明の実施例７であるレンズ交換式カメラシステムの構成を示すブロック図。 流し撮り判定の概念を示す図。 実施例１および本発明の実施例２〜５のカメラに共通する流し撮りアシスト画像表示処理を示すフローチャート。 本発明の実施例６のカメラにおいて行われる流し撮りアシスト画像保存処理および流し撮りアシスト画像再生処理を示すフローチャート。 実施例１における主被写体動きベクトルと背景動きベクトルのヒストグラムを示す図。 実施例１における背景領域の拡大中心の設定方法を示す図。 実施例２における背景領域の拡大中心の設定方法を示す図。 実施例３における背景領域の設定方法を示す図。 実施例４における背景領域の設定方法を示す図。 実施例５における背景領域の設定方法を示す図。 実施例５において背景領域を特定できない場合を示す図。 実施例１における表示切り替えを示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図３には、本発明の実施例１である撮像装置を含むレンズ交換式カメラシステムの構成を示している。図３において、１００は交換レンズであり、１２０は交換レンズ１００が取り外し可能に装着される撮像装置（以下、カメラという）である。

交換レンズ１００は、撮像光学系１０１を有する。撮像光学系１０１は、主光学系１０２と、撮像光学系１０１の光軸が延びる方向である光軸方向に移動して撮像光学系１０１の焦点距離を変更する変倍レンズ群１０３とを含む。また、撮像光学系１０１は、光軸に直交する方向に移動可能（シフト可能）なシフト素子としてのシフトレンズ群１０４を含む。

シフトレンズ群１０４は、手振れ等によるカメラ１２０の振れ（以下、カメラ振れという）に起因する像振れを光学的に補正（低減）するためにシフト駆動される。このときのシフト駆動を防振駆動という。また、シフトレンズ群１０４は、動く被写体を流し撮りするユーザによってカメラ１２０のパンニングが行われた際に該流し撮りをアシストするためにシフト駆動される。このときのシフト駆動を、流し撮りアシスト駆動という。流し撮りアシスト駆動の制御については後述する。

交換レンズ１００は、変倍レンズ群１０３の位置を検出するズームエンコーダ１０５と、シフトレンズ群１０４をシフト駆動するシフトドライバ１１４と、シフトレンズ群１０４のシフト方向での位置（シフト位置）を検出するシフト位置センサ１０６とを有する。シフトドライバ１１４は、ボイスコイルモータ等のアクチュエータと、これを動作させるドライバ回路とにより構成される。

交換レンズ１００は、手振れやパンニング等によるカメラ１２０の動きの角速度を検出する動き検出手段としての角速度センサ１１１を有する。角速度センサ１１１の出力（角速度信号）は、アンプ１１２により増幅されてレンズマイクロコンピュータ（以下、レンズマイコンという）１１３に入力される。また、シフト位置センサ１０６の出力は、アンプ１１５により増幅されてレンズマイコン１１３に入力される。

レンズマイコン１１３は、角速度センサ１１１により検出された角速度とシフト位置センサ１０６からの出力により検出されるシフト位置とに応じてシフトドライバ１１４を制御することで、シフトレンズ群１０４の防振駆動を制御する。また、レンズマイコン１１３は、後述するカメラマイコン１３２から、シフトレンズ群１０４のシフト方向とシフト駆動量の情報（以下、シフト制御情報という）を受け取る。そして、レンズマイコン１１３は、シフト制御情報とシフト位置センサ１０６からの出力により検出されるシフト位置とに応じてシフトドライバ１１４を制御することで、シフトレンズ群１０４の流し撮りアシスト駆動を制御する。

なお、実際のシフトレンズ群１０４のシフト駆動は、このシフトレンズ群１０４を横（ヨー）方向と縦（ピッチ）方向である互いに直交する２つのシフト方向に行われ、シフト方向ごとに角速度センサ１１１やシフトドライバ１１４が設けられている。ただし、これらシフト方向ごとの角速度センサ１１１およびシフトドライバ１１４はそれぞれ同じ構成を有するため、図３では１つのシフト方向に対して設けられた角速度センサ１１１およびシフトドライバ１１４のみを示している。

さらに、レンズマイコン１１３は、防振駆動を制御する防振制御部１１７と、流し撮りアシスト駆動を制御する流し撮りアシスト制御部１１８とを有する。これらの他に、レンズマイコン１１３は、撮像光学系１０１に含まれる不図示のフォーカスレンズや絞りの駆動を制御する。

交換レンズ１００は、カメラ１２０に対してバヨネット結合されるレンズマウントを有し、該レンズマウントにはマウント接点部１１６が設けられている。

カメラ１２０は、シャッタ１２１と、ＣＭＯＳセンサ等の撮像素子１２２とを有する。撮像素子１２２は、撮像光学系１０１により形成された被写体像を光電変換（撮像）する。シャッタ１２１は、撮像素子１２２の露光量を制御する。これにより、後述するように記録用の撮像画像（静止画像）が生成される。

また、カメラ１２０は、アナログ信号処理回路１２３と、カメラ信号処理回路１２４と、撮像素子１２２およびアナログ信号処理回路１２３の動作タイミングを設定するタイミングジェネレータ１２５とを有する。アナログ信号処理回路１２３は、撮像素子１２２から出力されるアナログ信号をデジタル信号に変換し、該デジタル信号に対して各種画像処理を行うことで撮像画像（記録されない動画像であるライブビュー映像や記録用の静止画像）を生成する。撮像素子１２２およびアナログ信号処理回路１２３により、被写体の撮像による画像生成を行う撮像手段が構成される。なお、以下の説明では、記録用の撮像画像を取得するための撮像を単に露光ともいう。

また、カメラ１２０は、電源スイッチ、レリーズ（撮像準備／記録）スイッチおよび撮像モード選択スイッチ等を含む操作スイッチ群１３１と、カメラ１２０全体の動作を制御するカメラマイクロコンピュータ（以下、カメラマイコンという）１３２とを有する。撮像モードには、シフトレンズ群１０４の流し撮りアシスト駆動を行う流し撮りアシストモードが含まれる。さらに、カメラ１２０は、シャッタ１２１のチャージを行うシャッタモータ１３４と、これを駆動するシャッタドライバ１３３とを有している。

また、カメラ１２０は、記録用の撮像画像を半導体メモリや光ディスク等の記録媒体に記録する記録部１７１と、記録用の撮像画像や記録されない動画像であるライブビュー映像を表示する液晶パネル等の表示部（表示手段：以下、ＬＣＤという）１７２とを有する。

カメラ１２０は、前述したように交換レンズ１００がバヨネット結合されるカメラマウントを有し、該カメラマウントには、レンズマウントのマウント接点部１１６と電気的に接続されるマウント接点部１６１が設けられている。カメラマイコン１３２とレンズマイコン１１３は、これらマウント接点部１６１，１１６を介して相互に通信（例えば、シリアル通信）を行ったり、カメラ１２０から交換レンズ１００への電源供給を行ったりする。

カメラ信号処理回路１２４は、動きベクトル検出部１４１と、被写体検出部１４２と、ベクトル判定部１４３と、座標・サイズ計算部１４４と、拡大部１４５とを有する。カメラ信号処理回路１２４は画像処理装置に相当し、ベクトル判定部１４３はベクトル取得手段に相当し、座標・サイズ計算部１４４および拡大部１４５は、処理手段に相当する。

動きベクトル検出部１４１は、ライブビュー映像における複数の位置（座標）にて複数の動きベクトルを検出する。被写体検出部１４２は、ライブビュー映像内における人物や顔等の特定被写体を認識する機能を用いて特定被写体を検出する。ベクトル判定部１４３は、動きベクトル検出部１４１により検出された複数の動きベクトルにおいて、主被写体に対応する主被写体動きベクトル、背景被写体に対応する背景動きベクトルおよび他の被写体に対応するその他動きベクトルを判定してこれらを分離する。すなわち、ベクトル判定部１４３は、複数の動きベクトルから主被写体動きベクトルおよび背景動きベクトルを取得する。なお、詳しくは後述するが、ベクトル判定部１４３は、主被写体動きベクトル、背景動きベクトルおよびその他動きベクトルを判定する際に、可変である閾値を用いる。

拡大部１４５は、シフトレンズ群１０４の流し撮りアシスト駆動を伴う（すなわち流し撮りアシストを用いた）静止画撮像より取得された静止画像（以下、流し撮りアシスト画像という）の一部領域を拡大してＬＣＤ１７２に表示するための拡大表示処理を行う。ここにいう一部領域とは、流し撮りアシスト画像のうち主被写体が写った主被写体領域と背景被写体が写った背景領域である。また、拡大するとは、流し撮りアシスト画像の全体がＬＣＤ１７２に表示される場合よりも拡大することを意味する。

座標・サイズ計算部１４４は、拡大部１４５が拡大する主被写体領域や背景領域のサイズを設定したり、拡大部１４５が主被写体領域や背景領域を拡大するときの中心位置（中心座標）を設定したりする。

カメラマイコン１３２は、シャッタ制御部１５１と被写体角速度算出部１５２と、流し撮り判定部１５３とを含む。シャッタ制御部１５１は、シャッタドライバ１３３を通じてシャッタ１２１を制御する。被写体角速度算出部１５２は、主被写体の角速度を算出する。

図３において、操作スイッチ群１３１の電源スイッチがユーザにより操作されてカメラ１２０の電源がＯＮされると、その状態変化をカメラマイコン１３２が検出する。そして、カメラマイコン１３２の制御によりカメラ１２０内の各部への電源供給が開始されるとともに、該各部の初期設定が行われる。また、交換レンズ１００への電源供給も開始され、レンズマイコン１１３の制御によって交換レンズ１００内の初期設定が行われる。この際、カメラマイコン１３２とレンズマイコン１１３との間での通信も開始される。この通信において、カメラマイコン１３２からレンズマイコン１１３へはカメラ１２０の状態や撮像に関する設定（例えば、流し撮りアシストモードの設定／非設定）状態等を示す情報が送信される。また、レンズマイコン１１３からカメラマイコン１３２に、撮像光学系１０１の焦点距離その他の光学情報が送信される。

流し撮りアシストモードが設定されていない通常撮像モードにおいては、レンズマイコン１１３は、角速度センサ１１１により検出された角速度に基づいて、防振制御部１１７を通じてシフトレンズ群１０４の防振駆動を制御する。一方、流し撮りアシストモードでは、レンズマイコン１１３は、前述したカメラマイコン１３２からのシフト制御情報に応じて、流し撮りアシスト制御部１１８を通じてシフトレンズ群１０４の流し撮りアシスト駆動を制御する。

図４には、防振制御部１１７を含む防振システムの構成を示している。図４において、図３に示した構成要素と共通する構成要素には図３と同符号を付してそれらの説明を省略する。また、前述したように、実際の防振システムはシフトレンズ群１０４をヨー方向とピッチ方向にシフトさせるための２系統が設けられるが、これらの構成は同じであるため、図４には１系統の構成のみを示している。

角速度Ａ／Ｄ変換器４０１は、角速度センサ１１１（角速度アンプ１０８）から出力された角速度信号（アナログ信号）をデジタル信号としての角速度データに変換してフィルタ演算部４０２に出力する。角速度データに対するサンプリングは、手振れの周波数に対応する１〜１０ｋＨｚ程度の周波数で行われる。

フィルタ演算部４０２は、ハイパスフィルタ（ＨＰＦ）により構成され、角速度データに含まれるオフセット成分を除去したり、後述するパンニング制御部４０７からの指令に応じてＨＰＦのカットオフ周波数を変更したりする。第１の積分器４０３は、シフトレンズ群１０４の目標シフト位置のデータである目標位置データを生成するために、角速度データを角変位データに変換する。

シフト位置Ａ／Ｄ変換器４０６は、シフト位置センサ１０６（シフト位置アンプ１１０）から出力されるシフト位置信号（アナログ信号）をデジタル信号としてのシフト位置データに変換する。第１の加算器４０４は、シフトレンズ群１０４の目標位置データから現在のシフト位置データを減算することで、シフトレンズ群１０４の駆動量データを算出する。

ＰＷＭ出力部４０５は、算出された駆動量データをシフトドライバ１１４に出力する。シフトドライバ１１４は、駆動量データに基づいてシフトアクチュエータを駆動してシフトレンズ群１０４を目標シフト位置にシフトさせる。

パンニング制御部４０７は、角速度センサ１１１から得られる角速度データから、カメラ１２０がパンニングされたか否かを判定する。パンニング制御部４０７は、カメラ１２０がパンニングされたと判定した場合は、フィルタ演算部４０２のカットオフ周波数を変更するとともに第１の積分器４０３の出力調整を行う。

図５には、パンニング制御部４０７により行われるパンニング制御の例を示している。パンニング制御部４０７（つまりはレンズマイコン１１３）は、コンピュータプログラムであるパンニング処理プログラムに従ってこのパンニング制御を行う。

ステップＳ５０１において、パンニング制御部４０７は、角速度Ａ／Ｄ変換器４０１から取り込んだ角速度データの平均値（所定サンプリング回数分の平均値であり、以下、角速度平均値という）が所定値αよりも大きいか否かを判定する。パンニング制御部４０７は、角速度平均値が所定値α以下である場合はパンニングが行われていないと判定し、ステップＳ５０７に進む。一方、角速度平均値が所定値αより大きい場合はステップＳ５０２に進み、角速度平均値が所定値β（＞α）より大きいか否かを判定する。そして、角速度平均値が所定値β以下である場合は、パンニング制御部４０７は、低速でのパンニングが行われていると判定してステップＳ５０６に進む。また、角速度平均値が所定値βより大きい場合は、パンニング制御部４０７は、高速でのパンニングが行われていると判定してステップＳ５０３に進む。

ステップＳ５０３では、パンニング制御部４０７は、フィルタ演算部４０２のＨＰＦのカットオフ周波数を最大値に設定する。さらに、ステップＳ５０４では、防振制御を強制的にＯＦＦ（非実行状態）にする。高速パンニング時に防振制御をＯＦＦとするのは、以下の理由による。高速パンニングを大きな手振れとして扱ってシフトシフトレンズ群１０４をシフトさせると、シフトシフトレンズ群１０４がそのシフト端に到達した時点でライブビュー映像が大きく動いてユーザに違和感を与えるため、これを防止するためである。また、高速パンニングが行われている場合にはパンニングによるライブビュー映像の動きが大きく、手振れによる像振れが現れてもユーザにほとんど違和感を与えることはないためである。そして、ＨＰＦのカットオフ周波数を最大値に設定した上で次のステップにてシフトシフトレンズ群１０４を徐々に停止させることで、防振制御ＯＦＦに伴い急に手振れによる像振れが現れてユーザに違和感を与えることを回避することができる。

防振制御をＯＦＦしたパンニング制御部４０７は、ステップＳ５０５において、第１の積分器４０３の出力を現在の角変位データから徐々に初期位置データに変更する。これにより、シフトシフトレンズ群１０４を徐々に初期位置（シフトシフトレンズ群１０４の光軸が撮像光学系１０１の光軸に一致する位置）に戻す。

また、低速パンニングを判定したパンニング制御部４０７は、ステップＳ５０６において、角速度データの大きさに応じてフィルタ演算部４０２のＨＰＦのカットオフ周波数を設定する。低速パンニング時には手振れによる像振れが目立ちやすいので、これを補正する必要があるためである。カットオフ周波数は、パンニングに対するライブビュー映像の追従性を不自然にならない程度に保ちながら、手振れによる像振れを補正することができるように設定される。この後、パンニング制御部４０７は、ステップＳ５０８に進み、防振制御をＯＮ（実行状態）にする。

角速度平均値が所定値α以下である（パンニングが行われていない）と判定してステップＳ５０７に進んだパンニング制御部４０７は、フィルタ演算部４０２のＨＰＦのカットオフ周波数を通常時の値に設定する。そして、パンニング制御部４０７は、ステップＳ５０８に進み、防振制御をＯＮにする。

図７には、パンニング時の横方向の角速度データと所定値α，βとの関係を示している。図中の７０１がサンプリングされた角速度データである。カメラ１２０が右方向にパンニングされた場合には＋方向の角速度データが得られ、左方向にパンニングされた場合は−方向の角速度データが得られている。図７の例では、右方向への高速（急峻）パンニングと、左右方向への低速パンニングとが検出されている。

図７から分かるように、パンニング中は角速度データが初期値（０）から大きく外れる。このため、このデータを積分してシフトレンズ群１０４の目標位置データを算出すると、ＤＣ的なオフセット成分によって第１の積分器４０３の出力が非常に大きな値となり、制御不能状態になる。したがって、パンニングが検出された場合はＨＰＦのカットオフ周波数を高く設定することにより、ＤＣ成分をカットすることが必要となる。高速パンニングがなされた場合は、このような状態が特に顕著に現れるため、よりカットオフ周波数を高くすることで第１の積分器４０３の出力が増大しないようにする。

以上のようにパンニング制御が行われることで、パンニング中でも違和感の少ない撮像画像を取得することができる。

図３において、操作スイッチ群１３１の撮像モード選択スイッチの操作により流し撮りアシストモードが設定されると、カメラマイコン１３２は流し撮りアシスト用の制御を開始する。また、この情報はカメラマイコン１３２からレンズマイコン１１３へと送信され、レンズマイコン１１３は流し撮りアシストモードに移行する。

流し撮りアシストモードにおいて、カメラ信号処理回路１２４内の動きベクトル検出部１４１はライブビュー映像の前後のフレーム画像間において動きベクトルを検出して、カメラマイコン１３２に出力する。また、これと同時に、カメラマイコン１３２は、レンズマイコン１１３から、交換レンズ１００内の角速度センサ１１１で検出されて角速度アンプ１０８により増幅され、さらにデジタル信号に変換された角速度データ（第１の動き情報）を受信する。

流し撮り中に動きベクトル検出部１４１から出力される動きベクトルには、主被写体に対応する動きベクトルと、主被写体の背後等で流れている背景被写体に対応する動きベクトルとがある。これらの動きベクトルのうち、より小さい動き量を示す動きベクトルが主被写体に対応する動きベクトルとしての主被写体動きベクトル（第２の動き情報）となる。そして、この主被写体動きベクトルが１フレーム期間での主被写体像の像面上、すなわち撮像素子１２２上での変位（動き）を示す。

一方、交換レンズ１００側からの角速度データは、カメラ１２０のパンニング速度（流し撮り速度）に対応している。このため、この角速度データと、１フレーム期間での主被写体像の像面上での変位量および撮像光学系１０１の焦点距離から算出される角速度との差分を算出すると、カメラ１２０に対する主被写体の角速度（以下、相対被写体角速度という）が得られる。

被写体角速度算出部１５２は、フレーム画像の生成タイミングごとに、すなわちフレーム周期でこの相対被写体角速度を算出（取得）する。カメラマイコン１３２は、算出された相対被写体角速度のデータをレンズマイコン１１３に送信する。

図６には、流し撮りアシストモードでのシフトレンズ１０４のシフト駆動制御を行うシフト駆動制御システムの構成を示している。図６において、図３および図４に示した構成要素と共通する構成要素には図３および図４と同符号を付してそれらの説明は省略する。

流し撮りアシスト制御部１１８は、カメラ情報取得部６０１と、角速度データ出力部６０２と、被写体角速度取得部（第２の速度取得手段）６０３と、第２の加算器６０４と、第２の積分器６０５と、設定変更部６０６と、通信制御部６１０とを含む。

カメラ情報取得部６０１は、流し撮りアシストモードの設定情報と、レリーズスイッチの操作によって撮像が指示されたことを示すレリーズ情報とを取得する。角速度データ出力部６０２は、所定タイミングで角速度データをサンプリングする。

被写体角速度取得部６０３は、カメラマイコン１３２から、相対被写体角速度のデータを取得する。第２の加算器６０４は、角速度センサ１１１からの角速度データと被写体角速度取得部６０３からの相対被写体角速度のデータとの差分を算出する。第２の積分器６０５は、所定期間（露光期間）のみ積分動作を行う。設定変更部６０６は、通知されたモード情報に従ってパンニング制御部４０７の設定変更を行う。そして、通信制御部６１０は、カメラマイコン１３２との双方向通信を行う。

カメラマイコン１３２内の流し撮り判定部１５３は、レンズマイコン１１３から送信された角速度データを積分して保持しておくことができる。これにより、ユーザが流し撮りを行う際に、所定のタイミングを起点としたカメラ１２０の角度変化（以下、流し撮り角度という）を得ることができる。

操作スイッチ群１３１の撮像モード選択スイッチの操作により流し撮りアシストモードが設定されると、通信制御部６１０からその設定情報がカメラ情報取得部６０１で読み込まれ、設定変更部６０６に通知される。設定変更部６０６は、この流し撮りアシストモードの設定情報の通知に応じて、パンニング制御部４０７の設定変更を行う。具体的には、ユーザが高速パンニングを行い易くするために、パンニング制御部４０７における所定値α，βを変更する。また、流し撮りアシスト制御部１１８は、シフト位置センサ１０６からのシフト位置データをカメラマイコン１３２に送信するために、該シフト位置データを通信制御部６１０に送る。

被写体角速度取得部６０３は、カメラマイコン１３２からレンズマイコン１１３に送信された相対被写体角速度データを取り込む。第２の加算器６０４は、角速度センサ１１１からの角速度データと相対被写体角速度データの差を計算し、その結果を第２の積分器６０５に送出する。第２の積分器６０５は、カメラ情報取得部６０１からのレリーズ情報に応じて、露光時間中に上記差の積分動作を開始する。第２の積分器６０５は、露光時間以外の期間においてはシフトレンズ群１０４の位置が初期位置となる値を出力する。なお、露光時間の終了時にシフトレンズ群１０４がその時点での位置から初期位置まで短時間でシフトしても問題はない。すなわち、露光時間の終了直後は撮像素子１２２からのアナログ信号の読み出し時間であるため、ＬＣＤ１７２上ではライブビュー映像の表示は行われないので、シフトレンズ群１０４のシフトによるライブビュー映像の動きは問題にならない。

第２の積分器６０５の出力は、第１の加算器４０４において、第１の積分器４０３の出力に加算され、その加算値に対してシフト位置センサ１０６からのシフト位置データが減算される。これにより、シフトレンズ群１０４の駆動量データが算出される。

流し撮りアシストモードの設定中に、実際にユーザにより高速パンニングによる流し撮りが行われると、パンニング制御部４０７はすぐにパンニング制御を開始するとともに、図５のステップＳ５０４で説明したように防振制御をＯＦＦする。パンニング制御により、シフトレンズ群１０４は、カメラ１２０のパンニングによる角速度とカメラ１２０に対する主被写体の角速度である相対被写体角速度との差分に対応する被写体像の像面上での変位量を補正する。このため、流し撮り失敗の原因となる露光時間中のカメラ１２０のパンニング速度と主被写体の動き速度との差分がシフトレンズ群１０４のシフト駆動により相殺され、その結果、流し撮りが成功する。

図２のフローチャートには、カメラマイコン１３２が流し撮りアシストモードで行う流し撮りアシスト撮像処理を示している。この処理は、カメラマイコン１３２がコンピュータプログラムである流し撮りアシスト撮像処理プログラムに従って実行する。ユーザは、カメラ１２０をパンニングしながら動く主被写体を追う。

ステップＳ６０１において、カメラマイコン１３２、レリーズスイッチが半押し操作された（ＳＷ１ＯＮ）か否かを判定する。ＳＷ１ＯＮの場合は、カメラマイコン１３２はステップＳ６０２に進み、時間計測カウンタをインクリメントし、ステップＳ６０４に進む。ＳＷ１ＯＮでない場合は、カメラマイコン１３２はステップＳ６０３に進み、時間計測カウンタをリセットして、ステップＳ６０１に戻る。

ステップＳ６０４では、カメラマイコン１３２は、被写体角速度算出部１５２により相対被写体角速度（図では単に被写体角速度と記す）がすでに算出されているか否かを確認する。算出されている場合は、カメラマイコン１３２は、ステップＳ６０５に進み、時間計測カウンタが所定時間Ｔに達したか否かを確認する。相対被写体角速度がまだ算出されていない場合および相対被写体角速度がすでに算出されていても時間計測カウンタが所定時間Ｔに達している場合は、カメラマイコン１３２はステップＳ６０６に進む。

ステップＳ６０６では、カメラマイコン１３２は、被写体角速度算出部１５２に相対被写体角速度を算出させる。これにより、後述するＳＷ２ＯＮに応じて開始される露光の前に被写体角速度算出部１５２に相対被写体角速度を算出させる。カメラマイコン１３２は、この相対被写体角速度のデータをレンズイコン１１３（流し撮りアシスト制御部１１８）に送信する。時間計測カウンタが所定時間Ｔに達している場合に相対被写体角速度を算出し直させるのは、所定時間Ｔ内で主被写体の速度が変化する可能性を考慮するためである。カメラマイコン１３２は、相対被写体角速度が算出されるごとにそのデータをレンズマイコン１１３に送信する。

一方、ステップＳ６０５にて時間計測カウンタがまだ所定時間Ｔに達していない場合は、カメラマイコン１３２はステップＳ６０９に進む。

ステップＳ６０６の後のステップＳ６０７では、カメラマイコン１３２は、流し撮りアシストの開始後の経過時間（流し撮り経過時間）の計測を開始する。さらに、ステップＳ６０８では、カメラマイコン１３２は、流し撮り判定部１５３で積分している流し撮り角度をリセットし、流し撮りアシストの開始後の流し撮り角度の計測を開始する。そして、ステップＳ６０９に進む。

ステップＳ６０９では、カメラマイコン１３２は、レリーズスイッチが全押し操作（ＳＷ２ＯＮ）されたか否かを判定する。ＳＷ２ＯＮでない場合は、カメラマイコン１３２はステップＳ６０１に戻る。一方、ＳＷ２ＯＮである場合は、カメラマイコン１３２はステップＳ６１０に進み、後述する流し撮りアシストの可否判定（流し撮り判定）を行う。流し撮りアシストが許可（ＹＥＳ）であれば、カメラマイコン１３２はステップＳ６１１に進む。

ステップＳ６１１では、カメラマイコン１３２は、シャッタ制御部１５１を通じてシャッタ１２１を開動作させて撮像素子１２２の露光を開始させる。さらに、カメラマイコン１３２は、レンズマイコン１１３（流し撮りアシスト制御部１１８）に相対被写体角速度に応じたシフトレンズ群１０４の流し撮りアシスト駆動の制御を行わせる。これにより、被写体像の像面上での変位量を補正する流し撮りアシストを行う。この後、カメラマイコン１３２はステップＳ６１２に進む。

一方、ステップＳ６１０において流し撮りアシストが不許可（Ｎｏ）であれば、カメラマイコン１３２はステップＳ６０４に戻る。この際、ＬＣＤ１７２に流し撮りアシストが行われない旨を表示する警告表示を行ってもよい。

ステップＳ６１２では、カメラマイコン１３２は、再びＳＷ２ＯＮか否かを判定し、ＳＷ２ＯＮの場合はステップＳ６１０に戻って次の露光（連写の次のコマの撮像）のための流し撮り可否判定および露光を行う。一方、ＳＷ２ＯＮでない場合はステップＳ６０１に戻る。

図１には、カメラマイコン１３２（流し撮り判定部１５３）が図６に示したステップＳ６１０で行う流し撮り判定の処理を示している。

ステップＳ３０１において、カメラマイコン１３２は、流し撮りアシストモードが設定されているか否か（流し撮り判定が必要か否か）を判定する。流し撮りアシストモードが設定されていれば、カメラマイコン１３２はステップＳ３０２に進み、流し撮りアシストモードが設定されていなければこのステップでの判定を繰り返す。

ステップＳ３０２において、カメラマイコン１３２は、後述する流し撮り角度を取得してステップＳ３０３に進む。ステップＳ３０３では、カメラマイコン１３２は、相対被写体角速度と前述した流し撮り経過時間とから、主被写体がその角速度を維持して移動し続けた場合の主被写体の移動角度である被写体角度を予測被写体角度として算出する。

次に、ステップＳ３０４では、カメラマイコン１３２は、流し撮り判定を行うための被写体角度の閾値としての流し撮り閾値θを算出する。カメラマイコン１３２は、流し撮り閾値θを、撮像光学系１０１の焦点距離が長い（画角が小さい）ほど小さく算出する。ここでは、流し撮り閾値θを、焦点距離から算出した画角とする。

次に、ステップＳ３０５では、カメラマイコン１３２は、予測被写体角度と流し撮り角度との差の絶対値（以下、角度差という）と流し撮り閾値θとを比較する。そして、角度差が流し撮り閾値θより大きければステップＳ３０６に進み、そうでなければステップＳ３０７に進む。

ステップＳ３０６では、カメラマイコン１３２は流し撮りアシストを許可する。一方、ステップＳ３０７では、カメラマイコン１３２は流し撮りアシストを不許可とする。カメラマイコン１３２は、これらの可否判定結果をレンズマイコン１１３に送信する。流し撮りアシストの不許可の判定結果の送信は、レンズマイコン１１３に対する流し撮りアシストモードの解除の通知となる。

図９には、流し撮り判定部１５３が行う流し撮り判定の概要を示している。１００１はカメラであり、１００２は相対被写体角速度が算出されたタイミングにおける主被写体の位置である。

また、１００３は位置１００２から、算出された相対被写体角速度で主被写体が移動したと想定した場合の主被写体の位置である。位置１００２から位置１００３までの被写体角度を予測被写体角度θ１とする。１００４は角速度センサ１１１からの角速度データを用いて算出された実際の主被写体の位置であり、位置１００２から位置１００４までの被写体角度を流し撮り角度θ２とする。１００５は露光時の撮像光学系１０１の画角であり、流し撮り閾値θ３に相当する。流し撮り判定部１５３は、角度差｜θ１−θ２｜がθ３より大きければ、流し撮りアシストを許可する判定を行う。

図１０のフローチャートには、カメラ信号処理回路１２４（ベクトル判定部１４３、座標・サイズ計算部１４４および拡大部１４５）が流し撮りアシストを用いた撮像により取得された静止画像（流し撮りアシスト画像）に対して行う表示処理を示す。画像処理用コンピュータであるカメラ信号処理回路１２４は、コンピュータプログラムである画像処理プログラムに従って本処理を行う。

ステップＳ７０１では、カメラ信号処理回路１２４は、記録用撮像により生成された流し撮りアシスト画像を拡大表示処理の対象として取り込む。

次に、ステップＳ７０２では、カメラ信号処理回路１２４は、パンニング中における記録用撮像の開始直前のライブビュー映像において動きベクトル検出部１４１により検出された複数の座標での動きベクトルを取得する。

次に、ステップＳ７０３では、カメラ信号処理回路１２４は、ステップＳ７０２で取得した複数の座標での複数の動きベクトルにおいて、前述した主被写体動きベクトルと背景動きベクトルとを判定して分離する。

次に、ステップＳ７０４では、カメラ信号処理回路１２４は、分離した主被写体動きベクトルと背景動きベクトルとを用いて、流し撮りアシスト画像における前述した主被写体領域と背景領域とを設定（特定）する。このステップＳ７０４での各領域の設定方法の詳細については後述する。

次に、ステップＳ７０５では、カメラ信号処理回路１２４は、流し撮りアシスト画像をＬＣＤ１７２上にプレビュー画像（流し撮りアシスト画像の取得時の確認用画像）として表示させる表示処理を開始する。

この際、まずステップＳ７０６において、カメラ信号処理回路１２４は、流し撮りアシスト画像のうち主被写体領域を拡大して、すなわち流し撮りアシスト画像の全体がＬＣＤ１７２に表示される場合よりも拡大して表示する拡大表示処理を行う。

カメラ信号処理回路１２４は、主被写体領域の拡大表示の開始後に所定時間が経過することに応じて又は操作スイッチ群１３１に設けられた表示切替えスイッチの操作に応じて、ステップＳ７０７に進む。

ステップＳ７０７では、カメラ信号処理回路１２４は、流し撮りアシスト画像のうち背景領域を拡大して、すなわち流し撮りアシスト画像の全体がＬＣＤ１７２に表示される場合よりも拡大してＬＣＤ１７２に表示する拡大表示処理を行う。カメラ信号処理回路１２４は、背景領域の拡大表示の開始後に所定時間が経過することに応じて又は上記表示切替えスイッチの操作に応じて、ステップＳ７０８に進む。

ステップＳ７０８では、カメラ信号処理回路１２４は、流し撮りアシスト画像の全体を通常のプレビュー画像としてＬＣＤ１７２上に表示する。

図１２には、図１０に示したステップＳＳ７０３での主被写体動きベクトルと背景動きベクトルとを判定および分離するためにベクトル判定部１４３が作成するヒストグラムを示している。図１２の横軸は複数座標で検出された複数の動きベクトルの大きさ（動きベクトル量）を示し、縦軸は複数の動きベクトルのうち同じ大きさの動きベクトルの数を示している。

ユーザが主被写体の動きを追ってカメラ１２０（および交換レンズ１００）をパンニングすることで、像面上での主被写体像の動きは小さい。このため、主被写体に対応する動きベクトル量は０または０に近い値となる。一方、背景被写体に対してはカメラ１２０がパンニングにより大きく移動するので、像面上での背景被写体像の動きは大きい。このため、背景被写体に対応する動きベクトル量は大きい値となる。したがって、複数座標で検出された複数の動きベクトルのうち動きベクトル量が相対的に小さい（０または０に近い）動きベクトルを主被写体動きベクトルと判定でき、動きベクトル量が相対的に大きい動きベクトルを背景動きベクトルと判定できる。

図１３には、図１０に示したステップＳ７０４で座標・サイズ計算部１４４が主被写体領域と背景領域を設定(特定)する方法を示している。ここでは、例として、背景領域の設定方法について説明する。

図１３において、１３０１はベクトル判定部１４３がパンニング中のライブビュー映像上(動画像上)において主被写体である車の像が存在する領域にて判定した主被写体動きベクトル（動きベクトル量は０に近い）である。１３０２は上記ライブビュー映像上において背景被写体である木の像が存在する領域にて判定した背景動きベクトルである。また、１３０３はベクトル判定部１４３が主被写体動きベクトルでも背景動きベクトルでもないと判定した誤検出動きベクトルである。

また、図１３中の右側には、背景動きベクトル１３０２をそれが検出された垂直座標ごとに水平方向に射影して動きベクトル数を積算したグラフ１３０４を示している。また、図１３中の下側には、背景動きベクトル１３０２をそれが検出された水平座標ごとに垂直方向に射影して動きベクトル数を積算したグラフ１３０５を示している。座標・サイズ計算部１４４は、このような背景動きベクトルの射影積算処理によって、水平方向と垂直方向のそれぞれにおいて背景動きベクトル１３０２の積算値が最も多い座標（位置）として、ピーク水平座標１３０６Ｘおよびピーク垂直座標１３０６Ｙを検出する。

座標・サイズ計算部１４４は、上記ピーク水平および垂直座標１３０６Ｘ，１３０６Ｙをそれぞれ水平座標成分および垂直座標成分とするピーク座標１３０６に対応する流し撮りアシスト画像上(静止画像上)の座標（位置）を背景領域の中心（背景中心）に設定する。そして、この背景中心を中心とする所定サイズの領域を背景領域として設定する。さらに、座標・サイズ計算部１４４は、拡大前の背景領域のサイズとＬＣＤ１７２の画面サイズとの関係から背景領域の拡大率を設定する。拡大部１４５は、背景領域の中心を拡大中心として、設定された拡大率で背景領域の拡大表示処理を行う。これにより、ＬＣＤ１７２に背景被写体の画像を見易く表示することができる。

なお、主被写体領域の拡大表示処理における拡大中心となる座標（主被写体中心）も、同様に主被写体動きベクトル１３０１の水平および垂直方向への射影積算処理を行い、ピーク座標を求めることで設定することができる。拡大部１４５は、この主被写体中心を拡大中心として主被写体領域の拡大表示処理を行う。これにより、ＬＣＤ１７２に主被写体の画像を見易く表示することができる。

図１９には、図１０を用いて説明した流し撮りアシスト画像の表示処理によってＬＣＤ１７２に順次表示される主被写体領域の拡大画像７３０１と、背景領域の拡大画像７３０２と、流し撮りアシスト画像（全体画像）７３０３を示している。この図から分かるように、ＬＣＤ１７２の画面サイズが小さくても、主被写体および背景領域がそれぞれ拡大されて表示されることで、主被写体の静止具合（ぶれの有無）や背景の流れ具合等の流し撮りアシスト画像の画質を容易に確認することができる。

次に、本発明の実施例２として、実施例１とは異なる背景領域（および主被写体領域）の設定方法について説明する。図１０に示したステップＳ７０４において、座標・サイズ計算部１４４は図１４に示す方法で背景領域を設定する。

図１４において、２３０１はベクトル判定部１４３がパンニング中のライブビュー映像上において主被写体である車の像が存在する領域にて判定した主被写体動きベクトルである。２３０２は上記ライブビュー画像上において背景被写体である木の像が存在する領域にて判定した背景動きベクトルである。また、２３０３はベクトル判定部１４３が主被写体動きベクトルでも背景動きベクトルでもないと判定した誤検出動きベクトルである。

背景動きベクトル２３０２は、座標（Ｘ４，Ｙ１），（Ｘ５，Ｙ１），（Ｘ６，Ｙ０），（Ｘ６，Ｙ１），（Ｘ６，Ｙ２），（Ｘ６，Ｙ３），（Ｘ７，Ｙ０），（Ｘ７，Ｙ１），（Ｘ７，Ｙ２），（Ｘ８，Ｙ１），（Ｘ８，Ｙ２）の計１１個の座標で検出されている。本実施例では、座標・サイズ計算部１４４は、以下の式（１）により水平方向での１１個の背景動きベクトル２３０２の重心の座標Ｘを求めるとともに、式（２）により垂直方向での１１個の背景動きベクトル２３０２の重心の座標Ｙを求める。
Ｘ＝（Ｘ４＋Ｘ５＋Ｘ６×４＋Ｘ７×３＋Ｘ８×２）／１１ （１）
Ｙ＝（Ｙ０×２＋Ｙ１×５＋Ｙ２×３＋Ｙ３）／１１ （２）
座標・サイズ計算部１４４は、こうして検出した重心座標（Ｘ，Ｙ）２３０６に対応する流し撮りアシスト画像上の座標を背景中心に設定する。そして、この背景中心を中心とする所定サイズの領域を背景領域として特定する。さらに、座標・サイズ計算部１４４は、拡大前の背景領域のサイズとＬＣＤ１７２の画面サイズとの関係から背景領域の拡大率を設定する。拡大部１４５は、背景中心を拡大中心として、設定された拡大率で背景領域の拡大表示処理を行う。これにより、ＬＣＤ１７２に背景被写体の画像を見易く表示することができる。

なお、主被写体領域の拡大表示処理における拡大中心となる座標（主被写体中心）も、同様に主被写体動きベクトル２３０１の水平および垂直方向での重心座標を求めることで設定することができる。拡大部１４５は、この主被写体中心を拡大中心として主被写体領域の拡大表示処理を行う。これにより、ＬＣＤ１７２に主被写体の画像を見易く表示することができる。

次に、本発明の実施例３として、実施例１，２とは異なる背景領域（および主被写体領域）の設定方法について説明する。図１０に示したステップＳ７０４において、座標・サイズ計算部１４４は図１５に示す方法で背景領域を設定する。

図１５において、３３０１はベクトル判定部１４３がパンニング中のライブビュー映像上において主被写体である車の像が存在する領域にて判定した主被写体動きベクトルである。３３０２は上記ライブビュー映像上において背景被写体である木の像が存在する領域にて判定した背景動きベクトルである。また、３３０３はベクトル判定部１４３が主被写体動きベクトルでも背景動きベクトルでもないと判定した誤検出動きベクトルである。

図１３と同様に、図１５中の右側には、背景動きベクトル３３０２をそれが検出された垂直座標ごとに水平方向に射影して動きベクトル数を積算したグラフ３３０４を示している。また、図１５中の下側には、背景動きベクトル３３０２をそれが検出された水平座標ごとに垂直方向に射影して動きベクトル数を積算したグラフ３３０５を示している。座標・サイズ計算部１４４は、このような背景動きベクトルの射影積算処理によって、水平座標および垂直座標ごとの背景動きベクトルの積算値が所定値より大きい（多い）水平範囲および垂直範囲を求める。

そして、座標・サイズ計算部１４４は、これら水平範囲および垂直範囲を有する領域（図中に太線枠で示す）３３０６に対応する流し撮りアシスト画像上の領域を背景領域として設定する。さらに、座標・サイズ計算部１４４は、拡大前の背景領域のサイズとＬＣＤ１７２の画面サイズとの関係から背景領域の拡大率を設定する。拡大部１４５は、背景中心を拡大中心として、設定された拡大率で背景領域の拡大表示処理を行う。これにより、ＬＣＤ１７２に背景被写体の画像を見易く表示することができる。

なお、主被写体領域も、同様に主被写体動きベクトルの水平および垂直方向への射影積算処理を行い、主被写体動きベクトルの積算値が所定値より大きい水平範囲および垂直範囲を求めることで設定することができる。なお、主被写体動きベクトルの積算値に対する所定値は、上述した背景動きベクトルの積算値に対する所定値と同じであってもよいし、異なっていてもよい。拡大部１４５は、この主被写体領域の中心を拡大中心として主被写体領域の拡大表示処理を行う。これにより、ＬＣＤ１７２に主被写体の画像を見易く表示することができる。

次に、本発明の実施例４として、実施例３とは異なる拡大表示処理の対象領域（部分背景領域）の設定方法について説明する。図１０に示したステップＳ７０４において、座標・サイズ計算部１４４は、図１６に示す方法により、背景領域のうち主被写体領域が重なった領域を除いた部分背景領域を設定する。

図１６において、４３０１はベクトル判定部１４３がパンニング中のライブビュー映像上において主被写体である車の像が存在する領域にて判定した主被写体動きベクトルである。４３０２は上記ライブビュー映像上において背景被写体である木の像が存在する領域にて判定した背景動きベクトルである。また、４３０３はベクトル判定部１４３が主被写体動きベクトルでも背景動きベクトルでもないと判定した誤検出動きベクトルである。

図１６中の右側には、主被写体ベクトル４３０１および背景動きベクトル４３０２をそれぞれ、それらが検出された垂直座標ごとに水平方向に射影して動きベクトル数を積算したグラフ４３０６，４３０４を示している。

また、図１６中の下側には、主被写体ベクトル４３０１および背景動きベクトル４３０２をそれぞれ、それらが検出された水平座標ごとに垂直方向に射影して動きベクトル数を積算したグラフ４３０７，４３０５を示している。座標・サイズ計算部１４４は、このような背景動きベクトルの射影積算処理によって、水平座標および垂直座標ごとの背景動きベクトルの積算値が所定値より大きい（多い）水平範囲および垂直範囲を求める。そして、座標・サイズ計算部１４４は、これら水平範囲および垂直範囲を有する領域（図中に太破線枠で示す）４３１０に対応する流し撮りアシスト画像上の領域を背景領域として設定する。

さらに、座標・サイズ計算部１４４は、上記のような主被写体動きベクトルの射影積算処理によって、水平座標および垂直座標ごとの主被写体動きベクトルの積算値が所定値より大きい（多い）水平範囲および垂直範囲を求める。なお、主被写体動きベクトルの積算値に対する所定値は、上述した背景動きベクトルの積算値に対する所定値と同じであってもよいし、異なっていてもよい。そして、座標・サイズ計算部１４４は、これら水平範囲および垂直範囲を有する領域（図中に点線枠で示す）４３０９に対応する流し撮りアシスト画像上の領域を主被写体領域として設定する。

座標・サイズ計算部１４４は、上記のよう設定した背景領域のうち主被写体領域と重なった領域を除外した部分背景領域（図中に太線枠で示す）４３０８を設定する。そして、拡大前の部分背景領域のサイズとＬＣＤ１７２の画面サイズとの関係から部分背景領域の拡大率を設定する。拡大部１４５は、部分背景領域の中心を拡大中心として、設定された拡大率で部分背景領域の拡大表示処理を行う。これにより、ＬＣＤ１７２に、主被写体を含まない背景被写体の画像を見易く表示することができる。

次に、本発明の実施例５として、実施例１〜４とは異なる背景領域の設定方法について説明する。図１０に示したステップＳ７０４において、座標・サイズ計算部１４４は図１７および図１８に示す方法で背景領域を設定する。

図１７には、ベクトル判定部１４３がライブビュー映像から主被写体動きベクトル５３０１を検出したが、背景動きベクトル５３０２を検出しなかった、言い換えれば背景動きベクトル５３０２を誤検出動きベクトル５３０３の一部として検出した場合を示す。５３０６は主被写体動きベクトル５３０１を用いた実施例１〜４にて説明した方法により設定された被写体領域である。

座標・サイズ計算部１４４は、流し撮りアシスト画像のうち主被写体領域５３０６を除いた領域において、彩度（色差絶対値）が所定の閾値より大きい画素を水平方向および垂直方向にそれぞれ射影して該画素の数を積算する。図１７の右側には、色差絶対値が閾値より大きい画素をその垂直座標ごとに水平方向に射影したときの画素数の積算値（画素積算値）を表すグラフ５３０４を示している。また、図１７の下側には、色差絶対値が閾値より大きい画素をその水平座標ごとに垂直方向に射影したときの画素積算値を表すグラフ５３０５を示している。

そして、座標・サイズ計算部１４４は、このような色差絶対値が閾値より大きい画素の射影積算処理によって、水平座標および垂直座標ごとの画素積算値が所定値より大きい（多い）水平範囲および垂直範囲を求める。そして、座標・サイズ計算部１４４は、これら水平範囲および垂直範囲を有する領域（図中に太線枠で示す）に対応する流し撮りアシスト画像上の領域を背景領域として設定する。

この後、座標・サイズ計算部１４４は、実施例１〜４と同様に背景領域の拡大率を設定し、拡大部１４５は、背景領域の中心を拡大中心として、設定された拡大率で背景領域の拡大表示処理を行う。

本実施例によれば、背景動きベクトルが検出されない場合においても背景領域を設定することができ、該背景領域に対する拡大表示処理を行うことができる。

なお、図１８には、色差絶対値が閾値より大きい画素の射影積算処理を行ったが、垂直座標および水平座標ごとの画素積算値（グラフ６３０３，６３０４）がすべてライン６３０６で示す所定値以下であった場合を示している。この場合は、背景領域を特定できないため、背景領域の拡大表示処理も行わない。この際、ＬＣＤ１７２に背景領域の拡大表示を行わない旨の警告表示を行ってもよい。

実施例１では流し撮りアシスト画像のプレビュー表示時に主被写体領域および背景領域の拡大表示処理を行う場合について説明した。これに対して、本発明の実施例６では、既に記録媒体に記録された流し撮りアシスト画像の再生処理において主被写体領域および背景領域の拡大表示処理を行う。

図１１（Ａ），（Ｂ）にはそれぞれ、本実施例においてカメラ信号処理回路１２４（ベクトル判定部１４３、座標・サイズ計算部１４４および拡大部１４５）が流し撮りアシスト画像に対して行う保存処理および再生処理を示す。カメラ信号処理回路１２４は、コンピュータプログラムである画像処理プログラムに従ってこれらの処理を行う。

まず図１１(Ａ)に示した保存処理について説明する。ステップＳ８０１では、カメラ信号処理回路１２４は、記録用撮像により生成された流し撮りアシスト画像を拡大表示処理の対象として取り込む。

次に、ステップＳ８０２では、カメラ信号処理回路１２４は、パンニング中における記録用撮像の開始直前のライブビュー映像において動きベクトル検出部１４１により検出された複数の座標での動きベクトルを取得する。

次に、ステップＳ８０３では、カメラ信号処理回路１２４は、ステップＳ８０２で取得した複数の座標での複数の動きベクトルにおいて、前述した主被写体動きベクトルと背景動きベクトルとを判定して分離する。

次に、ステップＳ８０４では、カメラ信号処理回路１２４は、分離した主被写体動きベクトルと背景動きベクトルとを用いて、流し撮りアシスト画像における前述した主被写体領域と背景領域とを設定(特定)する。このステップＳ８０４での各領域の設定には、実施例１から５で説明した図１０のステップＳ７０４での設定方法のうちいずれかが用いられる。

次に、ステップＳ８０５では、カメラ信号処理回路１２４は、流し撮りアシスト画像を画像ファイルとして記録部１７１を介して記録媒体に記録（保存）する。この際、カメラ信号処理回路１２４は、撮像画像に関する情報を保存して管理する管理領域(情報保存手段)に、拡大表示処理に必要な情報(以下、拡大表示情報という)を保存する。拡大表示情報には、主被写体領域および背景領域の位置(主被写体中心および背景中心)やサイズ、さらにこれらを拡大する際の拡大率の情報等が含まれている。これにより、保存処理が終了する。

次に、図１１(Ｂ)に示した再生処理について説明する。ステップＳ８０７において、カメラ信号処理回路１２４は、記録媒体に保存された画像ファイル(流し撮りアシスト画像)を読み込む。

次に、ステップＳ８０８では、カメラ信号処理回路１２４は、管理領域から、読み込んだ画像ファイルに対応する拡大表示情報を読み込み、該拡大表示情報から流し撮りアシスト画像の主被写体領域、背景領域および拡大率等を決定する。

そして、ステップＳ８０９では、カメラ信号処理回路１２４は、決定した主被写体領域に対する拡大表示処理を行う。カメラ信号処理回路１２４は、主被写体領域の拡大表示の開始後に所定時間が経過することに応じて又は操作スイッチ群１３１に設けられた表示切替えスイッチの操作に応じて、ステップＳ８１０に進む。

ステップＳ８１０では、カメラ信号処理回路１２４は、決定した背景領域に対する拡大表示処理を行う。カメラ信号処理回路１２４は、背景領域の拡大表示の開始後に所定時間が経過することに応じて又は操作スイッチ群１３１に設けられた表示切替えスイッチの操作に応じて、ステップＳ８１１進む。

ステップＳ８１１では、カメラ信号処理回路１２４は、流し撮りアシスト画像の全体を通常の再生画像としてＬＣＤ１７２上に表示する。

本実施例によれば、記録媒体に記録された流し撮りアシスト画像の再生時においても主被写体および背景領域がそれぞれ拡大されて表示されることで、主被写体の静止具合や背景の流れ具合等の流し撮りアシスト画像の画質を容易に確認することができる。

図８には、本発明の実施例７であるカメラ９３０を含むレンズ交換式カメラシステムの構成を示している。図８において、図１に示した実施例１中に示した構成要素と共通する構成要素には実施例１と同じ符号を付して説明に代える。

実施例１では、シフト素子として、撮像光学系１０１に含まれるシフトレンズ群１０４をシフト駆動することで防振および流し撮りアシストを行う場合について説明した。これに対して、本実施例では、シフト素子として、カメラ９３０内の撮像素子９３４を撮像光学系１０１の光軸に直交する方向にシフト駆動することで防振および流し撮りアシストを行う。

本実施例のカメラ９２０では、カメラ信号処理回路９２４は、動きベクトル検出部１４１と、被写体検出部１４２と、ベクトル判定部１４３のみを有する。一方、カメラマイコン９３１は、シャッタ制御部１５１、被写体角速度算出部１５２および流し撮り判定部１５３に加えて、図３のカメラシステムにおいてはレンズマイコン１１３が有していた防振制御部９５１と流し撮りアシスト制御部９５２とを有する。さらに、本実施例のカメラ９２０は、図３のカメラシステムにおいては交換レンズ１２０が有していた角速度センサ９４１とシフト位置センサ９３３とを有する。角速度センサ９４１は、カメラ９２０の角速度を検出し、シフト位置センサ９３３は撮像素子９３４のシフト位置を検出する。

防振制御部９５１および流し撮りアシスト制御部９５２は、角速度センサ９４１により検出された角速度とシフト位置センサ９３３により検出されたシフト位置に応じて撮像素子９３４をシフト駆動するシフトドライバ９３２を制御する。これにより、撮像素子１０４の防振駆動と流し撮りアシスト駆動を制御する。

本実施例のように、撮像素子９３４をシフト駆動するカメラ９２においても、実施例１〜５にて説明した流し撮りアシスト画像の表示処理や実施例６で説明した流し撮りアシスト画像の保存および再生処理を用いることができる。

さらに、実施例１〜５の表示処理や実施例６の保存および再生処理は、レンズ交換式ではないレンズ一体型カメラにおいて用いることもできる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０４ シフトレンズ群
１２０ カメラ本体
１２２ 撮像素子
１２４ カメラ信号処理回路
１４１ 動きベクトル検出回路
１４３ 動きベクトル判定部
１４４ 座標・サイズ計算部
１４５ 拡大部
１７３ 表示部（ＬＣＤ）

Claims (14)

1. 表示手段を備えた撮像装置において用いられ、移動する主被写体を追ってパンニング中の前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行う画像処理装置であって、
   前記撮像装置により前記パンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルから、前記主被写体に対応する主被写体動きベクトルおよび前記主被写体とは異なる背景被写体に対応する背景動きベクトルを取得するベクトル取得手段と、
   前記主被写体動きベクトルおよび前記背景動きベクトルを用いて、前記静止画像のうち前記主被写体が写った主被写体領域および前記背景被写体が写った背景領域を前記静止画像の全体が前記表示手段に表示される場合よりも拡大して前記表示手段に表示させる拡大表示処理を行う処理手段とを有することを特徴とする画像処理装置。
2. 表示手段を備えた撮像装置において用いられ、移動する主被写体を追ってパンニング中の前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行う画像処理装置であって、
   前記撮像装置により前記パンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルから、前記主被写体とは異なる背景被写体に対応する背景動きベクトルを取得するベクトル取得手段と、
   前記背景動きベクトルを用いて、前記静止画像のうち前記背景被写体が写った背景領域を前記静止画像の全体が前記表示手段に表示される場合よりも拡大して前記表示手段に表示させる拡大表示処理を行う処理手段とを有することを特徴とする画像処理装置。
3. 前記処理手段は、前記背景動きベクトルを用いて、前記背景領域の設定、前記背景領域を拡大するときの中心の設定および前記背景領域のサイズの設定のうち少なくとも１つを行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ベクトル取得手段は、前記複数の動きベクトルから複数の前記背景動きベクトルを取得し、
   前記処理手段は、前記動画像における水平方向と垂直方向のそれぞれにて前記背景動きベクトルの数が最も多い位置を水平座標成分および垂直座標成分とする座標に対応する前記静止画像上の位置を前記中心に設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記ベクトル取得手段は、前記複数の動きベクトルから複数の前記背景動きベクトルを取得し、
   前記処理手段は、前記動画像上における前記複数の背景動きベクトルの重心に対応する前記静止画像上の位置を前記中心に設定することを特徴とする請求項３に記載の画像処理装置。
6. 前記ベクトル取得手段は、前記複数の動きベクトルから複数の前記背景動きベクトルを取得し、
   前記処理手段は、前記動画像における水平方向と垂直方向のそれぞれにて前記背景動きベクトルの数が所定値より多い範囲を水平範囲および垂直範囲とする領域に対応する前記静止画像上の領域を前記背景領域に設定することを特徴とする請求項３に記載の画像処理装置。
7. 前記処理手段は、前記静止画像において前記背景領域に対して前記主被写体が写った主被写体領域が重なっているときは、前記背景領域のうち前記主被写体領域に重なった領域を除いた部分背景領域を拡大して前記表示手段に表示させるように前記拡大表示処理を行うことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記処理手段は、前記ベクトル取得手段により前記背景動きベクトルを取得できない場合は、前記静止画像の彩度に基づいて前記拡大表示処理を行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記撮像装置または該撮像装置に装着された交換レンズは、前記パンニング中に前記主被写体に対応する前記動きベクトルに基づいて撮像光学系の光軸に対してシフト可能なシフト素子を駆動するシフト制御を行い、
   前記処理手段は、前記シフト制御が行われて前記撮像装置により取得された静止画像に対して前記拡大表示処理を行うことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 被写体を撮像する撮像手段と、
    画像を表示する表示手段と、
    請求項１から９のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
11. 前記画像処理装置は、前記静止画像の取得時における確認用画像として前記背景領域を拡大して前記表示手段に表示させることを特徴とする請求項１０に記載の撮像装置。
12. 前記背景領域を拡大して表示するための情報を保存する情報保存手段を有し、
    前記処理手段は、記録媒体から読み出された前記静止画像の再生時に、前記情報保存手段から読み出した前記情報を用いて前記背景領域を拡大して前記表示手段に表示させることを特徴とする請求項１０に記載の撮像装置。
13. 表示手段を備えた撮像装置のコンピュータに、移動する主被写体を追ってパンニング中の前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行わせるコンピュータプログラムであって、
    前記処理は、
    前記撮像装置により前記パンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルから、前記主被写体に対応する主被写体動きベクトルおよび前記主被写体とは異なる背景被写体に対応する背景動きベクトルを取得する処理と、
    前記主被写体動きベクトルおよび前記背景動きベクトルを用いて、前記静止画像のうち前記主被写体が写った主被写体領域および前記背景被写体が写った背景領域を前記静止画像の全体が前記表示手段に表示される場合よりも拡大して前記表示手段に表示させる拡大表示処理とを含むことを特徴とする表示処理プログラム。
14. 表示手段を備えた撮像装置のコンピュータに、移動する主被写体を追ってパンニング中の前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行わせるコンピュータプログラムであって、
    前記処理は、
    前記撮像装置により前記パンニング中に取得された動画像における複数の位置で検出された複数の動きベクトルのうち前記主被写体とは異なる背景被写体に対応する背景動きベクトルを取得する処理と、
    前記背景動きベクトルを用いて、前記静止画像のうち前記背景被写体が写った背景領域を前記静止画像の全体が前記表示手段に表示される場合よりも拡大して前記表示手段に表示させる拡大表示処理とを含むことを特徴とする表示処理プログラム。