JP2006025312A - 撮像装置、及び画像取得方法 - Google Patents

Abstract

【課題】簡単かつ安価な構成で所望の流し撮りによる効果が付与された画像を取得することができる技術を提供する。
【解決手段】撮影モードにおいて、流し撮りモード設定ボタン１４の押下操作により流し撮りモードに設定された状態で、シャッターボタン１３が押下操作されると、撮像センサ１６を用いた連写によって複数の合成用画像が取得される。連写終了後、画像合成部３０Ａで、各合成画像間で相対的な位置が変化している動体に対応する部分画像（動体画像）を検出する。そして、当該検出されたそれぞれにおける動体画像の位置が略一致するように複数の合成用画像を用いて合成することで１フレームの合成画像を生成する。当該合成画像では、動体は静止している一方で、背景（その他のもの）は動体との相対的な位置関係のズレによって流れているように見える画像となる。
【選択図】図２

Description

本発明は、被写体に係る画像を取得する技術に関する。

疾走するレーシングカー等の動体を撮影する際、そのスピード感を強調するために、背景が流れているような画像を取得する”流し撮り”と言われる撮影手法が知られている。しかし、この撮影手法では、動体の動きに合わせて、手でカメラを振るといった不確実性の高い動きが必要となるため、熟練した者でなければ、所望の画像を得ることは難しい。

そこで、動体と撮影レンズとの間に可変頂角プリズムを配設し、露光時間中に、主被写体である動体の速度を検出するセンサの出力に対応した速度で、可変頂角プリズムの頂角を変更するカメラが提案されている（例えば、特許文献１）。このカメラでは、まず、速度センサを作動させて動体の速度検知を行い、プリズムの加速のために必要なプリズム頂角変化量だけ光軸から戻った位置を初期位置としてプリズムをセットしておき、その後、検知した速度に応じてプリズムの頂角を変更させつつ露光を行う。このような動作により、露光時間中には、主被写体に係る光像が撮影面の同一箇所に結像するように制御することができる。その結果、ユーザーが手を使ってカメラを横に振る等といった動作をする必要なしに、流し撮りによる効果と同様な効果が付与された画像を得ることができる。

このような技術に関する先行技術文献としては、以下のようなものがある。

特開平７−９８４７１号公報

しかしながら、特許文献１で提案されているカメラでは、可変頂角プリズムや当該プリズムを駆動させるための機構や速度センサ等、特別な構成が必要であるため、カメラの大型化や製造コストの上昇を招いてしまう。

また、事前に被写体の動きが全く予想できない場合、１回限りのシャッターチャンスにおいては、予め動体の速度を検知することができず、プリズムの初期位置やプリズムの頂角変化の設定が間に合わないといったことも考えられる。したがって、撮影の失敗を招く可能性が高いとも言える。

本発明は、上記課題に鑑みてなされたものであり、簡単かつ安価な構成で所望の流し撮りによる効果が付与された画像を取得することができる技術を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、撮像装置であって、被写体に係る画像を取得する撮像手段と、前記撮像手段を用いて複数の画像を時間順次に取得する連写を実施させる撮影制御手段と、前記複数の画像に基づき、前記複数の画像の各画像について動体に対応する部分画像にあたる動体画像を検出する検出手段と、それぞれにおける前記動体画像の位置が略一致するように前記複数の画像を用いた合成処理を行うことで合成画像を生成する画像生成手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１に記載の撮像装置であって、ユーザーによる一の操作に応答して撮影動作の開始指示を発する指示手段を備え、前記開始指示に応答して、前記撮影制御手段が前記連写を実施させるとともに、前記画像生成手段が前記合成処理を行うことで前記合成画像を生成することを特徴とする。

また、請求項３の発明は、請求項１又は請求項２に記載の撮像装置であって、所定の測光手段による測定結果に基づいて、所定の明るさを示す一の画像を取得するために必要な露光時間であるＴconstを算出する算出手段を備え、前記複数の画像の数をＫ、前記複数の画像の各画像を取得するための露光時間をＴrenとして、Ｋ≦Ｔconst／Ｔrenの関係を満たすように構成されることを特徴とする。

また、請求項４の発明は、請求項１から請求項３のいずれかに記載の撮像装置であって、前記複数の画像のそれぞれに対応する複数のサムネイル画像を表示するサムネイル表示手段と、前記サムネイル表示手段に前記複数のサムネイル画像が表示された状態で、ユーザーの操作に基づき、前記複数のサムネイル画像のうちの一のサムネイル画像を指定する指定手段とを備え、前記画像生成手段が、前記合成画像において前記動体画像が占める位置と、前記指定手段によって指定された一のサムネイル画像において前記動体画像が占める位置とが略一致するように、前記合成処理を行うことを特徴とする。

また、請求項５の発明は、請求項３に記載の撮像装置であって、前記連写が、前記複数の画像の数であるＫよりも多数の画像を取得する動作を含むことを特徴とする。

また、請求項６の発明は、請求項１から請求項５のいずれかに記載の撮像装置であって、ユーザーによって操作されることで、前記撮像装置のモードの設定状態を、前記合成画像を生成する所定のモードに設定された状態に切り替える操作部材を備えることを特徴とする。

また、請求項７の発明は、請求項６に記載の撮像装置であって、前記撮像手段によって取得される画像に基づいて生成される表示画像を表示する手段を備え、前記所定のモードに設定されている場合、前記表示画像が、前記撮像手段によって取得された画像の一部の領域に対応する画像であることを特徴とする。

また、請求項８の発明は、請求項７に記載の撮像装置であって、前記画像生成手段が、画像において前記動体画像が占める位置が略一致するように、前記複数の画像の各画像から前記動体画像を含む所定サイズの部分画像を被合成画像として抽出する抽出手段と、前記抽出手段によって抽出された複数の被合成画像の合成処理を行うことで前記合成画像を生成する手段とを有することを特徴とする。

また、請求項９の発明は、画像取得方法であって、(a)所定の撮像手段を用いて複数の画像を時間順次に取得する連写を実施させるステップと、(b)前記複数の画像に基づき、前記複数の画像の各画像について動体に対応する部分画像にあたる動体画像を検出するステップと、(c)それぞれにおける前記動体画像の位置が略一致するように前記複数の画像を用いた合成処理を行うことで合成画像を生成するステップとを備えることを特徴とする。

請求項１から請求項９のいずれに記載の発明においても、連写によって被写体に係る複数の画像を取得して、各画像について動体に対応する部分画像を検出し、当該検出された各部分画像の位置が略一致するように複数の画像を用いた合成処理を行うことで１フレームの合成画像を生成するような構成とすることで、簡単かつ安価な構成で、高度なテクニックを駆使することなく容易に所望の流し撮りによる効果が付与された画像を取得することができる。

また、請求項２に記載の発明によれば、ユーザーによる撮影動作を開始させるための一の操作に応答して、連写及び合成処理が行われて合成画像が生成されるため、簡単な操作で所望の流し撮りによる効果が付与された画像を取得することができる。

また、請求項３に記載の発明によれば、所定の明るさを示す１フレームの画像を取得するために必要な露光時間をＴconst、連写により取得される複数の画像の数をＫ、当該複数の画像の各画像を取得するための露光時間をＴrenとして、Ｋ≦Ｔconst／Ｔrenの関係を満たすような構成とすることで、複数の画像の数であるＫが比較的小さくなるため、連写により取得される複数の画像を記憶するための記憶容量が小さくて済む。また、連写におけるフレームレートが比較的遅くても済む。

また、請求項４に記載の発明によれば、連写により取得される複数の画像のそれぞれに対応する複数のサムネイル画像を表示させた状態で、ユーザーの操作に基づいて一のサムネイル画像が指定されると、当該一のサムネイル画像の構図と略同一の構図を有する合成画像が生成されるため、所望の構図の合成画像を取得することができる。

また、請求項５に記載の発明によれば、合成処理に用いられる複数の画像の数であるＫよりも多数の画像を連写によって取得することで、所望の構図に近いＫ枚の画像を抽出して合成すること等もできるため、所望の構図が後から変わった場合等でも、他の複数の画像の合成によりフォローすることができる。

また、請求項６に記載の発明によれば、撮像装置のモードの設定状態を、合成画像を生成する所定のモードに設定された状態に切り替える操作部材が設けられているため、必要な時に容易に合成画像を生成するモードに設定することができる。

また、請求項７に記載の発明によれば、合成画像を生成するモードでは、撮像手段によって取得された画像の一部の領域に対応する表示画像が表示されることで、表示画像に従った構図の合成画像を生成すべく複数の画像を合成する際に、画像同士が重ならないエリアの発生を低減することができるため、合成画像の画質劣化を抑制することができる。

また、請求項８に記載の発明によれば、動体に対応する部分画像が占める位置がそれぞれ略一致するように、複数の画像の各画像から動体に対応する動体画像を含む所定サイズの部分画像を被合焦画像として抽出し、それぞれにおける動体画像の位置が略一致するように複数の被合焦画像を合成することで１フレームの合成画像を生成するような構成とすることで、複数の画像を合成する際に、画像同士が重ならないエリアの発生を防止することができるため、合成画像の画質劣化を更に抑制することができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜第１実施形態＞
＜撮像装置の概要＞
図１は、本発明の第１実施形態に係る撮像装置１Ａの外観を示す図である。ここで、図１(ａ)〜(ｃ)は、それぞれ撮像装置１Ａの正面図、背面図及び上面図に相当している。

撮像装置１Ａは、デジタルカメラとして構成されており、その前面に撮影レンズ１０を備えている。また、撮像装置１Ａは、その上面にモード切替スイッチ１２、シャッターボタン１３、及び流し撮りモード設定ボタン１４が設けられている。

モード切替スイッチ１２は、被写体を撮像してその静止画を記憶するモード（撮影モード）と、メモリカード９(図２参照)に記憶された画像を再生するモード（再生モード）と、ＯＦＦモードとを切替えるためのスイッチである。

流し撮りモード設定ボタン１４は、通常のデジタルカメラと同様に単に１回の露光により被写体を撮像して１フレームの静止画を取得してメモリカード９に記憶するモード（通常撮影モード）と、流し撮りと同様な効果が付与された静止画を取得してメモリカード９に記憶するモード（流し撮りモード）との間でモードの切り替えを行うボタンである。そして、撮影モードに設定されている状態で、流し撮りモード設定ボタン１４が押下される毎に、通常撮影モードと流し撮りモードとの間でモードが順次切り替えられる。つまり、流し撮りモード設定ボタン１４は、ユーザーによって押下操作されることで、撮像装置１Ａのモードの設定状態を、流し撮りモードに設定された状態に切り替える専用の操作部材として機能する。

シャッターボタン１３は、半押し状態(Ｓ１オン)と、さらに押し込まれた全押し状態(Ｓ２オン)とを検出可能な２段階スイッチになっている。上記の撮影モードにおいてシャッターボタン１３が半押しされると、ズーム・フォーカスモータドライバ４７(図２参照)が駆動されて、合焦位置に撮影レンズ１０を移動させる動作が行われる。更に、撮影モードにおいてシャッターボタン１３が全押しされると、本撮影動作、つまりメモリカード９へ記憶するための画像を取得する撮影動作が行われる。ここでは、ユーザーによるシャッターボタン１３の１回の全押し操作に応答して、Ｓ２オンとなると、撮影動作を開始する指示（撮影開始指示）が、シャッターボタン１３からカメラ制御部４０Ａ(図２参照)に対して発せられる。

撮像装置１Ａの背面には、撮影された画像などを表示するＬＣＤ(Liquid Crystal Display)モニタ４２と、電子ビューファインダー(ＥＶＦ)４３と、コマ送り・ズームスイッチ１５とが設けられている。

コマ送り・ズームスイッチ１５は、４つのボタンで構成され、再生モードにおける記憶画像のコマ送りや、撮影時のズーミングを指示するためのスイッチである。このコマ送り・ズームスイッチ１５の操作により、ズーム・フォーカスモータドライバ４７が駆動されて、撮影レンズ１０に関する焦点距離を変更できる。

図２は、撮像装置１Ａの機能ブロックを示す図である。

撮像装置１Ａは、撮像センサ１６と、撮像センサ１６にデータ伝送可能に接続する画像処理部３と、画像処理部３に接続するカメラ制御部４０Ａとを備えている。

撮像センサ１６は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターがピクセル毎に配されることで、ＲＧＢの原色透過フィルターが市松状に配列(ベイヤー配列)されたエリアセンサ(撮像素子)として構成されている。この撮像センサ１６は、被写体に係る光像を撮像面に結像させることで、被写体に係る画像信号（「画像」とも称する）を取得する撮像手段として機能する。

また、撮像センサ１６は、Ｃ−ＭＯＳタイプの撮像素子であり、タイミングジェネレータ（ＴＧ）、相関２重サンプリング器（ＣＤＳ）、及びアナログ／デジタル変換器（Ａ／Ｄ）が内蔵されている。ＴＧは、センサー駆動制御部４６による制御信号に基づいて、撮像センサ１６の各種駆動タイミングを制御し、ＣＤＳは、撮像センサ１６で取得されるアナログ画像信号についてサンプリングによるノイズ除去を行い、Ａ／Ｄは、アナログ画像信号をデジタル化する。

更に、撮像センサ１６では、各水平ライン毎にＣＤＳ、Ａ／Ｄが設けられ、水平ライン毎に分割した読出し（ライン分割読出し）が可能であるため、高速での読出しが可能となっている。ここでは、毎秒３００フレーム（３００ｆｐｓ）分の画像信号の読出しが可能となっているものとする。

本撮影前において、被写体を動画的態様でＬＣＤモニタ４２に表示するプレビュー表示(ライブビュー画像の表示)時には、絞り４４の光学絞りが絞りドライバ４５によって開放固定となる。また、シャッタースピード(ＳＳ)に相当する撮像センサ１６の電荷蓄積時間（露光時間）に関しては、撮像センサ１６で取得したライブビュー画像に基づき、カメラ制御部４０Ａが露出制御データを演算する。そして、カメラ制御部４０Ａの制御下で、算出された露出制御データと予め設定されたプログラム線図とに基づいて、撮像センサ１６の露光時間が適正となるように撮像センサ１６に対するフィードバック制御が行われる。

カメラ制御部４０Ａは、ライブビュー画像の画素値に基づいて被写体に係る輝度（被写体輝度）を測定する測光手段としての機能を有する。そして、カメラ制御部４０Ａは、例えば、測定結果たる被写体輝度（例えば、Ｇ色フィルターが配された全画素値の平均値等）に基づいて、予め設定された所定の画素値（明るさ）を示す１フレームの画像を得るために必要な露光時間(Ｔconst)を算出する。

撮像装置１Ａでは、通常撮影モードに設定されている場合には、１回のシャッターボタン１３の全押し操作（レリーズ操作）に応答して、１回の露光による撮影を行う。一方、流し撮りモードに設定されている場合には、通常１回の露光により撮影を行うところを、複数回に分割して露光を行い、当該複数回の露光にそれぞれ対応する複数フレーム分の画像（以下「合成用画像」とも称する）を取得する。その後、設定されたルールに沿って複数の合成用画像を合成して１フレーム分の画像（以下「合成画像」とも称する）を生成する。そのため、流し撮りモードでは、カメラ制御部４０Ａにおいて、露光時間(Ｔconst)に基づき、分割後の１回分の露光（分割露光）の露光時間(Ｔren)と露光回数(Ｋ：Ｋは自然数)とを算出する。なお、ここでは、カメラ制御部４０Ａ内のＲＯＭ等に、ＴconstとＴrenとＫとを関連付けたＬＵＴ(Look-Up Table)が格納されているものとする。

また、絞り４４はメカニカルシャッターを兼用し、本撮影時には、上述のごとく算出される露出制御データと予め設定されたプログラム線図とに基づいて絞り値が求められ、絞りドライバ４５により絞り４４の開放度合いが制御されて、撮像センサ１６での露光量が調整される。流し撮りモード時には、基本的に撮像センサ１６の電子シャッターにより露光量を決める。

そして、撮像センサ１６では、露光に応じた光電変換による電荷（電荷信号）の蓄積が読出しゲートの操作により完了し、読み出される。なお、この読出し時には、ライン分割読出しが行われ、ライン毎にＣＤＳ及びＡ／Ｄによる処理が実施され、撮像センサ１６から出力されるデジタル変換された画像信号（画像データ）に対して画像処理部３で所定の画像処理が施されて、画像ファイルが生成される。

画像処理部３は、画素補間部２９、デジタル処理部３ｐ、及び画像圧縮部３５とを備えている。また、画像処理部３は、測距演算部３６、ＯＳＤ部３７、ビデオエンコーダ３８、及びメモリカードドライバ３９を備えている。

デジタル処理部３ｐは、画像合成部３０Ａ、解像度変換部３１、ホワイトバランス（ＷＢ）制御部３２、ガンマ補正部３３、及びシェーディング補正部３４を有している。

画像処理部３に入力された画像データは、撮像センサ１６の読出しに同期し画像メモリ４１に書込みまれる。以後は、この画像メモリ４１に格納された画像データにアクセスし、画像処理部３で各種の処理が行われる。なお、流し撮りモードに設定されている場合には、１回のレリーズ操作に応答して、期間Ｔconstのうちに露光時間がＴrenであるＫ回の露光による時間的に連続した撮影動作（連写）を行い、Ｋフレームの合成用画像が時間順次に画像メモリ４１に書き込まれる。

画像メモリ４１内の画像データについては、まず画素補間部２９においてＲＧＢ各画素がそれぞれのフィルターパターンでマスキングされた後、高帯域まで画素値を有するＧ画素については、メディアン(中間値)フィルタで周辺４画素の中間２値の平均値を算出して補間する。また、Ｒ画素及びＢ画素に関しては、周囲の同色の画素値の平均値を算出して補間する。

画像合成部３０Ａは、流し撮りモードに設定されている場合に、画素補間部２９で画素補間された複数の合成用画像を用いて、設定された構図となるように合成処理を行い、１フレーム分の合成画像データ（合成画像）を生成する。構図の設定については後述する。なお、通常撮影モードに設定されている場合には、画像合成部３０Ａでは処理が行われない。

画素補間部２９で画素補間された画像データ（画像）、又は画像合成部３０Ａで生成された合成画像は、解像度変換部３１で水平垂直の縮小又は間引きが行われ、設定された記憶用の画素数への解像度変換が行われる。また、モニタ表示用についても、解像度変換部３１で画素の間引きが行われて、ＬＣＤモニタ４２やＥＶＦ４３に表示するための低解像度の画像が作成される。

解像度変換部３１で解像度変換された画像データは、ＷＢ制御部３２によりＲＧＢ各画素が独立にゲイン補正されるホワイトバランス補正が行われる。このＷＢ制御部３２では、例えば、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比及びＧ／Ｂ比とを求め、これらの情報に基づいてＲ及びＢの補正ゲインを設定してホワイトバランス補正を行う。

ＷＢ制御部３２によりホワイトバランス補正された画像データは、シェーディング補正部３４でシェーディング補正が施された後、ガンマ補正部３３により各出力機器に合った非線形変換、具体的にはガンマ補正及びオフセット調整が行われ、画像メモリ４１に格納される。

そして、プレビュー表示時には、画像メモリ４１から読出された６４０×２４０画素の低解像度画像がビデオエンコーダ３８でＮＴＳＣ／ＰＡＬにエンコードされ、これをフィールド画像としてＬＣＤモニタ４２やＥＶＦ４３で画像再生する。

一方、画像をメモリカード９に記憶する時（画像記憶時）には、画像メモリ４１に格納された画像データは、画像圧縮部３５で圧縮処理が行われた後、メモリカードドライバ３９にセットされるメモリカード９に記憶される。このとき、指定された解像度の撮影画像がメモリカード９に記憶されるとともに、再生表示用のスクリーンネイル画像(ＶＧＡ)が作成され、上記の撮影画像にリンクされてメモリカード９に記憶される。そして、画像再生時には、スクリーンネイル画像をＬＣＤモニタ４２に表示することで高速な画像表示が可能となる。

測距演算部３６では、画像メモリ４１に格納される画像データの一部の領域を対象として、隣接画素の画素値の差分の絶対値の総和を、合焦状態を評価するための評価値（合焦評価値）として算出する。そして、本撮影直前のＳ１オンの状態において、カメラ制御部４０Ａと測距演算部３６とが協働することで、撮影レンズ１０内のフォーカスレンズを光軸方向に駆動させつつ、合焦評価値が最大となるフォーカスレンズ位置を検出するオートフォーカス制御（ＡＦ）が行われる。

ＯＳＤ(オン・スクリーン・ディスプレイ)部３７は、各種の文字、記号及びフレーム等を生成し、表示画像の任意位置に重ねることが可能である。このＯＳＤ部３７により、ＬＣＤモニタ４２には各種の文字、記号及びフレーム等が必要に応じて表示できる。

カメラ制御部４０Ａは、ＣＰＵ、ＲＯＭ及びＲＡＭを備え、撮像装置１Ａの各部を統括的に制御する部位である。具体的には、上記のモード切替スイッチ１２やシャッターボタン１３や流し撮りモード設定ボタン１４等を有するカメラ操作スイッチ５０に対してユーザーが行う操作入力を処理する。したがって、例えば、カメラ制御部４０Ａによる制御下で、ユーザーが流し撮りモード設定ボタン１４を押下操作することで、流し撮りモードを含む複数のモード間（ここでは、通常撮影モードと流し撮りモードとの間）で、モードの設定状態が切り替わる。

＜流し撮りモード＞
列車や車等、移動している物体を主要な被写体（主被写体）として、移動している物体は動かずに、背景が流れているように見える画像を取得する”流し撮り”は、移動中の物体を追いかけるように手でカメラを振って撮影を行う高等テクニックである。よって、素人にとっては流し撮りによって所望の画像を得ることは難しい。

そこで、本発明の第１実施形態に係る撮像装置１Ａでは、流し撮りモードに設定することで、撮像装置１Ａを手で振ることなく、流し撮りと同様な効果が付与された画像を取得することができるようになっている。

まず、流し撮りモードの概要について説明する。

図３は、流し撮りモードにおける連写によって得られる画像を例示する図である。

撮像装置１Ａが流し撮りモードに設定されている状態で、例えば、トラックが左方から右方へ移動していくようなシーンを、撮像装置１Ａを手で振ることなく固定して撮影すると、露光時間がＴrenであるＫ回（ここでは、Ｋ＝４）の露光による連写により、図３(a)〜(d)に示すような４フレームの合成用画像Ｐ１〜Ｐ４が取得される。連写終了後、４フレームの合成用画像のうちの一の合成用画像が構図の基準となる画像（構図基準画像）として指定される。すると、画像合成部３０Ａにおいて、４フレームの画像の違いから移動している動体をとらえた部分画像（以下「動体画像」とも称する。図３に示す画像については、動体であるトラックに対応する動体画像ＴＲ）が検出される。そして、画像合成部３０Ａにおいて、それぞれにおける動体画像ＴＲの位置が略一致するように、構図基準画像として指定された一の合成用画像に対して、他の合成用画像が合わせ込まれて合成される合成処理が行われることで、１フレームの合成画像が生成される。したがって、生成された合成画像において動体画像ＴＲが占める位置と、構図基準画像において動体画像ＴＲが占める位置とが略一致する。

なお、ここで言う「それぞれにおける動体画像ＴＲの位置が略一致するように合成すること」は、理想的には「動体の同一の部分に係る各画像の位置が完全に合致するように合成すること」、すなわち「それぞれにおける動体画像ＴＲの位置が完全一致するように合成すること」である。但し、撮像装置１Ａによってとらえられる動体の種類や状態によっては、当該動体の形状や形態は刻々と変化する場合がある。そのような場合には、複数の合成用画像について、動体の同一の部分に係る各画像の位置を完全に合致させることはできないため、動体の同一の部分に係る各画像の位置がほぼ合致するような合成処理を行わざるを得ない。したがって、ここでは、「動体の同一の部分に係る各画像の位置がほぼ合致するように合成すること」を含む表現として「それぞれにおける動体画像ＴＲの位置が略一致するように」という文言を使用している。

ここで、例えば、図３(a)〜(d)に示す４フレームの合成用画像Ｐ１〜Ｐ４のうち、図３(c)に示す合成用画像Ｐ３が構図基準画像として後述するように指定された場合には、画像に占める動体画像ＴＲの位置（すなわち構図）が、図３(c)に示す合成用画像Ｐ３と同様となるように、合成用画像Ｐ３に対して、他の合成用画像Ｐ１，Ｐ２，Ｐ４が合わせ込まれて、図４に示すような合成画像ＲＰが生成される。この合成画像ＲＰは、動体であるトラックは静止している一方で、背景（その他のもの）はトラックとの相対的な位置関係によって流れているように見える画像となる。

＜流し撮りモードにおける動作＞
図５は、流し撮りモードにおける撮像装置１Ａの動作フローを示すフローチャートである。本動作フローは、カメラ制御部４０Ａの制御下で実現され、撮影モードにおいて、流し撮りモード設定ボタン１４がユーザーによって押下操作されることで、流し撮りモードに設定されると、流し撮りモードにおける動作フローが開始され、図５のステップＳ１に進む。なお、撮影モード選択時に、ライブビュー表示状態となる。

ステップＳ１では、ユーザーにより、シャッターボタン１３が半押しされた状態（Ｓ１オン）となったか否か判定する。このステップＳ１では、Ｓ１オンとなるまでステップＳ１の判定を繰り返し、Ｓ１オンとなるとステップＳ２に進む。

ステップＳ２では、Ｓ１オンとなったことに応答して、オートフォーカス制御（ＡＦ）、自動露光制御（ＡＥ）が行われて、露光時間(Ｔconst)が算出されるとともに、連写における露光時間(Ｔren)と露光回数すなわち合成枚数(Ｋ)とが設定され、ステップＳ３に進む。

このステップＳ２では、例えば、ＡＥによって算出された露光時間(Ｔconst)に基づいて、Ｋ＝Ｔconst／Ｔrenの関係を満たすようなＫとＴconstとＴrenとの関係を示すＲＯＭ内のＬＵＴから、対応する露光時間(Ｔren)と露光回数(Ｋ)とが読出されて、連写用のパラメータとして設定される。ＲＯＭ内のＬＵＴでは、例えば、Ｔconst＝１／１５秒に対しては、Ｋ＝１０、Ｔren＝１／１５０秒が関連付けられ、Ｔconst＝１／４秒に対しては、Ｋ＝１０、Ｔren＝１／４０秒が関連付けられるといった具合に、ＴconstとＫとＴrenとが関連付けられて記憶されている。

ステップＳ３では、ユーザーにより、シャッターボタン１３が全押しされた状態（Ｓ２オン）となったか否か判定する。このステップＳ３では、Ｓ２オンとなるまでステップＳ２に戻ってはステップＳ２及びステップＳ３の処理を繰り返し、Ｓ２オンとなるとステップＳ４に進む。なお、Ｓ２オンとなると、シャッターボタン１３からカメラ制御部４０Ａに対して撮影開始指示が発せられる。

ステップＳ４では、撮影開始指示に応答して、ステップＳ２における設定に応じた連写を行い、Ｋフレーム（一般的には複数フレーム）の合成用画像を時間順次に取得して画像メモリ４１に一時的に記憶し、ステップＳ５に進む。なお、このステップＳ４における連写では、撮像センサ１６において露光時間Ｔrenの各露光に対応した画像の読出しが行われるが、この画像の読出し間隔（フレームレート）が、Ｔconst／Ｋとなるように設定される。例えば、Ｔconst＝１／１５秒、Ｋ＝１０、Ｔren＝１／１５０秒である場合には、フレームレートが１／１５０秒に設定される。

ステップＳ５では、画像メモリ４１に一時的に記憶された複数フレームの合成用画像に係るサムネイル画像を連写直後にＬＣＤモニタ４２に表示するように設定されているか否か判定する。連写直後にサムネイル画像を表示するか否かの設定は、Ｓ１オンになる前に、ユーザーがカメラ操作スイッチ５０を種々操作することで実施することができる。そして、このステップＳ５では、サムネイル画像をＬＣＤモニタ４２に表示するように設定されている場合には、ステップＳ６に進み、表示するように設定されていない場合には、ステップＳ８に進む。

ステップＳ６では、画像メモリ４１に一時的に記憶された複数フレームの合成用画像のそれぞれに対応する複数のサムネイル画像がＬＣＤモニタ４２上に空間順次に並べられて表示され、ステップＳ７に進む。例えば、図３で示した４フレームの合成用画像が画像メモリ４１に記憶されている場合には、図６に示すように、図３(a)〜(d)にそれぞれ対応する４つのサムネイル画像が同時にＬＣＤモニタ４２上に表示される。

ステップＳ７では、複数の合成用画像に係るサムネイル画像がＬＣＤモニタ４２に表示された状態で、ユーザーによるカメラ操作スイッチ５０の操作に応答して構図が設定され、ステップＳ９に進む。このステップＳ７では、ユーザーによる操作に応答して、複数のサムネイル画像のうちの１つのサムネイル画像が指定されることで、指定されたサムネイル画像に係る合成用画像が構図基準画像として指定され、結果として構図が設定される。例えば、図６に示すように、ユーザーがカメラ操作スイッチ５０を操作することで、太枠カーソルＣＳを所望のサムネイル画像に合わせて選択することで、１つのサムネイル画像が指定される。

ステップＳ８では、画像メモリ４１に一時的に記憶された複数フレームの合成用画像のうち、動体画像が最も画像の中央近くに位置する合成用画像が構図基準画像として指定されることで、構図が設定され、ステップＳ９に進む。このステップＳ８では、例えば、パターンマッチング等の手法により、複数フレームの合成用画像の違いを検出することで、複数フレームの合成用画像について動体画像を検出し、合成用画像に占める動体画像の位置が画像の中央に最も近い合成用画像が抽出される。そして、抽出された合成用画像が構図基準画像として指定されることで、最終的に生成される合成画像の構図が設定される。このように、デフォルトの設定により、動体画像が最も中央（より一般的には所定位置）近くに位置する合成用画像に係る構図が自動的に設定されることで、構図を選択する手間（煩雑な操作）を省くことができる。

ステップＳ９では、ステップＳ７又はステップＳ８において設定された構図に従って、合成用画像を用いた合成処理による合成画像の生成、及び当該合成画像のメモリカード９への記憶（記憶処理）が実施され、ステップＳ１に戻る。

このステップＳ９では、図３及び図４で示したように、構図基準画像として指定された合成用画像（例えば、図３(c)で示した合成用画像Ｐ３）に対して、各動体画像の位置が略一致するように、他の合成用画像（例えば、図３で示した合成用画像Ｐ１，Ｐ２，Ｐ４）を合わせ込むような合成処理が行われる。そうすることで、１フレームの合成画像（例えば、図４で示した合成画像ＲＰ）が生成される。換言すれば、動体画像の位置合わせを行いつつ、合成処理が行われて１フレームの合成画像が生成される。

この合成処理では、各合成用画像間における動体画像の相対的な位置関係の変化量が小さな場合には、単に複数の合成用画像を合成するだけで、背景等の動体以外の物体が自然に流れているように見える画像を生成することができる。

しかし、各合成用画像間における動体画像の相対的な位置関係の変化量が大きな場合には、単に複数の合成用画像を合成しただけでは、背景等の動体以外の物体が自然に流れているように見える画像を生成することができない。したがって、このような場合には、このステップＳ９では、各合成画像間における動体画像の相対的な位置関係の変化、すなわち動体の動きを示すベクトル（動きベクトル）を検出し、その動きベクトルに応じて主被写体以外の物体が流れているように見える画像となるように、画像処理を付加する。

また、ステップＳ７又はステップＳ８において設定された構図に従って、単に合成用画像を合わせ込んで合成画像を生成すると、合成画像の周縁部付近において、合成した全合成用画像が相互に重なり合わない部分が生じる。例えば、図３(a)〜(d)で示された合成用画像Ｐ１〜Ｐ４が取得されて、図３(c)の構図が設定された場合には、各動体領域ＴＲの位置が一致するように合成処理を行うと、図３(a)，(b)で示した合成用画像Ｐ１，Ｐ２は、合成用画像Ｐ３の左端付近とは重なり合わない。よって、図３(c)の構図に従って、単に図３(a)〜(d)の合成用画像を合成しただけでは、全合成用画像が相互に重なり合わない部分が生じてしまう。そして、このような合成用画像が相互に重なり合わない領域を、そのまま放置しておくと、当該部分の輝度が不自然に低くなってしまい、シェーディングとなってしまう。

そこで、合成用画像が相互に重なり合わない領域については、通常のシェーディング補正と同様な画素値を増幅させる補正を行うことで、輝度が不自然に低くなってしまう領域の発生を防止する。具体的には、例えば、４フレームの合成用画像を合成して１フレームの合成画像を生成する場合、単に合成した後に、ｎフレーム（ｎは自然数）の合成用画像が重ならない領域については、画素値を４／（４−ｎ）倍に増幅させる補正を施す。更に、当該画素値が増幅された領域のうち、主被写体である動体以外を捉えた領域については、各合成用画像間における動体に係る動きベクトルに応じて、主被写体以外の物体が流れているように見える画像となるように、画像処理を付加する。

このようにして、ユーザーによるシャッターボタン１３の１回の押下操作によって発せられる撮影開始指示に応答して、カメラ制御部４０Ａが連写を実施させる。そして、画像合成部３０Ａにおいて、連写によって取得された複数の合成用画像を用いた合成処理が行われて、１フレームの合成画像が生成される。

以上のように、本発明の第１実施形態に係る撮像装置１Ａでは、流し撮りモードに設定された状態で、連写によって被写体に係る複数の合成用画像を取得する。そして、連写終了後、複数の合成用画像について相対的な位置が変化している動体に対応する動体画像を検出する。更に、当該検出されたそれぞれにおける動体画像の位置が略一致するように複数の合成用画像を用いて合成処理を行うことで、１フレームの合成画像を生成する。この合成画像では、動体は静止している一方で、背景（その他のもの）は動体との相対的な位置関係のズレによって流れているように見える画像となる。したがって、このような構成により、簡単かつ安価な構成で、高度なテクニックを駆使することなく容易に所望の流し撮りによる効果が付与された画像を取得することができる。また、撮像装置の使い勝手も向上する。

また、ユーザーによるシャッターボタン１３の全押しという１つの操作に応答して、連写及び合成処理が行われるため、簡単な操作で所望の流し撮りによる効果が付与された画像を取得することができる。

また、連写により取得された複数の合成用画像のそれぞれに対応する複数のサムネイル画像をＬＣＤモニタ４２に表示させた状態で、ユーザーの操作に基づいて１つのサムネイル画像を指定すると、当該指定された１つのサムネイル画像の構図と同様な構図を有する合成画像が生成される。したがって、所望の構図の合成画像を取得することができる。

また、撮像装置１Ａのモードの設定状態を、合成画像を生成する流し撮りモードに設定された状態に切り替える操作部材である流し撮りモード設定ボタン１４が設けられているため、必要な時に容易に合成画像を生成する流し撮りモードに設定することができる。

＜第２実施形態＞
上述した第１実施形態に係る撮像装置１Ａでは、合成用画像を合成する過程で、画像の周縁部付近において、合成用画像が相互に重なり合わない領域が生じるため、画素値を増幅させる補正を行うことで、輝度が不自然に低くなってしまう領域の発生を防止した。このような画素値の増幅による補正を施すことによって最終的に生成される合成画像では、ノイズの増幅等により若干なりとも画質の劣化を招く。更に、当該画素値が増幅された領域のうち、主被写体である動体以外を捉えた領域については、動体に係る動きベクトルに応じて、主被写体以外の物体が流れているように見える画像となるように、画像処理が付加されるため、画像が不自然なものとなり、この点からも画質の劣化を招くことになる。

このような問題点を解消するために、本発明の第２実施形態に係る撮像装置１Ｂでは、流し撮りモードに設定されると、撮影レンズ１０が自動的にワイド側に駆動する。そして、撮像センサ１６で取得される画像の一部の領域に対応する画像がＬＣＤモニタ４２等に表示される。つまり、ＬＣＤモニタ４２上等で表示される画像（合成用画像に係るサムネイル画像、及びライブビュー画像等）よりも広範囲の被写体を捉えた画像が撮像センサ１６により取得される。そうすることで、所望の構図に従った合成画像を生成する過程で、画像の周縁部付近において、合成用画像同士が相互に重なり合わない領域が生じないようにしている。

なお、本発明の第２実施形態に係る撮像装置１Ｂは、流し撮りモードにおける撮影レンズ１０の駆動、画像合成の手法、及びライブビュー画像やサムネイル画像のサイズが、第１実施形態に係る撮像装置１Ａとは異なる。しかし、それら異なる部分に係る機能構成（画像合成部３０Ｂ、カメラ制御部４０Ｂ）以外の部分については、第１実施形態に係る撮像装置１Ａと同様となるため、当該同様となる部分については、同じ符合を付して説明を省略する。

以下、第２実施形態に係る撮像装置１Ｂにおいて、第１実施形態に係る撮像装置１Ａと異なる部分について主に説明する。

図７は、撮像装置１Ｂが流し撮りモードに設定された状態における撮影範囲と表示範囲との関係を例示する図である。図７に示すように、流し撮りモードに設定された状態では、撮像センサ１６によって画像ＣＰが取得される。そして、画像ＣＰの中央付近の一部の領域（破線で囲まれた領域）ＰＰに係る画像が抽出され、図８に示すように、ライブビュー画像やサムネイル画像等といったＬＣＤモニタ４２等に表示される表示画像ＤＰが生成される。

よって、例えば、構図をライブビューで確認しつつ連写を行い、連写直後において、図３(a)〜(d)に示すようなサムネイル画像が合成用画像に係るサムネイル画像としてＬＣＤモニタ４２上に表示されても、画像メモリ４１には、表示画像でとらえられる被写体よりも広範囲の被写体をとらえた合成用画像ＣＰ１〜ＣＰ４（図９〜図１２）が記憶されている。

したがって、例えば、ユーザーの操作に基づいて、図３(c)に示すような構図が設定された場合には、画像合成部３０Ｂにおいて、各合成用画像ＣＰ１〜ＣＰ４間における動体に係る動きベクトルが検出される。そして、画像合成部３０Ｂにおいて、図９〜図１２に示すように、当該動きベクトルに応じて、画像全体において動体画像ＴＲが占める位置が図３(c)に示す画像と略一致するように、各合成用画像ＣＰ１〜ＣＰ４から、動体画像ＴＲを含む所定サイズの破線で囲まれる領域に係る画像（「被合成画像」とも称する）ＰＰ１〜ＰＰ４が抽出される。更に、それぞれにおける動体画像ＴＲの位置が略一致するように、被合成画像ＰＰ１〜ＰＰ４を合成する合成処理等を行うことで１フレームの合成画像が生成される。その結果、画素値を増幅させる補正を行うことなく、図４に示すような１フレームの合成画像ＲＰを得ることができる。

以下、流し撮りモードにおける撮像装置１Ｂの動作フローについて説明する。

図１３は、流し撮りモードにおける撮像装置１Ｂの動作フローを示すフローチャートである。本動作フローは、カメラ制御部４０Ｂの制御下で実現され、撮影モードにおいて、流し撮りモード設定ボタン１４がユーザーによって押下操作されることで、流し撮りモードに設定されると、流し撮りモードにおける動作フローが開始され、図１３のステップＳ１１に進む。なお、撮影モード選択時に、ライブビュー表示状態となる。

ステップＳ１１では、撮影レンズ１０が自動的にワイド側に駆動して、撮像センサ１６で撮影される被写体の範囲（撮影範囲）が広げられるとともに、撮像センサ１６で取得される画像のうち表示に使用される領域（表示エリア）を変更し、ステップＳ１２に進む。例えば、図７に示したように、撮像センサ１６で取得される画像ＣＰの一部の領域ＰＰに係る画像がＬＣＤモニタ４２等に表示される状態に設定される。

ステップＳ１２では、Ｓ１オンとなったか否か判定し、Ｓ１オンとなるまでステップＳ１２の判定が繰り返され、Ｓ１オンとなるとステップＳ１３に進む。そして、ステップＳ１３では、図５のステップＳ２と同様に、Ｓ１オンとなったことに応答して、ＡＦ、ＡＥが行われて、露光時間(Ｔconst)が算出されるとともに、連写における露光時間(Ｔren)と合成枚数(Ｋ)が設定される。そして、ステップＳ１４で、Ｓ２オンとなったか否か判定し、Ｓ２オンとなるまでステップＳ１３及びステップＳ１４の処理を繰り返し、Ｓ２オンとなるとステップＳ１５に進む。

ステップＳ１５では、ステップＳ１３における設定に応じて、連写を行うことで、Ｋフレームの合成用画像を時間順次に取得して画像メモリ４１に一時的に記憶し、ステップＳ１６に進む。このステップＳ１５では、撮像センサ１６におけるフレームレートがＴconst／Ｋに設定された連写を行い、例えば、図９〜図１２に示すような合成用画像ＣＰ１〜ＣＰ４が画像メモリ４１に記憶される。

ステップＳ１６では、画像メモリ４１に一時的に記憶された複数フレームの合成用画像に係るサムネイル画像をＬＣＤモニタ４２に表示するように設定されているか否かを判定する。このステップＳ１６では、サムネイル画像をＬＣＤモニタ４２に表示するように設定されている場合には、ステップＳ１７に進み、表示するように設定されていない場合にはステップＳ１９に進む。

ステップＳ１７では、画像メモリ４１に一時的に記憶された複数の合成用画像に係るサムネイル画像がＬＣＤモニタ４２に表示される。なお、ここでは、例えば、合成用画像ＣＰ１〜ＣＰ４（図９〜図１２）が画像メモリ４１に記憶されている場合には、合成用画像ＣＰ１〜ＣＰ４それぞれの中央付近の一部の領域に対応するサムネイル画像（図３(a)〜(d)に示す画像と同様なもの）がＬＣＤモニタ４２上に空間順次に並べられて表示される（図６）。

ステップＳ１８では、図５のステップＳ７と同様に、ユーザーによるカメラ操作スイッチ５０の操作に応答して構図が設定され、ステップＳ２０に進む。一方、ステップＳ１９では、図５のステップＳ８と同様に、画像メモリ４１に一時的に記憶された複数フレームの合成用画像のうち、動体画像が最も中央近くに位置する合成用画像に係る構図が最終的な合成画像に係る構図として設定され、ステップＳ２０に進む。

ステップＳ２０では、ステップＳ１８又はステップＳ１９で設定された構図に従って、合成用画像を用いた合成処理による合成画像の生成、及び当該合成画像のメモリカード９への記憶（記憶処理）が実施され、ステップＳ１１に戻る。このステップＳ２０では、図９〜図１２で示したように、例えば、構図基準画像として指定された被合成画像ＰＰ３に対して、他の被合成画像ＰＰ１，ＰＰ２，ＰＰ４を合わせ込むような合成処理を行うことで、１フレームの合成画像（例えば、図４で示した合成画像ＲＰ）を生成することができる。このステップＳ２０では、図５のステップＳ９と同様に、各合成用画像間における動体に係る動きベクトルが大きな場合には、動きベクトルに応じて主被写体以外の物体が流れているように見える画像となるように画像処理を付加する。

以上のように、本発明の第２実施形態に係る撮像装置１Ｂでは、流し撮りモードに設定された場合には、撮像センサ１６によって取得される合成用画像ＣＰ１〜ＣＰ４の一部の領域に対応する表示画像が抽出されて、ＬＣＤモニタ４２等に表示される。このような構成とすることで、所望の合成画像を生成するために、表示画像に従った構図の合成画像を生成すべく複数の画像を合成する際、画像同士が相互に重ならないエリアの発生を低減することができる。その結果、自然な合成画像を得ることができ、合成画像の画質劣化を抑制することができる。

また、主被写体である動体に対応する動体画像の占める位置がそれぞれ略同一となるように、複数の合成用画像ＣＰ１〜ＣＰ４から動体画像を含む被合成画像ＰＰ１〜ＰＰ４をそれぞれ抽出する。そして、それぞれにおける動体画像の位置が略一致するように、複数の被合成画像ＰＰ１〜ＰＰ４を合成して、１フレームの合成画像ＲＰを生成する。このような構成により、複数の画像を合成する際に、画像同士が相互に重ならないエリアの発生を防止することができる。その結果、合成画像の画質劣化を更に抑制することができる。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上述した実施形態では、Ｋ＝Ｔconst／Ｔrenの関係を満たしたが、これに限られず、例えば、Ｋ＜Ｔconst／Ｔrenの関係を満たすようなＫとＴconstとＴrenとの関係を示すＲＯＭ内のＬＵＴから、露光時間(Ｔconst)に対応する露光時間(Ｔren)と露光回数(Ｋ)とが読出されて、連写用のパラメータとして設定されるようにしても良い。但し、Ｋ＜Ｔconst／Ｔrenの関係を満たす場合には、合成画像における輝度が低くなってしまうため、ＡＧＣゲイン等による感度アップによって合成画像の輝度が適正となるように調整するようにすれば良い。なお、ＡＧＣゲイン等による感度アップはノイズ成分も増幅して画像の劣化を招くが、ノイズが増幅されても複数の画像を合成することで合成画像を生成するため、感度アップの度合いが小さな場合には、ノイズは平均化されてあまり目立たない。

このように、Ｋ≦Ｔconst／Ｔrenの関係を満たすようにすれば、連写により画像メモリ４１に記憶される合成用画像のフレーム数（Ｋ）が比較的少なくて済むため、画像メモリ４１の容量が少なくて済む。また、期間Ｔconstにおける露光及び読出しの回数が少なくて済むため、連写における撮像センサ１６での画像信号の読出し間隔（フレームレート）が比較的長くなっても良い。但し、Ｋ＜Ｔconst／Ｔrenの関係を満たすようにして、Ｋを小さくして連写における各露光の間隔が長くなればなるほど、各合成画像間における動体に係る動きベクトルが大きくなるため、このような設定は、動きの遅い動体を撮影する場合等に適していると言える。

一方、仮に、Ｋ＞Ｔconst／Ｔrenの関係を満たすとすると、期間Ｔconstにおいて露光時間がＴrenであるＫ回の露光を行うことができないが、出来るだけ高速のフレームレートを採用することで、およそＴren×Ｋの期間において、Ｋ回の露光を行うことができる。そして、このような場合には、感度を下げることで適正な輝度レベルを有する合成画像を得ることが出来るが、合成用画像のフレーム数（Ｋ）が増加して、画像メモリ４１の容量を大きくする必要性があるといったデメリットを生じる。したがって、コストの低減等といった観点からすれば、Ｋ≦Ｔconst／Ｔrenの関係を満たす方が望ましい。

◎また、上述した実施形態では、合成用画像を取得する連写時には、撮像装置１Ａ，１Ｂを手で振ることなく、撮影方向を固定して撮影することを前提としたが、これに限られず、撮影方向が若干ずれても良い。

このような構成では、複数の合成用画像間で画像に対する動体に係る位置も背景に係る位置も変化するため、動体画像を検出することが難しい。しかし、例えば、主被写体である動体に合焦し、背景等には合焦していないことを利用して、合成用画像をエリア分割し、合焦評価値が最も大きなエリアに動体画像が位置しているものとみなして、動体画像を検出することができる。

◎また、上述した実施形態では、複数の合成用画像に係るサムネイル画像を表示した状態で、一のサムネイル画像に係る構図を選択したが、これに限られず、例えば、ユーザーの操作に応じて画像の特定位置（例えば、中央）付近に動体が存在する構図を指定することができるようにしても良い。

◎また、上述した実施形態では、Ｓ１オンの状態において、露光時間Ｔrenが決まったが、これに限られず、例えば、前もって、実際に撮影したい動体と同様な速度で動く被写体を試し撮りして、露光時間Ｔrenを決めるようにしても良い。具体的には、例えば、被写体の速度に応じた複数のＬＵＴ（ＴconstとＴrenとＫとを関連付けたＬＵＴ）をＲＯＭ内に格納しておき、試し撮り時に、動体に係る動きベクトル（移動速度）を検出して、その検出結果に応じて、採用するＬＵＴを切り替えても良い。更に、試し撮り時に、露光時間Ｔrenを算出して、露光時間Ｔren及び露光回数Ｋを算出しても良い。すなわち、事前に、動体の速度に応じたＴrenを決定しても良い。このような構成とすることで、動体の速度に応じて連写時のフレームレートが変更されるため、各合成用画像間における動体に係る動きベクトルが大きくならず、背景等の動体以外の物体が自然に流れているように見える合成画像を生成することができる。

また、予め、主被写体である動体の速度が予想される場合には、ユーザーの各種操作に応答して、被写体の速度に応じた複数のＬＵＴから所望のＬＵＴを採用することができるようにしても良い。具体的には、「高速」「中速」「低速」のうちから被写体の移動速度を選択したり、「新幹線」「自転車」「走者」といった被写体の種類を選択することで、間接的に被写体の速度を選択したりすることで、所望のＬＵＴを採用することができるようにしても良い。

◎また、上述した実施形態では、連写によって得られる合成用画像がＫフレームであったが、例えば、主被写体である動体の速度に応じて取得される合成用画像のフレーム数を変更するようにしても良い。具体的には、例えば、「高速」「中速」「低速」のうちから主被写体の移動速度をユーザーが選択し、「高速」が選択された場合にはＫ＝２０、「中速」が選択された場合にはＫ＝１０、「低速」が選択された場合にはＫ＝５とするようにしても良い。

なお、主被写体以外の物体が自然に流れているような合成画像を生成するためには、合成に用いる合成用画像のフレーム数（Ｋ）が多い方が好ましい。しかしながら、フレーム数（Ｋ）が多すぎると、大容量の画像メモリ４１が必要となりコストアップを招く。よって、所望の合成画像を得ることと、コストとのバランスを考えて、合成用画像のフレーム数（Ｋ）を設定する必要性がある。

◎また、上述した実施形態では、連写によって取得した合成用画像の全てを用いて合成画像を生成したが、これに限られず、例えば、実際に合成に用いるフレーム数（Ｋ）よりも多くのフレーム数の合成用画像を連写によって取得しておき、取得された多数の合成用画像の一部の合成用画像を用いて合成画像を生成するようにしても良い。このような構成により、連写終了後に、所望の構図が後から変わった場合にも、時間的に前後の合成用画像も取得されているため、例えば、所望の構図に近いＫフレームの画像を適宜抽出して合成する等、他の複数の合成用画像の合成によりフォローすることができる。

更に、多数フレームの合成用画像を連写によって取得しておき、各合成用画像間における動体に係る動きベクトルに応じて、実際に合成に使用する合成用画像のフレーム数(Ｋ)を変更しても良い。例えば、動きベクトルが所定値よりも小さな場合には、Ｋを大きくし、動きベクトルが所定値以上の場合には、Ｋを小さくするようにしても良い。このような構成とすることで、主被写体以外の背景等がしっかりと流れて見える合成画像を得ることができる。

◎また、第２実施形態では、実際に合成に使用する被合焦画像ＰＰ１〜ＰＰ４よりも広い範囲の合成用画像ＣＰ１〜ＣＰ４を一律に取得して、画像メモリ４１に記憶したが、これに限られず、例えば、主被写体が移動していく方向が予め分かっているような場合には、合成用画像のうち主被写体が移動していく方向以外に係る周縁部の領域については、画像メモリ４１に記憶しないようにしても良い。具体的には、図９〜図１２に示すような合成用画像ＣＰ１〜ＣＰ４を取得する場合、予め主被写体であるトラックが左方から右方といった横方向に移動することが分かっていれば、当該横方向に移動する情報をユーザーが入力操作することで、合成用画像ＣＰ１〜ＣＰ４の一部の領域（被合成画像ＰＰ１〜ＰＰ４に対応する領域）よりも上下にあたる周縁部の領域に係る画像データを画像メモリ４１に記憶しないようにしても良い。なお、主被写体と同様な方向に移動する被写体を予め試し撮りして、移動方向を検出し、その検出結果に応じて、合成用画像のうち画像メモリ４１に記憶しない領域を設定するようにすることもできる。

このような構成により、不要な部分に係る画像データを記憶しないようにすることができるため、画像メモリ４１の大容量化の抑制によるコストダウンを図ることができる。また、画像メモリ４１の容量の有効利用も図ることができるため、合成枚数Ｋを増加させることも可能であり、結果的に得られる合成画像の画質の向上及び自然な流れの効果の付与にも資する。

◎また、上述した実施形態では、Ｓ２オンとなってから合成用画像を取得する連写を開始したが、これに限られず、例えば、Ｓ１オンとなった後からＳ２オンとなるまで連写によって合成用画像を画像メモリ４１に時間順次に記憶しつつ、新しいものから所定フレーム数の合成用画像が画像メモリ４１内に随時残るようにし、Ｓ２オンに応答した連写によって得られる複数フレームの合成用画像と、Ｓ２オン直前の所定フレーム数の合成用画像とを用いて合成画像を生成するような構成としても良い。

このような構成により、人がシャッターボタン１３を押下するタイミング（レリーズタイミング）は少し遅れがちとなるが、Ｓ２オン前後に得られる複数フレームの合成用画像から１フレームの合成画像を生成することで、レリーズタイミングが悪かったような場合等でも、レリーズタイミングよりも前における画像も取得されているため、所望の構図に係る合成画像を確実に取得することができる。

◎また、上述した実施形態では、連写におけるフレームレートを毎秒３００フレーム（３００ｆｐｓ）まで高めることができたが、これに限られず、その他のフレームレートまで高めることができるようにしても良い。但し、上述した手法によって合成画像を生成するためには、動体を捉えたある程度の数の合成用画像を取得する必要性があるため、連写におけるフレームレートは、少なくとも毎秒６０フレーム（６０ｆｐｓ）以上まで高めることができることが好ましく、２５０ｆｐｓ以上までフレームレートを高めることができることが更に好ましい。

◎また、上述した実施形態では、サムネイル画像表示時の選択として、１つのサムネイル画像を選択して、当該選択された１つのサムネイル画像に係る構図（被写体の位置）を基準として１フレームの合成画像を作成したが、これに限られず、例えば、複数のサムネイル画像を選択して、当該選択された複数のサムネイル画像のそれぞれに係る構図（被写体の位置）を基準として複数フレームの合成画像を作成するようにしても良い。このようにすることで、１回の撮影において（１回のレリーズ操作により）、流し撮りによる効果が付与された複数フレームの異なる画像を得ることが出来る。

◎また、サムネイル画像表示時の選択において、１つのサムネイル画像を選択した後に、選択された１つのサムネイル画像の特定位置を指定して、当該特定位置において画像がぶれないように合成用画像を用いた合成処理を行うようにしても良い。複数の合成用画像においては、移動体全てにわたって同じ画像が得られることは少ないので、合成時にどうしても合成しきれない場合が生じるが、上記のような構成とすると、例えば、特定位置（例えばトラックの前部）のみぶれないように合成することで、違和感のない流し撮りによる効果が付与された画像を得ることが出来る。

◎また、上述した実施形態では、流し撮りモードにおいて、複数回の露光を間髪入れずに連続的に行って合成用画像を得るための連写を行ったが、これに限られず、例えば、複数回の露光同士の間隔を開けて、時間的に離散的なタイミングで露光を行うことで複数回の露光を行って複数の合成用画像を得て、当該複数の合成用画像を用いた合成処理によって流し撮りによる効果が付与された画像を得るようにしても良い。これにより、被写体の動きが小さな場合でも流し撮りによる効果が付与された画像を得ることが出来る。

本発明の実施形態に係る撮像装置の外観を示す図である。 本発明の実施形態に係る撮像装置の機能構成を示すブロック図である。 連写によって得られる画像を例示する図である。 合成画像を例示する図である。 流し撮りモードにおける動作フローを示すフローチャートである。 サムネイル画像の表示例を示す図である。 第２実施形態に係る撮影範囲と表示範囲とを例示する図である。 表示画像を例示する図である。 第２実施形態に係る連写によって得られる画像を例示する図である。 第２実施形態に係る連写によって得られる画像を例示する図である。 第２実施形態に係る連写によって得られる画像を例示する図である。 第２実施形態に係る連写によって得られる画像を例示する図である。 流し撮りモードにおける動作フローを示すフローチャートである。

符号の説明

１Ａ，１Ｂ 撮像装置
３ 画像処理部
１０ 撮影レンズ
１２ モード切替スイッチ
１３ シャッターボタン
１４ 流し撮りモード設定ボタン
１６ 撮像センサ
３０Ａ，３０Ｂ 画像合成部
４０Ａ，４０Ｂ カメラ制御部
４２ ＬＣＤモニタ
４３ ＥＶＦ

Claims (9)

1. 撮像装置であって、
   被写体に係る画像を取得する撮像手段と、
   前記撮像手段を用いて複数の画像を時間順次に取得する連写を実施させる撮影制御手段と、
   前記複数の画像に基づき、前記複数の画像の各画像について動体に対応する部分画像にあたる動体画像を検出する検出手段と、
   それぞれにおける前記動体画像の位置が略一致するように前記複数の画像を用いた合成処理を行うことで合成画像を生成する画像生成手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   ユーザーによる一の操作に応答して撮影動作の開始指示を発する指示手段、
   を備え、
   前記開始指示に応答して、前記撮影制御手段が前記連写を実施させるとともに、前記画像生成手段が前記合成処理を行うことで前記合成画像を生成することを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、
   所定の測光手段による測定結果に基づいて、所定の明るさを示す一の画像を取得するために必要な露光時間であるＴconstを算出する算出手段、
   を備え、
   前記複数の画像の数をＫ、前記複数の画像の各画像を取得するための露光時間をＴrenとして、
   Ｋ≦Ｔconst／Ｔren
   の関係を満たすように構成されることを特徴とする撮像装置。
4. 請求項１から請求項３のいずれかに記載の撮像装置であって、
   前記複数の画像のそれぞれに対応する複数のサムネイル画像を表示するサムネイル表示手段と、
   前記サムネイル表示手段に前記複数のサムネイル画像が表示された状態で、ユーザーの操作に基づき、前記複数のサムネイル画像のうちの一のサムネイル画像を指定する指定手段と、
   を備え、
   前記画像生成手段が、
   前記合成画像において前記動体画像が占める位置と、前記指定手段によって指定された一のサムネイル画像において前記動体画像が占める位置とが略一致するように、前記合成処理を行うことを特徴とする撮像装置。
5. 請求項３に記載の撮像装置であって、
   前記連写が、
   前記複数の画像の数であるＫよりも多数の画像を取得する動作を含むことを特徴とする撮像装置。
6. 請求項１から請求項５のいずれかに記載の撮像装置であって、
   ユーザーによって操作されることで、前記撮像装置のモードの設定状態を、前記合成画像を生成する所定のモードに設定された状態に切り替える操作部材、
   を備えることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置であって、
   前記撮像手段によって取得される画像に基づいて生成される表示画像を表示する手段、
   を備え、
   前記所定のモードに設定されている場合、前記表示画像が、前記撮像手段によって取得された画像の一部の領域に対応する画像であることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記画像生成手段が、
   画像において前記動体画像が占める位置が略一致するように、前記複数の画像の各画像から前記動体画像を含む所定サイズの部分画像を被合成画像として抽出する抽出手段と、
   前記抽出手段によって抽出された複数の被合成画像の合成処理を行うことで前記合成画像を生成する手段と、
   を有することを特徴とする撮像装置。
9. 画像取得方法であって、
   (a)所定の撮像手段を用いて複数の画像を時間順次に取得する連写を実施させるステップと、
   (b)前記複数の画像に基づき、前記複数の画像の各画像について動体に対応する部分画像にあたる動体画像を検出するステップと、
   (c)それぞれにおける前記動体画像の位置が略一致するように前記複数の画像を用いた合成処理を行うことで合成画像を生成するステップと、
   を備えることを特徴とする画像取得方法。

Images