JP2017229032A - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】タイムラプス動画における撮影意図と異なる不要な区間を低減することが可能な撮像装置を提供する。【解決手段】所定の時間間隔で間欠的な撮像を行うことが可能な撮像装置であって、間欠的な撮像によって得られる所定の画像データに基づいて主被写体の領域を検出する検出手段と、間欠的な撮像によって得られる画像データのうち、動画として再生する際に再生されるべき画像データを選択する選択手段と、を有し、選択手段は、主被写体の領域の変化が所定の変化より大きい場合に、該主被写体の領域を含む画像データを、再生されるべき画像データとして選択する。【選択図】図２

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関する。

従来、間欠的な撮像（タイムラプス撮影ともいわれる）を行って、撮像した複数枚の画像をそれぞれ別個の画像ファイル或いは１つのファイルとして記録するものがある。特許文献１には、間欠的に撮像された複数の静止画を合成した合成画像や動画を生成する撮像装置が提案されている。間欠的に撮像した複数枚の静止画データを動画として再生する場合、通常の時間の進行では見ることのできないゆっくりした動きを時間的に短縮してみることができる。しかし、撮影状況に適した撮影間隔が設定されていない場合、冗長な画像が多くなったり画像が不足してしまったりする場合がある。

一方、間欠的に撮像された画像の冗長部分を除去するため、特許文献２には、撮像された連続する画像間の差分を算出して撮影間隔を変更する技術が提案されている。

特開２０１３−６２７４０号公報 特開２００２−２１８３０９号公報

しかしながら、特許文献２で提案された技術では、主被写体やシーンと無関係な背景のちらつきや小さな変動を含む冗長な画像が含まれる場合がある。例えば、図３に示す主被写体が存在する工事現場のシーンでは、タイムラプス撮影により得られる動画に含まれるべき画像は、主被写体である建物が建立される過程を表す区間（３０１から３０３の間や３０７から３１０の間など）の画像である。逆に、主被写体である建物の建立が進まない区間（３０３から３０６）は、冗長であり、タイムラプス撮影により得られる動画に含まれなくてもよい。特許文献２で提案された技術では、主被写体やシーンを考慮せずに、連続する画像間における画面全体の差分に基づいて間欠的な画像を得るため、背景の雲の動きや木々の変動を抽出し、建物の建立される過程である要所のみを得られない。従って、得られた画像に基づくタイムラプス動画には、冗長な区間、すなわち撮影意図と異なる不要な区間が多く含まれる場合がある。

本発明の目的は、上述の問題を鑑みてなされたものであり、タイムラプス動画における撮影意図と異なる不要な区間を低減することが可能な撮像装置、その制御方法又はプログラムを提供することである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、所定の時間間隔で間欠的な撮像を行うことが可能な撮像装置であって、間欠的な撮像によって得られる所定の画像データに基づいて主被写体の領域を検出する検出手段と、間欠的な撮像によって得られる画像データのうち、動画として再生する際に再生されるべき画像データを選択する選択手段と、を有し、選択手段は、主被写体の領域の変化が所定の変化より大きい場合に、該主被写体の領域を含む画像データを、再生されるべき画像データとして選択する、ことを特徴とする。

本発明によれば、タイムラプス動画における撮影意図と異なる不要な区間を低減することが可能になる。

本実施形態に係る撮像装置の一例のとしてのデジタルカメラの機能構成例を示すブロック図 本実施形態に係る間欠的な撮像における一連の動作を示すフローチャート 本実施形態に係る撮像される時系列順の画像の例を示す図 本実施形態に係る撮影される時系列順の画像の差分の例を示す図 本実施形態に係る撮影される時系列順の画像と主被写体の例を説明する図 本実施形態に係る主被写体領域の検出を説明する図 本実施形態に係る領域を限定した画像の比較処理を説明する図 本実施形態に係る単調変化シーンの例を示す図 本実施形態に係る主被写体領域を検出する処理の他の例を示す図 本実施形態に係る主被写体領域を検出する処理の他の例を示す図 本実施形態に係る主被写体領域を検出する処理の他の例を示す図 本実施形態に係る輝度差分の算出処理の例を示す図 本実施形態に係る単調変化シーンにおける突発シーンの例を示す図 本実施形態に係る被写体が存在せず変化が有るシーンの例を示す図 本実施形態に係る、図１４の例における輝度差分の算出処理の例を示す図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下の説明では、タイムラプス撮影を間欠的な撮像として説明する。また、タイムラプス動画を、間欠的な撮像によって取得された時間的に連続する複数の画像データを時系列順につなぎ合せて取得した動画として説明する。以下では撮像装置の一例として、間欠的な撮像が可能な任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、間欠的な撮像が可能な任意の電子機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視カメラや車載用カメラなどが含まれてよい。

（デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

操作部１０１は、ユーザがデジタルカメラ１００に対する各種指示を入力するために操作するスイッチ、ボタン、ダイヤル等から構成され、例えばシャッタースイッチ、タッチセンサ（表示装置をタッチすることで操作が可能となるもの）が含まれる。操作部１０１は、ユーザによって指示が入力されると制御部１０２へ操作に関する情報を出力する。

制御部１０２は、ＣＰＵ（ＭＰＵ）を含み、不揮発性メモリ１２０に記憶されたプログラムを揮発性メモリ１１７に展開し実行することによりデジタルカメラ１００全体の動作を制御したり、各ブロック間でのデータ転送を制御したりする。また、操作部１０１からの指示に応じて各部を制御する。揮発性メモリ１１７は、例えばＳＤＲＡＭなどの揮発メモリを含み、画像処理部１０５から出力される画像データや音声データ等の各種のデータ、或いは、制御部１０２の処理に必要なデータ等を記憶する。

センサ部１０３は、光電変換素子を有する画素が複数、２次元的に配列された構成を含む。レンズ１０８ａ、メカ機構１０９ａを介して入射された光を各画素で光電変換し、その光量に応じた電荷をアナログ画像信号として出力する。センサ部１０３は、例えばＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであってよい。Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、例えばサンプリング、ゲイン調整、Ａ／Ｄ変換等の処理を行って、デジタル画像信号を出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して、色信号の変換や現像処理などの各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたＲＧＢ形式のデジタル画像信号を、ＹＵＶ画像信号（画像データ）に変換して出力する。また、タイムラプス撮影によって取得された複数の画像データを取得順（撮影順）に結合してタイムラプス動画を生成する。

ＡＦ処理部１０８は、画像処理部１０５から出力された画像データを用いて合焦状態を評価し、評価結果に基づいてレンズ１０８ａに含まれるフォーカスレンズの位置を制御することにより、センサ部１０３に結像する光学像のピントを合わせる。ＡＥ処理部１０９は、画像処理部１０５から出力された画像データから得られる輝度と適正輝度との差分を算出し、当該差分に基づいてメカ機構１０９ａに含まれる絞りの動作を制御することにより、センサ部１０３に入射する光量を適正にする。

ＥＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｆｌａｓｈ）処理部１１０は、制御部１０２により発光判断がされた場合に、被写体の明るさが適正となりうる光量を、発光装置であるストロボ部１１１に発光させる。エンコーダー部１１２は、画像処理部１０５から出力された画像データのフォーマットを例えばＪＰＥＧなどの所定のフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、不揮発性メモリ等の記録媒体を含み、エンコーダー部１１２から入力された所定のフォーマットの画像データを記録する。また、記録媒体が着脱可能に構成される場合、デジタルカメラ１００に挿入された外部メモリに記憶させてもよい。また、必要に応じてエンコーダー部１１２から入力された画像データを揮発性メモリ１１７に一時的に記憶させてもよい。外部接続部１１４は、例えば通信回路や通信モジュールを含み、有線通信又は無線通信により外部機器と接続して、画像データや制御信号を送受信する。

表示部１１５は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスを含み、撮影された画像や画像記録部１１３から読み出した画像を表示する。また、ユーザがデジタルカメラ１００を操作するためのメニュー画面を表示する。

被写体検出部１１６は、画像処理部１０５からの画像データに基づいて、画像データ画面内の被写体を検出し、主被写体領域を抽出する。主被写体領域の検出処理については後述する。差分抽出部１１８は、撮影時及び後述する選択処理において、画像内の輝度差分を算出する。なお、本実施形態ではＹＵＶ信号の輝度信号の差分を算出する例を説明するが、色情報の差分を算出してもよい。不揮発性メモリ１２０は、半導体メモリや磁気ディスク等から構成され、制御部１０２におけるＣＰＵのためのプログラムや、動作用の定数などを記憶する。

（間欠的な撮像の概要）
次に、本実施形態に係る間欠的な撮像の概要について説明する。操作部１０１に含まれる電源スイッチがユーザにより押下された場合、制御部１０２はデジタルカメラ１００を構成する各部に電源を供給する。当該各部に電源が供給されるとシャッターが開き、センサ部１０３は、レンズ１０８ａ、メカ機構１０９ｂを介して入射する光を光電変換してアナログ画像信号を出力する。Ａ／Ｄ変換部１０４は入力したアナログ画像信号に対して上述した処理を行ってデジタル画像信号として出力するとともに、画像処理部１０５は、当該デジタル画像信号に対して上述した色信号の変換処理等を行って、ＹＵＶ画像信号（画像データ）を出力する。

ユーザは、操作部１０１を介して、タイムラプス撮影の撮影間隔を設定することができる。本実施形態では、予め設定された１秒、３０秒、１分、１５分、３０分、１時間、５時間、１０時間、２４時間のいずれかの撮影間隔を設定したうえで、無制限に連続的な撮影が可能である場合を例に説明する。すなわち、撮影期間は無制限となるように設定される。なお、撮影間隔は、初期設定以外にユーザが任意に設定可能にしてもよい。

制御部１０２は、ユーザによる撮影指示を受けるとタイムラプス撮影を開始させ、現時点における画像データを用いたＡＦ処理及びＡＥ処理（以下、測光ともいう）を実行して本撮影に最適なピント及び露出設定条件を取得する。その後、本撮影に移行すると、設定された撮影条件をＡＥ処理部１０９及びＡＦ処理部１０８に伝達してレンズ１０８ａ、メカ機構１０９ａを制御し、本撮影のための画像データを（センサ部１０３〜画像処理部１０５を介して）取得する。エンコーダー部１１２は、画像処理部１０５から出力された画像データをＪＰＥＧなどの各種フォーマットに変換して画像記録部１１３に記録する。制御部１０２は、画像データの記録を完了すると、設定された撮影間隔が経過するまで、デジタルカメラ１００を一端休止状態にする。

その後、制御部１０２は、不図示のタイマを監視して設定された撮影間隔が経過したと判定した場合、再び測光を行って露出を調節し、次の本撮影を行う。制御部１０２は、このような反復撮影を、ユーザが停止するまで、或いはユーザが設定した撮影期間になるまで繰り返す（すなわちタイムラプス撮影を行う）。

更に、制御部１０２は、タイムラプス撮影の終了後に、被写体検出部１１６を制御し、最終画像（或いは動画の最終フレーム）を用いて主被写体を検出する。更に、制御部１０２は、差分抽出部１１８により主被写体領域の画像差分を抽出し、抽出した画像差分が大きい区間を動画中の要所として、選択区間を設定する。なお、撮影後の一連の処理により選択区間を設定する選択処理の詳細は、後述する。

本実施形態では、撮影終了後のユーザの操作によって、通常再生と選択区間を用いた再生とを選択可能である。通常再生が選択された場合、制御部１０２は、タイムラプス撮影で得られた静止画に基づきそのまま動画を再生し、一方、選択区間を用いた再生が選択された場合、差分に基づいて設定された選択区間のみを再生する。なお、通常再生を行う段階では、既に選択区間が選択されている。このため、通常再生中にユーザ操作により次の選択区間の開始位置までジャンプする指示を受けると、次の選択区間の開始位置から動画を再生することができる。更に、選択区間の開始位置について、再生前及び再生中を問わず、ユーザの指示に応じてサムネイル表示を行うことが可能であり、サムネイルで選択された任意の開始位置から動画の再生を開始することもできる。

タイムラプス撮影によって得られた複数の画像データは、画像処理部１０５によってタイムラプス動画として１つの動画に結合され、更にエンコーダー部１１２によって所定の動画フォーマットに変換されてよい。この場合、変換された動画は、画像記録部１１３に記録される。

（間欠的な撮像と動画再生のための選択処理に係る一連の動作）
次に、図２を参照して、間欠的な撮像と選択処理に係る一連の動作を説明する。なお、本処理は、例えばユーザが操作部１０１に含まれる電源スイッチを押下した場合に開始される。また、本処理は、制御部１０２が不図示のＲＯＭに記憶されたプログラムを揮発性メモリ１１７の作業用領域に展開、実行すると共に、被写体検出部１１６等の各部を制御することにより実現される。

Ｓ２０１において、制御部１０２は、デジタルカメラ１００の電源をオンにし、Ｓ２０２において、ライブビュー表示に用いるライブ画像（スルー画像）を取得して表示部１１５に取得した画像を表示させる。Ｓ２０３において、制御部１０２は、操作部１０１を介して、ユーザが設定するタイムラプス撮影における撮影間隔を設定する。また、制御部１０２は、撮影期間を無限大に設定する。Ｓ２０４において、制御部１０２は、撮影を開始するかを判定する。例えば、設定が完了しており撮影開始が可能と判定した場合、処理をＳ２０５に進めてタイムラプス撮影を開始する。一方、設定が完了しておらず設定開始が可能でない場合、例えば処理をＳ２０４に戻して撮影開始が可能になるまで待つ。

Ｓ２０５において、制御部１０２は、ＡＦ処理部１０８及びＡＥ処理部１０９を制御して、センサ部１０３から得られる画像を用いた撮影前の測距処理（ＡＦ処理）及び測光処理（ＡＥ処理）を行って、撮影に最適なピント及び露出設定条件を取得する。測距処理では、フォーカスレンズをシフトさせて被写体領域に最適なピント位置を検出し、そのピント位置の情報から被写体距離情報を算出することができる。また、測光処理では、画面内を複数ブロックに分割し、各ブロック内の輝度値を積分したブロック積分値を用いて画面の平均輝度（測光値）を算出する。また、得られた測光値と目標輝度からのずれΔＢｖを算出し、測光値にこのΔＢｖを加えたものを本撮影時の外光輝度Ｂｖとして本撮影の露出値を算出する。すなわち、本ＡＥ処理により適正露出が保持される。制御部１０２は、撮影前のＡＦ処理及びＡＥ処理を完了すると、Ｓ２０６において、算出された露出値及びピントに基づいて静止画を撮影する。

Ｓ２０７において、制御部１０２は、差分抽出部１１８を制御して、画像内の差分を算出する。例えば、撮影した連続する静止画について、画像内を複数のブロックに分割し、ブロックごとに比較して輝度の差分を算出する。図４に示すように、時系列的に並んだ画像３０３と画像３０４をブロックごとに比較して、差分が大きな領域４０１（雲の動き）と、領域４０２（雲の動き）と、領域４０３（木々のざわめき）とを抽出する。これらの輝度の差分は、後述する選択処理において用いられる。例えば、差分の最も大きい領域４０１は注目すべき領域であり、輝度の差分値が所定の閾値以上であれば、画像３０３と画像３０４とは選択対象となり得る。なお本実施形態では、輝度比較にて差分値を算出する例を説明するが、領域ごとにテンプレートマッチングを適用して移動ベクトルを算出し、当該動きベクトルが大きいものを注目すべき領域としてもよい。

Ｓ２０８において、制御部１０２は、タイムラプス撮影を終了するかを判定する。例えば、ユーザが操作部１０１を介してタイムラプス撮影を停止した場合、或いはユーザが設定した撮影期間になった場合には、Ｓ２０９に処理を進めてタイムラプス撮影を終了する。一方、タイムラプス撮影を終了しない場合、撮影を繰り返すために処理をＳ２０５に戻す。

Ｓ２１０において、制御部１０２は、撮影の終了後に、被写体検出用に画像をピックアップする。本実施形態では、図５に示すように最終画像である画像５１０を、被写体検出用の画像としてピックアップする。このように撮影後に被写体検出を行うのは、撮影開始前では、主被写体領域を設定することが困難なシーンが存在するためである。すなわち、図５（及び図３）の例のように主被写体は撮影開始時には存在しなかったため、撮影開始前に建物の建立する領域を特定することが難しい場合があるためである。

なお、図５に示す画像の５０１〜５１０は図３に示した３０１〜３１０と同じタイミングで撮影された画像を表している。また、５０１〜５１０と５１１〜５２０とがそれぞれ同じタイミングで撮影した画像を表している。５１１〜５２０については、別途選択処理の説明において後述する。

Ｓ２１１において、被写体検出部１１６は、制御部１０２の指示に応じて、主被写体を検出する。本ステップにおける被写体検出では、画像内を領域分割し、主被写体としての重み算出を行う。具体的には、図６（ａ）に示すように、類似のパターンを有する隣接ブロックをラベリングして６０１〜６０５の各領域に分割する。そして、面積が大きく、かつ画像中心に近い領域を主被写体領域として検出する。例えば、被写体検出部１１６は、各領域の面積による重みと、各領域の重心と画面中心との距離からなる重みとを掛け合わせた評価値（Weight1*Weight2）が最も大きくなる領域を主被写体として検出する。面積による重み（Weight1）は、図６（ｂ）に示すように、被写体の面積の大きさに応じて所定の値まで増加するように設定されている。また、各領域の重心と画面中心との距離による重み（Weight2）は、図６（ｃ）に示すように、画面中心から領域の重心までの距離が遠いほど低くなるように設定されている。従って、被写体検出部１１６は、これらの重みを掛け合わせることにより、各領域の評価値を算出し、最も高い評価値を有する領域を主被写体として検出する。図５に示す例では、画像５１０において点線で囲った被写体が主被写体として検出された被写体であることを示している。

なお、本実施形態では、領域分割と重みとに基づいて主被写体を検出するようにしたが、撮影時に合焦した領域を用いて主被写体領域を検出してもよい。また、本実施形態では、最終画像のみから被写体検出を行ったが、撮影画像群のなかから所定数の画像を抽出して主被写体領域を検出してもよい。例えば、図９に示す３０１〜３１０と同じタイミングで撮影された画像９０１〜９１０において、撮影終了直前の所定枚数の画像（９０８〜９１０）を抽出し、抽出された画像に対して主被写体検出を行う。例えば、各画像に共通する被写体の中で、上述した評価値が最も高くなる領域を主被写体の領域として検出してもよい。領域（９５３、９５６、９５９）は共通した被写体であり、面積及び画像中心からの距離において評価値が大きくなる。一方、領域（９５１、９５４、９５７）や、領域（９５２、９５５、９５８）は上記主要被写体となる領域よりも評価値が低くなる。さらに、図１０に示すように、撮影間隔の空いた複数の撮影画像（９０１、９０４、９０７、９１０）を抽出してこれらの画像を時系列順に比較し、更に画像の組み合わせごとに差分の大きな領域（点線で囲まれた領域）を検出して主被写体を検出してもよい。この方法では、被写体検出部１１６は、検出された差分の大きな領域（点線で囲まれた領域）について、複数の画像の組み合わせにおいて共通して差分があると判定した場合、この領域を主被写体の候補とし、主被写体の候補のうち最も大きな差分が得られる領域を主被写体領域とする。また、時系列において離れた、開始画像と終了画像を比較することにより、画像間の差分を抽出し、抽出された差分のうち最も差分の大きな領域を主被写体領域としてもよい。例えば、図１１に示すように、開始画像（９０１）と最終画像（９１０）を取り出し、輝度情報を比較して差分（点線で囲まれた１１０１〜１１０３）を抽出する。図１１の例では、被写体検出部１１６は、差分の大きな領域１１０３を主要被写体領域として判定する。

Ｓ２１２において、制御部１０２は、主被写体領域が検出されたかを判定する。制御部１０２は、Ｓ２１１において主被写体領域が検出された場合、処理をＳ２１３に進め、主被写体領域が検出されていない場合、処理をＳ２１７に進める。Ｓ２１３において、制御部１０２は、主被写体領域において前後画像の差分を再抽出（すなわち画像を比較）し、Ｓ２１４において、主被写体領域の差分が所定の閾値ＴＨ１以上であり、かつ領域が所定の大きさ以上存在するかを判定する。制御部１０２は、この条件を満たすと判定した場合、Ｓ２１５に処理を進めて、比較した画像を含む区間を選択区間として設定する。選択区間の設定には、例えば動画のメタデータに選択区間の開始又は終了を示す情報を書きこんだり、別のデータとして選択期間を示す情報を保持したりしてよい。一方、Ｓ２１４において条件を満たさないと判定した場合、比較した画像の区間は冗長であると判定して非選択とする。

より具体的に、Ｓ２１３〜Ｓ２１５の例について説明する。本実施形態では、画像の比較は画像内の輝度値を用いて行う。例えば、図１２には、画像５０１と画像５１０とを比較する例を示している。画像５０１と画像５１０について、画面内のブロックごとに輝度値を算出した例を１２０１及び１２０２に示しており、１２０１及び１２０２内の数値は、ブロックごとの輝度値を表す。更に、１２０１及び１２０２について、対応するブロックごとに輝度値の差分絶対値を算出した結果は、１２０３が示すようになる。１２０３では、画像の右下周辺の領域において数値（輝度値の差分絶対値）が大きくなっており、画像５０１と５１０を比較した場合に、輝度の差が大きいことを示している。従って、Ｓ２１４において、制御部１０２は、輝度値の差分全体値が閾値（例えば２０）以上となるブロックが１０ブロック以上あった場合に、（画像５０１から画像５１０までの区間を）選択区間して設定する。なお、この図１２の例では、主被写体の領域でない雲や木の領域の差分が大きくなっていないが、主被写体の領域以外において差分が大きくなっても本判定では考慮しない。すなわち、主被写体の領域において差分の大きさ及び領域の大きさを判定する。

再び図５を参照して、上述した選択処理の例を説明する。図５における画像５１０において被写体領域が点線で囲った領域であると判定された場合、５１１〜５２０の一連の画像（５０１〜５１０と同一）を用いて、処理対象の領域を主被写体の領域（点線部分）に限定したうえで前後画像の比較を行う。領域を限定して比較を行うのは、背景の木々のざわめきや雲の流れを変動として検知する可能性を低減するためである。このようにすることで、例えば、図７における領域７０１のみを比較対象とし、領域７０２及び領域７０３については比較を行わないようにすることが可能となる。すなわち、図５の例では、工事停滞区間となる画像５１３〜画像５１６において、他の領域における変動を検知することを抑制することができる。一方、画像５１３〜画像５１６以外の区間において、建物の変動が大きい区間を抽出することが可能となる。

一方、Ｓ２１２において、主被写体領域が検出されていないと判定された場合について説明する。Ｓ２１７において、制御部１０２は、Ｓ２０７において算出された輝度の差分に基づいて、撮影されたシーンが単調変化シーンであるかを判定する。本実施形態における単調変化シーンは、連続画像などの時間間隔が短い画像間では差分が少ないが、時間間隔を広くとった画像間では一定以上の差分が発生するような、被写体の変化がゆっくりであるが大きく変化するようなシーンを指す。図８には、上述した単調変化シーンの例を示している。例えば、図８（ａ）はゆっくりとした星の動きを撮影する際の星空のシーンを、図８（ｂ）は日没や日の出などのゆっくりとした太陽や雲の動きを撮影する際の風景のシーンをそれぞれ示している。

本実施形態では、制御部１０２は、連続画像の間と図１３に示すような定期的かつ時間間隔を広くとった画像の間との２つの画像間について、算出した輝度の差分を用いた単調変化シーンの判定を行う。すなわち、制御部１０２は、間隔を広くとった所定の区間の画像間の差分が所定の閾値以上であり、かつ、当該所定の区間内の隣接した画像ごとの差分の大部分（すなわち所定数以上）が所定の閾値未満であるかを判定する。なお、ここで用いる閾値は異ならせてもよい。

単調変化シーンに対するタイムラプス動画の再生を行う場合、一部区間を抜粋するのではなく、長時間かけて生じた星の流れや雲の流れなどの自然の流れ全体を時間圧縮して再生することが望ましい。このため、制御部１０２は、主被写体が存在する場合とは異なり、変動が大きなシーンを突発シーンとしてタイムラプス動画から除去する。突発シーンは、例えば、図１３に示した星空の撮影中に、１３０４の画像（区間）において明るい光を放つ車が現れるなど、輝度が急変動するシーンを指す。従って、隣接した画像の差分が所定以上であるような画像１３０４の画像（区間）を突発シーンであると判定して、この画像は非選択とする。

このように、制御部１０２は、Ｓ２１７において、上述した処理により単調変化シーンであるかを判定し、単調変化シーンであると判定した場合には処理をＳ２１８に進める。一方、単調変化シーンでないと判定した場合、処理をＳ２２２へ進める。更に、Ｓ２１８において、撮影時に算出した画像間の輝度の差分を取得して再探索し、Ｓ２１９において、差分が所定の閾値ＴＨ２以上になるかを判定する。Ｓ２１９において、画像１３０４のような突発シーンが存在する（画像間の差分が大きい）と判定した場合、Ｓ２２０において画像１３０４の区間を突発シーンとして非選択区間に設定したうえで単調変化シーンを選択区間として設定する。それ以外の場合には、Ｓ２２１において単調変化シーンの区間を選択区間として設定する。このように単調変化シーンを検出した上で突発シーンを除くことにより、撮影意図と異なる無意味なシーンを含んだ冗長な選択区間の生成を防止することができる。

次に、明確な被写体が無く、かつ単調変化シーンでない場合の処理について説明する。Ｓ２２２〜Ｓ２２５における判定では、交差点の往来による小さな人の動きがあるシーンのような、所定以上の変化が含まれているシーンを選択区間として設定するための処理を行う。例えば、図１４に示す交差点往来のシーンでは、画像１４０１〜１４０８に示すように、明確な主被写体は存在せず、全体的な人の流れが存在する。このようなシーンを撮影する場合、図１５に示すように、画像１４０２に対するブロックごとの輝度を表す１５０１と画像１４０３に対するブロックごとの輝度を表す１５０２とを比較し、輝度の差分（１５０３）を算出する。図１５の例では、人の動き等によって生じる箇所の輝度の差分は４以上となっている。このようなシーンにおいて、制御部１０２は、Ｓ２２２において、撮影時に取得した画像間の輝度の差分を取得して再探索し、Ｓ２２３において、所定の閾値ＴＨ３以上の差分があるかを判定する。制御部１０２は、閾値以上の差分があると判定した場合、Ｓ２２４において処理対象の区間を選択区間として設定する。また、それ以外の場合には、Ｓ２２５において、当該シーンを冗長箇所として非選択区間に設定する。なお、図１２で示した例のように明確な主被写体が存在するシーンと同一の閾値を設定すると、人の往来による変動を抽出できなくなるため、本実施形態ではシーン別に閾値を異ならせている。制御部１０２は、上述した処理を完了すると本一連の操作を終了する。

なお、上述した実施形態では、間欠的な撮像を終了した後に、選択処理を実行するようにした。しかし、選択処理の実行は、間欠的な撮像を行いながら実行してもよい。例えば、撮影を開始した後の所定の単位（所定の時間長又は所定の画像数）ごとに上述した選択処理を実行するようにしてもよい。このようにしても、タイムラプス動画において冗長な区間など撮影意図と異なる不要な区間を削減することができる。

また、上述したＳ２１１の処理では、画面全体を領域分割したうえで主被写体領域を検出する例を説明した。これに対して、更に、ユーザが撮影前に操作部１０１を介して主被写体の領域を大まかに指定できるようにし、Ｓ２１１の処理では、最も評価値の高い被写体がユーザによって指定された領域内に存在する場合に、主被写体を検出するようにしてもよい。このようにすれば、よりユーザの意図に即した被写体を主被写体とすることができる。

以上説明したように本実施形態では、間欠的な撮像を行って複数の画像を取得する場合に、主被写体の領域を検出し、この領域の輝度の変化が大きい区間を選択区間として設定するようにした。そして、設定された当該選択区間に含まれる画像がタイムラプス動画として再生されるようにした。このようにすることで、タイムラプス動画における撮影意図と異なる不要な区間を低減することが可能になる。また、主被写体を含まない場合であっても、連続する画像間の変化は小さいが長い区間では変化が大きいシーン（単調変化シーン）を選択区間として設定するようにした。そして、単調変化シーン内に輝度の変化の大きい突発シーンが存在する場合、当該突発シーンを選択区間に含まないようにした。このようにしても、タイムラプス動画における撮影意図と異なる不要な区間を低減することができる。

なお、上述した実施形態では、タイムラプス撮影で得られた静止画像に基づいてタイムラプス動画を生成する構成について説明したが、これに限定されるものではない。例えば、ライブビュー表示に用いるような動画像の中から、撮像間隔に基づいてタイムラプス動画用の間欠的な画像データを取得する構成であってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…制御部、１０３…センサ部、１１２…差分抽出部、１１３…画像記録部、１１６…被写体検出部

Claims (11)

1. 所定の時間間隔で間欠的な撮像を行うことが可能な撮像装置であって、
   前記間欠的な撮像によって得られる所定の画像データに基づいて主被写体の領域を検出する検出手段と、
   前記間欠的な撮像によって得られる画像データのうち、動画として再生する際に再生されるべき画像データを選択する選択手段と、を有し、
   前記選択手段は、前記主被写体の領域の変化が所定の変化より大きい場合に、該主被写体の領域を含む画像データを、前記再生されるべき画像データとして選択する、ことを特徴とする撮像装置。
2. 前記検出手段は、前記間欠的な撮像が完了した後に、前記主被写体の領域を検出する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記所定の画像データは、前記間欠的な撮像によって得られる最終の画像データである、ことを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段は、前記間欠的な撮像によって得られる画像データにつき、画像内の領域の大きさ及び位置に基づいて前記主被写体の領域を検出する、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記所定のデータは、前記間欠的な撮像によって得られる所定の間隔の画像データであり、
   前記検出手段は、前記所定の間隔の画像データの間で共通する画像内の複数の領域において、領域の変化が最も大きい領域を前記主被写体として検出する、ことを特徴とする請求項１又は２に記載の撮像装置。
6. 前記間欠的な撮像によって得られる画像データの前記主被写体の領域における輝度値の変化に基づいて、前記主被写体の領域の変化を算出する算出手段を更に有し、
   前記選択手段は、前記算出手段により算出された前記主被写体の領域の変化が前記所定の変化より大きい場合に、該主被写体の領域の変化を含む複数の画像データを、前記再生されるべき画像データとして選択する、ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記間欠的な撮像によって得られる画像データを、第１の再生又は第２の再生により動画として再生する再生手段を更に備え、
   前記再生手段は、前記第１の再生では前記間欠的な撮像によって得られる画像データの全てを再生し、前記第２の再生では前記選択手段により選択された画像データを再生する、ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記検出手段は、前記間欠的な撮像を開始する前にユーザによって指定された画面内の領域において、前記主被写体を検出する、ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記検出手段によって前記主被写体の領域が検出されなかった場合に、前記間欠的な撮像によって得られる画像データに基づいて、撮像に係るシーンが所定のシーンかを判定する判定手段を更に備え、
   前記判定手段は、前記間欠的な撮像によって得られる第１の区間の間では画像の変化が第２の所定の変化より大きく、かつ、前記第１の区間内の隣接した画像ごとの変化の所定数以上が前記第２の所定の変化より小さい場合に前記所定のシーンであると判定し、
   前記選択手段は、前記第１の区間が前記所定のシーンと判定された場合、該第１の区間の複数の画像データを、前記再生されるべき画像データとして選択するとともに、前記第１の区間内の隣接した画像のうち変化が前記第２の所定の変化より大きい画像が含まれないように該第１の区間の複数の画像データを選択する、ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 所定の時間間隔で間欠的な撮像を行うことが可能な撮像装置の制御方法であって、
    検出手段が、前記間欠的な撮像によって得られる所定の画像データに基づいて主被写体の領域を検出する検出工程と、
    選択手段が、前記間欠的な撮像によって得られる画像データのうち、動画として再生する際に再生されるべき画像データを選択する選択工程と、を有し、
    前記選択工程では、前記主被写体の領域の変化が所定の変化より大きい場合に、該主被写体の領域を含む画像データを、前記再生されるべき画像データとして選択する、ことを特徴とする撮像装置の制御方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。