JP2010283412A - 撮影装置、撮影方法および再生方法 - Google Patents

Abstract

【課題】静止画写真を楽しむことに加えて、動きの面白さや時間の推移を感じることのできる写真画像を撮影することのできる撮影装置、撮影方法、及びこれに相応しい再生方法を提供する。
【解決手段】写体像を撮像し画像データを順次、出力可能な撮像部２と、順次出力される画像データを比較し、変化部（旗２３）を抽出する画像変化抽出部５と、画像変化抽出部５によって抽出された変化部の変化の周期を検出する周期検出部５ａと、周期検出部５ａによって検出された一周期相当の画像データを連続画像として記録し、かつ撮像部２から出力される画像データに基づいて静止画像として記録する記録部６と、を有する。
【選択図】 図１

Description

本発明は、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話等の撮影装置に関し、詳しくは、静止画でありながら、繰り返し動く背景を再生表示することの可能な撮影装置、撮影方法および再生方法に関する。

従来、写真画像は、紙にプリントし、楽しむことが一般的であった。しかし、近年、パーソナルコンピュータやテレビ等の電子的表示装置に画像を再生表示して楽しむことが普及してきている。このような電子的表示装置で写真画像を楽しむ場合には、今までしばしば撮影されてきたような決定的瞬間の静止画では、表現に物足りなさを感じてしまう。しかし、ビデオカメラ等によって撮影された動画では、鑑賞時間がかかってしまうことや、集中力の制約もあり、動画を常に鑑賞したいというものではない。

パーソナルコンピュータ上で楽しまれている動画像として、スクリーンセーバーがある。例えば、特許文献１には、個人が撮影したビデオ画像を基にスクリーンセーバーを作成するスクリーンセーバー作成システムが開示されている。このスクリーンセーバー作成システムでは、動画から主被写体と背景を分離し、主被写体が固定背景の画面内を動き回るスクリーンセーバーを簡単に作成することができる。

特許３８２６０７３号公報

上述の特許文献１に開示のスクリーンセーバー作成システムは、主被写体と背景を分離し、主被写体が動き回る画像を作成するものであって、従来の写真文化とは相容れるものではない。つまり、動きを楽しむことはできても、写真画像をじっくりと鑑賞するものではない。

本発明は、このような事情を鑑みてなされたものであり、静止画写真を楽しむことに加えて、動きの面白さや時間の推移を感じることのできる写真画像を撮影することのできる撮影装置、撮影方法、及びこれに相応しい再生方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮影装置は、被写体像を撮像する撮像部と、複数のタイミングで、上記撮像部から得られた画像を比較する画像比較部と、仮記憶した第１のタイミングの画像と、上記第１のタイミングから所定時間経過後の第２のタイミングの画像を、上記画像比較部において比較し、この比較結果が一致する場合には、上記第１のタイミングから上記第２のタイミングの一連の画像を記録する画像記録部と、を有する。

第２の発明に係わる撮影装置は、上記第１の発明において、上記画像比較部は、画面内所定位置の画像に相当する部分を比較する。
第３の発明に係わる撮影装置は、上記第２の発明において、上記撮影装置は、画面内の人物の顔を検出する顔検出部を有し、上記画像比較部が比較する画面内所定位置の画像に相当する部分は、上記画面内の人物顔部以外である。

第４の発明に係わる撮影装置は、写体像を撮像し画像データを順次、出力可能な撮像部と、順次出力される上記画像データを比較し、変化部を抽出する画像変化抽出部と、上記画像変化抽出部によって抽出された上記変化部の変化の周期を検出する周期検出部と、上記周期検出部によって検出された一周期相当の上記画像データを連続画像として記録し、かつ上記撮像部から出力される画像データに基づいて静止画像として記録する記録部と、を有する。

第５の発明に係わる撮影装置は、上記第４の発明において、上記周期検出部は、上記画像データに基づいて、同じ動作を繰り返す背景被写体の画像が一致するまでの期間を検出し、上記周期とする。
第６の発明に係わる撮影装置は、上記第４の発明において、上記周期検出部は、上記画像データに基づいて、画面の一方の端から他方の端まで移動する背景被写体が他方の端まで移動する期間を検出し、上記周期とする。
第７の発明に係わる撮影装置は、上記第４の発明において、上記周期検出部は、上記画像データに基づいて、画面の中に現れてから消失するまでの期間を検出し、上記周期とする。

第８の発明に係わる撮影装置は、上記第４の発明において、上記連続画像と上記静止画像を合成する画像合成部と、上記合成された画像を表示する表示部と、を有する。
第９の発明に係わる撮影装置は、上記第４の発明において、上記周期検出部によって上記周期の検出を行っている間、保持警告を表示する。
第１０の発明に係わる撮影装置は、上記第４の発明において、上記画像データに基づいて、人物の顔部を検出する顔検出部を有し、上記画像変化抽出部は、上記顔部以外において上記変化部を抽出する。
第１１の発明に係わる撮影装置は、上記第4の発明において、上記画像データに基づいて被写体像をライブビュー表示する表示部と、上記ライブビュー表示の画面上における部分を指定する指定部と、を有し、上記周期判定部は、上記指定部によって指定された上記部分に対応する被写体像の上記周期を検出する。

第１２の発明に係わる撮影方法は、被写体像を撮像し画像データを順次、出力し、順次出力される上記画像データを比較し、変化部を抽出し、上記抽出された上記変化部の変化の一周期を検出し、上記検出された一周期相当の上記画像データを連続画像として記録し、かつ上記画像データを静止画像として記録する。

第１３の発明に係わる再生方法は、静止画の上記画像データと、背景被写体が変化している場合に一周期相当の画像データを、上記静止画に関連付けて記録された動画の画像データを記憶し、上記記憶された上記静止画の画像データに、上記背景被写体の変化している部分を合成し、上記合成された画像を表示する。

本発明によれば、静止画写真を楽しむことに加えて、動きの面白さや時間の推移を感じることのできる写真画像を撮影することのできる撮影装置、撮影方法、及びこれに相応しい再生方法を提供することができる。

本発明の一実施形態に係わるカメラの電気的構成を示すブロック図である。 本発明の一実施形態に係わるカメラにおいて、撮影した連続画像と再生した画像の関係を示す図である。 本発明の一実施形態におけるカメラ制御の動作を示すフローチャートである。 本発明の一実施形態におけるカメラの周期画像判定の動作を示すフローチャートである。 本発明の一実施形態におけるカメラの周期画像判定の動作を示すフローチャートである。 本発明の一実施形態におけるカメラの周期画像判定の動作を示すフローチャートである。 本発明の一実施形態において、画面の端から端に移動する船のある背景を撮影した場合の画面を示す図である。 本発明の一実施形態において、繰り返し同じ動作を行う旗がある背景を撮影した場合の画面を示す図である。 本発明の一実施形態において、背景に花火が打ち上げられる情景を撮影した場合の画面を示す図である。 本発明の一実施形態におけるカメラの再生モードの動作を示すフローチャートである。 本発明の一実施形態において、撮影画像を再生する様子を示す図である。 本発明の一実施形態の変形例であって、撮影時以外に周期画像か否かの判定を行って表示する様子を示す図である。 本発明の一実施形態の変形例を実行するための周期画像チェックの動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、画像処理部３、画像変化抽出部５、記録部６、合成制御部７、表示部８、操作部９等から構成される。

制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。撮像部２は、ズーム機能を有する撮影レンズや、シャッタ等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。画像処理部３は、撮像部２から出力される画像信号を取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、ライブビュー表示用、記録部６への記録用、再生表示用等の画像処理を行う。

顔検出部２ａは、画像処理部３から画像データを取得し、画像内に人物の顔が含まれているか否かを判定し、含まれていた場合には、その位置や大きさ等を検出する。画像変化抽出部５は、画像処理部３から画像データを取得し、この画像データを所定のタイミングで仮記憶し、これを比較することにより、動きがあるか否かを判定する。また画像変化抽出部５内には、周期検出部５ａが設けられている。周期検出部５ａは、動きの画像の場合には、動きの有る部分の変化に起点と終点があり、この動きが繰り返されている場合には、周期を検出する。周期検出部５ａによって一周期相当の周期画像を取り出すことができる。なお、周期画像の取得にあたっては、顔検出部２ａによって検出された画面内の顔位置情報に従って、顔位置から離れた場所の周期画像を検出する。

操作部９は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部３によって圧縮処理された画像データを記録する。また、図示しない時計部から出力される撮影日時情報や、図示しないＧＰＳ等から出力される撮影位置情報が、画像データに関連付けて記録される。これらの撮影位置情報や撮影日時情報は、画像整理や画像検索の際に利用できる。

合成制御部７は、操作部９内のレリーズ釦が操作された際に取得された記録部６に記録された静止画の画像データと、この静止画の取得の際に併せて取得された動画の周期画像を合成する。動画の周期画像は前述の画像変化抽出部５および周期検出部５ａによって抽出された画像である。静止画と周期画像の合成は、顔検出部２ａから取得した画面内における顔位置情報に従って行う。

表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。また、表示部８は、静止画に動画の周期画像を合成した画像の再生表示も行う。

次に、本実施形態における静止画および動画の撮影と、これらの画像を合成した合成画像の再生表示について、図２を用いて説明する。図２（ａ）〜（ｃ）は、撮影時の画像であり、図２（ｄ）〜（ｆ）は再生時の画像である。

撮影時には、撮影者は、主被写体２１の表情が一番良いタイミングで撮影するために、カメラ１０を主被写体２１に向けた状態でシャッタタイミングを待っている。図２（ａ）や図２（ｂ）では主被写体２１の表情は不十分であるが、図２（ｃ）では、主被写体２１の表情が良いことから、このタイミングで撮影者はレリーズ釦を操作し、静止画を記録部６に記録する。また、静止画の記録前から図２（ａ）（ｂ）に示すようにプリキャプチャーで背景にある旗２３の動きの周期を検出し、一周期相当の動画を仮記憶している。

再生時には、主被写体２１の表情が一番良いのは、図２（ｃ）のタイミングで撮影した静止画であることから、この静止画を再生表示する。しかし、単なる静止画だけでは鑑賞に飽きてしまう。そこで、本実施形態における再生にあたっては、周期的に動いていた旗２３の一周期相当の動画を合成して表示する。すなわち、図２（ｄ）〜（ｆ）に示すように、主被写体２１は図２（ｃ）のタイミングで撮影した静止画であり、背景にある旗２３は図２（ａ）〜（ｃ）の間に記憶された動画を合成し、繰り返し再生表示する。

このように、本実施形態における再生では、顔部は主被写体２１の最も良い笑顔を狙って撮影した結果を表示し、風景は周期的に動画で変化させる。しかも周期的な変化を捉えているので、図２（ｄ）と図２（ｆ）は同じような画像となる。このため、同じ変化を繰り返し、どこで再生を停止しても違和感がない。基本的には静止画的な画像でありながら、どのタイミングから見てもよいようなサイクリックな動画表現となり、時間の流れの感覚を持つ画像となる。

次に、本実施形態に係わるカメラ１０の動作を、図３に示すフローチャートを用いて説明する。カメラ１０がパワーオンとなり起動すると、図３に示すフローがスタートする。スタートすると、まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０には、撮影モードと再生モードが備えられており、操作部９によって撮影者のモード選択状態を判定する。

ステップＳ１における判定の結果、撮影モードでなかった場合には、次に、再生モードか否かの判定を行う（Ｓ２１）。この判定の結果、再生モードでもなかった場合には、ステップＳ１に戻る。一方、再生モードであった場合には、次に、撮影画像の再生を行う（Ｓ２２）。このステップでは、記録部６に記録されている撮影画像の中からユーザの選択に応じて表示部８に再生表示する。再生表示あたって、静止画と共に動画（連続画像）を撮影し、周期動画が記録されている場合には、図２（ｄ）〜（ｆ）を用いて説明したような合成画像の表示を行う。この再生モードの詳細については、図１０を用いて後述する。撮影画像の再生が終わると、ステップＳ１に戻る。

ステップＳ１における判定の結果、撮影モードであった場合には、次に、レリーズ操作されたか否かの判定を行う（Ｓ２）。ここでは操作部９が、レリーズ釦が全押しされレリーズ操作が行われたか否かの判定を行う。この判定の結果、レリーズ操作がなされていなかった場合には、ステップＳ１１〜Ｓ１９において、図２を用いて説明した繰り返し動作があるか否かを判定し、繰り返し動作が有る場合には、その一周期相当の動画を併せて取得する。

レリーズ操作がなされていなかった場合には、まず、連続撮影を開始する（Ｓ１１）。ここでは、撮像部２によって取得された動画（連続画像）の画像データを画像変化抽出部５に仮記憶する。また、画像データに基づいて表示部８にライブビュー表示を開始する。なお、仮記憶の容量としては、後述する周期画像として想定される画像データの容量より大きければよく、この仮記憶された画像データがこの容量を超えた場合には、古い画像データから順次消去していく。

ステップＳ１１において連続撮影を開始すると、次に、顔検出、ＡＥ（自動露出）およびＡＦ（自動焦点調節）を行う（Ｓ１２）。このステップでは、撮像部２によって取得された画像データに基づいて、顔検出部２ａによって顔が存在するか否かを判定し、顔が存在した場合にはその位置等を検出する。また、画像データに基づいて被写体輝度を求め、表示部８に適正露光で表示されるようにＩＳＯ感度等の制御を行い、また適正露光で画像データの記録ができるようにシャッタや絞り等の制御値を演算する。さらに、画像データの高周波成分がピークとなるように、撮影レンズのピント合わせを行う。

顔検出、ＡＥ、ＡＦを行うと、次に、画像の一部に変化があるか否かの判定を行う（Ｓ１３）。ここでは、画像変化抽出部５によって仮記憶された動画像を比較し、動画像の一部に変化があるか否かを判定する。この判定の結果、変化がなければ、ステップＳ１に戻る。一方、変化があった場合には、その変化が顔部から離れているか否かの判定を行う（Ｓ１４）。ここでは、顔検出部２ａによって判定された顔の位置情報と、画像変化抽出部５によって検出された変化部の位置情報を比較して判定する。

ステップＳ１４における判定の結果、顔部から離れていなかった場合には、ステップＳ１に戻る。顔部は主被写体である可能性が高く、背景でないからである。また、顔部の近傍に変化部が存在していると、画像合成が困難となるからである。一方、判定の結果、変化している部分が顔部に近かった場合には、次に、周期画像判定を行う（Ｓ１５）。ここでは、前述した旗２３のように、周期的に変化する動体の周期を周期検出部５ａによって判定する。この周期画像判定の詳細については、図４ないし図６を用いて後述する。

周期画像の判定を行うと、次に、周期背景か否かの判定を行う（Ｓ１６）。ここでは、ステップＳ１５における周期画像判定の結果に基づいて、周期的変化する背景画像であるか否かの判定を行う。この判定の結果、周期背景でなかった場合には、ステップＳ１に戻る。一方、周期背景であった場合には、周期データ記録を行う（Ｓ１７）。このステップでは、ステップＳ１１において開始した動画（連続画像）の内、ステップＳ１５において判定された一周期相当の画像データを周期画像として、画像変化抽出部５に記録する。

ステップＳ１７において周期データの記録を行うと、次に、前の画像が有るか否かの判定を行う（Ｓ１８）。ここでは、周期画像として画像変化抽出部５に既に記録されている画像があるか否かを判定する。この判定の結果、前の画像がなければ、ステップＳ１に戻る。一方、判定の結果、前の画像があれば、その画像をクリアし（Ｓ１９）、ステップＳ１に戻る。周期画像の記憶容量には限界があることから、古い画像データを消去している。

ステップＳ２における判定の結果、レリーズ操作された場合には、次に、撮影を行う（Ｓ３）。撮影は、ステップＳ１２において予め演算されたシャッタや絞り等の露出制御値に従ってこれらの素子を制御し、このとき撮像部２によって取得された静止画の画像データを画像処理部３によって圧縮処理等の画像処理を行う。なお、ステップＳ１２において、ＡＥ、ＡＦが行われており、ここで求められた露出制御値や撮影レンズのピント位置は、周期画像の取得中には変更しないようにする。このために、周期画像の取得中であることを示すフラグを利用すれば良い。撮影を行うと、次に、周期データが有るか否かの判定を行う（Ｓ４）。ここでは、ステップＳ１７において周期データが記録されたか否かの判定を行う。

ステップＳ４における判定の結果、周期データが有った場合には、次に、構図変化なしか否かの判定を行う（Ｓ５）。ここでは、図２（ａ）〜（ｃ）に示したように、主被写体２１は何ら動いていないか否かを判定する。この判定の結果、構図に変化がなかった場合には、次に、撮影画像に周期データ動画像の関連付けを行う（Ｓ６）。ここでは、ステップＳ３で取得した静止画の画像データに、ステップＳ１７において仮記憶している最新の周期動画の関連付けを行う。

ステップＳ６において撮影画像に周期データ動画像の関連付けを行うと、またはステップＳ４またはステップＳ５における判定の結果、Ｎｏであった場合には、記録を行う（Ｓ７）。ステップＳ４、Ｓ５の判定結果がＮｏであった場合には、静止画の画像データのみが記録され、またステップＳ６でデータの関連付けが行われた場合には、静止画の画像データと関連付けられた動画の画像データが一緒に記録部６に記録される。

このように、本実施形態においては、撮影モード時に、周期画像か否かの判定を行い、周期画像であった場合には、静止画の撮影時に周期画像も関連付けて記録部６に記録される。そして、再生時には、図２（ｄ）〜（ｆ）に示したように、静止画に動画を合成し、主被写体２１は最も良い表情で表示され、背景は動きのある画像で表示される。

次に、ステップＳ１５の周期画像判定の動作について、図４ないし図６に示すフローチャートを用いて説明する。この周期画像判定のフローでは、図２を用いて説明したような、繰り返し同じ動作を繰り返す背景被写体（図２および図８の例では旗２３、以下、パターンＡと称す）以外にも、画面の端から端に移動する背景被写体（例えば、図７に示す船２５、以下、パターンＢと称す）、および図９に示す花火２７のように画面内で現れて消失する背景被写体（以下、パターンＣと称す）を判定する。

周期画像判定のフローにおいては、図８に示すようなパターンＡの背景被写体（例えば、旗２３）はステップＳ１０１においてＮｏと判定され、ステップＳ２０１以下において周期が判定される。また、図７に示すようなパターンＢの背景被写体（例えば、船２５）はステップＳ１０１においてＮｏと判定され、かつステップＳ１０５においてＹｅｓと判定され、ステップＳ１０６以下において周期が判定される。さらに、図９に示すようなパターンＣの背景被写体（例えば、花火２７）は、ステップＳ１０１においてＮｏと判定され、ステップＳ１０５においてＮｏと判定され、かつステップＳ３０１以下において周期が判定される。

図４に示す周期画像のフローに入ると、動きなし画像が有るか否かの判定を行う（Ｓ１０１）。ここでは、画像変化抽出部５によって、画面内に動きのある背景被写体があるか否かを判定する。この判定の結果、図２や図８に示す旗２３にように動きのある背景被写体が存在している場合には、動き有りと判定されたときの最初や最後等、所定のタイミングの画像を仮記憶画像ＩＭ０１として仮記録する（図５のＳ２０１）。続いて、そのときのタイミングＴ０１を記録する（Ｓ２０２）。

ステップＳ２０１およびＳ２０２において画像とタイミングを記憶すると、次に、保持警告を表示部８に行う（Ｓ２０３）。周期画像の候補を仮記憶していることから、この間、撮影者がカメラ１０をしっかり保持するように、保持警告を行う。続いて、画像の仮記憶を開始してから、２秒が経過したか否かを判定する（Ｓ２０４）。この間、構図に変化が有るか否かの判定を行う（Ｓ２１１）。ここでは、画像変化抽出部５によって、ステップＳ１０１において判定した動き部以外の部分が動き、構図が変化しているか否かを判定する。なお、画像変化抽出部５以外にも、例えば、手振れ検出部等を設け、カメラ１０が動いているか否かを判定するようにしても良い。

ステップＳ２１１における判定の結果、構図に変化がなければ、ステップＳ２０４に戻る。一方、判定の結果、構図に変化があった場合には、実際には周期画像になる可能性があっても、撮影者が構図を変えてしまったり、被写体の人物が動いてしまい、画像合成ができないので、やむ得ず、周期画像でないとし（Ｓ２１２）、元のフローに戻る。なお、ステップＳ２０４において、２秒経過か否かの判定を行ったが、２秒は例示である。後述するように２秒経過後に仮記憶画像ＩＭ０２を記録するが、これは旗２３が常に規則的に同じ動きをしているとは限らず、ときには不規則な動きをすることから、ステップＳ２０１において取得した仮記憶画像ＩＭ０１と同じ旗２３の形に戻らない場合に備えて、予備的に仮記憶画像ＩＭ０２を記録するためである。従って、ステップＳ２０４における２秒は、この観点から適宜変更しても良い。

ステップＳ２０４における判定の結果、２秒経過すると、このときの画像を仮記憶画像ＩＭ０２として記録し（Ｓ２０５）、そのときのタイミングＴ０２を記録する（Ｓ２０６）。続いて、ステップＳ２０１における仮記憶画像ＩＭ０１の記録から、１０秒経過したか否かの判定を行う（Ｓ２０７）。ここで、１０秒は例示であり、この時間に限らない。本実施形態では、背景に風になびく旗２３のような周期的な動きをする被写体があるか否か判定しているが、このような背景としては、あまり早すぎたり、ゆっくり動くものは、静止画として鑑賞するには相応しくないので、この点を考慮して、適宜、時間を決めれば良い。

ステップＳ２０７における判定の結果、１０秒が経過する間、ステップＳ２１１と同様に、構図に変化が有るか否かの判定を行う（Ｓ２１３）。この判定の結果、構図変化がなければ、次ぎに、顔部以外が仮記憶画像ＩＭ０１と同じか否かの判定を行う（Ｓ２２１）。ここでは、画像変化抽出部５の周期検出部５ａによって、仮記憶画像ＩＭ０１と現在の画像が一致するか否かの判定を行う。画像変化抽出部５によって変化部として判定された部分が同じであるか否かを判定すれば、迅速に判定できる。なお、顔部を除いているのは、図２（ａ）〜（ｃ）において説明したように、主被写体２１の顔の表情が変化する場合があるからである。

ステップＳ２２１における判定の結果、周期的な画像の変化によって周期が巡り、同じ画像になった場合には、そのときのタイミングＴ１を記録し（Ｓ２２２）、周期画像と周期データＴ０１〜Ｔ１を記録する（Ｓ２２３）。ステップＳ２２１において同じ画像と判定されたときは、一周期相当の画像を記録したタイミングであることから、タイミングＴ０１〜Ｔ１における一周期相当の画像を記録し、また一周期のタイミング時間も記録する。これらの画像等を記録すると、元のフローに戻る。

ステップＳ２２１における判定の結果、仮記憶画像ＩＭ０１と同じ画像がなかった場合には、４秒が経過したか否かの判定を行う（Ｓ２２５）。この判定の結果、４秒が経過していない場合には、ステップＳ２０７に戻る。一方、判定の結果、４秒経過した場合には、顔部以外がＩＭ０２と同じ画像か否かの判定を行う（Ｓ２３１）。ここで４秒経過したか否かを判定しているのは、仮記憶画像ＩＭ０２は、仮記憶画像ＩＭ０１を記憶してから２秒後に記録しており、ステップＳ２２１における判定から等間隔である４秒後（すなわち、２秒＋２秒）に判定するようにしている。

ステップＳ２３１における判定の結果、顔部以外がＩＭ０２と同じ画像がなかった場合には、また、変化するものが周期的に同じ形になっていないとして、ステップＳ２０７に戻る。一方、判定の結果、変化するものが周期的に同じ形になった時、顔部以外がＩＭ０２と同じ画像になるので、次に、そのときのタイミングＴ１を記録する（Ｓ２３２）。ステップＳ２３１において同じ画像と判定されたときは、一周期相当の画像を記録したタイミングであることから、タイミングＴ０２〜Ｔ１における一周期相当の画像を記録し、また一周期のタイミング時間も記録する。これらの画像等を記録すると、元のフローに戻る。

ステップＳ２０７における判定の結果、１０秒が経過した場合、またはステップＳ２１３における判定の結果、構図変化があった場合には、周期画像ではないとし（Ｓ２０８）、元のフローに戻る。１０秒以上、周期画像か否かを判定することは、周期が長すぎて鑑賞の妨げになることや、その間、撮影者が構図を変えられないので、仕様的に無理がある。いくら周期画像であっても、撮影者が同じ姿勢を続けるのは困難であり、周期を判定することは無理といえる。しかし、三脚でカメラを固定している場合には、さらに長い時間（１０秒以上）、待つようにしても良い。また構図に変化があった場合には、本実施形態における静止画と動画（連続画像）の合成画像を行うことができないからである。旗２３のような動きがあるとして、ステップＳ２０１以下において周期画像を仮記憶している場合には、次に、ステップＳ１０１における判定を行う際に、ステップＳ２０１に進めるようにフラグをセットしておくようにしても良い。

図４のステップＳ１０１における判定の結果、動きがなかった場合には、動きなし画像（動画）を記録する（Ｓ１０２）。動きなし画像は、図７（ａ）および図９（ａ）に示されるように、背景に動きのある被写体がない場合である。これらの場合には、後述するように、動画（連続画像）の撮影後に背景に動きのある被写体が現れるが、ステップＳ１０２を実行する時点では、このような動きのある被写体が背景にないことから、判定結果はＮｏとなる。

ステップＳ１０２において、動きなし画像を記録すると、次に、動きなし画像のタイミングＴ０を記録する（Ｓ１０３）。続いて、動き方向の判定を行う（Ｓ１０４）。前述したようにステップＳ１０２における判定時には動きがない場合であっても、図７および図９の例では、その後、背景に動きのある被写体が現れてくることから、ステップＳ１０４においては、２〜３秒に亘って取得した画像データに基づいて背景の動きを分析し、画像変化抽出部５によって、動き方向を判定する。

動き方向の判定を行うと、次に、動きの方向が画面の端から端であるか否かの判定を行う（Ｓ１０５）。図７はパターンＢの例であり、この例では、船２５が画面の左端から右端に向けて移動していることから、ステップＳ１０５における判定の結果はＹｅｓである。一方、図９はパターンＣの例であり、この例では、花火２７が画面右側で下から上に向けて花火が打ち上げられており、ステップＳ１０５における判定の結果はＮｏとなる。

ステップＳ１０５における判定の結果、Ｙｅｓであった場合には、次に、端部までの時間を演算し（Ｓ１０６）、この演算された時間が経過するのを待つ（Ｓ１０７）。ここでは、図７に示すように、画面の端に船２５が現れた場合には、この船２５の動きの変化から、一方の端から他方の端に達するまでの時間を演算する。これは、図７に示す船２５が人物主被写体２１の背後に消えたときに周期画像の終了として誤検出することを防止するためである。図７（ｃ）の状態まで、不感帯を設けたような設計となっている。なお、この演算時間は、端部に達するよりは、若干、短めの時間とする。続いて、演算された時間が経過した否かを判定し（Ｓ１０７）、この判定の結果、時間が経過していなかった場合には、ステップＳ２０３と同様に、保持警告を行う（Ｓ１０８）。保持警告を行うと、ステップＳ１０７に戻る。

ステップＳ１０７における判定の結果、端部に達するまでの時間が経過すると、次に、再度動きがないか否かを判定する（Ｓ１１１）。ステップＳ１０６で演算された端部に達するまでの時間は若干短めにしていることから、ステップＳ１０７で時間経過と判定された時点では、船２５は動いている可能性がある。そこで、ステップＳ１１１において、動きがあるか否かを判定している。なお、動きがあるか否かの判定は、画像変化抽出部５によって行う。

ステップＳ１１１における判定の結果、動きがあった場合には、動きのある被写体（ここでは船２５）が現れてから１秒〜３０秒の間か否かを判定する（Ｓ１２１）。ここで、１秒〜３０秒は、静止画の背景として端部から端部に動く被写体（ここでは船２５）の想定移動時間であり、再生時に鑑賞する際に飽きない適当な時間を設定する。この時間は例示であり、この趣旨の範囲で適宜変更しても良い。

ステップＳ１２１における判定の結果、１秒〜３０秒の範囲でなかった場合には、周期画像でないとし（Ｓ１２２）、元のフローに戻る。一方、判定の結果、１秒から３０秒の範囲にある場合には、ステップＳ１０８と同様に、保持警告を行う（Ｓ１２３）。続いて、ステップＳ５、Ｓ２１１、Ｓ２１３と同様に、構図変化が有るか否かの判定を行う（Ｓ１２４）。この判定の結果、構図変化が有った場合には、周期画像でないとし（Ｓ１２２）、元のフローに戻る。一方、構図の変化がなければ、ステップＳ１１１に戻る。

ステップＳ１１１における判定の結果、再度動きがなくなれば、そのタイミングＴ１を記録し（Ｓ１１２）、周期画像と周期データＴ０〜Ｔ１を記録する（Ｓ１１３）。動きなし画像の記録を開始したタイミングＴ０から、再び動きなしとなったタイミングＴ１の間が、船２５等の背景の被写体が端から端まで動いた時間である。そこで、タイミングＴ０〜Ｔ１における一周期相当の画像を記録し、また一周期のタイミング時間も記録する。これらの画像等を記録すると、元のフローに戻る。船２５のような動きがあるとして、ステップＳ１０５以下において周期画像を仮記憶している場合には、次に、ステップＳ１０１およびＳ１０５における判定を行う際に、ステップＳ１０６に進めるようにフラグをセットしておくようにしても良い。

ステップＳ１０５において、動きの方向が画面の端から端でない場合は、図９に示した花火２７である可能性が高い。そこで、再度動きがなくなるまで、ステップＳ３０１（図６）以下において動画（連続画像）の撮影を行う。まず、再度動きなしか否かの判定を行う（Ｓ３０１）。ここでは、画像変化抽出部５によって、図９（ｂ）〜（ｄ）の状態を経て、花火２７が消失したか否かを判定している。

ステップＳ３０１における判定の結果、動いていた場合には、１０秒の間か否かを判定する（Ｓ３１１）。ここではステップＳ１０２において動きなし画像の動画記録を開始してから１０秒の間か否かの判定を行う。この判定の結果、１０秒を経過していた場合には、周期画像でないとし（Ｓ３１２）、元のフローに戻る。なお、本実施形態においては、ステップＳ３１１における判定時間は１０秒としたが、これに限らず、花火２７等における周期画像として適切な範囲の時間であれば良い。

ステップＳ３１１における判定の結果、１０秒以内であれば、ステップＳ１０８、Ｓ１２３、Ｓ２０３と同様に、保持警告を行う（Ｓ３１３）。続いて、ステップＳ１２４、Ｓ２１３と同様に、構図変化が有ったか否かを判定する（Ｓ３１４）。この判定の結果、構図変化がなければ、ステップＳ３０１に戻る。一方、判定の結果、構図変化があった場合には、３秒が経過したか否かを判定する（Ｓ３１５）。ここでは、ステップＳ１０２において動きなし画像の動画記録を開始してから３秒が経過したか否かを判定する。

ステップＳ３１５における判定の結果、構図の変化が起こったのが、３秒経過前であった場合には、構図変化が生じたことにより画像合成には不適切であることから、元のフローに戻る。一方、判定の結果、３秒経過後であれば、ステップＳ３０２にジャンプする。この場合は、画像合成できる可能性がある。構図変化があった時点で既に３秒経過していた場合には、花火２７が開いているような状況であると考えられ、構図変化したとしても合成が可能であるとして、この画像を採用すべく周期画像の記録を停止している。画面内を通り過ぎる船２５が途中で消えると不自然であるが、花火２７のような場合には、図９（ｃ）（ｄ）の状態から図９（ａ）の状態に戻すことは不自然ではない。そこで、本実施形態においては、構図変化があった場合、動きなし画像の動画（連続撮影）記録を開始してから３秒経過していれば、周期画像として扱うことにした。

ステップＳ３０１における判定の結果、動きがなくなった場合、またはステップＳ３１５において３秒経過していた場合には、そのタイミングＴ１を記録し（Ｓ３０２）、周期画像と周期データＴ０１〜Ｔ１を記録する（Ｓ３０３）。ステップＳ１０２において動きなし画像の記録を開始してから、再度動きが無くなった時点で、一周期相当の画像を記録したことになる。そこで、タイミングＴ０１〜Ｔ１における一周期相当の画像を記録し、また一周期のタイミング時間も記録する。これらの画像等を記録すると、元のフローに戻る。

このように本実施形態における周期画像判定のサブルーチンにおいては、旗２３（パターンＡ）のように、画面の狭い範囲で繰り返し動く背景被写体と、船２５（パターンＢ）のように画面の端から端に移動する背景被写体と、花火２７（パターンＣ）のように、画面内の一点で現れて、他点で消失する背景被写体について、それぞれ起点から終点までの周期を判定し、その間の画像を周期画像として記録している。なお、本実施形態においては、周期画像の記録の際には、画像データ全体を記録していたが、人物部（主被写体２１）は、その間、動く可能性が高いので、旗２３や花火２７等のシーンでは、合成用の変化部の画像のみを記録するようにしても良い。

次に、本実施形態におけるカメラ１０において撮影した周期画像の再生について、図１０に示すフローチャートを用いて説明する。この再生モードのフローは、図３のステップＳ２３において実行される。ステップＳ２３における再生モードでは、周期画像を合成しない通常の静止画も再生されるが、図１０においては、静止画に周期画像を合成した合成画像の再生表示について説明する。

再生モードのフローに入ると、まず、再生画像の選択を行う（Ｓ４０１）。ここでは、通常の静止画の再生と同様に、サムネイル表示された撮影画像の中から、ユーザが操作部９を操作することによって選択する。再生画像の選択を行うと、次に、周期データＴ０〜Ｔ１の画像を比較する（Ｓ４０２）。ここでは、タイミングＴ０〜Ｔ１の間の動画（連続画像）を記録部６から読み出し、読みだされた画像データを比較することにより、動いている部分があるかを判定する。

続いて、顔部以外で動きのある部分を判定する（Ｓ４０３）。ここでは、前述の旗２３、船２５、花火２７のように動きのある部分が、画面内のどの位置かを判定する。例えば、図１１に示す例は、花火２７を背景に主被写体２１を撮影した連続画像であり、図１１（ｄ）が静止画像である。ステップ４０３では、図１１（ａ）〜（ｄ）を比較することにより、顔部以外で、花火２７が動きのある部分と判定される。なお、顔部は顔検出部２ａによって検出され、撮影時に顔部の位置が記録されていれば、その情報を利用しても良い。

ステップＳ４０３において、動きの有る部分を判定すると、次に、顔と動きの有る部分の境界を境界化する（Ｓ４０４）。図１１に示す例では、主被写体２１の顔部の位置と、花火２７の間で境界線２９を決める。この境界線２９は、図１１に示す例では、直線であるが、被写体や動く背景被写体と形状によっては曲線でも良い。

ステップＳ４０４において境界を決めると、次に、顔に対して境界の外側は動画を採用する（Ｓ４０５）。ここでは、境界線２９より顔に対して外側の画像については、タイミングＴ０からＴ１の間に撮影された動画（連続画像）を採用する。続いて、顔に対し、境界の内側は静止画を採用する（Ｓ４０６）。ここでは、境界線２９より顔に対して内側の画像については、ステップＳ３において撮影した静止画（図１１（ｄ）に対応）を採用する。

次に、採用動画と静止画を合成表示する（Ｓ４０７）。ここでは、ステップＳ４０５において採用した動画（連続画像）とステップＳ４０６において採用した静止画を、境界線２９を境にして画像合成を行い、表示部８に表示する。再生表示の終了の指示がなされるまで、図１１（ａ）〜図１１（ｄ）を繰り返し表示する。このため、主被写体２１は静止画で撮影されたが表示され、背景には花火２７が現れてから消失するまで動きのある画像が表示される。なお、本実施形態においては、図１１に示すように、境界線を顔と移動する背景被写体との間にとって静止画と動画を合成したが、静止画または動画の輪郭に沿って画像を切り出し、画像合成するようにしても良い。

なお、本発明の一実施形態においては、静止画の撮影前に動画（連続画像）の記録を行ったが、静止画撮影後に動画を記録してもよく、または静止画撮影の前後に動画記録するようにしても勿論かまわない。

次に、本発明の一実施形態の変形例を図１２および図１３を用いて説明する。本発明の一実施形態においては、静止画の撮影の際に周期判定を行い一周期相当の動画（連続画像）の記録も併せて行っていた。本変形例においては、静止画の撮影に先だって撮影者が周期画像として記録したい部分についてタッチすると、周期的変化か否かを判定し、周期的変化を行っている場合には、予め一周期相当の動画を記録するようにしている。

図１２は、本変形例における周期画像を予め記録する様子を示す図である。撮影者は、カメラ１０の表示部８にライブビュー表示される被写体風景３１の中から、周期判定を行いたい部分をタッチする。図１２の例では、旗２３をタッチすると、表示部８の前面に配置されたタッチパネル（不図示）がタッチ位置を検出し、画像変化抽出部５の周期検出部５ａによって周期を検出する。このとき周期が検出されると、表示部８の周期表示８ａに表示され、また検出された周期に基づいて、部分画像３３の動画（連続画像）が記録される。

次に、本変形例の動作を図１３に示す周期画像チェックのフローに基づいて説明する。周期的変化を行っている部分について、周期画像を記録したい場合には、撮影者はその部分をタッチするので、まず、指定部画像判定及び記録を行う（Ｓ５０１）。ここでは、タッチパネルによって、いずれの位置がタッチされたかを判定し、またタッチされたことを判定した場合には、その時の画像データを記録する。

続いて、追尾しつつ指定部の画像変化の周期を判定する（Ｓ５０２）。ここでは、ステップＳ４０１によって指定された指定部の動きを追尾し、その指定部の周期を図４ないし図６で説明したような周期画像判定と類似のやり方で判定する。周期判定を行うと、周期を表示部に表示する（Ｓ５０３）。ここでは、図１２に示すように、ステップＳ５０２において求められた周期を、周期表示８ａとして表示部８に表示する。

続いて、被写体撮影および記録周期部合成を行う（Ｓ５０４）。被写体の撮影は、レリーズ釦が全押しされた場合に静止画の撮影を行い、静止画が撮影されると、ステップＳ５０１から記録された動画の中から、一周期相当の動画（連続画像）を本発明の一実施形態と同様に画像合成を行う。

本変形例におけるフローの周期判定中は、部分画像３３の部分の周期を判定し、また部分画像３３が記録されているだけであるので、主被写体２１が動いても問題はない。周期判定後に、主被写体２１がポーズをとった際に、静止画の撮影を行うようにすれば、主被写体２１の撮影に集中することができる。周期画像は、部分画像３３のタッチ時に既に記録されているので、この部分を静止画に合成するだけで背景部分が動く合成画像を得ることができる。

本変形例では、背景に車が通りすぎても、それに惑わされることなく、旗２３のはためきだけを人物（主被写体２１）の背景に合成することが可能となり、失敗の確率を減少させることができ、また、無駄な検出動作を省くことができる。なお、旗２３の周期を検出している時に、仮に手振れが生じても、画面内に旗２３が入っていれば、その旗２３の部分の画像のみをトリミングして使用すれば、手振れの影響を受けずに周期画像を取得することができる。例えば、図８に示したような状況で、手振れによって旗２３の位置が変わった場合には、画面内の切り出し位置を変えることにより、旗２３の正しい周期画像を取得することができる。このように、切り出し位置を切り替えることによって取得した周期画像（動画）を静止画像上に合成することによって、背景の一部分のみが動く静止画像を簡単に取得することができる。

以上説明したように、本発明の一実施形態や変形例においては、画像データを比較して変化部を抽出し、抽出された変化部の一周期相当の動画（連続画像）と、静止画を記録している。このため、単なる静止画ではなく、静止画写真を楽しむことに加えて、動きの面白さや時間の推移を感じることのできる写真画像を撮影することができる。

また、本発明の一実施形態においては、カメラ１０において再生表示を行っていたが、これに限らず、撮影画像データをパーソナルコンピュータ等において再生するようにしても良い。この場合、カメラ１０において静止画に関連付けて動画（連続画像）を記録しておき、パーソナルコンピュータ等において、画像合成し、これを再生表示するようにしても良い。

さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画と静止画の画像データを記録可能な撮影装置であれば、本発明を適用することができる。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・制御部、２・・・撮像部、２ａ・・・顔検出部、３・・・画像処理部、５・・・画像変化抽出部、５ａ・・・周期検出部、６・・・記録部、７・・・合成制御部、８・・・表示部、９・・・操作部、１０・・・カメラ、２１・・・主被写体、２３・・・旗、
２５・・・船、２７・・・花火、２９・・・境界線、３１・・・被写体風景、３３・・・部分画像

Claims (13)

1. 被写体像を撮像する撮像部と、
   複数のタイミングで、上記撮像部から得られた画像を比較する画像比較部と、
   仮記憶した第１のタイミングの画像と、上記第１のタイミングから所定時間経過後の第２のタイミングの画像を、上記画像比較部において比較し、この比較結果が一致する場合には、上記第１のタイミングから上記第２のタイミングの一連の画像を記録する画像記録部と、
   を有することを特徴とする撮影装置。
2. 上記画像比較部は、画面内所定位置の画像に相当する部分を比較することを特徴とする請求項１に記載の撮影装置。
3. 上記撮影装置は、画面内の人物の顔を検出する顔検出部を有し、
   上記画像比較部が比較する画面内所定位置の画像に相当する部分は、上記画面内の人物顔部以外である
   ことを特徴とする請求項２に記載の撮影装置。
4. 被写体像を撮像し画像データを順次、出力可能な撮像部と、
   順次出力される上記画像データを比較し、変化部を抽出する画像変化抽出部と、
   上記画像変化抽出部によって抽出された上記変化部の変化の周期を検出する周期検出部と、
   上記周期検出部によって検出された一周期相当の上記画像データを連続画像として記録し、かつ上記撮像部から出力される画像データに基づいて静止画像として記録する記録部と、
   を有することを特徴とする撮影装置。
5. 上記周期検出部は、上記画像データに基づいて、同じ動作を繰り返す背景被写体の画像が一致するまでの期間を検出し、上記周期とすることを特徴とする請求項４に記載の撮影装置。
6. 上記周期検出部は、上記画像データに基づいて、画面の一方の端から他方の端まで移動する背景被写体が他方の端まで移動する期間を検出し、上記周期とすることを特徴とする請求項４に記載の撮影装置。
7. 上記周期検出部は、上記画像データに基づいて、画面の中に現れてから消失するまでの期間を検出し、上記周期とすることを特徴とする請求項４に記載の撮影装置。
8. 上記連続画像と上記静止画像を合成する画像合成部と、
   上記合成された画像を表示する表示部と、
   を有することを特徴とする請求項４に記載の撮影装置。
9. 上記周期検出部によって上記周期の検出を行っている間、保持警告を表示することを特徴とする請求項４に記載の撮影装置。
10. 上記画像データに基づいて、人物の顔部を検出する顔検出部を有し、
    上記画像変化抽出部は、上記顔部以外において上記変化部を抽出することを特徴とする請求項４に記載の撮影装置。
11. 上記画像データに基づいて被写体像をライブビュー表示する表示部と、
    上記ライブビュー表示の画面上における部分を指定する指定部と、
    を有し、
    上記周期判定部は、上記指定部によって指定された上記部分に対応する被写体像の上記周期を検出することを特徴とする請求項４に記載の撮影装置。
12. 被写体像を撮像し画像データを順次、出力し、
    順次出力される上記画像データを比較し、変化部を抽出し、
    上記抽出された上記変化部の変化の一周期を検出し、
    上記検出された一周期相当の上記画像データを連続画像として記録し、かつ上記画像データを静止画像として記録する、
    ことを特徴とする撮影方法。
13. 静止画の上記画像データと、背景被写体が変化している場合に一周期相当の画像データを、上記静止画に関連付けて記録された動画の画像データを記憶し、
    上記記憶された上記静止画の画像データに、上記背景被写体の変化している部分を合成し、
    上記合成された画像を表示する、
    ことを特徴とする再生方法。