JP2010041175A - 画像再生装置、画像再生方法、およびプログラム - Google Patents

Abstract

【課題】簡単な操作でテレビ等の再生にも耐えられるような画像再生装置及び画像再生方法を提供する。
【解決手段】基準画像と連続して撮影した撮影画像を記録する記録部３と、連続撮影画像の中から、基準画像に対して順次変化した部分の画像を抽出する画像変化抽出部５と、基準画像上に、変化した部分の画像を順次合成する合成制御部７と、を具備し、合成制御部７によって合成された複数の画像を液晶表示部８ａに表示し、または出力部８を介して外部のテレビ２０等に表示する。
【選択図】 図１

Description

本発明は、画像再生装置、画像再生方法、およびプログラムに関し、詳しくは、デジタルカメラやビデオカメラ等の撮影装置によって連続して撮影した画像を効果的に表示する画像再生装置、画像再生方法、およびプログラムに関する。

近年、デジタルカメラやビデオカメラ等によるデジタル画像の撮影や画像処理技術が向上し、デジタルカメラとビデオカメラの境界がなくなりつつあり、大量の画像を取り扱うことが容易になってきている。また、カメラは単に撮影するだけの機器であったが、画像信号がデジタル化されることにより、パーソナルコンピュータやテレビ等の多くの機器の間でデータの受け渡しが簡単になってきている。

このように、デジタルカメラやビデオカメラ等の撮影装置で取得した画像の再生環境は、多様化している。しかし、これまでの再生装置では、連続して撮影した画像をそのまま再生するような場合が多く、プロが丁寧に撮影、編集した画像と比較すると、はなはだ見劣りするものが多かった。

そこで、静止画で撮影した画像に動的効果を加えることで見栄えのよい再生画像を得られるようにした画像処理装置が提案されている。例えば、特許文献１には、静止画に動的処理を施す部分を指定し、この部分に動的処理を行った画像を複数作成し、繰り返し再生表示するようにした画像再生装置が開示されている。
特開平１１−１５９９３号公報

また、特許文献２には、静止画に動的処理を施すにあたって、記憶を小容量で済むようにするために、静止画のファイルと動画を生成するための画像オブジェクトをそれぞれ別に記憶し、再生時に両者を合成することにより動画像を生成する画像処理装置が開示されている。
特開２００６−１３３８９７号公報

このように、静止画に動画の動きを付加し、楽しめる再生画像とすることは従来から、種々提案されている。しかし、このような編集作業は面倒であり、一般のユーザーにとって困難であった。また、前述の特許文献１、２に開示の再生装置はオリジナルの画像はいずれも静止画であり、この静止画を動画的に再生するものであって、オリジナルの動画画像を簡単な操作で効果的に再生するものではない。

本発明は、このような事情を鑑みてなされたものであり、簡単な操作でテレビ等での鑑賞にも耐えられるような画像を再生する画像再生装置、画像再生方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像再生装置は、基準画像と連続して撮影した撮影画像を記憶する記憶部と、上記撮影画像の中から、上記基準画像に対して順次変化した部分の画像を抽出する抽出部と、上記基準画像上に、上記変化した部分の画像を順次合成する合成部と、を具備し、上記合成部によって合成された複数の画像を表示可能とする。

第２の発明に係わる画像再生装置は、上記第１の発明において、連続した撮影された上記撮影画像を、そのまま再生する第１の再生モードと、上記合成部によって合成され、複数の画像を表示する第２の再生モードと、を切り換える切換部と、具備する。

第３の発明に係わる画像再生装置は、上記第１の発明において、被写体像を画像データに変換する撮像部と、周囲の音声を記録する録音部と、を具備し、上記撮影部で撮影された連続画像を再生する際に、上記録音部で録音された音声を再生する。

第４の発明に係わる画像再生装置は、上記第１の発明において、上記抽出部は、上記基準画像と、上記撮影画像のうちの複数の画像を順次比較し、時間的に明るさが変化した部分で、かつ、その明るさ変化した部分の明るさが元の明るさに戻る部分の画像を抽出する。

第５の発明に係わる画像再生方法は、基準画像と連続して撮影した撮影画像を記憶し、上記撮影画像の中から、上記基準画像に対して順次変化した部分の画像を抽出し、上記基準画像上に、上記変化した部分の画像を順次合成し、上記合成された複数の画像を表示可能とする。

第６の発明に係わるプログラムは、基準画像と連続して撮影した撮影画像を記憶し、上記撮影画像の中から、上記基準画像に対して順次変化した部分の画像を抽出し、上記変化した部分に基づいて画像処理を順次行い、上記処理された複数の画像を表示可能とする、ことをコンピュータに実行させる。

本発明によれば、簡単な操作でテレビ等での鑑賞にも耐えられるような画像を再生する画像再生装置、画像再生方法、およびプログラムを提供することができる。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の一実施形態に係わるカメラ１０はデジタルカメラであり、連写や動画を撮影し、画像データを記録媒体に記録することができる。また、再生にあたっては、画像の中で明るさが変化する部分を抽出し、この変化部分を基準画像に合成し、明るさが繰り返し変化する合成画像を再生表示することが可能である。これによって、風景をのんびりと眺めている効果を得ることができる。

本実施形態に係わるカメラ１０の構成を説明するに先立って、本発明に係わる画像再生装置を搭載したカメラ１０における画像再生の考え方を、図２および図３を用いて説明する。

最近のデジタルカメラでは、動画撮影を簡単に行うことができるが、カメラの小型化と共に手振れを起こし易く、また、動画の撮影中には、図２（ｃ）に示すように、不意に思わぬ被写体（ここでは自動車３３）が画面に入ってくる場合がある。このような画像は、図３のような大画面のテレビ２０で再生すると、手振れが煩わしく、また思わぬハプニング画像は何度も見ると飽きてしまう。

また、大画面薄型のテレビ２０に、パーソナルコンピュータの壁紙のようにオリジナルの撮影画像を表示しようとすると、手振れやハプニング画像は相応しいものではない。静止画であれば、このような問題は解決され、また、静止画そのものは撮影した瞬間に作品化でき、撮影時点で完成した画像となる。したがって、静止画であれば、それ以上の手間を必要とすることなく、一般のユーザーにとって満足できるものとなる。

しかし、大画面テレビ等で画像を再生表示する場合には、全く何も変化しなと単調で飽きてしまうので、いくらか変化があった方がゆったりと見ることができる。例えば、木３１の葉が揺れて、太陽光の反射光がきらめくような情景や（図２（ａ）（ｂ）参照）、海面の波に光が反射するような情景などでは、その光のきらめきが表示される方がよい。光の反射など自然界で繰り返し起こる光の効果は、何度、繰り返されても違和感がなく、鑑賞者の心を落ち着かせる効果がある。

このように静止画のようにあまり大きな変化がない画像でありながら、光の反射など自然界で繰り返される光の変化をつけることによって、さながら窓の外の風景が写し出されるような表示が可能となる。ただし、図２（ｃ）に示すように、通り過ぎる自動車３３等は、変化であるが何度も見ると不自然で飽きがきてしまうので、このような被写体は再生されないことが望ましい。

このような考え方にしたがって、本実施形態における画像再生装置では、撮影時点で完成された静止画に対し、太陽の反射光の変化だけを付与し、手振れのような見苦しさを除去し、一方、自然な光の変化を付与した画像を再生表示する。これによって、図３に示すように、大画面のテレビ２０に窓の外の風景を映し出すような画像表示を行うことが可能となる。また、動画像や連写画像の撮影時に、鳥の声なども録音しておき、画像再生時に鳥の声も再生するようにしてもよい。

次に、上述した画像を再生表示できるカメラの構成について説明する。図１は、一実施形態に係わるカメラ１０の電気的構成を示すブロック図である。カメラ１０は、制御部１、撮影部２、記録部３、圧縮保存部３ｂ、代表抽出部４、画像変化抽出部５、集音部６、合成制御部７、出力部８、液晶表示部８ａ、操作部９を有している。

制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、プログラムに従って全体制御を行う。撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される画像信号を処理する画像処理部等を含み、画像データを出力する。なお、この撮影部２は静止画、連写、動画の画像データを出力可能である。

集音部６は、マイク等によって音声を電気信号に変換し、音声信号を出力する。記録部３は、制御部１からの制御信号に応じて、撮影部２から出力される静止画、連写、動画の画像データを記録する。また、画像データの記録に併せて、集音部６から出力される音声データの記録も行う。

代表抽出部４は、記録部３に記録された画像データの中から代表画像を抽出する。連写画像や動画は、一連の複数の静止画から構成され、代表抽出部４は、これらの複数の画像の中から代表画像を抽出する。画像変化抽出部５は、連写や動画像を構成する一連の複数の静止画の中で、代表画像と各静止画同士を比較し、変化している部分のみを抽出する。この画像変化抽出部５は、手振れなどで画像全体が変化した変化量や、画像の中で明るさが変化した部分の像信号そのもの（部分変化画像）を抽出する。

合成制御部７は、代表抽出部４によって抽出された代表画像に、画像変化抽出部５によって抽出された変化部分を合成する。すなわち、合成制御部７は、どの位置の画像がどのように変化したかという情報を利用し、代表画像上に部分変化画像を合成する。圧縮保存部３ｂは、記録部３で記録される画像データを圧縮保存し、また、合成制御部７において合成された画像データを圧縮し、これを保存する。

出力部８は、記録部３に記録された静止画、連写、動画を外部機器に出力し、また液晶表示部８ａに出力する。また、合成制御部７において合成された画像も外部機器や液晶表示部８ａに出力する。外部機器としては、例えば、薄型のテレビ２０等であり、外部機器へは有線接続以外にも、赤外線や電波で出力してもよく、また無線ＬＡＮ等によって、特定のサーバーに送信するようにしてもよい。

液晶表示部８ａは、カメラ１０上に設けられており、記録部３の記録画像や合成制御部７による合成画像を再生表示する。操作部９は、レリーズ釦や、メニュー釦等の操作部材を含み、ユーザーが操作部９を操作すると、制御部１は操作に応じて各部に制御信号を出力する。

次に図４乃至図８を用いて、本実施形態における画像合成のプロセスについて説明する。図４は、手持ちで撮影された動画（または連写画像）を示している。この動画は、図４（ａ）〜（ｃ）に示すように、一連の静止画から構成されており、画面内において木３１の位置は手振れによって変化している。

図５（ｂ）（ｃ）は、図５（ａ）に示す最初のコマを基準となる代表画像とし、被写体がどのように変化したかを示している。ここでは、単純化のために縦方向（ｙ方向）のみに変化した様子を示している。被写体である木３１の画像が代表画像に一致するように、縦方向にずらし、差異が一番小さくなるときのずらし量を検出する。この最小となるずらし量を変化量Δｙ１、Δｙ２とする。

ここで求めた変化量Δｙ１、Δｙ２を用いて、図４（ｂ）（ｃ）に示す被写体の位置を補正すると、図６に示すようになる。すなわち、図４（ｂ）の画像は縦方向にΔｙ１だけ上に移動させ、図４（ｃ）の画像は縦方向にΔｙ２だけ下に移動させる。

木３１の葉は風によって揺れ、太陽光の反射光がきらめく。このきらめきの部分変化３２は、時々刻々、部分変化３２ａ、３２ｂ、３２ｃとその位置が変化していく。変化量Δｙ１、Δｙ２を用いて補正された後において、部分変化３２ｂ、３２ｃの位置をｙ１、ｙ２とする。図７は、部分変化３２ａ、３２ｂ、３２ｃのみを抽出し、それ以外の部分の像信号を最小値とした変化画像である。

図８は代表画像（基準画像）を示しており、図４（ａ）、図５（ａ）と同じ画像である。この代表画像に、図７に示すような部分変化３２のみを抽出した変化画像を合成すると、葉の揺れよってきらきらと反射光が揺れる画像が得られる。このやり方によれば、動画の大部分は利用せず、代表画像（図８参照）と、変化点情報（ｙ１、ｙ２等）と、変化画像（図７参照）のみを記録するだけで良いことから、画像のデータ量を小容量にすることができる。また、プリント時には静止画を、またテレビ２０等で鑑賞するときには、光の効果がついた、ぶれのない動画として楽しむことができる。

次に、図４乃至図８において説明した画像合成を実行する合成制御部７の具体的な構成について図９を用いて説明する。合成制御部７は、ゲイン付与部７ａ、乗算器７ｂ、７ｃ、および加算器７ｄから構成される。

すなわち、ゲイン付与部７ａは、変化画像５ａの出力に接続され、この変化画像５ａに基づいてゲインを乗算器７ｂ、７ｃに出力するように接続される。乗算器７ｂはゲイン付与部７ａの出力と変化画像５ａの出力に接続され、乗算結果を加算器７に出力するように接続される。乗算器７ｃは代表画像４ａの出力とゲイン付与部７ａの出力に接続され、これらの乗算結果を加算器７ｄに出力するように接続される。加算器７ｄは乗算器７ｂ、７ｃからの各出力を入力するように接続され、これらの加算結果を出力部８に出力するように接続される。

次に、このように構成された合成制御部７の動作を説明する。代表抽出部４から出力される代表画像４ａとしては、撮影操作の最初に得られた画像を用いるが、もちろん、撮影者が選択した画像や、動画画像や連写画像の中で最も安定していたときの画像でも良い。

画像変化抽出部５から出力される変化画像５ａは、前述の図７に示した、一連の複数の変化画像であり（図７（ｂ）（ｃ）参照）、部分変化３２ｂ、３２ｃの部分以外は最小値となっている。この変化画像５ａの画像データについて、各画素ごとに順次、乗算器７ｂとゲイン付与部７ａに入力される。変化画像５ａは複数あり、最初のコマについて画像データを入力すると、次のコマに移り、連続撮影のコマ数−１コマ分の画像データを入力するまで、データ入力が繰り返される。

ゲイン付与部７ａは、変化画像５ａの各画素のデータに基づいて、ゲインを変化させる。すなわち、変化がない部分については、画像データは最小値とされている。画像データが最小値となっている場合には、乗算器７ｂのゲインは０とし、乗算器７ｃのゲインは１とする。一方、変化があった部分については、乗算器７ｂのゲインを１とし、乗算器７ｃのゲインは０とするなど、変化部を強調するような制御を行う。また、乗算器７ｂのゲインを逐次変化させるようにしてもよいし、１以上に強調してもよい。場合によっては、色を変えたり、変化を持たせてもよい。

変化画像５ａ（図７（ｂ）（ｃ））を順次入力すると、出力部８には、もとの代表画像４ａ（図８）に変化した部分が逐次合成されて出力される。このため、風などに揺れた葉で反射された太陽光がきらめく様子が再現される。この再生にあたっては、もとの代表画像４ａ（図８）と変化画像５ａ（図７（ｂ）（ｃ））の画像データのみで済み、図６に示すような、動画を構成するための多数の静止画の画像データを必要としない。

次に、図４乃至図８において説明した画像の合成を実行するための動作について、図９および図１０に示すフローチャートを用いて説明する。図９は、画像の変化部を抽出するフローである。

変化抽出のフローに入ると、まず、動画を構成する画像数を表す変数ｎを、ｎ＝０と、初期化する（Ｓ１０１）。この例では、動画撮影開始時の画像を基準画像（代表画像）としている。続いて、変数ｎをインクリメントし（Ｓ１０２）、このインクリメント後の変数ｎが最終コマに対応する値かを判定する（Ｓ１０３）。この判定の結果、変数ｎが最終コマに達していた場合には、元のフローに戻る。

ステップＳ１０３における判定の結果、変数ｎが最終コマに達していない場合には、変数ｎと基準画像（代表画像）の比較を行い（Ｓ１０４）、ずれ量（ΔＸｎ，ΔＹｎ）の判定を行う（Ｓ１０５）。すなわち、ずれ量は、図５を用いて説明したように、画像をずらしながら一致度を求め、この一致度が最も高くなるときのずらし量である。

続いて、明るさ変化部（Ｘａｎ，Ｙａｎ）の検出を行う（Ｓ１０６）。このステップでは、図６において説明したように、明るさの変化した部分を検出し、そのＸ座標およびＹ座標を検出する。この検出の詳細については、図１３および図１４を用いて後述する。明るさ変化部を検出すると、次に、変化部（Ｘａｎ，Ｙａｎ）以外の画像データを最小値にする（Ｓ１０７）。すなわち、変化部分以外の画像データを最小値として、新ｎ番目画像（図１３（ｄ）参照）とする。

ステップＳ１０７において新ｎ番目画像を生成すると、これを合成用画像ｎとして記録する（Ｓ１０８）。この合成用画像ｎは、前述の図７に示したように、明るさが変化した変化部のみからなる画像である。合成用画像ｎを記録すると、ステップＳ１０２に戻り、変数ｎをインクリメントし、前述の動作を実行する。

次に、ステップＳ１０６における明るさ変化部検出のサブルーチンについて、図１３及び図１４を用いて説明する。まず、明るさ変化部の検出の考え方について、図１３を用いて説明する。図１３（ａ）〜（ｃ）は、図１３（ｅ）に示すように、画面所定部の横方向に沿っての明るさの分布を示す。図面上では、明記してないが、図１３（ａ）〜（ｃ）の横軸は、画素の位置を示しており、縦軸には各画素ごとの出力を図示している。被写体像の明るさに応じて図示のようなパターンが形成される。

図１３（ａ）は基準画像（代表画像）の明暗パターンを示しており、図１３（ｂ）は第ｎ番目の画像であり、ここでは、明るさがΔＢだけ増している。この後、さらにコマ数を示す変数ｎが増加し、第ｎ＋ｍ番目の画像となると、変化部分の輝きが消失する。このように、輝度差ΔＢが増加し、その後、元の輝度に戻る。

本実施形態では、単に明るさが変化した部分を明るさ変化部として検出するのではなく、明るくなった後、再び元の明るさに戻るか否かを判定し、この条件を満たすものを明るさ変化部としている。この条件に満たす部分を検出すると、この部分の範囲Ｘ１〜Ｘ２を、Ｘａｎとする。Ｙ軸方向についても、同様の考え方で、変化部分を検出し、この部分の範囲Ｙ１〜Ｙ２をＹａｎとする。

図１３（ａ）〜（ｃ）の考え方に沿って変化部Ｘａｎを検出すると、この変化部以外の値を最小値とすることにより、図１３（ｄ）に示すように、合成画像を得ることができ、この合成画像が新ｎ番目画像となる（Ｓ１０７参照）。

次に、この明るさ変化部検出の動作について、図１４に示すフローチャートを用いて説明する。前述したように、煌は光って終わりのものではなく、それがもとの明るさに戻るかを検出しなければならない。すなわち、煌は必ずしも一瞬で消えるものではなく、クリスマスツリーのように暫くしてから消えることから、元の明るさに戻るかどうかで判定するようにしている。

明るさ変化部検出のフローに入ると、まず、基準画像（代表画像）と、位置補正後のｎ番目の画像を比較し、変化部Ｘａｎ，Ｙａｎを検出する（Ｓ３０１）。このステップでは、図１３（ａ）（ｂ）で説明したように、輝度差ΔＢの変化が生じている部分を検出する。続いて、基準画像（代表画像）のＸａｎ，Ｙａｎの明るさをＢ０とする（Ｓ３０２）。ｎ番目の画像について検出した後に、この部分の明るさが再び、元の明るさに戻るかどうかを判定するために基準画像の明るさをＢ０として記憶している。

続いて、ｎ＋１番目の画像があるか否かを判定する（Ｓ３０３）。このステップは、動画や連写を構成する一連の静止画について明るさ判定を終了し、次の画像（ｎ＋１画像）が有るか否かの判定である。この判定の結果、ｎ＋１画像が有る場合には、このｎ＋１画像のＸａｎ，Ｙａｎの明るさを求め、これをＢ１とする（Ｓ３０４）。

輝度Ｂ１を求めると、次に、このＢ１とステップＳ３０２で記憶したＢ０とがほぼ等しいか否かの判定を行う（Ｓ３０５）。この判定の結果、ほぼ等しくはなかった場合には、変数ｎに１を加算し（Ｓ３０７）、ステップＳ３０３に戻り、前述の動作を行う。ステップＳ３０３からステップＳ３０７を繰り返すうちに、ステップＳ３０５における判定において、Ｂ１とＢ０とが略等しくなる。この場合には、明るさが変化して元の明るさに戻ったと判断される。ステップＳ３０５における判定の結果、Ｂ１≒Ｂ０となると、Ｘａｎ，Ｙａｎを明るさ変化部とし（Ｓ３０６）、元のフローに戻る。

ステップＳ３０３における判定の結果、ｎ＋１画像がない場合には、Ｘａｎ，Ｙａｎを明るさ変化部とはせずに（Ｓ３０８）、元のフローに戻る。この場合には、部分的に明るさが輝くところが存在したものの、元の明るさに戻ることがなかったことから、変化部とはしていない。このように、元の明るさに戻るか否かを判定しているのは、繰り返し変化させても違和感のない部分を選択するためである。例えば、ネオンの光は繰り返し点滅しても違和感がないが、撮影中に電灯を消灯した窓の明かりが、変化部として判定され、繰り返し点滅するのは不自然であることから、このような場合には、変化部とはしていない。

次に、図１０に示すフローによって得た合成画像（変化画像）と、基準画像（代表画像）を合成表示する動作について、図１１に示す合成表示のフローチャートを用いて説明する。

合成表示のフローに入ると、まず、合成画像の順番を表す変数ｎを０に初期化を行う（Ｓ２０１）。続いて、変数ｎに１を加算し、変数ｎをインクリメントする（Ｓ２０２）。次に、変化画像を最後まで処理したか、すなわち、変数ｎが最後（終了）か否かを判定する（Ｓ２０３）。

ステップＳ２０３における判定の結果、合成画像ｎが最後でなかった場合には、基準画像と合成画像との合成を行う（Ｓ２０４）。この合成処理は、図９を用いて説明した合成制御部７によって実行される。ステップＳ２０４において、合成画像ｎと基準画像との合成を行うと、ステップＳ２０２に戻り、この後、合成画像ｎ＋１と基準画像の合成を行う。ステップＳ２０３において、合成画像がなくなったと判定されるまで、繰り返し合成が行われる。

ステップＳ２０３における判定の結果、最後の合成画像について終了した場合には、終了操作がなされたか否かの判定を行う（Ｓ２０５）。このステップでは、操作部９内の操作部材によって合成表示の終了が指示されたか否かの判定を行う。この判定の結果、終了操作がなされていなかった場合には、ステップＳ２０１に戻り、再び、最初から合成表示を行う。

ステップＳ２０５における判定の結果、終了操作がなされた場合には、合成表示を終了し、元のフローに戻る。このように、終了操作がなされるまで、ステップＳ２０１〜Ｓ２０４が繰り返し行われる。このため、例えば、ポスターのような静止画であるにも関わらず、その上に常にきらきら煌く部分のある画像が表示され、大画面テレビ等に相応しい画像表現となる。

次に、このような表示を可能としたカメラのカメラ制御の動作を、図１２に示すフローチャートを用いて説明する。

カメラ制御のフローに入ると、まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードか再生モードの２つのモードが設定可能である。ステップＳ１の判定の結果、撮影モードであった場合には、レリーズ操作がなされたか否かの判定を行う（Ｓ２）。このステップでは、操作部９内のレリーズ釦が操作されたか否かを判定する。

ステップＳ２における判定の結果、レリーズでなかった場合には、ステップＳ１に戻り、前述の動作を行う。一方、判定の結果、レリーズされた場合には、連続撮影を開始する（Ｓ３）。ここで、連続撮影は、撮影部２によってなされる動画撮影や連写撮影であり、動画か連写かはメニューモード等によってユーザーが予め適宜設定しておく。また、集音も開始する（Ｓ４）。集音は集音部６によって行われる。次に、記録動作を行う（Ｓ５）。ステップＳ３およびＳ４により撮影と集音が開始されているので、このステップで画像と音声の記録が開始される。

画像と音声の記録を開始すると、次に、動体撮影か否かの判定を行う（Ｓ６）。例えば、運動会で、子供が走ってくるようなシーンでは、前述したような変化部を抽出しての画像合成は相応しくないので、被写体が移動体でないか否かを判定する。すなわち、画面中心の動きベクトルが、同じ方向に変化し続けているシーンは、被写体が移動体と考えられるので、本実施形態のように静止画に変化を加える再生方法はそぐわない。そこで、動きベクトルを検出し、被写体が動体であるか否かの判定を行っている。

ステップＳ６における判定の結果、動体撮影でなかった場合には、静止被写体判定を行う（Ｓ８）。この静止被写体判定は、画像データと共に記録され、再生時に静止被写体であるか否かの判定の際に利用する（Ｓ１４参照）。

ステップＳ８における静止被写体判定の記録が終わると、またはステップＳ６における判定の結果、動体撮影であった場合には、次に、撮影終了か否かの判定を行う（Ｓ７）。連続撮影の場合には、最初にレリーズ釦が操作されると、連続撮影が開始され、次にレリーズ釦が操作されると、連続撮影が終了する。したがって、このステップでは、再び、レリーズ釦が操作されたか否かを判定する。

ステップＳ７の判定の結果、撮影終了でなかった場合には、ステップＳ５に戻り、連続撮影を続行する。一方、ステップＳ７における判定の結果、撮影終了であった場合には、撮影と音声記録を終了する（Ｓ９）。終了すると、再び、ステップＳ１に戻る。

ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードが否かの判定を行う（Ｓ１１）。この判定の結果、再生モードでない場合には、ステップＳ１に戻る。一方、判定の結果、再生モードであった場合には、画像選択を行う（Ｓ１２）。このステップでは、例えば、サムネイル表示を行い、ユーザーによって選択された画像を再生候補とする。

続いて、テレビ出力を行うか否かの判定を行い（Ｓ１３）、この判定の結果、テレビ出力であった場合には、静止被写体であるか否かの判定を行う（Ｓ１４）。テレビ出力か否かは、メニューモードの設定状態により判定し、また静止被写体か否かの判定は、ステップＳ８において記録した静止被写体判定に基づいて行う。なお、テレビ出力に限らず、他の外部出力の場合にも同様に扱っても良い。また、静止被写体か否かは、連続画像の再生時に動きベクトル等を検出し、判定するようにしても良い。

ステップＳ１３およびＳ１４の２つの条件のいずれかを満たさない場合には、通常再生を行う（Ｓ１９）。この通常再生では、撮影された連続画像をそのまま再生する。例えば、運動会で子供が走っているようなシーンでは、本実施形態のような静止画のよさを強調する必要がなく、動画そのもので表現すればよいことから、撮影したとおりに再生する。

一方、ステップＳ１３およびＳ１４の２つの条件を両方とも満たす場合には、変化部抽出を行う（Ｓ１５）。このステップでは、図１０を用いて説明した変化抽出部のサブルーチンを実行する。続いて、音声再生を開始する（Ｓ１６）。

次に、合成表示を開始する（Ｓ１７）。ここでは、図１１を用いて説明した合成表示のサブルーチンを開始する。ステップＳ１６において音声が開始されるが、ここでは、音声は鳥の声や波の音などを想定しており、画像の変化に合わせて、周囲音を聴くことができる。ステップＳ１７において、画像合成が開始され、この合成画像が再生表示されるが、音声については、特に処理を行わず、撮影期間中に得られた音声を繰り返し再生する。

次に、再生終了か否かの判定を行う（Ｓ１８）。このステップでは操作部９内の再生操作部材が操作されたか否かを判定する。この判定の結果、再生終了でなかった場合には、ステップＳ１７に戻り、連続撮影の再生動作を続行する。ステップＳ１８における判定の結果、再生終了であった場合には、音声および画像の再生を終了する（Ｓ２０）。

続いて、合成動画のファイル化を行う（Ｓ２１）。ここでは、ステップＳ１５からＳ１８において合成された合成動画のファイルを作成する。この合成動画ファイルを、例えば、他の機器に転送できるようにしておけば、カメラ１０以外の外部再生装置でも同様に画像再生が可能となる。

以上説明したように、本実施形態においては、撮影画像の中から基準画像に対して順次変化した部分の画像を抽出する画像変化抽出部５と、基準画像上に、変化した部分の画像を順次合成する合成制御部７を設けている。このため、簡単な操作でテレビ等の再生にも耐えられる画像を再生することができる。また、静止画の完成度に対し、動画ならではの変化を加えて表示するので、構図の安定度に、時の移ろいを美しく加えて表現でき、落ち着いて鑑賞できる画像を提供することが可能となる。

また、本実施形態においては、静止画のように、撮った瞬間に完成させる画像でありながら、風のそよぎや、波の反射による光のきらめきや、ネオンサインやクリマスツリーなど、光の変化を付加し、より変化をつけた画像再生を可能としている。

なお、本実施形態においては、最初に撮影した瞬間の画像を基準画像（代表画像）としたが、もちろん、撮影途中により安定した画像があれば、それを代表画像とするようにしても良い。また、変化部分は明るい方向に変化する場合を抽出するようにしていたが、これに限らず、暗い方向に変化する部分を変化部分としても良い。また、変化した部分に対し、明るさに加え、色を変更するなどの処理を付加してもよく、これによって、自然さの中に、超現実的な感覚を盛り込むようにしてもよい。

さらに、本実施形態においては、記録部３に記録されている動画像を用いて、代表抽出部４、画像変化抽出部５、合成制御部７において画像処理を行っていたが、この画像処理は記録部３に記録された動画画像に限らず、撮影前に撮影部２から出力された動画の画像データを用いて行っても勿論かまわない。

さらに、本実施形態においては、カメラ１０が撮影を行うと共に、画像再生装置としても機能を果たしていたが、これに限らず、例えば、カメラ１０で連続撮影した画像データをパーソナルコンピュータにインストールし、この画像データに基づいて、変化部を抽出し、基準画像と合成したものを再生表示するようにしても良い。

また、本実施形態においては、再生のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用の専用カメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。いずれにしても、動画や連写等の連続撮影の画像を再生可能な機器であれば良い。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係わるカメラの電気回路を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、連続撮影した画像の様子を示す図である。 本発明の一実施形態に係わるカメラから画像をテレビに出力し、鑑賞している様子を示す図である。 本発明の一実施形態に係わるカメラで連続撮影した画像を示し、（ａ）〜（ｃ）は時系列順を示す。 本発明の一実施形態におけるカメラで連続撮影した画像で、手振れによって画像が移動している様を示す図であり、（ａ）〜（ｃ）は時系列順を示す。 本発明の一実施形態におけるカメラで連続撮影した画像で、手振れによる移動を補正した画像を示す図であり、（ａ）〜（ｃ）は時系列順を示す。 本発明の一実施形態におけるカメラで連続撮影した画像で、変化部分のみを抽出した画像であり、（ａ）〜（ｃ）は時系列順を示す。 本発明の一実施形態におけるカメラで連続撮影した画像の中で、代表画像（基準画像）を示す。 本発明の一実施形態におけるカメラの合成制御部の構成を示すブロック図である。 本発明の一実施形態におけるカメラにおける変化部抽出の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおける合成表示の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおいて、明るさ変化部の検出を説明する図であり、（ａ）〜（ｃ）は連続画像を構成する各静止画における各画素の出力を示し、（ｄ）は変化部分以外を最小値とした画像を示し、（ｅ）は（ａ）〜（ｅ）における画像の読み出し方向を示す。 本発明の一実施形態におけるカメラにおける明るさ変化部検出の動作を示すフローチャートである。

符号の説明

１・・・制御部、２・・・撮影部、３・・・記録部、３ａ・・・圧縮保存部、４・・・代表抽出部、５・・・画像変化抽出部、６・・・集音部、７・・・合成制御部、８・・・出力部、８ａ・・・液晶表示部、９・・・操作部、１０・・・カメラ、２０・・・テレビ、３１・・・木、３２・・・部分変化、３３・・・自動車

Claims (6)

1. 基準画像と連続して撮影した撮影画像を記憶する記憶部と、
   上記撮影画像の中から、上記基準画像に対して順次変化した部分の画像を抽出する抽出部と、
   上記基準画像上に、上記変化した部分の画像を順次合成する合成部と、
   を具備し、
   上記合成部によって合成された複数の画像を表示可能としたことを特徴とする画像再生装置。
2. 連続した撮影された上記撮影画像を、そのまま再生する第１の再生モードと、
   上記合成部によって合成され、複数の画像を表示する第２の再生モードと、
   を切り換える切換部と、
   具備することを特徴とする請求項１に記載の画像再生装置。
3. 被写体像を画像データに変換する撮像部と、
   周囲の音声を記録する録音部と、
   を具備し、
   上記撮影部で撮影された連続画像を再生する際に、上記録音部で録音された音声を再生することを特徴とする請求項１に記載の画像再生装置。
4. 上記抽出部は、上記基準画像と、上記撮影画像のうちの複数の画像を順次比較し、時間的に明るさが変化した部分で、かつ、その明るさ変化した部分の明るさが元の明るさに戻る部分の画像を抽出することを特徴とする請求項１に記載の画像再生装置。
5. 基準画像と連続して撮影した撮影画像を記憶し、
   上記撮影画像の中から、上記基準画像に対して順次変化した部分の画像を抽出し、
   上記基準画像上に、上記変化した部分の画像を順次合成し、
   上記合成された複数の画像を表示可能とする、
   ことを特徴とする画像再生方法。
6. 基準画像と連続して撮影した撮影画像を記憶し、
   上記撮影画像の中から、上記基準画像に対して順次変化した部分の画像を抽出し、
   上記変化した部分に基づいて画像処理を順次行い、
   上記処理された複数の画像を表示可能とする、
   ことをコンピュータに実行させるためのプログラム。