JP2017163191A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮影された動画の画像データに基づいて、ユーザが所望する撮影効果が付与された静止画の画像データを、簡便かつ直観的に編集および生成することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。【解決手段】動画フレームの中でフレームが指定されと、このフレーム画像を表示し（ｆ２）、フレーム画像が読み出されるたびに、読み出されたフレーム画像と合成画像を合成し、この合成画像を表示し（Ｏ１、Ｏ２、Ｏ３）、合成停止指示がなされると、合成画像の生成を終了する。【選択図】 図１

Description

本発明は、動画データから任意のフレームに基づいた静止画画像データを生成することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムに関する。

近年、撮像装置および表示装置の高性能化に伴い、動画映像の品質が向上し、高画素化、高フレームレート化が進んでおり、高精細動画の撮影技術や再生技術を利用することができる。高精細動画として、例えば４Ｋ動画の再生に対応したテレビや、４Ｋ動画の撮影が可能なビデオカメラが普及しつつあり、動画の高精細化は、今後も拡大していくものと思われる。なお、４Ｋ動画とは、一般的には、動画のフレーム画像を３８４０×２１８０画素によって構成される映像であるが、この画素サイズは、動画のフレーム画像を、写真として印刷するには十分な解像度である。

これまでは、動画の解像度（画像サイズ）は、静止画の解像度（画像サイズ）とは異なり、前者は、静止画撮影で達成している解像度（画像サイズ）が得られていなかった。このため、撮影者は、動画と静止画の両方を取得する場合には、撮影者はビデオカメラで撮影しながら、高性能なデジタルカメラで静止画像を撮影するのが一般的であった。ところが、高精細動画である４Ｋ動画では、動画撮影しておけば、記録された動画から気に入ったシーンのフレーム画像を静止画として切り出すことができる。

動画からユーザが所望のフレームを静止画として切り出す方法としては、例えば、特許文献１に開示されている静止画キャップチャ装置では、ユーザのキャプチャ指示に基づいて、表示を選択しやすい表示方法に切替え、キャプチャ指示終了がなされると、この指示終了時のフレームを静止画として画像データに変換している。

また、特許文献２に開示されている撮像装置では、動画の画像データから複数フレーム分の画像データを用いて合成処理することにより静止画を生成する。

特開２００６−１４０９０１号公報 特開２０１５−１０３１１９号公報

特許文献１に開示の方法では、所望のシーンの選択はしやすくなる。しかし、撮影された動画の１フレーム画像を、静止画画像として抜き出していることから、動画のフレームレートに基づいたシャッタ速度の画像となる。このため静止画画像として、撮影者が意図する撮影効果に応じたシャッタ速度の画像を得ることができない。例えば、スローシャッタ効果を活かした画像を得ることはできない。

静止画撮影では、滝などの水の流れを表現したり、流し撮りや、被写体ブレなどで動きを表現したりする撮影方法がある。例えば、１／１０秒前後のシャッタ速度で撮影をする場合があり、また、花火などの撮影では、数秒間の露光を行なう場合もある。このため、動画からの１フレームの切り出しでは、撮影者の意図する撮影効果での画像を生成することはできない。

また、特許文献２に開示の方法では、特定の効果しか得られず、上述したような流し撮りや、滝の流れを表現するような撮影には対応できない。また、合成対象となるフレーム数も予め指定しておくために、合成後の画像のイメージを、ユーザが意図した効果と一致させるのは困難である。

本発明は、このような事情を鑑みてなされたものであり、撮影された動画の画像データに基づいて、ユーザが所望する撮影効果が付与された静止画の画像データを、簡便かつ直観的に編集および生成することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る画像処理装置は、画像処理装置に入力される動画データ又は静止画データとなる画像データを記録する記録部と、上記記録部に記録された画像データに対応する画像を表示する表示部と、上記記録部に記録された動画データの中から基準フレーム画像を含む複数のフレーム画像を選択するフレーム選択手段と、上記選択された複数のフレーム画像に対して、画像合成を指示する合成指示手段とを含む操作入力部と、上記フレーム選択手段によって選択されたフレーム画像又は合成画像に対して、選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成手段と、を具備し、上記表示部は、上記合成指示手段により画像合成が指示された場合は、上記合成手段により合成した合成画像を表示し、上記記録部は、上記合成指示手段により画像合成が指示された場合は、上記合成手段により合成した合成画像に基づいた、静止画データを記録する。

第２の発明に係る画像処理装置は、上記第１の発明において、上記合成手段は、上記合成指示手段から合成指示が継続している際には、所定の時間周期毎に、上記選択手段によって選択されたフレーム画像に対して、順次後続となるフレーム画像を合成処理して、合成画像を生成する。

第３の発明に係る画像処理装置は、上記第１又は第２の発明において、上記合成手段は、フレーム画像と後続フレームに対応する画像とを、平均化合成処理をして、合成画像を生成する。
第４の発明に係る画像処理装置は、上記第１又は第２の発明において、上記合成手段は、フレーム画像と後続フレームに対応する画像とを、加算合成処理をして、合成画像を生成する。
第５の発明に係る画像処理装置は、上記第１又は第２の発明において、上記合成手段は、フレーム画像と後続フレームに対応する画像とを、比較明合成処理をして、合成画像を生成する。

第６の発明に係る画像処理装置は、上記第１の発明において、基準フレームの後続フレームから任意のフレームを選択する合成フレーム選択手段をさらに有し、上記合成手段は、上記合成指示手段から合成指示がなされる毎に、上記合成フレーム選択手段によって選択されたフレーム画像と、上記合成手段によって合成処理された合成画像とを合成処理して、合成画像を生成する。
第７の発明に係る画像処理装置は、上記第１の発明において、フレーム画像と後続フレームに対応する画像との位置ずれを調整する位置あわせ手段をさらに有し、上記位置あわせ手段は、フレーム画像における被写体像と、後続フレームに対応する画像における被写体像の位置ずれ量を検出し、上記合成手段は、上記位置ずれ量に基づいて、後続フレームの画像位置をシフト移動してから合成する。

第８の発明に係る画像処理装置は、上記第１の発明において、合成されるフレームである、複数の後続フレームに対して、間引きフレーム数を決定する合成間隔指定手段をさらに有し、上記合成手段は、上記合成間隔指定手段の指定に基づいて、合成フレームの間引きを行う。
第９の発明に係る画像処理装置は、上記第８の発明において、上記合成間隔指定手段は、上記操作入力部からのユーザの指定に基づいて決定する。
第１０の発明に係る画像処理装置は、上記第８の発明において、撮影時の撮像装置の動きを検出するカメラワーク検出手段をさらに有し、上記合成間隔指定手段は、上記カメラワーク検出手段の検出結果に基づいて、間引き数を決定する。

第１１の発明に係る画像処理装置は、上記第１０の発明において、選択フレームの画像から輝度分布情報を取得する映像情報取得手段をさらに有し、上記合成手段は、上記カメラワーク検出手段及び上記映像情報取得手段による検出結果のうち、少なくとも１つの情報を用いて、合成方法を決定する。
第１２の発明に係る撮像装置は、被写体像に基づいて、動画データ又は静止画データを撮影して取得する撮像部と、上記第１ないし上記１１のいずれかの画像処理装置と、を有する。

第１３の発明に係る画像処理方法は、入力される動画データ又は静止画データを読み込む読込ステップと、上記読込ステップにおいて読み込まれた画像データを表示する表示ステップと、フレーム画像の合成を指示する合成指示ステップと、上記読込ステップにおいて読み込まれた動画データの中から基準となるフレーム画像を選択する選択ステップと、上記選択ステップによって選択されたフレーム画像又は合成画像に対して、上記選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成ステップと、を有し、上記表示ステップは、上記合成指示ステップにより合成が指示された場合は、上記合成ステップにおいて合成した合成画像を表示させ、さらに、上記合成指示ステップにより合成が指示された場合は、上記合成ステップにおいて合成した合成画像に基づいた、静止画データを記録させる記録ステップを有する。

第１４の発明に係るプログラムは、入力される動画データ又は静止画データを記録する記録部を有する画像処理装置のコンピュータを実行させるためのプログラムにおいて、上記記録部に記録された画像データを表示する表示ステップと、上記記録部に記録された動画データの中から基準となるフレーム画像を選択する選択ステップと、フレーム画像の合成を指示する合成指示ステップと、上記選択ステップによって選択されたフレーム画像又は合成画像に対して、上記選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成ステップと、を有し、上記表示ステップは、上記合成指示ステップにより合成が指示された場合は、上記合成手段により合成した合成画像を表示させ、さらに、上記合成指示ステップにより合成が指示された場合は、上記合成手段により合成した合成画像に基づいた、静止画データを記録させる記録ステップを有し、上記各ステップを上記コンピュータに実行させる。

本発明によれば、撮影された動画の画像データに基づいて、ユーザが所望する撮影効果が付与された静止画の画像データを、簡便かつ直観的に編集および生成することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

本発明の第１実施形態に係る画像表示システムにおいて、動画データから静止画データの生成の仕方を説明する図である。 本発明の第１実施形態に係る画像表示システムの外観図である。 本発明の第１実施形態に係る画像表示装置の主として電気的構成を示すブロック図である。 本発明の第１実施形態に係る画像処理の静止画生成の動作を示すフローチャートである。 本発明の第２実施形態に係る端末装置の外観を示す正面図である。 本発明の第２実施形態に係る端末装置の主として電気的構成を示すブロック図である。 本発明の第２実施形態に係る端末装置において、生成される静止画を説明する図である。 本発明の第３実施形態に係る撮像装置の主として電気的構成を示すブロック図である。 本発明の第３実施形態に係る撮像装置において、動画から静止画を静止する様子を示す図である。 本発明の第３実施形態に係る撮像装置の静止画生成の動作を示すフローチャートである。 本発明の第４実施形態に係る画像生成装置において、カメラワークの検出を説明する図である。 本発明の第４実施形態に係る画像生成装置において、動画像から検出される移動ベクトルと時間的変化を示すグラフである。 本発明の第４実施形態に係る画像生成装置の主として電気的構成を示すブロック図である。 本発明の第４実施形態に係る画像生成装置の画像処理の動作を示すフローチャートである。 本発明の第４実施形態に係る画像生成装置の合成方式決定の動作を示すフローチャートである。

以下、本発明の好ましい実施形態について図を用いて説明する。図１は、第１実施形態において、動画像から合成画像を生成する仕方を説明する図である。図１において、最上段に動画フレームｆ１〜ｆ８を示し、中段に画像の合成関係を示し、下段に動画のフレーム画像ｆ２と、合成画像Ｏ１〜Ｏ３を示す。

動画は、連続するフレームデータｆ１〜ｆ８から構成されている。ユーザは、まず、表示部で動画を１フレームずつ見ながら、静止画として合成したい画像の最初のフレームを選択する。図１では、ユーザは所望のフレームとしてｆ２（指定フレームまたは基準フレームともいう）を選択している。

基準フレームが選択された後は、画像処理装置は、フレームｆ２を基準フレームとして、合成停止指示がなされるまでの間（フレームｆ２〜ｆ５）、各フレーム画像と、それまでのフレームで合成された合成画像データを用いて合成処理を行い、合成画像（すなわち、合成画像データＯ２〜Ｏ３）が順次表示される。ユーザは、静止画として合成したい画像の最後のフレームとなると、このフレームに対して合成停止を指示する。

合成処理にあたって、先ず、フレームｆ２とｆ３を合成し、画像データＯ１を生成する。その後も合成指示が継続されていることから、合成画像データＯ１と動画フレームｆ４を合成し、合成画像データＯ２を生成する。その後も合成停止指示がなされるまで、順次後続フレームを合成していく。

図１に示す例では、合成画像データＯ３の合成結果を表示中に、合成指示が停止され合成画像データＯ３に基づく合成画像が静止画像として記録される。個々の動画フレームの露光時間は、短時間であることから（最大、フレームレートに基づく露光時間）、各動画フレームの画像中の滝（例えば、フレームｆａの滝Ｆａ）の流れは、止まっているような画像である。しかし、これらの画像を合成すると、等価的に露光時間が長くなり、滝の流れをぼかしたような画像が生成される（例えば、合成画像Ｏ１〜Ｏ３の滝Ｆａ参照）。

また、本実施形態においては、動画フレームを用いて合成処理を行うたびに、合成画像を表示している。各フレームが合成されるたびに、ユーザは、合成した効果を確認することができ、期待の効果がえられた段階で合成を停止する。これによって、所望の画像データが生成できる。

なお、合成する後続のフレームに関しては、図１に示す例では、次フレームを合成しているが、これに限らず、後続のフレームを間引いて合成しても良い。この間引き量は、ユーザが事前に設定しておいても構わないし、撮影シーンによって決定しても良い。例えば、各フレームでの画像の変化が少ない場合は、合成する後続のフレームを多く間引いたほうが良い。これは、合成しても変化が少ないためで、画像の変化が大きい場合は、合成画像のズレが大きくなるため、間引き量を少なくしたほうが良い。

図２は、本実施形態に係る画像表示システムの外観を示しており、この画像表示システムは、画像表示装置１、モニタ２および操作リモコン３からなる。画像表示装置１は、前述した合成処理を実行する。

画像表示装置１は、動画データを記録した記録部および静止画合成用の画像処理部等を有する。画像表示装置１の詳しい構成は、図３を用いて後述する。モニタ２は、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の映像伝送用のケーブルにより、画像表示装置１に接続されている。モニタ２は、画像表示装置１から送信されてきた画像データに基づいて、画像を表示する。モニタ２は、記録部に記録された画像データに対応する画像を表示する表示部として機能する。この表示部は、合成指示手段により画像合成が指示された場合は、合成手段により合成した合成画像を表示させる。

操作リモコン３は、操作ボタン３２等を有し、この操作ボタン３２の操作状態を赤外線通信や無線通信により、画像表示装置１に送信する。操作ボタン３２は、一般的な、再生、停止、一時停止、１コマ送り、早送りに加えて、画像の合成を指示する合成ボタン３１を有している。操作リモコン３は、記録部に記録された動画データの中から所望となる複数のフレーム画像を選択するフレーム選択手段と、選択された複数のフレーム画像に対して、画像合成を指示する合成指示手段とを含む操作入力部として機能する。

ユーザは、画像表示装置１の内部のＨＤＤ（hard disk drive）に記録されている動画データを操作リモコン３の操作を介して選択し、再生する。ユーザはモニタ２の画面で動画を確認しながら、気に入ったシーンで再生を一時停止し、その後、１コマ送り等を行いながら、所望のシーン（図１の最下段のｆ２）を選択する。ここで、合成ボタン３１を押すと、静止画合成の開始位置（図１の指定フレームに相当）になる。

合成ボタン３１が押されると、モニタ２には後続フレームを合成した画像が表示される。例えば、１秒ごとに、順次後続フレームを合成して合成結果（図１の例では、合成画像Ｏ１〜Ｏ３）がモニタ２に表示される。

合成結果の表示の際に、図２に示す様に、合成枚数に相当する露光時間をシャッタ速度表示２ａとして重畳表示する。この表示によって、ユーザがどの程度のシャッタ速度に相当する効果が付与されているかが分かる。例えば、３０ｆｐｓで撮影された動画のシャッタ速度は１／１５であり、図１に示すように、４枚を合成すると、シャッタ速度が１／８秒に相当し、図２のシャッタ速度表示２ａには、この１／８が表示されている。

ユーザは、モニタ２を観察し、所望の効果がえられた段階で合成ボタン３１の押下を停止する。合成された画像は、画像表示装置１内のＨＤＤに記録される。

図３は、画像表示装置１の内部に設けられた主として電気的構成を示すブロック図である。

制御部１１は、ＣＰＵ（Central Processing Unit）や、ＣＰＵを実行させるためのプログラムを記憶したメモリや、操作リモコン３との信号のやり取りを行うための通信回路、その周辺回路等を有する。制御部１１は、操作リモコン３からの操作指示に基づいて、画像表示装置１の全体を制御する。なお、本実施形態においては、操作は外部操作リモコン３により指示されるが、画像表示装置１の本体内に操作スイッチを有するようにしても構わない。

画像処理部１２は、画像処理回路等を有し、制御部１１からの指示に基づいて、記録部１３に記録されている画像データを読み出して表示データとして表示制御部１４に出力する。この画像処理部１２は、図１において説明したような動画を合成し、静止画を生成する合成処理も行う。

画像処理部１２は、フレーム選択手段によって選択されたフレーム画像又は合成画像に対して、選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成手段として機能する。また、この合成手段は、合成指示手段から合成指示が継続している際には、所定の時間周期毎に、選択手段によって選択されたフレーム画像に対して、順次後続となるフレーム画像を合成処理して、合成画像を生成する。また、上述の合成手段は、フレーム画像と後続フレームに対応する画像とを、平均化合成処理をして、合成画像を生成する。

記録部１３は、ＨＤＤなどの大容量記録装置であり、動画データや静止画像データを記録する。撮影等によって生成された動画データは、制御部１１内の通信回路を介して、記録部１３に記録される。この記録された動画データは、画像処理部１２で合成処理され、再び記録部１３に記録される。記録部１３は、画像処理装置に入力される動画データ又は静止画データとなる画像データを記録する記録部として機能する。この記録部は、合成指示手段により画像合成が指示された場合は、合成手段により合成した合成画像に基づいた、静止画データを記録させる。

表示制御部１４は、画像処理部１２から送られてくる画像データを、例えば、ＨＤＭＩ（登録商標）規格に従った映像信号に変換してモニタ２に出力する。また、映像を表示しない場合は、制御部１１の指示に基づいて、メニュー画面をモニタ２に表示する。ユーザは、メニュー画面に従って、再生する動画データを選択する。

次に、図４に示すフローチャートを用いて、本実施形態における合成画像を生成するまでの動作を説明する。このフローチャートは、制御部１１内のＣＰＵが記録部に記録されているプログラムに従って、画像表示装置１内の各部を制御することにより実行する。

静止画生成のフローが開始すると、まず、動画データの読み込みを行い（Ｓ１）、動画表示がなされる（Ｓ３）。ここでは、画像表示装置１がモニタ２に接続され、ユーザが再生を指示すると、モニタ２に動画が再生表示される。すなわち、制御部１１が、記録部１に記録されている複数の動画データの中からユーザが再生を指示した動画データを読み出す。この読み出された動画データは、画像処理部１２によって画像処理が施され、表示制御部１４によって、モニタ２に再生表示される。このとき、表示制御部１４は、順次表示するフレーム画像（映像データ）を送信する。出力された映像データは、ケーブルを経由してモニタ２に表示されるので、ユーザは再生画像を視聴できる。

動画表示がなされると、ユーザは、静止画に切り出したい所望のフレームがある場合は一時停止ボタンを押し、合成開始フレームの指定を行う（Ｓ５）。ユーザが操作ボタン３２の内の一時停止ボタンを操作すると、制御部１１は画像処理部１２に再生停止を指示し、画像処理部１２は停止したフレーム画像を出力し続ける。ユーザは一時停止したフレーム画像から静止画の合成を開始したい場合には、合成ボタン３１を操作する。一方、別のフレームから合成を開始した場合には、再度、再生ボタンを操作して再生を再開する。なお、コマ送り表示等、順次フレーム毎に表示が進むような表示を行うようにしてもよい。

ステップＳ５において、合成開始が指示された場合は、次フレーム合成を行う（Ｓ７）。ここでは、制御部１１が画像処理部１２に合成を指示し、画像処理部１２は、次のフレームデータと合成を行なう。すなわち、最初に、このステップを実行する場合には、ステップＳ５で指示されたフレームの画像データを記録部１３に一時記憶する。そして、後述するステップＳ１３において、合成指示が継続していると判定され、動画データの次のフレームの画像データが読み出されると、この画像データと一時記憶された画像データとを用いて、画像合成を行う。以後、画像データが読み出される毎に、合成画像の画像データと読み出された画像データを用いて画像合成を行う。

ステップＳ７での合成は、平均化合成で、各画素に対して、次フレームの対応する画素値を平均化する。例えばｎ回目の合成の場合、合成画像の各画素値をＯ_ｎ−１、次フレームの各画素値をｆ_ｎとすると合成画像Ｏ_ｎは下記（式１）で求められる。
Ｏ_ｎ＝（Ｏ_ｎ−１×ｎ＋ｆｎ）／（ｎ＋１） （式１）

ステップＳ７において、次フレーム合成を行うと、次に、露光時間算出を行う（Ｓ９）。ここでは、制御部１１は、合成枚数に応じた露光時間をシャッタ速度として算出する。例えば、動画の撮影のフレームレートが３０ｆｐｓとすると、４枚のフレームが合成された場合には、シャッタ速度が１／８秒となる。

ステップＳ９において、露光時間を算出すると、合成画像の表示を行う（Ｓ１１）。ここでは、表示制御部１４は、ステップＳ１１で合成された画像の画像データに、ステップＳ９で算出された露光時間（シャッタ速度）を示す画像を重畳させ、映像データに変換してモニタ２に出力する。

合成画像の表示を行うと、次に、合成指示が継続されているか否かを判定する（Ｓ１３）。本実施形態においては、ユーザが合成を終了したいと思うまで、合成ボタン３１を押し続けるようにしている。そこで、このステップでは、ユーザが合成ボタン３１を押すのを止めたか否かを判定する。

ステップＳ１３における判定の結果、合成ボタン３１が押されたままである場合には、ステップＳ７に戻る。合成指示が継続している間は、制御部１１は、所定の周期で次のフレームの画像データを読出し、画像処理部１２に対して合成指示を行う。従って、合成指示継続している限り、所定周期で画像合成が繰り返し行われる。

なお、所定周期としては、例えば、１秒程度の時間であり、ユーザが合成結果表示から合成の効果の度合いやシャッタ速度を確認し、合成を継続するかを判断するための時間であればよい。また、本実施形態においては、合成指示は、合成ボタン３１が押されている間としたが、これに限らず、合成ボタン３１が操作されると合成が開始され、再度、合成ボタン３１が操作されると合成が終了する等、他の設定方法であってもよい。

ステップＳ１３における判定の結果、合成終了が指示された場合には、画像記録を行う（Ｓ１５）。ここでは、制御部１１は、画像処理部１２に合成終了を指示し、画像処理１２は、ステップＳ７で合成された合成結果を画像データとして、記録部１３に記録する。なお、この時、ステップＳ９において算出したシャッタ速度をＥｘｉｆ情報のシャッタ速度として画像データと合わせて記録する。また、撮影日時は、動画の撮影日時の情報と、再生時間から求められる時間にしても良い。さらに、画像合成に使用した元動画のフレーム番号等の情報を合せて静止画画像データの付帯情報（ヘッダ情報）として記録してもよい。

以上述べてきた様に、本実施形態によれば、ユーザは、画像合成によって生成された画像が表示されるので、スローシャッタの効果を確認しながら、合成期間を指示できる。

なお、合成処理は、本実施形態では平均化合成を行なっているが、単純な加算であっても構わないし、比較明合成や比較暗合成であっても構わない。平均化合成は、動画のフレーム画像の露出量が適正な場合に相応しく、単純加算合成は、動画のフレーム画像の露出量が不足している場合に相応しく、比較明合成はスローシャッタで得る画像の内、明るい部分の動きの軌跡を強調する場合に相応しく、また比較暗合成はスローシャッタで得る画像の内、明るい部分を消去し背景部分を強調する場合に相応しい。

また、合成処理にあたっては、被写界の明るさから合成方法を切替えても良い。例えば、適正露出がえられたフレームであれば、各画素を平均化する平均化合成を行い、暗いフレームである場合は、合成するほど画像が明るくなるように、加算合成を行なうようにしても良い。

前述の比較明合成は、基準画像と合成画像の各画素を比較して、合成画像の画素の方が高輝度の場合には、基準画像の画素を合成画像の画素に置き換える合成方法である。また、比較暗合成は、逆に、基準画像と合成画像の各画素を比較して、合成画像の画素の方が低輝度の場合には、基準画像の画素を合成画像の画素に置き換える合成方法である。

次に、図５ないし図７を用いて、本発明の第２実施形態について説明する。第１実施形態は、本発明を、画像表示装置１、モニタ２および操作リモコン３からなる画像表示システムに適用した例について説明した。第２実施形態においては、本発明を、操作部およびモニタ部と一体に設けられた端末装置に適用した例について説明する。

図５は、本実施形態に係る端末装置の外観を示す正面図である。この端末装置４は、タブレット端末の形状をしており、アプリケーションソフトを搭載していて、動画の画像データから静止画の画像データを生成する。

図５において、端末装置は、液晶パネル４ａを有している。この液晶パネル４ａに画像データに基づく画像４ｂが表示され、また操作部４ｃと合成操作部４ｄがアイコンで表示される。

図６は、端末装置の内部に設けられた主として電気的構成を示すブロック図である。本実施形態における端末装置は、図３に示した第１実施形態における画像表示装置１と比較し、第１実施形態におけるモニタ２と操作リモコン３が、端末装置に内蔵されている点が相違する。すなわち、本実施形態においては、端末装置内に操作部４ｃ（合成操作部４ｄも含む）と表示部４ａが追加されている。

図６において、操作部４ｃ（合成操作部４ｄも含む）は、前述したように、アイコンが液晶パネル４ａ上に表示され、ユーザのタッチ操作を検知し、制御部４１に出力する。なお、本実施形態においては、操作部はアイコン表示としたが、これに限らず、スイッチに連動する操作ボタンを配置し、この操作ボタンの操作状態を検知するようにしても構わない。

記録部４３は、フラッシュメモリなどの不揮発性メモリを有し、画像データ等を記憶する。また、制御部４１内のＣＰＵを実行するためのプログラム等も記憶する。

画像処理部４２は、本実施形態においては、比較明合成処理を行う。比較明合成は、基準画像と合成画像の各画素を比較し、輝度が高いほうの値に画素値を置き換えることにより比較明処理による合成画像を生成する。比較明合成を行うことにより、画像の中で明るい部分の動き（軌跡）を強調した撮影効果のある合成画像が生成される。画像処理部４２は、フレーム画像と後続フレームに対応する画像とを、比較明合成処理をして、合成画像を生成する合成部として機能する。

なお、合成方法としては、比較明合成に限らず、他の方法、例えば、比較暗合成でも良いし、指定の色を採用する方式であっても良い。比較暗合成は、基準画像と合成画像の各画素を比較し、輝度が低いほうの値に画素値を置き換えることにより合成画像を生成する。比較暗合成を行うと、画像の中で暗い部分が強調され、移動する明るい部分が消失し、背景部分の画像となる。また、指定の色を採用する方式は、比較明合成や比較暗合成を行う際に、特定の色についてのみ比較明合成や比較暗合成の処理をする方式である。

本実施形態は、第１実施形態と同様にユーザは、操作部４ｃを操作することにより動画データの複数のフレームの中から所望のフレームを選択して、合成ボタン４ｄをタッチ操作すると、図７に示すように、後続フレームを順次合成する。

すなわち、図７は、月夜の下で、道路Ｒｏを走る車を撮影した動画を用いて、スローシャッタで撮影した静止画と等価となるように比較明合成処理で生成した画像の例である。画像Ｐ１は、ユーザが合成ボタン４ｄをタッチ操作した時点で取り込んだフレームデータに基づく画像である。この画像は１フレーム分の画像であることから、道路Ｒｏを走行する車のランプの軌跡Ｌａ１は点状である。

画像Ｐ２は、画像Ｐ１に基づくフレーム画像に、後続する１フレーム分の画像データを比較明合成により生成した画像である。この画像Ｐ２は、２フレーム分の画像データを比較明合成していることから、車のランプの軌跡Ｌａ２は少し延びている。画像Ｐ３は、画像Ｐ２とこの画像Ｐ２に後続するフレーム画像を用いて比較明合成し、画像Ｐ４は、更に画像Ｐ３と後続するフレーム画像を用いて、比較明合成した画像である。このように、後続するフレーム画像を順次合成することにより、光の軌跡が徐々に伸びていく。

表示制御部４４は、比較明合成を行うたびに、合成結果の画像を表示部４ａに表示する。ユーザは、表示部４ａで合成結果を観察し、所望の軌跡になったところで合成を停止すれば良い。

このように、本実施形態においては、端末装置に記録されている動画の画像データを用いて、端末装置に備えられた操作部４ｃおよび表示部４ａを用いて、動画の画像データからスローシャッタで撮影したのと等価な静止画を生成することができる。この場合、１フレームずつ画像を合成する度に合成画像が表示されることから、ユーザが所望するシャッタ速度に応じた撮影効果が付与された静止画を簡単に得ることができる。

次に、図８ないし図１０を用いて、本発明の第３実施形態について説明する。第１および第２実施形態は、動画の画像データを記録部しておき、この画像データを用いて静止画を合成していた。第３実施形態においては、撮像部を有し、この撮像部によって動画の画像データを記録し、静止画を合成する。

図８は、本実施形態に係る撮像装置５の主として電気的構成を示すブロック図である。
撮像装置５は、被写体像を結像する光学系５１と、結像された被写体像を電気信号（画像データともいう）に変換する撮像素子５２を有する。撮像素子５２によって変換された電気信号は、システムコントローラ５４に出力される。撮像素子５２は、被写体像に基づいて、動画データ又は静止画データを撮影して取得する撮像部として機能する。

システムコントローラ５４は、ＣＰＵ（Central Processing Unit）とその周辺回路を有し、不揮発性メモリに記憶されたプログラムに従って撮像装置５の全体を制御する。周辺回路としては、画像処理回路（画像合成回路を含む）や表示制御回路等を含む。

画像合成回路は、平均化合成、加算合成、比較明合成、比較暗合成等の各種画像合成が可能であり、またパターンマッチング法による位置合わせ処理等を行う。画像合成回路は、フレーム画像と後続フレームに対応する画像との位置ずれを調整する位置合わせ手段としても機能する（図１０のＳ２９参照）。この位置合わせ手段は、フレーム画像における被写体像と、後続フレームに対応する画像における被写体像の位置ずれ量を検出し、合成手段は、位置ずれ量に基づいて、後続フレームの画像位置をシフト移動してから合成する。

システムコントローラ５４は、ＲＡＭ（Random Access Memory）５３、メモリカード５５、操作スイッチ５６、電子ビューファインダ５７（ＥＶＦ：Electronic View Finder）に接続されている。

ＲＡＭ５３は、電気的に書き換え可能なメモリであり、撮像素子５２から出力された画像データや、システムコントローラ５４内の画像処理回路によって処理された画像データを一時的に保持する。メモリカード５５は、電気的に書き換え可能な不揮発性メモリであり、撮像装置５に装填自在である。このメモリカード５５には、撮影済みの静止画や動画の画像データが記録される。また、記録された動画の複数フレームの画像データを用いて、合成された静止画の画像データも記録される。

操作スイッチは、撮影の開始や画像の再生を指示する操作ボタンと、これに連動するスイッチを有する。操作スイッチの操作状態は、システムコントローラ５４に出力される。システムコントローラ５４は、操作スイッチの操作状態に応じて、撮像装置５の制御を行う。

ＥＶＦ５７は、撮像装置５の背面に設けられた液晶モニタと、この表面に設けられたタッチセンサ等を有する。ＥＶＦ５７は、撮像素子５２から出力された画像データに基づくライブビュー画像を表示し、またメモリカード５５に記録された撮影画像を表示する。さらに、ＥＶＦ５７は、画像合成回路によって複数の動画の画像データから静止画に合成された画像データに基づいて、合成画像の表示を行う。また、ＥＶＦ５７は、モード設定等を行うためのメニュー画面の表示も行う。タッチセンサは、ユーザのタッチ操作を検出し、検出結果をシステムコントローラ５４に出力する。

なお、本実施形態における各部は、第１および第２実施形態における操作部３は操作スイッチ５６が相当し、制御部１、画像処理部２、および表示制御部４は、システムコントローラ５４が相当し、記録部１３はメモリカード５５が相当する。

図９は、合成操作を行う場合のＥＶＦ５７における表示を示す。撮像装置５のＥＶＦ５７には、ユーザによって選択されたフレームまたは合成された画像が画像表示領域５７１に表示される。まず、ユーザ操作により、再生画像が選択された場合、システムコントローラ５４は、メモリカード５５から選択された画像データを読出し、一旦ＲＡＭ５３上に展開する。その後、図９（ａ）に示すように、ＥＶＦ５７の上部側の画像表示領域５７１に表示する。

また、ＥＶＦ５７の下部側には、フレーム選択領域５７２が設けられている。このフレーム選択領域５７２には、複数の動画のフレームが順番に配置されており、中央フレームに相当する画像のみが表示されている。ユーザがフレーム選択領域５７２を指で左右にスライドさせることにより、そのフレームを進めたり、戻したりすることができる。ユーザは、スライドさせながら、静止画合成のために追加したいフレームを選択することができる。

ユーザがフレーム選択領域５７２を指でスライドさせると、システムコントローラ５４は、対応するフレームの画像データをＲＡＭ５３から読み出し、表示を更新する。これにより、選択フレームの画像がＥＶＦ５７上のフレーム選択領域の略中央に表示される。

ユーザは、静止画合成のための追加画像を選択すると、図９（ｂ）に示すように、選択フレームを上にスライドさせる。このスライド操作すると、選択画像が画像合成する際に使用される。合成処理を行う場合に、システムコントローラ５４内の画像合成回路は、まず、ＲＡＭ５３から合成画像を読み出す。そして、画像合成回路は、パターンマッチング領域５７４で示される部分が選択画像５７３と合成画像で一致するように位置を調整してから画像合成を行う。

画像合成回路によって、合成された画像は、画像表示領域５７１に表示される。また、システムコントローラ５４は、合成画像の画像データをＲＡＭ５３に一時保管する。一時保管された合成画像の画像データは、次に、選択画像が決まると、画像合成に使用する。

画像合成が終了すると、システムコントローラ５４は、ＲＡＭ５３に一時保管された合成画像データを記録する形式に変換して、メモリカード５５に記録する。

次に、図１０に示すフローチャートを用いて静止画生成の動作について説明する。このフローチャートは、システムコントローラ５４内のＣＰＵがメモリに記録されているプログラムに従って、撮像装置５内の各部を制御することにより実行する。

静止画生成のフローが開始すると、まず、動画データの読み込みを行う（Ｓ２１）。ユーザの操作スイッチ５６を操作すると、システムコントローラ５４はメモリカード５５から動画データの読み込みを行い、ＲＭ５３に動画データの一時保管を行う。

動画データの読み込みを行うと、動画像表示を行う（Ｓ２３）。ここでは、システムコントローラ５４が、動画データに基づいて、図９に示したような形式でＥＶＦ５７に表示する。

次に、合成開始フレームの指定を行う（Ｓ２５）。図９を用いて説明したように、ユーザは、フレーム選択領域５７２を左右にスライドし、一連の動画の中から静止画の合成を行う最初のフレーム（開始フレーム）を決定する。この決定は、開始フレームをユーザがタッチ操作する等によって行う。決定されたフレームの画像は、ＥＶＦ５７の画面の上部側の画像表示領域５７１に表示される。

合成開始フレームを指定すると、次に合成フレームの選択を行う（Ｓ２７）。ユーザは、ＥＶＦ５７の画面上を指で左右にスライド操作することにより、画像を順次切り換え、静止画の合成のための選択画像５７３を指で上にスライド操作することにより指定することができる。このステップでは、指で上にスライド操作されたか否かを判定し、上にスライド操作された場合に、合成フレームの選択を行う。合成フレームの選択が行われると、選択画像５７３がＥＶＦ５７の画面の上に移動し、画像表示領域５７１に大きく表示される。

合成フレームの選択を行うと、次に位置合わせを行う（Ｓ２９）。ここでは、システムコントローラ５４は、ＲＡＭ５３に一時保管した合成画像の合成フレームの中から、選択画像５７３のパターンマッチング領域５７４と一致する領域を検出する。このパターンマッチング領域５７４は、初期状態で中心付近の領域を使用するが、ユーザ指定により、所望の位置に変更しても良い。

位置合わせを行うと、次に、画像合成を行う（Ｓ３１）。ここでは、システムコントローラ５４内の画像処理回路が、ステップＳ２９において検出したパターンマッチング領域と一致する部分が合うように画像の合成を行なう。画像合成としては、前述したような平均化合成処理、比較明合成処理、比較暗合成処理でもよく、また単純加算合成処理でもよい。

画像合成を行うと、合成画像の表示を行う（Ｓ３３）。ここでは、ステップＳ３１において合成された画像がＥＶＦ５７の画面の上部側の画像表示領域５７１に表示される。

合成画像の表示を行うと、次に、合成指示が継続しているか否かを判定する（Ｓ３５）。本実施形態においては、ユーザが合成を終了したい場合には、合成ボタン４ｄを再度、タッチする。そこで、このステップでは、ユーザが合成ボタン４ｄのタッチ状態に基づいて判定する。この判定の結果、合成ボタン４ｄが再度タッチ操作されていない場合には、合成指示が継続されると判断されて、ステップＳ２７に戻る。合成指示が継続している間は、システムコントローラ５４は、合成フレームが選択されるたびに、画像処理回路に対して合成指示を行う。従って、合成フレームが選択されるたびに画像合成が行われる。

一方、ステップＳ３５における判定の結果、合成ボタン４ｄがタッチされ、合成を終了する場合には、画像記録を行う（Ｓ３５）。ここでは、ステップＳ３１において生成された合成画像の画像データをメモリカード５５に記録し、静止画生成のフローを終了する。

このように、本実施形態では、合成手段は、合成指示手段から合成指示がなされる毎に（図１０のＳ２７参照）、選択手段によって選択されたフレーム画像と、合成手段によって合成処理された合成画像とを合成処理して（図１０のＳ３１参照）、合成画像を生成している。このため、撮影した動画像に基づいて、すぐに簡単な操作で、スローシャッタ効果を活かした静止画画像を生成できる。前述した第１および第２実施形態においては、撮像装置で動画を撮影した場合に、この動画の画像データを画像表示装置１、４の記録部１３に転送した後、静止画を合成していた。しかし、この第３実施形態においては、撮像装置５で動画を撮影すると、この撮像装置５を用いて静止画画像を生成することができる。

次に、図１１ないし図１５を用いて、本発明の第４実施形態について説明する。前述の第１および第２実施形態においては、所定の時間間隔で読み出されるフレーム画像を用いて静止画の画像合成を行い、また第３実施形態においては、ユーザが選択した動画のフレーム画像を用いて静止画画像合成を行っていた。これに対して、第４実施形態では、画像生成装置が画像からカメラワークやシーンを検出して、その検出結果に基づいて、合成方式やフレームの間引き数を決定する。

図１１を用いて、本実施形態におけるカメラワークの検出について説明する。図１１に示す例では、四角の破線で示されるエリアＡが９個、設けられている（図１１では、９個のエリアの内、右上のエリアを代表として符号「Ａ」を記載してある）。

後述する移動ベクトル検出部４２１は、このエリア内で連続するフレーム間での像のブレ量を検出し、これに基づいて移動ベクトルＶを求める。エリアＡ内の矢印は、検出した移動ベクトルＶであり、方向と長さで移動量を示している（図１１では、９個の移動ベクトルの内、右上のエリアＡの移動ベクトル代表として符号「Ｖ」を記載してある）。また、図１１中で、エリアＡ１内の×は動きを検出できなかったことを示す。

また、本実施形態に係る画像生成装置は、顔検出機能を有し、画像中の顔が検出する。図１１に示す例では、顔枠Ｆｄによって検出された顔の位置（顔検出情報）を示す。この顔検出情報は、後述するように、シーンの判定に用いられる。

図１１に示す例では、画像周辺の移動ベクトルの向きと長さが略等しく、また顔枠Ｆｄによって示されるように、人の顔が検出されている。このことから、記録されている画像は、走る（又は歩く）人をパンニングで追いながら撮影した動画であることが検出できる。

図１１に示されるような動画から静止画を生成する場合は、動画は流し撮りされていることから、第１実施形態で示した平均化合成を用いる。また、この例では、カメラの動きが大きいため、フレームの間引きは行なわない。

本実施形態におけるシーン検出では、移動ベクトルを使用して、検出を行なっている。しかし、この方法に限定されるものではなく、カメラワークが検出できれば良い。例えば、撮影時にカメラの動き情報（角速度など）を各フレームに関連付けて記録しておき、静止画等に合成する際に、動き情報を読み出して、その情報に基づいてカメラワークを検出するようにしても良い。

図１２は、動画像から検出される移動ベクトルと時間の流れの関係を示した図である。図１２に示す例では、移動ベクトルが一時的に大きくなった場合（時刻Ｔ１参照）は、シーンチェンジが考えられる。この場合、合成方式によっては、合成処理を停止するように制御しても良い。

また、一定期間以上、移動ベクトルが偏った状態が続く（図１２の時刻Ｔ２〜Ｔ３参照）と、パンニング中であると判定することができる。移動ベクトルがほとんど０に近い場合は、止まっている被写体を捉えている状態と考えられる。

本実施形態においては、画像から得られる露出情報・移動ベクトル情報等を用いて、シーン検出を行い、合成方法や、フレーム間引き間隔を決定する。

次に、図１３を用いて本実施形態における画像処理部の構成について説明する。本発明の全体的な電気的構成は、第１実施形態に係る図１のブロック図、第２実施形態に係る図６のブロック図、第３実施形態に係る図８のブロック図のいずれを採用してもよい。しかし、画像処理部４２（図８においては、システムコントローラ内の画像処理回路）の内部を図１３にブロック図のように構成する。他の実施形態では、画像処理部４２は、合成を行なうのみであったが、本実施形態においては、画像合成に加えて、移動ベクトルの算出や合成方法、間引き間隔の決定を行なう。

図１３は、本実施形態の画像処理部４２の詳細を示すブロック図であり、移動ベクトル検出４２１と、間引き判定４２２と、シーン判定４２３と、画像合成４２４と、表示画像生成４２５とを有する。

移動ベクトル検出部４２１は、動画の画像データを読出し、エリアＡ内で連続するフレーム間での像のブレ量を検出し、これに基づいて移動ベクトルＶを求める。このエリア毎に求めた移動ベクトルＶは、間引き判定部４２２とシーン判定部４２３に出力する。移動ベクトル検出部４２１は、撮影時の撮像装置の動きを検出するカメラワーク検出手段として機能する。合成間隔指定手段（例えば、間引き判定部４２２参照）は、カメラワーク検出手段の検出結果に基づいて、間引き数を決定する。

間引き判定部４２２は、移動ベクトル検出部４２１によって検出された移動ベクトルを用いて、静止画を生成する際に、所定のフレームレートに従って連続的に出力されるフレーム画像を間引くか否か、また間引く場合の間引き率を判定する。フレームごとの変化が小さい場合には、間引き率を高くし、一方フレームごとの変化大きい場合には間引き率を低くするか間引きを行わない。間引き判定部４２２は、合成されるフレームである、複数の後続フレームに対して、間引きフレーム数を決定する合成間隔指定手段として機能する。合成手段は、合成間隔指定手段の指定に基づいて、合成フレームの間引きを行う。

シーン判定部４２３は、移動ベクトル検出部４２１によって検出された移動ベクトルと、画像データに基づく露出情報（輝度情報、輝度分布情報等）を用いてシーンの判定を行う（後述する図１５の合成方式決定のＳ６１、Ｓ６５、Ｓ６９等参照）。シーン判定部４２３は、選択フレームの画像から輝度分布情報を取得する映像情報取得手段として機能する。合成手段は、カメラワーク検出手段及び映像情報取得手段による検出結果のうち、少なくとも１つの情報を用いて、合成方法を決定する（後述する図１５のＳ６３、Ｓ６７、Ｓ７１、Ｓ７３参照）。

画像合成部４２４は、間引き判定部４２２からの判定結果、シーン判定部４２３からの判定結果、および合成指示を入力し、画像合成を行う。本実施形態においては、図１５を用いて後述するように、移動ベクトルの大きさ、画像の明るさ、高輝度画素の有無等に応じて、合成方法等を異ならせている。画像合成部４２４によって合成された合成画像の画像データは、表示画像生成部４２５に出力される。画像合成部４２４は、フレーム選択手段によって選択されたフレーム画像又は合成画像に対して、選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成手段として機能する。

画像合成部４２４は、フレーム画像と後続フレームに対応する画像とを、平均化合成処理をして、合成画像を生成する合成手段として機能する。また、画像合成部４２４は、フレーム画像と後続フレームに対応する画像とを、加算合成処理をして、合成画像を生成する合成手段として機能する。画像合成部４２４は、フレーム画像と後続フレームに対応する画像とを、比較明合成処理をして、合成画像を生成する合成手段として機能する。

表示画像生成部４２５は、画像合成部４２４からの画像データに基づいて、表示用の画像データを生成し、表示制御部に出力する。

次に、図１４および図１５に示すフローチャートを用いて、本実施形態における画像処理の動作について説明する。これらのフローチャートは、画像生成装置内のＣＰＵがメモリに記録されているプログラムに従って、画像生成装置内の各部を制御することにより実行する。なお、ここでは、本実施形態の構成は、図３または図６に示されたブロック図が採用されている場合を例に挙げて説明する。

画像処理のフローが開始すると、まず動画データの読み込みを行う（Ｓ４１）。ここでは、先ず動画記録部４３に記録されている動画データを読み出す。

動画データの読み込みを行うと、次に、移動ベクトルを算出する（Ｓ４３）。ここでは、移動ベクトル検出部４２１が、ステップＳ４１において取得した画像を用いて、各フレーム間の移動ベクトルを算出する。この時、表示フレーム以外に、基準フレーム前後の数秒間の移動ベクトルを保持しておくことにより、シーンの判定精度を高くすることができる。

移動ベクトルを算出すると、次に、映像情報を取得する（Ｓ４５）。ここで、基準フレームの映像情報を取得する。映像情報とは、全体的なフレームの明るさや、高輝度な点があるかなどの判定が出来る情報、例えば、輝度のヒストグラム等である。

映像情報を取得すると、次に、合成方式を決定する（Ｓ４７）。ここでは、ステップＳ４３で取得した移動ベクトルやステップＳ４５で取得した映像情報を用いて、撮影シーンと合成方法を決定する。この合成方式の決定の詳しい動作については、図１５を用いて後述する。

合成方式を決定すると、次に、フレーム間引き数を決定する（Ｓ４９）。ここでは、間引き判定部４２２が、フレーム間の変化を算出し、間引きフレーム数を決定する。間引き数の決定方法の一例としては、フレーム間の色や輝度の異なる画素数をカウントし、所定の画素数の閾値を超えるフレームを検出する。閾値を超えない場合は、次のフレームで比較を行い、閾値を超えるまで繰り返す。この時、閾値を超えなかったフレーム数を間引きフレーム数とすればよい。

フレーム間引き数を決定すると、次に、画像合成を行う（Ｓ５１）。ここでは、ステップＳ４７において決定した合成方法と、ステップＳ４９において決定したフレーム間引き数に基づいて、画像合成部４２４が画像の合成を行なう。

画像合成を行うと、次に、合成画像の表示を行う（Ｓ５３）。ここでは、ステップＳ５１において生成した合成画像をモニタ２や表示部４ａに表示する。合成画像の表示を行うと、次に、合成指示が継続しているか否かを判定する（Ｓ５５）。ここでは、第１〜第３実施形態と同様に、合成ボタンの操作に応じて判定する。この判定の結果、合成指示が継続している間は、合成と表示を所定の間隔または、ユーザ指示に応じて繰り返す。

一方、ステップＳ５５における判定の結果、合成指示か終了したら、記録画像を生成する（Ｓ５７）。ここでは、ステップＳ５１で生成された合成画像を、記録する画像形式に変換して記録部４３に記録する。

次に、図１５に示すフローチャートを用いて、ステップＳ４７における合成方式決定の動作について説明する。

合成方式決定のフローに入ると、先ず、移動ベクトルが大であるか否かを判定する（Ｓ６１）。ここでは、移動ベクトル検出部４２１で検出した移動ベクトルが判定値より大であるか否かを判定する。この判定値は、基準フレームが前後の移動ベクトルに基づいて、パンニング中か否かを判定できる値であればよい。

ステップＳ６１における判定の結果、移動ベクトルが大であった場合には、シーンは「流し撮り」であり、合成方法は「平均合成＋位置合わせ」と合成方式を決定する（Ｓ６３）。パンニング中であると判定されたことから、シーンは流し撮りとして、合成方法を平均化合成とし、位置あわせ処理を実施する。この合成方式の決定によって、パンニング中の動画から流し撮り画像を生成できる。

ステップＳ６１における判定の結果、移動ベクトルが大でなかった場合には、映像全体が明るいか否かを判定する（Ｓ６５）。ステップＳ６１における判定の結果、パンニング中で無い場合であり、この場合には、画像データに基づいて、映像全体が明るいかを判別する。

ステップＳ６５における判定の結果、映像全体が明るいと判定された場合には、シーンは「風景」であり、合成方法は「平均化合成」と合成方式を決定する（Ｓ６７）。このような合成方式を決定することにより、滝や川の流れをにじませたり、撮影視野内を移動している人間や乗り物などを消去することができる。

ステップＳ６５における判定の結果、映像全体が明るくないと判定された場合には、高輝度画素があるか否かを判定する（Ｓ６９）。ここでは、画像データに基づいて、局所的に高輝度の画素があるか否かを判別する。シーンが夜景の場合には、街路灯、窓の明かり、月や星等、局所的に周囲より高輝度の被写体が存在する。このステップでは、このような高輝度の画素があるか否かを検出する。

ステップＳ６９における判定の結果、高輝度画素がある場合には、シーンは「夜景撮影」であり、合成方法は「比較明合成」と合成方式を決定する（Ｓ７１）。ここでは、夜景モードとして、比較明合成を行なうように、合成方式を決定する。なお、輝度差が無い画素に対して、平均化合成をするようにすれば、ノイズ低減効果があり、画質向上が期待できる。

ステップＳ６９における判定の結果、高輝度画素がない場合には、シーンは「バルブ撮影」であり、合成方法は「加算合成」と合成方式を決定する（Ｓ７３）。この場合には、バルブ撮影モードとして、加算合成を行なう。加算合成することで、暗い動画から、バルブ撮影したような画像を生成できる。

このように、本実施形態においては、画像生成装置が、自動的にシーンと合成方法を判定する。このため、ユーザは、基準となるフレームを選択して合成指示を行なうだけで、選択したシーンに適したスローシャッタ効果のある画像を生成できる。本実施形態における画像生成装置をデジタルカメラ内に搭載すれば、動画を撮影した後に簡単かつ迅速にスローシャッタ効果の画像をその場で確認しながら生成することができる。

なお、本実施形態においては、間引き判定部４２２は、移動ベクトル検出部４２１によって検出された移動ベクトルに基づいて判定していたが、これに限らず、ユーザが操作部（リモコン操作部３、操作部４ｃ等）を操作することによって、手動で入力するようにしてもよい。この場合には、ユーザの意図に応じた間引きを行うことができる。また、本実施形態においては、間引きフレーム数の判定および合成方法の判定の両方を行っていたが（図１４のＳ４７、Ｓ４９参照）、これに限らず、間引きフレーム数の判定のみを行ったり、合成方法の判定だけを行なうようにして勿論かまわない。

以上説明したように、本発明の各実施形態においては、合成指示手段により画像合成が指示された場合は、表示部に合成手段により合成した合成画像を表示させ、記録部に合成手段により合成した合成画像に基づいた、静止画データを記録させている。このため、ユーザは合成結果を確認しながら、動画から所望の効果が得られる画像を容易に作成できる。

また、本発明の第１、第２、第４の各実施形態において、合成手段は、合成指示手段から合成指示が継続している際には、所定の時間周期毎に、選択手段によって選択されたフレーム画像に対して、順次後続となるフレーム画像を合成処理して、合成画像を生成している。このため、ユーザは合成指示を継続するだけで、フレーム画像が読み出されるたびに、徐々に合成効果が増して行き、所望の効果が得られるタイミングで合成指示手段による合成指示を停止すればよい。

また、本発明の各実施形態において、合成手段は、フレーム画像と後続フレームに対応する画像とを、平均化合成処理をして、合成画像を生成している。このため、流し撮りや滝の流れを表現するようなスローシャッタ効果のある画像を得ることができる。

また、本発明の各実施形態において、合成手段は、フレーム画像と後続フレームに対応する画像とを、加算合成処理をして、合成画像を生成している。このため、動画からバルブ撮影を行ったような効果を得ることができる。

また、本発明の各実施形態において、合成手段は、フレーム画像と後続フレームに対応する画像とを、比較明合成処理をして、合成画像を生成している。このため、明るい部分の軌跡のある画像を生成することができる。

また、本発明の第３実施形態において、合成手段は、合成指示手段から合成指示がなされる毎に、選択手段によって選択されたフレーム画像と、合成手段によって合成処理された合成画像とを合成処理して、合成画像を生成している。このため、ユーザの意図に従った画像を選択的に用いて合成画像を生成することができる。

また、本発明の第４実施形態において、フレーム画像と後続フレームに対応する画像との位置ずれを調整する位置あわせ手段をさらに有し、位置あわせ手段は、フレーム画像における被写体像と、後続フレームに対応する画像における被写体像の位置ずれ量を検出し、合成手段は、位置ずれ量に基づいて、後続フレームの画像位置をシフト移動してから合成している。このため、動画から流し撮り画像を簡単に生成することができる。

また、本発明の第４実施形態において、合成されるフレームである、複数の後続フレームに対して、間引きフレーム数を決定する合成間隔指定手段（例えば、間引き判定部４２２参照）をさらに有し、合成手段は、合成間隔指定手段の指定に基づいて、合成フレームの間引きを行うようにしている。このため、間引き判定の結果に基づいて、合成フレームを間引きするので、合成しても変化が無い画像を除去することができる。

また、本発明の第４実施形態において、合成間隔指定手段は、操作入力部からのユーザの指定に基づいて決定するようにしている。このため、ユーザの意図に応じた間引きを行うことができる。

また、本発明の第４実施形態において、撮影時の撮像装置の動きを検出するカメラワーク検出手段（例えば、移動ベクトル検出部４２１参照）をさらに有し、合成間隔指定手段は、カメラワーク検出手段の検出結果に基づいて、間引き数を決定している。このため、カメラワーク検出手段によってパンニング中を検出した場合は、合成方法を平均化合成とし、フレーム間引きは行なわないことで、流し撮り画像生成に最適な合成ができる。

また、本発明の第４実施形態において、選択フレームの画像から輝度分布情報を取得する映像情報取得手段（例えば、シーン判定部４２３参照）をさらに有し、合成手段は、カメラワーク検出手段及び映像情報取得手段による検出結果のうち、少なくとも１つの情報を用いて、合成方法を決定している（例えば、図１５参照）。このように、選択フレームから取得した輝度情報と、カメラワーク検出手段により取得したカメラワーク情報に基づいて、合成方法を決定するので、ユーザが特に合成方法の知識をもつことが無くても選択シーンに最適な合成画像を生成することができる。

また、本発明の第３実施形態において、被写体像に基づいて、動画データ又は静止画データを撮影して取得する撮像部を有している。このため、動画を撮影した際に、その場で、合成画像を生成し、確認することができる。意図するような合成画像が生成できなかった場合には、再度、意図する合成画像を生成するための動画を撮影することができる。

また、本発明の各実施形態において、入力される動画データ又は静止画データを読み込む読込ステップ（例えば、図４のＳ１参照）と、読込ステップにおいて読み込まれた画像データを表示する表示ステップ（例えば、図４のＳ３参照）と、フレーム画像の合成を指示する合成指示ステップ（例えば、図４のＳ５参照と、読込ステップにおいて読み込まれた動画データの中からフレーム画像を選択する選択ステップ（例えば、図４のＳ７、図１０のＳ２７参照）と、選択ステップによって選択されたフレーム画像又は合成画像に対して、選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成ステップ（例えば、図４のＳ７、図１０のＳ３１参照）を有し、上述の表示ステップは、合成指示ステップにより合成が指示された場合は、合成ステップにおいて合成した合成画像を表示させ（例えば、図４のＳ１１参照）、さらに、合成指示ステップにより合成が指示された場合は、合成ステップにおいて合成した合成画像に基づいた、静止画データを記録させている（例えば、図４のＳ１５参照）。このため、ユーザは合成結果を確認しながら、動画から所望の効果が得られる画像を容易に作成できる。

なお、本発明の各実施形態においては、制御部１１、画像処理部１２、表示制御部１４、移動ベクトル検出部４２１、間引き判定部４２２、シーン判定部４２３、画像合成部４２４、表示画像生成部４２５等は、ＣＰＵとプログラムコードでソフトウエア的に実現してもよく、またＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実行するようにしても勿論かまわない。

また、第３実施形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画を記録可能な撮影のための機器であれば、本発明を適用することができる。

また、第１、第２、第４実施形態に開示された構成・作用についても第３実施形態に開示された撮像装置においても適宜適用してもよく、また第３実施形態に開示された構成・作用についても他の実施形態に適宜適用してもよい。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・画像表示装置、２・・・モニタ、２ａ・・・シャッタ速度表示、３・・・操作リモコン、４・・・端末装置、４ａ・・・液晶パネル、４ｂ・・・画像、４ｃ・・・操作ボタン、４ｄ・・・合成ボタン、５・・・撮像装置、３１・・・合成ボタン、３２・・・操作ボタン、５１・・・光学系、５２・・・撮像措置、５３・・・ＲＡＭ、５４・・・システムコントローラ、５５・・・メモリカード、５６・・・操作スイッチ、５７・・・ＥＶＦ、４２１・・・移動ベクトル検出部、４２２・・・間引き判定部、４２３・・・シーン判定部、４２４・・・画像合成部、４２５・・・表示画像生成部、５７１・・・画像表示領域、５７２・・・フレーム選択領域、５７３・・・選択画像、５７４・・・パターンマッチング領域

Claims (14)

1. 画像処理装置に入力される動画データ又は静止画データとなる画像データを記録する記録部と、
   上記記録部に記録された画像データに対応する画像を表示する表示部と、
   上記記録部に記録された動画データの中から基準フレーム画像を含む複数のフレーム画像を選択するフレーム選択手段と、上記選択された複数のフレーム画像に対して、画像合成を指示する合成指示手段とを含む操作入力部と、
   上記フレーム選択手段によって選択されたフレーム画像又は合成画像に対して、選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成手段と、
   を具備し、
   上記表示部は、上記合成指示手段により画像合成が指示された場合は、上記合成手段により合成した合成画像を表示し、
   上記記録部は、上記合成指示手段により画像合成が指示された場合は、上記合成手段により合成した合成画像に基づいた、静止画データを記録する、
   ことを特徴とする画像処理装置。
2. 上記合成手段は、上記合成指示手段から合成指示が継続している際には、所定の時間周期毎に、上記選択手段によって選択されたフレーム画像に対して、順次後続となるフレーム画像を合成処理して、合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 上記合成手段は、フレーム画像と後続フレームに対応する画像とを、平均化合成処理をして、合成画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記合成手段は、フレーム画像と後続フレームに対応する画像とを、加算合成処理をして、合成画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
5. 上記合成手段は、フレーム画像と後続フレームに対応する画像とを、比較明合成処理をして、合成画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
6. 基準フレームの後続フレームから任意のフレームを選択する合成フレーム選択手段をさらに有し、
   上記合成手段は、上記合成指示手段から合成指示がなされる毎に、上記合成フレーム選択手段によって選択されたフレーム画像と、上記合成手段によって合成処理された合成画像とを合成処理して、合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
7. フレーム画像と後続フレームに対応する画像との位置ずれを調整する位置あわせ手段をさらに有し、
   上記位置あわせ手段は、フレーム画像における被写体像と、後続フレームに対応する画像における被写体像の位置ずれ量を検出し、
   上記合成手段は、上記位置ずれ量に基づいて、後続フレームの画像位置をシフト移動してから合成する、
   ことを特徴とする請求項１に記載の画像処理装置。
8. 合成されるフレームである、複数の後続フレームに対して、間引きフレーム数を決定する合成間隔指定手段をさらに有し、
   上記合成手段は、上記合成間隔指定手段の指定に基づいて、合成フレームの間引きを行うことを特徴とする請求項１に記載の画像処理装置。
9. 上記合成間隔指定手段は、上記操作入力部からのユーザの指定に基づいて決定することを特徴とする請求項８記載の画像処理装置。
10. 撮影時の撮像装置の動きを検出するカメラワーク検出手段をさらに有し、
    上記合成間隔指定手段は、上記カメラワーク検出手段の検出結果に基づいて、間引き数を決定することを特徴とする請求項８に記載の画像処理装置。
11. 選択フレームの画像から輝度分布情報を取得する映像情報取得手段をさらに有し、
    上記合成手段は、上記カメラワーク検出手段及び上記映像情報取得手段による検出結果のうち、少なくとも１つの情報を用いて、合成方法を決定することを特徴とする請求項１０に記載の画像処理装置。
12. 被写体像に基づいて、動画データ又は静止画データを撮影して取得する撮像部と、
    請求項１ないし１１のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
13. 入力される動画データ又は静止画データを読み込む読込ステップと、
    上記読込ステップにおいて読み込まれた画像データを表示する表示ステップと、
    フレーム画像の合成を指示する合成指示ステップと、
    上記読込ステップにおいて読み込まれた動画データの中から基準となるフレーム画像を選択する選択ステップと、
    上記選択ステップによって選択されたフレーム画像又は合成画像に対して、上記選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成ステップと、
    を有し、
    上記表示ステップは、上記合成指示ステップにより合成が指示された場合は、上記合成ステップにおいて合成した合成画像を表示させ、
    さらに、
    上記合成指示ステップにより合成が指示された場合は、上記合成ステップにおいて合成した合成画像に基づいた、静止画データを記録させる記録ステップを有することを特徴とする画像処理方法。
14. 入力される動画データ又は静止画データを記録する記録部を有する画像処理装置のコンピュータを実行させるためのプログラムにおいて、
    上記記録部に記録された画像データを表示する表示ステップと、
    上記記録部に記録された動画データの中から基準となるフレーム画像を選択する選択ステップと、
    フレーム画像の合成を指示する合成指示ステップと、
    上記選択ステップによって選択されたフレーム画像又は合成画像に対して、上記選択フレームに後続する１または複数のフレームを合成して１つの静止画画像を生成する合成ステップと、
    を有し、
    上記表示ステップは、上記合成指示ステップにより合成が指示された場合は、上記合成手段により合成した合成画像を表示させ、
    さらに、上記合成指示ステップにより合成が指示された場合は、上記合成手段により合成した合成画像に基づいた、静止画データを記録させる記録ステップを有し、
    上記各ステップを上記コンピュータに実行させることを特徴とするプログラム。