JP2011049952A - 画像生成装置及び電子カメラ - Google Patents

Abstract

【課題】動画像を利用して、動画像より高解像度の合成画像を生成できる画像生成装置及び電子カメラを提供する。
【解決手段】電子カメラに備えられたＭＰＵは、動画像から選択されたｎ枚のフレーム画像ｆt（ｘ，ｙ）、ｆt+1（ｘ，ｙ）、…、ｆt+n-1（ｘ，ｙ）を、２枚ずつ順次合成して合成画像ｆa（ｘ、ｙ）を取得する。この合成画像ｆa（ｘ、ｙ）は、式ｆa（ｘ，ｙ）＝（１−Ｂ）・ｆa（ｘ，ｙ）＋Ｂ・ｆt+k（ｘ，ｙ）により生成する（S60）。ここで、Ｂはブレンド率、ｋは合成処理回数、ｆa（ｘ，ｙ）の初期値はフレーム画像ｆt（ｘ，ｙ）である。（ｎ−１）回の合成処理で得られた合成画像ｆa（ｘ，ｙ）を静止画像の解像度に合わせる変倍処理を行い（S90）、変倍処理後のＦa（ｘ，ｙ）と静止画像Ｆt+n（ｘ，ｙ）とを合成して、モーションブラー画像Ｆm（ｘ，ｙ）を生成する（S110）。
【選択図】図１０

Description

本発明は、画像生成装置及び電子カメラに関する。

従来、動画像データのフレームや、高速で連続撮影した静止画像データを用いて、被写体の動きを表現したモーションブラー画像（合成画像）を生成する画像生成装置（画像生成システム）が開示されている（例えば特許文献１）。

特開２００１−１３９５２号公報

しかしながら、特許文献１に記載の画像生成装置によれば、モーションブラー画像を生成することはできるが、元データとして動画像データを使用すると、解像度は元データに依存するので、必然的に低い解像度のモーションブラー画像しか得られないという問題があった。一方、高解像度なモーションブラー画像を生成するために、元データとして高速で連続撮影した静止画像を使用すると、元データのデータ量が非常に多くなり扱いにくくなってしまう。よって、動画像のフレーム画像を利用しつつ静止画像と同程度の高解像度のモーションブラー画像を生成する装置が望まれていた。

本発明は前記の問題点に解決するためになされたものであって、その目的は、動画像を利用して、動画像より高解像度の合成画像を生成できる画像生成装置及び電子カメラを提供することにある。

上記目的を達成するために、本発明は、動画像と当該動画像の撮影時間内の時刻に撮影された静止画像とを取得する画像取得手段と、前記動画像を構成する複数のフレーム画像のうち静止画像と撮影時刻の異なる少なくとも１枚のフレーム画像を取得し、当該フレーム画像と前記静止画像とを画像中の動体の濃度が当該フレーム画像の方が前記静止画像よりも薄くなる合成条件で合成して合成画像を生成する画像合成手段と、を備えたことを要旨とする。この発明によれば、動画像を利用して、動画像より高解像度の合成画像（例えばモーションブラー画像）を生成できる。

本発明の画像生成装置では、前記画像取得手段は、撮影時刻の異なる複数枚のフレーム画像を取得し、前記画像合成手段は、前記複数枚のフレーム画像を画像中の動体の濃度が前記静止画像の撮像時刻から遠い撮影時刻のものほど薄くなる合成条件で合成してフレーム合成画像を生成する第１の画像合成手段と、前記フレーム合成画像と前記静止画像とを合成して合成画像を生成する第２の画像合成手段と、を備えていることが好ましい。

本発明の画像生成装置では、前記動画像と前記静止画像の解像度が異なる場合には、前記フレーム合成画像の解像度を前記静止画像の解像度に合わせる変倍処理を行う変倍処理手段を更に備え、前記第２の画像合成手段は、前記変倍処理後のフレーム合成画像と前記静止画像とを合成することが好ましい。

本発明の画像生成装置では、前記画像合成手段が画像を合成する際のブレンド率を選択するブレンド率選択手段を更に備え、前記画像合成手段を構成する第１及び第２の画像合成手段のうち、少なくとも前記第１の画像合成手段による前記フレーム画像の合成を、選択された前記ブレンド率で行うことが望ましい。

また、本発明の画像生成装置では、前記動画像を構成する複数枚のフレーム画像のうち合成画像に用いる複数枚のフレーム画像を選択する選択手段を更に備えていることが好ましい。

本発明の画像生成装置では、静止画像を選択する静止画像選択手段と、表示手段とを更に備え、前記選択手段は、選択された前記静止画像の撮像時刻を含む設定時間範囲内に撮影された複数枚のフレーム画像を取得して、当該複数枚のフレーム画像を合成画像の生成に用いるフレーム画像の選択候補として前記表示手段に表示させる表示制御手段と、前記表示手段に表示されたフレーム画像の選択候補のうちから合成画像の生成に用いるフレーム画像を選択するための操作手段と、を備えていることが好ましい。

本発明の画像生成装置では、前記選択手段は、前記静止画像の撮像時刻よりも前の時刻に撮影された複数枚のフレーム画像を選択する第１選択条件での選択と、前記静止画像の撮像時刻よりも後の時刻に撮影された複数枚のフレーム画像を選択する第２選択条件での選択とが可能に構成され、前記第１の画像合成手段は、前記第１選択条件での選択の場合は、選択された複数のフレーム画像を撮影時刻の古いフレーム画像ほど濃度が薄くなる第１合成条件で合成し、前記第２選択条件での選択の場合は、選択された複数のフレーム画像を撮影時刻の新しいフレーム画像ほど濃度が薄くなる第２合成条件で合成することが望ましい。

本発明の画像生成装置では、前記選択手段は、前記静止画像の撮像時刻の前後に撮影時刻を有する複数枚のフレーム画像を選択する第３選択条件での選択が可能に構成され、前記第１の画像合成手段は、前記第３選択条件での選択の場合は、選択された複数のフレーム画像のうち前記静止画像の撮像時刻よりも撮影時刻の古いフレーム画像については撮影時刻の古いフレーム画像ほど濃度が薄くなる第１合成条件で合成し、前記静止画像の撮像時刻よりも撮影時刻の新しいフレーム画像については撮影時刻の新しいフレーム画像ほど濃度が薄くなる第２合成条件で合成することが好ましい。

本発明の画像生成装置では、前記フレーム画像中の動体を特徴抽出する特徴抽出手段を更に備え、前記第１の画像合成手段は、前記複数枚のフレーム画像において特徴抽出された複数の動体の画像を前記合成条件で合成して当該動体の合成画像を取得する構成であり、前記第２の画像合成手段は、前記動体の合成画像と前記静止画像とを当該静止画像の濃度を保持したまま合成することが好ましい。

本発明の画像生成装置では、前記画像合成手段は、前記ｎ枚（但しｎ≧２）のフレーム画像ｆt（ｘ，ｙ）、ｆt+1（ｘ，ｙ）、…、ｆt+n-1（ｘ，ｙ）を取得した場合、静止画像の撮像時刻よりも遠い撮影時刻のものからの順番で２枚ずつのフレーム画像を、式ｆa（ｘ，ｙ）＝（１−Ｂ）・ｆa（ｘ，ｙ）＋Ｂ・ｆt+k（ｘ，ｙ）（但しｆa（ｘ，ｙ）の初期値はｆt（ｘ，ｙ）、Ｂはブレンド率で０．５≦Ｂ＜１、ｋは合成処理回数）で合成する合成処理を（ｎ−１）回（ｋ＝１，２，…，ｎ−１）繰り返して合成画像ｆa（ｘ，ｙ）を取得することが望ましい。

本発明の画像生成装置では、表示手段を更に備え、前記画像合成手段が生成した合成画像を前記表示手段に表示することが好ましい。
本発明は、上記発明の画像生成装置と、動画撮影中に静止画を撮影可能な撮影手段とを備えた電子カメラであって、前記画像生成装置は、前記撮影手段が動画撮影中に静止画を撮影して得た動画像と静止画像とを用いて合成画像を生成することを要旨とする。

カメラの斜視図。 カメラの背面図。 カメラの電気的構成を示すブロック図。 カメラが備える画像生成装置の機能ブロック図。 （ａ）動画像ファイル、（ｂ）静止画像ファイルのデータ構造を示す模式図。 条件選択画面が表示されたカメラの背面図。 フレーム画像の合成処理及び変倍処理を説明する模式図。 合成画像と静止画像との合成処理を説明する模式図。 モーションブラー画像が表示されたカメラの背面図。 モーションブラー画像生成処理ルーチンを示すフローチャート。

以下、本発明をデジタルカメラに具体化した一実施形態を図１〜図１０に基づいて説明する。
図１はデジタルカメラの斜視図、図２はその背面図である。図１に示すように、本実施形態のデジタルカメラ（以下、単に「カメラ１１」という）は、略直方体形状をなすカメラ本体１２を有している。カメラ本体１２の前面（正面）略中央部には撮像レンズ部１３を内装した伸縮自在な鏡筒１３ａが設けられると共に、鏡筒１３ａよりも上側となる二位置にはストロボ発光部１４及び合焦動作時に赤外線等を被写体に向けて照射するための照射窓部１５が設けられている。さらに、鏡筒１３ａ付近には音声を録音するためのマイク１６が設けられている。

また、カメラ本体１２の上面には左寄りの二位置にレリーズボタン１７及び電源ボタン１８が設けられ、略中央寄りの位置にスピーカ１９が設けられている。レリーズボタン１７はカメラ１１に撮像動作を開始させるときに撮像者により押し下げ操作（すなわち、オン操作）される操作ボタンである。電源ボタン１８は、カメラ１１を電源オン状態とするときに撮像者により押し下げ操作されるものである。本実施形態のカメラ１１は、静止画撮影機能の他に動画撮影機能も備え、動画撮影時の音声はマイク１６により録音され、動画再生時の音声はスピーカ１９から発せられる。

一方、図２に示すように、カメラ本体１２の背面側には、矩形状をなす液晶表示のモニタ２０が設けられている。そして、モニタ２０の上側右寄りの位置にはモード選択スイッチ２１が設けられている。モード選択スイッチ２１の切換え操作により静止画モードと動画モードの切り換えが可能になっている。なお、本実施形態のカメラ１１は、動画撮影中にレリーズボタン１７を押し下げ操作すると、その動画撮影と同時に静止画像を撮影できる機能（以下、「動画／静止画同時撮影機能」という）を有している。また、本実施形態では、モニタ２０により表示手段が構成される。

また、カメラ本体１２の背面におけるモニタ２０の右上位置にはズームボタン２２が設けられ、そのズームボタン２２の下側の位置には、メニューボタン２３が設けられている。また、メニューボタン２３の下方には、上下左右の４方向を含む複数方向の選択操作が可能なセレクトボタン２４（選択ボタン）が設けられ、その中央部には決定ボタン２５が設けられている。

ズームボタン２２は、主として撮像レンズ部１３をズームアップ又はズームダウンさせるときに操作される。メニューボタン２３は、主としてモニタ２０にメニュー画面を表示させるときに操作される。メニューボタン２３を操作すると、そのとき選択されているモードに応じたメニュー画面が表示される。また、セレクトボタン２４は、主としてメニュー画面における項目の選択や設定画面の切り替え及び設定の変更を行う際に操作される。決定ボタン２５は、メニュー画面や設定画面で選択された項目を確定（決定）する際に操作される。例えば、メニュー画面で、画像表示枚数を指定してマルチ表示の項目を選択した場合は、モニタ２０の画面２０ａにそのとき選択されているモード（静止画モード／動画モード）に応じた画像（静止画／動画）が一覧表示（マルチ表示）されるようになっている。例えば静止画モードであれば、複数枚の静止画像が縮小サイズで一覧表示される。マルチ表示された複数枚の画像の中から、セレクトボタン２４を操作して一枚を選択すると、その選択した１枚の再生が可能になっている。

さらに、セレクトボタン２４の上下には、再生ボタン２６、停止ボタン２７、早送りボタン２８及び早戻しボタン２９が設けられている。例えば静止画モードで再生ボタン２６を操作すると、そのとき選択されている静止画像が画面２０ａに表示（再生）される。また、動画モードで再生ボタン２６を操作すると、そのとき選択されている動画が画面２０ａに再生されるようになっている。

次に、本実施形態のカメラ１１における回路構成を図３のブロック図に基づき説明する。
図３に示すように、カメラ１１は、カメラ１１における各種動作を統括的に制御するＭＰＵ（Micro Processing Unit）３０を備えている。また、カメラ１１は、撮像レンズ部１３のレンズ群（図３では図面の簡略化のため１つのみ図示）を通過した被写体光を撮像レンズ部１３の像空間側において結像させるための撮像素子３１をカメラ本体１２内に有している。この撮像素子３１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなり、その撮像面に結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を画素信号と呼ばれるアナログ信号として出力する。なお、撮像素子３１は、電源ボタン１８が押し下げ操作された後において、レリーズボタン１７が押し下げ操作される前段階の待機モードにおいても、被写体の経時変化するスルー画像の画素信号を出力し得るように構成されている。

撮像素子３１の出力側には信号処理回路３２が直列に接続されている。信号処理回路３２は、ＡＦＥ（Analog Front End）部とＡ／Ｄ変換器とを有している。ＡＦＥ部は、撮像素子３１で光電変換されて出力されたアナログ信号からなる画素信号を所定のタイミングでサンプリング（相関二重サンプリング）して、例えばＩＳＯ感度に基づく所定の信号レベルとなるように増幅する。Ａ／Ｄ変換器は、ＡＦＥ部から出力された増幅後の画素信号（アナログ信号）をデジタル信号に変換し、このデジタル画素信号をＭＰＵ３０に出力する。

ＭＰＵ３０は、所定の画像処理を行うための画像処理部３３（一例としてＤＳＰ（Digital Signal Processor））を内蔵している。画像処理部３３は、信号処理回路３２から入力したデジタル画素信号に対して、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を施すことにより所定の画像データを生成する。この画像処理部３３において生成された画像データは、バッファメモリとして機能するＤＲＡＭ等よりなるＲＡＭ３４に一時記憶される。

その後、ＭＰＵ３０は、ＲＡＭ３４から画像データを読出して、例えばＪＰＥＧ方式でデータ圧縮処理を行い、圧縮処理後の画像データを含む画像ファイルを生成し、生成した画像ファイルをカードスロット３５を介してカメラ１１に着脱可能とされた記憶媒体であるメモリカード３６に記憶するようになっている。また、ＭＰＵ３０は、メモリカード３６から画像データを読出して伸張処理を施した後の画像データを、ＲＡＭ３４に記憶させて、ＬＣＤ駆動回路（図示省略）を介してモニタ２０に表示させる。

また、図３に示すように、ＭＰＵ３０には、レリーズボタン１７、電源ボタン１８、液晶表示のモニタ２０及び操作部３７が接続されている。操作部３７は、図２に示すモード選択スイッチ２１、ズームボタン２２、メニューボタン２３、セレクトボタン２４、決定ボタン２５、再生ボタン２６、停止ボタン２７、早送りボタン２８及び早戻しボタン２９等により構成される。モニタ２０は、ＭＰＵ３０の表示制御に基づき動画像及び静止画像を選択的に表示する。

また、ＭＰＵ３０は、カメラ本体１２に内蔵された不図示の自動露出装置（ＡＥ装置）、自動合焦装置（ＡＦ装置）及びシャッタ制御装置等と接続されており、これらの各装置を制御することにより、自動露出制御（ＡＥ制御）、自動合焦制御（ＡＦ制御）及びシャッタ制御などを行う。ＭＰＵ３０は、例えば不揮発性メモリ３８に記憶された制御プログラムに基づき前述の各種制御（例えば撮影制御、データ処理制御、表示制御など）を行う。

本実施形態では、画像処理部３３の画像ファイル生成機能に特徴がある。カメラ１１は、動画撮影中に静止画の撮像を並行して行うことが可能な動画／静止画同時撮像機能を有している。この画像ファイル生成機能では、動画撮影中に静止画の撮像が行われて静止画像ファイルを生成する際に、動画像データから静止画撮像時刻ｔｓの前後ｎ秒（例えばｎは２〜１０秒の範囲内の値）分の動画像データを切り出して動画像ファイルを生成し、さらにその動画像ファイルを静止画像用のヘッダに組み込むことで静止画像ファイルを生成する。

図４は、画像生成装置の構成を示す機能ブロック図である。図４に示すように、画像生成装置は、画像処理部３３及びＲＡＭ３４等により構成されている。画像処理部３３は、入力した画素信号に前述のホワイトバランス等を含む画像処理を施して取得した画像データを基に画像ファイルを生成する画像ファイル生成機能と、画像ファイルを利用してモーションブラー画像を生成する画像生成機能とを有している。画像処理部３３は、画像ファイル生成機能及び画像生成機能を実現するために、各部を統括制御する制御部４１、静止画像生成部４２、動画像生成部４３、計時部４４、静止画像ファイル生成部４５、動画像ファイル生成部４６、及びモーションブラー画像生成装置５０を備えている。

静止画モードで静止画を撮像した時は、撮像素子３１から信号処理回路３２（図３を参照）を介して例えばフル解像度約１０メガピクセルの画素信号が画像処理部３３へ入力される。また、動画モードで動画を撮影した時は、撮像素子３１からの動画撮影時の画素信号と、マイク１６からの音声信号とが、同期したタイミングで画像処理部３３へ入力される。

静止画像生成部４２は、静止画撮像時に、入力した画素信号に基づき例えばフル解像度の静止画像データを生成する。また、動画像生成部４３は、動画モードでの動画撮影時に、入力した画素信号に基づき比較的低解像度の動画像データを生成し、その生成した動画像データをＲＡＭ３４の所定記憶領域に記憶（ストレージ）する。本例では、動画像データの解像度は、例えばＶＧＡ（Video Graphics Array）（640×480ピクセル）又はＱＶＧＡ（Quarter Video Graphics Array）（320×240ピクセル）である。

詳しくは、動画像生成部４３は、動画撮影中に入力する画素信号に基づきフレーム画像を例えば所定フレームレート（例えば３０ｆｐｓ）で生成すると共に、生成したフレーム画像をＲＡＭ３４の所定記憶領域に順次記憶する。こうしてＲＡＭ３４には動画像データがストレージされる。なお、詳しくは、動画像生成部４３は、互いに同期したフレーム画像と音声データとを１つの単位として収容するコンテナをＲＡＭ３４の所定記憶領域に順次格納する。

計時部４４は、現在時刻を計時する時計機能と、動画撮影開始時点からの動画撮影時間を計時する動画撮影時間計時機能とを備える。静止画撮像時刻や、動画撮影開始時刻及び撮影時間（撮影経過時間）は、計時部４４の計時情報より取得される。

制御部４１は、カメラ１１により静止画の撮像が行われる度に、静止画像ファイル生成部４５に対し、静止画像生成部４２により生成された静止画像データを用いて静止画像ファイルの生成を指示する。また、制御部４１は、ユーザによる動画撮影の停止操作を受け付けると、動画像ファイル生成部４６に対し、動画像生成部４３によってＲＡＭ３４にストレージされたフレーム画像を用いて動画像ファイルの生成を指示する。

静止画像ファイル生成部４５は、制御部４１からの指示を受け付けると、静止画像生成部４２により生成された静止画像データを用いて静止画像ファイルを生成する。
動画像ファイル生成部４６は、動画像生成部４３が生成した動画像データとヘッダとにより動画像ファイルを生成する。

図５は、動画像ファイルと静止画像ファイルとのデータ構造を示す。図５（ａ）が動画像ファイル、同図（ｂ）が静止画像ファイルを示す。図５（ａ）に示すように、動画像ファイルＭＦは、ヘッダＨｍと動画像データＭＤとにより構成される。ヘッダＨｍには、一般的な動画像ファイルと同様に、動画像ファイルに関する撮影関連情報などが格納される。撮影関連情報としては、撮影日時（撮影開始日時）（年・日・時・分・秒）、撮影時間、撮像条件（露出値、ズーム値、ＩＳＯ、撮影モード、姿勢角等）、撮影位置（ＧＳＰ情報等）などの他、関連静止画像ファイル識別情報が含まれている。ここで、関連静止画像ファイル識別情報とは、動画／静止画同時撮影機能で同時に撮像された静止画像ファイルを特定するための識別コード、あるいはカメラ１１により重複しないように自動で割り当てられたコードを含む静止画像ファイル名などにより構成される。

一方、図５（ｂ）に示すように、静止画像ファイルＳＦは、ヘッダＨｓと静止画像データＳＤとにより構成される。ヘッダＨｓには、一般的な静止画像ファイルと同様に、静止画像ファイルに関する撮像関連情報などが格納される。撮像関連情報としては、撮像日時（年・日・時・分・秒）、撮像条件（シャッタスピード、露出値、ズーム値、ＩＳＯ、撮影モード、姿勢角等）、撮影位置（ＧＳＰ情報等）などの他、関連動画像ファイル識別情報が含まれている。ここで、関連動画像ファイル識別情報とは、動画／静止画同時撮影機能で同時に撮影された動画像ファイルを特定するための識別コード、あるいはカメラ１１により重複しないように自動で割り当てられたコードを含む静止画像ファイル名などにより構成される。

動画像データＭＤを構成する各コンテナには、動画撮影開始時刻からの撮影時間がタイムスタンプとして記録されている。このため、静止画像ファイルＳＦのヘッダＨｓ中の静止画撮像時刻の情報から、動画撮影開始時刻とタイムスタンプの情報を用いて検索を行うことにより、静止画撮像時刻と同時刻に撮影されたフレーム画像を探し出すことが可能になっている。

なお、上記では動画／静止画同時撮影機能の場合に、動画撮影中に撮像時刻がある互いに関連する動画像ファイルと静止画像ファイルとを生成する例を説明したが、静止画モードでもメニューで「動画取得」を選択設定すれば、同様に、静止画撮像を行った際に、静止画像ファイルと、静止画撮像時刻を撮影時間内にもつ動画像ファイルとが生成されるようになっている。

この場合、常時もしくは何らか（例えばレリーズ半押し操作）のトリガが発生した時点から、撮像素子３１からフル解像度（約１０メガピクセル）の画素信号を画像処理部３３に取り込み、ＶＧＡ又はＱＶＧＡ程度の解像度の動画像データを所定時間（例えば１０〜６０秒）に亘ってＲＡＭ３４にストレージし続ける。そして、レリーズボタン１７が全押し操作されて静止画撮像動作が発生すると、これをトリガとして、動画像ファイル生成部４６は、ＲＡＭ３４にストレージされていた動画像データのうち静止画撮像時刻の前後ｎ秒の動画像データを取得し、この取得した前後ｎ秒分の動画像データに基づいて動画像ファイルＭＦを生成する。動画像ファイル生成部４６は、生成した動画像ファイルＭＦをメモリカード３６に記憶する。

次にモーションブラー画像生成装置５０の構成を説明する。図４に示すように、画像処理部３３は、モーションブラー画像生成装置５０（以下、単に「画像生成装置５０」という）を備えている。この画像生成装置５０は、メモリカード３６に記憶された互いに関連する動画像ファイルと静止画像ファイルとを用いて、モーションブラー画像を生成する装置である。画像生成装置５０は、条件設定部５１、特徴抽出部５２、画像切出し処理部５３、動画像合成部５４、変倍処理部５５、モーションブラー画像合成部５６により構成される。

条件設定部５１は、モーションブラー画像生成に使用する画像を選択するための画像選択部６１と、モーションブラー画像の残像の部分を画像合成で生成する際の合成ブレンド率を設定するためのブレンド率設定部６２とを備えている。画像選択部６１は、モーションブラー画像の生成に使用する静止画像を選択するための静止画像選択部６３と、モーションブラー画像の生成に使用する動画像を構成するフレーム画像を選択するための動画像選択部６４とを有している。

条件設定部５１へのモーションブラー画像の生成のための条件設定は、操作部３７を操作することにより行われる。ここで操作部３７は、メニューボタン２３、セレクトボタン２４、決定ボタン２５等により構成される。

図６は、モーションブラー画像生成用の条件選択画面が表示されたカメラの背面図を示す。この条件選択画面６０は、カメラ１１のメニューボタンを押して表示されるメニュー画面で、「モーションブラー画像生成条件選択」の項目を操作部３７の操作で選択することにより、図６に示すような条件選択画面が表示される。

図６に示すように、条件選択画面６０には、その上側位置に、ユーザがセレクトボタン２４等の操作でモーションブラー画像の生成に使用する静止画像を選択する際に静止画像の表示が切り替わると共に、選択した静止画像が表示される静止画像表示領域６５が設けられている。また、条件選択画面６０における静止画像表示領域６５の左下側位置には、選択された静止画像に関連する動画像のフレーム画像が表示されるフレーム画像表示領域６６が設けられている。条件設定部５１は、使用する静止画像が確定すると、その静止画像と関連する動画像を探し出す。詳しくは、図５（ｂ）に示す静止画像ファイルＳＦ中のヘッダＨｓにある関連動画像ファイル識別情報に基づいてメモリカード３６内を検索し、関連する動画像ファイルを探し出す。さらに、条件設定部５１は、動画像ファイル中の動画像データＭＤをタイムスタンプを手掛かりに検索して、静止画撮像時刻ｔｓと同じ撮影時刻のフレーム画像を探し出し、フレーム画像表示領域６６に表示させる。この結果、例えば図６の条件選択画面６０で静止画像を確定すると、フレーム画像表示領域６６には、その確定された静止画像と関連する動画像のうち静止画撮像時刻ｔｓと同時刻に撮影されたフレーム画像が表示される。そして、ユーザはセレクトボタン２４を左右方向に選択操作して所望のフレーム画像を複数枚（ｎ枚）選択する。

本例では、フレーム画像の選択条件として３種類用意されている。すなわち、静止画像の撮像時刻ｔｓよりも前の時刻に撮影された複数枚のフレーム画像を選択することを条件とする第１選択条件と、静止画像の撮像時刻ｔｓよりも後の時刻に撮影された複数枚のフレーム画像を選択することを条件とする第２選択条件と、静止画像の撮像時刻ｔｓの前後に亘って撮影時刻を有する複数枚のフレーム画像を選択することを条件とする第３選択条件とが用意されている。つまり、静止画像に対して、その撮像時刻ｔｓの前ｎ枚のフレーム画像を選択することもできれば、その撮像時刻ｔｓの後ｎ枚のフレーム画像を選択することもできる。さらに、静止画像に対して前ｎ１枚と後ｎ２枚の合計ｎ枚（但し、ｎ＝ｎ１＋ｎ２）のフレーム画像を選択することもできる。

画像生成装置５０は、選択された複数枚のフレーム画像が第１選択条件に該当する場合、静止画像の撮像時刻ｔｓまでの画像中の動体の動きを表現するモーションブラー画像を生成し、一方、選択された複数枚のフレーム画像が第２選択条件に該当する場合、静止画像の撮像時刻ｔｓからの画像中の動体の動きを表現するモーションブラー画像を生成する。さらに画像生成装置５０は、選択された複数枚のフレーム画像が第３選択条件に該当する場合、静止画像の撮像時刻ｔｓの前に撮影された動体の動きと、撮像時刻ｔｓの後に撮影された動体の動きとの両方を表現するモーションブラー画像を生成する。よって、静止画像中の動体の撮像時刻ｔｓよりも前の残像を表現したい場合は、複数枚のフレーム画像を第１選択条件で選択し、静止画像中の動体の撮像時刻ｔｓよりも後の動きを残像のように表現したい場合は、複数枚のフレーム画像を第２選択条件で選択する。さらに、静止画像中の動体の撮像時刻ｔｓよりも前の動きと後の動きとの両方を残像のように表現したい場合は、複数枚のフレーム画像を第３選択条件で選択する。なお、いずれの選択条件で選択しても、画像中の動体は、その撮影時刻が静止画撮像時刻ｔｓから遠くへ離れるほど薄くなるようになっている。

例えば静止画像に対して、その撮像時刻ｔｓの前ｎ枚のフレーム画像を選択した場合、古いフレーム画像ほど薄くなるように画像合成が行われて残像部分の画像が生成される。一方、静止画像に対して、その撮像時刻ｔｓの後ｎ枚のフレーム画像を選択した場合、新しいフレーム画像ほど薄くなるように画像合成が行われて残像部分の画像が生成される。さらに、静止画像に対して、その撮像時刻ｔｓの前ｎ１枚と後ｎ２枚の合計ｎ枚のフレーム画像を選択した場合、前ｎ１枚については古いフレーム画像ほど薄くなるように画像合成が行われて残像部分の画像が生成され、後ｎ２枚については新しいフレーム画像ほど薄くなるように画像合成が行われて、画像中の動体の時刻ｔｓ以後の動きが残像のように表現される。

セレクトボタン２４及び決定ボタン２５の操作でユーザが所望する複数枚のフレーム画像を１枚ずつ選択することができるが、１枚ずつ選択するのは面倒なので、フレーム画像の選択を容易にした他の選択方式も用意されている。他の選択方式として、例えばスタートのフレーム画像とエンドのフレーム画像とを選択すると、その間のフレーム画像も選択される方式である。この選択方式では、選択すべきフレーム枚数、時間間隔や何枚おきなどの選択条件を設定することで、スタートとエンド間で適正枚数のフレーム画像の選択も可能である。さらに別の選択方式として、第１選択条件か第２選択条件かのいずれであるかを設定したうえで、１枚のフレーム画像を選択すると、その選択した１枚のフレーム画像がスタートフレームになって、静止画撮像時刻ｔｓと同時刻に撮影されたフレーム画像までのフレーム画像が適正枚数で自動選択される構成も採用されている。なお、ここでいうスタートフレームとは、モーションブラー画像生成処理を行ううえで処理の最初に使用されるフレームを指し、必ずしも複数枚の選択フレームのうち撮影時刻が一番早いフレームを指すものではない。

また、条件選択画面６０において、フレーム画像表示領域６６の右側には、ブレンド率Ｂを選択設定するためのブレンド率設定操作部６７が設けられている。ブレンド率設定操作部６７が備える左右にスライド操作可能なスライダを、セレクトボタン２４の操作でスライドさせることで、「０．５〜１」（０．５≦Ｂ＜１）の範囲内でブレンド率Ｂを設定することが可能になっている。ここで、モーションブラー画像における動体の残像は、動体の濃度が時間と共に徐々に薄くなっており、ある時刻の動体とそれより１つ後の動体との濃度の比率を、ブレンド率Ｂで調整する。本例では、モーションブラー画像中の動体の残像部分は、最も濃度が薄くなる側の２枚のフレーム画像を合成して最初の合成画像を生成し、以後、合成画像と次のフレーム画像との合成を、合成するフレーム画像を順次入れ替えつつ繰り返しすべてのフレーム画像について処理を施すことで生成される。そして、この合成する際に前の画像に対する後のフレーム画像の濃度比率がブレンド率Ｂで決まり、前の画像と後のフレーム画像は、濃度比（１−Ｂ）：Ｂで合成される。このため、動体の残像部分の濃度変化を大きくつけたい場合はブレンド率Ｂを大きく設定し、濃度変化を小さくしたい場合はブレンド率Ｂを小さく（但し、本実施形態では最小値０．５）設定する。

特徴抽出部５２は、動画像選択部６４からフレーム画像を受け取り、そのフレーム画像中の動体を特徴抽出により検出する。特徴抽出部５２が行う動体特徴抽出法（動体検出法）としては、例えば差分検出法、オプティカルフロー解析（ブロックマッチング又は勾配法）などの公知の方法を採用できる。

画像切出し処理部５３は、フレーム画像から動体の画像部分を切り出し（トリミングし）、動体抽出画像を生成する。画像切出し処理部５３は、生成した動体抽出画像を動画像合成部５４に送る。

動画像合成部５４は、動画像選択部６４がメモリカード３６から読み出したフレーム画像、又は画像切出し処理部５３から動体抽出画像を入力する。本実施形態では、動画像合成処理方法として、フレーム画像を直接合成する方法（フレーム画像合成モード）と、フレーム画像から動体を抽出した動体抽出画像を合成する方法（動体抽出画像合成モード）との２通りを採用している。どちらのモードを採用するかは、ユーザが不図示の設定画面で操作部３７を操作することにより指定している。まずフレーム画像合成モードの処理について説明する。

動画像合成部５４は、フレーム画像合成モードでは、動画像選択部６４で選択されたｎ枚のフレーム画像を用いて、動体の残像部分を生成するための画像合成処理を行う。静止画の撮像時刻ｔｓより前に撮影された古いフレーム画像については、撮像時刻ｔｓから時間を遡るほど動体の濃度が段々薄くなるように画像合成が施され、一方、静止画像の撮像時刻ｔｓよりも後に撮影された新しいフレーム画像については、撮像時刻ｔｓから時間が進むほど動体の濃度が段々薄くなるように画像合成が施される。このため、前述した３通りの選択条件のうちのどの条件でフレーム画像が選択されたかによって、動体の残像の表現方法が異なるため、使用された選択条件に応じた内容の画像合成処理が施される。但し、画像合成の演算式は同じであり、薄くなる側（撮像時刻ｔｓから遠い側のフレーム画像）から先に演算を行うため、この合成演算式へのフレーム画像の適用順が、選択条件に応じて異なる。

図７は、画像生成装置５０によるモーションブラー画像生成処理を説明する模式図である。この図では、静止画像（撮像時刻ｔｓ）よりも古いｎ枚のフレーム画像が選択された場合（第１選択条件の場合）の例で示している。

図７では、時刻ｔ〜ｔ＋ｎ−１のｎ枚のフレーム画像ｆt（ｘ，ｙ）、ｆt+1（ｘ，ｙ）、ｆt+2（ｘ，ｙ）、…、ｆt+n-1（ｘ，ｙ）が選択されている。ここで、ｆt（ｘ，ｙ）は、撮影時刻ｔにおけるフレーム画像の全ピクセルの画素値（濃度値）を示す画像関数である。各ピクセルは例えばＹＣｒＣｂ表色系で表されるが、もちろんＲＧＢ表色系も採用できる。また、画素値は、例えば２５６階調で示される。

フレーム画像の合成処理は、動画像合成部５４により、ブレンド率Ｂを用いて、次のように行われる。まず、一番古い時刻ｔのフレーム画像ｆt（ｘ，ｙ）と、それより１つ新しい時刻ｔ＋１のフレーム画像ｆt+1（ｘ，ｙ）とを用いて、１回目の合成処理を行って合成画像ｆa（ｘ，ｙ）を生成する。合成画像ｆa（ｘ，ｙ）を生成する合成処理の演算式は、以下の(1)式で示される。
ｆa（ｘ，ｙ）＝（１−Ｂ）・ｆt（ｘ，ｙ）＋Ｂ・ｆt+1（ｘ，ｙ）…(1)
この合成処理の結果、得られた合成画像ｆa（ｘ，ｙ）において、不動の部分（例えば背景）は、フレーム画像ｆt（ｘ，ｙ）とｆt+1（ｘ，ｙ）との間で対応する位置座標（ピクセル）の画素値に変化がない。このため、時刻ｔの不動部分の画素値を（１−Ｂ）倍した画素値と、時刻ｔ＋１の不動部分の画素値をＢ倍した画素値とを加算した画素値は、合成前の不動部分の画素値に等しいので、合成の前後で不動部分に変化はない。一方、動体（図７の例では自動車）は位置が変化するため、例えば、フレーム画像ｆt（ｘ，ｙ）で動体の部分（位置座標）は、フレーム画像ｆt+1（ｘ，ｙ）では動体から位置がずれてその一部が例えば不動（背景）の部分（位置座標）となっており、またフレーム画像ｆt+1（ｘ，ｙ）で動体の部分は、フレーム画像ｆt（ｘ，ｙ）では動体から位置がずれてその一部が不動（背景）の部分（位置座標）となっている。このため、合成画像では、時刻ｔの動体と時刻ｔ＋１の動体が、それぞれ合成前の画素値に対して（１−Ｂ）倍とＢ倍（但し、０．５≦Ｂ＜１）の画素値になってそれぞれ背景に溶け込んだ半透明の画像となる。

よって、上記(1)式で求められた合成画像ｆa（ｘ，ｙ）は、不動部分の画素値は変化せず、動体の部分は、時刻ｔの位置にある動体が（１−Ｂ）倍の画素値で半透明となり、時刻ｔ＋１の位置にある動体が（１−Ｂ）倍の画素値で半透明になる。ここで、ブレンド率Ｂは、０．５≦Ｂ＜１であるため、合成画像における各時刻の動体は、基本的に撮像時刻ｔｓから遠い時刻（この例では古い時刻）のものほど薄くなる。

２回目の合成は、１回目の合成処理で得られた合成画像ｆa（ｘ，ｙ）と、次の時刻t+2のフレーム画像ｆt+2（ｘ，ｙ）とを用いて、次の(2)式に従って行われる。
ｆa+1（ｘ，ｙ）＝（１−Ｂ）・ｆa（ｘ，ｙ）＋Ｂ・ｆt+2（ｘ，ｙ）…(2)
上記(1)式の求めた１回目の合成画像ｆa（ｘ，ｙ）を（１−Ｂ）倍した画像と、時刻t+2のフレーム画像をＢ倍した画像とを加算して、２回目の合成画像ｆa+1（ｘ，ｙ）が得られる。この合成画像ｆa+1（ｘ，ｙ）では、不動部分の画素値は元のまま保持され、時刻ｔの動体の画素値が（１−Ｂ）＾2倍、時刻t+1の動体の画素値がＢ・（１−Ｂ）倍、時刻t+2の動体の画素値がＢ倍になる。なお、記号「＾」はべき乗を示し、例えば「Ｂ＾2」はＢの２乗を示す。

さらに３回目の合成が次の(3)式に従って行われる。
ｆa+2（ｘ，ｙ）＝（１−Ｂ）・ｆa+1（ｘ，ｙ）＋Ｂ・ｆt+3（ｘ，ｙ）…(3)
上記(2)式の求めた２回目の合成画像ｆa+1（ｘ，ｙ）を（１−Ｂ）倍した画像と、時刻t+3のフレーム画像をＢ倍した画像とを加算する。この(3)式の合成で得られた合成画像ｆa+2（ｘ，ｙ）では、不動部分の画素値は元のままで、時刻ｔの動体の画素値が（１−Ｂ）＾3倍、時刻t+1の動体の画素値がＢ・（１−Ｂ）＾2倍、時刻t+2の動体の画素値がＢ・（１−Ｂ）倍、時刻t+3の動体の画素値がＢ倍になる。

そして、このような合成処理を、ｎ枚のフレーム画像のすべてを終えるまで（ｎ−１）回行われる。（ｎ−１）回目（最終回）の合成は次の(4)式に従って行われる。
ｆa+n-2（ｘ，ｙ）＝（１−Ｂ）・ｆa+n-3（ｘ，ｙ）＋Ｂ・ｆt+n-1（ｘ，ｙ）…(4)
前回の合成画像ｆa+n-3（ｘ，ｙ）を（１−Ｂ）倍した画像と、時刻t+n-1のフレーム画像をＢ倍した画像とを加算して、（ｎ−１）回目の合成画像ｆa+n-2（ｘ，ｙ）が得られる。この合成画像ｆa+n-2（ｘ，ｙ）では、不動部分の画素値は元のままで、時刻ｔの動体の画素値が（１−Ｂ）＾(n-1)倍、時刻t+1の動体の画素値が（１−Ｂ）＾(n-2)・Ｂ倍、時刻t+2の動体の画素値が（１−Ｂ）＾(n-3)・Ｂ倍、時刻t+3の動体の画素値が（１−Ｂ）＾(n-4)・Ｂ倍、…、時刻t+n-1の動体の画素値がＢ倍になる。

このように（ｎ−１）回の合成を繰り返すことにより、図６の下側に示すようなフレーム合成画像ｆa+n-2（ｘ，ｙ）が得られる。図４に示す動画像合成部５４は、動画像選択部６４で選択されたｎ枚のフレーム画像を順次読み込みつつ、上記(1)〜(4)式に従って、（ｎ−１）回の画像合成処理を行うことにより、動体の残像部分となるフレーム合成画像ｆa+n-2（ｘ，ｙ）を生成する。このフレーム合成画像ｆa+n-2（ｘ，ｙ）の解像度は、元データであるフレーム画像の解像度に依存するため、フレーム画像（動画像）と同じ低解像度である。なお、動体抽出画像合成モードでは、上記フレーム画像に替えて、動体抽出画像ｆt+2（ｘ，ｙ）、…、ｆt+n-1（ｘ，ｙ）に対して、合成処理が施され、同様に、動体合成画像ｆa+n-2（ｘ，ｙ）が生成される。

図４に示す変倍処理部５５は、合成画像ｆa+n-2（ｘ，ｙ）を、拡大する変倍処理を行って、静止画像と同じ高解像度に変換する。すなわち、本例の場合、動画像（フレーム画像）の解像度は、例えばＶＧＡ又はＱＶＧＡであるので、変倍処理部５５は、合成画像ｆa+n-2（ｘ，ｙ）に、静止画像と同じ解像度約１０メガピクセルになるように拡大処理を施す。この変倍処理（拡大処理）の結果、得られる合成画像Ｆa+n-2（ｘ，ｙ）は、画像は粗いものの静止画像と同じ高解像度（約１０メガピクセル）になる（図７参照）。

図４に示すモーションブラー画像合成部５６は、静止画像選択部６３により選択された時刻t+nの静止画像Ｆt+n（ｘ，ｙ）と、変倍処理部５５で変倍処理（拡大処理）された合成画像Ｆa+n-2（ｘ，ｙ）とを合成する。この合成は次の(5)式に従って行われる。
Ｆm（ｘ，ｙ）＝（１−Ｂ）・Ｆa+n-2（ｘ，ｙ）＋Ｂ・Ｆt+n（ｘ，ｙ）…(5)
合成画像Ｆa+n-2（ｘ，ｙ）を（１−Ｂ）倍した画像と、時刻t+nの静止画像Ｆt+n（ｘ，ｙ）をＢ倍した画像とを加算して、モーションブラー画像Ｆm（ｘ，ｙ）が得られる。図８は、モーションブラー画像合成部５６の合成処理を説明する説明図である。図８に示すように、合成画像Ｆa+n-2（ｘ，ｙ）と静止画像Ｆt+n（ｘ，ｙ）とを、上記(5)式に従って合成処理することにより、図８における下側に示すモーションブラー画像Ｆm（ｘ，ｙ）が生成される。

この(5)式の合成で得られたモーションブラー画像Ｆm（ｘ，ｙ）では、不動部分は粗い動画像と精細な静止画像との合成により、元データの動画像に比べ比較的精細な画像になっている。また、動体については、合成画像Ｆa+n-2（ｘ，ｙ）に基づく時刻ｔ〜時刻t+n-1の残像部分（比較的透明度の高い半透明部分）は動画像の粗い画像であるものの、一番鮮 明な時刻t+nの動体は高解像度の画像になっている。図４に示すモーションブラー画像合成部５６は、生成したモーションブラー画像Ｆm（ｘ，ｙ）をモニタ２０に表示する。

図９はカメラのモニタに表示されたモーションブラー画像を示す。ユーザがセレクトボタン２４や決定ボタン２５の操作で、条件設定（画像選択及びブレンド率設定等）及びモーションブラー画像生成の実行指示操作を行うと、ＭＰＵ３０内では、動画像合成部５４及びモーションブラー画像合成部５６等による上記の合成処理が行われる。その結果、図９に示すように、カメラ１１のモニタ２０には高解像度のモーションブラー画像ＭＩが表示される。

次に、カメラ１１のＭＰＵ３０が実行するモーションブラー画像生成処理ルーチンの概要を図１０のフローチャートに従って説明する。このモーションブラー画像生成処理ルーチンのプログラムは不揮発性メモリ３８（図３参照）に記憶されている。例えばユーザは、カメラ１１の動画／静止画同時撮影機能を使用し、動画撮影を行うと共に、この動画撮影中にレリーズボタン１７を全押し操作することで静止画の撮像を行う。この結果、動画／静止画同時撮影機能を使用した動画撮影及び静止画撮像が終わると、メモリカード３６には、図５に示すような動画像ファイルＭＦと静止画像ファイルＳＦとが、互いのヘッダＨｍ，Ｈｓ内の関連静止画像ファイル識別情報と関連動画像ファイル識別情報とによって、互いに関連付けられた状態で記憶される。例えばユーザがモーションブラー画像生成を行いたいときには、図６に示す条件選択画面６０を表示させて、セレクトボタン２４及び決定ボタン２５等の操作により、モーションブラー画像の生成に使用する静止画像と複数枚のフレーム画像とを選択すると共に、ブレンド率設定操作部６７によりブレンド率Ｂを設定する。

図６に示す条件選択画面６０で、ユーザが静止画像表示領域６５の静止画像を順次切り替えて所望の静止画像を決定ボタン２５の操作で確定すると、動画像選択部６４は、その静止画像ファイルのヘッダＨｓ中の関連動画像ファイル識別情報を手掛かりに、メモリカード３６内を検索して関連する動画像ファイルを取得する。そして、動画像選択部６４は、選択された静止画像の撮像時刻ｔｓと同じ撮影時刻のフレーム画像をフレーム画像表示領域６６に表示する。このため、ユーザは静止画像の撮像時刻ｔｓ近くの時刻に撮影された複数枚のフレーム画像を、さほど探す手間なく比較的簡単かつ適切に選択できる。必要な条件をすべて選択した後、決定ボタン２５の操作でモーションブラー画像生成の実行を指示すると、この指示を受け付けたＭＰＵ３０は、図９に示すモーションブラー画像生成処理ルーチンを実行する。すなわち、ＭＰＵ３０は、ソフトウェアよりなる画像生成装置５０を起動して、モーションブラー画像の生成処理を開始する。

まずステップＳ１０において、ＭＰＵ３０は、フレーム画像枚数ｎ、ブレンド率Ｂを取得する。
次のステップＳ２０において、ＭＰＵ３０は、ｋ＝１を設定する。ここで、ｋは合成処理回数を示し、その初期値（１回目）としてｋ＝１を設定する。ｎ枚のフレーム画像が選択されているこの例では、（ｎ−１）回の合成処理が行われ、その後、ｋはｋ＝ｎ−１までカウントアップされる。

ステップＳ３０において、ＭＰＵ３０は、フレーム画像ｆt（ｘ，ｙ）を取得する。詳しくは、ＭＰＵ３０内の動画像選択部６４が、選択されたｎ枚のフレーム画像のうち最初の１枚をメモリカード３６から読み出す。すなわち、ｎ枚のフレーム画像のうち静止画撮像時刻ｔｓから最も遠い撮影時刻のフレーム画像を取得する。例えば第１選択条件で撮像時刻ｔｓより前の時刻内で選択されたｎ枚であれば、そのうち最も撮影時刻の古いフレーム画像を取得し、第２選択条件で撮像時刻ｔｓの後の時刻内で選択されたｎ枚であれば、そのうち最も撮影時刻の新しいフレーム画像を取得する。なお、第２選択条件の場合、フレーム画像は、時刻ｔ、t+1、t+2、…、ｔ＋ｎの順で時間を遡る順番になる。

次のステップＳ４０において、ＭＰＵ３０は、フレーム画像ｆt（ｘ，ｙ）を合成画像ｆa（ｘ，ｙ）の初期値として設定する（ｆa（ｘ，ｙ）＝ｆt（ｘ，ｙ））。
次のステップＳ５０において、ＭＰＵ３０は、フレーム画像ｆt+k（ｘ，ｙ）を取得する。このときｋ＝１なので、フレーム画像ｆt+1（ｘ，ｙ）を取得する。この取得処理も、ＭＰＵ３０内の動画像選択部６４が行う。

次のステップＳ６０において、ＭＰＵ３０は、以下の式(6)に従って画像合成処理を行う。
ｆa（ｘ，ｙ）＝（１−Ｂ）・ｆa（ｘ，ｙ）＋Ｂ・ｆt+k（ｘ，ｙ）…(6)
ここで、上記(6)式は、前記(1)〜(5)式を一般化した演算式であり、合成処理回数ｋが、ｋ＝１からｋ＝（ｎ−１）までカウントアップされる度に、前記(1)〜(5)式の演算が順次行われる。まずｋ＝１の場合、ｆa（ｘ，ｙ）の初期値がｆt（ｘ，ｙ）であり、前記(1)式に従って１回目の合成処理が行われ、合成画像ｆa（ｘ，ｙ）を生成する。

ステップＳ７０において、ＭＰＵ３０は、ｋ＝ｎ−１であるか否かを判断する。すなわち、（ｎ−１）回のすべての合成処理を終了したか否かを判断する。ｋ＝１の今回は、否定判定となり、ステップＳ８０に進んで、ｋの値を「１」だけカウントアップ（インクリメント）した後（ｋ＝ｋ＋１）、ステップＳ５０に戻る。こうして合成処理を１回終える度に、ｋの値を「１」ずつカウントアップしながら（Ｓ８０）、フレーム画像ｆt+k（ｘ，ｙ）の取得（Ｓ５０）と、上記(6)式に従う合成処理とを繰り返し行う。この合成処理の繰り返しにより、ＭＰＵ３０は、前記(2)〜(5)式の演算を順次行う。そして、（ｎ−１）回の合成処理を終えると、合成画像ｆa（ｘ，ｙ）（図７ではｆa+n-2（ｘ，ｙ））が得られる。そして、次のステップＳ７０においてｋ＝ｎ−１が成立するので、ステップＳ９０に進む。

ステップＳ９０において、ＭＰＵ３０は、合成画像ｆa（ｘ，ｙ）に変倍処理を施して、合成画像ｆa（ｘ，ｙ）を生成する。この変倍処理は、詳しくはＭＰＵ３０内の変倍処理部５５が行う。この変倍処理により、（ｎ−１）回の合成処理で得られた低解像度の合成画像ｆa（ｘ，ｙ）が静止画像と同じ高解像度に変換され、合成画像Ｆa（ｘ，ｙ）（図７及び図８ではＦa+n-2（ｘ，ｙ））が得られる。

ステップＳ１００において、ＭＰＵ３０は、静止画像Ｆt+nを取得する。詳しくは、ＭＰＵ３０内の静止画像選択部６３が、条件選択画面６０で選択された静止画像Ｆt+nをメモリカード３６から読み出す。この静止画像Ｆt+nは、ＭＰＵ３０内のモーションブラー画像合成部５６に送られる。

次のステップＳ１１０において、ＭＰＵ３０は、変倍後の合成画像Ｆa（ｘ，ｙ）と静止画像Ｆt+n（ｘ，ｙ）との合成処理を行って、モーションブラー画像Ｆm（ｘ，ｙ）を生成する。詳しくは、ＭＰＵ３０内のモーションブラー画像合成部５６が、合成画像Ｆa（ｘ，ｙ）と静止画像Ｆt+n（ｘ，ｙ）とを用いて、前記(5)式に従って合成処理を行うことにより、モーションブラー画像Ｆm（ｘ，ｙ）を生成する。

そして、ステップＳ１２０において、ＭＰＵ３０は、モーションブラー画像Ｆm（ｘ，ｙ）をモニタ２０に表示する。その結果、図９に示すように、カメラ１１のモニタ２０には、モーションブラー画像ＭＩが表示される。

なお、動体抽出画像合成モードのときには、ステップＳ６０において、（ｎ−１）回の合成処理の結果、動体合成画像ｆa（ｘ，ｙ）（図７ではｆa+n-2（ｘ，ｙ）に相当）が生成される。その後、動体合成画像ｆa（ｘ，ｙ）に変倍処理が施されて、動体合成画像Ｆa（ｘ，ｙ）が生成される（Ｓ９０）。そして、静止画像Ｆt+nを取得し（Ｓ１００）、次のステップＳ１１０では、フレーム画像合成モードと異なる以下の(7)式に従って合成処理を行うのが好ましい。
Ｆm（ｘ，ｙ）＝Ｆa（ｘ，ｙ）＋Ｆt+n（ｘ，ｙ）…(7)
この場合、動体の残像のみの画像（半透明画像）である動体合成画像Ｆa（ｘ，ｙ）と、静止画像Ｆt+n（ｘ，ｙ）とを合成することにより、モーションブラー画像Ｆm（ｘ，ｙ）が得られる。このモーションブラー画像Ｆm（ｘ，ｙ）では、背景などの不動部分と、時刻ｔ＋ｎの動体は、静止画像Ｆt+n（ｘ，ｙ）をそのまま使用しているので、鮮明に表現される。

また、第３選択条件でｎ枚のフレーム画像が選択された場合、ＭＰＵ３０は、撮像時刻ｔｓの前のｎ１枚のフレーム画像について撮影時刻の古いフレーム画像からの順で合成処理を行って第１合成画像を取得すると共に、撮像時刻ｔｓの後のｎ２枚（但し、ｎ１＋ｎ２＝ｎ）のフレーム画像について撮影時刻の新しいフレーム画像からの順番で合成処理を行って第２合成画像を取得する。そして、ＭＰＵ３０は、第１合成画像と第２合成画像とを例えばブレンド率０．５で合成することにより、フレーム合成画像ｆa（ｘ、ｙ）を生成する。そして、ＭＰＵ３０は、変倍処理後のフレーム合成画像Ｆa（ｘ、ｙ）と静止画像Ｆt+n（ｘ，ｙ）とを合成して、モーションブラー画像Ｆm（ｘ，ｙ）を生成する。

以上詳述したようにこの第一実施形態によれば、以下の効果が得られる。
（１）動画像を構成するフレーム画像と静止画像とを、画像中の動体の濃度（画素値）がフレーム画像の方が静止画像よりも薄くなる合成条件で合成することによりモーションブラー画像を生成するようにした。このため、モーションブラー画像における撮像時間の異なる複数の動体のうち、フレーム画像の解像度よりも高解像度の静止画像中のものが一番濃く現れたモーションブラー画像が得られる。よって、低解像度の動画像を用いて生成した割に比較的高解像度のモーションブラー画像を得ることができる。

（２）複数枚のフレーム画像を画像中の動体の濃度が静止画像の撮像時刻から遠い撮影時刻のものほど薄くなる合成条件で合成してフレーム合成画像を生成するようにした。このため、動体の動きが時間経過とともにその動体の濃度の変化として表現されるので、動体の動いた時間経過も表現された適切なモーションブラー画像を得ることができる。

（３）複数枚のフレーム画像を合成して得たフレーム合成画像に静止画像の解像度に合わせる変倍処理（拡大処理）を施した後に、当該変倍処理後のフレーム合成画像と静止画像とを合成するようにした。よって、フレーム画像と静止画像とを合成したときに各々の画像中の動体を適切なサイズ（例えば同じズーム値のサイズ）で合成できるうえ、静止画像の高解像度を活かした高解像度のモーションブラー画像を得ることができる。

（４）ブレンド率Ｂを選択設定できるので、動体の移動軌跡に沿って現れる複数の動体の時間経過と共に変化させる濃度の変化割合を調整することができる。よって、表現に富んだモーションブラー画像を得ることができる。

（５）モーションブラー画像の生成条件を設定するための選択画面を用意し、セレクトボタン２４や決定ボタン２５等の操作部３７を操作することにより、モーションブラー画像に用いるフレーム画像をユーザが選択できる動画像選択部６４（選択手段）を設けた。よって、ユーザーはモーションブラー画像において表現される動体の残像数を選択することができる。よって、表現に富んだモーションブラー画像を得ることができる。

（６）静止画像を選択すると、選択された静止画像の撮像時刻ｔｓを含む設定時間範囲内に撮影された複数枚のフレーム画像を取得して、それら複数枚のフレーム画像をモーションブラー画像の生成に用いるフレーム画像の選択候補として、制御部４１（表示制御手段）の制御によりモニタ２０（表示手段）に表示されるようにした。そして、ユーザは、モニタ２０に表示されたフレーム画像の選択候補のうちからモーションブラー画像の生成に用いるフレーム画像を、セレクトボタン２４や決定ボタン２５等の操作部３７の操作により選択することができる。よって、静止画像の撮像時刻近くに撮影時刻のあるモーションブラー画像の生成の利用に適したフレーム画像を、動画像の中からいちいち探し出す手間を省くことができる。従って、フレーム画像の選択操作を簡単かつ適切に行うことができる。

（７）選択した静止画像の撮像時刻ｔｓよりも前の時刻に撮影された複数枚のフレーム画像を選択する第１選択条件での選択と、選択した静止画像の撮像時刻よりも後の時刻に撮影された複数枚のフレーム画像を選択する第２選択条件での選択とが可能である。そして、第１の画像合成手段は、第１選択条件での選択の場合は、選択された複数のフレーム画像を撮影時刻の古いフレーム画像ほど濃度が薄くなる第１合成条件で合成し、一方、第２選択条件での選択の場合は、選択された複数のフレーム画像を撮影時刻の新しいフレーム画像ほど濃度が薄くなる第２合成条件で合成するようにした。よって、ユーザの好みに応じて、時間経過と共に徐々に動体が鮮明になるモーションブラー画像を得ることも、時間経過と共に徐々に動体の透明度が増すモーションブラー画像を得ることもできる。

（８）さらに、選択した静止画像の撮像時刻ｔｓの前後に撮影時刻を有する複数枚のフレーム画像を選択する第３選択条件での選択も可能である。そして、第３選択条件での選択の場合は、選択された複数のフレーム画像のうち静止画像の撮像時刻ｔｓよりも撮影時刻の古いフレーム画像については撮影時刻の古いフレーム画像ほど濃度が薄くなる第１合成条件で合成し、静止画像の撮像時刻よりも撮影時刻の新しいフレーム画像については撮影時刻の新しいフレーム画像ほど濃度が薄くなる第２合成条件で合成する。よって、静止画像の撮像時刻に至るまでは時間経過と共に徐々に動体が鮮明になり、かつ静止画像の撮像時刻からの時間経過と共に徐々に動体が透明度を増すようなモーションブラー画像も得ることができる。よって、モーションブラー画像の表現の幅が広がり、より表現に富んだモーションブラー画像を得ることができる。

（９）フレーム画像中の動体を特徴抽出する特徴抽出部５２と、特徴抽出により検出された動体の画像部分を切り出す（トリミングする）画像切出し処理部５３とを備え、動体のみの画像を合成条件で合成することにより、動体の合成画像を取得する構成とした。このため、合成画像と静止画像との合成時に背景の合成による濃度を考慮せずに済み、モーションブラー画像合成部５６は、動体のみの合成画像と静止画像とを、静止画像の濃度（画素値）を保持したまま合成することができる。よって、静止画像がより鮮明なモーションブラー画像を得ることができる。

（１０）画像合成手段を構成する動画像合成部５４は、ｎ枚のフレーム画像ｆt（ｘ，ｙ）、ｆt+1（ｘ，ｙ）、…、ｆt+n-1（ｘ，ｙ）を取得した場合、静止画像の撮像時刻よりも遠い撮影時刻のものからの順番で２枚ずつのフレーム画像を、式ｆa（ｘ，ｙ）＝（１−Ｂ）・ｆa（ｘ，ｙ）＋Ｂ・ｆt+k（ｘ，ｙ）で合成する合成処理を（ｎ−１）回繰り返して、合成画像ｆa（ｘ，ｙ）を取得する。よって、時間経過と共に動体の濃度が変化するモーションブラー画像を比較的簡単な処理の繰り返しにより得ることができる。

（１１）動画撮影中に静止画を撮影可能な撮影機能（撮像素子３１等）を備えたカメラ１１に画像生成装置５０を装備し、動画撮影中に静止画を撮像して得た動画像と静止画像とを用いてモーションブラー画像を生成するようにした。よって、静止画像の撮影時刻近くに撮影時刻を有する、モーションブラー画像の生成に適した複数枚のフレーム画像を得ることができるので、モーションブラー画像の生成に必要な静止画像と複数枚のフレーム画像とを確実に取得でき、モーションブラー画像を確実かつ適切に生成することができる。

前記実施形態は上記に限定されず、以下の態様に変更することもできる。
・前記実施形態において、フレーム画像を複数枚用いたが、１枚だけでもよい。例えば１枚のフレーム画像と静止画像とを両者のブレンド比率の和が１．０になるような合成条件で合成してモーションブラー画像を生成してもよい。この場合、１枚のフレーム画像に変倍処理（拡大処理）を施して静止画像と同じ解像度にしてから、当該変倍後のフレーム画像と静止画像との合成処理を行う。

・前記実施形態において、変倍処理は、フレーム合成画像の解像度を静止画像の解像度に合わせる拡大処理に限定されない。例えば静止画像に縮小処理を施す構成とし、フレーム合成画像を、その縮小処理後の静止画像の解像度に合わせるように拡大する変倍処理を行ってもよい。

・前記実施形態において、フレーム画像の選択はユーザーの選択操作によるのではなく、静止画像を選択すると、ＭＰＵ３０が、その選択された静止画像にとって適切なフレーム画像を自動選択する構成を採用できる。例えばＭＰＵは動画像を構成する各フレーム画像を比較しつつ動画像中の動体の速度を検出し、速度に応じた時間間隔又は所定枚数おき毎に適切な間隔でフレーム画像を選択する、例えば動体の速度が低速であれば、連続したフレーム画像を選択し、動体の速度が高速であれば、その速度に応じて間引きしてフレーム画像を選択するようにする。この構成によれば、どんな速度でも動体の残像を構成する複数の動体が適切な間隔で表現される。

・前記実施形態において、２枚ずつ合成したが、３枚以上の複数枚数ずつ合成してもよい。この場合、合成する各画像ｆ（ｘ，ｙ）の係数（ブレンド比率）の和が１．０になるような値に設定されればよい。

・前記実施形態では、画像生成装置を電子カメラに装備したが、これに限定されない。例えばパーソナルコンピュータ、携帯電話、ビデオカメラ、家庭用ゲーム機、デジタルフォトフレーム等に画像生成装置を装備してもよい。

１１…電子カメラとしてのカメラ（デジタルカメラ）、１２…カメラ本体、１７…レリーズボタン、２０…表示手段としてのモニタ、２３…メニューボタン、２４…選択手段、ブレンド率選択手段、静止画像選択手段及び操作手段を構成するセレクトボタン、２５…選択手段、ブレンド率選択手段、静止画像選択手段及び操作手段を構成する決定ボタン、３０…ＭＰＵ、３１…撮影手段を構成する撮像素子、３２…信号処理回路、３３…画像処理部、３４…ＲＡＭ、３５…カードスロット、３６…メモリカード、３７…操作部、３８…不揮発性メモリ、４１…制御部、４２…静止画像生成部、４３…動画像生成部、４４…計時部、４５…静止画像ファイル生成部、４６…動画像ファイル生成部、５０…画像生成装置、５１…条件設定部、５２…特徴抽出手段としての特徴抽出部、５３…画像切出し処理部、５４…画像合成手段を構成するとともに第１の画像合成手段としての動画像合成部、５５…変倍処理手段としての変倍処理部、５６…画像合成手段を構成するとともに第２の画像合成手段としてのモーションブラー画像合成部、６１…画像取得手段としての画像選択部、６２…ブレンド率選択手段を構成するブレンド率設定部、６３…画像取得手段及び静止画像選択手段を構成する静止画像選択部、６４…画像取得手段、選択手段及び表示制御手段を構成する動画像選択部、ＳＦ…静止画像ファイル、ＭＦ…動画像ファイル、Ｂ…ブレンド率、ｋ…合成処理回数、ｆa（ｘ，ｙ）…合成画像としてのフレーム合成画像、Ｆa（ｘ，ｙ）…変倍処理後の合成画像としてのフレーム合成画像、Ｆt+n…静止画像、Fm…合成画像としてのモーションブラー画像、ｔ…撮影時刻、ｔｓ…撮像時刻。

Claims (12)

1. 動画像と当該動画像の撮影時間内の時刻に撮影された静止画像とを取得する画像取得手段と、
   前記動画像を構成する複数のフレーム画像のうち静止画像と撮影時刻の異なる少なくとも１枚のフレーム画像を取得し、当該フレーム画像と前記静止画像とを画像中の動体の濃度が当該フレーム画像の方が前記静止画像よりも薄くなる合成条件で合成して合成画像を生成する画像合成手段と、
   を備えたことを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記画像取得手段は、撮影時刻の異なる複数枚のフレーム画像を取得し、
   前記画像合成手段は、
   前記複数枚のフレーム画像を画像中の動体の濃度が前記静止画像の撮像時刻から遠い撮影時刻のものほど薄くなる合成条件で合成してフレーム合成画像を生成する第１の画像合成手段と、
   前記フレーム合成画像と前記静止画像とを合成して合成画像を生成する第２の画像合成手段と、
   を備えたことを特徴とする画像生成装置。
3. 請求項２に記載の画像生成装置において、
   前記動画像と前記静止画像の解像度が異なる場合には、前記フレーム合成画像の解像度を前記静止画像の解像度に合わせる変倍処理を行う変倍処理手段を更に備え、
   前記第２の画像合成手段は、前記変倍処理後のフレーム合成画像と前記静止画像とを合成することを特徴とする画像生成装置。
4. 請求項１乃至３のいずれか一項に記載の画像生成装置において、
   前記画像合成手段が画像を合成する際のブレンド率を選択するブレンド率選択手段を更に備え、
   前記画像合成手段を構成する第１及び第２の画像合成手段のうち、少なくとも前記第１の画像合成手段による前記フレーム画像の合成を、選択された前記ブレンド率で行うことを特徴とする画像生成装置。
5. 請求項１乃至４のいずれか一項に記載の画像生成装置において、
   前記動画像を構成する複数枚のフレーム画像のうち合成画像に用いる複数枚のフレーム画像を選択する選択手段を更に備えたことを特徴とする画像生成装置。
6. 請求項１乃至５のいずれか一項に記載の画像生成装置において、
   静止画像を選択する静止画像選択手段と、表示手段とを更に備え、
   前記選択手段は、
   選択された前記静止画像の撮像時刻を含む設定時間範囲内に撮影された複数枚のフレーム画像を取得して、当該複数枚のフレーム画像を合成画像の生成に用いるフレーム画像の選択候補として前記表示手段に表示させる表示制御手段と、
   前記表示手段に表示されたフレーム画像の選択候補のうちから合成画像の生成に用いるフレーム画像を選択するための操作手段と、
   を備えたことを特徴とする画像生成装置。
7. 請求項５又は６に記載の画像生成装置において、
   前記選択手段は、前記静止画像の撮像時刻よりも前の時刻に撮影された複数枚のフレーム画像を選択する第１選択条件での選択と、前記静止画像の撮像時刻よりも後の時刻に撮影された複数枚のフレーム画像を選択する第２選択条件での選択とが可能に構成され、
   前記第１の画像合成手段は、前記第１選択条件での選択の場合は、選択された複数のフレーム画像を撮影時刻の古いフレーム画像ほど濃度が薄くなる第１合成条件で合成し、前記第２選択条件での選択の場合は、選択された複数のフレーム画像を撮影時刻の新しいフレーム画像ほど濃度が薄くなる第２合成条件で合成することを特徴とする画像生成装置。
8. 請求項５乃至７のいずれか一項に記載の画像生成装置において、
   前記選択手段は、前記静止画像の撮像時刻の前後に撮影時刻を有する複数枚のフレーム画像を選択する第３選択条件での選択が可能に構成され、
   前記第１の画像合成手段は、前記第３選択条件での選択の場合は、選択された複数のフレーム画像のうち前記静止画像の撮像時刻よりも撮影時刻の古いフレーム画像については撮影時刻の古いフレーム画像ほど濃度が薄くなる第１合成条件で合成し、前記静止画像の撮像時刻よりも撮影時刻の新しいフレーム画像については撮影時刻の新しいフレーム画像ほど濃度が薄くなる第２合成条件で合成することを特徴とする画像生成装置。
9. 請求項２乃至８のいずれか一項に記載の画像生成装置において、
   前記フレーム画像中の動体を特徴抽出する特徴抽出手段を更に備え、
   前記第１の画像合成手段は、前記複数枚のフレーム画像において特徴抽出された複数の動体の画像を前記合成条件で合成して当該動体の合成画像を取得する構成であり、
   前記第２の画像合成手段は、前記動体の合成画像と前記静止画像とを当該静止画像の濃度を保持したまま合成することを特徴とする画像生成装置。
10. 請求項１乃至９のいずれか一項に記載の画像生成装置において、
    前記画像合成手段は、前記ｎ枚（但しｎ≧２）のフレーム画像ｆt（ｘ，ｙ）、ｆt+1（ｘ，ｙ）、…、ｆt+n-1（ｘ，ｙ）を取得した場合、静止画像の撮像時刻よりも遠い撮影時刻のものからの順番で２枚ずつのフレーム画像を、式ｆa（ｘ，ｙ）＝（１−Ｂ）・ｆa（ｘ，ｙ）＋Ｂ・ｆt+k（ｘ，ｙ）（但しｆa（ｘ，ｙ）の初期値はｆt（ｘ，ｙ）、Ｂはブレンド率で０．５≦Ｂ＜１、ｋは合成処理回数）で合成する合成処理を（ｎ−１）回（ｋ＝１，２，…，ｎ−１）繰り返して合成画像ｆa（ｘ，ｙ）を取得することを特徴とする画像生成装置。
11. 請求項１乃至１０のいずれか一項に記載の画像生成装置において、
    表示手段を更に備え、
    前記画像合成手段が生成した合成画像を前記表示手段に表示することを特徴とする画像生成装置。
12. 請求項１乃至１１のいずれか一項に記載の画像生成装置と、動画撮影中に静止画を撮影可能な撮影手段とを備えた電子カメラであって、
    前記画像生成装置は、前記撮影手段が動画撮影中に静止画を撮影して得た動画像と静止画像とを用いて合成画像を生成することを特徴とする電子カメラ。

Images