JP2006197500A - 撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザによる編集作業を必要とせずに、動画撮影時に得られた動画データを用いて、シャッターシーンを含む各フレーム画像を適切に配置した静止画を簡単に得る。
【解決手段】ＣＣＤ２３を通じて連続的に得られる画像データを動画のフレーム画像としてバッファメモリ（ＤＲＡＭ３１）に所定容量分記憶し、撮影タイミングが指示されたときに、その所定時間前にバッファメモリに記憶されたフレーム画像を含む一連のフレーム画像を動画データとしてメモリ３８に記録する。このメモリ３８に記録された動画データを静止画像化する場合に、撮影タイミングに基づいてメインフレームとしてのフレーム画像とその他のフレーム画像を決定し、これらをレイアウト情報Ｌａに従って配置して印刷可能な１枚の静止画を作成する。これにより、シャッターシーンを含む各フレーム画像を適切に配置した静止画を簡単に得ることができる。
【選択図】図２

Description

本発明は、例えば動画撮影可能なデジタルカメラなどの撮像装置に係り、特に動画撮影時に得られた動画データから印刷可能な１枚の静止画を作成可能な機能を有する撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。

従来、動画像を静止画像化する装置として、特許文献１に記載のプリンタ装置が知られている。この特許文献１には、動画データから複数のフレーム画像を抽出し、これらのフレーム画像を所定のレイアウトに配置して、印刷可能な１枚の静止画データを作成することが開示されている。
特開平９−１３０５９１号公報

上述した特許文献１は、プリンタ装置上で動画像を静止画像化するものであり、動画撮影時にそのときに得られた動画データから直ぐに静止画を得ることはできない。さらに、この特許文献１に記載のプリンタ装置で作成される静止画は、シャッタータイミングとは無関係に配置した複数のフレーム画像によって構成されている。このため、後にシャッターシーンに対応したフレーム画像を配置し直すなど、面倒な編集作業が必要となるなどの不具合がある。

本発明は前記のような点に鑑みなされたもので、ユーザによる編集作業を必要とせずに、動画撮影時に得られた動画データを用いて、シャッターシーンを含む各フレーム画像を適切に配置した静止画を簡単に得ることのできる撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、動画撮影機能を備えた撮像装置において、被写体を撮像するための撮像手段と、この撮像手段によって連続的に得られる画像データを動画のフレーム画像として所定容量分記憶する記憶手段と、撮影タイミングを指示する指示手段と、この指示手段によって撮影タイミングが指示されたときに、その所定時間前に前記記憶手段に記憶されたフレーム画像を含む一連のフレーム画像を動画データとして記録する動画記録手段と、この動画記録手段に記録された動画データを静止画像化する場合に、前記撮影タイミングに基づいてメインフレームとして用いるフレーム画像とその他のフレーム画像を決定するフレーム決定手段と、このフレーム決定手段によって決定された各フレーム画像を前記画像データから抽出し、所定のレイアウト情報に従ってメインフレームとその他のフレーム画像を配置して印刷可能な１枚の静止画を作成する静止画作成手段とを具備して構成される。

このような構成によれば、動画撮影時の撮影タイミングに基づいてメインフレームとその他のフレーム画像が決定され、これらを所定のレイアウト情報に従って適切に配置した静止画が作成される。よって、ユーザによる編集作業を必要とせずに、動画撮影時に得られた動画データを用いて、シャッターシーンを含む各フレーム画像を適切に配置した静止画を簡単に得ることができる。

また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記フレーム決定手段は、前記撮影タイミングで得られたフレーム画像をメインフレームとして決定し、少なくとも前記撮影タイミングの前に得られた所定数分のフレーム画像をその他のフレーム画像として決定することを特徴とする。

このような構成によれば、撮影タイミングで得られたフレーム画像をメインフレームとして配置すると共に、その撮影タイミングの前に得られた所定数分のフレーム画像をその他のフレーム画像として配置した静止画が得られる。

また、本発明の請求項３は、前記請求項１記載の撮像装置において、前記フレーム決定手段は、前記撮影タイミングで得られたフレーム画像をメインフレームとして決定し、前記撮影タイミングの前後に得られた所定数分のフレーム画像をその他のフレーム画像として決定することを特徴とする。

このような構成によれば、撮影タイミングで得られたフレーム画像をメインフレームとして配置すると共に、その撮影タイミングの前後に得られた所定数分のフレーム画像をその他のフレーム画像として配置した静止画が得られる。

また、本発明の請求項４は、前記請求項１乃至３のいずれか１つに記載の撮像装置において、前記静止画作成手段は、メインフレームをその他のフレーム画像と異なる形態で配置することを特徴とする。

このような構成によれば、メインフレームをその他のフレーム画像と異なる形態で配置した静止画が得られる。

また、本発明の請求項５は、前記請求項１記載の撮像装置において、前記動画記録手段に記録された動画データを再生する再生手段と、この再生手段による動画データの再生時に前記撮影タイミングで得られたフレーム画像を初期表示する再生制御手段と、静止画作成を指示する作成指示手段とを備え、前記静止画作成手段は、前記作成指示手段によって静止画作成が指示された場合に、前記再生制御手段により初期表示されたフレーム画像をメインフレームとして配置した静止画を作成することを特徴とする。

このような構成によれば、動画再生時に撮影タイミングで得られたフレーム画像が初期表示され、その際に静止画の指示を行うと、その初期表示されたフレーム画像をメインフレームとして配置した静止画が作成される。

本発明の請求項６に係る画像処理方法は、動画撮影機能を備えた撮像装置に用いられる画像処理方法において、被写体を撮像するための撮像素子を通じて連続的に得られる画像データを動画のフレーム画像として第１のメモリに所定容量分記憶するステップと、撮影タイミングが指示されたときに、その所定時間前に前記第１のメモリに記憶されたフレーム画像を含む一連のフレーム画像を動画データとして第２のメモリに記録するステップと、この第２のメモリに記録された動画データを静止画像化する場合に、前記撮影タイミングに基づいてメインフレームとして用いるフレーム画像とその他のフレーム画像を決定するステップと、前記決定された各フレーム画像を前記画像データから抽出し、所定のレイアウト情報に従ってメインフレームとその他のフレーム画像を配置して印刷可能な１枚の静止画を作成するステップとを備えたことを特徴とする。

このような画像処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項７に係るプログラムは、動画撮影機能を備えた撮像装置に搭載されたコンピュータによって実行されるプログラムにおいて、前記コンピュータに、被写体を撮像するための撮像素子を通じて連続的に得られる画像データを動画のフレーム画像として第１のメモリに所定容量分記憶する機能と、撮影タイミングが指示されたときに、その所定時間前に前記第１のメモリに記憶されたフレーム画像を含む一連のフレーム画像を動画データとして第２のメモリに記録する機能と、この第２のメモリに記録された動画データを静止画像化する場合に、前記撮影タイミングに基づいてメインフレームとして用いるフレーム画像とその他のフレーム画像を決定する機能と、前記決定された各フレーム画像を前記画像データから抽出し、所定のレイアウト情報に従ってメインフレームとその他のフレーム画像を配置して印刷可能な１枚の静止画を作成する機能とを実現させる。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明によれば、動画撮影時の撮影タイミングに基づいてメインフレームとその他のフレーム画像が決定され、これらを配置した静止画が自動作成される。したがって、ユーザによる編集作業を必要とせずに、動画撮影時に得られた動画データを用いて、シャッターシーンを含む各フレーム画像を適切に配置した静止画を簡単に得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

図１は本発明の一実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状のカメラ本体２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。

電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。

また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。

撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードである。この動画モードには、標準的な動画を撮影するための「標準ムービーモード」、決定的瞬間の動画を撮影するための「パストムービーモード」、短時間の動画を撮影するための「ショートムービーモード」があり、これらのモードはメニューキー１６の操作により適宜切り替えられる。なお、「パストムービーモード」と「ショートムービーモード」については、後に図３および図４を用いて説明する。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。光学ファインダ１２は、撮影時にユーザが撮影対象となる被写体を光学的に確認するためのものである。

マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２はデジタルカメラ１の電子回路構成を示すブロック図である。

このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズを含むレンズ光学系２２がモータ２１の駆動により光軸方向に所定の範囲内で移動可能に設けられており、その光軸後方に撮像素子であるＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。

そして、カラープロセス回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。また、本実施形態において、この制御部３２には、後述する「ショートムービーモード」で任意に設定されるシャッター前後の時間Ｔ１，Ｔ２と、「モーションプリントモード」で静止画の作成に使用するレイアウト情報Ｌａを記憶するための設定記憶部３２ａを有する。

前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、制御部３２は、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。

この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。

制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。

そして得た符号データを該ＪＰＥＧ回路３７から読み出して１画像のデータファイルとして記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。

音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。

ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。

なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８などから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。

また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧなどの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。再度シャッタキー９が操作されると、動画データの記録を終了する。

一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。

ここで、図３および図４を参照して「パストムービーモード」と「ショートムービーモード」について説明する。

図３はデジタルカメラ１に備えられた「パストムービーモード」を説明するための図、図４はデジタルカメラ１に備えられた「ショートムービーモード」を説明するための図である。通常の動画モードである「標準ムービーモード」は、シャッタキー９を押下したときのタイミングで撮影が開始され、そのときの撮影画像が記録される。そして、再度シャッタキー９を押下すると撮影が終了する。これに対し、「パストムービーモード」や「ショートムービーモード」は、シャッタキー９の押下前から動画の記録が行われているのが特徴である。

すなわち、図３に示すように、「パストムービーモード」は、シャッタキー９を押下する前から所定量分の撮影画像（過去画像）を常に更新しながらバッファリングしており、シャッタキー９が押下されたときに、Ｔ秒前の撮影画像から実際の記録を行い、続いてシャッタキー９が押下されたときに撮影を終了する。前記Ｔの値は予め設定されており、例えば５秒である。つまり、「パストムービーモード」では、シャッタキー９を押すＴ秒前の撮影画像からメモリ容量の制限内で動画の記録を行うことができる。これにより、決定的瞬間の撮り逃しを防ぐことができる。

一方、図４に示すように、「ショートムービーモード」は、１回のシャッタキー９の押下により、その前後の短い数秒間の動画を記録する。つまり、この「ショートムービーモード」では、撮影終了の指示は不要であり、シャッタキー９を一度押すだけで、数秒間の動画撮影を行うことができる。

このときの撮影時間は、図５に示すような時間設定画面５１上でユーザが任意に設定できる。この時間設定画面５１は、メニューキー１６の操作により表示され、上下左右のカーソールキーの操作により、シャッター前後の時間Ｔ１，Ｔ２を個別に設定するような構成になっている。図中の５２はシャッター前の時間設定部、５３はシャッター後の時間設定部である。なお、撮影可能な最短時間と最長時間は予め決められており、例えば最短時間は２秒、最長時間は８秒であり、この範囲内でシャッター前後の時間Ｔ１，Ｔ２をそれぞれ設定できる。

また、このときに「モーションプリントモード」を予め設定しておくことができる。「モーションプリントモード」とは、動画像から印刷可能な１枚の静止画像を作成する機能であり、この機能をＯＮ設定しておくと、「ショートムービーモード」によって記録された動画データの各フレーム画像を用いて印刷可能な１枚の静止画像を自動作成することができる。

図中の５４がモーションプリント設定部であり、ここを選択することで「モーションプリントモード」がＯＮ設定される。また、ＯＮ設定したときに、図示せぬレイアウト選択画面が表示され、予め用意された静止画レイアウト（デザイン）の中から所望のものを選択することができる。

図６（ａ）〜（ｄ）はその静止画レイアウトの一例を示すものであり、それぞれに動画を構成する複数のフレーム画像のコマ数や大きさ、配置が異なる。図６（ａ）は９コマの例であり、中央部にメインとなるフレーム画像（ハイライトフレームとも呼ぶ）が大きく配置されている。同図（ｂ）は１コマの例であり、メインのフレーム画像（ハイライトフレーム）のみで構成される。その他、同図（ｃ），（ｄ）のようなレイアウトも選択可能である。

また、図７は図６（ａ）に示した静止画レイアウトの具体的なデータ構成を示す説明図である。レイアウトデータ１０１は、ＩＤ００〜１８の複数のデータ項目毎に決められている複数の設定情報から構成されている。

図示したデータ項目において、ＩＤ００の「レイアウトナンバー」はレイアウトの種類を示す識別番号である。ＩＤ０４の「ハイライトフレーム」とＩＤ０５〜１３の「フレーム」は静止画像におけるフレーム画像の配置領域（位置及びサイズ）であって、「ハイライトフレ一ム」が他のフレームよりもサイズが大きなメインフレ一ムの画像の配置領域Ｆａ、「フレーム」がその他のフレームの画像の配置領域Ｆｂを示すデータである。なお、レイアウトの種類によっては「ハイライトフレーム」が存在しない場合があり、「フレーム」のデータ数はレイアウトの種類によって増減する。また、ＩＤ１４〜１７の「ビットマップ」は装飾用の画像、及びその配置を示すデータである。

次に、同実施形態の動作について説明する。
なお、以下の各フローチャートで示される処理は、マイクロコンピュータである制御部３２がプログラムを読み込むことにより実行される。

図８および図９は同実施形態におけるデジタルカメラ１の撮影処理を示すフローチャートであり、撮影モードキー１０の操作により撮影モードが設定された場合の処理が示されている。上述したように、撮影モードには静止画モードと動画モードがあり、さらに、動画モードには「標準ムービーモード」の他に「パストムービーモード」と「ショートムービーモード」がある。これらのモードはメニューキー１６の操作により適宜切り替えられる。

静止画モードが設定されると（ステップＡ１１のＹｅｓ）、静止画撮影処理が実行される（ステップＡ１２）。この静止画撮影処理では、撮像素子であるＣＣＤ２３によって得られる画像データがスルー画像として表示部１９にモニタ表示され、シャッタキー９の押下により、当該画像データが静止画像として取り込まれ、所定の方式で圧縮されてメモリ３８に記録される。

一方、動画モードのうちの「標準ムービーモード」が設定されると（ステップＡ１３のＹｅｓ）、標準ムービー撮影処理が実行される（ステップＡ１４）。この標準ムービー撮影処理は、通常の動画撮影処理と同様である。すなわち、スルー画像が表示された状態で、シャッタキー９が押下されると、当該画像データが動画像として取り込まれ、所定の方式で圧縮されてメモリ３８に順次記録される。そして、再度シャッタキー９が押下されると、そのときの撮影処理（データ記録動作）が終了する。

また、「パストムービーモード」が設定されると（ステップＡ１５のＹｅｓ）、パストムービー撮影処理が実行される（ステップＡ１６）。このパストムービー撮影処理では、図３で説明したように、シャッタキー９の押下前から所定量分の撮影画像（過去画像）がバッファメモリ（図２のＤＲＡＭ３１）に一時的に保持され、シャッタキー９が押下されたときに、そのＴ秒前の撮影画像から実際の記録が行なわれる。そして、再度シャッタキー９が押下されたときのタイミングで、そのときの撮影処理（データ記録動作）が終了する。

ここで、「ショートムービーモード」が設定されると（ステップＡ１７のＹｅｓ）、ショートムービー撮影処理が実行され、図４で説明したように、１回のシャッタキー９の押下により、その前後の短い数秒間の動画像の記録が行なわれる。その際、「モーションプリントモード」がＯＮ設定されていると、そのときの動画像から印刷可能な１枚の静止画像が自動的に作成される。

以下に、この「ショートムービーモード」による動画撮影時の動作について詳しく説明する。

上述したように、「ショートムービーモード」では、所定の範囲内で撮影時間を任意に変更できる。所定の操作により撮影時間の変更指示があると（ステップＡ１８のＹｅｓ）、制御部３２は、図５に示した時間設定画面５１を表示部１９に表示する（ステップＡ１９）。なお、このときに表示部１９の画面上にはスルー画像がモニタ表示されており、その上に時間設定画面５１が表示されることになる。

制御部３２は、この時間設定画面５１のシャッター前の時間設定部５２、５３にセットされた時間に従って撮影時間を変更する（ステップＡ２０）。なお、この撮影時間を規定するシャッター前後の時間Ｔ１、Ｔ２は、図２に示す設定記憶部３２ａに保持されている。撮影時間の変更指示がなければ、事前に設定された時間Ｔ１、Ｔ２がそのまま適用されることになる。

また、この間に撮像素子であるＣＣＤ２３によって被写体の画像データが取得されており、その画像データがスルー画像として表示部１９にモニタ表示される一方で、バッファメモリ（ここではＤＲＡＭ３１）に動画のフレーム画像として順次記憶される（ステップＡ２１）。その際、制御部３２は、バッファメモリから前記時間Ｔ１よりも前に記録された動画のフレーム画像を削除して空き領域を確保する（ステップＡ２２）。

ここで、シャッタキー９の押下操作により撮影が指示されると（ステップＡ２３のＹｅｓ）、制御部３２は、その撮影指示があったときから前記時間Ｔ２が経過するまでの間にＣＣＤ２３から得られた画像データを動画のフレーム画像としてバッファメモリに時系列の順で記憶していく（ステップＡ２４）。

そして、前記時間Ｔ２の経過後（ステップＡ２５のＹｅｓ）、制御部３２は、バッファメモリに記憶された前記時間Ｔ１〜Ｔ２間の複数のフレーム画像に基づいて動画ファイルを作成する（ステップＡ２６）。詳しくは、複数のフレーム画像を時系列で連続させてなる動画データを所定の方式で圧縮して１つの動画ファイルを作成し、これをショートムービーによる動画データとして保存用のメモリ３８に他の動画データと区別して記録する。その際、シャッター操作時に得られたフレーム画像に対し、その旨を示す識別情報としてシャッターフラグを付加しておく（ステップＡ２７）。

なお、前記識別情報をフレーム画像に直接付加しておく方法の他に、例えば各フレーム画像を管理する管理テーブルを用いてシャッター操作時に得られたフレーム画像を識別できるようにしても良い。

また、ショートムービー動画の作成後、制御部３２は、「モーションプリントモード」がＯＮ設定されているか否かを判断する（ステップＡ２８）。図５で説明したように、「モーションプリントモード」は時間設定画面５１のモーションプリント設定部５４を選択することでＯＮ設定される。「モーションプリントモード」がＯＮ設定されている場合（ステップＡ２８のＹｅｓ）、制御部３２は、ショートムービー動画としてメモリ３８に記録された動画ファイルを用いてモーションプリント処理を直ちに実行する（ステップＡ２９）。なお、このモーションプリント処理については、後に図１０のフローチャートを用いて詳しく説明する。

また、撮影終了が指示されると（ステップＡ３０のＹｅｓ）、ここでの撮影処理が終了する。

図１０は前記ステップＡ２９で実行されるモーションプリント処理を示すフローチャートである。上述したように、ショートムービー動画が作成されたときに、「モーションプリントモード」がＯＮ設定されていれば、当該動画データに基づいて印刷可能な１枚の静止画データが自動作成される。

静止画のレイアウトは、基本的にはユーザが「モーションプリントモード」をＯＮ設定したときに選択するものとしているが、任意のタイミングで別のレイアウトに変更することも可能である。

すなわち、所定の操作によりレイアウト変更指示があると（ステップＢ１１のＹｅｓ）、図示せぬレイアウト設定画面が表示部１９に表示される（ステップＢ１２）。そして、図６（ａ）〜（ｄ）に示したような静止画のレイアウトの中からユーザの望むレイアウトが選択されると、その選択レイアウトに従って設定記憶部３２ａに記憶されるレイアウト情報Ｌａが変更される（ステップＢ１３）。このレイアウト情報Ｌａは、動画像の静止画像化に際して生成する静止画像のデザイン、すなわち動画像を構成する複数のフレーム画像（コマ）の数、大きさ、配置等を示すデータである。レイアウト変更指示がなければ、事前に設定されたレイアウト情報Ｌａがそのまま適用されることになる。

ここで、制御部３２は、メモリ３８から静止画化の対象となる動画ファイルを取得した後（ステップＢ１４）、その動画ファイルの動画データを静止画像化するに際し、撮影タイミング（シャッター操作タイミング）に基づいて当該動画データの中でメインフレームとなるフレーム画像とその他のフレーム画像を決定する（ステップＢ１５）。

詳しくは、シャッター操作時に得られたフレーム画像つまりシャッターフラグが付加されたフレーム画像をメインフレームとして抽出すると共に、その前後の他のフレーム画像（サブフレーム）をレイアウト情報Ｌａで定められたコマ数分抽出する。なお、このときに静止画化の対象となる動画データが圧縮されていれば、必要に応じて解凍してから各フレーム画像を抽出して静止画の作成を行うものとする。

このようにして、メインフレームとその他のフレーム画像を決定すると、制御部３２は、当該動画データからこれらのフレーム画像を抽出した後、レイアウト情報Ｌａに基づいてメインフレームとその他のフレーム画像に分けて配置して印刷可能な１枚の静止画を作成する（ステップＢ１６）。

具体的には、例えば図６（ａ）に示すようなレイアウトが選択されていれば、メインフレーム（シャッターフラグが付加されたフレーム画像）を含む９コマのフレーム画像を用いる。そして、メインフレームをその他のフレーム画像であるサブフレームよりも大きなサイズにして中央に配置すると共に、サブフレームを小さなサイズでメインフレームの上下に配置することで１枚の静止画を作成する。

図１１にその静止画の一例を示す。中央に他のフレームと異なる形態で配置されたものがメインフレームであり、シャッターシーンに対応している。このメインフレームのサイズは、他のフレーム画像（サブフレーム）の約４倍である。

なお、同図（ｂ）に示すようなレイアウトが選択されていれば、メインフレームのみを用いて１枚の静止画を作成することになる。

このようにして作成された静止画のデータは、必要に応じて所定の方式で圧縮処理され、１つの静止画ファイルとして保存用のメモリ３８に記録される（ステップＢ１７）。なお、この静止画データをメモリ３８に記録せずに、そのままプリンタに転送するような構成であっても良い。

このように、動画撮影時の撮影タイミングに基づいてメインフレームとその他のフレーム画像が決定され、これらを配置した静止画が自動作成される。よって、ユーザによる編集作業を必要とせずに、動画撮影時に得られた動画データを用いて、シャッターシーンを含む各フレーム画像を適切に配置した静止画を簡単に得ることができる。

なお、図１１のような複数のフレーム画像を配置した静止画を作成する場合に、シャッター操作前後のフレーム画像をサブフレームとして用いたが、シャッター操作前のフレーム画像をサブフレームとして用いることでも良い。

また、「ショートムービーモード」に限らず、「パストムービーモード」による動画撮影時に前記同様のモーションプリント処理を実行して、そのときに撮影された動画データから静止画を作成しても良い。この場合、最初のシャッター操作を基準にしてメインフレームとその他のフレーム画像（サブフレーム）を決定することになる。

また、このような動画撮影時に限らず、ユーザが任意のタイミングで、既にメモリ３８に記録されている各動画ファイルの中から静止画化の対象とする動画ファイルを指定することにより、その指定された動画ファイルを構成する動画データを用いて前記同様に印刷可能な１枚の静止画を作成することでも良い。

（他の実施形態）
次に、本発明の他の実施形態として、動画の再生時にモーションプリント処理を実行する場合について説明する。

図１２は本発明の他の実施形態に係るデジタルカメラ１の再生処理を示すフローチャートであり、再生モードキー１１の操作により再生モードが設定された場合の処理が示されている。

再生モードが設定されている状態で、ユーザが所定の操作により再生対象となる動画ファイルを選択すると（ステップＣ１１）、制御部３２は、まず、その選択された動画ファイルがショートムービーによる動画データであるか否かを判断する（ステップＣ１２）。その結果、ショートムービーによる動画データであれば（ステップＣ１２のＹｅｓ）、制御部３２は、当該動画データを構成する各フレーム画像からシャッターフラグに基づいてシャッター操作時に得られたフレーム画像を検索し、これをカレントフレームとして設定する（ステップＣ１３）。

一方、ショートムービーによる動画データ以外であれば（ステップＣ１２のＮｏ）、その動画データの中の先頭のフレーム画像をカレントフレームとして設定する（ステップＣ１４）。

次に、制御部３２は、カレントフレーム画像を表示部１９上に再生表示する（ステップＣ１５）。この場合、ショートムービーによる動画データであれば、前記シャッター操作時に得られたフレーム画像が初期表示されることになる。

ここで、ユーザが例えばメニューキー１６を操作するなどして、静止画作成モードである「モーションプリントモード」を指示すると（ステップＣ１６のＹｅｓ）、制御部３２は、現在表示中のカレントフレーム画像をメインフレームとしてモーションプリント処理を実行する（ステップＣ１７）。なお、モーションプリント処理については前記実施形態と同様であるため、ここではその詳しい説明は省略するものとする。

また、「モーションプリントモード」の指示がなければ（ステップＣ１６のＮｏ）、制御部３２は、通常の再生処理として、例えばコマ送り、早送り、早戻しなどのユーザの指示操作に従って、次に表示すべきフレーム画像を選択して表示部１９の画面上に表示していく（ステップＣ１８）。再生の終了指示があると（ステップＣ１９のＹｅｓ）、ここでの処理が終了する。

このように、動画再生時であっても、その再生中の動画データを用いて印刷可能な１枚の静止画を簡単に作成することができる。

なお、前記各実施形態では、デジタルカメラを例にして説明したが、例えばカメラ付きの携帯電話やＰＤＡ（Personal Digital Assistant）など、動画撮影機能を備えた電子機器であれば、そのすべてに適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の一実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。 図２は同実施形態におけるデジタルカメラの電子回路構成を示すブロック図である。 図３は同実施形態におけるデジタルカメラに備えられた「パストムービーモード」を説明するための図である。 図４は同実施形態におけるデジタルカメラに備えられた「ショートムービーモード」を説明するための図である。 図５は同実施形態における「ショートムービーモード」の撮影時間を設定するための時間設定画面の一例を示す図である。 図６は同実施形態におけるデジタルカメラに備えられた「モーションプリントモード」の静止画レイアウトの一例を示す図である。 図７は同実施形態における静止画レイアウトの具体的なデータ構成を示す説明図である。 図８は同実施形態におけるデジタルカメラの撮影処理を示すフローチャートである。 図９は同実施形態におけるデジタルカメラの撮影処理を示すフローチャートである。 図１０は同実施形態におけるデジタルカメラのモーションプリント処理を示すフローチャートである。 図１１は同実施形態におけるデジタルカメラのモーションプリント処理によって作成される静止画の一例を示す図である。 図１２は本発明の他の実施形態に係るデジタルカメラの再生処理を示すフローチャートである。

符号の説明

１…デジタルカメラ、２…カメラ本体、３…撮影レンズ、４…セルフタイマランプ、５…光学ファインダ窓、６…ストロボ発光部、７…マイクロホン部、８…電源キー、９…シャッタキー、１０…撮影モードキー、１１…再生モードキー、１２…光学ファインダ、１３…スピーカ部、１４…マクロキー、１５…ストロボキー、１６…メニュー（ＭＥＮＵ）キー、１７…リングキー、１８…セット（ＳＥＴ）キー、１９…表示部、２１…モータ、２２…レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…ドライバ、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…カラープロセス回路、２９…ＤＭＡコントローラ、３０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、３１…ＤＲＡＭ、３２…制御部、３２ａ…設定記憶部、３３…ＶＲＡＭコントローラ、３４…ＶＲＡＭ、３５…デジタルビデオエンコーダ、３６…キー入力部、３７…ＪＰＥＧ回路、３８…メモリ、３９…音声処理部、４０…ＵＳＢインタフェース（Ｉ／Ｆ）、４１…ストロボ駆動部、５１…時間設定画面、５２…シャッター前の時間設定部、５３…シャッター後の時間設定部、５４…モーションプリント設定部。

Claims (7)

1. 動画撮影機能を備えた撮像装置において、
   被写体を撮像するための撮像手段と、
   この撮像手段によって連続的に得られる画像データを動画のフレーム画像として所定容量分記憶する記憶手段と、
   撮影タイミングを指示する指示手段と、
   この指示手段によって撮影タイミングが指示されたときに、その所定時間前に前記記憶手段に記憶されたフレーム画像を含む一連のフレーム画像を動画データとして記録する動画記録手段と、
   この動画記録手段に記録された動画データを静止画像化する場合に、前記撮影タイミングに基づいてメインフレームとして用いるフレーム画像とその他のフレーム画像を決定するフレーム決定手段と、
   このフレーム決定手段によって決定された各フレーム画像を前記画像データから抽出し、所定のレイアウト情報に従ってメインフレームとその他のフレーム画像を配置して印刷可能な１枚の静止画を作成する静止画作成手段と
   を具備したことを特徴とする撮像装置。
2. 前記フレーム決定手段は、前記撮影タイミングで得られたフレーム画像をメインフレームとして決定し、少なくとも前記撮影タイミングの前に得られた所定数分のフレーム画像をその他のフレーム画像として決定することを特徴とする請求項１記載の撮像装置。
3. 前記フレーム決定手段は、前記撮影タイミングで得られたフレーム画像をメインフレームとして決定し、前記撮影タイミングの前後に得られた所定数分のフレーム画像をその他のフレーム画像として決定することを特徴とする請求項１記載の撮像装置。
4. 前記静止画作成手段は、メインフレームをその他のフレーム画像と異なる形態で配置することを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 前記動画記録手段に記録された動画データを再生する再生手段と、
   この再生手段による動画データの再生時に前記撮影タイミングで得られたフレーム画像を初期表示する再生制御手段と、
   静止画作成を指示する作成指示手段とを備え、
   前記静止画作成手段は、前記作成指示手段によって静止画作成が指示された場合に、前記再生制御手段により初期表示されたフレーム画像をメインフレームとして配置した静止画を作成することを特徴とする請求項１記載の撮像装置。
6. 動画撮影機能を備えた撮像装置に用いられる画像処理方法において、
   被写体を撮像するための撮像素子を通じて連続的に得られる画像データを動画のフレーム画像として第１のメモリに所定容量分記憶するステップと、
   撮影タイミングが指示されたときに、その所定時間前に前記第１のメモリに記憶されたフレーム画像を含む一連のフレーム画像を動画データとして第２のメモリに記録するステップと、
   この第２のメモリに記録された動画データを静止画像化する場合に、前記撮影タイミングに基づいてメインフレームとして用いるフレーム画像とその他のフレーム画像を決定するステップと、
   前記決定された各フレーム画像を前記画像データから抽出し、所定のレイアウト情報に従ってメインフレームとその他のフレーム画像を配置して印刷可能な１枚の静止画を作成するステップと
   を備えたことを特徴とする画像処理方法。
7. 動画撮影機能を備えた撮像装置に搭載されたコンピュータによって実行されるプログラムにおいて、
   前記コンピュータに、
   被写体を撮像するための撮像素子を通じて連続的に得られる画像データを動画のフレーム画像として第１のメモリに所定容量分記憶する機能と、
   撮影タイミングが指示されたときに、その所定時間前に前記第１のメモリに記憶されたフレーム画像を含む一連のフレーム画像を動画データとして第２のメモリに記録する機能と、
   この第２のメモリに記録された動画データを静止画像化する場合に、前記撮影タイミングに基づいてメインフレームとして用いるフレーム画像とその他のフレーム画像を決定する機能と、
   前記決定された各フレーム画像を前記画像データから抽出し、所定のレイアウト情報に従ってメインフレームとその他のフレーム画像を配置して印刷可能な１枚の静止画を作成する機能と
   を実現させるためのプログラム。

Images