JP2007194829A - カメラ、画像処理装置、静止画生成方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】 動画等の連続撮影画像からユーザが注目したり共感したりした部分を抽出して静止画を得るカメラ、画像処理装置、静止画生成方法、プログラム、および記憶媒体の提供
【解決手段】 動画を再生表示中に、静止画化によって生成する静止画のレイアウトの中心画像とする動画像４５を選択すると中心画像４５の前後に撮影された画像（ピックアップ画像）４４、４６が縮小され、所定のレイアウトに配置された静止画像が生成され、記録される。
【選択図】 図３

Description

本発明は動画等の連続撮影画像を静止画像として出力する静止画像生成技術に関する。

撮影した動画を印刷する場合に、連続画像である動画像をどのように静止画として切り出すかについて色々な工夫がなされている。
従来、動画像を静止画化する技術としては、圧縮された動画データから単独で完結した静止画像を構成するフレームデータであるキーフレームを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画データを生成したり、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画データを生成したりすることのできるプリンタ装置がある（例えば、特許文献１参照）。

上記特許文献１に記載のプリンタ装置によれば、動画像を構成するフレーム画像が自動的に選択されて動画像の内容を示す静止画像を容易に得ることができるが、それらが動画像の全体的な特徴を示すものとして適切であるとは限らないし、仮に自動的に選択されたフレーム画像が動画像の全体的な特徴を示すものとして適切であったとしてもそれらの配置形態（配置数や配置位置）が動画像の全体な特徴を示すものとは限らないといった課題があった。

上記課題を解決するものとして、本願出願人は、ユーザに選択された動画像から、動画像の時間長や動画像におけるカット割の変化点の数等の動画情報を取得し、取得した動画情報に基づいて、生成する静止画像のデザイン（動画像を構成する複数のフレーム画像（コマ）の数、大きさ、配置等）を示すレイアウトデータをメモリから選択的に読み出し、選択された動画像を構成するフレーム画像をレイアウトデータに基づいて配置した静止画像を生成し出力するようにし、所定のフレーム画像は、他のフレーム画像よりもサイズが大きなハイライトフレームに関するデータがレイアウトデータにあるか否かにより異なる設定規則により自動的に設定する（ハイライトフレーム指定も可能とする）ことにより、動画像の全体的な特徴を示すものとしてより適切な静止画を容易に得ることのできる画像処理装置、画像処理方法、およびカメラ装置を提案している（特許文献２参照）。

特開平９−１３０５９１号公報 特願２００４−３６５２０７

上記特許文献１に開示のプリンタ装置では動画像を構成するフレーム画像が自動的に選択されて動画像の内容を示す静止画像を容易に得ることができ、上記特許文献２に提案の技術では自動的に選択されたフレーム画像およびその配置形態画が動画像の全体的な特徴を示すものとして適切な静止画を容易に得ることができるので、このようにして得た静止画を見れば動画を表示しなくても動画全体を特徴づけるものとして動画内容を確認できる。また、静止画をプリントし、動画が記録された記録媒体や記録媒体を収納するケースに添付して記録媒体の内容等を外側から弁別することもできる。

しかしながら、上記特許文献１および特許文献２に記載の技術では、動画の全体的な特徴を示すに適切な静止画を得ることはできるが、動画から主観的基準により動画の部分的な特徴を示す部分（例えば、ユーザが注目したり共感したりした部分）を抽出して静止画を得ることはできない課題があった。

本発明は上記課題を解決するためになされたものであり、動画等の連続撮影画像からユーザが注目したり共感したりした画像を抽出して静止画を得るカメラ、画像処理装置、静止画生成方法、プログラム、および記憶媒体の提供を目的とする。

上記課題を解決するために、請求項１に記載の発明では、動画を撮像する動画撮像手段と、動画撮像手段によって撮像された動画を記録保存する動画記録手段と、生成される静止画像のレイアウト情報を複数記憶するレイアウト情報記憶手段と、動画記録手段に記憶されている動画を再生する動画再生手段と、動画再生手段によって再生される動画を表示する動画表示制御手段と、動画表示制御手段によって表示される動画の中から中心画像を選択する画像選択手段と、レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、画像選択手段によって選択された中心画像と該中心画像に前後して撮像された動画像をレイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画像の画像データを生成する静止画生成手段と、静止画生成手段によって生成された画像データを出力する出力手段と、を備えたことを特徴とするカメラを提供する。
これにより、撮像した動画像からユーザが所望する動画像を中心とした所定のレイアウトの静止画を生成できる。つまり、選択した動画像と、その動画像に前後して撮影された動画像を自動的に選択されたレイアウトで静止画像化して取得できるので、選択した動画像とそれに前後する動画像との関連がわかり、再生時に、動画像のうちユーザが注目した動画像を中心とした前後の複数の画像から共通して受ける感覚や事象を簡単に把握できる。また、撮影中にユーザが注目したシーンが幾つあってもそれぞれの注目画像について静止画化を行うことができる。

また、請求項２に記載の発明では、多数の静止画を撮像する撮像手段と、撮像手段によって撮像された多数の静止画を記録保存する記録手段と、生成される静止画像のレイアウトの情報を複数記憶するレイアウト情報記憶手段と、記録手段に記憶されている多数の静止画を再生する再生手段と、再生手段によって再生される多数の静止画を表示する表示制御手段と、表示制御手段によって表示される多数の静止画から中心画像を選択する画像選択手段と、レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、画像選択手段によって選択された中心画像と該中心画像に前後して撮像された静止画像をレイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画像の画像データを生成する静止画生成手段と、静止画生成手段によって生成された画像データを出力する出力手段と、を備えたことを特徴とするカメラを提供する。
これにより、撮像した多数の静止画からユーザが所望する静止画像を中心とした所定のレイアウトの静止画を生成できる。つまり、選択した静止画像と、その静止画像に前後して撮影された静止画像を自動的に選択されたレイアウトで静止画像化して取得できるので、選択した静止画像とそれに前後する静止画像との関連がわかり、再生時に、静止画像のうちユーザが注目した静止画像を中心とした前後の複数の画像から共通して受ける感覚や事象を簡単に把握できる。また、撮影中にユーザが注目したシーンが幾つあってもそれぞれの注目画像について静止画化を行うことができる。

また、請求項３に記載の発明では、中心画像に前後して撮像された静止画像は、該同一日付若しくは同一時間帯に撮像された静止画像であることを特徴とする請求項２記載のカメラを提供する。
これにより、同一日付若しくは同一時間帯に撮像された複数の静止画像のうち、ユーザが所望する中心画像を中心とした所定のレイアウトの静止画を生成できる。つまり、所定のレイアウトに中心画像と、同一日付若しくは同一時間帯において、その中心画像に前後して撮影された画像を所定のレイアウトで一画像として表示できるので、中心画像とそれに時間的に前後する画像との関連がよくわかり、ユーザが注目した画像を中心とした複数の画像から共通して受ける感覚や事象を簡単に把握できる。

また、請求項４に記載の発明では、動画を記録した画像記録手段と、動画から生成して得る静止画のレイアウト情報を複数記憶するレイアウト情報記憶手段と、レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、画像記憶手段に記憶されている動画を再生する画像再生手段と、画像再生手段によって再生される動画を表示する画像表示制御手段と、画像表示制御手段によって表示される動画の中から静止画生成に用いる画像の中心画像を選択する画像選択手段と、画像選択手段によって選択された中心画像と該中心画像に前後して撮影された動画をレイアウト選択手段によって選択されたレイアウトに基づいて配置される静止画の画像データを生成する静止画生成手段と、静止画生成手段によって生成された画像データを出力する出力手段と、を備えたことを特徴とする画像処理装置を提供する。
これにより、動画からユーザが所望する動画像を選択するだけでその動画像と前後する動画像を自動的に選択されたレイアウトに基づいて配置した静止画を自動的に生成できる。つまり、選択した画像（中心画像）と、その画像に前後して撮影された画像を選択されたレイアウトで静止画像化できるので、選択された画像とそれに前後する画像との関連がわかり、動画の中でユーザが注目した画像を中心とした前後の画像から共通して受ける感覚や事象を簡単に把握できる。また、動画の中でユーザが注目した画像や共感したシーンが幾つあってもそれぞれの注目画像について静止画化を行うことができる。

また、請求項５に記載の発明では、更に、画像選択手段によって選択された中心画像に前後して撮影された画像の数を設定する画像数設定手段を備え、レイアウト選択手段は、画像数設定手段によって設定された画像数を基にレイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを自動選択すること、を特徴とする請求項４に記載の画像処理装置を提供する。
これにより、予め中心画像の周りに配置する画像の数を設定しておけば、ユーザが所望する画像を選択するだけでその画像と前後する設定数分の画像を自動的に選択されたレイアウトに基づいて配置した静止画を自動的に生成できるので、ユーザがレイアウトを指定する手間がかからない。

また、請求項６に記載の発明では、静止画生成手段は、選択された中心画像に前後して撮影された複数の動画を所定サイズに縮小する手段と、中心画像と画像縮小手段によって縮小された複数の画像をレイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画の画像データを生成する手段とを有する、ことを特徴とする請求項４に記載の画像処理装置を提供する。
これにより、ユーザが選択した動画像を中心とした所定サイズのレイアウトの静止画を生成できる。つまり、選択した動画像と、その動画像に前後して撮影された画像を所定サイズに縮小して静止画像化できるので、選択された画像とそれに時間的に前後する画像との関連がわかりやすく、動画や同一時間帯に撮影された静止画のうちユーザが注目した画像を中心とした複数の画像から共通して受ける感覚や事象を簡単に把握できる。

また、請求項７に記載の発明では、更に、画像選択手段によって選択された中心画像に前後して撮影された動画像の数を設定する画像数設定手段と、画像選択手段によって選択された中心画像に含まれる被写体画像の輪郭を抽出する輪郭抽出手段と、輪郭抽出手段によって取得された輪郭外において、画像数設定手段によって設定された数の縮小画像表示範囲を取得する縮小画像表示範囲取得手段と、を備え、静止画生成手段は、輪郭画像選択手段によって選択された中心画像に対して該中心画像に前後して撮影された画像を縮小画像表示範囲取得手段によって取得された縮小画像表示範囲に配置した静止画像の画像データを生成する、ことを特徴とする請求項４に記載の画像処理装置を提供する。
これにより、選択された画像のうち被写体部分を除く部分に前後して撮影された画像を縮小して配置した静止画を生成できる。つまり、合成される各縮小画像のサイズをできるだけ大きくできるので縮小画像が見易く、被写体とそれに前後して撮影された画像との関連がわかり易い。

また、請求項８に記載の発明では、更に、小画像表示範囲取得手段によって取得された縮小画像表示範囲を変更する手段を備えたことを特徴とする請求項７に記載の画像処理装置を提供する。
これにより、小画像のサイズや数を変更できるので、選択した画像とバランスの取れたレイアウトで縮小画像を配置できるので、見栄えのよい静止画像を得ることができる。

また、請求項９に記載の発明では、複数の画像を所定のレイアウトで静止画化して出力する静止画生成方法であって、メモリに記憶されている動画を再生して表示する工程と、表示された動画の中から所望の動画像を選択する工程と、選択された中心画像と該中心画像に前後して撮影された動画像を選択されたレイアウトに基づいて配置した静止画像の画像データを生成する工程と、生成された画像データを出力する工程と、を備えたことを特徴とする静止画生成方法を提供する。
これにより、動画からユーザが選択した画像を中心としたレイアウトの静止画を生成できる。つまり、選択した動画像と、その画像に前後して撮影された画像を自動的に選択されるレイアウトで一つの静止画像として生成できるので、選択された画像とそれに前後する画像との関連がわかり、動画や同一時間帯に撮影された静止画のうちユーザが注目した画像を中心とした複数の画像から共通して受ける感覚や事象を簡単に把握できる。

また、請求項１０に記載の発明では、画像記録メモリと生成される静止画像のレイアウト情報を複数記憶するレイアウト情報記録メモリを備えたカメラのコンピュータに、動画を撮像する機能と、撮像された動画を記録メモリに記録保存する機能と、記録メモリに記憶されている動画を再生する機能と、再生された動画を表示する機能と、表示される複数の動画像の中から中心画像を選択する機能と、レイアウト情報記憶メモリに記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択する機能と、選択された中心画像と該中心画像に前後して撮影された動画像をレ選択されたレイアウトに基づいて配置した静止画像の画像データを生成する機能と、生成された画像データを出力する機能と、を実行させるプログラムを提供する。
これにより、カメラは、撮影した動画のなかでユーザが選択した動画像を中心とした静止画を生成できる。つまり、選択した動画像とその動画像に前後して撮影された動画像を自動選択されたレイアウトで静止画化して取得できるので、選択した画像とそれに前後する画像との関連がわかり、注目した画像を含む一連の画像から共通して受ける感覚や事象を簡単に把握できる。また、ユーザは動画再生中に注目した動画像を中心とした静止画を注目した分だけ生成することができる。

また、請求項１１に記載の発明では、請求項９に記載の静止画生成方法の各ステップをコンピュータに実行させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
これにより、この記憶媒体に格納されたプログラムを実行することにより、画像処理装置は、ユーザが選択した画像を中心としたレイアウトの静止画を生成できる。つまり、選択した画像と、その画像に時間的に前後して撮影された画像を所定のレイアウトで一つの静止画像として生成できるので、選択した画像とそれに前後する画像との関連がわかり易い。

また、請求項１２に記載の発明では、請求項１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
これにより、この記憶媒体に格納されたプログラムを実行することにより、画像処理装置は、ユーザが選択した画像を中心としたレイアウトの静止画を生成できる。つまり、選択した画像と、その画像に時間的に前後して撮影された画像を所定のレイアウトで一つの静止画像として生成できるので、選択した画像とそれに前後する画像との関連がわかり易い。

本発明によれば、動画再生時にユーザが注目した画像を中心とした前後の画像から静止画を生成できる。つまり、ユーザが注目した画像とその画像に前後して撮影された画像を静止画化して出力できるので、ユーザが注目した画像とそれに前後する画像との関連がわかり、動画や同一時間帯に撮影された一連の静止画のうちユーザが注目した画像を中心とした複数の画像から共通して受ける感覚や事象を簡単に把握できる。

図１は、本発明の各実施形態に共通するデジタルカメラの外観を示す図であり、ここでは主として正面（図１（ａ））及び背面（図１（ｂ））の外観を示す。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）２を有している。また、デジタルカメラ１００の背面には図１（ｂ）に示すように、モードダイアル３、液晶モニタ画面４、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、およびメニューキー１０等のキーが設けられている。また、上面にはシャッターキー８、電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。

図２は図１に示したデジタルカメラ１００のブロック図であり、デジタルカメラ１００は、撮影用のモードとして静止画撮影モードと動画撮影モード、および高速連写モードを有している。また、撮影により記録した画像（静止画像または動画像）を表示するための再生モードの下位モードとして、動画像から静止画像を生成（静止画像化）して記録するための静止画生成モードを有し、以下の構成を備えている。
なお、高速連写モードは例えば、１秒間に１００枚以上の画像を連続撮影する撮影モードであり、本発明は動画から静止画を生成する場合だけでなく、高速連写モードで撮影された画像から選択した画像とその画像を中心として前後に撮影された画像から静止画像を生成する場合にも適用できる。

更に、本発明は同一日や同一時間帯のように所定の期間内に個別に撮影された多数の静止画のなかから選択した画像とその画像を中心として前後に撮影された画像から静止画像を生成する場合にも適用できる。

つまり、デジタルカメラ１００は、カメラ本体１と、カメラ本体１に着脱可能な記録メディア３０から構成されており、カメラ本体１にはズームレンズやフォーカスレンズからなる光学系１２およびＣＣＤ１３が配置されている。

ＣＣＤ１３は本発明の撮像手段であり、タイミングジェネレータ１７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ１３の出力信号はＣＤＳ回路１４で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換回路１５でデジタル信号に変換される。Ａ／Ｄ変換された撮像信号はＤＳＰブロック１６に入力され、ぺデスタルクランプ等の処理が施された後、ＤＳＰブロック１６内の輝度・色差マトリックス回路で輝度（Ｙ）信号および色差（ＵＶ）信号に変換される。なお、ＤＳＰブロック１６ではオートアイリス（ＡＥ）、ホワイトバランス（ＷＢ）、輪郭強調などの画像の品質向上のための処理も行われる。

ＤＳＰブロック１６で変換されたＹＵＶデータは解像度変換ブロック１８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ２４（例えば、ＳＤＲＡＭ）に格納される。内蔵メモリ２４に格納された１フレーム分のＹＵＶデータは表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示部）１２によりスルー画像、つまり動画像として表示される。

静止画モードでの撮影時に内蔵メモリ２４に格納された１フレーム分のＹＵＶデータはデータ圧縮・伸張ブロック１９でＪＰＥＧ方式等によってデータ圧縮後コード化され、内蔵メモリ内でファイル化された後、メディアコントローラ２０を介して記録メディア３０に静止画データ（静止画ファイル）として記録される。

記録メディア３０は本発明の動画記録手段であり、動画撮影時に内蔵メモリ２４に格納されたＹＵＶデータは順次データ圧縮・伸張ブロック１９に送られ、所定の動画記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後にコード化され、内蔵メモリ２４内でファイル化された後、メディアコントローラ２０を介して動画ファイルとして記録メディア３０に記録される。なお、動画撮影のフレームレートはタイミングジェネレータ１７で生成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮・伸張ブロック１９内の電子化テーブル値によって決定される。

データ圧縮・伸張ブロック１９は、静止画または動画の再生時には記録メディア３０から読み出された静止画や動画データを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ２４に展開する。展開された画像は表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ２２により再生画像として表示される。なお、ＬＣＤ２２にはスルー画像や再生画像だけでなく、必要に応じてデジタルカメラ１００における各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。

音声処理ブロック２５は、動画撮影時においてカメラ本体１に内蔵されたマイク２６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ２４に送る。内蔵メモリ２４に送られたオーディオデータはフレームデータとともにストリームデータとして記録メディア３０に順次書き込まれる。また、音声処理ブロック２５は、動画撮影時には、内蔵メモリ２４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ２７から音声出力させる。

キーブ入力ブロック２８は、上述したモードダイアル３、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、シャッターキー８、電源ボタン９、およびメニューキー１０と、キーが操作されると操作されたキーの操作信号を生成してＣＰＵに送出するキー処理部（図示せず）等から構成されている。

モードダイアル３は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、・・・等の撮影モードや、静止画再生モード、動画再生モード等の再生モード等を選択することができる。

カーソルキー５はモード設定やメニュー選択等に際して液晶モニタ画面４に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキー６はカーソルキー５によってカーソル表示されている項目や画像を選択設定若しくは確認する際に押すキーである。

ズームボタン７は、ズーム操作に用いられ、光学ズームの場合はズームボタン７（Ｗボタン７−１またはＴボタン７−２）の操作に対応して画角が実際に変化し、液晶モニタ画面４にはワイド（広角）画像又はテレ（望遠）画像が表示される。電子ズームの場合はズームボタン７の操作に対応して光学系１２からの画像がデジタルズーム処理により画像が拡大／縮小されて表示される。

シャッターキー８は、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、静止画撮影モードでは１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。また、動画撮影モードでは録画開始／終了の指示に用いられるほか、静止画生成モードにおいて、シャッターキー８を押すと表示中の動画を停止させて静止画として表示し、再度シャッターキー８を押すと停止解除となり、動画表示を続行させる動画表示停止／停止解除キーとして用いることができる。

メニューキー１０はその時点で処理可能な選択メニューやアイコンを表示する場合に操作されるキーである。

輪郭抽出ブロック３１は注目被写体（実施例ではフォーカスエリアを含む被写体）から人物の輪郭を抽出する。人物の輪郭抽出方法は公知の方法（例えば、特開平０７−２７４０６７号公報や特開２００４−２９７２７４号公報に記載の輪郭抽出方法）を適宜採用することができる。なお、輪郭抽出ブロック３１は実施形態１では必須ではないが、実施形態２では必須である。この輪郭抽出処理のために専用の回路を設けても良いしＣＰＵ２３で実行させてもよい。

上述した各ブロックはＣＰＵ２３によって制御されており、ＣＰＵ２３が各ブロックの制御に必要とされるプログラムやデータはＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ２９に記憶されている。そしてＣＰＵ２３は上記プログラムおよびキー入力ブロック２８からのキー入力信号に基づき動作することにより、本発明の選択手段、静止画生成手段、制御手段として機能する。なお、プログラムメモリ２９にはユーザによって設定されたシステムや各機能に関する設定データも記憶されている。

また、プログラムメモリ２９は本発明のレイアウト情報記憶手段でもあり、プログラムメモリ２９には前述した静止画生成モードの動作に際して使用されるレイアウトデータがそのエリア２９ａに格納されている。レイアウトデータは動画像の静止画像化に際して生成する静止画像のデザイン、つまり、中心画像のまわりに縮小して配置するピックアップ画像の数、大きさ、配置等を示すデータである（図５参照）。

図３は本実施形態に係わる静止画生成方法の説明図であり、図３（ａ）は再生表示された画像を示す。図示の例では画像４５は生成される静止画におけるレイアウトの中心画像（ハイライトフレーム）として選択された画像である。また、図３（ｂ）は中心画像４５の前後の画像（ピックアップ画像４４、４６）であり、静止画生成時にピックアップされる。図３（ｃ）は生成される静止画を示し、ピックアップ画像の縮小画像４７、４８が選択されたレイアウト（図示の例では、対角で対向する左上隅、右下隅）で配置された静止画像４９が表示される。

図３の例ではピックアップ画像は前後各一つの画像としたが、前後の複数の画像をピックアップすることもできる。ピックアップする画像の数は静止画生成モード開始時にユーザが選択・設定することができる。また、ピックアップする画像の数によってレイアウトが異なる（図５参照）。なお、ピックアップ画像は動画や連写による連続撮影画像から静止画を生成する場合は選択された中心画像の前後の画像であり、静止画から生成する場合は撮影日付または撮影時間帯が中心画像と同じ画像のうち、中心画像の前後に撮影された画像である。

図４は本実施形態に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。このフローチャートはデジタルカメラ１００に本発明の静止画像生成機能を実現させるためのプログラムを説明するためのものである。
以下に示す処理は基本的にＣＰＵが予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図１〜図５に基いて説明する。なお、図４に示すフローチャートでは動画再生モードを例として説明するが、本発明の適用範囲は動画再生モードに限定されず、例えば、前述した高速連写モードで撮影した連続撮影画像（高速連写画像）の再生時における静止画像生成や、通常の静止画撮影モードで同一日や同一時間帯に個別に撮影された多数の静止画像の再生時における静止画像生成にも適用できる。

図４で、動画再生モードが選択されると、ＣＰＵ２３は記録メディア３０に記録されている動画ファイルの先頭フレームの縮小画像をＬＣＤ２２に一覧表示させ、ユーザに所定のキー操作（たとえば、カーソルキー５の操作）により、所望の動画ファイルを選択させる（ステップＳ１）。

ＣＰＵ２３は、メディアコントローラ２０を制御して選択された動画ファイルのフレーム画像を記録メディア３０から順次読み出してデータ圧縮・伸張ブロック１９で伸張させ、内蔵メモリ２４に動画像フレームデータとして展開してから表示コントローラ２１を介してＬＣＤ２２に順次表示させる。これにより、選択された動画ファイルに記録されている動画像が再生され動画表示される（ステップＳ２）。

ユーザは所定のキーを操作して（例えば、シャッターキー８を押して）再生表示中の動画像を停止させてそのまま表示（つまり、静止表示）させることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、所定のキーが押された場合はステップＳ４に進み、そうでない場合はステップＳ２に戻る（ステップＳ３）。

ユーザがメニューキー１０を押すと、ＣＰＵ２３は静止画生成モードの選択を含む各種メニューを表示してユーザの選択を促すので、ユーザがカーソルキー５等の操作により静止画生成モードを選択すると、ステップＳ５に進み、そうでない場合は選択された他の処理を実行する（ステップＳ４）。

ユーザは静止表示中の画像が所望の画像（静止画生成時のレイアウトの中心画像候補）である場合は所定のキー（例えば、ＳＥＴキー６）を押し、そうでない場合は他のキーの操作（カーソルキー５の操作）により表示する画像を前の画像に戻したり、次の画像に進めることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、ＳＥＴキー６が押された場合はステップＳ５に進み（ステップＳ５）、カーソルキー５が操作された場合はカーソルキー５の操作に応じて画面を１コマずつ前の画像に戻して表示したり、次の画像に進めて表示し、ステップＳ５に戻る（ステップＳ６）。

ＣＰＵ２３は静止画生成時のレイアウトの中心画像の前後のコマとしてピックアップする画像の数の指定を促すメッセージ（例えば、「ピックアップする画像の数を指定してください」と指定可能な数をＬＣＤ２２に表示し、ユーザがピックアップする画像数を選択するとその数を取得して保持し、ステップＳ８に進む（ステップＳ７）。

ＣＰＵ２３は、上記ステップＳ８で取得した前後のフレーム画像の数に対応するレイアウトデータ（図５）をプログラムメモリ２９から取り出してピックアップ画像表示枠を生成し（ステップＳ８）、生成したピックアップ画像表示枠をレイアウトデータの示す位置で、現在静止表示中の画像（中心画像）に重ねてＬＣＤ２２に表示する（ステップＳ９）。

次に、ＣＰＵ２３は内蔵メモリ２４から、現在表示されている画像（中心画像）のフレーム画像を内蔵メモリ２４の所定領域に保持（記憶）すると共に、前後のフレーム画像（ピックアップ画像）をステップＳ７で取得した前後のフレーム画像の数だけ取り出し（ステップＳ１０）、上記ステップＳ１０で生成したピックアップ画像表示枠のサイズに縮小して内蔵メモリ２４の所定領域に保持（記憶）した後（ステップＳ１１）、縮小したピックアップ画像を表示コントローラ２１を介してＬＣＤ２２に表示されているピックアップ画像表示枠内に表示する。これにより、図３（ｃ）に示すような合成画像（静止画）が表示される（ステップＳ１２）。上記縮小画像は、毎回作成しなくても予め用意されているサムネイル等を用いても良い。

ユーザが確認入力を行う（例えば、ＳＥＴキー６を押す）と静止画像生成指示が出たものとしてステップＳ１６に進み、他のキー（例えば、カーソルキー５）が押されると変更（やり直し）指示があったものとしてステップＳ１４に進む（ステップＳ１３）。

変更指示があった場合は、上記ステップＳ７で取得した前後のフレーム画像の数に対応するレイアウトデータ（図５）を調べ、対応するレイアウトデータがない場合はステップＳ７に戻り（ステップＳ１４）、対応するレイアウトデータがあった場合はそのレイアウトデータをプログラムメモリ２９から取り出してピックアップ画像表示枠を生成し、ステップＳ９に戻る（ステップＳ１５）。

静止画像生成指示があった場合は、ＣＰＵ２３は内蔵メモリ２４に保持した中心画像のフレーム画像（データ）と、上記ステップＳ１３で内蔵メモリ２４に保持した各縮小画像を合成して、ＬＣＤ２２に表示している静止画像と同じレイアウトの静止画像（データ）を生成し（ステップＳ１６）、記録メディア３０に記録する（ステップＳ１７）。

上記図４のフローチャートに示した制御動作により、ユーザが所望する中心画像を中心とした所定のレイアウトの静止画を生成できる。つまり、所定のレイアウトに中心画像と、その中心画像に前後して撮影された画像を所定のレイアウトで一画像として表示できるので、中心画像とそれに時間的に前後する画像との関連がわかり、動画や同一時間帯に撮影された静止画のうちユーザが注目した画像を中心とした複数の画像から共通して受ける感覚や事象を簡単に把握できる。

なお、上記図４のフローチャートでは圧縮された動画データから静止画を生成する例について述べてが、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画を生成することもできる。

また、上記図４のフローチャートに示す制御動作は、図４の各ステップおよびその説明で「動画」を「高速連写画」、「動画像」を「連写画像」とすれば高速連写画像からの静止画像生成を行う場合の制御フローとして適用できる。また、図４の各ステップおよびその説明で「動画」を「静止画」、「動画像」を「静止画像」とすれば同一日若しくは同一時間帯に個別に撮影された多数の静止画像から静止画像生成を行う場合の制御フローとして適用できる。

図５はフレームレイアウトの例およびレイアウトデータの説明図であり、図５（ａ）〜（ｄ）はフレームレイアウトの例、図５（ｅ）はプログラムメモリに格納されているレイアウトデータのデータ構造を示す図である。

前記図３の例では、ピックアップ画像の数が前後各１個のとき左上隅と右下隅にピックアップ画像の縮小画像を配したレイアウトを示したが、図５（ａ）はピックアップ画像の数が前後各１個のとき右上隅と左下隅にピックアップ画像の縮小画像７１−１，７１−２を配すようにした例であり、図５（ｂ）はピックアップ画像の数が前後各２個のとき四隅にピックアップ画像の縮小画像７１−１、７１−２、７２−１、７２−２を配すようにした例、図５（ｃ）はピックアップ画像の数が前後各３つのとき左右に３個ずつピックアップ画像の縮小画像７１−１、７１−２、７１−３、７２−１、７２−２、７２−３を配すようにした例、図５（ｄ）はピックアップ画像の数が前後各３つのとき上下に３個ずつピックアップ画像の縮小画像７１−１、７１−２、７１−３、７２−１、７２−２、７２−３を配すようにした例である。なお、ピックアップ画像は中心画像の撮影時間より前後にタイミングをずらしたフレーム画像である。図示の例では中心画像の撮影時間より前後に１〜３個分のピックアップ画像を指定した場合のレイアウトを示したが、ピックアップ画像の数は前後に１〜３個ずつに限定されず、４個以上であってもよい。また、レイアウトはユーザができるようにしてもよい。

また、図５（ｅ）で、レイアウトデータ８０は動画像の静止画像化に際して生成する静止画像のデザイン、つまり、ピックアップ画像の数８１、ピックアップ画像から生成する縮小画像のサイズ８２、縮小画像の配置位置（各縮小画像の中心座標）８３等からなる）。なお、縮小画像の配置位置は各縮小画像の始点と終点の座標としてもよい。

（実施形態２）
図６および図７は本実施形態に係わる静止画生成方法の説明図であり、図６（ａ）は再生表示された画像であり、図示の例では画像５５は生成される静止画におけるレイアウトの中心画像（ハイライトフレーム）として選択された画像である。また、図６（ｂ）は中心画像５５の前後の画像（ピックアップ画像５４、５６）であり、静止画生成時にピックアップされる。図６（ｃ）は中心画像５５の注目被写体部分６０を示し、注目被写体部分６０の人物の輪郭６１が抽出される。ここで、注目被写体部分６０の人物の輪郭６１はフォーカスエリアを含む被写体部分であり、輪郭抽出ブロック３１（図２）によって人物の輪郭が抽出される。

図７（ａ）は、中心画像５５の注目被写体部分６０および中心画像５５の注目被写体部分を除く部分（背景部分等）に自動的に表示されるフレーム画像表示枠６４、６６を示す。フレーム画像表示枠６４、６６は注目被写体部分６０の人物の輪郭６１が抽出されると、ユーザが選択・指定したピックアップ画像の数を基に画面内の注目被写体部分６０の人物を除く部分に指定した数の画像表示枠が自動的に生成され表示される。この場合、画像表示枠のサイズは中心被写体６０の人物左右の背景部分の面積やサイズを基に決定される。

図７（ｂ）は、生成された静止画を示し、ピックアップ画像５４、５６の縮小画像６７、６８が中心画像５５の注目被写体６０の人物を覆うことのないように配置されて生成される。また、この際、縮小画像６７、６８の画像の大きさは注目被写体６０の人物を覆うことのない範囲で最大になるようにして配置される。

また、図６、７の例ではピックアップ画像は前後各一つの画像としたが、前後の複数の画像をピックアップすることもできる。ピックアップする画像の数は静止画生成モード開始時にユーザが選択・設定することができる。なお、ピックアップ画像は動画や連写による連続撮影画像から静止画を生成する場合は選択された中心画像の前後の画像であり、静止画から生成する場合は撮影日付または撮影時間帯が中心画像と同じ画像のうち、中心画像の前後に撮影された画像である。

図８は本実施形態に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。このフローチャートのステップＳ１〜Ｓ６の動作は図４に示したフローチャートのステップＳ１〜Ｓ６の動作と同様である。以下、図１、図２、図４、図６〜図８に基いて説明する。なお、このフローチャートでは動画再生モードを例として説明するが、本発明の適用範囲は動画再生モードに限定されず、例えば、前述した高速連写モードで撮影した高速連写画像の再生時における静止画像生成や静止画撮影モードで同一日若しくは同一時間帯に個別に撮影された多数の静止画から静止画像を生成する場合にも適用できる。

まず、ステップＳ１〜ステップＳ５の操作実行後ステップＳ６（Ｓ１〜Ｓ６の動作は図４の説明参照）で静止表示中の画像が所望の画像のときは、ＣＰＵ２３は輪郭抽出ブロック３１を制御して注目被写体の人物の輪郭を抽出させ、その輪郭を強調表示する（ステップＳ７）。

次に、ＣＰＵ２３は中心画像の前後のコマとしてピックアップする画像の数の指定を促すメッセージ（例えば、「ピックアップする画像の数を指定してください」と指定可能な数をＬＣＤ２２に表示し、ユーザがピックアップする画像の数を指定するとその数を取得して保持し、ステップＳ９に進む（ステップＳ８）。

ＣＰＵ２３は、上記ステップＳ７で抽出した注目被写体の輪郭を基に、静止表示している画面における注目被写体の人物の左右の表示領域（注目被写体を除く領域）に収まるピックアップ画像表示枠の最大サイズおよび表示位置の座標を算出する。ここで、表示画面における注目被写体の左右の表示領域（注目被写体を除く領域）に表示するピックアップ画像の数が複数の場合はピックアップ画像表示枠の形状は同じであるがサイズが異なる場合があるので、このような場合には、表示画面における注目被写体の左右の表示領域をそれぞれサイズが同一若しくは異なるピックアップ画像表示枠で埋めるようにして各ピックアップ画像表示枠のサイズおよび表示位置の座標を算出する（ステップＳ９）。

次に、上記ステップＳ９で算出したサイズのピックアップ画像表示枠をそれぞれ生成し（ステップＳ１０）、生成したピックアップ画像表示枠をそれぞれのレイアウトデータの示す位置で、現在静止表示中の画像（中心画像）に重ねてＬＣＤ２２に表示する（ステップＳ１１）。

次に、ＣＰＵ２３は、上記ステップＳ９で算出したピックアップ画像表示枠のサイズに合わせて縮小した各ピックアップ画像と現在表示されている画像（中心画像）を内蔵メモリ２４の所定領域に保持（記憶）した後（ステップＳ１２）、上記縮小したピックアップ画像をそれぞれ表示コントローラ２１を介してＬＣＤ２２に表示されている各ピックアップ画像表示枠内に表示する。これにより、図７（ｂ）に示すような合成画像（静止画）が表示される（ステップＳ１３）。

ユーザが確認入力を行う（例えば、ＳＥＴキー６を押す）と静止画像生成指示が出たものとしてステップＳ１７に進み、他のキーが押されると変更（やり直し）指示があったものとしてステップＳ１５に進む（ステップＳ１４）。

変更指示があった場合は、ユーザは画面上に表示されている縮小画像枠のうち、サイズや位置を変更したい縮小画像をカーソルキー５で指定して、サイズや位置の変更指示を行うので、ＣＰＵ２３は変更指示に基づいて縮小画像のサイズや位置の変更処理を実行する（ステップＳ１５）、変更結果でよい場合は確認入力（例えば、ＳＥＴキー６を押す）があった場合はステップＳ１７に進み、他のキーが押されるとピックアップ数を変更するためにステップＳ８に戻る（ステップＳ１６）。

静止画像生成指示があった場合、若しくは変更済みの場合は、上記ステップＳ１２で内蔵メモリ２４に保持した中心画像（データ）と各縮小画像を合成して、ＬＣＤ２２に表示している静止画像と同じレイアウトの静止画像（データ）を生成し（ステップＳ１７）、記録メディア３０に記録する（ステップＳ１８）。

上記図８のフローチャートに示した制御動作により、中心画像のうち注目被写体を除く部分に時間的に前後する画像を縮小した静止画を生成できる。つまり、合成される各縮小画像のサイズをできるだけ大きくできるので、中心画像とそれに時間的に前後する画像との関連がわかり易く、動画や同一時間帯に撮影された静止画のある画像を中心とした画像での共感やユーザが注目した事象を的確に把握できる。

また、上記図８のフローチャートに示す制御動作は、図８の各ステップおよびその説明で「動画」を「高速連写画」、「動画像」を「連写画像」とすれば高速連写画像からの静止画像生成を行う場合の制御フローとして適用できる。また、図８の各ステップおよびその説明で「動画」を「静止画」、「動画像」を「静止画像」とすれば同一日若しくは同一時間帯に個別に撮影された多数の静止画像から静止画像生成を行う場合の制御フローとして適用できる。

以上、本発明のいくつかの実施例について説明したが、本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。例えば、画像処理装置という用語は、パソコンやデジタルカメラやカメラ付き携帯電話機のほか、画像再生機能を有する情報機器などにも適用し得るものである。

デジタルカメラの外観構成の一例を示す図である。 図１に示したデジタルカメラのブロック図である。 実施形態１に係わる静止画生成方法の説明図である。 実施形態１に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。 フレームレイアウトの例およびレイアウトデータの説明図である。 実施形態２に係わる静止画生成方法の説明図である。 実施形態２に係わる静止画生成方法の説明図である。 実施形態２に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。

符号の説明

１３ ＣＣＤ（撮像部）
１９ データ圧縮・伸張ブロック（画像再生手段）
２１ 表示コントローラ（画像表示制御手段、画像再生手段）
２２ ＬＣＤ（出力手段）
２３ ＣＰＵ（画像選択手段、静止画生成手段、画像表示制御手段、レイアウト選択手段）
２９ プログラムメモリ（レイアウト情報記憶手段）
３０ 記録メディア（画像記憶手段）
５４、５６ ピックアップ画像（前後の画像）
５５ 中心画像
６１ 輪郭
１００ デジタルカメラ（カメラ、画像処理装置）

Claims (12)

1. 動画を撮像する動画撮像手段と、
   前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、
   生成される静止画像のレイアウトの情報を複数記憶するレイアウト情報記憶手段と、
   前記動画記録手段に記憶されている動画を再生する動画再生手段と、
   前記動画再生手段によって再生される動画を表示する動画表示制御手段と、
   前記動画表示制御手段によって表示される動画の中から中心画像を選択する画像選択手段と、
   前記レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、
   前記画像選択手段によって選択された中心画像と該中心画像に前後して撮像された動画像を前記レイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画像の画像データを生成する静止画生成手段と、
   前記静止画生成手段によって生成された画像データを出力する出力手段と、
   を備えたことを特徴とするカメラ。
2. 多数の静止画を撮像する撮像手段と、
   前記撮像手段によって撮像された多数の静止画を記録保存する記録手段と、
   生成される静止画像のレイアウトの情報を複数記憶するレイアウト情報記憶手段と、
   前記記録手段に記憶されている多数の静止画を再生する再生手段と、
   前記再生手段によって再生される多数の静止画を表示する表示制御手段と、
   前記表示制御手段によって表示される多数の静止画から中心画像を選択する画像選択手段と、
   前記レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、
   前記画像選択手段によって選択された中心画像と該中心画像に前後して撮像された静止画像を前記レイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画像の画像データを生成する静止画生成手段と、
   前記静止画生成手段によって生成された画像データを出力する出力手段と、
   を備えたことを特徴とするカメラ。
3. 前記中心画像に前後して撮像された静止画像は、該同一日付若しくは同一時間帯に撮像された静止画像であることを特徴とする請求項２に記載のカメラ。
4. 動画を記録した画像記録手段と、
   動画から生成して得る静止画のレイアウトの情報を複数記憶するレイアウト情報記憶手段と、
   前記レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、
   前記画像記憶手段に記憶されている動画を再生する画像再生手段と、
   前記画像再生手段によって再生される動画を表示する画像表示制御手段と、
   前記画像表示制御手段によって表示される動画の中から静止画生成に用いる画像の中心画像を選択する画像選択手段と、
   前記画像選択手段によって選択された中心画像と該中心画像に前後して撮影された動画から前記レイアウト選択手段によって選択されたレイアウトに基づいて配置される静止画の画像データを生成する静止画生成手段と、
   前記静止画生成手段によって生成された画像データを出力する出力手段と、
   を備えたことを特徴とする画像処理装置。
5. 更に、前記画像選択手段によって選択された中心画像に前後して撮影された画像の数を設定する画像数設定手段
   を備え、
   前記レイアウト選択手段は、前記画像数設定手段によって設定された画像数を基に前記レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを自動選択すること、
   を特徴とする請求項４に記載の画像処理装置。
6. 前記静止画生成手段は、前記選択された中心画像に前後して撮影された複数の動画を所定サイズに縮小する手段と、前記中心画像と前記画像縮小手段によって縮小された複数の画像を前記レイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画の画像データを生成する手段とを有する、ことを特徴とする請求項４に記載の画像処理装置。
7. 更に、前記画像選択手段によって選択された中心画像に前後して撮影された動画像の数を設定する画像数設定手段と、
   前記画像選択手段によって選択された中心画像に含まれる被写体画像の輪郭を抽出する輪郭抽出手段と、
   前記輪郭抽出手段によって取得された輪郭外において、前記画像数設定手段によって設定された数の縮小画像表示範囲を取得する縮小画像表示範囲取得手段と、
   を備え、
   前記静止画生成手段は、前記輪郭画像選択手段によって選択された中心画像に対して該中心画像に前後して撮影された画像を前記縮小画像表示範囲取得手段によって取得された縮小画像表示範囲に配置した静止画像の画像データを生成する、
   ことを特徴とする請求項４に記載の画像処理装置。
8. 更に、前記小画像表示範囲取得手段によって取得された縮小画像表示範囲を変更する手段を備えたことを特徴とする請求項７に記載の画像処理装置。
9. 複数の画像を所定のレイアウトで静止画化して出力する静止画生成方法であって、
   メモリに記憶されている動画を再生して表示する工程と、
   表示された動画の中から所望の動画像を選択する工程と、
   前記選択された中心画像と該中心画像に前後して撮影された動画像を前記選択されたレイアウトに基づいて配置した静止画像の画像データを生成する工程と、
   前記生成された画像データを出力する工程と、
   を備えたことを特徴とする静止画生成方法。
10. 画像記録メモリと生成される静止画像のレイアウト情報を複数記憶するレイアウト情報記録メモリを備えたカメラのコンピュータに、
    動画を撮像する機能と、
    撮像された動画を前記記録メモリに記録保存する機能と、
    前記記録メモリに記憶されている動画を再生する機能と、
    再生された動画を表示する機能と、
    表示される複数の動画像の中から中心画像を選択する機能と、
    前記レイアウト情報記憶メモリに記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択する機能と、
    前記選択された中心画像と該中心画像に前後して撮影された動画像を前記レ選択されたレイアウトに基づいて配置した静止画像の画像データを生成する機能と、
    生成された画像データを出力する機能と、
    を実行させるプログラム。
11. 請求項９に記載の静止画生成方法の各ステップをコンピュータに実行させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
12. 請求項１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images