JP2007226606A - 撮像装置、画像出力方法、再生装置、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】 撮像装置、画像出力方法、再生装置、プログラム、及び記憶媒体の提供
【解決手段】 カメラの方を向いた人物の数として「３人以上」を指定すると、動画の各コマ毎にカメラの方を向いた人物の数を検出してカウントし、カウント数が３人以上のコマについて画像を表示する。図示の例で、動画は検出数＝３のコマ３−１で停止させ、カーソル操作により、停止したコマ３−１に続くｋ＋ｌ−１個のコマ３−２〜４−ｌの画像が動画表示する。同様に、検出数４のコマ６−１で停止させ、カーソル操作によりコマ６−１で表示された画像に続くｎ＋ｐ−１個のコマ６−２〜７−ｐの画像を動画表示する。
【選択図】 図３

Description

本発明は動画等の連続撮影画像から多くの人の顔が写っているシーンを静止画像として出力する静止画像生成技術に関する。

動画において人物を検索対象画像の中から速やかに検出する技術として、検出する人物が写った画像をキー画像として指定し、キー画像の顔領域および服装領域の色相ヒストグラムを検索データとして確保し、読み込まれた検索対象画像について領域分割処理を行って領域毎の色相ヒストグラムを確保し、画面全体の色相ヒストリグラムが急激に変化するフレームを上下２方向からスキャン処理を行い、顔領域の色相ヒストグラムに類似した色相ヒストグラムを有する第１の領域および服装領域の色相ヒストグラムに類似した色相ヒストグラムを有する第２の領域を求め、第１の領域と第２の領域とが相互に近接した上下の位置関係にあるときに、これを検出対象の人物とする技術がある（例えば、特許文献１参照）。

また、被撮影者が良い表情である撮影画像を手軽にプリントして楽しむことができるように、撮影された動画の各コマ画像の被撮影者の顔画像を抽出して、各顔画像毎に笑顔評価、端正評価を行い、各コマ画像について、その画像中の各被撮影者の総合笑顔評価値及び総合端正評価値を算出し、コマ画像のうちの一つを解析し、撮影した画像の場面を判断し、当該撮影がカジュアルな場面の撮影であると判断すると、優先評価値を笑顔評価値として設定し、フォーマルな場面の撮影であると判断すると、優先評価値を端正評価値として設定し、優先評価値の高い順に各コマ画像に順位を設定する。そして、順位に基づいて各コマ画像を表示させるデジタルカメラがある（例えば、特許文献２参照）。

また、顔抽出技術を利用してプリント注文時の枚数設定を簡易化する技術として、記録媒体に格納された撮影画像を分析して顔領域を抽出し、抽出した顔領域の数をカウントして人数情報を生成して記録媒体に保持し、プリント注文の際の枚数指定の煩雑さを軽減する技術がある（特許文献３参照）。

特開２０００−３００３３号公報 特開２００２−２０４０９９号公報 特開２００４−１４５５６３号公報

しかしながら、上記特許文献１に記載の技術では、指定した人物を動画フレームの中から認識することはできるが、カメラの方を向いた不特定の人物の顔を認識して人数を検出することはできないので、動画等の連続撮影画像から指定した数（複数）の人が写っているシーンを静止画像として出力することはできなかった。
また、上記特許文献２に記載の技術では優先評価値を端正評価値として設定し、優先評価値の高い順に各コマ画像に順位を設定してから順位に基づいて各コマ画像を表示させるので、動画中で非撮影者が不特定多数であってもそれら被撮影者がよい顔をして写っているフレーム画像を検出して表示したり印刷することはできるが、優先評価値の設定なしに動画中から皆がカメラの方を向いて写っているコマ画像を検出することはできない。
また、上記特許文献３に記載の技術では顔領域を検出して人数情報を生成することはできるが、動画等の連続撮影画像から指定した数（複数）の人が写っているシーンを静止画像として出力したり、中心画像の前後のフレーム画像を合成した静止画像を出力することはできないといった課題があった。

本発明は上記課題を解決するためになされたものであり、簡単に、動画等の連続撮影画像から多くの人の顔が写っているシーンを静止画像として出力する撮像装置、画像出力方法、再生装置、プログラム、及び記憶媒体の提供を目的とする。

上記課題を解決するために、請求項１に記載の発明では、動画を撮像する動画撮像手段と、動画撮像手段によって撮像された動画を記録保存する動画記録手段と、動画記録手段に記録されている動画を再生する画像再生手段と、画像再生手段によって再生される動画の各コマ毎に人物の数を取得する人数情報取得手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、動画の各コマに写っている人物の数を取得することができるので、指定した数の人物が写っているコマの画像を表示したり、出力（記録、印刷、若しくは外部処理装置に送信）することができる。ここで、動画とはＭＰＥＧやモーションＪＰＥＧや高速連写も含む概念である。また、画像再生とは、撮像時に動画記録手段に取り込んでいく画像をリアルタイムで読んで人物の数を取得していく場合も含む概念である。

また、請求項２に記載の発明では、人数情報取得手段によって取得された人物数が所定数であるコマについてのみ画像再生手段によって再生された画像を表示する画像表示制御手段を備えたことを特徴とする請求項１に記載の撮像装置を提供する。
これにより、動画の各コマに写っている画像のうちで所定数の人物が写っているコマを動画表示することができる。また、人物数が所定数であるコマについてのみ動画を表示するので、動画再生に伴う時間を全体的に短縮できる。ここで所定数とは２、３、４、・・・などの一定数に限らず、２以上、３以上、４以上、・・・なども含む概念である。こ

また、請求項３に記載の発明では、人物の数は撮像装置に顔を向けた人物の数であることを特徴とする請求項１または２のいずれかに記載の撮像装置を提供する。
これにより、動画の各コマに写っている画像のうちで所定数の人物が撮像装置の方を向いているコマを動画表示することができる。また、人物数が所定数であるコマについてのみ動画表示するので、動画再生に伴う時間を全体的に短縮できる。また、動画中で、皆が撮像装置の方を向いている画像を皆で楽しく鑑賞できる。

また、請求項４に記載の発明では、更に、生成される静止画像のレイアウトの情報を複数記憶するレイアウト情報記憶手段と、中心画像を選択する画像選択手段と、レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、人数情報取得手段によって取得された人物数が所定数のコマである画像の中から画像選択手段によって選択された中心画像と該中心画像に前後して撮像された動画像をレイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画像の画像データを生成する静止画生成手段と、を備えたことを特徴とする請求項1に記載の撮像装置を提供する。
これにより、動画から所定数の人物が撮像装置の方を向いて写っているコマを取得し、その中からユーザが所望する画像を中心とした所定のレイアウトの静止画を生成することができる。

また、請求項５に記載の発明では、人数情報取得手段によって取得された人物数が所定数であるコマの画像データを出力する出力手段を備えたことを特徴とする請求項１または２に記載の撮像装置を提供する。
これにより、動画から所定数の人物が写っているコマを取得して出力（記録、印刷、若しくは外部処理装置に送信）することができる。また、動画の各コマに写っている画像のうちで所定数の人物が写っているコマを動画表示し、出力（記録、印刷、若しくは外部処理装置に送信）することができる。

また、請求項６に記載の発明では、静止画生成手段によって生成された画像データを出力する出力手段を備えたことを特徴とする請求項３に記載の撮像装置を提供する。
これにより、ユーザは所望の複数の人数の人物が撮像装置の方を向いた動画像の中から所望する画像を中心とした所定のレイアウトの静止画を生成して出力（記録またはプリンタ等や外部処理装置に送信）できる。

また、請求項７に記載の発明では、所定数を設定する人数設定手段を備え、人数設定手段によって設定される数は複数の数であることを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置を提供する。
これにより、ユーザは、複数の数、たとえば、所定数として５を設定すると、動画中で５人の人物が写っているコマを検出し、検出したコマの画像の中から所望する画像を中心とした所定のレイアウトの静止画を生成することができる。また、動画から５人の人物が写っているコマを取得して動画表示したり、出力（記録、印刷、若しくは外部処理装置に送信）することができる。また、ユーザは、例えば、所定数として３を設定すると、動画中で３人以上の人物が写っているコマを検出し、検出したコマの画像の中から所望する画像を中心とした所定のレイアウトの静止画を生成することができる。また、動画から３人以上の人物が写っているコマを取得して動画表示したり、出力することができる。

また、請求項８に記載の発明では、動画を撮像する動画撮像手段と、動画撮像手段によって撮像された動画を記録保存する動画記録手段と、動画記録手段に記録されている動画を再生する画像再生手段と、画像再生手段によって再生される動画の各コマ毎に人物の数を取得する人数情報取得手段と、数情報取得手段によって取得された動画の各コマ毎の人物の数を画像再生手段の再生対象とした動画に関連付けて動画記録手段に保存する人物数保存制御手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、動画の各コマ毎の人数を記憶した多人数静止画位置データを記録されているその動画に関連付けて保存できる。

また、請求項９に記載の発明では、動画記録手段に記録されている動画を再生する第２の画像再生手段と、第２の画像再生手段による動画の再生時に、該動画に関連付けて動画記録手段に保存されている各コマ毎の人物の数を取り出す人物情報取得手段と、人数情報取得手段によって取得された人物の数が所定数であるコマについてのみ画像再生手段によって再生される動画を表示する画像表示制御手段と、人数情報取得手段によって取得された人物の数が所定数であるコマについてのみ画像データを出力する出力手段と、を備えたことを特徴とする請求項８に記載の撮像装置を提供する。
これにより、請求項１〜７に記載の発明と同様の効果に加え、動画ファイルが多人数静止画位置データと関連付けられていない場合は多人数静止画位置データを生成するが、人物情報取得の際に動画表示を伴わないのでより短時間で済み、一回多人数静止画位置データを生成しておけば、次回からは人数検出処理を伴うことなく直ちに多人数静止画像出力動作を開始できる。つまり、この場合の多人数静止画出力動作は人数検出処理を伴わないので動画再生および静止画生成に伴う時間が短時間で済む。

また、請求項１０に記載の発明では、人物の数は撮像装置に顔を向けた人物の数であることを特徴とする請求項８または９のいずれかに記載の撮像装置を提供する。
これにより、動画から所定数の人物が写っているコマを取得して出力（記録、印刷、若しくは外部処理装置に送信）することができる。また、動画の各コマに写っている画像のうちで所定数の人物が写っているコマを動画表示し、出力することができるので、出力先の装置を用いて動画中で、皆が撮像装置の方を向いている画像を抽出して表示したりプリントして皆で楽しく鑑賞できる。

また、請求項１１に記載の発明では、動画再生時における画像の出力方法であって、動画を再生する工程と、再生される動画の各コマ毎に人物の数を取得する工程と、人物数の条件を指定する工程と、取得した人物の数が指定された条件を満たす数であるコマについてのみ再生された動画を表示する工程と、取得した人物数が指定された条件を満たす数であるコマの画像データのみを出力する工程と、を備えたことを特徴とする画像出力方法を提供する。
これにより、動画の各コマに写っている画像に写っている人物の数を取得し、指定した条件を満たす数の人物が写っているコマをのみ動画表示するので、動画再生に伴う時間を全体的に短縮できる。

また、請求項１２に記載の発明では、動画を記録保存する動画記録手段と、動画記録手段に記録されている動画を再生する画像再生手段と、画像再生手段によって再生される動画の各コマ毎に人物の数を取得する人数情報取得手段と、人数情報取得手段によって取得された人物数が所定数であるコマについてのみ画像再生手段によって再生された動画を表示する画像表示制御手段を備えたことを特徴とする再生装置を提供する。
これにより、動画の各コマに写っている人物の数を取得することができるので、指定した数の人物が写っているコマの画像を表示したり、出力（記録、印刷、若しくは外部処理装置に送信）することができる。

また、請求項１３に記載の発明では、人物の数は人物の顔の数であることを特徴とする請求項１２に記載の再生装置を提供する。
これにより、動画の各コマに写っている画像のうちで所定数の人物が撮像装置の方を向いているコマを動画表示することができる。また、人物数が所定数であるコマについてのみ動画表示するので、動画再生に伴う時間を全体的に短縮できる。また、動画中で、皆が撮像装置の方を向いている画像を皆で楽しく鑑賞できる。

また、請求項１４に記載の発明では、画像記録メモリを備えたコンピュータに、再生される動画の各コマ毎に人物の数を取得する機能と、取得された人物数が所定数であるコマについて再生された動画を表示する機能と、を実行させるプログラムを提供する。
これにより、動画再生時に、動画の各コマの画像に写っている人物の数を取得し、所定数の人物が写っているコマをのみ動画表示するので、動画再生に伴う時間を全体的に短縮できる。

また、請求項１５に記載の発明では、画像記録メモリを備えたコンピュータに、画像記録メモリに記録されている動画を再生する第１の動画再生機能と、再生される動画の各コマ毎に人物の数を取得する機能と、取得された動画の各コマ毎の人物の数を再生対象とした動画に関連付けて画像記録メモリに保存する機能と、保存終了後、画像記録メモリに記録されている動画を再生する第２の動画再生機能と、第２の画像再生手段による動画の再生時に、該動画に関連付けて動画記録手段に保存されている各コマ毎の人物の数を取り出す機能と、取得された人物数が所定数であるコマについて、第２の動画再生機能によって再生された動画を表示する機能と、取得された人物数が所定数であるコマの画像データを出力する機能と、を実行させるプログラムを提供する。
これにより、動画が多人数静止画位置データと関連付けられていない場合は多人数静止画位置データを生成し、動画が多人数静止画位置データと関連付けられていない場合は多人数静止画位置データを生成しないので、請求項１〜７に記載の発明と同様の効果に加え、一回多人数静止画位置データを生成しておけば、次回からは人数検出処理を伴うことなく直ちに多人数静止画像出力動作を開始できる。つまり、この場合の多人数静止画出力動作は人数検出処理を伴わないので動画再生および静止画生成に伴う時間が短時間で済む

また、請求項１６に記載の発明では、請求項１４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
この記憶媒体に格納されたプログラムを実行することにより、動画再生時に、動画の各コマの画像に写っている人物の数を取得し、所定数の人物が写っているコマのみを動画表示するので、動画再生に伴う時間を全体的に短縮できる。

また、請求項１７に記載の発明では、請求項１４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
この記憶媒体に格納されたプログラムを実行することにより、動画が多人数静止画位置データと関連付けられていない場合は多人数静止画位置データを生成し、動画が多人数静止画位置データと関連付けられていない場合は多人数静止画位置データを生成しないので、請求項１〜７に記載の発明と同様の効果に加え、一回多人数静止画位置データを生成しておけば、次回からは人数検出処理を伴うことなく直ちに多人数静止画像出力動作を開始できる。つまり、この場合の多人数静止画出力動作は人数検出処理を伴わないのでより動画再生および静止画生成に伴う時間が短時間で済む

本発明によれば、動画の各コマに写っている画像のうちで撮像装置の方を向いている人物の数を取得することができるので、指定した数の人物が撮像装置の方を向いているコマを表示したり、出力（記録、印刷、若しくは外部処理装置に送信）することができる。

図１は、本発明の各実施形態に共通する撮像装置および再生装置の一実施例としてのデジタルカメラの外観を示す図であり、ここでは主として正面（図１（ａ））及び背面（図１（ｂ））の外観を示す。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）２を有している。また、デジタルカメラ１００の背面には図１（ｂ）に示すように、モードダイアル３、液晶モニタ画面４、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、およびメニューキー１０等のキーが設けられている。また、上面にはシャッターキー８、電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。

図２は図１に示したデジタルカメラ１００のブロック図であり、デジタルカメラ１００は、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、高速連写モード、・・・等の撮影モードや、静止画再生モード、動画再生モード等の再生モード等静止画撮影モードと動画撮影モード、連写画像再生モード等を有している。また、動画再生モードの下位モードとして、動画像から静止画像を生成（静止画像化）して出力するための静止画出力モードを有している。なお、高速連写モードは例えば、１秒間に５０枚以上の画像を連続撮影する撮影モードであり、本発明は動画から静止画を生成する場合だけでなく、高速連写モードで撮影された画像から選択した画像とその画像を中心として前後に撮影された画像から静止画像を生成する場合にも適用できる。

つまり、デジタルカメラ１００は、カメラ本体１と、カメラ本体１に着脱可能な記録メディア３０から構成されており、カメラ本体１にはズームレンズやフォーカスレンズからなる光学系１２およびＣＣＤ１３が配置されている。

ＣＣＤ１３は本発明の撮像手段であり、タイミングジェネレータ１７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ１３の出力信号はＣＤＳ回路１４で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換回路１５でデジタル信号に変換される。Ａ／Ｄ変換された撮像信号はＤＳＰブロック１６に入力され、ぺデスタルクランプ等の処理が施された後、ＤＳＰブロック１６内の輝度・色差マトリックス回路で輝度（Ｙ）信号および色差（ＵＶ）信号に変換される。なお、ＤＳＰブロック１６ではオートアイリス（ＡＥ）、ホワイトバランス（ＷＢ）、輪郭強調などの画像の品質向上のための処理も行われる。

ＤＳＰブロック１６で変換されたＹＵＶデータは解像度変換ブロック１８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ２４（例えば、ＳＤ内蔵メモリ２４）に格納される。内蔵メモリ２４に格納された１フレーム分のＹＵＶデータは表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示部）１２によりスルー画像、つまりスルーの動画像として表示される。

静止画モードでの撮影時に内蔵メモリ２４に格納された１フレーム分のＹＵＶデータはデータ圧縮・伸張ブロック１９でＪＰＥＧ方式等によってデータ圧縮後コード化され、内蔵メモリ内でファイル化された後、メディアコントローラ２０を介して記録メディア３０に静止画データ（静止画ファイル）として記録される。

記録メディア３０は本発明の動画記録手段であり、動画撮影時に内蔵メモリ２４に格納されたＹＵＶデータは順次データ圧縮・伸張ブロック１９に送られ、所定の動画記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後にコード化され、内蔵メモリ２４内でファイル化された後、メディアコントローラ２０を介して動画ファイルとして記録メディア３０に記録される。なお、動画撮影のフレームレートはタイミングジェネレータ１７で生成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮・伸張ブロック１９内の電子化テーブル値によって決定される。

データ圧縮・伸張ブロック１９は、静止画または動画の再生時には記録メディア３０から読み出された静止画や動画データを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ２４に展開する。展開された画像は表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ２２により再生画像として表示される。なお、ＬＣＤ２２にはスルー画像や再生画像だけでなく、必要に応じてデジタルカメラ１００における各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。

音声処理ブロック２５は、動画撮影時においてカメラ本体１に内蔵されたマイク２６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ２４に送る。内蔵メモリ２４に送られたオーディオデータはフレームデータとともにストリームデータとして記録メディア３０に順次書き込まれる。また、音声処理ブロック２５は、動画撮影時には、内蔵メモリ２４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ２７から音声出力させる。

キー入力ブロック２８は、上述したモードダイアル３、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、シャッターキー８、電源ボタン９、およびメニューキー１０と、キーが操作されると操作されたキーの操作信号を生成してＣＰＵ２３に送出するキー処理部（図示せず）等から構成されている。

モードダイアル３は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、・・・等の撮影モードや、静止画再生モード、動画再生モード等の再生モード等を選択することができる。

カーソルキー５はモード設定やメニュー選択等に際して液晶モニタ画面４に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、動画再生モードの下位モードである静止画出力モードにおいて１コマに写っている人数が指定されたときは、カーソルキー５を左方向（＞）操作することにより停止した画面を進行方向に１コマずつ進めることができる。また、カーソルキー５を左方向（＞）操作することにより画面を逆方向に１コマずつ進めることができる。

ＳＥＴキー６はカーソルキー５によってカーソルが位置づけられている項目や画像を選択、設定若しくは確認する際に押すキーである。再生モードの下位モードである静止画出力モードにおいて多人数画像抽出モードが選択されたときは、ＳＥＴキー６を押すとその時点で表示されていたコマが生成される静止画の中心画像となる。

ズームボタン７は、ズーム操作に用いられ、光学ズームの場合はズームボタン７（Ｗボタン７−１またはＴボタン７−２）の操作に対応して画角が実際に変化し、液晶モニタ画面４にはワイド（広角）画像又はテレ（望遠）画像が表示される。電子ズームの場合はズームボタン７の操作に対応して光学系１２からの画像がデジタルズーム処理により画像が拡大／縮小されて表示される。

シャッターキー８は、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、静止画撮影モードでは１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。また、動画撮影モードでは録画開始／終了の指示に用いられるほか、静止画出力モードにおいて、シャッターキー８を半押しすると表示中の動画像を停止させて静止表示し、シャッターキー８を全押しすると停止解除となり、動画表示を続行させる動画表示停止／停止解除キーとして用いることができる。なお、シャッターキー８を全押しすると表示中の動画像を停止させて静止表示し、シャッターキー８を半押しすると停止解除となり、動画表示を続行させる動画表示停止／停止解除キーとして用いるようにしてもよい。

メニューキー１０はその時点で処理可能な選択メニューやアイコンを表示する場合に操作されるキーである。

人数検出ブロック３１は動画再生モードの下位モードである静止画出力モードにおいて多人数数が指定されると、動画中のコマから多人数が写されているコマを検出し、検出信号をＣＰＵ２３に送る。ここで、多人数とは静止画出力モード時にユーザが指定する人数であり、実施例では２人以上を選択できる（選択人数の例；２人、３人、４人、５人、・・・１０人、２人以上、３人以上、４人以上、５人以上、・・・、１０人以上）。人数の検出方法は公知の方法を用いることもできる。例えば、前述した特許文献１（特開２０００―３００３３号公報）に記載の技術のように人物を認識する技術や特許文献３（特開２００４−１４５５６３号公報）に記載の人数情報を取得する方法を適宜採用することができる。なお、この多人数検出処理のために専用の回路を設けても良いしＣＰＵ２３で多人数検出用のプログラムを実行させるようにしてもよい。

輪郭抽出ブロック３２は注目被写体（実施例ではフォーカスエリアを含む被写体）から人物の輪郭を抽出する。人物の輪郭抽出方法は公知の方法（例えば、特開平０７−２７４０６７号公報や特開２００４−２９７２７４号公報に記載の輪郭抽出方法）を適宜採用することができる。なお、輪郭抽出ブロック３２は必須ではない。

上述した各ブロックはＣＰＵ２３によって制御されており、ＣＰＵ２３が各ブロックの制御に必要とされるプログラムやデータはＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ２９に記憶されている。そしてＣＰＵ２３は上記プログラムおよびキー入力ブロック２８からのキー入力信号に基づき動作することにより、本発明の選択手段、人数情報取得手段、静止画生成手段、制御手段として機能する。なお、プログラムメモリ２９にはユーザによって設定されたシステムや各機能に関する設定データも記憶されている。

また、プログラムメモリ２９は本発明のレイアウト情報記憶手段でもあり、プログラムメモリ２９には前述した静止画出力モードの動作に際して使用されるレイアウトデータがそのエリア２９ａに格納されている。レイアウトデータは動画像の静止画像化に際して生成する静止画像のデザイン、つまり、中心画像のまわりに縮小して配置するピックアップ画像の数、大きさ、配置等を示すデータである（図６参照）。

図３は動画から検出される多人数画像の表示方法の説明図であり、多人数画像として３人が写っている画像を動画中から検出する場合の表示例である。今、再生する動画中に、２人（コマ数ｉ（１−１〜１−ｉ）、０人（コマ数ｊ（２−１〜１−ｊ）、３人（コマ数ｋ（３−１〜３−ｋ）、２人（コマ数ｌ（４−１〜４−ｌ）、１人（コマ数ｍ（５−１〜５−ｉ）、４人（コマ数ｎ（６−１〜１−ｎ）、３人（コマ数ｐ（７−１〜７−ｐ）、０人（コマ数ｑ（８−１〜１−ｑ）の順にカメラの方を向いた人物が写っているものとする（但し、０人の場合は人物は写っていないコマである）。

多人数画像として３人がカメラの方を向いた画像を動画から検出する際は、コマ１−１〜２−ｊ）には３人未満の人物しか写っていないため画像が表示されずにスキップされる。３人が写っているコマ３−１が検出されるとその位置で停止し、検出されたコマ３−１の画像が表示される。次にシャッターキー８を全押しするとｋ−１個のコマ３−２〜３−３ｋの画像が動画表示される。動画表示中にシャッターキー８が半押しされると押された時点の表示されていたコマで停止し、そのコマの画像が静止表示される。また、シャッターキー８を全押しすると動画表示を開始する。ｋ−１個の動画表示が終了すると、コマ４−１〜６−ｎまでは３人未満の人物しか写っていないので画像の表示がスキップされ、３人が写っているコマ７−１が検出されるとその位置で停止し、コマ３−１の画像が静止画表示される。次にシャッターキー８の全押し操作によりｐ−１個のコマ７−２〜７−ｐの画像が動画表示される。動画表示中にシャッターキー８が半押しされると押された時点の表示されていたコマで停止し、そのコマの画像が静止表示される。また、シャッターキー８を全押しすると動画表示を開始する。なお、シャッターキー８を全押しすると表示中の動画像を停止させて静止表示し、シャッターキー８を半押しすると動画表示を開始するようにしてもよい。

上記説明したように、指定された人数以外の画像については表示をスキップするようにしたことにより、静止画出力のための時間を節約できる。なお、指定された人数が写っている連続したコマを動画表示する場合に所定時間間隔毎にコマを移動させてスロー表示するようにしてもよい。このようにすれば、連続したコマの中から所望の画像を選択し易い。

また、図３の例でカメラの方を向いた人物の数として「３人以上」を指定すると、動画はコマ３−１およびコマ６−１で停止する。また、カーソル操作により表示されたコマ３−１に続くｋ＋ｌ−１個のコマ３−２〜４−ｌの画像が動画表示される。同様に、コマ６−１で表示された画像に続くｎ＋ｐ−１個のコマ６−２〜７−ｐの画像が動画表示される。

上記図３の説明では、指定された人数以外の人物が写っている画像については画像表示をスキップするようにしたが、スキップさせず、動画表示するようにしてもよい。また、指定された人数が写っている連続したコマを動画表示せず、カーソル操作により１コマ１コマ送るようにしてもよい。このようにすると所望の画像がある場合に確実に選択できる。

図４は本実施形態に係わる静止画出力方法の説明図であり、図４（ａ）は動画から検出された多人数画像を示す。図示の例では画像４１は選択された人数の画像として動画から最初に検出された画像である。また、図４（ｂ）で画像４５は生成される静止画におけるレイアウトの中心画像（ハイライトフレーム）としてカーソル操作によって選択された画像である。また、図４（ｃ）は中心画像４５の前後の画像（ピックアップ画像４４、４６）であり、静止画出力時にピックアップされる。図４（ｄ）は生成される静止画を示し、ピックアップ画像の縮小画像４７、４８が選択されたレイアウト（図示の例では、左上隅、右上隅）で配置された静止画像４９が表示される。

図４の例ではピックアップ画像は前後各一つの画像としたが、前後の複数の画像をピックアップすることもできる。ピックアップする画像の数は静止画出力モード開始時にユーザが選択・設定することができる。また、ピックアップ画像は中心画像の直前・直後の画像とは限らず、中心画像より何コマか離れた画像でもよい。なお、ピックアップする画像の数によってレイアウトが異なる（図６参照）。

図５は本実施形態に係わる静止画出力時のＣＰＵによる制御動作を示すフローチャートである。このフローチャートはデジタルカメラ１００に本発明の多人数画像検出機能および静止画像出力機能を実現させるためのプログラムを説明するためのものである。
以下に示す処理は基本的にＣＰＵが予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図１〜図６に基いて説明する。なお、図５に示すフローチャートでは動画再生モードを例として説明するが、本発明の適用範囲は動画再生モードに限定されず、例えば、前述した高速連写モードで撮影した連続撮影画像（高速連写画像）の再生時における静止画像出力にも適用できる。

図５で、動画再生モード選択後、静止画出力モードが選択されると、ＣＰＵ２３は記録メディア３０に記録されている各動画ファイルの代表画像（通常は先頭フレームの縮小画像）をＬＣＤ２２に一覧表示させ、ユーザに所定のキー操作（たとえば、カーソルキー５の操作）により、所望の動画ファイルを選択させる（ステップＳ１）。

次に、ＣＰＵ２３はＬＣＤ２２に人数入力用のウインドウを表示し、１コマに写っている人数の指定（選択入力）を促し、キー入力ブロック２８からの信号を調べて指定された人数を取得し、内蔵メモリ２４に保持（一時記憶）する（ステップＳ２）。人数は実施例では２人以上を指定できる。また、無指定（ＥＮＴＥＲキーの押し下げ）の場合は３人以上が指定されたものとする。なお、図示しない人数入力用のウインドウには、指定可能な人数（たとえば、２人、３人、４人、５人、・・・１０人、２人以上、３人以上、４人以上、５人以上、・・・、１０人以上）が表示され、ユーザは表示される人数のうち所望の人数をカーソルキー５の操作により指定できる。

ＣＰＵ２３は、メディアコントローラ２０を制御して選択された動画ファイルのフレーム画像を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させて画像データを再生し（ステップＳ３）、人数検出ブロック３１を制御して上記ステップＳ３で再生した画像データから顔領域を抽出させ、抽出させ顔領域の数のカウントを行わせてそのコマの中でカメラの方を向いている人物像の数情報（人数情報）を取得し（ステップＳ４）、取得した人数情報と上記ステップＳ２で指定された人数と比較し、取得した人数が指定された人数である場合はステップＳ６に進み、そうでない場合は次の動画フレームデータの再生を行うためにステップＳ３に戻る（ステップＳ５）。

ＣＰＵ２３は、上記ステップＳ３で再生した画像データを内蔵メモリ２４に動画像フレームデータとして展開してから表示コントローラ２１を介してＬＣＤ２２に表示させる（ステップＳ６）。これにより、選択された動画ファイルに記録されている動画像のうち、上記ステップ２で指定された人数の人物像が写っている最初のコマが静止表示される。

ユーザはシャッターキー８を全押し（動画表示指示）することにより指定された数の人物がカメラの方を向いて写っているコマを動画表示できるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べシャッターキー８が全押し操作された場合はステップＳ８に進み、そうでない場合はシャッターキー８の全押し操作を待つ（ステップＳ７）。

ＣＰＵ２３は、メディアコントローラ２０を制御し、選択された動画ファイルのフレーム画像を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させて画像データを再生し（ステップＳ８）、人数検出ブロック３１を制御して上記ステップＳ３で再生した画像データから顔領域を抽出させ、抽出させた顔領域の数のカウントを行わせて人数情報を取得し（ステップＳ９）、取得した人数情報と上記ステップＳ２で指定された人数と比較し、取得した人数が指定された人数である場合はステップＳ１１に進み、そうでない場合は次の動画フレームデータの再生を行うためにステップＳ８に戻る（ステップＳ１０）。

ＣＰＵ２３は、指定人数の（上記ステップＳ８で内蔵メモリ２４に展開した）動画像フレームデータを表示コントローラ２１を介してＬＣＤ２２に順次表示させる（ステップＳ１１）。

ユーザはシャッターキー８を半押しすると再生表示中の動画像を停止させてそのまま表示（つまり、静止表示）させることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、シャッターキー８が半押しされた場合はステップＳ１３に進み、そうでない場合はステップＳ８に戻る（ステップＳ１２）。これによりこのコマの次からシャッターキー８が半押しされるまでは指定人数が写っている各コマが順次動画表示される。なお、このステップで、動画をスロー表示するようにしてもよく、更に、所定時間間隔毎に１コマずつ静止画表示するようにしてもよい。

シャッターキー８が半押しされるとＣＰＵ２３は動画表示を停止するのでＬＣＤ２２にはそのコマの静止画が表示される。ここで、ユーザはカーソルキー５の操作により静止画表示する画像を前のコマに戻したり、次のコマに進めることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、カーソルキー５が操作された場合はカーソルキー５の操作に応じて画面を１コマずつ前に戻して静止表示したり、次のコマに進めて静止画表示する（ステップＳ１３）。

ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、動画表示再開指示（シャッターキー８の全押し）があるとステップＳ３に戻り、中心画像の確定操作（たとえば、ＳＥＴキー６の押し下げ）があるとステップＳ１５に進む（ステップＳ１４）。

ＣＰＵ２３は静止画出力時のレイアウトの中心画像の前後のコマとしてピックアップする画像の数の指定を促すメッセージ（例えば、「ピックアップする画像の数を指定してください」と指定可能な数をＬＣＤ２２に表示し、ユーザがピックアップする画像数を選択するとその数を取得して保持し、ステップＳ１６に進む（ステップＳ１５）。

ＣＰＵ２３は、上記ステップＳ８で取得した前後のフレーム画像の数に対応するレイアウトデータ（図６）をプログラムメモリ２９から取り出してピックアップ画像表示枠を生成し（ステップＳ１６）、生成したピックアップ画像表示枠をレイアウトデータの示す位置で、現在静止表示中の画像（中心画像）に重ねてＬＣＤ２２に表示する（ステップＳ１７）。

次に、ＣＰＵ２３は内蔵メモリ２４から、現在表示されている画像（中心画像）のフレーム画像を内蔵メモリ２４の所定領域に保持（記憶）すると共に、前後のフレーム画像（ピックアップ画像）をステップＳ１５で取得した前後のフレーム画像の数だけ取り出し（ステップＳ１８）、上記ステップＳ１８で生成したピックアップ画像表示枠のサイズに縮小して内蔵メモリ２４の所定領域に保持（記憶）した後（ステップＳ１９）、縮小したピックアップ画像を表示コントローラ２２を介してＬＣＤ２２に表示されているピックアップ画像表示枠内に表示する。これにより、図４（ｄ）に示すような合成画像（静止画）が表示される（ステップＳ２０）。上記縮小画像は、毎回作成しなくても予め用意されているサムネイル等を用いてもよい。

ユーザが確認入力を行う（例えば、ＳＥＴキー６を押す）と静止画像生成指示が出たものとしてステップＳ２４に進み、他のキー（例えば、カーソルキー５）が押されると変更（やり直し）指示があったものとしてステップＳ２２に進む（ステップＳ２１）。

変更指示があった場合は、上記ステップＳ１４で取得した前後のフレーム画像の数に対応するレイアウトデータ（図６）を調べ、対応するレイアウトデータがない場合はステップＳ１４に戻り（ステップＳ２２）、対応するレイアウトデータがあった場合はそのレイアウトデータをプログラムメモリ２９から取り出してピックアップ画像表示枠を生成し、ステップＳ１７に戻る（ステップＳ２３）。

静止画像生成指示があった場合は、ＣＰＵ２３は内蔵メモリ２４に保持した中心画像のフレーム画像（データ）と、上記ステップＳ１９で内蔵メモリ２４に保持した各縮小画像を合成して、ＬＣＤ２２に表示している静止画像と同じレイアウトの静止画像（データ）を生成し（ステップＳ２４）、記録メディア３０に上記ステップＳ２で保持した指定人数とステップＳ２４で生成した静止画データを関連付けてそれぞれ記録し（ステップＳ２５）、次の画像データがある場合はステップＳ３に戻り、そうでない場合は一連の処理を終了する（ステップＳ２６）。なお、上記ステップＳ２５で指定人数とステップＳ２４で生成した静止画データ関連付けてそれぞれプリンタ等の外部処理装置に送信するようにしてもよい。

上記図５のフローチャートに示した制御動作により、ユーザは所望の人数の人物がカメラの方を向いた動画像の中から所望する画像を中心とした所定のレイアウトの静止画を生成して出力（記録またはプリンタ等や外部処理装置に送信）できるので、皆がカメラの方を向いて写っている画像を再生表示したり印刷したりすることができる。また、静止画の記録の際に人数情報も出力するので、印刷の際にその人数情報を基に人数分の写真を自動印刷することもできる。また、所望の人数の人物がカメラの方を向いた画像のみを表示するので、処理に要する時間が全体として短時間で済む。

なお、上記図５のフローチャートでは中心画像と前後の画像を合成した静止画を生成して出力するようにしたが、ステップＳ１５〜Ｓ２４を省略し、ステップＳ１４を「ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、動画表示再開指示（シャッターキー８の全押し）があるとステップＳ３に戻り、出力画像の確定操作（たとえば、ＳＥＴキー６の押し下げ）があると次のステップ（つまり、ステップＳ２５の記録処理）に進む」としてもよい。

また、上記図５のフローチャートでは圧縮された動画データから静止画を出力する例について述べたが、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画を出力することもできる。

また、上記図５のフローチャートに示す制御動作は、図５の各ステップおよびその説明で「動画」を「高速連写画」、「動画像」を「連写画像」とすれば高速連写画像からの静止画像生成を行う場合の制御フローとして適用できる。

図６はフレームレイアウトの例およびレイアウトデータの説明図であり、図６（ａ）〜（ｅ）はフレームレイアウトの例、図６（ｆ）はプログラムメモリに格納されているレイアウトデータのデータ構造を示す図である。

前記図４の例では、ピックアップ画像の数が前後各１個のとき左上隅と右下隅にピックアップ画像の縮小画像を配したレイアウトを示したが、図６（ａ）はピックアップ画像の数が前後各１個のとき右上隅と左上隅にピックアップ画像の縮小画像７１−１，７１−２を配すようにした例であり、図６（ｂ）はピックアップ画像の数が前後各１個のとき右上隅と左下隅にピックアップ画像の縮小画像７１−１，７１−２を配すようにした例であり、図６（ｃ）はピックアップ画像の数が前後各２個のとき四隅にピックアップ画像の縮小画像７１−１、７１−２、７２−１、７２−２を配すようにした例、図６（ｄ）はピックアップ画像の数が前後各３つのとき左右に３個ずつピックアップ画像の縮小画像７１−１、７１−２、７１−３、７２−１、７２−２、７２−３を配すようにした例、図６（ｅ）はピックアップ画像の数が前後各３つのとき上下に３個ずつピックアップ画像の縮小画像７１−１、７１−２、７１−３、７２−１、７２−２、７２−３を配すようにした例である。なお、ピックアップ画像は中心画像の撮影時間より前後にタイミングをずらしたフレーム画像である。図示の例では中心画像の撮影時間より前後に１〜３個分のピックアップ画像を指定した場合のレイアウトを示したが、ピックアップ画像の数は前後に１〜３個ずつに限定されず、４個以上であってもよい。また、レイアウトはユーザが作成、登録できるようにしてもよい。

また、図６（ｅ）で、レイアウトデータ８０は動画像の静止画像化に際して生成する静止画像のデザイン、つまり、ピックアップ画像の数８１、ピックアップ画像から生成する縮小画像のサイズ８２、縮小画像の配置位置（各縮小画像の中心座標）８３等からなる）。なお、縮小画像の配置位置は各縮小画像の始点と終点の座標としてもよい。

なお、上記図５のフローチャートおよび図６では所定のレイアウトで規定された位置にレイアウトデータを表示するようにしたが、フォーカスエリアを含む被写体部分から輪郭抽出ブロック３２（図２）によって人物の輪郭を抽出し、注目被写体部分を除く部分（背景部分等）に自動的フレーム画像表示枠を表示してレイアウトが像を表示するようにしてもよい。この場合、注目被写体部分の人物の輪郭が抽出されると、ユーザが選択・指定したピックアップ画像の数を基に画面内の注目被写体部分の人物を除く部分に指定した数のフレーム画像表示枠が自動的を生成・表示するようにし、フレーム画像表示枠のサイズは中心被写体人物左右の背景部分の面積やサイズを基に決定するようにする。

（実施形態２）
上記実施形態１では動画から直接所望の人数の人物が写っている静止画を出力する例について説明したが、本実施形態では、動画の再生時若しくは撮影時に各コマの人物情報（写っている人物の数情報）を検出して各コマに対応付けて記録メディア３０に記録しておき、静止画の出力時に用いる例について説明する。本実施形態で用いるカメラとして実施形態１のデジタルカメラ１００を用いるものとする。以下、図１〜図４および図６〜図９を基に説明する。

図７は実施形態２に係わる多人数静止画位置データの説明図であり、図７（ａ）は人数検出ブロック３１によって検出された動画の各コマに写っているカメラの方を向いた人物の数の一例を示す図であり、１〜ｋ＋１コマまでを例示している。また、図７（ｂ）は本実施形態で生成される多人数静止画位置データの一実施例であり、図７（ａ）の各コマに対応したものである。
多人数静止画位置データ９０は動画の再生時若しくは撮影時に人数検出ブロック３１で検出した各コマの人数情報（写っている人物の数情報）を検出して動画の記録時に各コマに対応付けて記憶される。図７（ｂ）の例では多人数静止画位置データ９０は図７（ａ）のコマ１〜k＋１に対応して人数２、・・・・・２、０、・・・、０、３、・・・、３、２、・・・が記録されている。デジタルカメラ１００は動画再生モードで静止画出力モードが選択され、多人数が選択されるとこの多人数静止画位置データ９０を基に、指定された動画像データを読み出して出力（表示または印刷）することができる。

図８は多人数静止画位置データ生成機能を備えたデジタルカメラの静止画出力時のＣＰＵによる制御動作を示すフローチャートである。
このフローチャートはデジタルカメラ１００に本発明の多人数静止画位置データ記録機能（ステップＴ３〜ステップＴ７に相当）および静止画像出力機能を実現させるためのプログラムを説明するためのものである。
以下に示す処理は基本的にＣＰＵが予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図１〜図５、図６〜図８に基いて説明する。なお、図８に示すフローチャートでは動画再生モードを例として説明するが、本発明の適用範囲は動画再生モードに限定されず、例えば、前述した高速連写モードで撮影した連続撮影画像（高速連写画像）の再生時における静止画像出力にも適用できる。

図８で、動画再生モード選択後、静止画出力モードが選択されると、ＣＰＵ２３は記録メディア３０に記録されている各動画ファイルの代表画像（通常は先頭フレームの縮小画像）をＬＣＤ２２に一覧表示させ、ユーザに所定のキー操作（たとえば、カーソルキー５の操作）により、所望の動画ファイルを選択させる（ステップＴ１）。

ＣＰＵ２３は記録メディア３０の管理領域を調べ、上記ステップＴ１で選択された動画ファイルに関連付けられた人数情報（多人数静止画位置データ）の有無を判定し、人数情報が選択された動画ファイルに関連付けられて記録されている場合はステップＴ８に進む（ステップＴ２）。つまり、ステップＴ１で選択された動画ファイルに関連付けられて記録されている多人数静止画位置データがある場合は、下記ステップＴ３〜Ｔ７で動画ファイルから人数検出および多人数静止画位置データの記録処理を行わなくてもよいので、直ちにステップＴ８以下の静止画像出力動作を開始できる。

ＣＰＵ２３は、メディアコントローラ２０を制御して選択された動画ファイルのフレーム画像を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させて画像データを再生し（ステップＴ３）、人数検出ブロック３１を制御して上記ステップＴ３で再生した画像データから顔領域を抽出させ、抽出させた顔領域の数のカウントを行わせてそのコマの中でカメラの方を向いている人物像の数情報（人数情報）を取得し（ステップＴ４）、取得した人数情報を内蔵メモリ２４に確保した多人数静止画位置記憶エリアに追加記憶する（ステップＴ５）。多人数静止画位置記憶エリアは多人数静止画位置データ９０のように選択された動画のコマ数分の人数記憶領域分（図７（ｂ）参照）のサイズを備えており、検出された人数が読み取られたコマと１対１に対応付けられて順次記憶される。

ＣＰＵ２３は上記ステップＴ３〜Ｔ５の動作を上記ステップＴ１で選択された動画ファイルの動画像データが終わるまで（つまり全コマを読み取るまで）繰り返し（ステップＴ６）、全データの処理が終わると内蔵メモリ２４の多人数静止画位置記憶エリアに記憶した人数データを多人数静止画位置データとして、記録メディア３０に記録されている動画ファイルのうち上記ステップＴ１で選択した動画ファイルと関連付けて記録メディア３０に記録する（ステップＴ７）。

多人数静止画位置データがすでに存在しているか上記ステップＴ７で多人数静止画位置データの記録が終了すると、ＣＰＵ２３はＬＣＤ２２に人数入力用のウインドウを表示し、１コマに写っている人数の指定（選択入力）を促し、キー入力ブロック２８からの信号を調べて指定された人数を取得し、内蔵メモリ２４に保持（一時記憶）する（ステップＴ８）。人数は実施例では２人以上を指定できる。また、無指定（ＥＮＴＥＲキーの押し下げ）の場合は本実施例では３人以上が指定されたものとしているがこれに減退されない。なお、図示しない人数入力用のウインドウには、指定可能な人数（たとえば、２人、３人、４人、５人、・・・１０人、２人以上、３人以上、４人以上、５人以上、・・・、１０人以上）が表示され、ユーザは表示される人数のうち所望の人数をカーソルキー５の操作により指定できる。

次に、ＣＰＵ２３は記録メディア３０に記録されている動画ファイルのうち上記ステップＴ１で選択された動画ファイルをオープンして読み取り可能状態にしてから（ステップＴ９）、上記ステップＴ１で選択された動画ファイルに関連付けて記録メディア３０に記録されている各コマの人数情報（多人数静止画位置データ）を読み出して内蔵メモリ２４に確保されている多人数静止画位置記憶エリアに記憶し（ステップＴ１０）、多人数静止画位置記憶エリアに記憶されている人数情報を１コマ分取り出して上記ステップＴ８で指定された人数と比較し、人数が一致した場合はステップＴ１２に進み、そうでない場合は次のコマの人数を比較するためにこのステップを繰り返す（ステップＴ１１）。

ＣＰＵ２３は、メディアコントローラ２０を制御して上記ステップＴ９でオープンされた動画ファイルのフレーム画像のうち、上記ステップＴ８で指定された人数と写っている人物の人数が一致したコマのコマ番号と同じコマ番号のフレーム画像を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させた画像データを内蔵メモリ２４にフレームデータとして展開してから表示コントローラ２１を介してＬＣＤ２２に表示させる（ステップＴ１２）。これにより、選択された動画ファイルに記録されている動画像のうち、上記ステップ２で指定された人数の人物像が写っている最初のコマが静止画表示される。

ユーザはシャッターキー８を全押し（動画表示指示）することにより指定された数の人物がカメラの方を向いて写っているコマを動画表示できるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べシャッターキー８が全押し操作された場合はステップＴ１４に進み、そうでない場合はシャッターキー８の全押し操作を待つ（ステップＴ１３）。

ＣＰＵ２３は多人数静止画位置記憶エリアに記憶されている人数情報を１コマ分取り出して上記ステップＴ８で指定された人数と比較し、人数が一致した場合はステップＴ１５に進み、そうでない場合は次のコマの人数を比較するためにこのステップを繰り返す（ステップＴ１４）。

ＣＰＵ２３は、メディアコントローラ２０を制御して上記ステップＴ９でオープンされた動画ファイルのフレーム画像のうち、指定された人数と人数が一致したコマのコマ番号と同じコマ番号のフレーム画像を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させた画像データを内蔵メモリ２４にフレームデータとして展開してから表示コントローラ２１を介してＬＣＤ２２に表示させる（ステップＴ１５）。

ユーザはシャッターキー８を半押しすると再生表示中の動画像を停止させてそのまま表示（つまり、静止表示）させることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、シャッターキー８が半押しされた場合はステップＴ１７に進み、そうでない場合はステップＴ１４に戻る（ステップＴ１６）。これによりこのコマの次からシャッターキー８が半押しされるまでの間は指定人数が写っている各コマが順次動画表示される。なお、このステップで、動画をスロー表示するようにしてもよく、更に、所定時間間隔毎に１コマずつ静止表示するようにしてもよい。

シャッターキー８が半押しされるとＣＰＵ２３は動画表示を停止するのでＬＣＤ２２にはそのコマの静止画が表示される。ここで、ユーザはカーソルキー５の操作により静止表示する画像を前のコマに戻したり、次のコマに進めることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、カーソルキー５が操作された場合はカーソルキー５の操作に応じて画面を１コマずつ前に戻して静止表示したり、次のコマに進めて静止画表示する（ステップＴ１７）。

ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、動画表示再開指示（シャッターキー８の全押し）があるとステップＴ１４に戻り、中心画像の確定操作（たとえば、ＳＥＴキー６の押し下げ）があるとステップＴ１９に進む（ステップＴ１８）。

ステップＴ１９〜Ｔ２９までの動作は図５のステップＳ１５〜Ｓ２５の動作と同様である。但し、図５のステップＳ１５〜Ｓ２５までのステップ番号をＴ２０〜Ｔ３０に夫々対応させて読み替えるものとする）。ステップＴ２９の記録処理が終了したあと、次の画像データがある場合はステップＴ１２に戻り、そうでない場合は一連の処理を終了する（ステップＴ３０）。

上記図８のフローチャートに示した動作により、実施形態１と同様の効果に加え、動画ファイルが多人数静止画位置データと関連付けられていない場合は多人数静止画位置データを生成するが、人数情報取得の際は動画表示を伴わないので短時間で済み、一回多人数静止画位置データを生成しておけば次回から、人数検出処理を伴うことなく直ちに多人数静止画像出力動作を開始できる。つまり、この場合の多人数静止画出力動作は人数検出処理を伴わないので実施形態１の静止画像出力動作より短時間で済む。

また、上記図８のフローチャートに示した多人数静止画位置データ記録動作（ステップＴ３〜ステップＴ７）は動画撮影時に多人数静止画位置データを生成して動画に対応付けて記録メディア３０に記録する場合にも適用することができる。たとえば、撮影した動画データの記録時に動画の各コマの人数を検出し、各動画のコマ検出した人数を対応付けた多人数静止画位置データを生成し、その多人数静止画位置データを記録する動画ファイルに関連付けて記録メディア３０に記録するようにすればよい。

なお、上記図８のフローチャートでは中心画像と前後の画像を合成した静止画を生成して出力するようにしたが、ステップＴ１９〜Ｔ２８を省略し、ステップＴ１８を「ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、動画表示再開指示（シャッターキー８の全押し）があるとステップＴ１４戻り、出力画像の確定操作（たとえば、ＳＥＴキー６の押し下げ）があると次のステップ（つまり、ステップＴ２９の記録処理）に進む」としてもよい。

また、上記図８のフローチャートでは圧縮された動画データから静止画を出力する例について述べたが、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画を出力することもできる。

また、上記図８のフローチャートに示す制御動作は、図８の各ステップおよびその説明で「動画」を「高速連写画」、「動画像」を「連写画像」とすれば高速連写画像からの静止画像生成を行う場合の制御フローとして適用できる。

上記実施形態１および実施形態２では、指定された数のみまたは指定された数以上の人物がカメラの方を向いて写っているコマ若しくは指定された数のみまたは指定された数以上の人物が写っているコマを出力（記録メディア３０に記録したり、外部処理装置に送信）する場合、これらの画像を表示するようにしたが、これらの画像を全く表示することなく、記録メディア３０から読み出したコマ（１動画フレーム分の画像データ）のうち条件に適合したコマのみを出力するようにしてもよい。

また、上記実施形態１および実施形態２では動画から検出する人数を指定するようにしたが、あらかじめ、設定された人数を「多人数」として検出時の多人数判定値とするようにしてもよい。

以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。例えば、カメラという用語は、デジタルカメラ等の電子カメラのほかやカメラ付き携帯電話機や撮像機能を有する情報機器などにも適用し得るものである。
また、一旦撮像した動画像を後で再生するときに今物の数などを取得しているが、撮像時にリアルタイムで取得するようにしてもよい。

デジタルカメラの外観構成の一例を示す図である。 図１に示したデジタルカメラのブロック図である。 動画から検出される多人数画像の表示方法の説明図である。 実施形態１に係わる静止画出力方法の説明図である。 実施形態１に係わる静止画出力時のＣＰＵによる制御動作を示すフローチャートである。 フレームレイアウトの例およびレイアウトデータの説明図である。 多人数静止画位置データの説明図である。 多人数静止画位置データ生成機能を備えたデジタルカメラの静止画出力時のＣＰＵによる制御動作を示すフローチャートである。

符号の説明

１３ ＣＣＤ
１９ データ圧縮・伸張ブロック
２１ 表示コントローラ
２２ ＬＣＤ
２３ ＣＰＵ２９ プログラムメモリ
３０ 記録メディア
３１ 人数検出ブロック
３２ 輪郭抽出ブロック
５４、５６ ピックアップ画像
５５ 中心画像
６１ 輪郭
９０ 多人数静止画位置データ
１００ デジタルカメラ

Claims (17)

1. 動画を撮像する動画撮像手段と、
   前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、
   前記動画記録手段に記録されている動画を再生する画像再生手段と、
   前記画像再生手段によって再生される動画の各コマ毎に人物の数を取得する人数情報取得手段と、
   を特徴とする撮像装置。
2. 前記人数情報取得手段によって取得された人物数が所定数であるコマについてのみ前記画像再生手段によって再生された動画を表示する画像表示制御手段を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記人物の数は撮像装置に顔を向けた人物の数であることを特徴とする請求項１または２のいずれかに記載の撮像装置。
4. 更に、生成される静止画像のレイアウトの情報を複数記憶するレイアウト情報記憶手段と、
   中心画像を選択する画像選択手段と、
   前記レイアウト情報記憶手段に記憶されている複数のレイアウトの中から静止画生成に用いるレイアウトを選択するレイアウト選択手段と、
   前記人数情報取得手段によって取得された人物数が所定数のコマである画像の中から前記画像選択手段によって選択された中心画像と該中心画像に前後して撮像された動画像を前記レイアウト選択手段によって選択されたレイアウトに基づいて配置した静止画像の画像データを生成する静止画生成手段と、
   を備えたことを特徴とする請求項１記載の撮像装置。
5. 前記人数情報取得手段によって取得された人物数が前記所定数であるコマの画像データを出力する出力手段を更に備えたことを特徴とする請求項１または２に記載の撮像装置。
6. 前記静止画生成手段によって生成された画像データを出力する出力手段を更に備えたことを特徴とする請求項４に記載の撮像装置。
7. 前記所定数を設定する人数設定手段を備え、
   前記人数設定手段によって設定される数は複数の数であることを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
8. 動画を撮像する動画撮像手段と、
   前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、
   前記動画記録手段に記録されている動画を再生する画像再生手段と、
   前記画像再生手段によって再生される動画の各コマ毎に人物の数を取得する人数情報取得手段と、
   前記数情報取得手段によって取得された動画の各コマ毎の人物の数を前記画像再生手段の再生対象とした動画に関連付けて前記動画記録手段に保存する人物数保存制御手段と、
   を備えたことを特徴とする撮像装置。
9. 前記動画記録手段に記録されている動画を再生する第２の画像再生手段と、
   前記第２の画像再生手段による前記動画の再生時に、該動画に関連付けて前記動画記録手段に保存されている各コマ毎の人物の数を取り出す人物情報取得手段と、
   前記人数情報取得手段によって取得された人物の数が所定数であるコマについてのみ前記画像再生手段によって再生される動画を表示する画像表示制御手段と、
   前記人数情報取得手段によって取得された人物の数が所定数であるコマについてのみ画像データを出力する出力手段と、
   を備えたことを特徴とする請求項８に記載の撮像装置。
10. 前記人物の数は撮像装置に顔を向けた人物の数であることを特徴とする請求項８または９のいずれかに記載の撮像装置。
11. 動画再生時における画像の出力方法であって、
    動画を再生する工程と、
    再生される動画の各コマ毎に人物の数を取得する工程と、
    人物数の条件を指定する工程と、
    前記取得した人物の数が指定された条件を満たす数であるコマについてのみ前記再生された動画を表示する工程と、
    前記取得した人物数が指定された条件を満たす数であるコマの画像データのみを出力する工程と、
    を備えたことを特徴とする画像出力方法。
12. 動画を記録保存する動画記録手段と、
    前記動画記録手段に記録されている動画を再生する画像再生手段と、
    前記画像再生手段によって再生される動画の各コマ毎に人物の数を取得する人数情報取得手段と、
    前記人数情報取得手段によって取得された人物数が所定数であるコマについてのみ前記画像再生手段によって再生された動画を表示する画像表示制御手段を備えたことを特徴とする再生装置。
13. 前記人物の数は人物の顔の数であることを特徴とする請求項１２記載の再生装置。
14. 画像記録メモリを備えたコンピュータに、
    前記画像記録メモリに記録されている動画を再生する機能と、
    前記再生される動画の各コマ毎に人物の数を取得する機能と、
    前記取得された人物数が所定数であるコマについて前記再生された動画を表示する機能と、
    を実行させるプログラム。
15. 画像記録メモリを備えたコンピュータに、
    前記画像記録メモリに記録されている動画を再生する第１の動画再生機能と、
    前記再生される動画の各コマ毎に人物の数を取得する機能と、
    前記取得された動画の各コマ毎の人物の数を前記再生対象とした動画に関連付けて前記画像記録メモリに保存する機能と、
    前記保存終了後、前記画像記録メモリに記録されている動画を再生する第２の動画再生機能と、
    前記第２の画像再生手段による前記動画の再生時に、該動画に関連付けて前記動画記録手段に保存されている各コマ毎の人物の数を取り出す機能と、
    前記取得された人物数が所定数であるコマについて、前記第２の動画再生機能によって再生された動画を表示する機能と、
    前記取得された人物数が所定数であるコマの画像データを出力する機能と、
    を実行させるプログラム。
16. 請求項１４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
17. 請求項１５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

Images