JP2014516222A - 興味の特徴を含むビデオサマリー - Google Patents

Abstract

ビデオサマリーを提供するデジタルビデオカメラシステムであって、以下のステップを含む方法を使用する。参照データを指定するステップであり、前記参照データは興味の特徴を示すステップ；画像センサーを使用してシーンのビデオシーケンスをキャプチャーするステップであり、ビデオシーケンスは画像フレームのタイムシーケンスを含んでいるステップ；デジタルビデオファイルを形成するためにビデオ処理パスを使用してキャプチャーされたビデオシーケンスを処理するステップ；特徴認識アルゴリズムを使用して、興味の特徴を含む画像フレームのサブセットを特定するために、キャプチャーされた画像フレームを分析するステップ；キャプチャーされたビデオシーケンスの中の全ての画像フレームより少ない画像フレームを含むビデオサマリーを形成するステップであり、ビデオサマリーは、興味の特徴を含んでいる特定された画像フレームのサブセットを少なくとも部分的に含んでいるステップ；デジタルビデオファイルをストレージメモリーの中に保管するステップ；ビデオサマリーの表現をストレージメモリーの中に保管するステップ、である。

Description

本発明は、デジタルビデオ処理に関し、より特定的には、デジタルビデオサマリーを形成するためのシステム及び方法に関する。

多くのデジタルキャプチャーデバイスは、静止画像はもちろんビデオをキャプチャーすることができる。デジタルビデオコンテンツを管理することは、しかしながら、難しい仕事である。ビデオは、しばしば、ビデオの最初のフレームのサムネイル画像を用いて視覚的に表現される。これは、ビデオのコンテンツについて多くの洞察ができないことがある。与えられたビデオの中に特定のイベントが含まれているかを判断することは、しばしば、ビデオフレームの全体を視聴することを要求するものである。長時間のビデオに対して、ユーザーにとっては、そのビデオ全体を視聴することなく、ビデオのクイックサマリーを得ることができることが好ましい。

デジタルビデオは、また、共有の観点からの現実的な問題を表している。多くのデジタルキャプチャーデバイスは、毎秒３０から６０フレームを、１９２０×１０８０ピクセルの高解像度でビデオを記録する。圧縮した場合においてさえ、生成されたビデオの量は、比較的に短時間のビデオでさえ共有することを非現実的なものとしている。

より容易に共有することができるより短いバージョンへとビデオを手動で集約するために、ビデオ編集ソフトウェアを使用することができる。しかしながら、手動のビデオ編集は、時間が掛かり、骨の折れるプロセスであり、多くのユーザーは手動の編集に興味はない。自動ビデオ集約アルゴリズムも、同様に存在する。こうしたソリューションは、入力としてキャプチャーされたビデオを用いて開始され、ビデオサマリーを決定するためにビデオを分析する。発明者ラタコンダ（Ｒａｔａｋｏｎｎｄａ）の米国特許第５９９５０９５号明細書、タイトル“Ｍｅｔｈｏｄ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｓｕｍｍａｒｉｚａｔｉｏｎ ａｎｄ ｂｒｏｗｓｉｎｇ ｏｆ ｄｉｇｉｔａｌ ｖｉｄｅｏ”は、ビデオシーケンスに基づいて階層的なサマリーを生成する方法を開示している。発明者リら（Ｌｉ ｅｔ ａｌ．）の米国特許第７０３５４３５号明細書、タイトル“Ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｓｕｍｍａｒｉｚａｔｉｏｎ ａｎｄ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ”は、ビデオの中のそれぞれのシーン、ショット、および、フレームに対して重要値を割当て、ビデオサマリーのための主要フレームを決定するのに重要度を使用する方法が記載されている。発明者エドワードら（Ｅｄｗａｒｄ ｅｔ ａｌ．）の米国特許第７４８３６１８号明細書、タイトル“Ａｕｔｏｍａｔｉｃ ｅｄｉｔｉｎｇ ｏｆ ａ ｖｉｓｕａｌ ｒｅｃｏｒｄｉｎｇ ｔｏ ｅｌｉｍｉｎａｔｅ ｃｏｎｔｅｎｔ ｏｆ ｕｎａｃｃｅｐｔａｂｌｙ ｌｏｗ ｑｕａｌｉｔｙ ａｎｄ／ｏｒ ｌｉｔｔｌｅ ｏｒ ｎｏ ｉｎｔｅｒｅｓｔ”は、ビデオサマリーを決定する方法を開示しており、クオリティが低いか、興味がないコンテンツはビデオから削除される。

しかしながら、自動ビデオ集約アルゴリズムは非常に複雑である。ビデオサマリーを決定するのに必要な分析を実行するためにビデオをデコードする必要があるからである。従って、デジタルキャプチャーデバイス上で、ジャストキャプチャービデオ（ｊｕｓｔ−ｃａｐｔｕｒｅｄ ｖｉｄｅｏ）に対応するビデオサマリーを直ちに視聴することはできない。この欠点が、素早いレビューとキャプチャーされたビデオの共有を促進することを難しくしている。

ビデオサマリーを作成する場合、しばしば、サマリーの中に所定の特徴を有することが望まれる。ビデオサマリーは、その中に特徴が表現されているいくつか又は全てのビデオコンテンツを含むように作成される。こうした特徴の例は、人、ペット、イベント、場所、動作、および、対象物を含んでいる。手動で、こうした注文仕立てのビデオサマリーを作成することは、退屈なプロセスであり得るものである。注文仕立てのこうしたビデオサマリーを生成するためにデスクトップソフトウェアを使用することは、素早くレビューしてビデオサマリーを共有する可能性を妨げてしまう。

従って、デジタルキャプチャーデバイスにおいてビデオサマリーを算出するためのシステム及び方法を提供することが望ましい。特に、ビデオキャプチャーが完了して最小の遅れをもって、デジタルキャプチャーデバイス上でビデオサマリーを生成することができるソリューションを提供することが望ましいであろう。また、ユーザー所定の特徴を含むビデオサマリーを提供することも望ましいであろう。

米国特許第５９９５０９５号明細書 米国特許第７０３５４３５号明細書 米国特許第７４８３６１８号明細書 米国特許公開第２００７／００２４９３１号公報 米国特許第６２９２２１８号明細書 米国特許第５６６８５９７号明細書 米国特許出願第２０１１／０２９２２８８号公報 米国特許出願第２０１１／０２９３０１８号公報

本発明は、興味の特徴を含んでいるビデオフレームのサブセット（ｓｕｂｓｅｔ）を決定するためにキャプチャーする時点でビデオフレームを分析するという利点を有している。それにより、ビデオサマリーを作成する時点でビデオデータを解凍する必要を取り除いている。

本発明は、ビデオシーケンスをキャプチャーして、関連するビデオサマリーを提供するためのデジタルビデオカメラシステムを表している。本発明に係るシステムは、
デジタル画像をキャプチャーするための画像センサーと；
前記画像センサー上にシーンの画像を形成するための光学系と；
データ処理システムと；
キャプチャーされたビデオシーケンスを保管するためのストレージメモリーと；
前記データ処理システムに通信可能に接続されたプログラムメモリーであり、前記データ処理システムにビデオサマリーを形成するための方法を実施するようにさせるように構成されたインストラクションを保管しているプログラムメモリーと、
を含み、
前記方法は、
参照データを指定するステップであり、前記参照データは興味の特徴を示すステップと；
前記画像センサーを使用して前記シーンのビデオシーケンスをキャプチャーするステップであり、前記ビデオシーケンスは画像フレームのタイムシーケンスを含んでいるステップと；
デジタルビデオファイルを形成するためにビデオ処理パスを使用して前記キャプチャーされたビデオシーケンスを処理するステップと；
特徴認識アルゴリズムを使用して、前記興味の特徴を含む前記画像フレームのサブセットを特定するために、前記キャプチャーされた画像フレームを分析するステップと；
前記キャプチャーされたビデオシーケンスの中の全ての画像フレームより少ない画像フレームを含む前記ビデオサマリーを形成するステップであり、前記ビデオサマリーは、前記興味の特徴を含んでいる前記特定された画像フレームのサブセットを少なくとも部分的に含んでいるステップと；
前記デジタルビデオファイルを前記ストレージメモリーの中に保管するステップと；
前記ビデオサマリーの表現を前記ストレージメモリーの中に保管するステップと、
を含むことを特徴としている。

本発明は、興味の特徴を含んでいるビデオフレームのサブセット（ｓｕｂｓｅｔ）を決定するためにキャプチャーする時点でビデオフレームを分析するという利点を有している。それにより、ビデオサマリーを作成する時点でビデオデータを解凍する必要を取り除いている。

本発明は、前記保管されたデジタルビデオシーケンスを解凍する必要なく前記ビデオサマリー表現を保管するという追加の利点を有している。これにより、ビデオキャプチャーの完了の時点で最小の遅れをもって、ビデオサマリーを生成し、デジタルキャプチャーデバイス上で視聴することができる。

いくつかの実施例において、ビデオサマリーは、メタデータを使用してデジタルビデオファイルにおいてエンコードされ、分離したファイルとしてビデオサマリーをエンコードする必要はない。このことは、ビデオサマリーメタデータを理解する「賢い（“ｓｍａｒｔ“）」ビデオプレーヤーを用いて視聴するために、ビデオサマリーが便利に利用可能であるという利点を有しており、一方従来のプレーヤーに対してはトランスペアレント（ｔｒａｎｓｐａｒｅｎｔ）である。

図１は、ビデオサマリーを形成するためのシステムに係るコンポーネントを示すハイレベルの模式図である。 図２は、ビデオサマリーを形成する方法に係るフローチャートである。 図３は、デジタルビデオシーケンスの処理のための２つの異なるビデオ処理パスの使用を説明するフローチャートである。 図４は、代替的な実施例に従って、デジタルビデオシーケンスの処理のための２つの異なるビデオ処理パスの使用を説明するフローチャートである。 図５は、第２の実施例に従って、ビデオサマリーを生成する方法に係るフローチャートである。 図６は、第３の実施例に従って、ビデオサマリーを生成する方法に係るフローチャートである。

以降の記載において、本発明の好適な実施例が通常にソフトウェアプログラムとして実行されるであろう形式で説明される。当業者であれば、そうしたソフトウェアの均等物が、また、ハードウェアにおいても構成され得ることを容易に理解するであろう。なぜなら、そうしたソフトウェアの画像操作のアルゴリズム及びシステムはよく知られたものであり、本記載は、特に、本発明が関するシステム及び方法の一部を形成する、または、より直接的に協同するアルゴリズム及びシステムに向けられたものだからである。こうしたアルゴリズム及びシステム、および、ここにおいてに包含される画像信号を生成して、そうでなければ処理を行う他の態様は、ここにおいて特に示され又は説明されないが、従来技術として知られる、そうしたシステム、アルゴリズム、コンポーネント、および、エレメントから選択され得るものである。以降の資料における本発明に従って説明されたシステムが与えられれば、本発明の実施のために役に立つソフトウェアは、ここにおいて特には示され、示唆され、または、説明されていなくても、一般的なものであり、従来技術の範囲内のものである。

さらにまた、ここにおいて使用されるように、本発明に係る方法を実施するために使用されるコンピュータープログラムは、コンピューターで読取り可能な記憶媒体に保管され得る。例えば、磁気ディスク（ハードドライブ又はフロッピー（登録商標）ディスクといったもの）又は磁気テープといった磁気記録媒体；光ディスク、光テープ、又は機械で読取り可能なバーコードといった光記憶媒体；ランダムアクセスメモリー（ＲＡＭ）又は読出し専用メモリー（ＲＯＭ）といった半導体電子記憶媒体；または、本発明に従った方法を実行するように一つまたはそれ以上のコンピューターをコントロールするためのインストラクションを有するコンピュータープログラムを保管するために使用されるあらゆる他の物理的デバイス又は媒体、を含んでいる。

本発明は、ここにおいて説明される実施例の組合せについて包括的なものである。「所定の実施例」への言及および類似のものは、本発明の少なくとも一つの実施例において存在する特徴に言及するものである。「一つ実施例」又は「所定の実施例」もしく類似のものへ離れて言及することは、必ずしも同一の実施例を参照する必要はない。しかしながら、こうした実施例はお互いに排他的なものではない。そうであると示唆され又は当業者にとって容易に明らかではない場合である。「方法」に対する言及における単数形又は複数形の使用は、限定的なものではない。そうでないことが明示的に示され、または文脈から要求されるものでなければ、用語「または」は、この発明開示において非排他的な意味で使用されていることに留意すべきである。

デジタルカメラは、画像デバイス及び信号キャプチャーと処理のために関連する回路を使用しており、ディスプレイはよく知られているので、本発明の説明は、本発明に従った方法及び装置の一部を形成する、または、より直接的に協同する所定のエレメントに対して向けられている。ここにおいて、特に示されていないか、記載されていないエレメントは、従来技術から選択されたものである。説明される実施例の所定の態様は、ソフトウェアにおいて提供される。以降の資料における本発明に従って説明されたシステムが与えられれば、本発明の実施のために役に立つソフトウェアは、ここにおいて特には示され、示唆され、または、説明されていなくても、一般的なものであり、従来技術の範囲内のものである。

以降のデジタルカメラに係る説明は、当業者はよく知っていることである。本実施例に係る多くのバリエーションが可能であり、コスト削減のため、カメラのパフォーマンスに特徴を追加または改善するために選択できることが明らかである。

図１は、デジタル写真システムのブロックダイヤグラムを示しており、本発明に従ってビデオ画像をキャプチャーすることができるデジタルカメラ１０を含んでいる。おそらく、デジタルカメラ１０は、ポータブル電池で動作するデバイスであり、画像をキャプチャー又はレビューする際にユーザーによって容易に取扱うことができるよう十分に小さいものである。デジタルカメラ１０は、デジタル画像を生成し、ストレージメモリー３０を使用してデジタル画像ファイルとして保管する。「デジタル画像」又は「デジタル画像ファイル」という用語は、ここにおいて使用されるように、デジタル静止画像又はデジタルビデオファイルといった、あらゆるデジタル画像ファイルを参照するものである。

いくつかの実施例において、デジタルカメラ１０は、モーションビデオ画像と静止画像の両方をキャプチャーする。他の実施例において、デジタルカメラ１０は、モーションビデオ画像のみをキャプチャーするデジタルカメラである。デジタルカメラ１０は、また、他の機能も含み得る。これらに限定されるわけではないが、デジタル音楽プレーヤー（例えば、ＭＰ３プレーヤー）、音声録音デバイス、携帯電話、ＧＰＳ受信器、または、プログラム可能デジタルアシスタンス（ＰＤＡ）の機能を含んでいる。

デジタルカメラ１０は、調整可能な絞りと調整可能なシャッター６を有するレンズ４を含んでいる。好適な実施例において、レンズ４は、ズームレンズであり、ズームとフォーカスモータードライバー８によってコントロールされる。レンズ４は、シーン（図示なし）からの光を画像センサー１４上にフォーカスする。センサーは、例えば、シングルチップカラーＣＣＤ又はＣＭＯＳ画像センサーである。レンズ４は、画像センサー１４上にシーンに係る画像を形成するための光学システムの一つのタイプである。他の実施例において、光学システムには、可変又は固定フォーカスのいずれかをもった固定焦点距離レンが使用され得る。

画像センサー１４の出力は、アナログ信号プロセッサ（ＡＳＰ）及びアナログ−デジタル変換（Ａ／Ｄ）コンバーター１６によってデジタル形式へ変換され、一時的にバッファーメモリー１８の中に保管される。バッファーメモリー１８の中に保管された画像データは、続いて、ファームウェアメモリー２８の中に保管されているエンベットされたソフトウェアプロセッサ（例えば、ファームウェア）を使用して、プロセッサ２０によって操作される。いくつかの実施例において、ソフトウェアプログラムは、読出し専用メモリー（ＲＯＭ）を使用してファームウェアメモリーの中に永久に保管されている。他の実施例において、ファームウェアメモリー２８は、例えば、フラッシュＥＰＲＯＭメモリーを使用して、変更され得る。そうした実施例において、外部デバイスは、有線インターフェイス３８又は有線モデム５０を使用して、ファームウェアメモリー２８の中に保管されたソフトウェアプログラムを更新することができる。そうした実施例において、ファームウェアメモリー２８は、また、画像センサー較正データ、ユーザー設定選択、および、カメラが電源オフされる際に保持されなければならない他のデータを保管するためにも使用され得る。いくつかの実施例において、プロセッサ２０は、プログラムメモリー（図示なし）を含み、ファームウェアメモリー２８の中に保管されたソフトウェアプログラムは、プロセッサ２０によって実行される前にプログラムメモリーの中へとコピーされる。

プロセッサ２０の機能は、シングルプログラム可能プロセッサを使用して、または、マルチプログラム可能プロセッサの使用によって提供されることが理解されよう。一つまたはそれ以上のデジタル信号プロセッサ（ＤＳＰ）デバイスを含むものである。代替的に、プロセッサ２０は、カスタム回路（例えば、デジタルカメラでの使用のために特別にデザインされた一つまたはそれ以上のカスタム集積回路（ＩＣ））、または、プログラム可能プロセッサとカスタム回路との組合せによって提供され得る。プロセッサ２０と図１に示される種々のコンポーネントのいくつか又は全てのものとの間のコネクターは、共通のデータバスを使用して作成され得る。例えば、いくつかの実施例において、プロセッサ２０と、バッファーメモリー１８、ストレージメモリー３０、および、ファームウェアメモリー２８との間の接続が、共通のデータバスを使用して作成され得る。

処理された画像は、次に、ストレージメモリー３０を使用して保管される。ストレージメモリー３０は、当業者に知られているあらゆる形式のメモリーであってよいことが理解されるべきである。これらに限定されるわけではないが、取出し可能フラッシュメモリーカード、内部フラッシュメモリーチップ、磁気メモリー、または、光メモリーを含んでいる。いくつかの実施例において、ストレージメモリー３０は、内部フラッシュメモリーチップと、セキュリティデジタル（ＳＤ）カードといった、取出し可能フラッシュメモリーカードへの標準インターフェイスの両方を含むことができる。代替的に、異なるメモリーカードフォーマットが使用され得る。マイクロＳＤカード、コンパクトフラッシュ（登録商標）（ＣＦ）カード、マルチメディアカード（ＭＭＣ）、ｘＤカード、または、メモリースティックといったものである。

画像センサー１４は、タイミングジェネレーター１２によってコントロールされており、列（ｒｏｗ）とピクセルを選択し、ＡＳＰとＡ／Ｄコンバーター１６のオペレーションを同期させるために種々のクロック信号を生成する。画像センサー１４は、例えば、およそ４０００×３０００ピクセルの静止画像ファイルを生成するために１２．４メガピクセル（４０８８×３０４０ピクセル）を有することができる。カラー画像を生成するために、画像センサーは一般的にカラーフィルターアレイ（ａｒｒａｙ）を用いてオーバーレイされ、異なるカラーピクセルを含むピクセルのアレイを有する画像センサーを提供する。異なるカラーピクセルは、多くの異なるパターンで配置され得る。一つの実施例として、周知のバイヤー（Ｂａｙｅｒ）カラーフィルターアレイを使用して配置され得る。発明者バイヤー（Ｂａｙｅｒ）の米国特許第３９７１０６５号明細書、タイトル”Ｃｏｌｏｒ ｉｍａｇｉｎｇ ａｒｒａｙ“に記載されているようにである。第２の実施例として、異なるカラーピクセルが配置され得る。発明者コンプトン（Ｃｏｍｐｔｏｎ）とハミルトン（Ｈａｍｉｌｔｏｎ）の米国特許公開第２００７／００２４９３１号公報、タイトル”Ｉｍａｇｅ ｓｅｎｓｏｒ ｗｉｔｈ ｉｍｐｒｏｖｅｄ ｌｉｇｈｔ ｓｅｎｓｉｔｉｂｉｔｙ“に記載されているようにである。これらの実施例は限定的なものではなく、多くの他のカラーパターンが使用されてよい。

画像センサー１４、タイミングジェネレーター１２、および、ＡＳＰとＡ／Ｄコンバーター１６は、分離して集積回路を作り上げることができ、または、ＣＯＭＳ画像センサーを用いて一般的に行われているように単一集積回路として作り上げられてもよい。いくつかの実施例において、この単一集積回路は、図１に示される他の機能のいくつかを実施例することができる。プロセッサ２０によって提供される機能のいくつかを含むものである。

画像センサー１４は、タイミングジェネレーター１２によって第１のモードにおいて作動された場合に、より低解像度のセンサー画像データのモーションシーケンスを提供するのに有効である。画像を構成するために、ビデオ画像をキャプチャーする際に使用され、キャプチャーされるべき静止画像をプレビューする際にも使用される。このプレビューモードセンサー画像データは、ＨＤ解像度の画像データ、例えば、１２８０×７２０ピクセルを用いて提供され得る。または、ＶＧＡ解像度の画像データ、例えば、６４０×４８０ピクセルを用いて、もしくは、画像センサーの解像度に比べて非常に少ないデータの行と列を有する他の解像度を使用して提供され得る。

プレビューモードセンサー画像データは、同一のカラーを有する隣接したピクセルの値を結合することにより、または、ピクセル値のいくつかを除去することにより、もしくは、他のカラーのピクセルの値を除去する一方でいくつかのカラーピクセルの値を結合することによって提供され得る。プレビューモード画像データは、発明者パラルスキーら（Ｐｒｕｌｓｋｉ ｅｔ ａｌ．）の米国特許第６２９２２１８号明細書、タイトル”Ｅｌｅｃｔｒｉｃ ｃａｍｅｒａ ｆｏｒ ｉｎｉｔｉａｔｉｎｇ ｃａｐｔｕｒｅ ｏｆ ｓｔｉｌｌ ｉｍａｇｅｓ ｗｈｉｌｅ ｐｒｅｖｉｅｗｉｎｇ ｍｏｔｉｏｎ ｉｍａｇｅｓ“に記載されているようにである。

画像センサー１４は、また、、タイミングジェネレーター１２によって第２のモードにおいて作動された場合に、より高解像度のセンサー画像データのモーションシーケンスを提供するのに有効である。この最終モードセンサー画像データは、高解像度出力画像データとして提供され、高い輝度レベルを有するシーンのために画像センサーの全てのピクセルを含んでおり、例えば、４０００×３０００ピクセルを有する１２メガピクセルの最終画像データであり得る。より低い輝度レベルにおいて、最終センサー画像データは、画像センサー上のいくつかの数量の類似カラーピクセルを「ビニング（“ｂｉｎｎｉｎｇ“）」することによって提供され得る。信号レベルを増加するためであり、従って、センサーの「ＩＳＯ速度（“ＩＳＯｓｐｅｅｄ“）」が増す。

ズームとフォーカスモータードリバー８は、プロセッサ２０によって供給されるコントロール信号によってコントロールされ、好適な焦点距離を提供して、画像センサー上にシーンをフォーカスする。画像センサー１４の露出レベルは、Ｆ値（ｆ／ｎｕｍｂｅｒ）と調整可能な絞り及び調整可能なシャッターの露出時間、タイミングジェネレーター１２を介した画像センサーの露出期間、および、ＡＳＰとＡ／Ｄコンバーター１６のゲイン設定（例えば、ＩＳＯ速度）をコントロールすることによってコントロールされる。プロセッサ１２０は、また、シーンを照明することができるフラッシュ２もコントロールする。

デジタルカメラ１０のレンズ４は、「スルーザレンズ（“ｔｈｒｏｕｇｈ−ｔｈｅ−ｌｅｎｓ”」オートフォーカスを使用することで第１モードにおいてフォーカスされ得る。発明者パラルスキーら（Ｐｒｕｌｓｋｉ ｅｔ ａｌ．）の米国特許第５６６８５９７号明細書、タイトル”Ｅｌｅｃｔｒｏｎｉｃ Ｃａｍｅｒａ ｗｉｔｈ Ｒａｐｉｄ Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ ｏｆ ａｎ Ｉｍａｇｅ ｕｐｏｎ ａ Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ Ｉｍａｇｅ Ｓｅｎｓｏｒ“に記載されているようにである。このことは、ズームとフォーカスドライバー８を使用して、レンズ４の焦点位置を近接焦点位置から無限大焦点位置の間の範囲の数多くの位置に対して調整することによって達成される。一方、プロセッサ２０は、画像センサー１４によってキャプチャーされた画像の中心部分に対して最大のシャープネス値（ｓｈａｒｐｎｅｓｓ ｖａｌｕｅ）を提供する最も近い焦点位置を判断する。最も近い焦点位置に対応する焦点距離は、次に、好適なシーンモードの自動設定といった、いくつかの目的で使用され得るし、他のレンズとカメラの設定を伴なって、画像ファイルにおけるメタデータとして保管され得る。

プロセッサ２０は、メニューと低解像度カラー画像を生成し、それらはディスプレイメモリー３６の中に一時的に保管され、画像ディスプレイ３２上に表示される。画像ディスプレイ３２は、典型的には、アクティブマトリックスカラー液晶ディスプレイ（ＬＣＤ）であるが、有機発光ダイオードディスプレイといった、他のタイプのディスプレイが使用され得る。ビデオインターフェイス４４は、デジタルカメラ１０からのビデオ出力信号を、フラットパネルＨＤＴＶディスプレイといった、ビデオディスプレイ４６を提供する。プレビューモード、または、ビデオモードにおいて、バッファーメモリー１８からのデジタル画像データは、プロセッサ２０によって操作され、典型的にはカラー画像として、画像ディスプレイ３２上に表示されるモーションプレビュー画像のシリーズを形成する。レビューモードにおいて、画像ディスプレイ３２上に表示される画像は、ストレージメモリー３０の中に保管されたデジタル画像ファイルから画像データを使用して生成される。

画像ディスプレイ３２上に表示されるグラフィックユーザーインターフェイスは、ユーザーコントロール３４によって提供されるユーザー入力に応じてコントロールされる。ユーザーコントロール３４は、ビデオキャプチャーモード、静止画キャプチャーモード、および、レビューモードといった種々のカメラモードを選択するために、そして、静止画像のキャプチャーとモーション画像の記録を開始するために使用される。いくつかの実施例において、上記の第１モード（つまり、静止プレビューモード）は、ユーザーがシャッターボタンを部分的に押す際に開始される。これは、ユーザーコントロール３４のうちの一つであり、ユーザーが完全にシャッターボタンを押す際に第２モード（つまり、静止画像キャプチャーモード）が開始される。ユーザーコントロール３４は、また、カメラを電源オンし、レンズ４をコントロールし、そして、写真撮影プロセスを開始するためにも使用される。ユーザーコントロール３４は、典型的には、ボタン、ロッカー（ｒｏｃｋｅｒ）スイッチ、ジョイスティック、または、回転ダイアルのいくつかの組合せを含んでいる。いくつかの実施例において、ユーザーコントロール３４のいくつかは、画像ディスプレイ３２上にオーバーレイされたタッチスクリーンを使用して提供される。他の実施例において、追加のステータスディスプレイ又は画像ディスプレイが使用され得る。

ユーザーコントロール３４を使用して選択することができるカメラモードは、「タイマー」モードを含んでいる。「タイマー」モードが選択された場合、ユーザーが完全にシャッターボタンを押してから、プロセッサ２０が静止画像キャプチャーを開始するまでに短い遅延（例えば、１０秒）が生じる。

プロセッサ２０に接続された音声コーデック（ｃｏｄｅｃ）２２は、マイクロフォン２４から音声信号を受取り、音声信号をスピーカー２６に対して提供する。これらのコンポーネントは、ビデオシーケンス又は静止画像と一緒に、音声トラックを記録してプレイバック（ｐｌａｙｂａｃｋ）することができる。デジタルカメラ１０が、カメラと携帯電話の組合せといったマルチ機能デバイスである場合、電話での会話のためにマイクロフォン２４とスピーカー２６が使用され得る。

いくつかの実施例において、スピーカー２６は、ユーザーインターフェイスの一部として使用され得る。例えば、ユーザーコントロールが押されたこと、または、所定のモードが選択されたことを示す種々の音声信号を提供する。いくつかの実施例において、マイクロフォン２４、音声コーデック２２、および、プロセッサ２０は、音声認識を提供するために使用され、ユーザーは、ユーザーコントロール３４より、むしろ、音声コマンドを使用してプロセッサ２０に対してユーザー入力を提供することができる。スピーカー２６は、また、電話の着信をユーザーに知らせるためにも使用され得る。このことは、ファームウェアメモリー２８の中に保管されている標準のリングトーン（ｒｉｎｇ ｔｏｎｅ）を使用して、または、無線ネットワーク５８からダウンロードされ、ストレージメモリー３０の中に保管されたカスタムリングトーンを使用することによって行われ得る。加えて、着信電話の無音（例えば、非音声）の通知のためにバイブレーションデバイス（図示なし）が使用され得る。

いくつかの実施例において、デジタルカメラ１０は、また、カメラのあらゆる動作に関するデータを提供する加速度計をも含んでいる。望ましくは、加速度計２７は、３つの直交する方向のそれぞれ（合計６方向の入力について）に対して並進および回転加速度の両方を検知する。

プロセッサ２０は、また、画像センサー１４からの画像データの追加的な処理を提供する。表現されたｓＲＧＢ画像データを生成するためであり、ストレージメモリー３０における「完了」画像ファイル、よく知られたＥｘｉｆ−ＪＰＥＧ画像ファイルといったもの、の中に圧縮され保管される。

デジタルカメラ１０は、有線インターフェイス３８を介してコンピューター４０に接続されたインターフェイス／リチャージャー４８に接続されている。コンピューターは、家又はオフィスにあるデスクトップコンピューター又はポータブルコンピューターであり得る。有線インターフェイス３８は、例えば、よく知られたＵＳＢ２．０インターフェイス仕様に従うものでよい。インターフェイス／リチャージャー４８は、有線インターフェイス３８を介して、デジタルカメラ１０の一式の再充電可能バッテリー(図示なし)に対して電力を供給することができる。

デジタルカメラ１０は、無線モデム５０を含み、ラジオ周波数帯５２上で無線ネットワーク５８とインターフェイスする。無線モデム５０は、種々の無線インターフェイスプロトコルを使用することができる。よく知られたブルートゥース無線インターフェイス又はよく知られた８０２．１１無線インターフェイスといったものである。コンピューター４０は、インターネット７０を介して、Ｋｏｄａｋ ＥａｓｙＳｈａｒｅ Ｇａｌｌｅｒｙといった、写真サービスプロバイダー７２に画像をアップロードすることができる。他のデバイス（図示なし）は、写真サービスプロバイダー７２によって保管された画像にアクセスすることができる。

代替の実施例において、無線モデム５０は、ラジオ周波数（例えば、無線）リンク上で、３ＧＳＭ（登録商標）ネットワークといった、携帯電話ネットワーク（図示なし）とコミュニケーションする。デジタルカメラ１０からデジタル画像ファイルをアップロードするためにインターネット７０と接続するものである。こうしたデジタル画像ファイルは、コンピューター４０又は写真サービスプロバイダー７２に提供され得る。

これから、図２に関して本発明が説明される。最初に、ビデオシーケンスキャプチャーステップ２００において、画像センサー１４を使用してデジタル画像シーケンス２０５をキャプチャーするために、デジタルカメラ１０（図１）といったデジタルビデオキャプチャーデバイスが使用される。デジタルビデオシーケンス２０５は画像フレームのタイムシーケンスを含んでいる。

ビデオシーケンスキャプチャーステップ２００の最中、画像センサー１４を使用して参照画像２１５をキャプチャーするために参照画像キャプチャーステップ２１０が実行される。参照画像２１５は、所定の人間を含んでいる。参照画像２１５は、キャプチャーされたデジタルビデオシーケンス２０５からの画像フレームであってよく、参照画像２１５は、ユーザーコントロール３４の使用を通じて選択され得る。例えば、ビデオキャプチャーの最中に、ユーザーは好適なユーザーコントロールボタンを押すことによって参照画像２１５のキャプチャーを要求することができる。ボタンは、バッファーメモリー１８における現在のビデオフレームを参照画像２１５として指定するように、プロセッサ２０に対して信号を送付する。参照画像２１５は、所定の興味の人間を含んでいる。望ましい実施例において、参照画像２１５は、十分な空間解像度で所定の人間の顔の前面を含んでおり、参照画像２１５から顔面特徴を決定することができる。いくつかの実施例において、参照画像２１５は、一人の人間を唯一含んでおり、所定の人間が、参照画像２１５における唯一の人間として特定される。他の実施例において、参照画像２１５は、複数の人間を含んでおり、所定の人間は多くの手段のうちのあらゆる一つによって選択され得る。最も大きな人間を選択、参照画像２１５の中心に最も近い人間を選択、視認できる最も大きな顔面をもった人間を選択、または、好適なユーザーインターフェイスを使用して手動で人間を選択（例えば、ポインティングデバイスを使用してユーザーに顔面を選択させることによる）を含んでいる。代替的に、参照画像２１５におけるそれぞれの人間が、所定の人間であることを指定され得る。いくつかの実施例において、所定の人間は、参照画像２１５に在る顔面を顔面認識データベースにおける既知の顔面と比較し、既知の顔面を選ぶことによって、選択され得る。他の実施例においては、ユーザーが手動で参照画像２１５の中に含まれる所定の人間を指定できるようにユーザーインターフェイスが提供される。

キャプチャーされたビデオシーケンス処理ステップ２２０は、ビデオ処理パス（ｐａｔｈ）を使用してキャプチャーされたデジタルビデオシーケンス２０５を処理して、デジタルビデオファイル２２５を形成する。ビデオ処理パスは、例えば、ビデオ圧縮ステップを含み得る。ＭＰＥＧ及びＨ．２６３規格において規定されているようにビデオ圧縮アルゴリズムは、当業者によく知られている。

デジタルビデオシーケンス２０５のキャプチャーの最中に、キャプチャーされた画像フレーム分析ステップ２４０は、所定の人間を含む画像フレーム２４５のサブセットを特定するために人間認識アルゴリズムを使用して、キャプチャーされたデジタルビデオシーケンス２０５における画像フレームを分析する。望ましい実施例において、人間認識アルゴリズムは、顔面認識アルゴリズムであってよい。キャプチャーされた画像フレーム分析ステップ２４０は、参照画像における所定の人間の顔面と同一の顔面を含んでいる画像フレームを特定する。顔面認識アルゴリズムは、よく知られた従来技術である。例えば、著者タークらの（Ｔｕｒｋ ｅｔ ａｌ．）記事“Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ”（Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ、Ｖｏｌ．３、ｐｐ．７１−８６、１９９１）は、本発明と一緒に使用することができる顔面認識アルゴリズムを記載している。代替的に、人間認識アルゴリズムは、画像フレームの中の人間を参照画像２１５における所定の人間と一致されるあらゆるアルゴリズムであってよい。こうしたアルゴリズムは、性別分類、身長見積り、および、衣服分析を含み、当業者にとって知られたそうしたアルゴリズムの中から選択され得る。

ビデオサマリー形成ステップ２５０は、キャプチャーされたデジタルビデオシーケンス２０５における全ての画像フレームより少ない画像フレームを含むビデオサマリー２５５を形成する。ビデオサマリー２５５は、所定の人間を含む画像フレーム２４５の特定されたサブセットの少なくとも一部を含んでいる。本発明の一つの実施例において、ビデオサマリー２５５は、所定の人間を含んでいるそれらの画像フレームだけを使用して形成される。

いくつかの実施例において、ビデオサマリー２５５は、所定の人間を含んでいる画像フレーム２４５のサブセットの一部のみを含んでいる。例えば、ビデオサマリー２５５は、規定の数量より少ない画像フレームを含むように制限され得る。代替的な実施例において、ビデオサマリー２５５は、画像フレーム２４５のサブセットにおける連続した画像フレームのそれぞれのグループから、一つの画像フレームを含むことができる。このようにして、ビデオサマリー２５５は、所定の人間を含んでいる画像フレーム２４５の特定されたサブセットから選択された一式の静止画像から成る「スライドショー（“ｓｌｉｄｅｓｈｏｗ”）」であり得る。

別の実施例において、ビデオ２５５は、また、所定の人間を含んでいる画像フレーム２４５の特定されたサブセットの他に、追加の画像フレームを含んでいる。本発明の一つの実施例において、追加の画像フレームは、所定の人間を含んでいる画像フレーム２４５の特定されたサブセットの中の画像フレームの直前又は直後の画像フレームを含んでいる。そうしたフレームは、例えば、遷移フレームとして、ビデオサマリー２５５の一つのセクションから別のセクションまでの遷移期間を許容するように選定される。そうしたフレームは、また、ビデオサマリー２５５がデジタルビデオファイル２２５から容易に抽出できる画像のグループを含むように、選定され得る。ＭＰＥＧといったビデオ圧縮規格は、いくつかのフレームが独立して（他のフレームを参照することなく）エンコードされるように、ビデオシーケンスをエンコードする。そして、一時的なシーケンシャルフレームのいくつかのグループ又は画像のグループが、画像のグループの外のあらゆるフレームを参照することなくエンコードされるようにである。従って、こうした画像のグループを表している圧縮されたビデオデータは、圧縮されたビデオデータをデコードする必要なく、圧縮されたデジタルビデオファイル２２５から抽出され得るものである。

本発明の別の実施例において、追加の画像フレームは、キャプチャーされたデジタルビデオシーケンス２０５の重要な部分であると判断された他の部分を含んでいる。デジタルビデオシーケンス２０５のこうした他の重要な部分は、主要フレーム抽出、または、ビデオサマリーアルゴリズムを実行することにより特定され得る。こうしたアルゴリズムは、発明者ディーバー（Ｄｅｅｖｅｒ）の米国特許出願第２０１１／０２９２２８８号公報、タイトル“Ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｒｍｉｎｉｎｇ ｋｅｙ ｖｉｄｅｏ ｆｒａｍｅｓ”、２０１１年１２月１日出版、および、発明者ディーバー（Ｄｅｅｖｅｒ）の米国特許出願第２０１１／０２９３０１８号公報、タイトル“Ｖｉｄｅｏ ｓｕｍｍａｒｙ ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ”において説明されている。

米国特許出願第２０１１／０２９３０１８号公報には、ビデオサマリーを形成する方法が開示されており、画像フレームが、特徴値を判断するためにキャプチャーの時点において分析される。こうした特徴値は、圧縮されたビデオシーケンスを解凍することなく分析される。ビデオサマリーを含む主要なビデオスニペット（ｓｎｉｐｐｅｔ）を特定するためである。

米国特許出願第２０１１／０２９２２８８号公報には、主要なビデオスニペットを特定する方法が開示されており、キャプチャーの時点で判断された特徴値を使用して、デジタルビデオシーケンスが分析される。時間の関数として重要値を決定するためである。重要値は、デジタルビデオシーケンスに対するワープタイム（ｗａｒｐｅｄ−ｔｉｍｅ）表現を形成するために使用される。ワープタイム表現は、デジタルビデオシーケンスの中のいくつかのビデオシーケンスに対してより大きな時間的重み付けを与え、他のものに対してより小さな時間的重み付けを与える。ワープタイムデジタルビデオシーケンス表現は、一式の等しい時間インターバルへと分割される。主要フレームが、対応する時間的インターバルにおけるビデオフレームに関する特徴値を分析することによって、それぞれの時間的インターバルから選択される。そうしたクライテリアは、ズームイン工程の完了後に間もなく生じる主要ビデオフレームを選択すること、および、ビデオフレームの中心領域において並みのレベルのローカルな動作を有する主要なビデオフレームを選択することを含み得る。

いくつかの実施例において、主要なビデオフレームスニペットは、主要なビデオフレームのそれぞれを取り囲んでいる一式のビデオフレームを選択することによって形成され得る。例えば、主要なビデオスニペットは、主要なビデオフレームの前後２秒間のビデオフレームを選択することによって形成され得る。こうし、４秒間の長い主要なビデオスニペットを形成している。

代替的には、主要なビデオフレームフレームがランク付けされて、最も高くランク付けされた主要なビデオフレームに対応する主要なビデオフレームのサブセットだけに対して主要なビデオフレームスニペットが形成され得る。主要なビデオフレームをランク付けすることは、カメラ固定パターンを決定するためにデジタルビデオシーケンスを分析すること、および、カメラ固定パターンに応じて主要ビデオフレームをランク付けすることを含み得る。キャプチャー時点で判断されたグローバルな動作に対応する特徴値は、デジタルビデオシーケンスの全体を通してカメラの固定領域を示すグローバルな動作トレースを提供することができる。高い固定領域に対応しているビデオフレーム、つまり、ビデオキャプチャー全体の高い割合でカメラが固定された状態で居る領域は、高くランク付けされる。ランク付けプロセスは、それぞれのステップで最高位の次にランク付けされる主要なビデオフレームを選択することで、反復的に実行され得る。そして、それぞれのステップで、プロセスは、既にランク付けプロセスに含まれている固定領域を表している主要なビデオフレーム上の表現されていない固定領域を表している主要なビデオフレームを促進することができる。主要なビデオフレームがランク付けされると、主要なビデオスニペットの中に含まれるように、トップランクの主要なビデオフレームが選定され得る。こうしたビデオスニペットによって表された追加の画像フレームは、ビデオサマリーを形成するために、所定の人間を含んでいる画像フレームの特定されたサブセットと結合され得る。

デジタルビデオファイル保管ステップ２３０は、デジタルビデオファイル２２５をストレージメモリー３０に保管し、保管されたデジタルビデオファイル２３５を生成する。ビデオサマリー表現保管ステップ２６０は、ストレージメモリー３０の中にビデオサマリー表現２６５を保管する。一つの実施例において、ストレージメモリー３０の中にビデオサマリー表現２６５を保管することは、ビデオサマリー２５５に対応するデジタルビデオシーケンスにおける画像フレームの指示を提供するフレーム識別メタデータを保管することを含んでいる。フレーム識別メタデータは、保管されたデジタルビデオフレーム２３５に関連して保管され得る。例えば、ビデオサマリー表現２６５は、保管されたデジタルビデオファイル２３５の中にビデオサマリーメタデータとして保管することができ、ビデオサマリーの中に含まれているスニペットに対応する一連の開始フレームおよび終了フレームを指示している。これにより、ビデオサマリー表現２６５を、フレーム識別メタデータを保管するために必要な少量のメモリーの他に、あらゆる追加の物理的メモリーを使用することなく保管することができる。ビデオサマリー２５５は、次に、従来のプレーヤーに対してトランスペアレントである間にビデオサマリーメタデータを理解する「スマート（“ｓｍａｒｔ”）」ビデオプレーヤーを使用して再生され得る。

別の実施例において、ビデオサマリー表現２６５は、デジタルビデオファイルサマリーである。この実施例において、ビデオサマリー２５５は、保管されたビデオファイル２３５とは分離したデジタルビデオファイルとして保管される。この場合において、ビデオサマリー表現２６５は、保管されたデジタルビデオファイル２３５と独立して視聴又は共有することができるデジタルビデオファイルサマリーである。望ましい実施例では、保管されたビデオサマリー表現２６５は、標準のビデオプレーヤーを使用して再生されるように適合されたフォーマットでのデジタルビデオファイルサマリーである。

いくつかの実施例において、デジタルビデオファイルサマリーは、ビデオシーケンスのキャプチャーが完了した後に生成され得る。ビデオサマリーの所望のフレームは、保管されたビデオファイル２３５から抽出され得る。ビデオサマリーの所望のフレームが独立してエンコードされた画像のグループに対応して選択されている場合、デジタルビデオファイルサマリーは、圧縮されたビデオデータをデコードすることなく所望のフレームに体操する圧縮データを解凍することによって生成することができる。

いくつかの実施例において、デジタルビデオファイルサマリーは、デジタルビデオファイル２２５を形成するために使用されるものとは異なるビデオ処理パスを使用して、キャプチャーされたデジタルビデオシーケンス２０５の画像フレームから形成される。例えば、多くのビデオキャプチャーデバイスは、２つのビデオストリームを同時にキャプチャー及びエンコードすることができる。これらのデバイスにおいては、それぞれの画像フレームをキャプチャーするために、一つの画像センサー１４が使用されている。そして、それぞれの画像フレームは、２つの異なる処理パスを使用して処理される。一つの処理パスは、デジタルビデオファイル２２５を生成することができる。第２の処理パスは、ビデオサマリー２５５を保管するために使用されるデジタルビデオファイルサマリーを生成し得る。第２の処理パスは、それぞれの画像フレームに係る空間解像度が低いバージョンを生成することができ、より低い解像度のビデオをエンコードすることができることにおいて、第１の処理パスとは異なっている。多くのビデオキャプチャーデバイスは、１０８０ｐ解像度ビデオとＱＶＧＡ解像度ビデオとを同時にキャプチャーすることができる。

図３は、２つの処理パスを有するビデオキャプチャー処理を示している。キャプチャーされた画像フレーム３１０は、第１のビデオ処理パス３２０と第２のビデオ処理パス３３０の両方に向けられる。第１のビデオ処理パス３２０は、第１の空間解像度での第１のエンコードされた画像フレーム３５０を提供する第１のビデオエンコーダーを含んでいる。第２のビデオ処理パス３３０は、第２の空間解像度を有する変更された画像フレーム３７０を生成する任意の画像リサイザー（ｒｅｓｉｚｅｒ）３６０を含んでいる。第２のビデオ処理パス３３０は、また、変更された画像フレーム３７０をエンコードする第２のビデオエンコーダー３８０を含み、第２のエンコードされた画像フレーム３９０を提供する。当業者であれば、第１のビデオ処理パス３２０及び第２のビデオ処理パス３３０は、また、任意で他のビデオ処理プロセス３００を含み得ることが離解されよう。色とトーン（ｔｏｎｅ）のスケール処理、ノイズ削減、シャープ化（ｓｈａｒｐｅｎｉｎｇ）、および、画像安定化、といったものである。これらの他のビデオ処理ステップ３００が最初に適用されるものとして示されているが、それらは、第１のビデオ処理パス３２０及び第２のビデオ処理パス３３０の中のいかなるポイントにおいても適用することができ、もしくは、さらに他のステップとの間に点在してよいことが認識されるべきである。当業者であれば、また、図３は、２つのビデオ処理パスが異なっている一つの可能なやり方を説明するものであり、本発明の範囲において他の相違も可能であることを理解するであろう。

デジタルビデオファイル２５５（図２）を形成するために使用されたものとは異なるビデオ処理パスを使用して、デジタルビデオファイル２２５と同時に、デジタルビデオファイルサマリーを生成することができる。図４は、図３で示されたやり方のバリエーションを示しており、２つのビデオファイルを同時に生成するために使用され得る。図３のように、それぞれのキャプチャーされた画像フレーム３１０は、第１のエンコードされた画像フレーム３５０を生成するための第１のビデオエンコーダー３４０を含んでいる第１のビデオ処理パス３２０に向けられる。第１のエンコードされた画像フレーム３５０は、デジタルビデオファイル２２５の中に含まれる。

キャプチャーされた画像フレーム３１０は、また、第２のビデオ処理パス４３０にも向けられる。第２のビデオ処理パス４３０は、所定の人間を含む画像検査４６０の追加を除いて、図３における第２のビデオ処理パス３３０と類似している。、所定の人間を含む画像検査４６０は、画像が所定の人間を含んでいるかどうかを参照画像２１５から判断するためにキャプチャーされた画像フレーム３１０を分析する人間認識アルゴリズムを使用する。含んでいない場合、キャプチャーされた画像フレーム３１０は、画像廃棄ステップ４７０を使用して廃棄される。所定の人間がキャプチャーされた画像フレーム３１０の中に存在する場合、処理は、変更された画像フレーム３７０を決定するために画像リサイザー３６０に進み、そして、第２のエンコードされた画像フレーム３９０を提供するために第２のビデオエンコーダー３８０に進む。第２のエンコードされた画像フレーム３９０は、デジタルビデオファイルサマリーの中に含まれている。代替的な実施例では、画像リサイザー３６０は、第２のビデオ処理パスにおいてより早く適用され得る。所定の人間を含む画像検査４６０の以前にである。他の実施例において、画像リサイザー３６０は、第２の処理パス４３０の中には全く存在しなくてもよい。

図４に示された第１のビデオ処理パス３２０及び第２のビデオ処理パス４３０は、２つの分離したビデオファイルを生成するために使用される。第１のビデオファイル（デジタルビデオファイル２２５）は、全てのキャプチャーされた画像フレーム３１０を含んでおり、第１の空間解像度でエンコードされる。第２のビデオファイル（デジタルビデオファイルサマリー）は、所定の興味の人間を含んでいるキャプチャーされた画像フレーム３１０だけを含んでおり、第２の空間解像度でエンコードされる。第２のビデオファイルは、第１のビデオファイルを用いて同時に形成される。

代替的に、デジタルビデオファイルサマリーは、デジタルビデオファイルを用いて部分的にだけ同時に形成され得る。図４において説明されるように、最初のデジタルビデオファイルサマリーが生成され得る。キャプチャーが完了した後で、デジタルビデオファイルサマリーは、保管されたデジタルビデオから抽出された追加のデータを用いて増加され得る。この場合、デジタルビデオファイルサマリーは、第２のビデオ処理パスによって元々エンコードされていない画像フレームを含むように拡張することができる。これにより、キャプチャー後のデジタルビデオファイルサマリー全体を形成することによるよりも早くデジタルビデオファイルサマリーを生成することができる。

図５は、本発明の代替的な実施例を示している。この場合、所定の人間を含んでいる参照画像２１５は、ビデオシーケンスキャプチャーステップ２００と供に同時にキャプチャーされないで、むしろ、独立した参照画像キャプチャーステップ５１０においてキャプチャーされる。参照画像キャプチャーステップは、ビデオシーケンスキャプチャーステップ２００の前後のいずれで実行されてもよい。参照画像２１５は、静止キャプチャーモードにおいて獲得された一つの画像であってよく、または、存在しているキャプチャーされたデジタルビデオシーケンスからの画像フレームであってもよい。いくつかの実施例において、デジタルビデオカメラは、デジタルビデオカメラの所有者にとっての一式の興味の人間に対応する一式の人間画像を保管することができる（例えば、それぞれの家族メンバーに対する人間画像が保管され得る）。そして、好適なユーザーインターフェイスを使用して、一式の人間画像から参照画像２１５が選択される（例えば、既定の人間の名前のリスト）。参照画像２１５は、デジタルビデオカメラ１０上にキャプチャーされ得るし、または、代替的に、分離した画像キャプチャーデバイス上にキャプチャーされてデジタルビデオカメラ１０の中にインポート（ｉｍｐｏｒｔ）され得る。

いくつかの実施例においては、所定の人間の異なるビューを含んでいる複数の参照画像２１５が指定され得る。キャプチャーされた画像フレーム分析ステップ２４０は、画像フレームが所定の人間を含んでいるかどうかをより信頼性を持って判断できるようにするために、複数の参照画像２１５を使用することができる。

いくつかの実施例において、キャプチャーされた画像フレーム分析ステップ２４０は、ビデオシーケンスキャプチャーステップ２００と同時に行われる。デジタルビデオファイル２２５の生成と同時にビデオサマリー２５５を形成するようにである。他の実施例において、ビデオサマリー２５５は、デジタルビデオファイル２２５がキャプチャーされ保管された後で実行されるポスト処理オペレーションを使用して形成され得る。いくつかの場合において、キャプチャーされた画像フレーム分析ステップ２４０は、デジタルカメラ上で実行され得る。代替的には、キャプチャーされたデジタルビデオファイル２３５が、ホストコンピューターといった、ある別のデバイス上にロードされた後で実行されてもよい。図５における残りのエレメントは、図２に係る実施例において示されたものと同等のものである。

図６に関して本発明の代替的な実施例がこれから説明される。この場合においては、参照画像２１５に基づいてキャプチャーされた画像フレームを分析するよりむしろ、キャプチャーされた画像フレーム分析ステップ６４０は、興味の特徴を示している一式の参照データ６１５に基づいて画像フレーム２４５のサブセットを選択する。興味の特徴は、参照データ指定ステップ６１０において指定される。図６における残りのエレメントは、図２に係る実施例において示されたものと同等のものである。

この参照データ６１５は、多くの形式であり得る。いくつかの実施例において、参照データ６１５は、興味の特徴のテキスト表現であってよい。例えば、参照データ６１５は、個人、対象物、場所、または、イベントの名前であってよい。いくつかの実施例において、参照データ６１５は、興味の特徴の数学的表現であってよい。例えば、参照データ６１５は、色ヒストグラム、固有値、または、あらゆる他の特徴ベクトルであってよい。当業者であれば、本発明の範囲内で数多くの画像情報が表現され得るやり方があることを認識するであろう。いくつかの実施例において、参照データ６１５は、非画像情報と関連してよい。例えば、参照データ６１５は、音声信号、グローバルポジショニングシステム（ＧＰＳ）データ、自動焦点データ、自動露出データ、自動ホワイトバランスデータ、加速度データ、ジャイロスコープデータ、または、赤外線センサーデータであってよい。当業者であれば、情報のタイプには幅広い種類があり、画像フレーム２４５のサブセットを特定するためのキャプチャーされた画像フレーム分析ステップ６４０による使用のための参照データ６１５として提供され得ることを認識するであろう。

デジタルビデオシーケンス２０５のキャプチャーの最中に、キャプチャーされた画像フレーム分析ステップ６４０は、特徴認識アルゴリズムを使用してデジタルビデオシーケンス２０５の中の画像フレームを分析し、参照データ６１５によって指定されたように興味の特徴を含む画像フレームのサブセットを特定する。例えば、参照データ６１５によって指定された興味の特徴が、以前に指定された参照顔面画像に対する所定の名前の人間である場合、参照顔面画像に関する画像フレームを分析することによって、画像フレームが所定の名前の人間を含むかを判断するために、顔面認識アルゴリズムが使用され得る。別の実施例においては、参照データ６１５によって指定された興味の特徴がイベントラベル（例えば、「ゴルフスイング」）である場合、画像フレームが指定されたイベントに対応するかを判断するために特徴認識アルゴリズムが使用され得る。いくつかの場合、特徴認識アルゴリズムは、好適なイベントラベルを判断するために一連の画像フレームを分析する必要がある（例えば、どの画像フレームがゴルフスイングの動作特性を含んでいるかを検知するためである）。別の実施例では、参照データ６１５によって指定された興味の特徴が対象物ラベル（例えば、「くじら」）である場合、画像フレームが指定された対象物を含むかを判断するために特徴認識アルゴリズムが使用され得る。これらの全ての実施例は、キャプチャーの時に興味の特徴を特定することができる状況であり、画像フレームのサブセット２４５をビデオサマリーに含めるかを判断する。

いくつかの実施例において、参照データ６１５によって指定された興味の特徴は、画像フレームに関する一般的な特性に対応してよい。例えば、参照データ６１５によって指定された興味の特徴は、関連するカメラ動作が少ない画像フレームであり得る。この場合、特徴認識アルゴリズムは、ジャイロスコープデータ、加速度データ、または、指定されたカメラ動作条件を満たしている画像フレームを特定するための画像ベースの動作見積りデータが使用され得る。同様に、参照データ６１５によって指定された興味の特徴は、カメラのズーム工程を追いかける画像フレームであってよい。この場合、ズームレンズデータ又は画像ベースのズーム見積りデータを分析するために特徴認識アルゴリズムが使用され、カメラズームがちょうど完了したところの画像フレームを特定し得る。別の実施例において、参照データ６１５によって指定された興味の特徴は、シーンにおいて大規模な対象物動作を伴う画像フレームであってよい。この場合、シーンにおかる対象物動作の量を定量化するために特徴認識アルゴリズムが使用され、対象物動作条件を満たしている画像フレームを特定することができる。当業者であれば、これらは、本発明の範囲内にある多くの興味の特徴および特徴認識アルゴリズムの実施例に過ぎないことを理解するであろう。

コンピュータープログラム製品は、一つまたはそれ以上のストレージ媒体を含み得る。例えば、磁気ディスク（フロッピー（登録商標）ディスクといったもの）又は磁気テープといった磁気ストレージ媒体；光ディスク、光テープ、または、機械で読取り可能なバーコードといった光ストレージ媒体；ランダムアクセスメモリー（ＲＡＭ）、または、読み出し専用メモリー（ＲＯＭ）といった半導体電子ストレージデバイス；もしくは、本発明に従った方法を実行するように一つまたはそれ以上のコンピューターをコントロールするためのインストラクションを有するコンピュータープログラムを保管するために使用される、あらゆる他の物理的デバイス又は媒体、である。

２ フラッシュ
４ レンズ
６ 調整可能な絞りと調整可能なシャッター
８ ズームとフォーカスモータードライバー
１０ デジタルカメラ
１２ タイミングジェネレーター
１４ 画像センサー
１６ ＡＳＰおよびＡ／Ｄコンバーター
１８ バッファーメモリー
２０ プロセッサ
２２ 音声コーデック
２４ マイクロフォン
２５ 圧力センサー
２６ スピーカー
２７ 加速度計
２８ ファームウェアメモリー
３０ ストレージメモリー
３２ 画像ディスプレイ
３４ ユーザーコントロール
３６ ディスプレイメモリー
３８ 有線インターフェイス
４０ コンピューター
４２ 傾きセンサー
４４ ビデオインターフェイス
４６ ビデオディスプレイ
４８ インターフェイス／リチャージャー
５０ 無線モデム
５２ ラジオ周波数帯
５８ 無線ネットワーク
７０ インターネット
７２ 写真サービスプロバイダー
２００ ビデオシーケンスをキャプチャーする
２０５ デジタルビデオシーケンス
２１０ 参照画像をキャプチャーする
２１５ 参照画像
２２０ キャプチャーされたビデオシーケンスを処理
２２５ デジタルビデオファイル
２３０ デジタルビデオファイルを保管する
２３５ 保管されたデジタルビデオファイル
２４０ キャプチャーされた画像フレームを分析する
２４５ 画像フレームのサブセット
２５０ ビデオサマリーを形成する
２５５ ビデオサマリー
２６０ ビデオサマリーの表現を保管する
２６５ ビデオサマリーの表現
３００ 他のビデオ処理ステップ
３１０ キャプチャーされた画像フレーム
３２０ 第１のビデオ処理パス
３３０ 第２のビデオ処理パス
３４０ 第１のビデオエンコーダー
３５０ 第１のエンコードされた画像フレーム
３６０ 画像リサイザー
３７０ 変更された画像フレーム
３８０ 第２のビデオエンコーダー
３９０ 第２のエンコードされた画像フレーム
４３０ 第２のビデオ処理パス
４６０ 所定の人間を含む画像検査
４７０ 画像廃棄ステップ
５１０ 参照画像キャプチャーステップ
６１０ 参照データ指定ステップ
６１５ 参照データ
６４０ キャプチャーされた画像フレーム分析ステップ

Claims (20)

1. ビデオシーケンスをキャプチャーし、関連するビデオサマリーを提供するデジタルビデオカメラシステムであって：
   デジタル画像をキャプチャーするための画像センサーと；
   前記画像センサー上にシーンの画像を形成するための光学系と；
   データ処理システムと；
   キャプチャーされたビデオシーケンスを保管するためのストレージメモリーと；
   前記データ処理システムに通信可能に接続されたプログラムメモリーであり、前記データ処理システムにビデオサマリーを形成するための方法を実施するようにさせるように構成されたインストラクションを保管しているプログラムメモリーと、
   を含み、
   前記方法は、
   参照データを指定するステップであり、前記参照データは興味の特徴を示すステップと；
   前記画像センサーを使用して前記シーンのビデオシーケンスをキャプチャーするステップであり、前記ビデオシーケンスは画像フレームのタイムシーケンスを含んでいるステップと；
   デジタルビデオファイルを形成するためにビデオ処理パスを使用して前記キャプチャーされたビデオシーケンスを処理するステップと；
   特徴認識アルゴリズムを使用して、前記興味の特徴を含む前記画像フレームのサブセットを特定するために、前記キャプチャーされた画像フレームを分析するステップと；
   前記キャプチャーされたビデオシーケンスの中の全ての画像フレームより少ない画像フレームを含む前記ビデオサマリーを形成するステップであり、前記ビデオサマリーは、前記興味の特徴を含んでいる前記特定された画像フレームのサブセットを少なくとも部分的に含んでいるステップと；
   前記デジタルビデオファイルを前記ストレージメモリーの中に保管するステップと；
   前記ビデオサマリーの表現を前記ストレージメモリーの中に保管するステップと、
   を含む
   ことを特徴とするデジタルビデオカメラシステム。
2. 前記参照データは、前記興味の特徴を含んでいる参照画像を含む、
   請求項１に記載のデジタルビデオカメラシステム。
3. 前記参照画像は、所定の個人、または、所定の対象物を含む、
   請求項２に記載のデジタルビデオカメラシステム。
4. 前記参照データは、興味の特徴のテキスト表現である、
   請求項１に記載のデジタルビデオカメラシステム。
5. 前記テキスト表現は、個人、対象物、場所、なたは、イベントの名前を含む、
   請求項４に記載のデジタルビデオカメラシステム。
6. 前記参照データは、所望の画像フレーム特性を指定する情報を含んでいる、
   請求項１に記載のデジタルビデオカメラシステム。
7. 前記所望の画像フレーム特性は、カメラ動作特性、カメラズーム工程特性、または、対象物動作特性である、
   請求項６に記載のデジタルビデオカメラシステム。
8. 前記ビデオサマリーの表現は、デジタルビデオファイルサマリーである、
   請求項１に記載のデジタルビデオカメラシステム。
9. 前記デジタルビデオファイルサマリーは、前記デジタルビデオファイルを形成するために使用されたものとは別の異なるビデオ処理パスを使用して、前記キャプチャーされたビデオシーケンスの前記画像フレームから形成されている、
   請求項８に記載のデジタルビデオカメラシステム。
10. 前記デジタルビデオファイルサマリーは、少なくとも部分的に前記デジタルビデオファイルと同時に形成される、
    請求項８に記載のデジタルビデオカメラシステム。
11. 前記ビデオサマリーの表現は、前記デジタルビデオファイルから前記ビデオサマリーの中に含まれるべき一式の画像フレームを指定するフレーム識別メタデータを含む、
    請求項１に記載のデジタルビデオカメラシステム。
12. 前記フレーム識別メタデータは、前記デジタルビデオファイルの中に保管される、
    請求項１１に記載のデジタルビデオカメラシステム。
13. 前記ビデオサマリーは、また、前記興味の特徴を含んでいる画像フレームの前記特定されたサブセットに加えて、追加の画像フレームを含む、
    請求項１に記載のデジタルビデオカメラシステム。
14. 前記追加の画像フレームは、前記興味の特徴を含んでいる画像フレームの前記特定されたサブセットの中の前記画像フレームの直前または直後の画像フレームを含む、
    請求項１３に記載のデジタルビデオカメラシステム。
15. 前記ビデオシーケンスの前記画像フレームは、前記デジタルビデオファイルの中に保管するために圧縮され、かつ、前記興味の特徴を含んでいる前記特定された画像ファイルのサブセットにおける前記画像フレームの直前又は直後の前記画像フレームが選択され、前記ビデオサマリーは、前記圧縮された画像フレームをデコードする必要なしに前記デジタルビデオファイルから抽出することができる画像フレームのグループを含んでいる、
    請求項１４に記載のデジタルビデオカメラシステム。
16. 前記追加の画像フレームは、重要な部分であると判断される前記キャプチャーされたビデオシーケンスの他の部分を含む、
    請求項１３に記載のデジタルビデオカメラシステム。
17. 前記キャプチャーされたビデオシーケンスの前記重要な部分は、主要フレーム抽出アルゴリズムを使用して特定された主要画像フレームを含む、
    請求項１６に記載のデジタルビデオカメラシステム。
18. 前記キャプチャーされた画像フレームを分析する前記ステップは、前記ビデオシーケンスのキャプチャーの最中に実行される、
    請求項１に記載のデジタルビデオカメラシステム。
19. 前記ビデオサマリーは、前記興味の特徴を含んでいる前記特定された画像フレームのサブセットから選択された静止画像の集合である、
    請求項１に記載のデジタルビデオカメラシステム。
20. ビデオシーケンスに対するビデオサマリーを形成する方法であって：
    画像フレームのタイムシーケンスを含むビデオシーケンスを受取るステップと；
    参照データを指定するステップであり、前記参照データは興味の特徴を示すステップと；
    前記興味の特徴を含む前記画像フレームのサブセットを特定するための特徴認識アルゴリズムを使用して、自動的に前記画像フレームを分析するためにデータプロセッサを使用するステップと；
    前記ビデオシーケンスの中の全ての前記画像フレームより少ない画像フレームを含む前記ビデオサマリーを形成するステップであり、前記ビデオサマリーは、前記興味の特徴を含んでいる前記特定された画像フレームのサブセットを少なくとも部分的に含むステップと；
    プロセッサがアクセス可能なストレージメモリーの中に前記ビデオサマリーの表現を保管するステップと、を含む、
    ことを特徴とする方法。

Images