JP2005253027A - 画像抽象化の多重解像度特徴抽出の方法 - Google Patents

Abstract

【課題】多重解像度特徴抽出を採用する画像抽象化の方法を提供することを目的とする。
【解決手段】ビデオシーケンスで、フレームの少なくとも一つの未加工のイメージを、ストレージ領域に保存し、所望特性を有するフレームのイメージに要求し、要求に対応して、可能であれば、ストレージ領域の所望特性を有するフレームの一イメージを返還し、そうでなければ、所望の特性を有するイメージを、ストレージ領域に返還し、加え、ストレージ領域のフレームの一イメージから転換し、返還イメージにより、フレームの特徴値を計算する工程からなる。
【選択図】図１

Description

本発明は、画像抽象化（video abstraction）に関するものであって、特に、多重解像度特徴抽出（multi−resolution feature extraction）を採用した画像抽象化に関するものである。

デジタルビデオは、今日のコンピュータ、及び、電気通信産業において、新興の勢いにある。インターネットの急成長は、全マルチメディア技術を推し進めている。絶え間ないハードウェア開発は、パソコンがデジタルビデオアプリケーションの高ストレージ及び計算要求の処理に足るだけの目的に達している。高品質のデジタルビデオを消費者に提供するDVDは、急速に普及した。更に、デジタルカメラ及びビデオカメラの発達により、画像の獲得、それをデジタル形式で、コンピュータにロードするのが非常に容易である。多くの企業、大学、一般家庭でさえ、既に、アナログ及びデジタル両方の形式で、放送、訓練、教育ビデオ、宣伝、コマーシャル、モニター、測量学、及び、ホームビデオ等、大容量のビデオを有している。これらの傾向は、デジタルビデオの世界の有望な将来を示している。

デジタルビデオの急速な進化は、多くの新しいアプリケーション、新しい技術の調査、発展をもたらし、ビデオアーカイビング、目録、見出しのコストの減少、更に、効果、有用性、アクセスのしやすさの改善が非常に必要とされている。全可能調査領域において、いかにして、大所蔵のビデオデータのブラウズ閲覧を可能にし、いかにして、効果的なコンテンツアクセス及び表現を達成するかが重要なトピックである。これらの問題を解決するために、近年、画像抽象化技術が出現し、インターネットの観察がなされている。

名前が示すように、画像抽象化は、長いビデオドキュメントの内容を要約したものである。特に、画像抽象化は、オリジナルの本質的なメッセージが保存される間、ターゲットパーティが快速に、コンテンツに関する簡潔な情報を提供する方式で、ビデオの内容を表示する静止画像、或いは、動画のシーケンスである。

理論上、画像抽象化は、手動と自動の両方で生成されるが、膨大なビデオデータ容量と制限された人力のため、自動ビデオ分析と処理ツールを充分に発展させ、画像抽象化工程において、人的関与を減少させることが重要である。

静止画像と動画の抽象化という、二つの基本的に異なる抽象化がある。静的ストーリーボードとして知られる静止画像抽象化は、内在するビデオソースから抽出、或いは、形成された小さい所蔵の突出したイメージである。動的ストーリーボード、或いは、マルチメディアサマリーとして知られる動画抽象化は、イメージシーケンスの所蔵からなり、更に、対応するオーディオ抽象化は、オリジナルのシーケンスから抽出され、非常に短いビデオクリップである。

視覚情報だけの形成が活用され、オーディオ及び文字情報の処理は必要ないので、静止画像抽象化は、更に早く確立される。これにより、一旦構成されれば、タイミング、或いは、同期化の問題が無いので、容易に表示される。更に、モザイクなどの際立ったイメージが生成されて、直接ビデオフレームをサンプリングするのに代わり、基礎的なビデオコンテンツを表示できる。一方、抽出した全表現フレームの一時的順序は、空間的順序で表示され、ユーザーは、ビデオコンテンツが更に早く把握できる。最後に、必要時に、全抽出されたスチール写真が簡単に、プリントアウトされる。

動画抽象化を用いる長所はまだある。静止画像抽象化と比較すると、オーディオトラックは、教育、訓練ビデオ等の中等に、重要な情報を含んでいるのもあるので、オリジナルのオーディオ情報を用いることが理解できる。一方、再生期間中、抽出工程が効果を上げている間、計算作用が高くなる。

ユーザーにとって、スライドショーを見るよりも後書きを見るほうが自然で興味深い。多くの場合、動作も情報関与的である。

自動ビデオ編集ソフトであるMuvee autoProducer、Roxio VideoWave、及びACD VideoMagicは、自動画像抽象化を特徴付けるソフトウェアアプリケーションとして知られている。それらは、Muveeの自動編集カーネル技術を導入し、ビデオクリップを解析する。ショット境界、低品質材料、人面の存在、方向、及び動作量等のビデオクリップの特徴が抽出される。

特徴抽出は、画像抽象化の重要な措置である。人の認知を正確に自動抽象化工程に位置づけるために、新しい特徴が明らかにされなければならない。例えば、処理された像の解像度、特定の特性上、異なる特徴の抽出のために、異なる要求がある。

しかし、公知の画像抽象化技術は、特徴抽出において効率が悪い。抽出工程は、処理されたフレームのイメージを、各特徴に対する対応要求に適合するものに転換する工程を含まなければならない。同イメージ転換工程が二つ、或いは、それ以上の特徴に採用されても、それぞれに対し、繰り返えされなければならない。一方、抽出工程中のイメージ転換工程の含有は、新しい特徴の発展を複雑化する。

特開２０００−２６１７４１号公報

本発明は、特徴の抽出に対し、対応要求に適合する作動イメージを、抽出工程によるのではなく、イメージプールマネージャーに要求することだけにより得られる、多重解像度特徴抽出を採用する画像抽象化の方法を提供することを目的とする。

上述の目的を達成するため、本発明は、ビデオシーケンスで、フレームの少なくとも一つの未加工のイメージを、ストレージ領域に保存し、所望特性を有するフレームのイメージに要求し、要求に対応して、可能であれば、ストレージ領域の所望特性を有するフレームの一イメージを返還し、そうでなければ、所望の特性を有するイメージを、ストレージ領域に返還し、加え、ストレージ領域のフレームの一イメージから転換し、返還イメージにより、フレームの特徴値を計算する工程からなる。

本発明は、更に、
（ａ）ビデオシーケンスから一フレームを捉える工程と、
（ｂ）前記キャプチャーフレームにシーン検出を適用する工程と、
（ｃ）
（ｃ１）ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、
（ｃ２）前記特徴の中から選択された一つに対し、所望の特性を有するキャプチャーフレームのイメージに要求する工程と、
（ｃ３）前記要求に対応し、可能な場合、前記所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、
（ｃ４）前記返還イメージを用いて、前記キャプチャーフレームの選択された特徴値を計算する工程と、
（ｃ５）全特徴が選択される間、前記工程（ｃ２）〜（ｃ４）を繰り返す工程と、により、前記キャプチャーフレームの特徴を抽出する工程と、
（ｄ）現在から次のシーンへの変遷が、前記工程（ｂ）で検出されるか、或いは、全フレームが捉えられる間、前記工程（ａ）〜（ｃ）を繰り返す工程と、
（ｅ）前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、
（ｆ）前記全フレームが捉えられる間、前記工程（ａ）〜（ｅ）を繰り返す工程と、
（ｇ）前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、からなる。

本発明は、もう一つの画像抽象化の方法を提供し、
（ａ）ビデオシーケンスから一フレームを捉える工程と、
（ｂ）前記キャプチャーフレームにシーン検出を適用する工程と、
（ｃ）
（ｃ０）前記キャプチャーフレームが、前記シーン検出結果に基づいて、代表フレームとして判断される場合だけ、工程（ｃ１）〜（ｃ４）を実行し、そうでない場合、前に決定された代表フレームと同様のキャプチャーフレームの第一特徴値を設定する工程と、
（ｃ１）ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、
（ｃ２）第一所望特性を有するキャプチャーフレームのイメージに要求する工程と、
（ｃ３）前記要求に対応し、可能な場合、前記第一所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、そうでない場合、前記第一所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、
（ｃ４）前記返還イメージを用いて、前記キャプチャーフレームの第一特徴値を計算する工程と、により、前記キャプチャーフレームの第一特徴を抽出する工程と、
（ｄ）
（ｄ０）前と現在のキャプチャーフレームの二つの未加工のイメージを、前記ストレージ領域に保存する工程と、
（ｄ１）第二所望特性を有する前と現在のキャプチャーフレームの二つの未加工のイメージそれぞれに要求する工程と、
（ｄ２）前記要求に対応し、二つの要求イメージのそれぞれに対し、可能な場合、前記第二所望特性を有する対応するフレームの一イメージをストレージ領域に返還し、そうでない場合、前記第二所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、対応するフレームの一イメージから転換する工程と、
（ｄ３）前記二つの返還イメージを用いて、前記キャプチャーフレームの第二特徴値を計算する工程と、
により、前記キャプチャーフレームの第二特徴を抽出する工程と、
（ｅ）現在から次のシーンへの変遷が、前記工程（ｂ）で検出されるか、或いは、全フレームが捉えられる間、前記工程（ａ）〜（ｄ）を繰り返す工程と、
（ｆ）前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、
（ｇ）前記全フレームが捉えられる間、前記工程（ａ）〜（ｆ）を繰り返す工程と、
（ｈ）前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、からなる。

以上のような画像抽象化方法は、効果的で、特徴抽出において柔軟性に優れる。

図１は、本発明の具体例による画像抽象化方法のフローチャートである。

工程Ｓ１１において、ビデオシーケンスが確保される。例えば、ビデオシーケンスは４つの異なるシーンから構成され、７２０×４８０の解像度で、３０fpsのフレームレートで１分の長さである１８００フレームを有する。

工程Ｓ１２において、第一フレームがビデオシーケンスから捉えられる。

工程Ｓ１３において、シーン検出が現在のキャプチャーフレームに適用される。

工程Ｓ１４において、平均カラー、平均輝度、スキン比率、安定性、モーションアクティビティ、及び、色差等の複合特徴の値やスコアが、現在のフレームから抽出され、スコアレジスタ（Ｓ１５）に保存される。更に、特徴検出に欠かせないキャプチャーフレームの作動イメージは、イメージプールマネージャー（Ｓ１６）から抽出される。イメージプールマネージャー（Ｓ１６）は、６特徴の抽出工程からの要求を受信する。要求が一旦、受信されれば、イメージマネージャー（Ｓ１６）は、イメージプール（Ｓ１７）（一時的なストレージ領域）で、要求イメージを検索し、現在のフレームの未加工のイメージ（raw image）が初期的に保存される。要求イメージが見つかった場合、返還され、そうでない場合、イメージプールマネージャー（Ｓ１６）は、イメージを選択し、イメージプール（Ｓ１７）で、要求イメージに転換する。イメージプールマネージャー（Ｓ１６）は、返還された作動イメージもイメージプール（Ｓ１７）に保存し、同イメージへの要求が遅れて受信された場合、イメージ転換は繰り返されなくてもよい。

工程Ｓ１８において、現在のキャプチャーフレームが、シーン検出結果に基づいた後続シーンの第一フレームか、或いは、ビデオシーケンスの終わりかどうかを判断する。もし、そうである場合、工程Ｓ１９に、そうでない場合は、工程Ｓ１２に戻って、次のフレームが捉えられる。

工程Ｓ１９において、現在のシーン中の全フレームの６特徴のスコアと値が、スコアレジスタ（Ｓ１５）から抽出される。各特徴において、現在のシーンのスコア全体は、現在のシーン中の全フレームの特徴のスコア、或いは、値を用いて計算される。例えば、平均カラー、平均輝度、スキン比率、安定性、モーションアクティビティ、及び、色差の６スコア全体が、それぞれ計算される。

工程Ｓ２０において、現在のキャプチャーフレームがビデオシーケンスの終わりかどうか判断する。もし、そうなら、工程Ｓ２１に進み、そうでないなら、工程Ｓ１２に戻り、次のフレームが捉えられる。

工程Ｓ２１において、シーンは、スコア全体と抽象化結果に基づいて選択され、抽出結果は、選択されたシーンを構成することによりもたらされる。例えば、他の３特徴よりも、更に重いスキン比率、安定性、モーションアクティビティで高スコアを有するので、ビデオシーケンスの第一及び第三シーンが選択され、これにより、抽象化結果が構成される。

図２は、図１で示される本発明の具体例による特徴抽出方法のフローチャートである。

工程Ｓ２１１において、平均カラー、平均輝度、スキン比率等の第一特徴の抽出は、現在のキャプチャーフレームが代表フレームであるかどうかのシーン検出結果に基づいて決定される。そうである場合、工程Ｓ２１３に進み、そうでない場合、工程Ｓ２１２に進む。

工程Ｓ２１２において、第一特徴の値、或いは、スコアは、前の代表フレームのそれと等しく設定される。

工程Ｓ２１３において、現在のフレームの未加工のイメージがイメージプール（Ｓ１７）に保存される。

工程Ｓ２１４において、第一特徴の抽出工程は、解像度３６０×２４０等の第一所望特性を有する作動イメージに要求する。

工程Ｓ２１５において、要求に対応し、可能なら、イメージプール（Ｓ１７）に保存された、第一所望特性を有する一イメージを返還する。そうでなければ、イメージプール（Ｓ１７）で選択されたキャプチャーフレームの一イメージから転換される、第一所望特性を有するイメージが、イメージプール（Ｓ１７）に返還、加入される。選択されたイメージは、第一特性のビューの中で、要求に一番近いイメージである。

工程Ｓ２１６において、キャプチャーフレームの第一特徴の値、或いは、スコアが、返還された作動イメージを用いて計算される。計算されたスコアはスコアレジスタ（Ｓ１５）に保存される。

工程Ｓ２２１において、安定性、モーションアクティビティ、及び、色差等の第二特徴において、現在のフレームがビデオシーケンスの第一フレームであるかどうか判定する。そうである場合、工程Ｓ１８に進み、抽出工程を省略する。そうでない場合、工程Ｓ２２２に進む。

工程２２２において、前と現在のキャプチャーフレームの二つの未加工のイメージが、それぞれ、イメージプール（Ｓ１７）に保存される。

工程Ｓ２２３において、抽出工程は、解像度３６０×２４０等の所望の特性を有する前と現在のキャプチャーフレームの二つの未加工のイメージに要求する。

工程Ｓ２２４において、要求に対応し、二つの要求イメージに対し、可能なら、イメージプール（Ｓ１７）の第二所望特性を有する対応フレームの一イメージが返還され、そうでない場合、イメージプール（Ｓ１７）で選択された対応フレームの一イメージから転換された第二所望特徴を有するイメージがイメージプール（Ｓ１７）に返還、加入される。選択されたイメージは、第二特性のビューの中で、要求に一番近いイメージである。

工程Ｓ２２５において、キャプチャーフレームの第二特徴の値、或いは、スコアは、二つの返還作動イメージを用いて計算される。

前述の具体例において、第一及び第二特徴の二つの抽出工程だけが記述されているが、抽出される特徴の重量や偶数は、ユーザー入力により決定され、抽出結果が異なる。自動抽出工程において、ユーザー認識解析を正確にするのに有利である。

結論として、本発明は、多重解像度特徴抽出を採用する画像抽象化の方法を提供し、特徴抽出の対応要求と一致する作動イメージは、抽出工程ではなく、イメージプールマネージャーに要求するだけで得られる。この新規の画像抽象化方法は、効果的で、特徴抽出において柔軟性に優れる。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

本発明の具体例による画像抽象化方法のフローチャートである。 図１で示される本発明の具体例による特徴抽出方法のフローチャートである。

符号の説明

Ｓ１５ スコアレジスタ
Ｓ１６ プールマネージャー
Ｓ１７ イメージプール

Claims (27)

1. 画像抽象化の特徴抽出の方法であって、
   ビデオシーケンスで、フレームの少なくとも一つの未加工のイメージを、ストレージ領域に保存する工程と、
   所望特性を有する前記フレームのイメージに要求し、
   要求に対応して、
   可能であれば、ストレージ領域の前記所望特性を有する前記フレームの一イメージを返還し、
   そうでなければ、前記所望特性を有する前記イメージを、前記ストレージ領域に返還し、加え、前記フレームの一イメージから前記ストレージ領域で転換する工程と、
   前記返還イメージを用いて、前記フレームの特徴値を計算する工程と、
   からなることを特徴とする、画像抽象化の特徴抽出の方法。
2. 前記特性は、画像解像度であることを特徴とする、請求項１に記載の画像抽象化の特徴抽出の方法。
3. 前記特徴は、平均カラー、平均輝度、或いは、スキン比率であることを特徴とする、請求項１に記載の画像抽象化の特徴抽出の方法。
4. 前記特徴は、ユーザー入力により決定されることを特徴とする、請求項１に記載の画像抽象化の特徴抽出の方法。
5. 前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項１に記載の画像抽象化の特徴抽出の方法。
6. 更に、
   前記ビデオシーケンスで、前のフレームの未加工のイメージを前記ストレージ領域に保存する工程と、
   前記所望特性を有する前記前のフレームのイメージに第二要求する工程と、
   前記第二要求に対応し、
   可能な場合、前記所望特性を有する前記前の一イメージを前記ストレージ領域に返還し、
   そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記前の一イメージから転換する工程と、
   からなり、前記特徴は、更に、前記第二要求の前記返還イメージを用いて、計算されることを特徴とする、請求項１に記載の画像抽象化の特徴抽出の方法。
7. 前記特性は、画像解像度であることを特徴とする、請求項６に記載の画像抽象化の特徴抽出の方法。
8. 前記特徴は、安定性、モーションアクティビティ、或いは、色差であることを特徴とする、請求項６に記載の画像抽象化の特徴抽出の方法。
9. 前記特徴は、ユーザー入力により決定されることを特徴とする、請求項６に記載の画像抽象化の特徴抽出の方法。
10. 前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項６に記載の画像抽象化の特徴抽出の方法。
11. 画像抽象化の特徴抽出の方法であって、
    （ａ）ビデオシーケンスから一フレームを捉える工程と、
    （ｂ）前記キャプチャーフレームにシーン検出を適用する工程と、
    （ｃ）
    （ｃ１）ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、
    （ｃ２）前記特徴の中から選択された一つに対し、所望の特性を有するキャプチャーフレームのイメージに要求する工程と、
    （ｃ３）前記要求に対応し、可能な場合、前記所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、
    （ｃ４）前記返還イメージを用いて、前記キャプチャーフレームの選択された特徴値を計算する工程と、
    （ｃ５）全特徴が選択される間、前記工程（ｃ２）〜（ｃ４）を繰り返す工程と、により、前記キャプチャーフレームの特徴を抽出する工程と、
    （ｄ）現在から次のシーンへの変遷が、前記工程（ｂ）で検出されるか、或いは、全フレームが捉えられる間、前記工程（ａ）〜（ｃ）を繰り返す工程と、
    （ｅ）前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、
    （ｆ）前記全フレームが捉えられる間、前記工程（ａ）〜（ｅ）を繰り返す工程と、
    （ｇ）前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、
    からなることを特徴とする、画像抽象化の特徴抽出の方法。
12. 前記特性は、画像解像度であることを特徴とする、請求項１１に記載の画像抽象化の特徴抽出の方法。
13. 前記特徴抽出は、更に、
    （ｃ０）前記キャプチャーフレームが、前記シーン検出結果に基づいて、代表フレームとして判断される場合だけ、前記工程（ｃ１）〜（ｃ４）を実行し、そうでない場合、前に決定された代表フレームと同様のキャプチャーフレームの選択された特徴値を設定する工程を含み、
    前記工程（ｃ０）は前記工程（ｃ２）〜（ｃ４）に加えて、前記工程（ｃ５）で繰り返されることを特徴とする、請求項１１に記載の画像抽象化の特徴抽出の方法。
14. 前記特徴は、平均カラー、平均輝度、或いは、スキン比率であることを特徴とする、請求項１３に記載の画像抽象化の特徴抽出の方法。
15. 前記特徴は、ユーザー入力により決定されることを特徴とする、請求項１１に記載の画像抽象化の特徴抽出の方法。
16. 前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項１１に記載の画像抽象化の特徴抽出の方法。
17. 前記特徴抽出は、更に、
    （ｃ６）ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、
    （ｃ７）前記所望特性を有する前記フレームのイメージに第二要求する工程と、
    （ｃ８）前記第二要求に対応し、
    可能な場合、前記所望特性を有する前記前の一イメージを前記ストレージ領域に返還し、
    そうでない場合、前記所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記前の一イメージから転換する工程と、
    からなり、前記選択された特徴の前記値は、更に、前記工程（ｃ４）で、第二要求の前記返還されたイメージを用いて計算され、前記工程（ｃ６）〜（ｃ８）は、前記工程（ｃ２）〜（ｃ４）に加えて、前記工程（ｃ５）で繰り返されることを特徴とする、請求項１１に記載の画像抽象化の特徴抽出の方法。
18. 前記特性は、画像解像度であることを特徴とする、請求項１７に記載の画像抽象化の特徴抽出の方法。
19. 前記特徴は、安定性、モーションアクティビティ、或いは、色差であることを特徴とする、請求項１７に記載の画像抽象化の特徴抽出の方法。
20. 前記特徴は、ユーザー入力により決定されることを特徴とする、請求項１７に記載の画像抽象化の特徴抽出の方法。
21. 前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項１７に記載の画像抽象化の特徴抽出の方法。
22. 画像抽象化の特徴抽出の方法であって、
    （ａ）ビデオシーケンスから一フレームを捉える工程と、
    （ｂ）前記キャプチャーフレームにシーン検出を適用する工程と、
    （ｃ）
    （ｃ０）前記キャプチャーフレームが、前記シーン検出結果に基づいて、代表フレームとして判断される場合だけ、工程（ｃ１）〜（ｃ４）を実行し、そうでない場合、前に決定された代表フレームと同様のキャプチャーフレームの第一特徴値を設定する工程と、
    （ｃ１）ストレージ領域に、前記キャプチャーフレームの未加工のイメージを保存する工程と、
    （ｃ２）第一所望特性を有するキャプチャーフレームのイメージに要求する工程と、
    （ｃ３）前記要求に対応し、
    可能な場合、前記第一所望特性を有する前記キャプチャーフレームの一イメージをストレージ領域に返還し、
    そうでない場合、前記第一所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、前記キャプチャーフレームの一イメージから転換する工程と、
    （ｃ４）前記返還イメージを用いて、前記キャプチャーフレームの第一特徴値を計算する工程と、により、前記キャプチャーフレームの第一特徴を抽出する工程と、
    （ｄ）
    （ｄ０）前と現在のキャプチャーフレームの二つの未加工のイメージを、前記ストレージ領域に保存する工程と、
    （ｄ１）第二所望特性を有する前と現在のキャプチャーフレームの二つの未加工のイメージそれぞれに要求する工程と、
    （ｄ２）前記要求に対応し、二つの要求イメージのそれぞれに対し、
    可能な場合、前記第二所望特性を有する対応するフレームの一イメージをストレージ領域に返還し、
    そうでない場合、前記第二所望特性を有するイメージを、前記ストレージ領域に返還、加入し、前記ストレージ領域で、対応するフレームの一イメージから転換する工程と、
    （ｄ３）前記二つの返還イメージを用いて、前記キャプチャーフレームの第二特徴値を計算する工程と、により、前記キャプチャーフレームの第二特徴を抽出する工程と、
    （ｅ）現在から次のシーンへの変遷が、前記工程（ｂ）で検出されるか、或いは、全フレームが捉えられる間、前記工程（ａ）〜（ｄ）を繰り返す工程と、
    （ｆ）前記フレームの前記特徴値を用いて、前記現在のシーンのスコアを計算する工程と、
    （ｇ）前記全フレームが捉えられる間、前記工程（ａ）〜（ｆ）を繰り返す工程と、
    （ｈ）前記スコアに従って、前記シーンを選択し、前記選択されたシーンを構成して、抽象化工程を生み出す工程と、
    からなることを特徴とする、画像抽象化の特徴抽出の方法。
23. 前記第一特徴は、平均カラー、平均輝度、或いは、スキン比率であることを特徴とする、請求項２２に記載の画像抽象化の特徴抽出の方法。
24. 前記第二特徴は、安定性、モーションアクティビティ、或いは、色差であることを特徴とする、請求項２２に記載の画像抽象化の特徴抽出の方法。
25. 前記特性は、画像解像度であることを特徴とする、請求項２２に記載の画像抽象化の特徴抽出の方法。
26. 前記第一及び第二特徴は、ユーザー入力により決定されることを特徴とする、請求項２２に記載の画像抽象化の特徴抽出の方法。
27. 前記返還イメージに転換されるのに選択される前記ストレージ領域の前記イメージは、前記所望値に一番近い特徴値を有することを特徴とする、請求項２２に記載の画像抽象化の特徴抽出の方法。
    

Images