JP2009533993A - データ要約システム及びデータストリーム要約方法 - Google Patents

Abstract

少なくとも１つのデータストリーム（１２）を要約する方法を更に進展させるとともに、これに対応するデータ要約システム（１００）であって、少なくとも１つの要約が、データストリーム（１２）の受信直後に、特に如何なる後処理動作も行なうことなしにデータストリームのコンテンツ取得、記録、符号化及び復号化の何れか１つ又は任意の組合せの直後に得られるように少なくとも１つのデータストリーム（１２）を受信する少なくとも１つの受信手段（１０）を有する当該データ要約システム（１００）を更に進展させるために、データストリーム部分の一部（３２、３２´）を選択する少なくとも１つの選択手段（３０）と、特に予め決定した少なくとも１つの要約ボリュームが得られるまで、選択されたデータストリーム部分の少なくとも一部（３２´）を要約することにより少なくとも１つの要約を発生する少なくとも１つの処理手段（７０）とを提供し、要約はデータストリーム（１２）の受信中に発生させるようにする。

Description

本発明は、データ要約システム、特にビデオコンテンツ又はデジタル写真群のような複数の画像に対する要約システムであって、複数のデータセグメントを有する少なくとも１つのデータストリームを受信する、特に少なくとも１つのビデオコンテンツストリームの記録、符号化及び復号化の何れか１つ又は任意の組み合わせを行う少なくとも１つの受信手段を有するデータ要約システムに関するものである。

本発明は更に、複数のデータストリーム部分を有する複数のデータセグメントを具える少なくとも１つのデータストリームを要約する方法、特に少なくとも１つのビデオコンテンツストリームを要約する方法にも関するものである。

ハードディスクビデオレコーダや、光ディスクビデオレコーダは、ユーザが数百時間のテレビジョン（ＴＶ）プログラムを記録しうるようにする。

ユーザが、記憶されたコンテンツの迅速な概観（オーバービュー）を達成しうるようにするとともに、プログラム全体を見るかどうかを決定しうるようにするための興味深い特性は、例えば以下の従来技術論文に記載されているように、ビデオプレビュー及びビデオ要約の自動発生である。
‐ハイデルベルクのシュプリンガー出版の文献である“Lecture Notes in Computer Science ”、第３３３２巻の第９〜１８頁に記載された、東京で２００４年１１月３０日〜１２月３日に開催された学会である“Advances in Multimedia Information Processing-PCM 2004: 5th Pacific Rim Conference on Multimedia”, Proceedings, Part II (Kiyoharu Aizawa, Yuichi Nakamura, Shinich Satoh氏編集)における従来技術の論文“Movie-in-a-Minute: Automatically Generated Video Previews ”（Mauro Barbieri, Nevenka Dimitrova, Lalitha Agnihotri氏著）
‐Communications of the ACM, Vol. 40, No. 12(1997年12月)の第55〜62頁に記載された論文“Video Abstracting ”（Rainer Lienhart, Silver Pfeiffer, Wolfgang Effelsberg 氏著）

これらの従来のシステムは、ＴＶプログラムが記録されると、この記録されたプログラムを解析し、ビデオプレビュー又は要約を自動的に創出する。

前記従来技術論文“Movie-in-a-Minute: Automatically Generated Video Previews ”に記載された要約システムは、ビデオコンテンツを記録後又は記録中に解析してコンテンツの特性を抽出し、その後、抽出されたコンテンツの特性を用いてセグメントを選択し、要約を構成するように設計されている。

これらの従来の要約システムによれば、セグメントの選択は、プログラム全体に亘る特性の分布に基づくものであり、従って、受信、特に記録、符号化及び復号化の何れか１つ又は任意の組み合わせとコンテンツ解析とが終了した際の後処理工程として実行される。

ビデオレコーダ用の更なるビデオ要約システムは、従来技術の論文“MPEG-7 Meta-Data Enhanced Encoder System for Embedded Systems ”（２００４年３月、Kohtaro Asai, Hirofumi Nishikawa, Daiki Kudo, Ajay Divakaran氏著）（http://www.merl.com/参照）に記載されている。

このビデオ要約システムは、前述した従来の要約システムと同様に、メタデータを実時間で抽出するものであり、要約の実際の発生は、記録が終了した後に、抽出されたメタデータに基づいて行われる。

特に、前記に援用した従来技術論文“MPEG-7 Meta-Data Enhanced Encoder System for Embedded Systems ”に記載されたビデオ要約システムは、２つの工程、すなわち、
‐語義の境界、いわゆるセクショントゥー（section two ）を見いだす第１の工程と、
‐いわゆるモーションベースドビデオ要約法を用いて、興味のある個々のセグメントを要約する第２の工程と
で要約を実行する。

実際の要約は、コンテンツ及びメタデータ、特にセグメント境界及び動き情報の全てが記憶された後に行われる。その結果、記録の終了時と、メタデータの発生の終了時、すなわち、要約の発生の終了時との間に、遅延が生じる。この遅延は、上述した従来技術論文“MPEG-7 Meta-Data Enhanced Encoder System for Embedded Systems ”に記載されているように、約１２秒要する。

上述したことに加え、この従来技術論文“MPEG-7 Meta-Data Enhanced Encoder System for Embedded Systems ”に記載されている従来の要約システムは、コンテンツの特性の抽出が圧縮領域内でのみ適用される為に、不都合なものとなる。

従来のビデオ要約システムは、記録後又はコンテンツの獲得後のビデオコンテンツの後処理に基づく為、ビデオプログラムの要約は、記録が終了した後に直ちに得ることができない。

プログラムが記録済みとなった後の後処理を必要とするレコーダは満足なものとはならない。その理由は、プログラムの記録中に装置のプラグが電源又はデータ源から抜かれると、その瞬時まで記録されたコンテンツは得られるが、要約は得られない為である。

記録中に要約を実時間で発生させるシステムは、従来技術の文献である米国特許第２００３／００６１６１２号明細書に記載されている。しかし、このシステムは、キーフレームの抽出に限定されている。要約は一組のキーフレームで表される。基本的には、フレームは、これが充分な“フェイスカラー（顔色）”を含む場合にキーフレームであるとして選択される。

特に、この従来の要約システムは、特性の抽出に対してＤＣ画像のみを用いる為、重要な動画事象が無視されるおそれがある。この場合、ＤＣ画像は基準フレーム、すなわち、圧縮ストリームにおけるＩ（イントラ）フレームである。Ｉフレーム間には、多数のＰ（プレディクテッド）フレーム又はＢ（バイディレクショナル）フレームがある。

２つのＩフレーム間の距離は、選択されたＧＯＰ（グループ・オブ・ピクチュア）構造に依存するが、一般には、この値は、１秒のほぼ半分を表す１２である。従って、特性の完全な組は基準フレームからしか抽出できない。

更に、前記の従来技術文献である米国特許第２００３／００６１６１２号明細書で提案されているシステムは、予め規定された持続時間のビデオ要約を発生できない。この従来のシステムによれば、ビデオコンテンツの特性に応じて発生されるキーフレームの個数は推測的に知ることができない。

大域的な最適化に基づく従来の要約システムの他の制限は、互いに異なる持続時間の２つの要約、例えば、３０秒のワンショットバージョン及びそれよりも長い２分のワンショットバージョンを発生させるのに、これらの従来の要約システムは、最適化処理を後処理工程で少なくとも２度、すなわち、１度目は第１の持続時間の要約、例えば、３０秒の要約を発生させるために、２度目は第２の持続時間の要約、例えば、２分の要約を発生させるために、実行する必要があるということである。

更に、従来のビデオ要約システムには、メモリの使用量が大きくなるという他の問題がある。要約セグメントを選択する場合、特性をプログラムのデータストリームの全体に亘って分布させるのに、全ての特性をメモリ中に保持するとともに、多くの交換処理を実行する必要がある。
米国特許第２００３／００６１６１２号明細書 "Lecture Notes in Computer Science "、第３３３２巻の第９〜１８頁に記載された、東京で２００４年１１月３０日〜１２月３日に開催された学会である"Advances in Multimedia Information Processing-PCM 2004: 5th Pacific Rim Conference on Multimedia", Proceedings, Part II (Kiyoharu Aizawa, Yuichi Nakamura, Shinich Satoh氏編集)における従来技術の論文"Movie-in-a-Minute: Automatically Generated Video Previews "（Mauro Barbieri, Nevenka Dimitrova, Lalitha Agnihotri氏著） Communications of the ACM, Vol. 40, No. 12(1997年12月)の第55〜62頁に記載された論文"Video Abstracting "（Rainer Lienhart, Silver Pfeiffer, Wolfgang Effelsberg 氏著） "MPEG-7 Meta-Data Enhanced Encoder System for Embedded Systems "（２００４年３月、Kohtaro Asai, Hirofumi Nishikawa, Daiki Kudo, Ajay Divakaran氏著）

上述した欠点を出発点とし、且つ上述した従来技術を考慮するに、本発明の目的は、上述した種類のデータ要約システム及び方法を更に進展させ、如何なる後処理動作をも必要とすることなく、少なくとも１つの要約が、データストリームの受信直後に、特にデータストリームのコンテンツ取得、記録、符号化及び復号化の何れか１つ又は任意の組み合わせが行われた直後に得られるようにすることにある。

上述した本発明の目的は、請求項１の特徴を有するデータ要約システム及び請求項８の特徴を有する方法により達成される。本発明の有利な例及び好都合の改善はそれぞれの従属請求項に開示してある。本発明は、主として、少なくとも１つのデータストリームの少なくとも１つの要約、特に少なくとも１つのビデオプログラムを、実時間で、すなわち、データストリームを受信している間に、特にデータストリームの取得、記録、符号化及び復号化の何れか１つ又は任意の組み合わせを行っている間に発生させるデータ要約システム及び方法を提供するという着想に基づくものである。

データストリームは例えば、少なくとも１つの放送手段により伝送するか、又は少なくとも１つのインターネットコネクションを介してストリーミング配信することができ、且つ少なくとも１つの映画のような少なくとも１つのテレビジョンプログラムに割り当てることができる。これに加えて又はこれに代えて、例えばカムコーダ等に対するＩＥＥＥ１３９４コネクション又はＵＳＢコネクションから受信しうる。

互いに異なるボリュームの、特に異なる持続時間の少なくとも２つの、特にそれよりも多い要約を１工程で発生しうるようにするために、本発明の好適な例によれば、それぞれの予め決定した要約ボリューム、特にそれぞれの所望の要約持続時間が得られるまで、選択されたデータストリーム部分の少なくとも一部を要約することにより、それぞれの要約を発生させるように、処理手段を設計する。従って、本発明によれば、重要な算定上の複雑さを追加することなく、互いに異なる持続時間の複数の要約を発生させる。

データ部分の選択又はコンテンツ特性の抽出が圧縮領域に制限されている従来技術と相違して、本発明の有利な例によれば、要約は受信したデータストリームから選択したデータストリーム部分の集合である。従って、例えば、ビデオ要約は、元のプログラムを最良に表す元のコンテンツから選択されたビデオセグメントの集合である。

本発明の好適例によれば、受信手段は、データストリームの記録及び符号化の双方又は何れか一方を行うように、特に記録及び符号化の双方又は何れか一方が行われたそれぞれのデータストリーム部分に対し少なくとも１つの記録信号及び符号化信号の双方又は何れか一方、特に少なくとも１つの記録統計及び符号化統計を算定するように設計する。

受信したデータストリームのコンテンツを解析するために、特に記録及び符号化の双方又は何れか一方が行われたそれぞれのビデオチャプターのコンテンツを解析するために、データ要約システムは、少なくとも１つのコンテンツ解析手段を有するのが有利である。

前記コンテンツ解析手段は、受信したそれぞれのデータストリーム部分に対し、少なくとも１つのコンテンツ解析信号、特に少なくとも１つのコンテンツ解析特性を算定する。この場合、コンテンツ解析信号はそれぞれのデータストリーム部分のそれぞれの受信信号及び符号化信号の双方又は何れか一方に応じて算定するのが有利である。

例示的なコンテンツ解析信号は、それぞれのデータストリーム部分のビジュアルアクティビティとすることができる。この場合、ビジュアルアクティビティは例えば、少なくとも１つの平均輝度と、あるデータストリーム部分を符号化するのに必要とするビット数に匹敵しうる少なくとも１つの平均の複雑さと、データストリーム部分の少なくとも１つのカット密度とのいずれか１つ又は任意の組み合わせに基づかせることができる。

本発明による、例えば各データセグメントに対するコンテンツ解析の場合、ピクセル領域における少なくとも１つの光度値及び圧縮領域における複雑さを抽出する。

算定されたそれぞれのコンテンツ解析信号は、予め決定した個数のデータストリーム部分、例えば、それぞれの各データストリーム部分に対し、蓄積又は要約するのが有利である。

受信されたそれぞれのデータストリーム部分、特に記録及び符号化の双方又は何れか一方が行われたそれぞれのビデオショットに対しては、少なくとも１つの第１の重み係数、特に少なくとも１つの優先値、例えば、少なくとも１つの重要度スコアを選択手段により算定する。

前記第１の重み係数は、それぞれのデータストリーム部分の蓄積又は要約されたそれぞれのコンテンツ解析信号に依存して算定するのが有利である。従って、データストリーム部分は、これらのコンテンツ解析信号又はコンテンツ特性により、例えば、これらのビジュアルアクティビティにより重み付けするのが有利である。

この第１の重み付け工程は、ビデオショットカットからビデオショットカットまでを意味する実行されたストリーム部分ワイズ及びビデオショットワイズとの双方又は何れか一方とするのが有利である。しかし、データストリーム部分のそれぞれの群に対し第１の重み係数を算定する、例えば、第１の重み付け工程を実行することにより隣接のショットを合成してこれらを１つのクリップとみなすようにすることもできる。

データストリーム部分は、これらのそれぞれの第１の重み係数に依存して選択するのが有利であり、特に、少なくとも１つの一時メモリ、特に少なくとも１つのＲＡＭ（ランダムアクセスメモリ）に記憶するために、最大スコアとなったデータストリーム部分を選択するのが有利である。

本発明の好適例によれば、選択したデータストリーム部分を、これらのそれぞれ割り当てられた第１の重み係数に依存して分類して、少なくとも１つの一時要約リスト内に記憶することができる。

本発明の好適な例の追加の新規な態様は、プリセットした一定限度の量のメモリスペースを使用することである。要約を発生させるのに、制限され制御された量のメモリスペースを用いるために、一時メモリは、予め決定した又は予め規定した個数の選択データストリーム部分を一時的に記憶するように設計するのが有利である。

例えば、一時メモリは、それぞれのデータセグメントの、特にそれぞれのビデオチャプターの１２個の最大の重み付けされたデータ部分を記憶するように設計しうる。この一時メモリは、特に毎回それぞれのデータセグメントの部分の選択が終了される度に、例えば、毎回ビデオチャプターが検出される度に、少なくとも１つの、特に予め決定した選択期間の終了時にフリー状態（不使用状態）となるようにするのが有利である。

本発明の特に発明性の高い改良点によれば、予め決定した選択期間の終了時に、一時メモリに記憶されたデータストリーム部分のうち、特に少なくとも１つのメモリ手段又はメモリユニット、例えば、少なくとも１つのハードディスクに永久的に記憶すべき又は伝送すべき或いは再符号化すべき部分を選択して要約のために収集するように、選択手段を設計する。

選択手段は、例えば、一時メモリに記憶されているデータストリーム部分のうち、特にそれぞれのデータセグメントのコンテンツを反映するのに適している３つのデータストリーム部分を、選択期間の終了時に、特にデータセグメントの境界が生じた際に選択するように設計しうる。

ここで、「データセグメントの境界」とは、チャプターの境界及びショットの境界の双方又はいずれか一方を意味するものであり、このようなデータセグメントの境界が元のコンテンツに既に示されていないという条件の下で、このようなデータセグメントの境界を、本発明によるデータ要約システムにより、特にコンテンツ解析手段又はコンテンツ解析素子により算定することができる。

受信したデータストリーム、特に記録されたビデオシーケンスは複数のデータストリーム部分、特に数百のビデオクリップを有するという事実の点で、選択手段の好適例の主な課題は、要約のためにどのデータストリーム部分を選択してメモリユニット内に記憶する必要があるかや、どのデータストリーム部分を廃棄しうるかに関することである。

選択手段は、要約の発生が、データストリームの受信が終了するのと同時に又はその前に或いはその双方で終了するのを保証する実時間要約手段とするのが有利である。

それぞれのデータセグメント内の最大の重み付けされたデータストリーム部分の要約であり、特にそれぞれのビデオチャプター内の最良のビデオショットの集合であるデータストリームの要約を発生しうるようにするために、本発明の好適例によれば、選択されたデータストリーム部分の少なくとも一部をメモリユニット内に永久的に記憶するか又は伝送するようにする。

更に、本発明の好適例によれば、メモリユニット内に、選択されたデータストリーム部分と一緒に、それぞれの割り当てられた第１の重み係数と、一時要約リスト内のそれぞれの割り当てられた位置と、それぞれの割り当てられたボリューム、例えば、これらのデータストリーム部分のそれぞれのビット数及びそれぞれのオフセット又は長さの双方又は何れか一方との何れか１つ又は任意の組み合わせを記憶又は伝送するようにする。

又、メモリユニット及び少なくとも１つの多重化手段との双方又は何れか一方が、選択されたそれぞれのデータストリーム部分に割り当てられた少なくとも１つの第２の重み係数、特に少なくとも１つの第２の優先値を算定するようにすることもできる。この場合、第２の重み係数は一時要約リスト内の選択されたそれぞれのデータストリーム部分の位置に依存する。

要約の表示及び再生の双方又は何れか一方を行う場合、特にそれぞれの第２の重み係数に依存して、選択されたデータストリーム部分の少なくとも一部を収集することにより要約を発生させる。

本発明の好適例によれば、要約のために集約するデータストリーム部分の個数を要約の所望のボリュームに依存させる。従って、要約された少なくとも１つの予め決定した個数のデータセグメントと少なくとも１つの予め決定した要約の持続時間との双方又は何れか一方が得られるまで、データストリームの受信中にデータストリーム部分を要約しうる。

従って、第１の重み係数と第２の重み係数との双方又は何れか一方を算定することにより、要約に対するある持続時間が得られるまで、データストリーム部分を順位付けして最良のデータストリーム部分のみを選択するようにしうる。

本発明の主たる利点は、放送データストリームの受信が終了するのと同時に要約の発生が終了されるということである。従って、従来の要約システムと相違して、本発明によれば、受信の終了と要約の発生の終了との間に遅延が生じない。従って、要約システムが電源出力又はデータ源から突然に外された場合でも、要約の発生が保証される。

本発明は、上述した少なくとも１つのデータ要約システムと、上述した少なくとも１つの方法とを少なくとも１つの電子システムに使用する方法であって、
‐ ビデオコンテンツストリームの記録と、符号化と、復号化との何れか１つ又は任意の組み合わせ中に、少なくとも１つのビデオコンテンツストリームの少なくとも１つのビデオ要約を発生させるのに、特にビデオ記録と、ビデオ符号化と、ビデオ復号化との何れか１つ又は任意の組み合わせ中に、ムービー・イン・ア・ミニット（movie-in-a-minute ）を実時間で発生させるのに使用する（特に、要約を発生させるのに制限及び制御が行われた量のメモリスペースを使用するか、又は或いは且つ、例えば、コンテンツが必ずしも再符号化されないデジタル衛星又は地上（ＤＶＢ：デジタルビデオ放送）受信機からのデジタルテレビジョンを記録する際に、再符号化が存在しない場合をも含む）のと、
‐ 互いに異なるボリュームの、特に互いに異なる持続時間の、ビデオコンテンツストリームの少なくとも２つの要約を発生させるのに使用するのと
の何れか１つ又は任意の組み合わせに使用する使用方法に関するものである。

この場合、電子システムは、
‐データストリームの記録及び符号化の双方又は何れか一方を行うように設計した少なくとも１つのソフトウェア及びハードウェアの双方又は何れか一方、例えば少なくとも１つのビデオレコーダと、少なくとも１つのビデオエンコーダと、少なくとも１つのホームメディアセンターパーソナルコンピュータのような少なくとも１つのパーソナルコンピュータとの何れか１つ又は任意の組み合わせと、
‐ビデオ圧縮機器及び放送機器の双方又は何れか一方のための少なくとも１つのソフトウェア及びハードウェア装置の双方又は何れか一方と、
‐少なくとも１つのデジタルカムコーダ及びこれに関連する少なくとも１つのソフトウェアの双方又は何れか一方と
の何れか１つ又は任意の組み合わせとして実施することができる。

特に、本発明は、パーソナルビデオレコーダ、ホームメディアセンターパーソナルコンピュータ及びビデオエンコーダ（ソフトウェア及びハードウェア）のような家庭用電化製品に適用しうる。更に、本発明は、ビデオ圧縮及び放送機器用の専門的なソフトウェア／ハードウェア装置に適用しうる。

本発明はデジタルカムコーダに適用し、コンテンツをこのカムコーダから固定装置にダウンロードする際にホームビデオの要約を発生させるようにすることもできる。

前述したように、本発明の教示を有利に具体化及び改善するのに幾つかの選択肢が存在する。この目的のためには、請求項１及び８を援用する従属請求項を参照しうる。更に、本発明の更なる改善、特徴及び利点を、以下に添付図面を用いて詳細に説明する。

図１は、データ要約システム１００、すなわち、ビデオコンテンツ要約システム、特に、少なくとも１つのデータストリーム１２、更に特に少なくとも１つのビデオコンテンツストリームのコンテンツを要約するための実時間ビデオ要約システムの好適実施例を示すブロック線図である。

データストリームソース、特にコンテンツソースは、例えば、少なくとも１つのケーブルテレビジョン（ＴＶ）チューナ、少なくとも１つの衛星チューナ、少なくとも１つのハードディスク又は光ディスクドライブ及び少なくとも１つのインターネットストリーミングコネクションの何れか１つ又は任意の組み合わせとすることができる。

ビデオコンテンツストリーム１２を受信するために、ビデオ要約システム１００は、ビデオコンテンツストリーム１２を受信して記録、特に符号化するように設計した受信手段１０を有する。

この受信手段１０は、例えば、ＭＰＥＧ（Moving Picture Experts Group）‐２規格、ＭＰＥＧ‐４規格及びＷＭＶ（Window Media Video）の何れか１つ又は任意の組み合わせに応じて動作するようにした如何なるマルチメディアエンコーダとすることもできる。

この受信手段１０は、特に記憶スペースを節約するためにビデオコンテンツストリーム１２を圧縮することにより、受信されたビデオコンテンツストリーム１２を符号化する。この受信手段１０は更に、記録に際し、特にビデオコンテンツストリーム１２の符号化されたコンテンツ１４を発生させる際に、少なくとも１つの低レベル信号又は少なくとも１つの符号化信号１６、特に、少なくとも１つの低レベル信号統計又は少なくとも１つの符号化統計を、例えば画像スライスレベルで発生させる。

低レベル信号統計又は符号化統計１６は、符号化中に算定されるビデオコンテンツストリーム１２に関する如何なる統計情報にもすることができ、例えば、平均輝度、平均フレーム差分、運動ベクトルの平均、複雑さ、ビットレート等とすることができる。

受信手段１０は、ビデオコンテンツストリーム１２の符号化されたコンテンツ１４を、特に符号化されたそれぞれのビデオショットを少なくとも１つの随意的な多重化手段５０に供給するように設計されている。更に、受信手段１０は、低レベル信号統計又は符号化統計１６を少なくとも１つのコンテンツ解析手段２０に、特に少なくとも１つのコンテンツ解析素子に供給するように設計されている。

コンテンツ解析素子２０は、低レベル信号統計又は符号化統計１６を用いて、少なくとも１つのコンテンツ解析信号２２を、特に、光度、黒フレームの存在、ビデオショットカット、アクション量、フェイスの位置及びチャプター境界の何れか１つ又は任意の組み合わせのような、いわゆる低レベル及び高レベルの双方又は何れか一方のコンテンツ解析特性（フィーチャ）を算定する（従来技術文献である国際公開パンフレットＷＯ０２／０９３９２９を参照）。

換言すれば、ショットカット検出及びチャプター境界検出は、特に、受信されたデータストリーム１２が、既に提示された何らかのデータストリーム部分を有する如何なるデータセグメントをも有さない場合に、例えば、受信されたデータストリーム１２が、既に提示された何らかのビデオショットを有する如何なるビデオチャプターをも有さない場合に、コンテンツ解析素子２０内で行われ、従って、ビデオチャプターが図１に示すコンテンツ解析素子２０内で算定される。

低レベル及び高レベルの双方又は何れか一方のコンテンツ解析特性（信号）２２は、ビデオショットカットからビデオショットカットまでを意味する算定されたストリーム部分ワイズ及びビデオショットワイズとの双方又は何れか一方とするのが有利である。低レベル及び高レベルの双方又は何れか一方のコンテンツ解析特性２２は、算定後に、多重化手段５０と、少なくとも１つの選択手段３０、特に少なくとも１つの実時間要約機能とに転送される。

実時間要約機能３０は、特にそれぞれのコンテンツ解析特性２２に応じて、少なくとも１つの第１の重み係数、特に少なくとも１つの第１の優先値、より一層特に少なくとも１つの重要度を算定するようにした階層的な算定素子とするのが有利である。

実時間要約機能３０は、コンテンツ解析特性２２を用いて、ビデオコンテンツストリーム１２の少なくとも１つの要約に対し選択されたビデオショットを評価する。ビデオショットの選択及び要約の実時間生成は、少なくとも１つの分類（ソーテッド）リスト、すなわち、現在のビデオチャプターに対する最良のＮ個のビデオショットのいわゆる一時的要約リストを保持することに基づいている。この場合、個数Ｎは、得られるメモリスペースの大きさに依存する。

実時間要約機能３０は、例えば、それぞれの第１の重み係数に応じてデータストリーム部分の一部、すなわち、ビデオショット３２を選択し、これらの選択したビデオショット３２を少なくとも１つの一時メモリ４０に、特にＲＡＭ（ランダムアクセスメモリ）に伝達するように設計することができる。

このＲＡＭ４０は、例えば、一時的な要約リスト中に１２個の選択したビデオショットを記憶し、第１の重み係数が小さい選択されたビデオショット３２が、第１の重み係数が大きい選択されたビデオショット３２で置き換わるようにする。

少なくとも１つの選択期間後、例えば、ビデオチャプターのビデオショット３２の選択が実行された後、一時メモリ４０がフリー状態となり、選択されたビデオショット３２の少なくとも一部分３２´、例えば、３つのビデオショットが、永久的に記憶すべきそれぞれの第１の重み係数に応じて選択される。

選択されたビデオショット３２の前記少なくとも一部分３２´は多重化手段５０に伝達される。符号化されたコンテンツ１４と、コンテンツ解析特性２２と、要約データ３２´とは、例えば、少なくとも１つのＭＰＥＧ（Moving Picture Experts Group）プログラムにより、又は特性及び要約がプライベートストリーム内にある場合のトランスポートストリームにより多重化され、少なくとも１つのメモリユニット６０に、特に少なくとも１つのハードディスクのような少なくとも１つの記憶装置に記憶される。

他の実施例では、符号化されたコンテンツ１４と、コンテンツ解析特性２２と、最終的な要約とを、互いに異なるストリーム内に別々に記憶する。更に、コンテンツ解析特性２２と、最終的な要約とを、ＭＰＥＧ‐７規格又は何らかの他の適切なメタデータ規格に応じて符号化しうる。

他の実施例では、生じるストリームを、少なくとも１つの放送方式を用いて伝送するか、又は少なくとも１つのインターネットコネクションを介してストリーミング配信する。

少なくとも１つの処理手段７０、特に少なくとも１つの要約プレーヤは、選択されたデータストリーム部分の少なくとも一部分３２´を選択することにより、予め決定した少なくとも１つの要約ボリュームが得られるまで要約を発生させるように設計する。

要約プレーヤ７０は、記憶装置６０から要約データ６２を取り出し、特に復号後に、ユーザ及び少なくとも１つの適用分野の双方又は何れか一方が必要とする持続時間の要約を提供する。

要約プレーヤ７０は、所望の持続時間に達するまで、各データセグメントに対し優先度が最大のデータストリーム部分を取ることにより要約を再生させる。このようにすることにより、特性を再解析することなしに異なる持続時間の複数の要約を取り出すことができる。

実時間要約機能３０により実行される論理工程を図２に示す。図２は、特に、ビデオ記録又は符号化又は復号化中にムービー・イン・ア・ミニットを実時間で発生させるための流れ図を示す。

始動（図２の符号ｉ）に当たり、ビデオコンテンツストリーム１２の記録、特に符号化を開始する。

発生された低レベル信号統計又は符号化統計１６は、コンテンツ解析信号又はコンテンツ解析特性２２を算定するのに用いられ、発生されたそれぞれのコンテンツ解析特性２２がそれぞれのビデオショットに対し蓄積される（図２の符号ii）。

ビデオショットカット（図２の符号iii ）時には、現在のビデオショットに対する重要度スコアが算定される（図２の符号vi）。従って、第１の重み係数、すなわち、重要度スコアが新たな各ビデオショットに対し算定される。

重要度スコアは、要約の一部とするためのビデオショットの適合性を表わし、コンテンツ解析特性２２の組み合わせ、例えば、行動量や、検出されたフェイスの数及び面積の組み合わせである。

重要度スコアを算定する方法は、例えば、ハイデルベルクのシュプリンガー出版の文献である“Lecture Notes in Computer Science ”、第３３３２巻の第９〜１８頁に記載された、東京で２００４年１１月３０日〜１２月３日に開催された学会である“Advances in Multimedia Information Processing-PCM 2004: 5th Pacific Rim Conference on Multimedia”, Proceedings, Part II (Kiyoharu Aizawa, Yuichi Nakamura, Shinich Satoh氏編集)における従来技術の論文“Movie-in-a-Minute: Automatically Generated Video Previews ”（Mauro Barbieri, Nevenka Dimitrova, Lalitha Agnihotri氏著）に記載されている。

現在のビデオショットの重要度スコア値が、一時的な要約リストに現在記憶されているビデオショットの値よりも大きい場合には、現在のビデオショットとその重要度スコアとが分類リスト、すなわち、一時的な要約リスト内に挿入される（図２の符号ｖ）。ビデオショットとその重要度スコアとを形成し、これらを分類リスト内に挿入するのは、少なくとも１つの従来のコンピュータサイエンス法に応じて行なうことができる。

それぞれの選択期間の終了時には、特にチャプター境界がコンテンツ解析素子２０により検出される度に（図２の符号vi）、一時的な要約リスト内に記憶されたビデオショット３２が一時的な要約４０から除去されて、要約の一部となる。従って、一時的な要約リストが周期的にフラッシュ消去される（図２の符号vii ）。

各要約データ３２´、すなわち、実時間要約機能３０から多重化ユニット５０を介してメモリユニット６０に伝送されるビデオショットは、一時的な要約リスト内に有していた位置である第２の優先値と関連する。

ユーザは、如何なる瞬時においても、これまで発生された要約に悪影響を及ぼすことなく、記録を停止させる、すなわち、要約システム１００の電源ケーブル又はデータ源ケーブルのプラグを抜くことができる。リストが揮発性メモリ４０内に記憶された場合の唯一のデータストリーム部分又はビデオショットの欠落は、一時的な要約リスト内に記憶されたものである。

図１は、本発明の方法により動作する本発明によるデータ要約システムの好適実施例を示す線図である。 図２は、本発明の方法の好適実施例を示す線図である。

符号の説明

１００ データ要約システム、特にビデオコンテンツ要約システム
１０ 受信手段、特に記録ユニット及び符号化ユニットの双方又は何れか一方
１２ 複数のデータストリーム部分を有する複数のデータセグメントを具えるデータストリーム、特に複数のビデオショットを有する複数のビデオチャプターを具えることのできるビデオコンテンツストリーム
１４ 受信手段１０の出力信号、特に受信手段１０から多重化手段５０に伝送される、記録及び符号化の双方又は何れか一方が行なわれた受信データストリーム、例えば、符号化されたコンテンツ
１６ 記録信号及び符号化信号の双方又は何れか一方、特に受信手段１０からコンテンツ解析手段２０に伝送される記録統計及び符号化統計の双方又は何れか一方
２０ コンテンツ解析手段、特にコンテンツ解析素子
２２ コンテンツ解析信号、特にコンテンツ解析手段２０により算定されたコンテンツ解析特性、例えば、低レベル特性及び高レベル特性の双方又は何れか一方
３０ 選択手段、特に実時間要約機能
３２ 一時的に記憶させるために選択手段３０により選択されたデータストリーム部分の一部、特に選択されたデータストリーム部分
３２´ 永久的に記憶するために選択手段３０により選択された選択データストリーム部分３２の一部
４０ 一時メモリ、特に揮発性バッファ又は揮発性メモリ、例えば、一時的な要約リストを記憶するための、例えばＲＡＭ（Random Access Memory）
５０ 多重化手段、特にマルチプレクサ
５２ 多重化手段５０の出力信号、特に多重化されたストリーム
６０ メモリユニット、例えば、ハードディスク
６２ メモリユニット６０の出力、特にメモリユニット６０から処理手段７０に伝達される選択されたデータストリーム部分のうちの要約すべき一部
７０ 処理手段、特に要約プレーヤ

Claims (12)

1. 少なくとも１つのデータストリームを受信する少なくとも１つの受信手段を具えるデータ要約システムにおいて、このデータ要約システムが、
   データストリーム部分の一部を選択する少なくとも１つの選択手段と、
   特に予め決定した少なくとも１つの要約ボリュームが得られるまで、選択されたデータストリーム部分の少なくとも一部を要約することにより少なくとも１つの要約を発生する少なくとも１つの処理手段と
   を具え、要約はデータストリームの受信中に発生させるようにしたことを特徴とするデータ要約システム。
2. 請求項１に記載のデータ要約システムにおいて、
   前記データストリームは少なくとも１つのビデオデータストリームとするか、又は
   前記受信手段は、データストリームの記録及び符号化の双方又は何れか一方を行なうように、特に記録されたデータストリーム部分及び符号化されたデータストリーム部分の双方又は何れか一方に対しそれぞれ、少なくとも１つの記録信号及び少なくとも１つの符号化信号の双方又は何れか一方を算定するように設計されており、又は
   前記データストリームを少なくとも１つのビデオデータストリームとすることと、上記の設計との双方が行なわれるようにしたことを特徴とするデータ要約システム。
3. 請求項１又は２に記載のデータ要約システムにおいて、
   受信したデータストリームのコンテンツを解析するために、特に
   受信したそれぞれのデータストリーム部分に対し少なくとも１つのコンテンツ解析信号を算定し、このコンテンツ解析信号は特に、それぞれのデータストリーム部分のそれぞれの記録信号及び符号化信号の双方又は何れか一方に応じて算定するとともに、
   予め決定した個数のデータストリーム部分のそれぞれの算定されたコンテンツ解析信号、例えば、１つのデータストリーム部分の算定されたコンテンツ解析信号を蓄積するために、少なくとも１つのコンテンツ解析手段が設けられていることを特徴とするデータ要約システム。
4. 請求項１〜３のいずれか一項に記載のデータ要約システムにおいて、
   前記選択手段を少なくとも１つの実時間要約手段とするか、又は
   ‐受信したそれぞれのデータストリーム部分に対し、少なくとも１つの第１の重み係数、特に少なくとも１つの第１の優先値を算定し、第１の重み係数は特に、それぞれのデータストリーム部分のそれぞれのコンテンツ解析信号に応じて、例えば、蓄積されたコンテンツ解析信号に応じて算定するとともに、
   ‐データストリーム部分の一部をそれぞれの第１の重み係数に応じて選択し、特に少なくとも１つの一時メモリ、特に少なくとも１つのランダムアクセスメモリ（ＲＡＭ）内に一時的に記憶させるべきデータストリーム部分の一部を選択するか、又は特に少なくとも１つのメモリユニット、例えば、少なくとも１つのハードディスク内に永久的に記憶すべき又は伝送すべき選択されたデータストリーム部分の少なくとも一部を選択するか、又はこれらの後者の双方の選択を行なう
   ように前記選択手段を設計し、又は
   前記選択手段を少なくとも１つの実時間要約手段とすることと、前記の設計との双方を行なうことを特徴とするデータ要約システム。
5. 請求項４に記載のデータ要約システムにおいて、前記一時メモリは、
   それぞれの選択されたデータストリーム部分を、それぞれ割り当てられた第１の重み係数に応じて、少なくとも１つの一時要約リスト内に分類するか、又は
   選択されたデータストリーム部分を記憶するために、特に予め決定した個数の選択されたデータストリーム部分を記憶するために、制限及び制御の双方又は何れか一方が行われた量の少なくとも１つのメモリスペースを使用するように、又は
   前記分類及び使用の双方を行うように設計されていることを特徴とするデータ要約システム。
6. 請求項１〜５のいずれか一項に記載のデータ要約システムにおいて、このデータ要約システムには少なくとも１つの多重化手段が設けられ、この多重化手段は、
   前記受信手段の少なくとも１つの出力信号、特に記録及び符号化の双方又は何れか一方が行われたデータストリームと、
   コンテンツ解析信号と、
   永久的に記憶するか又は伝送するために選択されたデータストリーム部分と
   の何れか１つ又は任意の組み合わせが供給されるようになっているか、又は前記多重化手段は、
   永久的に記憶させるために選択されたそれぞれのデータストリーム部分に対し、一時要約リスト内のそれぞれの選択したデータストリーム部分の位置に依存する少なくとも１つの第２の重み係数を、特に少なくとも１つの第２の優先値を算定するように設計されているか、又は前記多重化手段は、
   前記の供給と、前記の設計との双方が行われていることを特徴とするデータ要約システム。
7. 請求項１〜６のいずれか一項に記載のデータ要約システムにおいて、
   メモリユニットが、永久的に記憶されるデータストリーム部分を、これらのそれぞれの永久的に記憶されるデータストリーム部分に割り当てられた第２の重み係数に応じて少なくとも１つの最終的な要約リスト内に分類するように設計されており、又は
   前記処理ユニットが、
   永久的に記憶されるデータストリーム部分の少なくとも一部を選択するか、又は
   少なくとも１つの予め決定した個数の要約データセグメントが得られるまで、選択されたデータストリーム部分の少なくとも一部を要約するか、又は
   上記の選択及び要約の双方を行うように設計されており、
   或いは、上記のメモリユニットの設計と、上記の処理ユニットの設計との双方が行われるようになっていることを特徴とするデータ要約システム。
8. 少なくとも１つのデータストリームを要約する要約方法において、この要約方法が、
   データストリーム部分の一部を選択する工程と、
   選択されたデータストリーム部分の少なくとも一部を、特に少なくとも１つの予め決定した要約ボリュームが得られるまで、要約することにより、少なくとも１つの要約を発生させる工程と
   を有することを特徴とする要約方法。
9. 請求項８に記載の要約方法において、この要約方法が、
   ‐ 受信したデータストリームの、特に受信したデータストリーム部分の記録、符号化及び復号化の何れか１つ又は任意の組み合わせを行う、特に記録及び符号化の双方又は何れか一方が行われたそれぞれのデータストリーム部分に対し、少なくとも１つの記録信号及び符号化信号の双方又は何れか一方を算定する工程と、
   ‐ 受信したデータストリームのコンテンツを解析する工程、特にそれぞれの受信したデータストリーム部分に対し少なくとも１つのコンテンツ解析信号を算定し、特にこのコンテンツ解析信号を、それぞれのデータストリーム部分のそれぞれの記録信号及び符号化信号の双方又は何れか一方に応じて算定するとともに、予め決定した個数のデータストリーム部分の、例えば、単一のデータストリーム部分のそれぞれの算定されたコンテンツ解析信号を蓄積する工程と、
   ‐ 特にそれぞれのデータストリーム部分のそれぞれのコンテンツ解析信号に応じて、例えば、蓄積したコンテンツ解析信号に応じて少なくとも１つの第１の重み係数を、特に少なくとも１つの第１の優先値をそれぞれのデータストリーム部分に対して算定する工程と、
   ‐ データストリーム部分の少なくとも一部をそれぞれの第１の重み係数に応じて選択する工程、特に一時的に記憶すべきデータストリーム部分の一部と、永久的に記憶すべき選択したデータストリーム部分の少なくとも一部との双方又は何れか一方を選択する工程と
   の何れか１つ又は任意の組み合わせを有することを特徴とする要約方法。
10. 請求項８又は９に記載の要約方法において、一時的に記憶すべきデータストリーム部分を選択する工程が、
    それぞれの選択されたデータストリーム部分を、それぞれ割り当てられた第１の重み係数に応じて、少なくとも１つの一時要約リスト内に分類する工程と、
    選択されたデータストリーム部分を記憶するために、特に予め決定した個数の選択されたデータストリーム部分を記憶するために、制限及び制御の双方又は何れか一方が行われた量の少なくとも１つのメモリスペースを使用する工程と
    の双方又は何れか一方を有することを特徴とする要約方法。
11. 請求項８〜１０のいずれか一項に記載の要約方法において、この要約方法が、
    永久的に記録すべき選択されたデータストリーム部分の少なくとも一部を、少なくとも１つの選択期間の終了時に、特に少なくとも１つのデータセグメント境界が検出された際に伝送する工程と、
    永久的に記録されるデータストリーム部分を、これらのそれぞれの永久的に記録されるデータストリーム部分に割り当てられた少なくとも１つの第２の重み係数であって、特に一時要約リスト内のそれぞれの選択されたデータストリーム部分の位置に依存する第２の重み係数に応じて、特に少なくとも１つの第２の優先値に応じて、少なくとも１つの最終的な要約リスト内に分類する工程と、
    永久的に記録されるデータストリーム部分の少なくとも一部を選択する工程と、
    少なくとも１つの予め決定した個数の要約データセグメントが得られるまで、選択されたデータストリーム部分の少なくとも一部を要約する工程と
    の何れか１つ又は任意の組み合わせを有することを特徴とする要約方法。
12. 請求項１〜７のいずれか一項に記載の少なくとも１つのデータ要約システムと、請求項８〜１１に記載の要約方法との双方又は何れか一方を、
    ‐少なくとも１つの電子システムに使用する、特に
    ‐‐データストリームの記録及び符号化の双方又は何れか一方を行うように設計した少なくとも１つのソフトウェア及びハードウェアの双方又は何れか一方、例えば少なくとも１つのビデオレコーダと、少なくとも１つのビデオエンコーダと、少なくとも１つのホームメディアセンターパーソナルコンピュータのような少なくとも１つのパーソナルコンピュータとの何れか１つ又は任意の組み合わせと、
    ‐‐ビデオ圧縮機器及び放送機器の双方又は何れか一方のための少なくとも１つのソフトウェア及びハードウェア装置の双方又は何れか一方と、
    ‐‐少なくとも１つのデジタルカムコーダ及びこれに関連する少なくとも１つのソフトウェアの双方又は何れか一方と
    の何れか１つ又は任意の組み合わせに使用するのと、
    ‐ビデオコンテンツストリームの記録、符号化及び復号化の何れか１つ又は任意の組み合わせ中に、少なくとも１つのビデオコンテンツストリームの少なくとも１つのビデオ要約を実時間で発生させるのに、特にビデオ記録と、ビデオ符号化と、ビデオ復号化との何れか１つ又は任意の組み合わせ中にムービー・イン・ア・ミニットを実時間で発生させるのに使用するのと、
    ‐互いに異なるボリュームの、特に互いに異なる持続時間の、ビデオコンテンツストリームの少なくとも２つの要約を発生させるのに使用するのと
    の何れか１つ又は任意の組み合わせに使用する使用方法。

Images